KR100849499B1 - 능동 카메라를 이용한 물체 추적 방법 및 장치 - Google Patents

능동 카메라를 이용한 물체 추적 방법 및 장치 Download PDF

Info

Publication number
KR100849499B1
KR100849499B1 KR1020070040025A KR20070040025A KR100849499B1 KR 100849499 B1 KR100849499 B1 KR 100849499B1 KR 1020070040025 A KR1020070040025 A KR 1020070040025A KR 20070040025 A KR20070040025 A KR 20070040025A KR 100849499 B1 KR100849499 B1 KR 100849499B1
Authority
KR
South Korea
Prior art keywords
image
camera
projection profile
difference
movement
Prior art date
Application number
KR1020070040025A
Other languages
English (en)
Inventor
조정욱
진승훈
전재욱
강훈
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Priority to KR1020070040025A priority Critical patent/KR100849499B1/ko
Application granted granted Critical
Publication of KR100849499B1 publication Critical patent/KR100849499B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

능동 카메라를 이용한 물체 추적 장치가 개시된다. 카메라로부터 입력되는 영상에서 움직이는 물체를 추적하는 장치는 상기 카메라로부터 입력되는 영상에 상응하는 영상 정보를 출력하는 카메라 영상 제어기; 상기 영상 정보가 저장되는 영상 저장 메모리; 상기 영상 저장 메모리에 저장된 하나 이상의 영상 정보를 분석하여 상기 카메라의 움직임에 따른 배경의 변화를 보상해 주는 배경 보상기; 상기 배경 보상기에 의해 보상된 복수의 영상 정보간의 차감 연산을 수행하는 영상 차감기; 상기 차감 영상을 이용하여 물체추적을 수행하는 입자필터; 및 상기 입자필터의 물체추적 수행 결과를 토대로 상기 카메라의 움직임을 제어하는 카메라 모션 제어기를 포함한다. 이를 통해, 움직이는 물체를 시야에서 벗어나는 일 없이 추적 가능하게 된다.
팬틸트, 카메라, 물체, 추적, 능동

Description

능동 카메라를 이용한 물체 추적 방법 및 장치{Method and apparatus of tracking object using active camera}
도 1은 본 발명에 따른 능동 카메라를 이용한 물체 추적 장치의 일 실시예를 도시한 블록도.
도 2는 본 발명에 따른 능동 카메라를 이용한 물체 추적 방법의 일 실시예를 도시한 제어흐름도.
도 3은 본 발명의 일 실시예에 따른 능동 카메라의 움직임에 따른 물체의 변위차를 도시한 예시도.
도 4a, 4b, 4c 및 4d는 본 발명의 일 실시예에 따른 연속적인 두 개의 영상에서 배경의 움직임을 제거하지 않을 경우의 두 영상의 차와 배경 변위를 상쇄한 경우의 두 영상의 차를 구한 결과를 도시한 예시도.
도 5a는 본 발명의 일 실시예에 따른 수직 방향의 히스토그램(Histogram) 생성을 도식화한 예시도.
도 5b는 본 발명의 일 실시예에 따른 수평 방향의 히스토그램 생성을 도식화한 예시도.
도 6a, 6b, 6c 및 6d는 본 발명의 일 실시예에 따른 프로젝션 프로파일 간의 차이를 구하는 방법에 대한 예시도.
도 7은 본 발명의 일 실시예에 따른 물체 추적 장치 및 방법에서의 잡음 제거 연산에 대한 예시도.
도 8a, 8b, 8c, 8d, 8e 및 8f는 본 발명의 일 실시예에 따른 능동 카메라를 이용한 물체 추적 장치의 실제 추적 결과를 도시한 예시도.
본 발명은 카메라를 통해 촬영된 영상을 이용한 물체 추적에 관한 것으로, 보다 상세하게는 팬틸트(Pan & Tilt) 장치에 장착이 되거나 팬틸트 메커니즘(Mechanism)등을 가지는 능동 카메라를 통해 영상 정보를 획득하여 이를 바탕으로 이동하는 물체를 추적하는 방법 및 장치에 관한 것이다.
팬틸트 기능 등을 구비하지 않은 카메라를 이용한 추적 시스템의 경우 사람의 시야에 비하여 카메라의 촬영 범위가 굉장히 좁아 실질적으로 유용한 시스템의 구성이 어렵다는 단점을 지니고 있다. 따라서 이러한 팬틸트 기능 등이 구비되어 있지 않은 카메라를 사용하는 추적 시스템의 경우 적용환경이 제한적이고 추가적인 카메라의 설치 등이 필요하다. 반면, 팬틸트 기능 등이 구비된 능동 카메라를 이용한 물체 추적은 물체의 움직임에 따라 카메라가 움직이므로 촬영 범위의 확대가 가능하여, 보다 광범위한 응용이 가능하다.
영상을 이용하여 움직이는 물체를 추적하는 방법으로는 두 인접 영상간의 차 감 영상을 입자필터(Particle Filter) 등의 확률론적인 필터(Probabilistic Filter)를 통해서 추적하는 방법이 일반적이다. 그러나 이러한 방법은 배경이 고정되어 있고, 물체의 움직임만이 영상에 나타나야 한다. 하지만, 팬틸트 움직임이 가능한 카메라의 경우 카메라의 움직임에 따라 배경 자체가 변하게 되므로 단순히 차감 영상을 통해서는 물체의 움직임을 판단할 수 없다. 따라서 물체의 움직임을 판단하기 위해서는 카메라의 운동을 판단하여 그에 따른 배경의 변화를 보상해 줄 필요성이 있다.
이를 위해 기존의 카메라 운동 예측, 광류 계산의 방법 등이 제시되었으나 이러한 방법은 완벽하게 물체의 운동과 카메라의 운동을 분리하기 어렵고, 연산량이 많아 실시간 추적이 힘들다. 또한, 물체 추적을 위해 시스템의 대부분의 자원이 할당되어 실용적이지 못하다는 문제점이 있다.
따라서, 본 발명은 입자필터를 팬틸트 움직임 등이 가능한 능동 카메라에 적용하여 물체의 추적 방법 및 장치를 제공하는 것이다.
또한, 본 발명은 배경 보상을 통해 카메라의 이동에 따른 배경의 움직임이 제거된 영상간의 차감 영상을 구하여 입자필터에 적용함으로써 팬틸트 기능 등이 구비된 능동 카메라를 이용한 물체 추적 방법 및 장치를 제공하는 것이다.
또한, 본 발명은 완벽하게 물체의 이동을 추적할 수 있으며, 시스템 자원의 효율적인 운용이 가능한 물체 추적 방법 및 장치를 제공하는 것이다.
본 발명의 이외의 목적들은 하기의 설명을 통해 쉽게 이해될 수 있을 것이다
본 발명의 일 측면에 따르면, 카메라로부터 입력되는 영상 정보로부터 움직이는 물체를 추적하는 장치가 개시된다.
일 실시예에 따른 물체 추적 장치는 카메라로부터 입력되는 영상 정보로부터 움직이는 물체를 추적하는 장치에 있어서, 상기 카메라로부터 입력되는 영상에 상응하는 영상 정보를 출력하는 카메라 영상 제어기; 상기 영상 정보가 저장되는 영상 저장 메모리; 상기 영상 저장 메모리에 저장된 하나 이상의 영상 정보를 분석하여 상기 카메라의 움직임에 따른 배경의 변화를 보상해 주는 배경 보상기; 상기 배경 보상기에 의해 보상된 복수의 영상 정보간의 차감 연산을 수행하는 영상 차감기; 상기 영상 차감기에 의해 얻어진 차감 영상을 이용하여 물체추적을 수행하는 입자필터; 및 상기 입자필터의 물체추적 수행 결과를 토대로 상기 카메라의 움직임을 제어하는 카메라 모션 제어기를 포함한다. 이때 영상 저장 메모리에는 프레임 단위의 영상 정보가 순차적으로 저장될 수 있고 상기 영상 차감기에서 생성된 차감 영상의 잡음을 제거하는 잡음 제거 필터를 더 포함할 수 있다.
또한 상기 배경 보상기는 상기 영상 저장 메모리에 저장된 이전 프레임과 현재 프레임의 영상 정보에 대하여 수직 및 수평 프로젝션 프로파일 생성하는 프로젝션 프로파일 생성기; 상기 현재 프레임과 상기 이전 프레임의 프로젝션 프로파일의 매칭값을 계산하는 프로젝션 프로파일 매칭기; 및
상기 프로젝션 프로파일 매칭기의 결과를 분석하여 상기 카메라의 움직임에 따른 배경의 변화를 측정하여 보상하는 변위차 계산기를 포함할 수 있으며 이들은 각각 특정 연산을 통해 배경 보상을 할 수 있게 된다.
본 발명의 다른 측면에 따르면 카메라로부터 입력되는 영상 정보로부터 움직이는 물체를 추적하는 방법이 개시된다. 이러한 카메라를 이용한 물체 추적 방법은 상기 저장된 하나 이상의 영상 정보를 분석하여 카메라의 움직임에 따른 배경의 변화를 보상하는 단계; 상기 카메라의 움직임에 의한 배경의 변화가 보상된 영상간의 차감 영상을 생성하는 단계; 상기 차감 영상을 이용하여 물체 추적을 수행하는 단계; 및 상기 수행된 물체 추적 결과를 토대로 상기 카메라의 움직임을 제어하는 단계를 포함할 수 있다.
또한, 상기 배경의 변화를 보상하는 단계는, 상기 저장된 영상 정보 중 이전 프레임과 현재 프레임에 대하여 수직 및 수평 프로젝션 프로파일 생성하는 단계; 상기 수직 및 수평 프로젝션 프로파일에 대하여 상기 현재 프레임과 상기 이전 프레임의 프로젝션 프로파일 매칭값을 계산하는 단계; 및 상기 프로젝션 프로파일 매칭값을 분석하여 카메라의 움직임에 따른 배경의 변화를 보상하는 단계를 포함할 수 있다. 그리고 이러한 단계는 각각 특정한 연산을 통해 수행되는 것을 특징으로 한다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 도 1을 참고하여 카메라로부터 입력되는 영상 정보로부터 움직이는 물체를 추적하는 장치에 있어서 각 구성부의 역할을 설명한다. 도 1은 본 발명의 일 실시예에 따른 능동 카메라를 사용하여 이동하는 물체를 추적하기 위한 물체 추적 장치의 내부 블록 구성도이다.
물체 추적 장치(100)는 카메라(10)와 연결되어 있다. 카메라(10)는 물체 추적 알고리즘의 입력수단으로 사용되는 외부 영상을 촬영하는 영상 입력부이다. 또한 본 발명의 일 실시예에 따르면 상기 카메라(10)는 능동 카메라를 말하는 것으로, 팬틸트 장치에 장착되거나 자체에 팬틸트 메커니즘을 보유한 카메라를 포함하는 상위 개념이다. 따라서, 앞으로 본 명세서 상의 팬틸트 기능을 구비한 카메라를 이용한 본 발명의 일 실시예는 모든 능동 카메라에 적용될 수 있음을 명확히 해둔다.
카메라(10)는 각자 고유의 제어 방식을 가지고 이에 해당하는 제어 신호를 입력하면 그에 따른 팬틸트 구동이 가능하다. 이때, 카메라(10)에 팬틸트 각각의 방향과 속도 정보가 전달되며, 카메라(10)는 이에 따른 움직임이 가능한 능동 카메라 임을 가정한다. 이러한 능동 카메라의 종류는 무수히 많으므로 본 발명에서는 특정한 구동방식이나 제어방식에 한정되지 않고, 능동 카메라는 모두 본 발명에 바로 적용이 가능하다.
이하 물체 추적 장치(100)의 내부구성을 설명한다. 물체 추적 장치(100)는 카메라 영상 제어기(110), 영상 저장 메모리(120), 배경 보상기(130), 영상 차감기(140), 입자필터(150) 및 카메라 모션 제어기(160)를 포함한다. 또한, 물체 추적 장치(100)는 추가적으로 잡음 제거 필터(170)를 더 포함할 수 있다.
카메라 영상 제어기(110)는 외부의 카메라(10)로부터 아날로그 혹은 디지털 방식의 카메라 촬영 정보를 받아 디지털화된 영상 정보와 영상 동기 신호를 생성하여 내부의 모듈들에 전달하는 역할을 한다. 이렇게 카메라 영상 제어기(110)에 의해 생성된 영상 동기 신호는 시스템 내부의 모든 모듈로 전달되어 연산의 동기화를 이루게 된다.
영상 저장 메모리(120)에는 카메라 영상 제어기(110)로부터 디지털 영상 정보가 순차적으로 입력되어 프레임 단위로 저장된다. 영상 저장 메모리(120)에 저장된 영상 정보는 배경 보상기(130)와 영상 차감기(140)에서 사용된다.
배경 보상기(130)는 카메라의 움직임에 따른 영상의 배경 변화를 보상한다. 이러한 배경 보상기(130)의 동작은 하기와 같은 이유로 필요하다. 본 발명은 물체를 추적하기 위해 차감 영상을 사용하는데 이러한 차감 영상은 연속적인 두 프레임의 화소 간 뺄셈 연산을 통해 이루어진다. 이러한 뺄셈 연산을 하게 되면 물체가 움직이는 부분에 대해서는 화소 값이 변화하므로 차감 영상 내 물체의 움직임이 나타나게 된다. 그러나, 만약 물체와 함께 카메라도 움직이게 된다면, 차감 영상 내에는 카메라의 움직임에 따른 배경의 움직임도 함께 나타나게 된다. 따라서 차감 영상을 통한 물체의 움직임 검출을 위해서는 그 이전에 필히 배경의 움직임을 보상해주어야 한다.
일 실시예에 따르면 배경 보상기(130)는 프로젝션 프로파일 생성기(131), 프로젝션 프로파일 매칭기(132), 변위차 계산기(133)를 포함한다.
프로젝션 프로파일 생성기(131)는 영상 저장 메모리(120)에 저장된 프레임 단위의 영상 정보 중 연속적인 두 장의 프레임을 읽어내고 각 프레임에 대해서 수직, 수평 방향의 프로젝션 프로파일을 생성한다. 상기 연속적인 두 장의 프레임이라는 것은 하나의 프레임을 기준으로 바로 직전 또는 직후의 프레임이라는 것이다. 보통 영상 입력의 속도가 초당 60장이라고 가정할 때 두 장의 프레임은 1/60초의 시간 간격을 두고 입력이 되게 된다. 이러한 짧은 시간 하에서는 카메라의 움직임에 따른 배경의 차가 미세하기 때문에 본 발명에서 제시하는 배경 보상 방법이 가능하게 된다.
프로젝션 프로파일 매칭기(132)는 프로젝션 프로파일 생성기(131)에서 생성된 현재 프레임의 프로젝션 프로파일과 이전 프레임의 프로젝션 프로파일 간의 매칭값을 계산한다. 이때의 매칭값은 변위차 계산기(133)에 모두 저장되며 이를 바탕으로 변위차 계산기(133)는 연속적인 두 프레임의 프로젝션 프로파일이 최적으로 일치가 되는 지점, 즉 최적의 매칭값을 가지는 이동량을 찾아낸다. 그리고 이를 카 메라의 이동에 따른 영상 간의 변위차라고 판단한다. 이러한 세 모듈의 구체적인 동작은 후에 상술하도록 한다.
그리고 영상 차감기(140)는 배경 보상기(130)의 동작의 결과 값을 전달받아 현재 프레임 영상과 이전 프레임 영상 간의 차감 영상을 생성하게 된다. 단, 이러한 계산에 앞서 영상 차감기(140)는 배경 보상기(130)에서 판단한 카메라의 이동량만큼 이전 프레임의 영상을 이동시켜 배경의 움직임을 모두 제거하게 된다. 따라서 결과적으로 순수 물체의 움직임만이 추출되는 차감 영상을 생성하게 된다.
입자필터(150)는 영상 차감기(140)에 의해 차감 영상이 구해지면 이를 통해 움직이는 물체의 위치를 판단한다. 이때, 입자필터(150)는 물체 추적을 위한 입자필터 알고리즘을 적용하고 이동하는 물체를 시간적인 지연 없이 추적하는 연산을 수행한다. 그리고 후에 이 결과를 카메라 모션 제어기(160)에 전달한다.
카메라 모션 제어기(160)는 입자필터(150)에서의 물체 위치 판단을 기초로 물체가 영상 내 중심에 위치하도록 카메라의 움직임을 제어한다. 따라서 이를 통해 빠른 속도로 규칙성 없이 움직이는 물체를 카메라(10)의 촬영 범위(영역) 밖으로 놓치는 일 없이 추적을 할 수 있다.
마지막으로 잡음 제거 필터(170)는 물체 추적 장치(100)에 추가적으로 포함될 수 있는 모듈로서 영상 차감기(140)에서 생성된 차감 영상의 잡음 성분을 제거한다. 이러한 잡음 제거 필터(170)에 의해 보다 선명한 영상을 통한 물체 추적이 가능하게 된다.
도 2는 본 발명의 일 실시예에 따른 팬틸트 기능이 구비된 카메라를 이용한 물체 추적을 위한 물체 추적 장치에서의 제어 흐름도이다. 앞서 언급한 물체 추적 장치의 구성을 나타낸 블록 구성도인 도 1의 설명과 중복되는 경우 설명을 생략하고 간단하게 살펴보기로 한다.
먼저, 팬틸트 기능 등이 구비된 카메라(10)로부터 물체에 대한 영상 정보가 순차적으로 입력된다(단계 S210). 카메라(10)를 통해 입력된 영상 정보가 영상 저장 메모리(120)에 프레임 단위로 저장된다(단계 S220). 이렇게 영상 저장 메모리(120)에 저장된 프레임 단위의 영상 정보는 후에 배경 보상기(130)와 영상 차감기(140)에서 사용된다. 다음으로 영상 저장 메모리(120)에 저장된 프레임을 통해 배경을 보상하게 되는데 전술한 바와 같이 배경 보상기(130)는 프로젝션 프로파일 생성기(131), 프로젝션 프로파일 매칭기(132) 및 변위차 계산기(133)를 포함한다.
먼저, 프로젝션 프로파일 생성기(131)에서 두 인접 프레임 영상의 프로젝션 프로파일을 생성한다(단계 S230). 즉, 현재 프레임과 이전 프레임의 프로젝션 프로파일을 생성하게 되는데 이에 대해서는 후술하도록 한다. 이렇게 생성된 프로젝션 프로파일을 통해 프로젝션 프로파일 매칭기(132)는 인접한 두 영상 간의 프로젝션 프로파일 차를 구한다(단계 S240). 그리고 이러한 프로젝션 프로파일 차가 최소가 되는 변위를 찾아 이를 토대로 변위차 계산기(133)는 최적의 이동 위치, 즉 두 프레임의 영상의 프로젝션 프로파일이 최적으로 일치하는 이동 위치를 찾아낸다(단계 S250).
상술한 과정을 통해 배경 보상기(130)는 카메라의 이동에 따른 배경의 변화 를 보상하기 위한 보상값을 생성하고 이러한 보상값을 토대로 영상 차감기(140)는 배경의 움직임이 보상된 즉, 물체의 움직임만이 나타난 차감 영상을 생성한다(단계 S260). 이렇게 생성된 차감 영상은 입자필터(150)에 입력되고 이를 토대로 물체를 추적하게 된다(단계 S270). 그리고 움직이는 물체에 따라 카메라의 움직임을 제어하기 위해 입자필터(150)에 의한 추적 결과를 카메라 모션 제어기(160)로 전달하여 물체를 추적한다(단계 S280). 상술한 과정을 통해 카메라(10)의 촬영 범위 밖으로 물체를 놓치는 일이 없이 연속적인 추적이 가능하다.
이하, 도 3을 참조하여 카메라의 움직임에 따른 물체의 변위차를 살펴본다. 도 3은 능동 카메라의 움직임에 따른 물체의 변위차를 도시한 예시도이다.
배경(340)은 영상의 내 고정된 물체로 움직이는 물체의 배경을 나타낸다. 만약 카메라가 이전 프레임(310)과 현재 프레임(320)의 간격 동안 움직이는 물체를 추적하여 결과적으로 변위차(330)만큼 이동하였다고 하자. 이에 따라 이전 프레임(310)과 현재 프레임(320) 영상 내 고정된 배경(340)의 위치 또한 변위차(330)만큼 이동한 것과 같은 효과가 나타난다. 단, 이때 카메라가 실제로 이동한 방향은 변위차(330)에 표시된 방향이지만 배경은 변위차(330)의 반대 방향으로 이동한 것과 같은 효과가 나타난다. 따라서 이러한 이유로 카메라가 움직이게 되면 실제로는 고정된 배경이지만, 결과적으로 차감 연산을 통해 얻은 차감 영상에는 마치 배경 전체가 움직이는 것처럼 보이게 된다. 이러한 이유로 전술했듯, 차감 영상을 통한 물체의 움직임을 검출하기 위해서는 배경의 움직임을 보상해주는 과정이 필수적이 게 된다.
이하 도 4를 참조하여 차감 영상에서의 배경보상유무에 따른 차이를 살펴 보도록 한다.
도 4a, 4b, 4c 및 4d는 본 발명의 일 실시예에 따른 연속적인 두 개의 영상에서 배경의 움직임을 제거하지 않을 경우의 두 영상의 차와 배경 변위를 상쇄한 경우의 두 영상의 차를 구한 결과를 도시한 예시도이다.
도 4a와 도 4b는 본 발명의 일 실시예에 따라 실제로 구현된 시스템 상에서 팬틸트 기능을 구비한 카메라를 통해 획득한 이전과 현재 프레임의 입력영상이다. 카메라는 사람이 왼쪽으로 이동을 함에 따라 왼쪽으로 구동을 하게 된다. 이러한 카메라의 움직임을 보상하지 않고 바로 이전과 현재 프레임의 영상간의 차감 영상을 구한 것이 도 4c이다. 도 4c를 보면, 카메라의 움직임에 의해 발생된 배경의 변화가 차감 영상에 고스란히 나타나게 되므로 전술했듯, 이러한 차감 영상을 가지고서는 본 발명의 목적인 물체에 대한 추적이 불가능하게 된다. 반면에 본 발명의 일 실시예에 따른 배경 보상 기법을 적용하게 된다면 도 4d와 같이 차감 영상 내에 배경의 변화는 모두 제거되어 순수하게 사람의 움직임만이 나타나게 된다. 이와 같이 팬틸트 기능 등이 구비된 능동 카메라를 이용한 물체 추적 장치 및 방법에 있어서 이러한 배경 보상은 필요하게 된다.
이하에서 본 발명의 일 실시예에 따른 두 영상간의 프로젝션 프로파일 매칭 을 통한 배경 보상법을 도면을 참조하여 상세하게 살펴 보도록 한다.
도 5a는 본 발명의 일 실시예에 따른 수직 방향의 히스토그램(Histogram) 생성을 도식화한 예시도이고, 도 5b는 수평 방향의 히스토그램 생성을 도식화한 예시도이다. 히스토그램(520, 540)은 관측한 데이터의 분포의 특징이 한눈에 보이도록 기둥 모양으로 나타낸 그래프로 본 발명에서는 이를 통해 영상 내 특정 행 혹은 열의 밝기 값의 분포를 판별하게 된다. 이러한 행, 열에 대한 히스토그램(520, 540)은 영상 내 모든 행과 열에 대해서 생성이 되는데 이때 모든 열과 행에 대한 히스토그램들을 수직 프로젝션 프로파일(Vertical Projection Profile)과 수평 프로젝션 프로파일(Horizontal Projection Profile)이라고 한다.
이하, 이를 기초로 하여 본 발명의 일 실시예에 따른 배경 보상 방법을 상술하도록 한다.
배경 보상을 하기 위해 처음으로 전술한 바 있는 프로젝션 프로파일 생성기(131)에서 히스토그램과 이를 통한 프로젝션 프로파일이 하기 수학식 1을 통해서 생성된다.
Figure 112007031062261-pat00001
Figure 112007031062261-pat00002
Figure 112007031062261-pat00003
Figure 112007031062261-pat00004
상기 수학식 1의 I 는 히스토그램 생성시에 입력되는 영상 정보이고,
L은 히스토그램의 레벨의 개수이다. 최대 밝기를 1로 하고 최소 밝기를 0으로 하였을 때 L만큼의 밝기 레벨의 개수를 지정하여 히스토그램을 생성한다. 즉, 0에서 1 사이의 밝기를 L개로 나누게 된다. 따라서 L이 크면 클수록 밝기 값 레벨이 세분화하게 된다.
W는 입력 영상의 폭(Width)으로 열의 수를 나타내고, H는 입력 영상의 높이(Height)로 행의 개수를 나타낸다. 그리고 위첨자 V는 수직 방향을, 위첨자 H 는 수평 방향을 나타낸다. 따라서
Figure 112008037718211-pat00124
는 영상 내 j 번째 열의 히스토그램이고,
Figure 112008037718211-pat00125
가 모든 열에 대해 생성이 된 것이
Figure 112008037718211-pat00126
즉, 최종적 영상의 수직방향 프로젝션 프로파일이 된다. 수평 방향의 히스토그램
Figure 112008037718211-pat00127
과 수평방향 프로젝션 프로파일
Figure 112008037718211-pat00128
도 이와 동일한 방식으로 생성된다. 상기와 같은 수직, 수평방향 프로젝션 프로파일
Figure 112008037718211-pat00129
,
Figure 112008037718211-pat00130
은 연속적인 두 프레임의 영상 각각에 대하여 생성된 후, 두 영상간의 변위차를 찾는데 사용된다.
이하, 두 영상간의 히스토그램을 비교하는 방법을 상술하도록 한다.
Figure 112007031062261-pat00012
Figure 112007031062261-pat00013
수학식 2의
Figure 112007031062261-pat00014
과
Figure 112007031062261-pat00015
은 수직, 수평 방향에서 히스토그램 간의 차를 나타낸다. 수학식 2에서 j 는 현재 영상 I t 의 열을 가리키고, j'는 이전 영상 I t-1 의 열을 가리킨다. 마찬가지로 i 는 현재 영상 I t 의 행을 가리키고, i'은 이전 영상 I t-1 의 행을 가리킨다. 본 발명의 일 실시예에 따르면 이렇게 수학식 2를 통해 얻어진 히스토그램의 차이를 이용하여 프로젝션 프로파일 간의 차이를 구하게 된다. 수학식 3은 카메라의 수형방향 이동에 따른 두 영상 간 프로젝션 프로파일의 차이를 구하기 위한 연산이다. 따라서 이를 참조하여 히스토그램의 차이에서 프로젝션 프로파일간의 차이를 구하는 방법을 상술하도록 한다.
Figure 112007031062261-pat00016
Figure 112007031062261-pat00017
수학식 3에서 I t-1 는 이전 영상, I t 는 현재 영상, dx 는 이전 영상과 현재 영상 간의 수평 방향 변위차, dy 는 이전 영상과 현재 영상 간의 수직 방향 변위차이다.
이하, 도 6을 참조하여 상기의 식이 어떤 의미를 갖는지를 수평 방향의 경우를 예를 들어 설명한다. 도 6은 프로젝션 프로파일 간의 차이를 구하는 방법에 대한 예시도이다. 이때 기준 방향을 수평 방향의 경우 오른쪽으로 수직방향의 경우 위쪽으로 정한다면, 도 6a는 현재 프레임(620)이 이전 프레임(630) 보다 오른쪽 위쪽으로 이동하였으므로 dx > 0, dy > 0 이다. 도 6b는 현재 프레임이 이전 프레임 보다 오른쪽 아래로 이동하였으므로 dx > 0, dy < 0 이다. 도 6c는 현재 프레임이 왼쪽 아래쪽으로 이동하였으므로 dx < 0 dy < 0 이다. 도 6d는 현재 프레임이 왼쪽 위쪽으로 이동하였으므로 dx < 0, dy > 0 이다. 이하 좀 더 간단한 설명을 위해 도 6a에서 dy 가 0인 경우, 즉 수평방향의 이동만 있는 경우를 가정하여 설명한다. 이때, 수직 방향의 경우 역시 수평 방향의 경우와 마찬가지임은 자명하므로 이에 대한 자세한 설명은 생략하도록 한다.
전술한 바와 같이 W는 입력 영상의 폭이고 dx (640)는 두 영상간의 수평 방향 변위차이다. 수학식 3을 이용하여 프로젝션 프로파일의 차이를 계산하는데 있어 도 6a에서와 같이 dx (640)가 0보다 큰 경우, 즉 현재 프레임(620)이 이전 프레임(630)을 기준으로 오른쪽 방향으로 dx (640)만큼 이동을 하였다고 가정한다. 이때 배경(610)은 고정되어 있다고 하자. 프로젝션 프로파일 차이 계산의 목적은 두 영상간의 변위차 dx (640)를 계산하는 것이므로 두 영상 간의 공통 영역(650)에 대해서만 프로젝션 프로파일 차이가 계산 되어야 한다. 이러한 공통 영역(650)을 가리키는 부분은 현재 프레임(620)을 기준으로 하여 0 ~ W-1-dx 가 된다. 따라서 프레임간의 이동이 크면 클수록 dx (640)는 커지게 되고 공통 영역(650)은 작아지게 된다. dx (640)가 0보다 클 경우는 현재 프레임(620)을 기준으로 하고 dx 가 0보다 작을 경우에는 이전 프레임(630)을 기준으로 하게 된다. 즉, dx (640)가 0보다 클 경우에는 현재 프레임의 0번째 열부터 W-1-dx 번째 열까지 까지, 0보다 작을 경우에는 이전 프레임의 0번째 열부터 W-1-dx 번째 열까지 히스토그램 차를 구하게 된다. 이와 같은 방법을 수직 방향의 이동이 있는 경우에도 적용한다면 수학식 3과 같이 유도 됨은 전술 했듯 자명하다.
수학식 3과 같이 프로젝션 프로파일의 차이를 계산함에 있어서 그 값이 최소 가 될 때의 값이 배경이 일치하는 값이며 이는 곧 카메라의 변위 값이라 할 수 있다. 배경 보상을 위해서는 카메라의 변위 값을 아는 것이 필수적인 과정이므로 D V (P V (I t-1 ), P V (I t ), dx)와 D H (P H (I t-1 ), P H (I t ), dy)가 최소값을 가질 때의 수평 방향의 변위차 dx 와 수직 방향의 변위차 dy 를 구하면 이것이 곧 카메라의 변위에 따른 이전 프레임과 현재 프레임 간의 변위 값이 된다. 이 과정은 수학식 4를 참조하여 상술하도록 한다.
Figure 112007031062261-pat00018
Figure 112007031062261-pat00019
이때 argmin 연산에서 arg는 argument의 약자, min은 minimum의 약자이다. 따라서 수학식 3에서 프로젝션 프로파일 차 D V (P V (I t-1 ), P V (I t ), dx), D H (P H (I t-1 ), P H (I t ), dy) 의 값이 각각 최소가 되게 하는
Figure 112007031062261-pat00020
와
Figure 112007031062261-pat00021
를 말한다. 그리고 이때 말하는 dx 과 dy 은 각각 최소값을 갖는 D V (P V (I t-1 ), P V (I t ), dx) 와 D H (P H (I t-1 ), P H (I t ), dy)를 찾기 위하여 대입하게 되는 -W 에서 W 와 -H 에서 H의 범위를 가지는 값을 말한다. 즉, dx 과 dy 을 대입하여 최소값일 때의
Figure 112007031062261-pat00022
,
Figure 112007031062261-pat00023
를 찾는 것으로 dx 과 dy 는 각각 최적의
Figure 112007031062261-pat00024
,
Figure 112007031062261-pat00025
를 찾기 위해 임시적으로 적용하는 변수라고 볼 수 있다.
이와 같이 수학식 1 내지 4를 통해 찾은 카메라의 이동에 따른 이전 프레임과 현재 프레임 영상의 변위차
Figure 112007031062261-pat00026
,
Figure 112007031062261-pat00027
를 차감 연산 시 적용하게 된다. 즉, 프레임 영상의 변위차
Figure 112007031062261-pat00028
,
Figure 112007031062261-pat00029
를 이용하여 카메라의 이동으로 인한 배경의 움직임이 보상된 두 인접 영상간의 차감 연산을 실시하게 되며 그 연산은 하기와 같다.
Figure 112007031062261-pat00030
즉, 상기 수학식 5는 상기 수학식 1,2,3,4의 과정을 통하여 배경이 보상된 이전 프레임과 현재 프레임간의 차감영상을 통하여 배경이 움직임이 제거되고 순수 물체의 움직임만 나타나는 차감영상을 얻는 것이다. 결과적으로 이렇게 차감 연산을 통해 생성된 차감 영상을 통해 물체를 추적할 수 있게 된다.
수학식 5를 통해 생성된 IFD t (x,y)은 배경 보상에 따른 잡음이 생길 수 있으므로, 잡음 제거 필터를 통해 잡음을 제거하게 되면 보다 선명한 영상으로 물체를 추적할 수 있다. 아래의 수학식 6은 잡음 제거 필터의 연산 과정을 나타낸다.
Figure 112007031062261-pat00031
,
Figure 112007031062261-pat00032
,
Figure 112007031062261-pat00033
수학식 6에서 나와 있듯, 잡음 제거를 위해서는 세가지 연산을 행하게 된다. 먼저, Bin_IFD t (x,y)은 각 화소 별로 IFD t (x,y) 값이 설정되어 있는 문턱치 값 T보다 크면 움직임이 있다고 판단하고, T와 같거나 T보다 작으면 잡음으로 인식하여 무시한다. 다음으로 이렇게 얻어진 Bin_IFD t (x,y)을 마스크 객체 S로 이진 영상의 모폴로지(Morphology) 연산 중 축소와 확장을 통한 오프닝(Opening) 연산을 수행하게 된다. 이러한 오프닝 연산을 통해 S보다 작은 부분은 제거가 되어 영상 내에 잡음을 제거할 수 있게 된다. 그리고 S는 응용 환경에 따라 자유롭게 설정이 가능하다. 그리고 나서 마지막으로 다시 Open_IFD t (x,y)에 가우시안 커널 G 를 사용하여 스무스(Smooth) 필터 처리를 한다. MM t 는 Motion Measurement의 약어로 영상 내 MM t 가 0이면 움직임이 없고, 1이면 움직임이 있다는 것을 나타낸다.
이하, 도 7을 참조하여 전술한 바 있는 모폴로지 연산과 오프닝 연산에 대해 자세히 살펴보도록 한다. 도 7은 본 발명의 일 실시예에 따른 물체 추적 장치 및 방법에서의 잡음 제거 연산에 대한 예시도 이다.
모폴로지 연산은 0 혹은 1의 값을 가지는 이진 영상에 대한 AND, OR 같은 집합연산을 의미한다. 이러한 모폴로지 연산 종류 중 하나가 오프닝 연산이고 이들을 설명하기 위해 침식(erosion)과 팽창(dilation)를 먼저 설명하기로 한다.
원본영상(720, 750)에 대하여 특정 모양의 마스크(710, 740)를 가지고 침식과 축소 연산을 수행하여 영상을 전체적으로 침식시키거나 팽창시킬 수 있다. 원본영상(720)에 대하여 3×3 크기의 직사각형 형태의 마스크(710)를 가지고 침식을 시킨 후 처리 영상(730)을 보면 '1'의 영역이 축소되어있는 것을 알 수 있다. 원본영상(720)에 대하여 3×3 크기의 직사각형 형태의 침식 마스크(710)를 적용한다고 가정한다. 마스크를 올려놓은 영역이 모두 '1'이 아니라면 해당 픽셀 값은 '0'으로 변하게 되는데 이는 AND 연산과 동일하다. 따라서 원본영상(720)에 비해 침식 처리 영상(730)의 '1'의 영역이 축소되게 된다.
팽창의 경우는 위의 침식의 경우와 반대이다. 원본영상(750)에 '1'이 위치한 위치에 마스크(740)를 올려놓아서 마스크의 영역에 해당하는 기존의 '0'을 '1'로 변화시킨다. 즉, 마스크(740)의 3×3 영역에 '1'이 최소한 한 개라도 속해 있다면 그 마스크(740)의 영역은 모두 '1'로 변하게 되는데 이는 OR연산과 동일하다. 따라서 원본영상(750)에 비해 팽창 처리 영상(760)의 '1'의 영역이 팽창된다
위를 참고로 하여 오프닝(Opening)연산에 대해 살펴보면, 오프닝(Opening)은 원본 영상에 대하여 침식을 수행하고 이를 다시 팽창시키는 것이다. 이렇게 하면 침식을 통해 영상 내 점 형태로 나타나는 잡음이 제거되고, 팽창을 통해 축소되었던 '1'을 가지는 영역의 크기가 다시 원래와 유사하게 복원된다.
본 발명에서의 일 실시예에 따르면 '1'이 영상 내 차감 영상을 통하여 얻어진 움직임 검출 영역이므로 이러한 오픈 연산을 통하여 의미 있는 움직임 영역의 크기와 형태는 유지하면서 점 형태의 잡음을 제거할 수 있게 된다.
상기 수학식 1 내지 6을 이용하여 최종적으로 검출된 영상 내 물체의 움직임 영상 MM t 를 필터(150)의 입력영상으로 사용하게 된다. 입자필터를 이용한 물체추적의 내용은 특허등록 제 0635883호 "실시간 물체 추적 방법 및 장치"의 내용으로 당업자에게 자명한 공지 기술이므로 자세한 설명은 생략하고 간략히 설명하기로 한다.
입자필터(150)는 확률적 접근 방법의 범주에 속하는 구성요소로써, 가중치가 부여된 N개의 입자는
Figure 112007031062261-pat00034
으로 표현되며,
Figure 112007031062261-pat00035
는 시간 t에서 i 번째 입자의 상태를,
Figure 112007031062261-pat00036
는 가중치를 의미한다.
이때,
Figure 112007031062261-pat00037
의 상태로는 움직이는 물체의 위치, 속도, 회전각 등이 될 수 있다. 그리고 측정값 Z t 는 영상 콘트라스트(Image Contrast), 차감 영상(Digital Image Subtraction), 엣지 실루엣(Edge-detected Silhouette), 2D 또는 3D 윤곽(Contours), RGB 또는 HSV 컬러(Color) 등이 될 수 있다.
입자필터의 기본 추적 알고리즘은 다음과 같다.
주어진 입자
Figure 112007031062261-pat00038
로부터, 새로운 입자
Figure 112007031062261-pat00039
을 구하고, 가중치
Figure 112007031062261-pat00040
와 누적 i분포(Cumulative Distribution)
Figure 112007031062261-pat00041
을 초기화 한다.
1) 다음의 방법으로 샘플
Figure 112007031062261-pat00042
을 선택한다.
A. 균일하게 분포된 랜덤 수(Random Number)
Figure 112007031062261-pat00043
을 발생시킨다.
B.
Figure 112007031062261-pat00044
인 최소 j 을 찾는다.
C.
Figure 112007031062261-pat00045
을 설정한다.
2)
Figure 112007031062261-pat00046
을 얻기 위해 샘플링으로부터 예측한다.
Figure 112007031062261-pat00047
Figure 112007031062261-pat00048
3) 물체의 특징을 측정하고, 가중치를 갱신한다.
Figure 112007031062261-pat00049
Figure 112007031062261-pat00050
이 되도록 만들고 누적 본포
Figure 112007031062261-pat00051
을 계산한다. 그리고
Figure 112007031062261-pat00052
을 갱신한다. 그리고 하기 수학식 9에 의해, 모든 입자가 갱신된 후 추적된 위치를 평가한다.
Figure 112007031062261-pat00053
상태 정보는 입자의 군집이 되므로 입자의 평균값(Mean Value)이나 역 공분산 행렬(Inverse Covariance Matrix)의 신뢰 영역(Confidence Region)을 선택 한다. 예를 들어, 상태(State)의 한 요소인, 추적 물체의 평균 위치는 다음 물체의 무게 중심 추정을 위한 갱신을 위해 측정된다.
이렇게 측정된 현재 영상 내 추적 물체의 위치는 카메라 모션 제어기(160)으로 전달되고, 카메라 모션 제어기(160)는 이를 바탕으로 물체가 카메라 시야의 중심에 위치하도록 카메라의 움직임 방향과 속도를 제어한다. 때문에 빠른 속도의 넓은 움직임을 보이는 물체에 대해서도 놓치는 일 없이 연속적인 추적이 가능하다.
이하, 도 8a 내지 8f를 참조하여 본 발명의 일 실시예에 따른 물체 추적 장치의 추적 결과를 살펴 본다. 도 8a 내지 8f는 팬틸트 기능이 구비된 카메라를 이용한 물체 추적 장치의 실제 추적 결과를 도시한 예시도로 사람의 손의 움직임을 감지하여 추적을 하고 있는 모습을 나타내고 있다. 도면 중 흰색 점(830)은 입자를 나타내며 흰색 십자모양(820)은 입자들의 중심점을 이를 바탕으로 최종적인 추적기를 나타내는 것이 흰색 네모 박스(810)이다. 추적기는 상기한 바와 같이 물체의 이동방향에 따라 카메라가 피사체인 사람을 중심으로 오른쪽으로 이동하고 있다. 즉, 손이 좌우 횡 방향으로 크게 움직이고 있음에도 불구하고 연속적으로 추적하고 있음을 알 수 있다.
상술한 바와 같이, 본 발명에 의한 능동 카메라를 이용한 물체 추적 방법 및 장치에 의하면, 능동 카메라를 사용하는 복잡한 추적 환경 하에서도 빠르게 움직이는 물체를 시간적인 지연 없이 추적할 수 있다.
그리고, 입력 영상으로부터 이동하는 물체를 추적하는 영상과 그 물체의 좌표 정보를 얻을 수 있으며, 이를 하드웨어로 간단하게 구현할 수 있어 비디오카메라, 디지털카메라, 카메라 핸드폰 등과 같은 기기에 적용하기가 용이하다는 효과가 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 보정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (22)

  1. 카메라로부터 입력되는 영상에서 움직이는 물체를 추적하는 장치에 있어서,
    상기 카메라로부터 입력되는 영상에 상응하는 영상 정보를 출력하는 카메라 영상 제어기;
    상기 영상 정보가 저장되는 영상 저장 메모리;
    상기 영상 저장 메모리에 저장된 하나 이상의 영상 정보를 분석하여 상기 카메라의 움직임에 따른 배경의 변화를 보상해 주는 배경 보상기;
    상기 배경 보상기에 의해 보상된 복수의 영상 정보간의 차감 연산을 수행하는 영상 차감기;
    상기 차감 영상을 이용하여 물체추적을 수행하는 입자필터; 및
    상기 입자필터의 물체추적 수행 결과를 토대로 상기 카메라의 움직임을 제어하는 카메라 모션 제어기를 포함하는 카메라를 이용한 물체 추적 장치.
  2. 제1항에 있어서,
    상기 카메라는 능동 카메라인 것을 특징으로 하는 카메라를 이용한 물체 추적 장치.
  3. 제1항에 있어서,
    상기 영상 저장 메모리에는 프레임 단위의 영상 정보가 순차적으로 저장되는 것을 특징으로 하는 카메라를 이용한 물체 추적 장치.
  4. 제1항에 있어서,
    상기 영상 차감기에서 생성된 차감 영상의 잡음을 제거하는 잡음 제거 필터를 더 포함하는 것을 특징으로 하는 카메라를 이용한 물체 추적 장치.
  5. 제1항에 있어서,
    상기 배경 보상기는,
    상기 영상 저장 메모리에 저장된 이전 프레임과 현재 프레임의 영상 정보에 대하여 수직 및 수평 프로젝션 프로파일 생성하는 프로젝션 프로파일 생성기;
    상기 현재 프레임의 프로젝션 프로파일과 상기 이전 프레임의 프로젝션 프로파일간의 차이값을 계산하는 프로젝션 프로파일 매칭기; 및
    상기 프로젝션 프로파일 매칭기의 결과를 분석하여 상기 카메라의 움직임에 따른 배경의 변화를 측정하여 보상하는 변위차 계산기를 포함하는 것을 특징으로 하는 카메라를 이용한 물체 추적 장치.
  6. 제5항에 있어서,
    상기 프로젝션 프로파일 생성기에서 프로젝션 프로파일을 생성하는 연산식은
    Figure 112008037718211-pat00131
    Figure 112008037718211-pat00132
    Figure 112008037718211-pat00133
    Figure 112008037718211-pat00134
    이고,
    I 는 히스토그램 생성시에 입력되는 영상 정보, L 은 히스토그램의 레벨의 개수, W 는 입력 영상의 폭으로 열의 수, H 는 입력 영상의 높이, 위첨자 V 는 수직 방향, 위첨자 H 는 수평 방향,
    Figure 112008037718211-pat00135
    는 영상 내 j 번째 열의 히스토그램이고,
    Figure 112008037718211-pat00136
    가 모든 열에 대해 생성된 수직방향 프로젝션 프로파일이
    Figure 112008037718211-pat00137
    ,
    Figure 112008037718211-pat00138
    는영상 내 i 번째 행의 히스토그램,
    Figure 112008037718211-pat00139
    가 모든 행에 대해 생성된 수평방향 프로젝션 프로파일이
    Figure 112008037718211-pat00140
    인 것을 특징으로 하는 카메라를 이용한 물체 추적 장치.
  7. 제6항에 있어서,
    상기 프로젝션 프로파일 매칭기가 현재와 이전 프레임 간의 히스토그램을 비교하는 연산식은
    Figure 112007031062261-pat00063
    Figure 112007031062261-pat00064
    이고,
    Figure 112007031062261-pat00065
    은 수직방향의 히스토그램 간의 차,
    Figure 112007031062261-pat00066
    는 수평방향의 히스토그램 간의 차, j 는 현재 영상 I t 의 열, j' 는 이전 영상 I t-1 의 열 i 는 현재 영상 I t 의 행, i' 은 이전 영상 I t-1 의 행인 것을 특징으로 하는 카메라를 이용한 물체 추적 장치.
  8. 제7항에 있어서,
    상기 프로젝션 프로파일 매칭기가 현재와 이전 프레임간의 프로젝션 프로파일의 차이를 구하는 연산식은
    Figure 112007031062261-pat00067
    Figure 112007031062261-pat00068
    이며,
    여기서, D V (P V (I t-1 ), P V (I t ), dx) 는 수직 방향의 프로젝션 프로파일의 차, D H (P H (I t-1 ), P H (I t ), dy) 는 수평 방향의 프로젝션 프로파일의 차, dx 는 수평 방향의 변위차, dy 는 수직 방향의 변위차임을 특징으로 하는 카메라를 이용한 물체 추적 장치
  9. 제8항에 있어서,
    상기 프로젝션 프로파일 매칭기가 현재와 이전 프레임간의 프로젝션 프로파일의 매칭값을 얻는 연산식은
    Figure 112008037718211-pat00141
    Figure 112008037718211-pat00142
    이며,
    여기서 argmin은 상기 프로젝션 프로파일의 차 DV (PV (It-1 ), PV (It ), dx) 와 DH (PH (It-1 ), PH (It ), dy) 의 값이 최소가 되게 하는 상기 프로젝션 프로파일의 매칭값인
    Figure 112008037718211-pat00143
    와
    Figure 112008037718211-pat00144
    값을 찾는 함수이며 dx 와 dy 는 각각 최적의
    Figure 112008037718211-pat00145
    와
    Figure 112008037718211-pat00146
    를 찾기 위해 -W 에서 W, -H 에서 H 의 범위에서 임시적으로 대입하게 되는 변수임을 특징으로 하는 카메라를 이용한 물체 추적 장치.
  10. 제9항에 있어서,
    상기 영상 차감기가 상기 배경 보상기를 통해 상기 카메라의 움직임에 의한 배경의 변화가 보상된 영상간의 차감 연산을 수행하는 연산식은
    Figure 112007031062261-pat00075
    이며,
    여기서, I t 는 현재 프레임의 영상 정보, I t-1 는 이전 프레임의 영상 정보임을 특징으로 하는 카메라를 이용한 물체 추적 장치.
  11. 제10항에 있어서,
    상기 영상 차감기에서 생성된 차감 영상의 잡음을 제거하는 잡음 제거 필터를 더 포함하되,
    상기 잡음 제거 필터가 상기 차감 영상의 잡음을 제거하는 연산식은
    Figure 112007031062261-pat00076
    ,
    Figure 112007031062261-pat00077
    ,
    Figure 112007031062261-pat00078
    ,
    이며,
    여기서, T는 문턱치 값, Open_IFD t (x,y)는 오프닝 연산, G는 가우시안 커널, S는 마스크 객체, MM t 는 Motion measurement의 약자로서 MM t 가 0이면 움직임이 없고, MM t 가1이면 움직임이 있다는 것을 나타내는 것을 특징으로 하는 카메라를 이용한 물체 추적 장치
  12. 카메라로부터 입력되는 영상 정보로부터 움직이는 물체를 추적하는 방법에 있어서,
    상기 카메라로부터 영상 정보가 입력되는 단계;
    상기 영상 정보가 저장되는 단계;
    상기 저장된 하나 이상의 영상 정보를 분석하여 카메라의 움직임에 따른 배경의 변화를 보상하는 단계;
    상기 카메라의 움직임에 의한 배경의 변화가 보상된 영상간의 차감 영상을 생성하는 단계;
    상기 차감 영상을 이용하여 물체 추적을 수행하는 단계; 및
    상기 수행된 물체 추적 결과를 토대로 상기 카메라의 움직임을 제어하는 단계를 포함하는 카메라를 이용한 물체 추적 방법.
  13. 제12항에 있어서,
    상기 카메라는 능동 카메라인 것을 특징으로 하는 카메라를 이용한 물체 추적 방법.
  14. 제12항에 있어서,
    상기 영상 정보가 저장되는 단계는 프레임 단위의 영상 정보가 순차적으로 저장되는 것임을 특징으로 하는 카메라를 이용한 물체 추적 방법.
  15. 제12항에 있어서,
    상기 차감 영상의 잡음을 제거하는 단계를 더 포함하는 것을 특징으로 하는 카메라를 이용한 물체 추적 방법.
  16. 제12항에 있어서,
    상기 배경의 변화를 보상하는 단계는,
    상기 저장된 영상 정보 중 이전 프레임과 현재 프레임에 대하여 수직 및 수평 프로젝션 프로파일 생성하는 단계;
    상기 수직 및 수평 프로젝션 프로파일에 대하여 상기 현재 프레임과 상기 이전 프레임의 프로젝션 프로파일 간의 차이 값이 최소가 되는 프로젝션 프로파일 매칭값을 계산하는 단계; 및
    상기 프로젝션 프로파일 매칭값을 분석하여 카메라의 움직임에 따른 배경의 변화를 보상하는 단계를 포함하는 것을 특징으로 하는 카메라를 이용한 물체 추적 방법.
  17. 제16항에 있어서,
    상기 프로젝션 프로파일을 생성하는 연산식은,
    Figure 112008037718211-pat00147
    Figure 112008037718211-pat00148
    Figure 112008037718211-pat00149
    Figure 112008037718211-pat00150
    이고,
    I 는 히스토그램 생성시에 입력되는 영상 정보, L 은 히스토그램의 레벨의 개수, W 는 입력 영상의 폭으로 열의 수, H 는 입력 영상의 높이, 위첨자 V 는 수직 방향, 위첨자 H 는 수평 방향,
    Figure 112008037718211-pat00151
    는 영상 내 j 번째 열의 히스토그램이고,
    Figure 112008037718211-pat00152
    가 모든 열에 대해 생성이 된 수직방향 프로젝션 프로파일이
    Figure 112008037718211-pat00153
    ,
    Figure 112008037718211-pat00154
    는 영상 내 i 번째 행의 히스토그램,
    Figure 112008037718211-pat00155
    가 모든 행에 대해 생성된 수평방향 프로젝션 프로파일이
    Figure 112008037718211-pat00156
    인 것을 특징으로 하는 카메라를 이용한 물체 추적 방법.
  18. 제17항에 있어서,
    상기 프로젝션 프로파일을 이용하여 현재와 이전 프레임 간의 히스토그램을 비교하는 연산식은
    Figure 112007031062261-pat00088
    Figure 112007031062261-pat00089
    이고,
    Figure 112007031062261-pat00090
    은 수직방향의 히스토그램 간의 차,
    Figure 112007031062261-pat00091
    는 수평방향의 히스토그램 간의 차, j 는 현재 영상 I t 의 열, j' 는 이전 영상 I t-1 의 열 i 는 현재 영상 I t 의 행, i' 은 이전 영상 I t-1 의 행인 것을 특징으로 하는 카메라를 이용한 물체 추적 방법.
  19. 제18항에 있어서,
    상기 히스토그램의 차에서 현재와 이전 프레임간의 프로젝션 프로파일의 차이를 구하는 연산식은
    Figure 112007031062261-pat00092
    Figure 112007031062261-pat00093
    이며,
    여기서, D V (P V (I t -1 ), P V (I t ), dx) 는 수직 방향의 프로젝션 프로파일의 차, D H (P H (I t-1 ), P H (I t ), dy) 는 수평 방향의 프로젝션 프로파일의 차, dx 는 수평 방향의 변위차, dy 는 수직 방향의 변위차임을 특징으로 하는 카메라를 이용한 물체 추적 방법.
  20. 제19항에 있어서,
    상기 프로젝션 프로파일 차에서 현재와 이전 프레임간의 프로젝션 프로파일의 매칭값을 얻는 연산식은
    Figure 112008037718211-pat00157
    Figure 112008037718211-pat00158
    이며,
    여기서, argmin은 상기 프로젝션 프로파일의 차 DV (PV (It-1 ), PV (It ), dx) 와 DH (PH (It-1 ), PH (It ), dy) 의 값이 최소가 되게 하는 상기 프로젝션 프로파일의 매칭값인
    Figure 112008037718211-pat00159
    와
    Figure 112008037718211-pat00160
    값을 찾는 함수이며 dx 와 dy 는 각각 최적의
    Figure 112008037718211-pat00161
    와
    Figure 112008037718211-pat00162
    를 찾기 위해 -W 에서 W, -H 에서 H 의 범위에서 임시적으로 대입하게 되는 변수임을 특징으로 하는 카메라를 이용한 물체 추적 방법.
  21. 제20항에 있어서,
    상기 영상 차감기가 상기 배경 보상기를 통해 상기 카메라의 움직임에 의한 배경의 변화가 보상된 영상간의 차감 연산을 수행하는 연산식은
    Figure 112007031062261-pat00100
    이며,
    여기서, I t 는 현재 프레임의 영상 정보, I t-1 는 이전 프레임의 영상 정보임을 특징으로 하는 카메라를 이용한 물체 추적 방법.
  22. 제20항에 있어서,
    상기 차감 영상의 잡음을 제거하는 잡음 제거 단계를 더 포함하되,
    상기 잡음 제거 필터가 상기 차감 영상의 잡음을 제거하는 연산식은
    Figure 112007031062261-pat00101
    ,
    Figure 112007031062261-pat00102
    ,
    Figure 112007031062261-pat00103
    이며,
    여기서, T는 문턱치 값, Open_IFD t (x,y)는 오프닝 연산, G는 가우시안 커널, S는 마스크 객체, MM t 는 Motion measurement의 약자로서 MM t 가 0이면 움직임이 없고, MM t 가1이면 움직임이 있다는 것을 나타내는 것을 특징으로 하는 카메라를 이용한 물체 추적 방법
KR1020070040025A 2007-04-24 2007-04-24 능동 카메라를 이용한 물체 추적 방법 및 장치 KR100849499B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070040025A KR100849499B1 (ko) 2007-04-24 2007-04-24 능동 카메라를 이용한 물체 추적 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070040025A KR100849499B1 (ko) 2007-04-24 2007-04-24 능동 카메라를 이용한 물체 추적 방법 및 장치

Publications (1)

Publication Number Publication Date
KR100849499B1 true KR100849499B1 (ko) 2008-07-31

Family

ID=39825540

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070040025A KR100849499B1 (ko) 2007-04-24 2007-04-24 능동 카메라를 이용한 물체 추적 방법 및 장치

Country Status (1)

Country Link
KR (1) KR100849499B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101451133B1 (ko) * 2010-02-10 2014-10-15 삼성테크윈 주식회사 모션 트래킹을 위한 영상 처리 방법 및 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR910007699B1 (ko) * 1988-01-27 1991-09-30 가부시끼가이샤 도시바 색수상관 새도우마스크 제조방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR910007699B1 (ko) * 1988-01-27 1991-09-30 가부시끼가이샤 도시바 색수상관 새도우마스크 제조방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101451133B1 (ko) * 2010-02-10 2014-10-15 삼성테크윈 주식회사 모션 트래킹을 위한 영상 처리 방법 및 장치

Similar Documents

Publication Publication Date Title
US9191589B2 (en) Image processing device
JP4217876B2 (ja) 画像における移動物体の追跡方法及び装置
US7982774B2 (en) Image processing apparatus and image processing method
KR101159082B1 (ko) 반복적 질량 중심을 이용하는 로버스트 카메라 팬 벡터 측정
KR20100107594A (ko) 적응적인 칼만필터를 이용한 영상 안정화 장치 및 방법
JP2001285695A (ja) 移動体追尾方法及びその装置
JPS62125478A (ja) 移動物体像を抽出する方法
CN104700430A (zh) 机载显示器的运动检测方法
KR19990001024A (ko) 표적 추적 방법 및 장치
JP2016081251A (ja) 画像処理装置および画像処理方法
WO2010113417A1 (ja) 移動物体追跡装置、移動物体追跡方法および移動物体追跡プログラム
JPWO2014069103A1 (ja) 画像処理装置
Nallasivam et al. Moving human target detection and tracking in video frames
JP2000048211A (ja) 移動物体追跡装置
CN108270945A (zh) 一种运动补偿去噪方法及装置
Qin et al. GPU-accelerated video background subtraction using Gabor detector
KR100635883B1 (ko) 실시간 물체 추적 장치
KR100849499B1 (ko) 능동 카메라를 이용한 물체 추적 방법 및 장치
CN116883897A (zh) 一种低分辨率目标识别方法
JP2016081252A (ja) 画像処理装置および画像処理方法
CN111768427A (zh) 一种多运动目标跟踪方法、装置及存储介质
Wu et al. Video object tracking method based on normalized cross-correlation matching
JPH1098644A (ja) 動き検出装置
KR101480824B1 (ko) 다중 호모그래피 기법을 이용한 배경 움직임 보상 방법
US11457158B2 (en) Location estimation device, location estimation method, and program recording medium

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130603

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20140617

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee