KR101035055B1 - 이종 카메라를 이용한 객체 추적 시스템 및 방법 - Google Patents

이종 카메라를 이용한 객체 추적 시스템 및 방법 Download PDF

Info

Publication number
KR101035055B1
KR101035055B1 KR1020090056621A KR20090056621A KR101035055B1 KR 101035055 B1 KR101035055 B1 KR 101035055B1 KR 1020090056621 A KR1020090056621 A KR 1020090056621A KR 20090056621 A KR20090056621 A KR 20090056621A KR 101035055 B1 KR101035055 B1 KR 101035055B1
Authority
KR
South Korea
Prior art keywords
image
camera
image data
shape
object tracking
Prior art date
Application number
KR1020090056621A
Other languages
English (en)
Other versions
KR20100138202A (ko
Inventor
김승훈
백인호
전세웅
김영욱
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020090056621A priority Critical patent/KR101035055B1/ko
Publication of KR20100138202A publication Critical patent/KR20100138202A/ko
Application granted granted Critical
Publication of KR101035055B1 publication Critical patent/KR101035055B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/564—Depth or shape recovery from multiple images from contours
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/97—Matching pursuit coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 이종 카메라를 이용한 객체 추적 장치 및 방법에 관한 것으로, 이종 카메라를 이용하여 획득한 두 개의 객체 정보를 조합하여 정확한 객체를 추출하여 추적하기 위한 것이다. 본 발명에 따르면, 객체 추적 장치가 영상 카메라 및 적외선 카메라로 각각 객체를 촬영하여 제1 및 제2 영상 데이터를 획득한다. 객체 추적 장치가 제1 영상 데이터에서 객체의 움직임을 감지하여 객체의 형태를 추정한 제1 형태 정보를 산출한다. 객체 추적 장치가 제2 영상 데이터에서 객체의 온도와 배경의 온도의 차이를 이용하여 배경에서 객체를 분리하여 객체의 형태를 추정한 제2 형태 정보를 산출한다. 그리고 객체 추적 장치가 제1 및 제2 형태 정보를 조합하여 추적할 객체를 결정한다. 이때 추적할 객체를 결정할 때, 객체 추적 장치는 제1 및 제2 형태 정보와 더불어 객체의 자세 정보를 함께 고려할 수 있다.
Figure R1020090056621
객체, 이종, 영상, 적외선, 정합, 추적

Description

이종 카메라를 이용한 객체 추적 시스템 및 방법{System and method of tracking object using different kind camera}
본 발명은 객체 추적 시스템 및 방법에 관한 것으로, 더욱 상세하게는 이종 카메라를 이용하여 획득한 객체 정보를 조합하여 정확한 객체를 추출하여 추적할 수 있는 이종 카메라를 이용한 객체 추적 시스템 및 방법에 관한 것이다.
객체 추적 시스템은 촬영한 객체의 영상으로부터 관심 영역(ROI; Region of interest)을 추출하고, 추출한 관심 영역의 정보를 분석하여 객체의 위치를 추적하는 시스템으로, 영상 카메라 기반에서 객체의 움직임을 감지하여 기록하는 기능을 수행한다.
이와 같은 종래의 객체 추적 시스템은 단일 영상 카메라를 이용하여 객체를 추적하기 때문에, 복잡한 환경에서는 정확한 객체를 추출하는 데 많은 어려움이 있다. 특히 얼굴, 사람, 형상 등과 같은 객체의 형상은 환경의 변화, 움직임의 형태에 따라 색상, 모양, 배경 등 환경적 변화와 중복(occlusion), 가림현상 등에 의해 단일 영상 카메라로는 추출하기가 쉽지 않다.
또한 객체 추적 시스템은 제한된 시야범위(field of view; FOW)를 갖는 단일 영상 카메라를 사용하기 때문에, 추적 중인 객체의 전체 혹은 부분이 해당 FOV를 벗어나면 추적을 지속할 수 없는 문제점을 안고 있다.
따라서, 본 발명의 목적은 객체의 위치 및 형상을 정확히 추출하여 추적할 수 있는 이종 카메라를 이용한 객체 추적 시스템 및 방법을 제공하기 위한 것이다.
본 발명의 다른 목적은 제한된 시야범위로 인한 객체 추적 실패를 최소화할 수 있는 이종 카메라를 이용한 객체 추적 시스템 및 방법을 제공하기 위한 것이다.
상기 목적을 달성하기 위하여, 본 발명은 객체 추적 장치가 영상 카메라 및 적외선 카메라로 각각 객체를 촬영하여 제1 및 제2 영상 데이터를 획득하는 획득 단계, 상기 객체 추적 장치가 상기 제1 영상 데이터에서 상기 객체의 움직임을 감지하여 상기 객체의 형태를 추정하여 제1 형태 정보를 산출하는 제1 추정 단계, 상기 객체 추적 장치가 상기 제2 영상 데이터에서 상기 객체의 온도와 배경의 온도의 차이를 이용하여 상기 배경에서 상기 객체를 분리하여 상기 객체의 형태를 추정하여 제2 형태 정보를 산출하는 제2 추정 단계 및 상기 객체 추적 장치가 상기 제1 및 제2 형태 정보를 조합하여 추적할 객체를 결정하는 결정 단계를 포함하는 이종 카메라를 이용한 객체 추적 방법을 제공한다. 이때 객체는 사람일 수 있다.
본 발명에 따른 객체 추적 방법에 있어서, 상기 제2 추정 단계 이후에 수행되는 상기 객체 추적 장치가 추정한 상기 제2 형태 정보로부터 상기 객체의 외곽선을 검출하는 검출 단계, 상기 객체 추적 장치가 상기 검출한 외곽선을 이용하여 상기 객체의 자세를 판단하는 자세 판단 단계를 더 포함할 수 있다. 이때 상기 결정 단계에서 상기 객체 추적 장치는 상기 객체의 자세 정보를 기반으로 추적할 객체를 결정할 수 있다.
본 발명에 따른 객체 추적 방법에 따른 상기 자세 판단 단계에서, 상기 객체의 자세는 선 자세, 앉은 자세 또는 누운 자세 중에 하나이다.
본 발명에 따른 객체 추적 방법에 있어서, 상기 객체 추적 장치가 회전 모듈에 상하로 장착된 상기 영상 카메라 및 적외선 카메라를 조정하여 상기 객체를 촬영 및 추적한다. 상기 회전 모듈은 팬/틸트(pan/tilt) 기능을 수행하며, 상기 영상 카메라 및 적외선 카메라는 줌(zoom) 기능을 수행한다.
본 발명에 따른 객체 추적 방법에 따른 상기 결정 단계는, 상기 객체 추적 장치가 추정한 상기 제1 및 제2 형태 정보에서 상기 객체의 상단점과 하단점을 검출하는 검출 단계, 상기 객체 추적 장치가 상기 검출된 상단점과 하단점을 이용하여 추정한 상기 제1 및 제2 형태 정보의 정합을 통하여 상기 제1 및 제2 영상 데이터를 정합하는 정합 단계 및 상기 객체 추적 장치가 상기 정합된 영상으로부터 상기 객체를 추출하여 추적할 객체로 결정하는 객체 추출 단계를 포함하여 구성된다.
본 발명에 따른 객체 추적 방법에 따른 상기 검출 단계에서 상기 객체 추적 장치가 상기 객체의 이동하는 궤적을 이용하여 궤적 정합을 수행하여 상기 객체의 상단점과 하단점을 검출한다. 이때 상기 검출 단계에서 상기 객체 추적 장치가 아래의 선형 변형 알고리듬에 따른 수학식17로 산출한 변환 행렬 H를 이용하여 대응점을 검출할 수 있다.
본 발명에 따른 객체 추적 방법에 따른 상기 제1 및 제2 추정 단계에서, 상 기 객체의 형태는 몸체(body)와 머리(head) 부분일 수 있다.
본 발명에 따른 객체 추적 방법에 따른 상기 제2 추정 단계에서, 상기 객체 추적 장치는 PCA(principal component analysis)를 통해 객체의 형태를 모델링한 후 adaboost로 객체의 형태를 추정한다.
본 발명에 따른 객체 추적 장치는 이종 카메라와 제어부를 포함하여 구성된다. 상기 이종 카메라는 회전 모듈과, 상기 회전 모듈에 장착되며 객체를 촬영한 제1 영상 데이터를 출력하는 영상 카메라와, 상기 영상 카메라의 하부에 설치되며 상기 객체를 촬영한 제2 영상 데이터를 출력하는 적외선 카메라를 갖는다. 상기 제어부는 상기 영상 카메라 및 적외선 카메라로 각각 객체를 촬영하여 제1 및 제2 영상 데이터를 획득하고, 상기 제1 영상 데이터에서 상기 객체의 움직임을 감지하여 상기 객체의 형태를 추정하여 제1 형태 정보를 산출하고, 상기 제2 영상 데이터에서 상기 객체의 온도와 배경의 온도의 차이를 이용하여 상기 배경에서 상기 객체를 분리하여 상기 객체의 형태를 추정하여 제2 형태 정보를 산출하고, 상기 제1 및 제2 형태 정보를 조합하여 추적할 객체를 결정한다.
본 발명은 또한, 객체 추적 장치가 영상 카메라 및 적외선 카메라로 각각 객체를 촬영하여 제1 및 제2 영상 데이터를 획득하는 획득 단계, 상기 객체 추적 장치가 상기 제1 및 제2 영상 데이터에서 객체의 추정된 관심 영역을 추출하여 상기 객체의 상단점과 하단점을 검출하는 검출 단계, 상기 객체 추적 장치가 상기 검출된 상단점과 하단점을 이용하여 상기 제1 및 제2 영상 데이터의 추정된 관심 영역의 정합을 통하여 상기 제1 및 제2 영상 데이터를 정합하는 정합 단계 및 상기 객 체 추적 장치가 상기 정합된 영상으로부터 상기 객체를 추출하는 객체 추출 단계를 포함하는 이종 카메라를 이용한 객체 추적 장치의 객체 추적 방법을 제공한다.
본 발명에 따르면, 객체 추적 장치는 이종 카메라를 이용하여 획득한 객체 정보를 조합하여 정확한 객체를 추출하여 추적할 수 있다.
영상 카메라를 이용하여 획득한 제1 영상 데이터의 모션 정보를 이용하여 추정한 객체의 제1 형태 정보, 적외선 카메라를 이용하여 획득한 제2 영상 데이터에서 객체와 배경의 온도 차이를 이용하여 추정한 객체의 제2 형태 정보 및 추출한 객체의 자세를 판단한 판정 정보를 조합하여 격체를 결정하기 때문에, 추적할 객체를 정확히 결정할 수 있다.
그리고 본 발명에 따른 객체 추적 장치의 이종 카메라는 회전 모듈에 의한 영상 카메라 및 적외선 카메라를 상하좌우로 회전이 가능한 팬/틸트(pan/tilt) 기능을 갖고, 영상 카메라 및 적외선 카메라는 줌(zoom) 기능을 갖기 때문에, 시야범위를 확대하여 종래의 제한된 시야범위로 인한 객체 추적 실패를 최소화할 수 있다.
이하, 첨부 도면을 참조하여 본 발명의 실시예를 보다 상세하게 설명하고자 한다.
본 발명의 실시예에 따른 객체 추적 장치(100)는, 도 1 및 도 2에 도시된 바와 같이, 이종 카메라(10)를 이용하여 획득한 영상 데이터의 객체 정보를 조합하여 정확한 객체를 추출하고, 추출한 객체를 추적하는 장치로서, 이종 카메라(10), 저장부(20) 및 제어부(30)를 포함하여 구성된다. 이때 객체는 사람일 수 있다.
이종 카메라(10)는 회전 모듈(11), 영상 카메라(13) 및 적외선 카메라(15)를 포함하여 구성된다. 회전 모듈(11)은 회전 모듈(11)에 설치된 영상 카메라(13) 및 적외선 카메라(15)를 상하좌우로 회전이 가능한 팬/틸트(pan/tilt) 기능을 갖는 구동 장치이다. 영상 카메라(13) 및 적외선 카메라(15)는 줌(zoom) 기능을 갖는 카메라이다. 영상 카메라(13)는 회전 모듈(11)에 장착되며 객체를 촬영한 제1 영상 데이터를 출력한다. 적외선 카메라(15)는 영상 카메라(13)의 하부에 설치되며 객체를 촬영한 제2 영상 데이터를 출력한다. 이때 이종 카메라(10)는 제어부(30)의 제어에 따라 회전 및 렌즈의 줌인/줌아웃(zoom in/zoom out) 기능을 수행하면서 객체를 추적할 수 있다. 제1 영상 데이터는 일반 영상 데이터이고, 제2 영상 데이터는 열영상 데이터이다.
한편 본 실시예에서는 이종 카메라(10)는 하나의 회전 모듈(11)에서 상하로 영상 카메라(13) 및 적외선 카메라(15)가 설치된 구조를 갖지만 이에 한정되는 것은 아니다. 예컨대 회전 모듈에 적외선 카메라 및 영상 카메라 순으로 설치될 수도 있다. 또는 영상 카메라와 적외선 카메라가 각각 회전 모듈에 독립적으로 설치될 수도 있다.
저장부(20)는 객체 추적 장치(100)의 동작 제어시 동작 제어시 필요한 프로그램과, 그 프로그램 수행 중에 발생되는 데이터를 저장하며, 하나 이상의 휘발성 메모리 소자와 비휘발성 메모리 소자로 이루어진다. 저장부(20)는 이종 카메라(10) 에서 획득한 영상 데이터를 정합하여 객체를 결정하고 추적하기 위한 실행프로그램을 저장한다. 저장부(20)는 이종 카메라(10)에서 획득한 영상 데이터를 정합하기 위한 이미지 맵(21; image map)을 저장한다. 이미지 맵(21)은 매핑 매트릭스(mapping matrix)를 통한 제1 및 제2 영상의 정합시 사용된다.
그리고 제어부(30)는 객체 추적 장치(100)의 전반적인 제어 동작을 수행하는 마이크로프로세서이다. 제어부(30)는 영상 카메라(13) 및 적외선 카메라(15)로 각각 객체를 촬영하여 제1 및 제2 영상 데이터를 획득한다. 제어부(30)는 제1 영상 데이터에서 객체의 움직임을 감지하여 객체의 형태를 추정한 제1 형태 정보를 산출한다. 제어부(30)는 제2 영상 데이터에서 객체의 온도와 배경 온도 차이를 이용하여 배경에서 객체를 분리하여 객체의 형태를 추정한 제2 형태 정보를 산출한다. 그리고 제어부(30)는 제1 및 제2 형태 정보를 조합하여 추적할 객체를 결정한다. 이때 제1 및 제2 형태 정보는 객체의 관심 영역(ROI)으로, 사람의 얼굴과 몸체를 포함할 수 있다.
특히 제어부(30)는 제1 영상 처리부(31,32,33), 제2 영상 처리부(34,35), 자세 판단부(36) 및 영상 제어부(37)를 포함하여 구성된다.
제1 영상 처리부(31,32,33)는 영상 카메라(13)에서 획득한 제1 영상 데이터를 처리하여 추정한 객체의 제1 형태 정보를 영상 제어부(37)로 전송한다. 제1 영상 처리부(31,32,33)는 제1 영상 데이터에서 객체의 움직임을 감지하여 객체의 형태를 추정한 제1 형태 정보를 산출하고, 산출한 제1 형태 정보를 영상 제어부(37)로 전송한다.
제1 영상 처리부(31,32,33)는 모션 분할부(31), 제1 몸체 검출부(32) 및 제1 얼굴 검출부(33)를 포함하여 구성된다. 이때 제1 영상 데이터는 로 이미지(raw image) 데이터이다. 모션 분할부(31)는 영상 카메라(13)에서 출력되는 제1 영상 데이터에서 모션 분할(motion segmentation)을 수행하여 움직이는 객체를 추출하여 객체를 추정하고, 추정한 객체의 정보(Motion Blobs)를 제1 몸체 검출부(32)로 전송한다. 제1 몸체 검출부(32)는 추정한 객체의 정보로부터 객체의 몸체를 검출하고, 검출한 제1 몸체 정보(1th Body ROIs)를 영상 제어부(37)로 전송한다. 제1 얼굴 검출부(33)는 영상 카메라(13)로부터 제1 영상 데이터를 수신하여 객체의 얼굴을 검출한다. 제1 얼굴 검출부(33)는 검출한 제1 얼굴 정보(1th Face ROIs)를 영상 제어부(37)로 전송한다. 이때 제1 형태 정보는 제1 몸체 정보(1th Body ROIs)와 제1 얼굴 정보(1th Face ROIs)를 포함한다.
제2 영상 처리부(34,35)는 적외선 카메라(15)에서 획득한 제2 영상 데이터를 처리하여 추정한 객체의 제2 형태 정보를 영상 제어부(37)로 전송한다. 제2 영상 처리부(34,35)는 제2 영상 데이터에서 객체의 온도와 배경의 온도 차이를 이용하여 배경에서 객체를 분리하고, 분리한 객체의 형태를 추정하여 제2 형태 정보를 산출한다. 제2 영상 처리부(34,35)는 산출한 제2 형태 정보를 영상 제어부(37)로 전송한다. 이때 제2 영상 데이터는 로 이미지(raw image) 데이터이다.
제2 영상 처리부(34,35)는 제2 몸체 검출부(34)와 제2 얼굴 검출부(35)를 포함하여 구성된다. 제2 몸체 검출부(34)는 적외선 카메라(15)에서 출력되는 제2 영상 데이터에서 객체의 몸체를 검출하고, 검출한 제2 몸체 정보(2nd Body ROIs)를 제2 얼굴 검출부(35) 및 영상 제어부(37)로 전송한다. 제2 얼굴 검출부(35)는 제2 몸체 정보(2nd Body ROIs)로부터 얼굴을 검출하고, 검출한 제2 얼굴 정보(2nd Face ROIs)를 영상 제어부(37)로 전송한다. 이때 제2 형태 정보는 제2 몸체 정보(2nd Body ROIs)와 제2 얼굴 정보(2nd Face ROIs)를 포함한다.
이때 제2 영상 처리부(34,35)는 객체와 배경을 분리하기 위해서, PCA(principal component analysis)를 통해 adaboost로 객체의 형태를 추정하여 제2 형태 정보를 산출한다.
자세 판단부(36)는 제2 몸체 검출부(34)로부터 수신한 몸체 형태 정보(Body shape)로부터 판단한 객체의 자세 정보(Shape ID)를 영상 제어부(37)로 전송한다. 자세 판단부(36)는 제2 형태 정보로부터 객체의 외곽선을 검출한다. 자세 판단부(36)는 검출한 외곽선을 이용하여 객체의 자세를 판단한다. 이때 객체의 자세는 선 자세, 앉은 자세 또는 누운 자세 중에 하나일 수 있다.
그리고 영상 제어부(37)는 제1 영상 처리부(31,32,33)로부터 수신한 객체의 제1 형태 정보, 제2 영상 처리부(34,35)로부터 수신한 객체의 제2 형태 정보 및 자세 판단부(36)로부터 수신한 객체의 자세 정보를 조합하여 객체를 결정한다. 영상 제어부(37)는 결정한 객체를 추적하며, 결정한 객체 정보 및 추적 정보를 저장부(20)에 저장하거나 감시용 모니터 등에 출력할 수 있다.
특히 영상 제어부(37)는 이종 카메라(10)를 이용하여 획득한 제1 및 제2 영상 데이터를 이용하여 추적할 객체를 다음과 같이 추출할 수 있다. 즉 영상 제어부(37)는 제1 및 제2 형태 정보에서 객체의 상단점과 하단점을 검출한다. 영상 제 어부(37)는 검출된 상단점과 하단점을 이용하여 추정한 제1 및 제2 형태 정보의 정합을 통하여 제1 및 제2 영상 데이터를 정합한다. 그리고 영상 제어부(37)는 정합된 영상으로부터 객체를 추출하여 추적할 객체로 결정한다. 이때 상단점과 하단점과 같은 대응점은 객체의 이동하는 궤적을 이용한 궤적 정합을 통하여 검출할 수 있다.
한편 본 실시예에 따른 제어부(30)는 제1 영상 처리부(31,32,33), 제2 영상 처리부(34,35), 자세 판단부(36) 및 영상 제어부(37)가 하나의 프로세서로 구현될 수도 있고, 개별 프로세서로 구현될 수 있다. 또는 제어부(30)는 제1 영상 처리부(31,32,33), 제2 영상 처리부(34,35), 자세 판단부(36) 및 영상 제어부(37) 중에 일부가 그룹화되어 복수의 프로세서로 구현될 수도 있다.
그리고 본 실시예에서는 영상 제어부(37)가 추적할 객체를 결정할 때 제1 형태 정보, 제2 형태 정보 및 자세 정보를 조합하는 예를 개시하였지만, 제1 형태 정보 및 제2 형태 정보만을 조합할 수도 있다.
이와 같이 본 실시예에 따른 객체 추적 장치(100)는 이종 카메라(10)를 이용하여 획득한 객체 정보를 조합하여 정확한 객체를 추출하여 추적할 수 있다. 또한 영상 카메라(13)를 이용하여 획득한 제1 영상 데이터의 모션 정보를 이용하여 추정한 객체의 제1 형태 정보, 적외선 카메라(15)를 이용하여 획득한 제2 영상 데이터에서 객체와 배경의 온도 차이를 이용하여 추정한 객체의 제2 형태 정보 및 추출한 객체의 자세를 판단한 판정 정보를 조합하여 격체를 결정하기 때문에, 추적할 객체를 정확히 결정할 수 있다.
이와 같은 본 실시예에 따른 객체 추적 장치(100)를 이용한 객체 추적 방법을 도 1 내지 도 12를 참조하여 설명하면 다음과 같다. 여기서 도 3은 본 발명의 실시예에 따른 이종 카메라(10)를 이용한 객체 추적 방법에 따른 흐름도이다. 도 4 및 도 5는 도 3의 제1 추정 단계에 따른 화면 예시도이다. 도 6 및 도 7은 도 3의 제2 추정 단계에 따른 화면 예시도이다. 도 8은 도 3의 자세 판단 단계에 따른 화면 예시도이다. 도 9는 도 3의 영상 정합 단계를 보여주는 흐름도이다. 그리고 도 10 내지 도 12는 도 9의 영상 정합 단계에 따른 화면 예시도이다.
먼저 S51단계에서 이종 카메라(10)는 객체를 촬영하여 제1 및 제2 영상 데이터를 획득한다. 이종 카메라(10)는 획득한 제1 및 제2 영상 데이터를 각각 제1 영상 처리부(31,32,33) 및 제2 영상 처리부(34,35)로 전송한다.
다음으로 S53단계에서 제1 영상 처리부(31,32,33)는 제1 영상 데이터에서 객체의 움직임을 감지하여 객체의 형태를 추정한 제1 형태 정보를 산출한다. 제1 영상 처리부(31,32,33)는 산출한 제1 형태 정보를 영상 제어부(37)로 전송한다. 이때 제1 형태 정보는 제1 몸체 정보(1th Body ROIs)와 제1 얼굴 정보(1th Face ROIs)를 포함한다.
S53단계에 따른 제1 추정 단계를 구체적으로 설명하면 다음과 같다. 먼저 도 4에 도시된 바와 같이, 제1 영상 처리부(31,32,33)는 제1 영상 데이터에서 객체의 움직임을 감지하여 객체의 형태를 추정한다. 이때 도 4는 방향 움직임 성분의 분할 및 객체 추출을 보여주는 화면 예시도이다.
짧은 시간 간격 사이에 기억시킨 두 영상의 차이는 객체의 이동 또는 운동에 관한 사항을 측정하거나 인식하는데 있어서 기초가 된다. 이 두 영상으로부터 동일한 객체의 차이는 객체가 이동한 거리와 방향 그리고 객체의 운동 속도로 표현할 수 있으며, 세밀한 광강도를 가진 두 개의 연속된 영상의 변화를 연속적 흐름으로 나타내며 이를 광류(Optical flow)라고 부른다. 본 실시예에서는, 움직임 객체를 검출하기 위해 광류를 이용한 Lucas-Kanade optical flow를 사용하여 방향성분을 상하좌우의 4방향으로 나누어 분할한다. Lucas-Kanade optical flow는 원 영상에 가우시안 피라미드를 적용하여 두 영상 간에 있는 픽셀의 변화 벡터를 구할 수 있으며 움직임 정보는 색과 모양 변화에 강인한 결과를 얻을 수 있으며 실시간으로 구현 가능하다.
광류는 아래와 같은 수학식1로 정의되며, 체인 룰(chain rule)에 의해 다음과 같은 수식을 얻을 수 있다.
Figure 112009038412472-pat00001
여기서
Figure 112009038412472-pat00002
는 두 영상의 밝기 차이이며,
Figure 112009038412472-pat00003
이다.
광류는 가로, 세로의 변화뿐만 아니라 시간상의 변화와 노이즈도 함께 고려되며, 아래의 수학식2로 간략하게 계산된다.
Figure 112009038412472-pat00004
Figure 112009038412472-pat00005
광류의 에러(error) E는 아래의 수학식3으로 산출할 수 있다.
Figure 112009038412472-pat00006
배경이나 움직임을 이용하여 분리된 객체들 중에서 일정한 크기 이상을 갖는 영역은 객체의 후보가 된다. 하지만 영상내의 노이즈나 작은 틈 등의 오류에 의해 완전한 후보 영역을 검출하기 어렵기 때문에, 추출된 픽셀들의 방향 성분을 3ㅧ3의 Blob을 설정하여 평균치를 해당 Blob의 방향 성분으로 간주하여 영상 내의 차분을 통해 미리 지정한 일정 크기의 Threshold값 이상의 값만 취함으로써 오류를 최소화 할 수 있다. 또한 수학식4 내지 6을 이용하여 연속된 프레임에서 움직임을 추출하여 영상 좌표를 기준으로 상하좌우의 4방향으로 객체 움직임을 분할하고 형태학적 연산(morphological operation)을 적용하여 영역의 작은 틈(hole)을 제거할 수 있다.
Figure 112009038412472-pat00007
Figure 112009038412472-pat00008
Figure 112009038412472-pat00009
여기서 R은 차이점을 검사할 영역이며 N은 전체 픽셀의 개수이다. 시간 t상에서 D는 두 영상의 밝기(I)의 차이이며, 속도의 크기(d)가 미리 정한 임계치(T)값보다 작은 경우 속도(v)를 제거한다.
회전 모듈(11)의 회전에 의해 전체 영상에서 같은 방향의 움직임 성분들을 확인할 수 있다. 이러한 성분들을 제거하기 위해 4방향으로 방향을 분류하여 각각의 평균적인 움직임을 측정하고 측정된 평균움직임과 다른 방향성만을 객체가 움직인 지역으로 분류한다.
제1 영상 처리부(31,32,33)의 제1 얼굴 검출부(33)는, 도 5에 도시된 바와 같이, 얼굴 정면 특징들을 이용하여 사람의 얼굴인지를 판단하기 위해 학습 기반의 Haar 모델을 사용하였다. 실시간으로 얼굴영역을 검출하기 위해서, 얼굴 피부 컬러 모델(skin-color model)을 적용하여 계산량을 줄였다. 얼굴 피부 컬러 모델은 사람 의 얼굴 영역의 색상을 미리 구분해서 얼굴이 있는 영역과 없는 영역으로 구분한다. 여기서 도 5(a)는 RGB 모드로 변환된 영상, 도 5(b)는 YCbCr 모드로 변환된 영상, 도 5(c)는 HIS 모드로 변환된 영상에서 다각형 내부에 존재하는 컬러들만의 히스토그램을 추출하여 역사상(BackProjection)을 하였을 때의 결과를 보여준다.
이렇게 미리 정한 영상의 영역에서만 특징을 파악하고 비교함으로써, 조금 더 빠르게 제1 얼굴 정보(1th Face ROIs)를 산출할 수 있다. 제1 영상 데이터에서 두 개 이상의 지역에서의 픽셀의 값이 다르다는 특징을 이용하여 Haar Feature를 이용했다. 빠른 탐색을 위해 정면 얼굴에 대한 공통적인 패턴만을 사용하여 제1 얼굴 정보(1th Face ROIs)를 산출한다.
다음으로 S55단계에서 제2 영상 처리부(34,35)는 제2 영상 데이터에서 객체의 온도와 배경 온도 차이를 이용하여 배경에서 객체를 분리하여 객체의 형태를 추정하고, 추정한 제2 형태 정보를 산출한다. 제2 영상 처리부(34,35)는 산출한 제2 형태 정보를 영상 제어부(37)로 전송한다.
S55단계에 따른 제2 추정 단계를 구체적으로 설명하면 다음과 같다. 제2 영상 데이터에서는 사람의 형상이 많은 열데이터를 갖기 때문에 배경의 열데이터보다 높은 수치를 보인다. 이러한 높은 열영상의 데이터 내에서 국부적인 열값의 존재를 확인하여 객체를 분할(Segmentation)을 할 수 있다. 제2 영상 처리부(34,35)는, 도 6에 도시된 바와 같이, 제2 영상 데이터에서 히스토그램(histogram)을 이용하여 국부적 열데이터를 검출함으로써, 객체의 제2 형태 정보를 추출할 수 있다.
여기서 히스토그램은 간단하게 미리 정한 영역의 데이터 개수로 표현이 가능 하다. 이러한 영역을 그리드 셀(grid cell)이라 하고, 수평 수직방향으로 그리드 셀 내에 있는 데이터의 빈도수(bin)의 또는 지역내의 그레디언트 크기(gradient magnitudes)를 누적시켜 축방향의 데이터 분산값을 얻을 수 있다. 이러한 분산값들의 통계적인 특징들을 이용하여 객체의 위치를 추정한다.
제2 얼굴 검출부(35)는 얼굴 영상의 경우 추출된 몸체 부분의 내부에 존재한다는 가정하에 국부적인 최고 온도를 추적하여 얼굴 영역을 검출하고, 검출한 제2 얼굴 정보(2nd Face ROIs)를 영상 제어부(37)로 전송한다.
이어서 S57단계에서 자세 판단부(36)는 제2 영상 처리부(34,35)로부터 수신한 제2 형태 정보로부터 객체의 자세를 판단한다. 즉 자세 판단부(36)는 제2 형태 정보로부터 객체의 외곽선을 검출한다. 자세 판단부(36)는 검출한 외곽선을 이용하여 객체의 자세를 판단하고, 판단한 자세 정보를 영상 제어부(37)로 전송한다.
자세 판단부(36)는, 도 7 및 도 8에 도시된 바와 같이, 제2 영상 처리부(34,35)로부터 수신한 객체의 제2 형태 정보로부터 객체의 최외곽 성분을 분석하여 사람의 형상을 판단한다. 즉, 적외선 카메라(15)에 획득된 제2 영상에는 사람의 열영상뿐만 아니라 모니터, 열기구 등 여러 오류 패턴들이 존재한다. 사람의 열영상과 아닌 영상을 분리하기 위해 adaboost 분류기를 이용하여 오류 형상과 사람 영상을 분리하였다. 또한 사람의 형상일 경우 현재 형상을 선 자세, 앉은 자세, 누운 자세의 3가지의 모델을 적용하여 현재 사람의 상태를 분리하였다.
이때 사람 형상의 경우 외곽의 성분을 이용한다. 사람의 외곽 성분은 주어진 입력 영상으로부터 적당한 기준점을 객체의 윤곽선에 할당한다. 기준점은 한 영상 에서 기준점으로 선택된 특징점으로 연결되어 있어야 하며 외곽 선분의 코사인(cosin)각을 이용하여 객체의 외곽 성분을 추출하였다.
제2 영상 데이터에서 객체 영상은 다음과 같은 방식으로 분리할 수 있다.
1. 아래의 수학식7을 이용하여 객체의 외곽선을 검출한다.
Figure 112009038412472-pat00010
여기서 p는 외곽선의 좌표이며, N은 외곽선을 구성하는 화소수이다.
2. 모든 외곽선 상의 화소(p_i)와 i+k와 i-k번째 외곽선상의 화소를 잇는 벡터를 수학식8 및 9로 산출한다.
Figure 112009038412472-pat00011
Figure 112009038412472-pat00012
3. 구해진 두 벡터에 의한 p_i의 k-cosine 함수(f(i))를 수학식10으로 산출한다.
Figure 112009038412472-pat00013
4. 잡음을 제거하기 위하여 구해진 k-cosine에 수학식11의 가우시안(Gaussian) 함수를 컨볼루션하여 평활화를 수행한다.
Figure 112009038412472-pat00014
5. 평활화된 f(i)의 임계치보다 큰 극대값을 특징점으로 지정한다.
2차원 영상에서 n개의 기준점을 2n차원의 벡터를 사용해서 수학식12와 같이 표현 할 수 있다.
Figure 112009038412472-pat00015
이때 기준점은 외곽 성분의 최외곽 성분의 각도를 10도씩 나누었을 때 보이는 형상을 기준점으로 정했기 때문에 n=36으로 정했다. 또한 초기값으로 설정된 기준점은 계속 유지되는 것이 아니라, 각각의 기준점에서 경계의 수직방향에 따라 추적하는 객체의 실제 윤곽과의 편차를 최소화하는 방향으로 갱신된다.
n개의 기준점의 집합은, 도 8에 도시된 바와 같이, 객체의 형태를 표현한다. 훈련 집합에서 각각의 형태는 2차원 공간에서 존재하지만, PCA기술을 기반으로 하여 좀더 적은 수의 변수를 가지고 객체의 형태를 모델링하였다. 훈련 집합에서 m개의 형태를 가지고 있다고 가정하자. 여기서 x는 각각의 형태에 따른 훈련 집합을 의미하다. (i=1,2,…,m) 단계별로 PCA 알고리즘을 살펴보면 다음과 같다.
1. 훈련 집합에서 m개의 표본 형태의 평균을 수학식13으로 산출한다.
Figure 112009038412472-pat00016
2. 훈련 집합으로부터 공분산 행렬(covariance matrix)을 수학식14로 산출한다.
Figure 112009038412472-pat00017
3. 공분산 행렬로부터 수학식15와 같은 값을 얻을 수 있다.
Figure 112009038412472-pat00018
여기서
Figure 112009038412472-pat00019
는 S에서 q개의 가장 큰 고유값(eigen value)에 해당하는 고유벡터(eigen vector)를 의미한다.
주어진
Figure 112009038412472-pat00020
와
Figure 112009038412472-pat00021
로부터 각각의 형태는 수학식16과 같이 간략화 시킬 수 있다.
Figure 112009038412472-pat00022
벡터b는 변형 가능한 모델 변수의 집합을 정의한다. b의 요소가 변하면서 형태를 변화시킬 수 있다. PCA 알고리듬의 3번째 단계에서 q값은 데이터의 전체적인 분산값에 98%에 해당되는 모델형태의 개수를 나타낸다.
이와 같이 PCA 기술을 기반으로 객체의 형태를 모델링함으로써, 도 8에 도시된 바와 같이, 자세 판단부(36)는 객체의 현재 자세를 판단한다. 즉 n개의 기준점의 집합이 도 8(a)에 도시된 바와 같은 형태로 표현되는 경우, 자세 판단부(36)는 누운 자세로 판단한다. n개의 기준점의 집합이 도 8(b)에 도시된 바와 같은 형태로 표현되는 경우, 자세 판단부(36)는 앉은 자세로 판단한다. n개의 기준점의 집합이 도 8(c)에 도시된 바와 같은 형태로 표현되는 경우, 자세 판단부(36)는 선 자세로 판단한다. 여기서 도 8은 PCA를 통해 투영된 객체의 영상을 나타낸다.
그리고 S59단계에서 영상 제어부(37)는 제1 형태 정보, 제2 형태 정보 및 자세 정보를 조합하여 추적할 객체를 결정한다. S59단계를 도 9 내지 도 12를 참조하여 구체적으로 설명하면 다음과 같다.
S591단계에서 영상 제어부(37)는 제1 및 제2 형태 정보에서 객체의 상단점과 하단점을 검출한다. 다음으로 S593단계에서 영상 제어부(37)는 검출된 상단점과 하단점을 이용하여 추정한 제1 및 제2 형태 정보의 정합을 통하여 제1 및 제2 영상 데이터를 정합한다. 그리고 S595단계에서 영상 제어부(37)는 정합된 영상으로부터 객체를 추출하여 추적할 객체로 결정한다.
이종 카메라(10)를 구성하는 영상 카메라(13)와 적외선 카메라(15)에서 획득된 제1 및 제2 영상에 나타나는 특징들이 서로 다르기 때문에 정확한 정합 기준을 확인하기 어렵다. 제2 영상의 경우 사람이 인지할 수 있는 영상이 아닌 단순한 열의 방출(Emission)량에 따라 다르며 정확한 객체의 인지가 어렵다. 따라서 육안으 로 추정하여 대략적인 위치 좌표를 이용할 경우, 도 10과 같이 불안정한 형태를 만들 수 있다.
이러한 단점을 극복하기 위해 내부변수(intrinsic parameters)를 알고 있는 카메라(13,15)로부터 외부 변수(extrinsic parameters)를 계산하는 카메라 자동 보정 기술을 이용하였다. 즉 사람과 같이 열을 방출하며 움직이는 객체의 위치를 제1 및 제2 영상에서 같은 객체라 생각하고 객체의 머리 부분과 다리 부분의 위치를 이용하여 제1 및 제2 영상에서 각각 객체의 상단점과 하단점을 검출한다(S591). 다음으로 검출한 상단점과 하단점을 이용하여 정합시킴으로써(S593), 최종적인 영상 정합을 수행한다(S595).
S59단계에 따른 영상 정합은 첫째 객체 및 대응점 추출, 둘째 직접선형(Direct linear transformation; DLT) 변환을 이용한 외부 변수 유도로 나눌 수 있다. 제1 및 제2 영상간의 대응점은 카메라(13,15) 간 겹침 영역이 존재해야 하며 카메라(13,15) 간 관계를 결정하기 위한 기준 영상(reference frame)과 목표 영상(target frame)의 대응점들에 대한 투영 변환식을 유도한다. 여기서 제2 영상을 목표영상으로 설정하여 제2 영상에 제1 영상을 정합하였다. 제2 영상과 제1 영상은 특징이 크게 다르기 때문에, 제1 및 제2 영상 간의 특징점 쌍을 유도하기는 어렵다. 따라서 영상 정합을 위해, 도 11에 도시된 바와 같이, 제1 및 제2 영상 간의 같은 객체를 추출하여 상단점과 하단점의 위치를 검출한다.
영상 제어부(37)는, 도 12에 도시된 바와 같이, 객체의 이동하는 궤적(Trajectory)을 이용하여 궤적 정합(Trajectory matching)을 하여 대응점을 검출 한다. 영상 제어부(37)는 반복적인 특징점 계산에 쓰이는 비효율적인 기능을 줄이고 육안을 이용한 수동적 방법에서 실시간 자동으로 대응점을 찾았다.
예컨대 영상 제어부(37)는 선형 변환 알고리듬에 따른 아래의 수학식17로 산출한 변환 행렬 H를 이용하여 궤적 정합을 수행할 수 있다. 즉 대응점 및 특징점 쌍은 항상 선형적이지 않기 때문에 비선형적인 특징점을 제거하고 추정되는 대표 특징점을 이용하여 직접 선형 변환 알고리듬을 적용하여 변환행렬 H를 결정하였다.
Figure 112009038412472-pat00023
Figure 112009038412472-pat00024
수학식17에서, 제1 및 제2 영상 데이터에서 동시에 생성된 두 개의 객체의 임의의 점(xi↔xi')을 선택하여 대응점을 생성하고, 생성한 대응점을 이용하여 n2×9의 Ai 행렬을 정리하였다. Aih=0에서 h≠0이기 때문에, Ai는 SVD(singular value decomposition)를 이용하여 h를 산출하고, 산출한 h로부터 H 행렬을 결정할 수 있다.
영상 제어부(37)는, 도 12에 도시된 바와 같이, 영상에서 분할된 공간은 관 심영역(ROIs)이 되고 관심 영역들의 크기, 움직임, 형태를 비교하여 총 오차값(Etotal)이 가장 적은 후보자를 추적중인 객체로 인지한다. 오차값은 아래의 수학식 18과 같이 가중치를 주어 계산되며 가중치의 합은 1이다.
Figure 112009038412472-pat00025
Figure 112009038412472-pat00026
여기서 Proj는 제2 영상에서 ROI를 제1 영상의 좌표계로 투영된 결과이며 i는 ROI는 각변의 Vertex, j는 각 후보 집합들을 의미한다.
Figure 112009038412472-pat00027
여기서 ROIi는 제1 영상의 좌표이고 제 2영상에서 투영된 각 ROI들의 차에 가중치를 주어 모든 후보의 오차값(Ej)을 계산하며 가중치의 합은 1이다. 오차값이 가장 적은 관심 영역을 대상으로 크기와 형태를 재 분할하여 오차값이 큰 영역을 제거함으로써 최종적인 관심 영역들에서 오차값이 가장 작고 임계치 보다 적은 영역을 최적의 추적 객체의 영역(Object ROI)를 추정할 수 있으며 영상 제어부(37)의 최종 출력이 된다.
한편, 본 명세서와 도면에 개시된 본 발명의 실시 예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한 것이다.
도 1은 본 발명의 실시예에 따른 이종 카메라를 이용한 객체 추적 장치의 구성을 보여주는 블록도이다.
도 2는 도 1의 이종 카메라를 보여주는 도면이다.
도 3은 본 발명의 실시예에 따른 이종 카메라를 이용한 객체 추적 방법에 따른 흐름도이다.
도 4 및 도 5는 도 3의 제1 추정 단계에 따른 화면 예시도이다.
도 6 및 도 7은 도 3의 제2 추정 단계에 따른 화면 예시도이다.
도 8은 도 3의 자세 판단 단계에 따른 화면 예시도이다.
도 9는 도 3의 영상 정합 단계를 보여주는 흐름도이다.
도 10 내지 도 12는 도 9의 영상 정합 단계에 따른 화면 예시도이다.
* 도면의 주요 부분에 대한 설명 *
10 : 이종 카메라 11 : 회전 모듈
13 : 영상 카메라 15 : 적외선 카메라
20 : 저장부 30 : 제어부
37 : 영상 제어부 100 : 객체 추적 장치

Claims (13)

  1. 객체 추적 장치가 영상 카메라 및 적외선 카메라로 각각 객체를 촬영하여 제1 및 제2 영상 데이터를 획득하는 획득 단계;
    상기 객체 추적 장치가 상기 제1 영상 데이터에서 상기 객체의 움직임을 감지하여 상기 객체의 형태를 추정하여 제1 형태 정보를 산출하는 제1 추정 단계;
    상기 객체 추적 장치가 상기 제2 영상 데이터에서 상기 객체의 온도와 배경의 온도의 차이를 이용하여 상기 배경에서 상기 객체를 분리하여 상기 객체의 형태를 추정하여 제2 형태 정보를 산출하는 제2 추정 단계;
    상기 객체 추적 장치가 상기 제1 및 제2 형태 정보를 조합하여 추적할 객체를 결정하는 결정 단계;를 포함하며,
    상기 결정 단계는,
    상기 객체 추적 장치가 추정한 상기 제1 및 제2 형태 정보에서 상기 객체의 상단점과 하단점을 검출하는 검출 단계;
    상기 객체 추적 장치가 상기 검출된 상단점과 하단점을 이용하여 추정한 상기 제1 및 제2 형태 정보의 정합을 통하여 상기 제1 및 제2 영상 데이터를 정합하는 정합 단계;
    상기 객체 추적 장치가 상기 정합된 영상으로부터 상기 객체를 추출하여 추적할 객체로 결정하는 객체 추출 단계;
    를 포함하는 것을 특징으로 하는 이종 카메라를 이용한 객체 추적 방법.
  2. 제1항에 있어서,
    상기 객체는 사람인 것을 특징으로 하는 이종 카메라를 이용한 객체 추적 방법.
  3. 제2항에 있어서, 상기 제2 추정 단계 이후에 수행되는,
    상기 객체 추적 장치가 추정한 상기 제2 형태 정보로부터 상기 객체의 외곽선을 검출하는 검출 단계;
    상기 객체 추적 장치가 상기 검출한 외곽선을 이용하여 상기 객체의 자세를 판단하는 자세 판단 단계;를 더 포함하며,
    상기 결정 단계에서 상기 객체 추적 장치는 상기 객체의 자세 정보를 기반으로 추적할 객체를 결정하는 것을 특징으로 하는 이종 카메라를 이용한 객체 추적 방법.
  4. 제3항에 있어서, 상기 자세 판단 단계에서,
    상기 객체의 자세는 선 자세, 앉은 자세 또는 누운 자세 중에 하나인 것을 특징으로 하는 이종 카메라를 이용한 객체 추적 방법.
  5. 제4항에 있어서,
    상기 객체 추적 장치가 회전 모듈에 상하로 장착된 상기 영상 카메라 및 적외선 카메라를 조정하여 상기 객체를 촬영 및 추적하는 것을 특징으로 하는 이종 카메라를 이용한 객체 추적 방법.
  6. 제5항에 있어서, 상기 회전 모듈은 팬/틸트(pan/tilt) 기능을 수행하며, 상기 영상 카메라 및 적외선 카메라는 줌(zoom) 기능을 수행하는 것을 특징으로 하는 이종 카메라를 이용한 객체 추적 방법.
  7. 삭제
  8. 제1항에 있어서, 상기 검출 단계에서,
    상기 객체 추적 장치가 상기 객체의 이동하는 궤적을 이용하여 궤적 정합을 수행하여 상기 객체의 상단점과 하단점을 검출하는 것을 특징으로 하는 이종 카메라를 이용한 객체 추적 방법.
  9. 제8항에 있어서, 상기 검출 단계에서,
    상기 객체 추적 장치가 아래의 선형 변형 알고리듬에 따른 수학식으로 산출한 변환 행렬 H를 이용하여 제1 및 제2 영상 간의 대응점을 검출하는 것을 특징으로 하는 이종 카메라를 이용한 객체 추적 방법.
    Figure 112011006590332-pat00043
    Figure 112011006590332-pat00044
    (여기서 제1 및 제2 영상 데이터의 임의의 점(xi↔xi'))
  10. 제9항에 있어서, 상기 제1 및 제2 추정 단계에서,
    상기 객체의 형태는 몸체(body)와 머리(head) 부분인 것을 특징으로 하는 이종 카메라를 이용한 객체 추적 방법.
  11. 제10항에 있어서, 상기 제2 추정 단계에서,
    상기 객체 추적 장치는 PCA(principal component analysis)를 통해 객체의 형태를 모델링한 후 adaboost로 객체의 형태를 추정하는 것을 특징으로 하는 이종 카메라를 이용한 객체 추적 방법.
  12. 회전 모듈과, 상기 회전 모듈에 장착되며 객체를 촬영한 제1 영상 데이터를 출력하는 영상 카메라와, 상기 영상 카메라의 하부에 설치되며 상기 객체를 촬영한 제2 영상 데이터를 출력하는 적외선 카메라를 갖는 이종 카메라;
    상기 영상 카메라 및 적외선 카메라로 각각 객체를 촬영하여 제1 및 제2 영상 데이터를 획득하고, 상기 제1 영상 데이터에서 상기 객체의 움직임을 감지하여 상기 객체의 형태를 추정하여 제1 형태 정보를 산출하고, 상기 제2 영상 데이터에서 상기 객체의 온도와 배경의 온도의 차이를 이용하여 상기 배경에서 상기 객체를 분리하여 상기 객체의 형태를 추정하여 제2 형태 정보를 산출하고, 상기 제1 및 제2 형태 정보를 조합하여 추적할 객체를 결정하는 제어부;를 포함하며,
    상기 제어부는 추적할 객체를 결정할 때, 추정한 상기 제1 및 제2 형태 정보에서 상기 객체의 상단점과 하단점을 검출하고, 상기 검출된 상단점과 하단점을 이용하여 추정한 상기 제1 및 제2 형태 정보의 정합을 통하여 상기 제1 및 제2 영상 데이터를 정합하고, 상기 정합된 영상으로부터 상기 객체를 추출하여 추적할 객체로 결정하는 것을 특징으로 하는 이종 카메라를 이용한 객체 추적 장치.
  13. 객체 추적 장치가 영상 카메라 및 적외선 카메라로 각각 객체를 촬영하여 제1 및 제2 영상 데이터를 획득하는 획득 단계;
    상기 객체 추적 장치가 상기 제1 및 제2 영상 데이터에서 객체의 추정된 관심 영역을 추출하여 상기 객체의 상단점과 하단점을 검출하는 검출 단계;
    상기 객체 추적 장치가 상기 검출된 상단점과 하단점을 이용하여 상기 제1 및 제2 영상 데이터의 추정된 관심 영역의 정합을 통하여 상기 제1 및 제2 영상 데이터를 정합하는 정합 단계;
    상기 객체 추적 장치가 상기 정합된 영상으로부터 상기 객체를 추출하여 추적할 객체를 결정하는 객체 추출 단계;
    를 포함하는 것을 특징으로 하는 이종 카메라를 이용한 객체 추적 장치의 객체 추출 방법.
KR1020090056621A 2009-06-24 2009-06-24 이종 카메라를 이용한 객체 추적 시스템 및 방법 KR101035055B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090056621A KR101035055B1 (ko) 2009-06-24 2009-06-24 이종 카메라를 이용한 객체 추적 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090056621A KR101035055B1 (ko) 2009-06-24 2009-06-24 이종 카메라를 이용한 객체 추적 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20100138202A KR20100138202A (ko) 2010-12-31
KR101035055B1 true KR101035055B1 (ko) 2011-05-19

Family

ID=43511702

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090056621A KR101035055B1 (ko) 2009-06-24 2009-06-24 이종 카메라를 이용한 객체 추적 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101035055B1 (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102131047B (zh) * 2011-04-18 2012-09-26 广州市晶华光学电子有限公司 一种360度自动跟踪式狩猎相机及其工作方法
KR101427616B1 (ko) * 2012-12-27 2014-08-11 전자부품연구원 다중 사용자 얼굴 검출 방법 및 이를 지원하는 단말 장치
KR102050418B1 (ko) * 2013-08-20 2019-12-02 한화테크윈 주식회사 영상 정합 장치 및 이를 이용한 영상 정합 방법
KR101885562B1 (ko) * 2017-12-18 2018-08-06 주식회사 뷰노 제1 의료 영상의 관심 영역을 제2 의료 영상 위에 맵핑하는 방법 및 이를 이용한 장치
KR102138681B1 (ko) * 2018-05-15 2020-07-28 연세대학교 산학협력단 이종 센서를 기반으로 객체를 검출하는 객체 검출 장치 및 방법
KR102085168B1 (ko) * 2018-10-26 2020-03-04 오토아이티(주) 인체추적 기반 위험지역 안전관리 방법 및 장치
KR102093477B1 (ko) * 2018-10-26 2020-03-25 오토아이티(주) 이종 카메라 기반의 위험지역 안전관리 방법 및 장치
KR102123862B1 (ko) * 2018-11-30 2020-06-18 주식회사 지혜와비전 사생활 침해장비 탐지방법, 장치 및 그 시스템
KR102370491B1 (ko) * 2020-03-04 2022-03-04 주식회사 이오씨 일반 영상과 열 영상을 이용하여 움직임을 감지하는 방법 및 장치
JP2023062609A (ja) * 2021-10-21 2023-05-08 パナソニックＩｐマネジメント株式会社 人体領域検知システム、人体領域検知方法およびプログラム
KR20230075935A (ko) 2021-11-23 2023-05-31 지엘디앤아이에프 주식회사 객체 감지 시스템
KR102521162B1 (ko) * 2021-12-09 2023-04-14 한국전자기술연구원 Eo 및 ir 영상을 활용한 학습데이터 생성시스템 및 그것을 이용한 어노테이션 오류방지방법
KR102411612B1 (ko) * 2022-02-04 2022-06-22 주식회사 월드씨엔에스 다수의 카메라를 이용한 열화상 감시 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003006642A (ja) * 2001-06-22 2003-01-10 Toshihiko Shimizu 熱画像を利用した画像処理装置
JP2003259362A (ja) 2002-03-06 2003-09-12 Mitsubishi Heavy Ind Ltd 画像処理装置及び画像処理方法
JP2005286577A (ja) * 2004-03-29 2005-10-13 Fuji Photo Film Co Ltd 撮像装置、表示方法、および車両
KR20090071789A (ko) * 2007-12-28 2009-07-02 매그나칩 반도체 유한회사 반도체 수동 소자의 제조 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003006642A (ja) * 2001-06-22 2003-01-10 Toshihiko Shimizu 熱画像を利用した画像処理装置
JP2003259362A (ja) 2002-03-06 2003-09-12 Mitsubishi Heavy Ind Ltd 画像処理装置及び画像処理方法
JP2005286577A (ja) * 2004-03-29 2005-10-13 Fuji Photo Film Co Ltd 撮像装置、表示方法、および車両
KR20090071789A (ko) * 2007-12-28 2009-07-02 매그나칩 반도체 유한회사 반도체 수동 소자의 제조 방법

Also Published As

Publication number Publication date
KR20100138202A (ko) 2010-12-31

Similar Documents

Publication Publication Date Title
KR101035055B1 (ko) 이종 카메라를 이용한 객체 추적 시스템 및 방법
US11360571B2 (en) Information processing device and method, program and recording medium for identifying a gesture of a person from captured image data
US11392146B2 (en) Method for detecting target object, detection apparatus and robot
EP3029604B1 (en) Area information estimating device, area information estimating method, and air conditioning apparatus
JP6942488B2 (ja) 画像処理装置、画像処理システム、画像処理方法、及びプログラム
JP6664163B2 (ja) 画像識別方法、画像識別装置及びプログラム
KR102462818B1 (ko) 모션벡터 및 특징벡터 기반 위조 얼굴 검출 방법 및 장치
JP4546956B2 (ja) 奥行き検出を用いた対象の向きの推定
JP4216668B2 (ja) 映像視覚情報を結合してリアルタイムで複数の顔を検出して追跡する顔検出・追跡システム及びその方法
KR101618814B1 (ko) 단일객체에 대한 기울기를 추정하는 영상을 감시하는 장치 및 방법
US8086027B2 (en) Image processing apparatus and method
JP5214533B2 (ja) 人物追跡方法、人物追跡装置および人物追跡プログラム
JP5675229B2 (ja) 画像処理装置及び画像処理方法
JP5227888B2 (ja) 人物追跡方法、人物追跡装置および人物追跡プログラム
JPWO2015052896A1 (ja) 乗車人数計測装置、乗車人数計測方法および乗車人数計測プログラム
JP5001930B2 (ja) 動作認識装置及び方法
JP2021503139A (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP4507679B2 (ja) 画像認識装置、画像抽出装置、画像抽出方法及びプログラム
US20220366570A1 (en) Object tracking device and object tracking method
KR20190009006A (ko) 전역적 움직임 기반의 실시간 다중 객체 추적 장치 및 방법
KR101146417B1 (ko) 무인 감시 로봇에서 중요 얼굴 추적 장치 및 방법
KR101290517B1 (ko) 촬영장치 및 이의 대상 추적방법
CN110826495A (zh) 基于面部朝向的身体左右肢体一致性跟踪判别方法及系统
JP6555940B2 (ja) 被写体追跡装置、撮像装置、及び被写体追跡装置の制御方法
JP2015187769A (ja) 物体検出装置、物体検出方法及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140401

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150109

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20151224

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180406

Year of fee payment: 8