KR20140013407A - 객체 추적 장치 및 방법 - Google Patents

객체 추적 장치 및 방법 Download PDF

Info

Publication number
KR20140013407A
KR20140013407A KR1020120080253A KR20120080253A KR20140013407A KR 20140013407 A KR20140013407 A KR 20140013407A KR 1020120080253 A KR1020120080253 A KR 1020120080253A KR 20120080253 A KR20120080253 A KR 20120080253A KR 20140013407 A KR20140013407 A KR 20140013407A
Authority
KR
South Korea
Prior art keywords
image frame
pattern
horizon
information
camera
Prior art date
Application number
KR1020120080253A
Other languages
English (en)
Other versions
KR101758684B1 (ko
Inventor
배순민
송무경
전재열
Original Assignee
삼성테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성테크윈 주식회사 filed Critical 삼성테크윈 주식회사
Priority to KR1020120080253A priority Critical patent/KR101758684B1/ko
Priority to US13/888,532 priority patent/US9373034B2/en
Priority to CN201310311594.3A priority patent/CN103578116B/zh
Publication of KR20140013407A publication Critical patent/KR20140013407A/ko
Application granted granted Critical
Publication of KR101758684B1 publication Critical patent/KR101758684B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 객체 추적 장치 및 방법에 관한 것으로, 보다 상세하게는 영상 내에서 객체를 빠르고 정확하게 추출 및 추적할 수 있는 객체 추적 장치 및 방법에 관한 것이다. 객체 추적 방법은 카메라가 촬영한 영상 프레임을 획득하는 단계, 영상 프레임 내에서 지평선을 기준으로, 지평선으로부터의 거리에 따라 다른 패턴 사이즈를 설정하는 단계, 다른 패턴 사이즈로 영상 프레임을 스캔하면서 패턴과 매칭되는 객체를 추출하는 단계 및 영상 프레임 상에 추출된 객체의 위치 정보를 표시하는 단계를 포함하는 것을 특징으로 한다.

Description

객체 추적 장치 및 방법{Apparatus and method for tracking object}
본 발명은 객체 추적 장치 및 방법에 관한 것으로, 보다 상세하게는 영상 내에서 객체를 빠르고 정확하게 추출 및 추적할 수 있는 객체 추적 장치 및 방법에 관한 것이다.
사람 또는 자동차와 같은 객체를 탐지 및 추적하는 기술은 영상 분석 연구 분야와 감시 경계 사업 분야에서 가장 중요하게 다루어지고 있다. 카메라를 일정 지역에 설치하여 범죄를 저지른 사람이나, 교통 법규를 위반한 자동차를 탐지하거나, 이동하는 장비에 카메라를 설치하여 장애물을 회피하거나, 침입체를 검출하여 추적하는 데도 사용된다.
종래의 객체 탐지 방법은 정지 영상에서 특징점을 찾아서 주변 패턴이 탐지하고자 하는 객체의 패턴과 일치할 때 가장 확률이 높은 영역을 탐지 대상이라고 결론을 내린다. 그러나 종래의 방법은 패턴 비교에 너무 많은 시간을 필요로 하여, 실시간 탐지가 어렵고, 영상의 질이 나쁘거나 사용한 패턴이 탐지하고자 하는 객체와 정확하게 일치하지 않은 경우 오탐이 많은 문제점이 있다.
국내 공개특허 공보 제2011-0119933호
본 발명이 해결하고자 하는 기술적인 과제는 영상 프레임 내에서 다른 사이즈를 갖는 패턴 스캔에 의해 빠르고 정확하게 객체를 추출 및 추적할 수 있는 객체 추적 장치 및 방법을 제공하는데 있다.
본 발명이 이루고자 하는 기술적인 과제를 해결하기 위한 일 실시 예에 따른 객체 추적 방법은 카메라가 촬영한 영상 프레임을 획득하는 단계; 상기 영상 프레임 내에서 지평선을 기준으로 상기 지평선으로부터 임의의 픽셀까지의 거리에 따라 다른 패턴 사이즈를 설정하는 단계; 상기 다른 패턴 사이즈로 상기 영상 프레임을 스캔하면서 상기 패턴과 매칭되는 객체를 추출하는 단계; 및 상기 영상 프레임 상에 상기 추출된 객체의 위치 정보를 표시하는 단계;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 영상 프레임을 획득하는 단계 이전에, 데이터베이스에 저장된 객체들 중 추적하고자 하는 상기 객체를 설정하는 단계;를 더 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 객체들은,밝기의 분포 방향을 히스토그램으로 표현하여 특징 벡터로 사용하는 HOG(histogram of gradient)로 저장되어 있는 것을 특징으로 한다.
본 발명에 있어서, 상기 패턴 사이즈를 설정하는 단계는, 상기 영상 프레임으로부터 상기 지평선을 추출하는 단계; 상기 카메라의 높이 정보를 획득하는 단계; 상기 객체의 실제 크기 정보를 획득하는 단계; 및 상기 지평선으로부터 임의의 픽셀까지의 거리, 상기 카메라의 높이 정보 및 상기 객체의 실제 크기 정보를 이용하여 상기 영상 프레임 내에서 스캔할 서로 다른 패턴 사이즈를 설정하는 단계;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 패턴 사이즈는, 하기 수학식
Figure pat00001
에 의해 설정되는 것을 특징으로 한다.
본 발명에 있어서, 상기 객체를 추출하는 단계는, 상기 다른 패턴 사이즈로 상기 영상 프레임을 스캔하면서 상기 패턴과 매칭되는 객체를 획득하는 단계; 상기 획득된 객체에 SVM(support vector machine) 학습기를 적용하여 상기 객체들로부터 추적에 이용할 객체를 추출하는 단계;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 객체의 위치 정보 및 상기 위치에 따른 패턴 사이즈 정보를 다음 영상 프레임으로 전달하는 단계;를 더 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 영상 프레임을 획득하는 단계는, 제1 카메라가 촬영한 제1 영상 프레임을 획득하는 단계; 및 제2 카메라가 촬영한 제2 영상 프레임을 획득하는 단계;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 패턴 사이즈를 설정하는 단계는, 상기 제1 영상 프레임 내에서 지평선을 기준으로 상기 지평선으로부터 임의의 픽셀까지의 거리에 따라 다른 패턴 사이즈를 설정하는 것을 특징으로 한다.
본 발명에 있어서, 상기 객체를 추출하는 단계는, 상기 다른 패턴 사이즈로 상기 제1 영상 프레임을 스캔하면서 상기 패턴과 매칭되는 객체를 추출하는 것을 특징으로 한다.
본 발명에 있어서, 상기 위치 정보를 표시하는 단계는, 상기 제1 영상 프레임 상에 상기 추출된 객체의 위치 정보를 표시하는 단계; 및 상기 제1 영상 프레임에서 획득한 상기 객체의 정보를 상기 제2 영상 프레임에 적용하여 표시하는 단계;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 객체의 위치 정보 및 상기 위치에 따른 패턴 사이즈 정보를 상기 제1 카메라가 촬영한 다음 제1 영상 프레임으로 전달하는 단계;를 더 포함하는 것을 특징으로 한다.
본 발명이 이루고자 하는 기술적인 과제를 해결하기 위한 일 실시 예에 따른 객체 추적 장치는 카메라에 의해 촬영된 영상 프레임 내에서 지평선을 기준으로 상기 지평선으로부터 임의의 픽셀까지의 거리에 따라 다른 패턴 사이즈를 설정하는 패턴 설정부; 상기 다른 패턴 사이즈로 상기 영상 프레임을 스캔하면서 상기 패턴과 매칭되는 객체를 추출하는 객체 추출부; 및 상기 영상 프레임 상에 상기 추출된 객체의 위치 정보를 표시하는 객체 추적부;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 데이터베이스에 저장된 객체들 중 추적하고자 하는 상기 객체를 설정하는 객체 설정부;를 더 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 패턴 설정부는, 상기 영상으로부터 지평선을 추출하고, 상기 카메라의 높이 정보 및 상기 객체의 크기 정보를 획득하여 상기 영상 프레임 내에서 스캔할 서로 다른 패턴 사이즈를 설정하는 것을 특징으로 한다.
본 발명에 있어서, 상기 객체 추적부는, 상기 객체의 위치 정보와 함께 상기 위치에 따른 패턴 사이즈 정보를 다음 영상 프레임에 적용하는 것을 특징으로 한다.
본 발명이 이루고자 하는 기술적인 과제를 해결하기 위한 다른 실시 예에 따른 객체 추적 장치는 제1 영상 프레임을 획득하는 제1 카메라; 제2 영상 프레임을 획득하는 제2 카메라; 데이터베이스에 저장된 객체들 중 추적하고자 하는 상기 객체를 설정하는 객체 설정부; 상기 제1 영상 프레임 내에서 지평선을 기준으로 상기 지평선으로부터 임의의 픽셀까지의 거리에 따라 다른 패턴 사이즈를 설정하는 패턴 설정부; 상기 다른 패턴 사이즈로 상기 제1 영상 프레임을 스캔하면서 상기 패턴과 매칭되는 제1 객체를 추출하는 제1 객체 추출부; 상기 제1 영상 프레임으로부터 추출된 객체의 위치 정보 및 상기 위치에 따른 패턴 사이즈 정보를 상기 제2 영상 프레임에 적용하여 제2 객체를 추출하는 제2 객체 추출부; 상기 제1 및 제2 객체가 추출된 상기 제1 및 제2 영상 프레임을 정합하는 정합부; 및 상기 정합된 영상 프레임 상에 상기 추출된 객체의 위치 정보를 표시하는 객체 추적부;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 패턴 설정부는, 상기 제1 영상으로부터 지평선을 추출하고, 상기 카메라의 높이 정보 및 상기 객체의 크기 정보를 획득하여 상기 영상 프레임 내에서 스캔할 서로 다른 패턴 사이즈를 설정하는 것을 특징으로 한다.
본 발명에 있어서, 상기 객체 추적부는, 상기 객체의 위치 정보 및 상기 위치에 따른 패턴 사이즈 정보를 상기 제1 카메라가 촬영한 다음 제1 영상 프레임에 적용하는 것을 특징으로 한다.
본 발명이 이루고자 하는 기술적인 과제를 해결하기 위한 일 실시 예에 따른 객체 추적 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체는 카메라가 촬영한 영상 프레임을 획득하는 단계; 상기 영상 프레임 내에서 지평선을 기준으로 상기 지평선으로부터 임의의 픽셀까지의 거리에 따라 다른 패턴 사이즈를 설정하는 단계; 상기 다른 패턴 사이즈로 상기 영상 프레임을 스캔하면서 상기 패턴과 매칭되는 객체를 추출하는 단계; 및 상기 영상 프레임 상에 상기 추출된 객체의 위치 정보를 표시하는 단계;를 포함하는 것을 특징으로 한다.
상술한 바와 같이 본 발명에 따르면, 영상 프레임 내에서 다른 사이즈를 갖는 패턴 스캔에 의해 빠르고 정확하게 객체를 추출 및 추적할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 객체 추적 장치의 구성을 보이는 블록도 이다.
도 2는 도 1 중 데이터베이스에 저장된 객체 모델들을 보이는 도면이다.
도 3은 도 1 중 패턴 사이즈 설정을 설명하기 위한 도면이다.
도 4는 도 1 중 영상 프레임 내에서 설정되는 다른 패턴 사이즈를 보이는 도면이다.
도 5는 도 1 중 설정된 객체에 따라 다른 사이즈의 패턴 스캔에 따른 객체 추출을 보이는 도면이다.
도 6은 도 1 중 현재 영상 프레임에서 객체의 위치정보 및 그 위치에 따른 패턴 사이즈 정보를 다음 프레임에 적용하는 것을 보이는 도면이다.
도 7은 본 발명의 다른 실시 예에 따른 객체 추적 장치의 구성을 보이는 블록도 이다.
도 8은 도 7 중 제1 및 제2 카메라가 촬영한 영상 프레임 내에서 객체를 추출하여 정합하는 도면이다.
도 9는 본 발명의 일 실시 예에 따른 객체 추적 방법의 동작을 보이는 흐름도 이다.
도 10은 본 발명의 다른 실시 예에 따른 객체 추적 방법의 동작을 보이는 흐름도 이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명은 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 발명은 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 본 발명에의 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 잇는 것과 유사하게, 본 발명은 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 발명은 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. 매커니즘, 요소, 수단, 구성과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.
이하, 본 발명의 실시 예를 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 일 실시 예에 따른 객체 추적 장치(10)의 구성을 보이는 블록도 이다.
도 1을 참조하면, 일 실시 예에 따른 객체 추적 장치(10)는 카메라(100), 영상 처리부(200), 데이터베이스(300), 객체 설정부(400), 패턴 설정부(500), 객체 추출부(600) 및 객체 추적부(700)를 포함한다.
카메라(100)는 예컨대 COMS(complementary metal-oxide semiconductor) 모듈 또는 CCD(charge coupled device) 모듈 등을 이용하여 피사체를 촬영하는 카메라를 의미하는 것으로, 입력되는 영상 프레임은 렌즈를 통해 COMS 모듈 또는 CCD 모듈로 제공되고, COMS 모듈 또는 CCD 모듈은 렌즈를 통과한 피사체의 광신호를 전기적 신호(촬영 신호)로 변환하여 출력한다.
영상 처리부(200)는 카메라(100)로부터 출력되는 영상 프레임 신호에 대해 노이즈를 저감하고, 감마 보정(Gamma Correction), 색필터 배열보간(color filter array interpolation), 색 매트릭스(color matrix), 색보정(color correction), 색 향상(color enhancement) 등의 화질 개선을 위한 영상 신호 처리를 수행한다.
또한, 영상 처리부(200)는 화질 개선을 위한 영상 신호 처리를 하여 생성한 영상 데이터를 압축 처리하여 영상 파일을 생성할 수 있으며, 또는 상기 영상 파일로부터 영상 데이터를 복원할 수 있다. 영상의 압축형식은 가역 형식 또는 비가역 형식을 포함한다.
또한, 영상 처리부(200)에서는 기능적으로 색채 처리, 블러 처리, 에지 강조 처리, 영상 해석 처리, 영상 인식 처리, 영상 이펙트 처리 등도 행할 수 있다. 영상 인식 처리로 얼굴 인식, 장면 인식 처리 등을 행할 수 있다. 예를 들어, 휘도 레벨 조정, 색 보정, 콘트라스트 조정, 윤곽 강조 조정, 화면 분할 처리, 캐릭터 영상 등 생성 및 영상의 합성 처리 등을 행할 수 있다.
데이터베이스(300)에는 다양한 객체 모델 정보가 저장되어 있다. 도 2에는 데이터베이스(300)에 저장된 다양한 객체 모델들의 종류가 도시되어 있는데, 예를 들어, 사람, 병, 고양이, 자동차에 대한 객체 모델 정보가 저장되어 있다. 그러나, 데이터베이스(300)에 저장되어 있는 객체 모델들은 사람, 병, 고양이, 자동차에 한정되지 않고 다양한 종류의 객체 모델들이 저장될 수 있다. 이때 데이터베이스(300)에는 객체 모델들의 실제 크기 정보, 예를 들어, 사람의 신장(170cm), 자동차 높이(120cm)등의 정보가 함께 저장되어 있다.
데이터베이스(300)에 저장되는 객체 모델들은 밝기의 분포 방향을 히스토그램으로 표현하여 특징 벡터로 사용하는 HOG(histogram of gradient)로 저장되어 있다.
HOG 알고리즘은 객체의 특징을 추출하기 위한 알고리즘의 한 형식으로, 영상을 바둑판 모양의 정사각형 형태로 나누고, 그 각각의 정사각형 그리드(Grid) 내에서 밝기의 분포 방향(Orientation)의 로컬 히스토그램을 계산하는 알고리즘을 말하며, 특히 복수개의 픽셀로 이루어진 셀 및 상기 복수개의 셀로 이루어진 블록을 사용하여, 상기 변환된 이미지의 특징 벡터(Feature Vector)를 추출하게 된다.
보다 상세하게 설명하면, 영상의 의 x축과 y축의 경도(Gradient)를 구하고, 영상의 x축과 y축의 경도로부터 상기 영상의 각 픽셀의 매그니튜드(Magnitude)값 및 방향(Orientation)값을 구한다. 이후 상기 복수개의 픽셀로 구성되는 셀(Cell)을 오버랩(Overlap)하여 정규화(Normalize)시키며, 상기 매그니튜드값 및 방향값에 기초하여 상기 복수개의 셀로 구성되는 블록(Block)에 대한 블록 특징 벡터를 생성하고 추출한다.
도 2a에는 객체 모델로서 사람에 대해 HOG 알고리즘을 적용하여 추출된 특징 벡터가, 도 2b에는 병에 대한 특징 벡터가, 도 2c에는 고양이에 대한 특징벡터가, 도 2d에는 자동차에 대한 특징 벡터가 도시되어 있다.
이와 같이 본 발명에서는 객체 모델들의 특징을 추출을 위해 HOG 알고리즘을 적용하였으나, 이에 국한 되지 않고, 객체 모델의 특징 추출을 위한 Image Normalization, SQI(self-quotient image), MCT(modified census transform) 등 다양한 방법이 이용될 수 있다.
객체 설정부(400)는 데이터베이스(300)에 저장된 다양한 객체 모델들 중 추적하고자 하는 객체 모델을 설정한다. 예를 들어 객체 설정부(400)는 사용자의 선택에 의해 HOG로 표현된 사람 또는 자동차를 설정할 수 있다.
패턴 설정부(500)는 영상 프레임 내에서 지평선을 기준으로 하여, 지평선으로부터의 픽셀까지의 거리에 따라 다른 패턴 사이즈를 설정한다. 패턴 사이즈 설정을 위해 패턴 설정부(500)는 영상 프레임으로부터 지평선을 검출하여 그 위치 정보를 알아야 하고, 실제 카메라(100)의 높이 정보, 객체의 실제 크기 정보를 알아야 한다. 여기서 실제 카메라(100)의 높이 정보는 미리 설정되어 있고, 객체의 실제 크기 정보는 데이터베이스(300)로부터 검색하여 알 수 있다. 또한 하기 설명될 3차원 영상에 대응하여 실제 카메라(100)의 회전 각도 정보 또한 미리 설정되어 있다.
패턴 설정부(500)는 영상 프레임으로부터 지평선을 검출하는데, 지평선 검출은 영상을 하늘 영역과 비하늘 영역으로 나누는 세그멘테이션(segmentation)는 문제와 유사하다. 지평선 검출 방법은 크게 두 가지로 나눌 수 있다.
첫 번째는 하늘 영역이 대부분 영상의 위쪽 부분을 차지한다는 영상의 특성을 이용한 영역 기반 기법(region based approach)이다. 이는 지평선을 검출하기 위해 임계값을 이용하는데, 임계값을 구하기 위해 다수의 소형 필터(미도시)와 영상의 밝기 차이를 이용한다. 임계값이 구해지면 위로부터 아래 방향으로의 수직적 탐색 과정이 이루어진다. 그 후 임계값 이하의 명암값을 갖는 점을 지평선을 이루를 점으로 판별한다.
두 번째는 지평선이 두 구별되는 영역의 경계로 볼 수 있다는 사실을 이용한 에지 기반 기법(edge based approach)을 활용하여 지평선을 검출하기 위해 그래디언드 값을 활용한다. 패턴 설정부(500)는 상기와 같은 방법으로 영상 프레임 내에서 지평선을 검출하고, 지평선의 위치 정보를 획득할 수 있다.
패턴 설정부(500)가 설정하는 패턴 사이즈는, 영상 프레임 내의 지평선으로부터 임의의 픽셀까지의 거리 및 영상 프레임 내에서 객체의 크기(패턴 사이즈)의 비율이 카메라(100)의 높이 및 객체 설정부(400)에서 설정한 객체의 실제 크기의 비율과 동일하다는 가정하에 계산할 수 있다. 이와 같은 가정으로 영상 프레임 내에서 객체의 크기 즉 패턴 사이즈는 다음 수학식으로 계산할 수 있다.
Figure pat00002
도 3은 도 1 중 패턴 사이즈 설정을 설명하기 위한 도면이다. 도 3a에는 실제 촬영 모습이 도시되어 있고, 도 3b에는 도 3a를 카메라(100)로 촬영한 영상 프레임이 도시되어 있다. 도 3a 및 도 3b를 통하여 지평선의 위치 정보, 실제 카메라(100)의 높이, 객체의 실제 크기 정보를 상기 수학식 1에 적용하여 영상 프레임 내에서 객체의 크기 즉, 패턴 사이즈를 설정할 수 있다.
도 4에는 객체 설정부(400)에서 설정한 객체에 대하여, 영상 프레임 내의 지평선을 기준으로 하여, 지평선에서 임의의 픽셀까지의 거리에 따라 패턴 사이즈가 변화되는 것을 보여준다. 도 4를 참조하면, 패턴 설정부(500)는 지평선의 위치 정보, 추적하고자 하는 객체, 그 객체의 실제 크기 정보 및 카메라(100)의 실제 높이 정보를 알고 있는 상태에서, 상기 정보 및 지평선에서 임의의 픽셀까지의 거리 d1을 수학식 1에 적용하여 스캔할 패턴 사이즈 P1을 설정하고, 지평선에서 임의의 픽셀까지의 거리 d2에 대하여 스캔할 패턴 사이즈 P2를 설정한다. 이와 같은 방법으로 지평선에서 임의의 픽셀까지의 거리 dn에 대하여 스캔할 패턴 사이즈 Pn을 설정한다.
이러한 패턴 사이즈는 추적을 위해 설정한 객체의 종류 및 객체의 실제 크기 정보, 지평선의 위치에 따라 달라질 수 있다. 종래의 경우 정해진 복수의 패턴 전체를 영상 프레임의 각 픽셀에 적용하여 객체 검출을 위한 패턴 비교에 많은 시간이 소요되었다.
그러나, 본 실시 예에서는 지평선에서부터 픽셀까지의 거리에 따라 다른 패턴 사이즈를 설정하고, 거리에 따라 설정된 패턴으로 객체 검출을 위한 패턴 비교를 수행하기 때문에 종래에 비해 패턴 비교 시간이 현저하게 줄어들게 된다.
객체 추출부(600)는 패턴 설정부(500)에서 설정된 다른 패턴 사이즈에 객체 설정부(400)에서 설정된 객체의 특징 벡터를 적용하여, 즉, 특징 벡터로 표현되고 다른 사이즈로 설정되는 패턴으로 영상 프레임을 스캔하면서 상기 패턴과 매칭되는 객체를 추출한다.
도 5에는 객체 추출부(600)가 설정된 객체에 따라 다른 사이즈의 패턴 스캔중에 객체 추출을 보이는 도면이다. 도 5a와 같이 추적하고자 하는 객체가 사람인 경우, 지평선의 위치 정보, 사람의 실제 크기 정보 및 카메라(100)의 실제 높이 정보를 이용하여 지평선에서부터 임의의 픽셀까지의 거리에 따라 다른 사이즈의 패턴으로 영상 프레임을 스캔한다. 지평선에서 임의의 픽셀까지의 거리(d1-dn)에 다른 사이즈의 패턴(P1-Pn) 스캔 중에, 임의의 거리 da에서 계산된 패턴 사이즈 Pa로 영상 프레임 스캔 중에 패턴 Pa와 매칭되는 사람 즉, 객체가 추출되었음을 알 수 있다.
또한 도 5b와 같이 추적하고자 하는 객체가 자동차인 경우, 지평선의 위치 정보, 자동차의 실제 크기 정보 및 카메라(100)의 실제 높이 정보를 이용하여 지평선에서부터 임의의 픽셀까지의 거리에 따라 다른 사이즈의 패턴으로 영상 프레임을 스캔한다. 지평선에서 임의의 픽셀까지의 거리(d1-dn)에 다른 사이즈의 패턴(P1-Pn) 스캔 중에, 임의의 거리 db에서 계산된 패턴 사이즈 Pb로 영상 프레임 스캔 중에 패턴 Pb와 매칭되는 자동차 즉, 객체가 추출되었음을 알 수 있다.
객체 추출부(600)는 추출된 객체들에 SVM(support vector machine) 학습기를 적용하여 상기 객체들을 중요 영역 후보군과 비중요 영역 후보군으로 분류하고, 중요 영역 후보군으로부터 추적에 이용할 객체를 추출한다.
또한 객체 추출부(600)는 추적에 이용할 객체를 추출하기 위한 임계값을 설정하고, 추출된 상기 패턴과 매칭되는 객체들을 임계값과 비교하여 임계값 보다 적은 객체를 추적에 이용할 객체로 추출할 수 있다.
객체 추적부(700)는 현재 영상 프레임 상에 추출된 객체의 위치 정보를 표시하고, 다음 영상 프레임에 현재 영상 프레임에서 표시된 객체의 위치 정보 및 상기 추출된 객체에 해당하는 패턴 사이즈 정보를 전달한다.
현재 영상 프레임 내에서 객체의 위치 정보로부터 다음 영상 프레임의 객체의 위치 정보를 추정할 수 있다. 객체 추적부(700)는 다음 영상 프레임에서의 객체의 위치를 추정할 수 있으므로, 객체 추적을 위한 패턴 사이즈 또한 추정할 수 있다. 따라서, 객체 추적을 위한 객체 추출에 걸리는 시간을 단축시킬 수 있다.
또는 객체 추적부(700)가 현재 영상 프레임의 객체 위치 정보 및 패턴 사이즈 정보를 다음 영상 프레임에 그대로 적용할 수 있다. 다음 영상 프레임의 객체의 위치 및 패턴 사이즈는 현재 영상 프레임에서 객체의 위치 및 패턴 사이즈와 비교 시 크게 차이가 나지 않기 때문에, 다음 영상 프레임에서 객체 추출 시에 현재 영상 프레임에서의 객체 위치 및 패턴 사이즈를 조금만 조절하면 되므로, 역시 객체 추출 및 추적에 걸리는 시간을 단축할 수 있다.
도 6a는 예를 들어, 객체가 자동차로 설정되어 추출된 후, 객체 추적부(700)가 현재 영상 프레임에서 객체의 위치정보 및 그 위치에 따른 패턴 사이즈 정보를 표시한 도면이고, 도 6b는 객체 추적부(700)가 현재 영상 프레임의 객체(자동차) 위치정보 및 그 위치에 따른 패턴 사이즈 정보를 다음 영상 프레임에 적용하는 것을 보여준다. 이와 같이 현재 영상 프레임 내에서 객체 위치 정보 및 패턴 사이즈를 다음 영상 프레임에 적용함으로써 객체 추출 및 추적에 걸리는 시간을 단축 시킬 수 있다.
이후 프레임들에 대해서도 이전 프레임의 객체 위치 정보 및 패턴 사이즈 정보를 이용하여 객체 추출 및 객체 추적을 수행한다. 이와 같이 영상 프레임 각각에 대하여 객체의 위치 정보를 표시함으로서, 객체 추적이 가능하게 된다.
도 7은 본 발명의 다른 실시 예에 따른 객체 추적 장치(70)의 구성을 보이는 블록도 이다. 이하의 설명에서 도 1 내지 도 6에 대한 설명과 중복되는 부분은 그 설명을 생략하기로 한다.
도 7을 참조하면, 다른 실시 예에 따른 객체 추적 장치(70)는 제1 카메라(101), 제2 카메라(102), 영상 처리부(200), 데이터베이스(300), 객체 설정부(400). 패턴 설정부(500), 제1 객체 검출부(601), 제2 객체 검출부(602), 영상 정합부(603) 및 객체 추적부(700)를 포함한다. 도 1과 도 7을 비교하면, 도 1의 경우 이차원 영상인 반면, 도 7은 삼차원 영상일 수 있다.
제1 카메라(101) 및 제2 카메라(102)는, 예컨대 COMS(complementary metal-oxide semiconductor) 모듈 또는 CCD(charge coupled device) 모듈 등을 이용하여 피사체를 촬영하는 좌측 카메라 및 우측 카메라를 의미하는 것으로, 입력되는 제1 및 제2 영상 프레임은 렌즈를 통해 COMS 모듈 또는 CCD 모듈로 제공되고, COMS 모듈 또는 CCD 모듈은 렌즈를 통과한 피사체의 광신호를 전기적 신호(촬영 신호)로 변환하여 출력한다.
영상 처리부(200)는 제1 카메라(100) 및 제2 카메라(200)로부터 출력되는 제1 및 제2 영상 프레임에 대해 영상 처리를 수행하며, 영상 처리부(200)의 상세 내용은 상기와 동일하므로 생략하기로 한다.
데이터베이스(300)에는 다양한 객체 모델 정보가 저장되어 있고, 객체 설정부(400)는 데이터베이스(300)에 저장된 다양한 객체 모델들 중 추적하고자 하는 객체 모델을 설정한다. 예를 들어 객체 설정부(400)는 사용자의 선택에 의해 HOG로 표현된 사람 또는 자동차를 설정할 수 있다.
패턴 설정부(500)는 제1 카메라(101)가 촬영한 제1 영상 프레임 내에서 지평선을 기준으로 상기 지평선으로부터의 거리에 따라 다른 패턴 사이즈를 설정한다. 이하 설명은 도 1의 패턴 설정부(500)와 동일하므로 생략하기로 한다.
제1 객체 추출부(601)는 패턴 설정부(500)에서 설정된 다른 패턴 사이즈에 객체 설정부(400)에서 설정된 객체의 특징 벡터를 적용하여, 즉, 특징 벡터로 표현되고 다른 사이즈로 설정되는 패턴으로 제1 영상 프레임을 스캔하면서 상기 패턴과 매칭되는 객체를 추출한다.
제2 객체 추출부(602)는 제1 객체 추출부(601)로부터 제1 영상 프레임에 대해 추출된 제1 객체의 위치 정보 및 패턴 사이즈 정보를 상기 제2 영상 프레임에 적용하여 제2 객체를 추출한다.
제2 객체 추출부(602)가 제1 객체 추출부(601)와 동일한 방법으로 객체를 추출하게 되면, 제1 객체 추출부(601)와 동일한 시간이 소요되어 객체 추출에 시간이 많이 소요된다. 그러나, 제2 객체 추출부(602)가 제1 객체 추출부(601)로부터 객체의 위치 정보 및 패턴 사이즈 정보를 수신하여 제2 객체를 추출하기 때문에 객체 추출에 걸리는 시간을 줄일 수 있다.
영상 정합부(603)는 제1 및 제2 객체가 추출된 제1 및 제2 영상 프레임을 정합하여 3차원 영상을 생성한다. 영상 정합이란 서로 다른 각도에서 각각 획득된 서로 다른 두 영상 프레임 혹은 그 이상의 영상 프레임에서 물리적으로 유사한 영상 내의 영역들을 기하학적으로 일치시키는 처리를 의미한다.
영상 정합부(603)는 제1 카메라(101)로부터 촬영된 제1 영상 프레임 및 제2 카메라(102)로부터 촬영된 제2 영상 프레임으로부터 공통 영역을 검색하고, 검색된 공통 영역을 바탕으로 두 영상을 일치시켜 하나의 영상을 획득하는 것을 의미한다. 즉, 영상 정합을 위해서는 제1 및 제2 영상 프레임 각각에서 객체가 존재하는 포어그라운드(foreground) 영역과 상기 포어그라운드 영역 밖의 나머지 영역인 백그라운드(background) 영역을 구분한 후, 두 영상 프레임의 백그라운드 영역의 공통 영역을 검색하고, 공통 영역을 바탕으로 두 영상을 일치시킨다. 영상 정합과 관련된 내용은 이미 공지되어 있으므로, 상세한 설명을 생략하기로 한다.
도 8에는 제1 카메라(101) 및 제2 카메라(102)가 촬영한 제1 및 제2 영상 프레임 내에서 객체를 추출하여 정합하는 도면이 도시되어 있다. 도 7a는 제1 영상 프레임에서 추출된 제1 객체(자동차)를 보여주고 있고, 도 7b는 제1 영상 프레임으로부터의 제1 객체의 위치 정보 및 패턴 사이즈 정보를 이용하여 제2 영상 프레임에서 추출된 제2 객체(자동차)를 보여주고 있고, 도 7c는 영상 정합부(603)가 제1 영상 프레임 및 제2 영상 프레임을 정합한 결과를 보여주고 있다.
객체 추적부(700)는 정합된 현재 영상 프레임 상에 추출된 객체의 위치 정보를 표시하고, 다음 제1 영상 프레임에 정합된 현재 영상 프레임에 표시된 객체의 위치 정보 및 상기 추출된 객체에 해당하는 패턴 사이즈 정보를 전달한다. 현재 영상 프레임 내에서 객체의 위치 정보로부터 다음 영상 프레임의 객체의 위치 정보 및 패턴 사이즈를 추정할 수 있다. 이는 객체 추출 및 추적에 걸리는 시간을 단축시키기 위함이다. 이와 같이 입력되어 정합된 영상 프레임 각각에 대하여 객체의 위치 정보를 표시함으로서, 3차원 영상에 대해서도 객체 추적이 가능하게 된다.
상기에 개시된 바와 같이, 영상 내에서 객체의 위치별로 다른 패턴 사이즈를 설정하고 설정된 패턴으로 영상을 스캔함으로써 빠르고 정확하게 객체를 추출 및 추적할 수 있다.
도 9는 본 발명을 일 실시 예에 따른 객체 추적 방법의 동작을 보이는 흐름도 이다. 이하의 설명에서 도 1 내지 도 6에 대한 설명과 중복되는 부분은 그 설명을 생략하기로 한다.
도 9를 참조하면 일 실시 예에 따른 객체 추적 장치(10)는 데이터베이스(300)에 저장된 다양한 객체 모델 들 중 추적하고자 하는 객체를 설정하는 단계를 수행한다(S110). 여기서 객체 설정은 S110 단계로 한정되는 것이 아니며, 영상 프레임으로부터 객체를 추출하기 전까지 객체 설정이 완료된다면 어느 단계에 수행되어도 무방하다.
추적하고자 하는 객체를 설정이 완료되면, 객체 추적 장치(10)는 카메라(100)가 촬영한 영상 프레임을 획득하는 단계(S120)를 수행한다.
영상 프레임을 획득이 완료되면, 객체 추적 장치(10)는 영상 프레임 내에서 추출된 지평선을 기준으로 하여, 지평선으로부터의 픽셀 거리에 따라 다른 패턴 사이즈를 설정하는 단계(S130)를 수행한다. 패턴 사이즈 설정을 위해 지평선을 검출하여 그 위치 정보를 획득하고, 실제 카메라(100)의 높이 정보, 객체의 실제 크기 정보를 이용하여 영상 프레임 내에서 객체의 크기 즉, 패턴 사이즈를 설정한다.
패턴 사이즈 설정이 완료되면, 객체 추적 장치(10)는 설정된 다른 패턴 사이즈에 객체의 특징 벡터를 적용하여, 즉, 특징 벡터로 표현되고 다른 사이즈로 설정되는 패턴으로 영상 프레임을 스캔하면서 상기 패턴과 매칭되는 객체를 추출하는 단계(S140)를 수행한다.
객체 추출이 완료되면, 객체 추적 장치(10)는 현재 영상 프레임 상에 추출된 객체의 위치 정보를 표시하는 단계(S150)를 수행한다.
객체의 위치 정보 표시가 완료되면, 객체 추적 장치(10)는 다음 영상 프레임으로부터 객체를 추출하기 위해 현재 영상 프레임에서 표시된 객체의 위치 정보 및 상기 추출된 객체에 해당하는 패턴 사이즈 정보를 다음 영상 프레임으로 전달하는 단계(S160)를 수행한다.
이와 같이 입력되는 영상 프레임 각각에 대하여 객체의 위치 정보를 표시함으로서, 객체 추적이 가능하게 된다.
도 10은 본 발명의 다른 실시 예에 따른 객체 추적 방법의 동작을 보이는 흐름도 이다. 이하의 설명에서 도 1 내지 도 7에 대한 설명과 중복되는 부분은 그 설명을 생략하기로 한다.
도 10을 참조하면 다른 실시 예에 따른 객체 추적 장치(70)는 데이터베이스(300)에 저장된 다양한 객체 모델 들 중 추적하고자 하는 객체를 설정하는 단계를 수행한다(S210). 여기서 객체 설정은 S110 단계로 한정되는 것이 아니며, 영상 프레임으로부터 객체를 추출하기 전까지 객체 설정이 완료된다면 어느 단계에 수행되어도 무방하다.
추적하고자 하는 객체를 설정이 완료되면, 객체 추적 장치(70)는 제1 카메라(101) 및 제2 카메라(102)가 촬영한 제1 및 제2 영상 프레임을 획득하는 단계(S220)를 수행한다.
제1 및 제2 영상 프레임을 획득이 완료되면, 객체 추적 장치(70)는 제1 영상 프레임 내에서 추출된 지평선을 기준으로 하여, 지평선으로부터의 픽셀 거리에 따라 다른 패턴 사이즈를 설정하는 단계(S230)를 수행한다. 패턴 사이즈 설정을 위해 지평선을 검출하여 그 위치 정보를 획득하고, 실제 제1 카메라(101)의 높이 정보, 객체의 실제 크기 정보를 이용하여 제1 영상 프레임 내에서 객체의 크기 즉, 패턴 사이즈를 설정한다.
패턴 사이즈 설정이 완료되면, 객체 추적 장치(70)는 설정된 다른 패턴 사이즈에 객체의 특징 벡터를 적용하여, 즉, 특징 벡터로 표현되고 다른 사이즈로 설정되는 패턴으로 영상 프레임을 스캔하면서 상기 패턴과 매칭되는 제1 객체를 추출하는 단계(S240)를 수행한다.
제1 객체 추출이 완료되면, 객체 추적 장치(70)는 제1 영상 프레임으로부터 추출된 제1 객체의 위치 정보 및 패턴 사이즈 정보를 제2 영상 프레임에 적용하여 제2 객체를 추출하는 단계(250)를 수행한다. 제2 객체 추출 시에 제1 객체의 위치 정보 및 패턴 사이즈 정보를 수신하여 제2 객체를 추출하기 때문에 객체 추출에 걸리는 시간을 줄일 수 있다.
제2 객체 추출이 완료되면, 객체 추적 장치(70)는 제1 및 제2 객체가 추출된 제1 및 제2 영상 프레임을 정합하여 3차원 영상을 생성하는 단계(S260)를 수행한다.
영상 정합이 완료되면, 객체 추적 장치(70)는 정합된 영상 프레임 상에 추출된 객체의 위치 정보를 표시하는 단계(S270)를 수행한다.
객체의 위치 정보 표시가 완료되면, 객체 추적 장치(70)는 정합된 현재 영상 프레임에서 표시된 객체의 위치 정보 및 상기 추출된 객체에 해당하는 패턴 사이즈 정보를 제1 카메라가 촬영한 다음 제1 영상 프레임으로 전달하는 단계(S280)를 수행한다.
이와 같이 입력되어 정합된 영상 프레임 각각에 대하여 객체의 위치 정보를 표시함으로서, 3차원 영상에 대해서도 객체 추적이 가능하게 된다.
한편, 본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
이제까지 본 발명에 대하여 바람직한 실시 예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다. 그러므로 상기 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 한다.
본 발명에서 인용하는 공개 문헌, 특허 출원, 특허 등을 포함하는 모든 문헌들은 각 인용 문헌이 개별적으로 및 구체적으로 병합하여 나타내는 것 또는 본 발명에서 전체적으로 병합하여 나타낸 것과 동일하게 본 발명에 병합될 수 있다.
10, 60: 객체 추적 장치 100: 카메라
101: 제1 카메라 102: 제2 카메라
200: 영상 처리부 300: 데이터베이스
400: 객체 설정부 500: 패턴 설정부
600: 객체 설정부 601: 제1 객체 설정부
602: 제2 객체 설정부 603: 영상 정합부
700: 객체 추적부

Claims (20)

  1. 카메라가 촬영한 영상 프레임을 획득하는 단계;
    상기 영상 프레임 내에서 지평선을 기준으로 상기 지평선으로부터 임의의 픽셀까지의 거리에 따라 다른 패턴 사이즈를 설정하는 단계;
    상기 다른 패턴 사이즈로 상기 영상 프레임을 스캔하면서 상기 패턴과 매칭되는 객체를 추출하는 단계; 및
    상기 영상 프레임 상에 상기 추출된 객체의 위치 정보를 표시하는 단계;를 포함하는 것을 특징으로 하는 객체 추적 방법.
  2. 제 1항에 있어서, 상기 영상 프레임을 획득하는 단계 이전에,
    데이터베이스에 저장된 객체들 중 추적하고자 하는 상기 객체를 설정하는 단계;를 더 포함하는 것을 특징으로 하는 객체 추적 방법.
  3. 제 2항에 있어서, 상기 객체들은,
    밝기의 분포 방향을 히스토그램으로 표현하여 특징 벡터로 사용하는 HOG(histogram of gradient)로 저장되어 있는 것을 특징으로 하는 객체 추적 방법.
  4. 제 2항에 있어서, 상기 패턴 사이즈를 설정하는 단계는,
    상기 영상 프레임으로부터 상기 지평선을 추출하는 단계;
    상기 카메라의 높이 정보를 획득하는 단계;
    상기 객체의 실제 크기 정보를 획득하는 단계; 및
    상기 지평선으로부터 임의의 픽셀까지의 거리, 상기 카메라의 높이 정보 및 상기 객체의 실제 크기 정보를 이용하여 상기 영상 프레임 내에서 스캔할 서로 다른 패턴 사이즈를 설정하는 단계;를 포함하는 것을 특징으로 하는 객체 추적 방법.
  5. 제 4항에 있어서, 상기 패턴 사이즈는,
    하기 수학식
    Figure pat00003

    에 의해 설정되는 것을 특징으로 하는 객체 추적 방법.
  6. 제 1항에 있어서, 상기 객체를 추출하는 단계는,
    상기 다른 패턴 사이즈로 상기 영상 프레임을 스캔하면서 상기 패턴과 매칭되는 객체를 획득하는 단계;
    상기 획득된 객체에 SVM(support vector machine) 학습기를 적용하여 상기 객체들로부터 추적에 이용할 객체를 추출하는 단계;를 포함하는 것을 특징으로 하는 객체 추적 방법.
  7. 제 1항에 있어서,
    상기 객체의 위치 정보 및 상기 위치에 따른 패턴 사이즈 정보를 다음 영상 프레임으로 전달하는 단계;를 더 포함하는 것을 특징으로 하는 객체 추적 방법.
  8. 제 1항에 있어서, 상기 영상 프레임을 획득하는 단계는,
    제1 카메라가 촬영한 제1 영상 프레임을 획득하는 단계; 및
    제2 카메라가 촬영한 제2 영상 프레임을 획득하는 단계;를 포함하는 것을 특징으로 하는 객체 추적 방법.
  9. 제 8항에 있어서, 상기 패턴 사이즈를 설정하는 단계는,
    상기 제1 영상 프레임 내에서 지평선을 기준으로 상기 지평선으로부터 임의의 픽셀까지의 거리에 따라 다른 패턴 사이즈를 설정하는 것을 특징으로 하는 객체 추적 방법.
  10. 제 9항에 있어서, 상기 객체를 추출하는 단계는,
    상기 다른 패턴 사이즈로 상기 제1 영상 프레임을 스캔하면서 상기 패턴과 매칭되는 객체를 추출하는 것을 특징으로 하는 객체 추적 방법.
  11. 제 10항에 있어서, 상기 위치 정보를 표시하는 단계는,
    상기 제1 영상 프레임 상에 상기 추출된 객체의 위치 정보를 표시하는 단계; 및
    상기 제1 영상 프레임에서 획득한 상기 객체의 정보를 상기 제2 영상 프레임에 적용하여 표시하는 단계;를 포함하는 것을 특징으로 하는 객체 추적 방법.
  12. 제 11항에 있어서,
    상기 객체의 위치 정보 및 상기 위치에 따른 패턴 사이즈 정보를 상기 제1 카메라가 촬영한 다음 제1 영상 프레임으로 전달하는 단계;를 더 포함하는 것을 특징으로 하는 객체 추적 방법.
  13. 카메라에 의해 촬영된 영상 프레임 내에서 지평선을 기준으로 상기 지평선으로부터 임의의 픽셀까지의 거리에 따라 다른 패턴 사이즈를 설정하는 패턴 설정부;
    상기 다른 패턴 사이즈로 상기 영상 프레임을 스캔하면서 상기 패턴과 매칭되는 객체를 추출하는 객체 추출부; 및
    상기 영상 프레임 상에 상기 추출된 객체의 위치 정보를 표시하는 객체 추적부;를 포함하는 것을 특징으로 하는 객체 추적 장치.
  14. 제 13항에 있어서,
    데이터베이스에 저장된 객체들 중 추적하고자 하는 상기 객체를 설정하는 객체 설정부;를 더 포함하는 것을 특징으로 하는 객체 추적 장치.
  15. 제 13항에 있어서, 상기 패턴 설정부는,
    상기 영상으로부터 지평선을 추출하고, 상기 카메라의 높이 정보 및 상기 객체의 크기 정보를 획득하여 상기 영상 프레임 내에서 스캔할 서로 다른 패턴 사이즈를 설정하는 것을 특징으로 하는 객체 추적 장치.
  16. 제 13항에 있어서, 상기 객체 추적부는,
    상기 객체의 위치 정보와 함께 상기 위치에 따른 패턴 사이즈 정보를 다음 영상 프레임에 적용하는 것을 특징으로 하는 객체 추적 장치.
  17. 제1 영상 프레임을 획득하는 제1 카메라;
    제2 영상 프레임을 획득하는 제2 카메라;
    데이터베이스에 저장된 객체들 중 추적하고자 하는 상기 객체를 설정하는 객체 설정부;
    상기 제1 영상 프레임 내에서 지평선을 기준으로 상기 지평선으로부터 임의의 픽셀까지의 거리에 따라 다른 패턴 사이즈를 설정하는 패턴 설정부;
    상기 다른 패턴 사이즈로 상기 제1 영상 프레임을 스캔하면서 상기 패턴과 매칭되는 제1 객체를 추출하는 제1 객체 추출부;
    상기 제1 영상 프레임으로부터 추출된 객체의 위치 정보 및 상기 위치에 따른 패턴 사이즈 정보를 상기 제2 영상 프레임에 적용하여 제2 객체를 추출하는 제2 객체 추출부;
    상기 제1 및 제2 객체가 추출된 상기 제1 및 제2 영상 프레임을 정합하는 정합부; 및
    상기 정합된 영상 프레임 상에 상기 추출된 객체의 위치 정보를 표시하는 객체 추적부;를 포함하는 것을 특징으로 하는 객체 추적 장치.
  18. 제 17항에 있어서, 상기 패턴 설정부는,
    상기 제1 영상으로부터 지평선을 추출하고, 상기 카메라의 높이 정보 및 상기 객체의 크기 정보를 획득하여 상기 영상 프레임 내에서 스캔할 서로 다른 패턴 사이즈를 설정하는 것을 특징으로 하는 객체 추적 장치.
  19. 제 17항에 있어서, 상기 객체 추적부는,
    상기 객체의 위치 정보 및 상기 위치에 따른 패턴 사이즈 정보를 상기 제1 카메라가 촬영한 다음 제1 영상 프레임에 적용하는 것을 특징으로 하는 객체 추적 장치.
  20. 카메라가 촬영한 영상 프레임을 획득하는 단계;
    상기 영상 프레임 내에서 지평선을 기준으로 상기 지평선으로부터 임의의 픽셀까지의 거리에 따라 다른 패턴 사이즈를 설정하는 단계;
    상기 다른 패턴 사이즈로 상기 영상 프레임을 스캔하면서 상기 패턴과 매칭되는 객체를 추출하는 단계; 및
    상기 영상 프레임 상에 상기 추출된 객체의 위치 정보를 표시하는 단계;를 포함하는 것을 특징으로 하는 객체 추적 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체.
KR1020120080253A 2012-07-23 2012-07-23 객체 추적 장치 및 방법 KR101758684B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020120080253A KR101758684B1 (ko) 2012-07-23 2012-07-23 객체 추적 장치 및 방법
US13/888,532 US9373034B2 (en) 2012-07-23 2013-05-07 Apparatus and method for tracking object
CN201310311594.3A CN103578116B (zh) 2012-07-23 2013-07-23 用于跟踪对象的设备和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120080253A KR101758684B1 (ko) 2012-07-23 2012-07-23 객체 추적 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20140013407A true KR20140013407A (ko) 2014-02-05
KR101758684B1 KR101758684B1 (ko) 2017-07-14

Family

ID=49946221

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120080253A KR101758684B1 (ko) 2012-07-23 2012-07-23 객체 추적 장치 및 방법

Country Status (3)

Country Link
US (1) US9373034B2 (ko)
KR (1) KR101758684B1 (ko)
CN (1) CN103578116B (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101445367B1 (ko) * 2014-04-01 2014-10-02 주식회사 다이나맥스 이상 음원에 대한 인식율 향상을 통하여 긴급상황 판별 성능을 개선한 지능형 영상감시 시스템 및 이를 이용한 긴급상황 판별방법
KR20160091079A (ko) * 2015-01-23 2016-08-02 한화테크윈 주식회사 객체추적방법
KR20160092338A (ko) * 2015-01-27 2016-08-04 한화테크윈 주식회사 움직임 검출 방법, 이 방법을 채용한 카메라 및 감시 시스템
KR101991307B1 (ko) * 2019-04-04 2019-06-20 인천대학교 산학협력단 다중 객체 추적을 위한 트랙렛의 특징 벡터 할당이 가능한 전자 장치 및 그 동작 방법
KR102031503B1 (ko) * 2018-11-23 2019-11-08 유니셈(주) 다중 객체 검출 시스템 및 방법
KR102041734B1 (ko) * 2018-12-13 2019-11-27 유니셈(주) 딥 러닝 기반 교통 위반 단속 시스템 및 방법
WO2023210856A1 (ko) * 2022-04-29 2023-11-02 한화비전 주식회사 오토 포커스 조절 방법 및 이를 이용한 카메라 장치

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5919665B2 (ja) * 2011-07-19 2016-05-18 日本電気株式会社 情報処理装置、物体追跡方法および情報処理プログラム
JP6191500B2 (ja) * 2014-02-25 2017-09-06 富士ゼロックス株式会社 画像処理装置、画像処理システム及び画像処理プログラム
DE102014102634B4 (de) * 2014-02-27 2019-02-21 Lavision Gmbh Verfahren zum Kalibrieren einer optischen Anordnung, Verfahren zum Darstellen eines periodischen Kalibriermusters und Computerprogrammprodukt
US10735902B1 (en) 2014-04-09 2020-08-04 Accuware, Inc. Method and computer program for taking action based on determined movement path of mobile devices
US9418284B1 (en) * 2014-04-09 2016-08-16 Vortex Intellectual Property Holding LLC Method, system and computer program for locating mobile devices based on imaging
US9911190B1 (en) * 2014-04-09 2018-03-06 Vortex Intellectual Property Holding LLC Method and computer program for generating a database for use in locating mobile devices based on imaging
US10157189B1 (en) 2014-04-09 2018-12-18 Vortex Intellectual Property Holding LLC Method and computer program for providing location data to mobile devices
US9877036B2 (en) 2015-01-15 2018-01-23 Gopro, Inc. Inter frame watermark in a digital video
US9418396B2 (en) 2015-01-15 2016-08-16 Gopro, Inc. Watermarking digital images to increase bit depth
US9781809B2 (en) * 2015-04-10 2017-10-03 Google Inc. Dynamic pathlight brightness based on size and distance of motion/object approaching the device
US20170006219A1 (en) 2015-06-30 2017-01-05 Gopro, Inc. Image stitching in a multi-camera array
JP6806066B2 (ja) * 2015-09-11 2021-01-06 日本電気株式会社 物体計数装置、物体計数方法、物体計数プログラム、および物体計数システム
US9930271B2 (en) * 2015-09-28 2018-03-27 Gopro, Inc. Automatic composition of video with dynamic background and composite frames selected based on frame criteria
CN105222774B (zh) * 2015-10-22 2019-04-16 Oppo广东移动通信有限公司 一种室内定位方法及用户终端
US9881378B2 (en) 2016-02-12 2018-01-30 Vortex Intellectual Property Holding LLC Position determining techniques using image analysis of marks with encoded or associated position data
US10824878B2 (en) 2016-03-08 2020-11-03 Accuware, Inc. Method and arrangement for receiving data about site traffic derived from imaging processing
US10045120B2 (en) 2016-06-20 2018-08-07 Gopro, Inc. Associating audio with three-dimensional objects in videos
US9749738B1 (en) 2016-06-20 2017-08-29 Gopro, Inc. Synthesizing audio corresponding to a virtual microphone location
CN107666590B (zh) * 2016-07-29 2020-01-17 华为终端有限公司 一种目标监控方法、摄像头、控制器和目标监控系统
US10192143B1 (en) 2016-09-20 2019-01-29 Gopro, Inc. Systems and methods to distinguish between features depicted in images
US10134114B2 (en) 2016-09-20 2018-11-20 Gopro, Inc. Apparatus and methods for video image post-processing for segmentation-based interpolation
US10313686B2 (en) 2016-09-20 2019-06-04 Gopro, Inc. Apparatus and methods for compressing video content using adaptive projection selection
US10003768B2 (en) 2016-09-28 2018-06-19 Gopro, Inc. Apparatus and methods for frame interpolation based on spatial considerations
WO2018058531A1 (zh) * 2016-09-30 2018-04-05 富士通株式会社 目标跟踪方法、装置以及图像处理设备
US10489897B2 (en) 2017-05-01 2019-11-26 Gopro, Inc. Apparatus and methods for artifact detection and removal using frame interpolation techniques
US11666948B2 (en) * 2017-06-30 2023-06-06 Panasonic Intellectual Property Management Co., Ltd. Projection instruction device, parcel sorting system, and projection instruction method
CN107590453B (zh) * 2017-09-04 2019-01-11 腾讯科技（深圳）有限公司 增强现实场景的处理方法、装置及设备、计算机存储介质
CN107742303B (zh) * 2017-09-29 2021-05-25 南京阿凡达机器人科技有限公司 一种基于机器人的目标图像显示处理方法及系统
US11328396B2 (en) * 2017-12-26 2022-05-10 Samsung Electronics Co., Ltd. Image acquisition device and method of controlling the same
US10638135B1 (en) * 2018-01-29 2020-04-28 Amazon Technologies, Inc. Confidence-based encoding
US10783648B2 (en) * 2018-03-05 2020-09-22 Hanwha Techwin Co., Ltd. Apparatus and method for processing image
JP7059054B2 (ja) * 2018-03-13 2022-04-25 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
KR102547321B1 (ko) * 2018-06-01 2023-06-23 삼성전자주식회사 영상 표시 장치 및 그 동작방법
CN112514373B (zh) * 2018-08-14 2023-09-15 华为技术有限公司 用于特征提取的图像处理装置和方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8599266B2 (en) * 2002-07-01 2013-12-03 The Regents Of The University Of California Digital processing of video images
JP4437714B2 (ja) * 2004-07-15 2010-03-24 三菱電機株式会社 車線認識画像処理装置
US7697750B2 (en) * 2004-12-06 2010-04-13 John Castle Simmons Specially coherent optics
US8019175B2 (en) * 2005-03-09 2011-09-13 Qualcomm Incorporated Region-of-interest processing for video telephony
US8977063B2 (en) * 2005-03-09 2015-03-10 Qualcomm Incorporated Region-of-interest extraction for video telephony
JP2007043225A (ja) * 2005-07-29 2007-02-15 Univ Of Electro-Communications 撮像画像処理装置及び撮像画像処理方法
CN101395636B (zh) * 2006-03-01 2012-12-12 株式会社尼康 被摄体追踪方法、被摄体追踪装置以及照相机
JP4873711B2 (ja) 2006-12-05 2012-02-08 本田技研工業株式会社 三次元物体を検出する装置
JP5141317B2 (ja) * 2008-03-14 2013-02-13 オムロン株式会社 対象画像検出デバイス、制御プログラム、および該プログラムを記録した記録媒体、ならびに対象画像検出デバイスを備えた電子機器
US8355042B2 (en) * 2008-10-16 2013-01-15 Spatial Cam Llc Controller in a camera for creating a panoramic image
JP5277805B2 (ja) * 2008-09-05 2013-08-28 富士通株式会社 物体抽出装置、物体抽出方法および物体抽出プログラム
WO2010034065A1 (en) 2008-09-25 2010-04-01 National Ict Australia Limited Detection of vehicles in an image
US8330673B2 (en) * 2009-04-02 2012-12-11 GM Global Technology Operations LLC Scan loop optimization of vector projection display
JP4877374B2 (ja) * 2009-09-02 2012-02-15 株式会社豊田中央研究所 画像処理装置及びプログラム
KR101139389B1 (ko) 2010-04-28 2012-04-27 주식회사 아이티엑스시큐리티 스테레오 카메라를 이용한 영상인식장치 및 방법
US20110285851A1 (en) 2010-05-20 2011-11-24 Honeywell International Inc. Intruder situation awareness system

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101445367B1 (ko) * 2014-04-01 2014-10-02 주식회사 다이나맥스 이상 음원에 대한 인식율 향상을 통하여 긴급상황 판별 성능을 개선한 지능형 영상감시 시스템 및 이를 이용한 긴급상황 판별방법
KR20160091079A (ko) * 2015-01-23 2016-08-02 한화테크윈 주식회사 객체추적방법
KR20160092338A (ko) * 2015-01-27 2016-08-04 한화테크윈 주식회사 움직임 검출 방법, 이 방법을 채용한 카메라 및 감시 시스템
KR102031503B1 (ko) * 2018-11-23 2019-11-08 유니셈(주) 다중 객체 검출 시스템 및 방법
WO2020105780A1 (ko) * 2018-11-23 2020-05-28 유니셈(주) 다중 객체 검출 시스템 및 방법
KR102041734B1 (ko) * 2018-12-13 2019-11-27 유니셈(주) 딥 러닝 기반 교통 위반 단속 시스템 및 방법
WO2020122301A1 (ko) * 2018-12-13 2020-06-18 유니셈(주) 딥 러닝 기반 교통 위반 단속 시스템 및 방법
KR101991307B1 (ko) * 2019-04-04 2019-06-20 인천대학교 산학협력단 다중 객체 추적을 위한 트랙렛의 특징 벡터 할당이 가능한 전자 장치 및 그 동작 방법
WO2023210856A1 (ko) * 2022-04-29 2023-11-02 한화비전 주식회사 오토 포커스 조절 방법 및 이를 이용한 카메라 장치

Also Published As

Publication number Publication date
KR101758684B1 (ko) 2017-07-14
US9373034B2 (en) 2016-06-21
US20140022394A1 (en) 2014-01-23
CN103578116B (zh) 2018-02-13
CN103578116A (zh) 2014-02-12

Similar Documents

Publication Publication Date Title
KR101758684B1 (ko) 객체 추적 장치 및 방법
JP6655878B2 (ja) 画像認識方法及び装置、プログラム
Patel et al. Live face video vs. spoof face video: Use of moiré patterns to detect replay video attacks
US11176382B2 (en) System and method for person re-identification using overhead view images
EP2164027B1 (en) Object detecting device, imaging apparatus, object detecting method, and program
US9619708B2 (en) Method of detecting a main subject in an image
US8363933B2 (en) Image identification method and imaging apparatus
CN106326832B (zh) 基于物体区域处理图像的装置及方法
US10212410B2 (en) Systems and methods of fusing multi-angle view HD images based on epipolar geometry and matrix completion
WO2017080237A1 (zh) 相机成像方法及相机装置
KR101524548B1 (ko) 영상 정합 장치 및 방법
KR101510312B1 (ko) 복수의 카메라들을 이용한 3d 얼굴 모델링 장치, 시스템 및 방법
KR20130134163A (ko) 표적 추출 장치와 그 방법 및 상기 방법을 구현하는 프로그램이 기록된 기록 매체
JP6157165B2 (ja) 視線検出装置及び撮像装置
US10346709B2 (en) Object detecting method and object detecting apparatus
US20130259371A1 (en) Appearance and Context Based Object Classification in Images
CN110365897B (zh) 图像修正方法和装置、电子设备、计算机可读存储介质
KR101553012B1 (ko) 객체 추출 장치 및 방법
KR101726692B1 (ko) 객체 추출 장치 및 방법
US20230069608A1 (en) Object Tracking Apparatus and Method
KR20170088370A (ko) 카메라의 왜곡을 고려한 물체 인식 시스템 및 방법
JP7293100B2 (ja) カメラシステム
KR100853267B1 (ko) 스테레오 시각 정보를 이용한 복수 인물 추적 방법 및 그시스템
JP4812743B2 (ja) 顔認識装置、顔認識方法、顔認識プログラムおよびそのプログラムを記録した記録媒体
JP2013197892A (ja) 被写体認識装置、被写体認識方法及び被写体認識用コンピュータプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant