KR20120044484A - 이미지 처리 시스템에서 물체 추적 장치 및 방법 - Google Patents

이미지 처리 시스템에서 물체 추적 장치 및 방법 Download PDF

Info

Publication number
KR20120044484A
KR20120044484A KR1020100105770A KR20100105770A KR20120044484A KR 20120044484 A KR20120044484 A KR 20120044484A KR 1020100105770 A KR1020100105770 A KR 1020100105770A KR 20100105770 A KR20100105770 A KR 20100105770A KR 20120044484 A KR20120044484 A KR 20120044484A
Authority
KR
South Korea
Prior art keywords
pose
feature point
region
interest
image
Prior art date
Application number
KR1020100105770A
Other languages
English (en)
Inventor
조익환
신대규
정창성
구민석
서동환
박진형
Original Assignee
삼성전자주식회사
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 고려대학교 산학협력단 filed Critical 삼성전자주식회사
Priority to KR1020100105770A priority Critical patent/KR20120044484A/ko
Priority to US13/204,289 priority patent/US20120106784A1/en
Publication of KR20120044484A publication Critical patent/KR20120044484A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/35—Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 영상에서 물체 추적에 관한 것으로, 물체 추적 방법은, 관심 영역에서 추출된 적어도 하나의 특징점의 관계를 이용하여 포즈 정보를 추출하는 과정과, 상기 포즈 정보를 이용하여 포즈를 추정하는 과정과, 상기 포즈를 이용하여 관심 영역을 설정하는 과정과, 필터링 기법을 이용하여 상기 관심 영역을 추정하는 과정을 포함한다.

Description

이미지 처리 시스템에서 물체 추적 장치 및 방법{APPARATUS AND METHOD FOR TRACKING OBJECT IN IMAGE PROCESSING SYSTEM}
본 발명은 이미지 처리 시스템에 관한 것으로, 특히, 이미지 처리 시스템에서 카메라를 통해 입력되는 영상 또는 동영상에서 물체를 추적하는 장치 및 방법에 관한 것이다.
물체 추적은 정지 영상 또는 동영상에서 특정한 물체를 인식하고, 나아가 상기 물체의 이동 및 포즈(pose), 즉, 보이는 각도를 인식하는 기술이다. 상기 물체 추적 기술은 다양한 용도로 활용될 수 있다. 예를 들어, 최근 관심이 되고 있는 증강 현실 기술의 구현, 방법용 카메라를 통해 촬영된 영상에서 특정 차량 또는 특정 인물의 이동 경로 추적 등을 위해 상기 물체 추적 기술이 활용될 수 있다.
물체 추적의 과정을 간략히 살펴보면, 영상에서 특징점을 추출하고, 목표 물체의 특징점과 비교하여 동일한 특징점을 찾아냄으로써 물체를 인식한 후, 특징점들의 좌표 정보를 이용하여 물체의 위치 및 각도 정보를 추정한다. 그리고, 시간에 따른 두 장의 영상에서 각각 특징점을 추출하고, 유사한 특징점들의 이동 정보에 따라 찾아 상기 물체가 시간이 지남에 따라 어디로 이동하는지 판단한다.
종래의 물체 추적 방식은 영상의 모든 부분을 이용하므로 특징점 추출의 속도가 저하되고, 잘못된 특징점 검출로 인하여 포즈(pose) 정보 추출에 오류 발생 가능성을 가진다. 이에, 영상의 일부를 관심 영역(RoI : Region of Interest)을 설정함으로써 특징점 검색의 범위를 좁히는 방안이 제시된 바 있으나, 관심 영역의 설정이 고정적임으로 인해 영상의 상황에 따른 대응이 불가능하고, 이에 따라 정확도가 떨어지는 문제가 존재하였다.
따라서, 영상에서 물체를 추적하는데 있어서 관심 영역을 영상의 상황에 따라 적응적으로 설정하고, 물체 추적 성능을 향상시키기 위한 대안이 제시되어야 한다.
따라서, 본 발명의 목적은 이미지 처리 시스템에서 관심 영역에 대한 정확도를 향상시키는 장치 및 방법을 제공함에 있다.
본 발명의 다른 목적은 이미지 처리 시스템에서 관심 영역을 영상의 상황에 따라 적응적으로 설정하기 위한 장치 및 방법을 제공함에 있다.
본 발명의 또 다른 목적은 이미지 처리 시스템에서 추정된 포즈(pose) 정보를 이용하여 관심 영역을 설정하여 처리 속도 및 정확도를 높이기 위한 장치 및 방법을 제공함에 있다.
본 발명의 또 다른 목적은 이미지 처리 시스템에서 관심 영역을 이전 관심 영역을 이용하여 추정함으로써 관심 영역에 대한 정확도를 향상시키는 장치 및 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 제1견지에 따르면, 영상에서 물체를 추적하는 방법은, 관심 영역에서 추출된 적어도 하나의 특징점의 관계를 이용하여 포즈 정보를 추출하는 과정과, 상기 포즈 정보를 이용하여 포즈를 추정하는 과정과, 상기 포즈를 이용하여 관심 영역을 설정하는 과정과, 필터링 기법을 이용하여 상기 관심 영역을 추정하는 과정을 포함하는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명의 제2견지에 따르면, 영상에서 물체를 추적하는 장치는, 영상 정보를 생성하는 영상 정보 발생부와, 관심 영역에서 추출된 적어도 하나의 특징점의 관계를 이용하여 포즈 정보를 추출하고, 상기 포즈 정보를 이용하여 포즈를 추정한 후, 상기 포즈를 이용하여 관심 영역을 설정하고, 필터링 기법을 이용하여 상기 관심 영역을 추정하는 연산부를 포함하는 것을 특징으로 한다.
영상에서 물체를 추적함에 있어서, 강건한 방법에 의하여 추정된 포즈 정보를 이용하여 관심 영역을 설정함으로써 기존의 방법에 비하여 속도가 향상되며 설정된 관심 영역을 다시 강건한 방법으로 추정하여 관심 영역에 대한 정확도와 신뢰도를 높이고 이를 통하여 물체 추적의 정확도와 신뢰도가 향상되어 정확한 포즈를 추정할 수 있는 효과가 있다.
도 1은 본 발명의 실시 예에 따른 이미지 처리 시스템의 물체 추적을 위한 동작 절차를 도시하는 도면,
도 2는 본 발명의 실시 예에 따른 이미지 처리 시스템의 관심 영역 설정을 위한 동작 절차를 도시하는 도면,
도 2는 본 발명의 실시 예에 따른 이미지 처리 시스템의 블록 구성을 도시하는 도면.
이하 본 발명의 바람직한 실시 예를 첨부된 도면의 참조와 함께 상세히 설명한다. 그리고, 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우, 그 상세한 설명은 생략한다.
이하 본 발명은 이미지 처리 시스템에서 관심 영역을 효과적으로 설정함으로써 물체 추정 성능을 향상시키기 위한 기술에 대해 설명한다. 여기서, 상기 이미지 처리 시스템은 영상 또는 동영상을 입력받고, 상기 영상 또는 상기 동영상을 분석하고, 상기 영상 또는 상기 동영상에서 특정 물체를 인식할 수 있는 기능을 가지는 장치를 의미한다. 예를 들어, 상기 이미지 처리 시스템은 휴대용 단말기, 랩탑(lap-top) 컴퓨터, 데스크탑 컴퓨터, 스마트 TV 등과 같이 영상 표시 기능을 가지는 장치들이 될 수 있다.
본 발명은 카메라를 통해 입력되거나 또는 기 저장된 영상에서 특징점을 추출하고, 추출된 특징점을 목표 물체의 미리 정의된 특징점들과 비교함으로써 대응되는 특징점을 판단하고, 대응되는 특징점들의 좌표들 간 관계를 이용하여 물체의 위치 및 각도와 같은 포즈(pose) 정보를 알아내고, 상기 포즈 정보를 강건한 방법으로 추정함으로써 실제 위치를 판단하고, 상기 포즈 정보 및 이전의 관심 영역을 이용하여 관심 영역을 설정하고, 상기 관심 영역 내에서 이용하여 상술한 과정을 반복한다.
도 1은 본 발명의 실시 예에 따른 이미지 처리 시스템의 물체 추적을 위한 동작 절차를 도시하고 있다.
상기 도 1을 참고하면, 상기 이미지 처리 시스템은 101단계에서 카메라로부터 입력되는 또는 기 저장된 동영상에서 추출한 영상에서 관심 영역을 설정한다. 동영상에서의 물체 추정은 매 프레임 단위로 수행되므로, 상기 이미지 처리 시스템은 상기 동영상에서 해당 프레임의 영상을 추출하고, 상기 관심 영역을 설정한다. 이때, 상기 101단계가 물체 추적의 시작 시점인 경우, 상기 관심 영역은 영상 전체가 된다.
상기 관심 영역을 설정한 후, 상기 이미지 처리 시스템은 103단계로 진행하여 상기 영상에서 관심 영역을 추출한다. 즉, 관심 영역 외의 영역은 특징점 검색의 대상이 아니므로, 상기 이미지 처리 시스템은 관심 영역의 영상 정보만을 추출한다.
상기 관심 영역을 추출한 후, 상기 이미지 처리 시스템은 105단계로 진행하여 상기 관심 영역 내에서 적어도 하나의 특징점을 추출한다. 예를 들어, 상기 이미지 처리 시스템은 상기 관심 영역의 영상을 다양한 크기(scale)로 모델링한 이미지들을 생성하고, 상기 이미지들 간 관계를 이용하여 특징점을 결정한 후, 해당 특징점에 대한 유일한 크기값을 계산한다. 그리고, 상기 이미지 처리 시스템은 계산된 유일한 크기값을 기준으로 상기 특징점의 주변 영역에 대하여 주방향(orientation) 및 엣지 히스토그램(EDGE HISTOGRAM)을 생성하고, 상기 엣지 히스토그램을 이용하여 서술자(scriptor)를 판단한다.
상기 다양한 크기로의 모델링을 위해, 상기 이미지 처리 시스템은 원본 영상에 대하여 각 크기에 대응되는 가우시안(Gaussian) 필터링을 취함으로써 블러링(blurring)된 영상들을 생성한다. 상기 블러링된 영상들이 크기 영상(scale image)들이며, 이들은 해상도는 원본과 동일하지만 블러링 정도가 상이하다. 상기 블러링된 영상들로부터 DoG(Difference of Gaussian)영상이 생성되며, 이는 가우시안 블러링된 영상들 간 차이를 나타내는 영상, 즉, 차영상이다. 상기 차영상들 간 어떤 하나의 픽셀(pixel)이 3차원적으로 주변 26개보다 최대이거나 최소값인 경우, 상기 이미지 처리 시스템은 해당 지점을 특징점으로 판단하며, 해당 특징점이 속해 있는 크기를 유일한 크기값으로 판단한다. 즉, 상기 유일한 크기값은 해당 특징점을 중심으로 그 영역을 가장 명확하게 표현 가능한 영역의 크기를 의미한다. 이론적으로, 영상의 해상도가 바뀜에 따라 크기의 절대값도 바뀌어 정규화할 경우 동일하게 된다. 상기 유일한 크기 값을 판단한 후, 상기 이미지 처리 시스템은 상기 유일한 크기값을 기준으로 특징점 주변 영역을 선택하고, 선택된 영역을 일정한 해상도로 정규화한 후, 정규화된 영역 영상에 대하여 각 픽셀별로 x, y방향의 변화도(gradient)를 계산하여 주방향을 계산한다. 이때, 상기 이미지 처리 시스템은 전체 360도를 36개로 양자화(quantization)하고, 모든 픽셀에 대한 주방향의 히스토그램을 결정한 후, 가장 높은 값을 가지는 방향을 해당 영역의 주방향으로 결정한다. 엣지 히스토그램 계산을 위해, 상기 이미지 처리 시스템은 해당 영역을 2×2로 4등분하고, 각 픽셀에 대하여 x, y 방향 변화도를 계산함으로써 8방향으로 양자화된 픽셀 별 방향을 결정하고, 이를 이용하여 전체 히스토그램을 구성한다. 상기 이미지 처리 시스템은 두 영상 간 인식을 위하여 먼저 각 영상에 대하여 특징점과 주변 영역에 대하여 주방향 및 엣지 히스토그램을 추출한다. 두 영상 간 추출된 특징점에 대한 엣지 히스토그램을 서로 비교하여 유사한 특징점 쌍을 구하고 이 쌍들을 이용하여 두 영상간의 유사도를 계산한다. 유사도가 높을 경우 두 영상에 동일한 객체가 있을 확률이 높으므로 인식이 된 것으로 판단한다.
상기 특징점들을 추출한 후, 상기 이미지 처리 시스템은 107단계로 진행하여 추출된 적어도 하나의 특징점을 미리 정의된 상기 목표 물체의 특징점들과 비교한다. 즉, 상기 이미지 처리 시스템은 상기 목표 물체의 특징점 정보를 미리 저장하고 있으며, 기 저장된 상기 목표 물체의 특징점 및 상기 영상에서 추출된 특징점을 비교함으로써 상기 목표 물체의 이미지가 존재함을 판단한다.
상기 특징점을 비교한 후, 상기 이미지 처리 시스템은 109단계로 진행하여 포즈(pose) 정보를 추출한다. 예를 들어, 상기 포즈 정보는 추출된 적어도 하나의 특징점들의 변환 행렬(transform matrix) 등을 포함한다.
상기 포즈 정보를 추출한 후, 상기 이미지 처리 시스템은 111단계로 진행하여 상기 포즈 정보를 이용하여 포즈를 추정한다. 예를 들어, 상기 이미지 처리 시스템은 Kalman 필터(Filter), Particle 필터 등과 같은 강인한 필터링 기법을 이용하여 포즈를 추정할 수 있다. 상기 Kalman 필터는 과거와 현재의 데이터를 이용하여 재귀적 연산을 통하여 최적의 데이터를 예측하는 방법이다. 따라서, 상기 Kalman 필터에 따르면, 상기 이미지 처리 시스템은 과거의 포즈 정보 및 현재의 포즈 정보를 이용한 재귀적(recursive) 연산을 통하여 최적의 포즈를 추정한다. 상기 Particle 필터는 시스템에 적절하게 제안된 확률분포로 임의로 생성된 다수의 데이터를 입력하여 그것들을 종합적으로 분석하여 시스템의 정보를 예측하는 방법이다. 따라서, 상기 Particle 필터에 따르면, 상기 이미지 처리 시스템은 포즈 정보에 대응되는 확률분포에 따라 임의로 생성된 다수의 데이터를 입력하여 그것들을 종합적으로 분석하여 포즈를 추정한다.
이후, 상기 이미지 처리 시스템은 113단계로 진행하여 다음 프레임의 영상에서의 물체 추적을 위한 관심 영역을 설정한다. 이때, 상기 이미지 처리 시스템은 상기 111단계에서 추정된 포즈를 이용하여 상기 관심 영역을 설정한다. 구체적으로, 상기 관심 영역의 설정은 도 2와 같이 수행된다. 상기 도 2를 참고하면, 상기 이미지 처리 시스템은 201단계에서 추정된 포즈를 이용하여 영상에서 목표 물체의 위치/높이/너비를 계산한다. 여기서, 상기 목표 물체의 위치/높이/너비를 포함하는 영역이 관심 영역으로 초기 설정된다. 이후, 상기 이미지 처리 시스템은 203단계로 진행하여 추출된 특징점의 개수가 임계치 미만인지 확인한다. 추출된 특징점의 개수가 임계치 이상이면, 상기 이미지 처리 시스템은 205단계로 진행하여 상기 관심 영역의 높이 및 너비를 증가시킨다. 상기 203단계에서 추출된 특징점의 개수가 임계치 미만이라 판단되거나, 또는, 상기 205단계에서 상기 관심 영역의 높이 및 너비를 증가시킨 후, 상기 이미지 처리 시스템은 207단계로 진행하여 계산된 위치/높이/너비 또는 증가된 높이 및 너비에 속한 영역을 관심 영역으로 결정한다.
상기 관심 영역을 설정한 후, 상기 이미지 처리 시스템은 115단계로 진행하여 상기 관심 영역을 추정한다. 이때, 상기 이미지 처리 시스템은 상기 포즈의 추정과 유사한 방식을 통해 상기 관심 영역을 추정한다. 예를 들어, 상기 이미지 처리 시스템은 Kalman 필터, Particle 필터 등과 같은 강인한 필터링 기법을 이용하여 상기 관심 영역을 추정할 수 있다. 즉, 상기 이미지 처리 시스템은 관심 영역 추정을 위하여 관심 영역의 x, y 위치, 너비와 높이를 상기 Kalman 필터의 입력 데이터로 사용하고, Kalman 필터링의 결과에 따라 다음 관심영역을 추정한다.
도 3은 본 발명의 실시 예에 따른 이미지 처리 시스템의 블록 구성을 도시하고 있다.
상기 도 3에 도시된 바와 같이, 상기 이미지 처리 시스템은 영상정보발생부(302), 물체추적연산부(304), 사용자인터페이스부(306)를 포함하여 구성된다.
상기 영상정보발생부(302)는 카메라로부터 입력되는 영상 또는 기 저장된 동영상으로부터 영상 정보를 생성하여 상기 물체추적연산부(304)로 제공한다.
상기 물체추적연산부(304)는 상기 영상정보발생부(302)로부터 입력되는 영상에서 목표 물체를 추적한다. 본 발명의 실시 예에 따라, 상기 물체추적연산부(304)는 관심 영역을 이용하며, 추정된 포즈를 이용하여 관심 영역을 설정하고, 검색된 특징점 개수를 이용하여 관심 영역을 조절한 후, 필터링 기법을 이용하여 관심 영역을 추정한다. 구체적으로 살펴보면, 상기 물체추적연산부(304)는 최초 영상 전체를 관심 영역으로 설정한 후, 관심 영역에서 특징점을 추출한다. 예를 들어, 상기 물체추적연산부(304)는 상기 관심 영역의 영상을 다양한 크기(scale)로 모델링한 이미지들을 생성하고, 상기 이미지들 간 관계를 이용하여 특징점을 결정한 후, 해당 특징점에 대한 유일한 크기값을 계산하고, 계산된 유일한 크기값을 기준으로 상기 특징점의 주변 영역에 대하여 엣지 히스토그램(EDGE HISTOGRAM)을 생성하고, 상기 엣지 히스토그램을 이용하여 특징점을 판단한다. 상기 특징점들을 추출한 후, 상기 물체추적연산부(304)는 추출된 적어도 하나의 특징점을 미리 정의된 상기 목표 물체의 특징점들과 비교함으로써 상기 목표 물체의 이미지가 존재함을 판단한 후, 포즈(pose) 정보를 추출하고, Kalman 필터(Filter), Particle 필터 등을 이용하여 상기 포즈 정보로부터 포즈를 추정한다. 이후, 상기 물체추적연산부(304)는 다음 프레임의 영상에서의 물체 추적을 위한 관심 영역을 설정한다. 이때, 상기 물체추적연산부(304)는 추정된 포즈를 이용하여 영상에서 목표 물체의 위치/높이/너비를 계산하고, 추출된 특징점의 개수가 임계치 이상이면 상기 이미지 처리 시스템은 205단계로 진행하여 상기 관심 영역의 높이 및 너비를 증가시킨다. 상기 관심 영역을 설정한 후, 상기 물체추적연산부(304)는 Kalman 필터, Particle 필터 등을 이용하여 상기 관심 영역을 추정한다. 그리고, 상기 물체추적연산부(304)는 상술한 과정을 반복한다.
상기 사용자인터페이스부(306)는 상기 물체추적연산부(304)에 의한 물체 추적 결과를 사용자가 확인할 수 있도록 사용자가 인식 가능한 방식으로 표시한다. 예를 들어, 상기 사용자인터페이스부(306)는 영상과 함께 목표 물체를 표시하는 표식을 표시하거나, 목표 물체의 추적 결과를 나타내는 값을 표시할 수 있다. 예를 들어, 상기 사용자인터페이스부(306)는 LCD(Liquid Crystal Display), OLED(Organic Light-Emitting Diode) 등으로 구성될 수 있다.
한편 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

Claims (16)

  1. 영상에서 물체를 추적하는 방법에 있어서,
    관심 영역에서 추출된 적어도 하나의 특징점의 관계를 이용하여 포즈 정보를 추출하는 과정과,
    상기 포즈 정보를 이용하여 포즈를 추정하는 과정과,
    상기 포즈를 이용하여 관심 영역을 설정하는 과정과,
    필터링 기법을 이용하여 상기 관심 영역을 추정하는 과정을 포함하는 것을 특징으로 하는 방법.
  2. 제1항에 있어서,
    상기 적어도 하나의 특징점의 관계는, 상기 적어도 하나의 특징점의 좌표를 포함하는 것을 특징으로 하는 방법.
  3. 제1항에 있어서,
    상기 포즈를 추정하는 과정은,
    과거의 포즈 정보 및 현재의 포즈 정보를 이용한 재귀적(recursive) 연산을 통하여 상기 포즈를 추정하는 과정을 포함하는 것을 특징으로 하는 방법.
  4. 제1항에 있어서,
    상기 포즈를 추정하는 과정은,
    포즈 정보에 대응되는 확률분포에 따라 생성된 다수의 데이터를 분석함으로써 상기 포즈를 추정하는 과정을 포함하는 것을 특징으로 하는 방법.
  5. 제1항에 있어서,
    상기 포즈를 이용하여 관심 영역을 설정하는 과정은,
    추정된 포즈를 이용하여 영상에서 목표 물체의 위치/높이/너비를 계산하는 과정과,
    상기 목표 물체의 위치/높이/너비를 포함하는 영역을 관심 영역으로 설정하는 과정과,
    추출된 특징점의 개수가 임계치 이상이면, 상기 관심 영역의 높이 및 너비 중 적어도 하나를 증가시키는 과정을 포함하는 것을 특징으로 하는 방법.
  6. 제1항에 있어서,
    상기 필터링 기법은, Kalman 필터 및 Particle 필터 중 하나인 것을 특징으로 하는 방법.
  7. 제1항에 있어서,
    상기 관심 영역에서 적어도 하나의 특징점을 추출하는 과정과,
    상기 적어도 하나의 특징점을 목표 물체의 특징점들과 비교하는 과정을 더 포함하는 것을 특징으로 하는 방법.
  8. 제7항에 있어서,
    상기 적어도 하나의 특징점을 추출하는 과정은,
    상기 관심 영역의 영상을 다양한 크기(scale)로 모델링한 이미지들을 생성하는 과정과,
    상기 이미지들 간 관계를 이용하여 특징점을 결정하는 과정과,
    해당 특징점에 대한 유일한 크기값을 계산하는 과정과,
    상기 유일한 크기값을 기준으로 상기 특징점의 주변 영역에 대하여 엣지 히스토그램(EDGE HISTOGRAM)을 생성하는 과정을 포함하는 것을 특징으로 하는 방법.
  9. 영상에서 물체를 추적하는 장치에 있어서,
    영상 정보를 생성하는 영상 정보 발생부와,
    관심 영역에서 추출된 적어도 하나의 특징점의 관계를 이용하여 포즈 정보를 추출하고, 상기 포즈 정보를 이용하여 포즈를 추정한 후, 상기 포즈를 이용하여 관심 영역을 설정하고, 필터링 기법을 이용하여 상기 관심 영역을 추정하는 연산부를 포함하는 것을 특징으로 하는 장치.
  10. 제9항에 있어서,
    상기 적어도 하나의 특징점의 관계는, 상기 적어도 하나의 특징점의 좌표를 포함하는 것을 특징으로 하는 장치.
  11. 제9항에 있어서,
    상기 연산부는, 과거의 포즈 정보 및 현재의 포즈 정보를 이용한 재귀적(recursive) 연산을 통하여 상기 포즈를 추정하는 것을 특징으로 하는 장치.
  12. 제9항에 있어서,
    상기 연산부는, 포즈 정보에 대응되는 확률분포에 따라 생성된 다수의 데이터를 분석함으로써 상기 포즈를 추정하는 것을 특징으로 하는 장치.
  13. 제9항에 있어서,
    상기 연산부는, 추정된 포즈를 이용하여 영상에서 목표 물체의 위치/높이/너비를 계산하고, 상기 목표 물체의 위치/높이/너비를 포함하는 영역을 관심 영역으로 설정한 후, 추출된 특징점의 개수가 임계치 이상이면, 상기 관심 영역의 높이 및 너비 중 하나를 증가시키는 것을 특징으로 하는 장치.
  14. 제9항에 있어서,
    상기 필터링 기법은, Kalman 필터 및 Particle 필터 중 하나인 것을 특징으로 하는 장치.
  15. 제1항에 있어서,
    상기 연산부는, 상기 관심 영역에서 적어도 하나의 특징점을 추출하고, 상기 적어도 하나의 특징점을 목표 물체의 특징점들과 비교하는 것을 특징으로 하는 장치.
  16. 제15항에 있어서,
    상기 연산부는, 상기 적어도 하나의 특징점을 추출하기 위해, 상기 관심 영역의 영상을 다양한 크기(scale)로 모델링한 이미지들을 생성하고, 상기 이미지들 간 관계를 이용하여 특징점을 결정하고, 해당 특징점에 대한 유일한 크기값을 계산한 후, 상기 유일한 크기값을 기준으로 상기 특징점의 주변 영역에 대하여 엣지 히스토그램(EDGE HISTOGRAM)을 생성하는 것을 특징으로 하는 장치.
KR1020100105770A 2010-10-28 2010-10-28 이미지 처리 시스템에서 물체 추적 장치 및 방법 KR20120044484A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100105770A KR20120044484A (ko) 2010-10-28 2010-10-28 이미지 처리 시스템에서 물체 추적 장치 및 방법
US13/204,289 US20120106784A1 (en) 2010-10-28 2011-08-05 Apparatus and method for tracking object in image processing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100105770A KR20120044484A (ko) 2010-10-28 2010-10-28 이미지 처리 시스템에서 물체 추적 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20120044484A true KR20120044484A (ko) 2012-05-08

Family

ID=45996809

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100105770A KR20120044484A (ko) 2010-10-28 2010-10-28 이미지 처리 시스템에서 물체 추적 장치 및 방법

Country Status (2)

Country Link
US (1) US20120106784A1 (ko)
KR (1) KR20120044484A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210080334A (ko) * 2018-10-24 2021-06-30 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드 인체 인식 방법, 장치, 기기 및 컴퓨터 판독 가능 저장 매체
WO2023113471A1 (ko) * 2021-12-15 2023-06-22 삼성전자 주식회사 복수의 카메라를 이용하여 촬영된 객체의 3차원 골격 데이터를 획득하는 전자 장치 및 방법
WO2023121012A1 (ko) * 2021-12-22 2023-06-29 주식회사 포스코 특징점 추적 기반 거동 분석 방법 및 시스템

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101480410B1 (ko) * 2008-12-04 2015-01-08 삼성전자주식회사 디지털 영상 처리기에서 스포츠 자세 교정 장치 및 방법
JP5746550B2 (ja) * 2011-04-25 2015-07-08 キヤノン株式会社 画像処理装置、画像処理方法
US9224064B2 (en) * 2013-02-15 2015-12-29 Samsung Electronics Co., Ltd. Electronic device, electronic device operating method, and computer readable recording medium recording the method
US9710925B2 (en) * 2014-06-08 2017-07-18 The Board Of Trustees Of The Leland Stanford Junior University Robust anytime tracking combining 3D shape, color, and motion with annealed dynamic histograms
EP3060966B1 (en) * 2014-07-30 2021-05-05 SZ DJI Technology Co., Ltd. Systems and methods for target tracking
US9792480B2 (en) * 2014-12-23 2017-10-17 Toshiba Tec Kabushiki Kaisha Image recognition apparatus, commodity information processing apparatus and image recognition method
US10147210B1 (en) * 2015-03-13 2018-12-04 Amazon Technologies, Inc. Data visualization system
CN112907517A (zh) * 2021-01-28 2021-06-04 上海商汤智能科技有限公司 一种图像处理方法、装置、计算机设备及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7148913B2 (en) * 2001-10-12 2006-12-12 Hrl Laboratories, Llc Vision-based pointer tracking and object classification method and apparatus
JP4958497B2 (ja) * 2006-08-07 2012-06-20 キヤノン株式会社 位置姿勢測定装置及び位置姿勢測定方法、複合現実感提示システム、コンピュータプログラム及び記憶媒体
ES2402957T3 (es) * 2007-03-05 2013-05-10 Seeing Machines Pty Ltd Rastreo eficaz y preciso de objetos tridimensionales
US8374388B2 (en) * 2007-12-28 2013-02-12 Rustam Stolkin Real-time tracking of non-rigid objects in image sequences for which the background may be changing
US20100310174A1 (en) * 2009-06-05 2010-12-09 Qualcomm Incorporated Efficient incremental coding of probability distributions for image feature descriptors

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210080334A (ko) * 2018-10-24 2021-06-30 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드 인체 인식 방법, 장치, 기기 및 컴퓨터 판독 가능 저장 매체
US11790483B2 (en) 2018-10-24 2023-10-17 Baidu Online Network Technology (Beijing) Co., Ltd. Method, apparatus, and device for identifying human body and computer readable storage medium
WO2023113471A1 (ko) * 2021-12-15 2023-06-22 삼성전자 주식회사 복수의 카메라를 이용하여 촬영된 객체의 3차원 골격 데이터를 획득하는 전자 장치 및 방법
WO2023121012A1 (ko) * 2021-12-22 2023-06-29 주식회사 포스코 특징점 추적 기반 거동 분석 방법 및 시스템

Also Published As

Publication number Publication date
US20120106784A1 (en) 2012-05-03

Similar Documents

Publication Publication Date Title
KR20120044484A (ko) 이미지 처리 시스템에서 물체 추적 장치 및 방법
US10638117B2 (en) Method and apparatus for gross-level user and input detection using similar or dissimilar camera pair
US10636152B2 (en) System and method of hybrid tracking for match moving
US9418480B2 (en) Systems and methods for 3D pose estimation
WO2019041519A1 (zh) 目标跟踪装置、方法及计算机可读存储介质
US9721387B2 (en) Systems and methods for implementing augmented reality
US10204423B2 (en) Visual odometry using object priors
US9639943B1 (en) Scanning of a handheld object for 3-dimensional reconstruction
CN110598559B (zh) 检测运动方向的方法、装置、计算机设备和存储介质
EP2591460A1 (en) Method, apparatus and computer program product for providing object tracking using template switching and feature adaptation
CN111382637B (zh) 行人检测跟踪方法、装置、终端设备及介质
US20180352186A1 (en) Method for estimating a timestamp in a video stream and method of augmenting a video stream with information
US10635898B1 (en) Automatic image capture system based on a determination and verification of a physical object size in a captured image
WO2019033567A1 (zh) 眼球动作捕捉方法、装置及存储介质
JP5656768B2 (ja) 画像特徴量抽出装置およびそのプログラム
CN110956131B (zh) 单目标追踪方法、装置及系统
JP6244886B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
US20160140762A1 (en) Image processing device and image processing method
KR101586071B1 (ko) 마커리스 증강현실 서비스 제공 장치 및 이를 위한 촬영 위치 추정 방법
JP6229554B2 (ja) 検出装置および検出方法
US10210414B2 (en) Object detection system and computer program product
CN110728172B (zh) 基于点云的人脸关键点检测方法、装置、系统及存储介质
JP6393495B2 (ja) 画像処理装置および物体認識方法
JP2017033556A (ja) 画像処理方法及び電子機器
CN116091998A (zh) 图像处理方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application