KR101033242B1 - 줌 환경을 고려한 객체 추적 방법 및 장치 - Google Patents

줌 환경을 고려한 객체 추적 방법 및 장치 Download PDF

Info

Publication number
KR101033242B1
KR101033242B1 KR1020100114219A KR20100114219A KR101033242B1 KR 101033242 B1 KR101033242 B1 KR 101033242B1 KR 1020100114219 A KR1020100114219 A KR 1020100114219A KR 20100114219 A KR20100114219 A KR 20100114219A KR 101033242 B1 KR101033242 B1 KR 101033242B1
Authority
KR
South Korea
Prior art keywords
region
horizontal
area
histogram
vertical
Prior art date
Application number
KR1020100114219A
Other languages
English (en)
Inventor
박세경
Original Assignee
엘아이지넥스원 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘아이지넥스원 주식회사 filed Critical 엘아이지넥스원 주식회사
Priority to KR1020100114219A priority Critical patent/KR101033242B1/ko
Application granted granted Critical
Publication of KR101033242B1 publication Critical patent/KR101033242B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)

Abstract

본 발명에 따른 객체 추적 방법은, 기준 영상 프레임에서 추적 대상 객체를 포함하는 제1 영역의 가로 방향 화소값 분포 및 세로 방향 화소값 분포와 현재 영상 프레임에서 상기 제1 영역에 대응하는 제2 영역의 가로 방향 화소값 분포 및 세로 방향 화소값 분포를 각각 비교하여 상기 제1 영역에 대한 상기 제2 영역의 줌 비율을 구하는 단계; 상기 구해진 줌 비율에 따라 상기 기준 영상 프레임을 확대 또는 축소시키는 단계; 및 상기 확대 또는 축소된 기준 영상 프레임과 상기 현재 영상 프레임을 가지고 블록 매칭 알고리즘을 이용하여 객체를 추적하는 단계를 포함하는 것을 특징으로 한다. 이러한 본 발명에 의하면 줌 환경에서도 강건한 객체 추적을 수행할 수 있다.

Description

줌 환경을 고려한 객체 추적 방법 및 장치{Object tracking method and apparatus for considering zoom environment}
본 발명은 객체 추적 방법 및 장치에 관한 것으로, 보다 상세하게는 프레임 단위의 입력 영상에서 움직이는 객체를 추적하기 위한 객체 추적 방법 및 장치에 관한 것이다.
입력 영상에서 움직이는 객체를 추적하기 위한 기법 중 대표적인 것으로 블록 매칭 알고리즘(Block Matching Algorithm, BMA)이 있다.
BMA는 움직임을 추정할 영상 프레임을 임의의 작은 블록으로 나누고 각 블록 내의 모든 화소는 동일한 움직임을 갖는다는 가정 하에, 블록 당 한 개의 움직임 벡터를 부여하는 방식이다. 일반적으로 움직임은 회전, 이동 및 크기의 확대, 축소 등으로 나타낼 수 있는데, BMA에서는 시간적으로 가까운 프레임 간에는 움직임에 의한 변형이 크지 않아서 단지 물체의 이동으로 모든 움직임을 근사화할 수 있다는 전제하에 움직임 추정을 행하게 된다. 따라서 움직임 벡터는 각 블록 당 1개의 x, y 좌표로서 표현된다. BMA에서는 현재 영상 프레임에서 탐색 블록을 이동시켜 가면서 이전 영상 프레임 중 하나인 기준 영상 프레임의 기준 블록과 비교하여 가장 유사도가 높은 탐색 블록을 찾는다. 여기서 기준 블록과 가장 유사도가 높은 탐색 블록의 위치 차이가 해당 기준 블록의 움직임 벡터이다.
BMA에 의한 객체 추적은 강체(rigid body) 가정을 사용하기 때문에 물체의 형상 변화에 취약한 특징을 가지고 있다. 특히 카메라에 접근하거나 카메라로부터 멀어지는 물체는 영상 내에서 그 크기가 커지가나 작아지는 줌 현상이 발생하기 때문에 추적이 실패하는 경우가 발생한다.
본 발명이 이루고자 하는 기술적 과제는 줌 환경에서도 강건한 객체 추적을 수행할 수 있는 객체 추적 방법 및 장치와 상기 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공하는 데 있다.
상기 기술적 과제를 해결하기 위하여 본 발명에 따른 객체 추적 방법은, (a) 기준 영상 프레임에서 추적 대상 객체를 포함하는 제1 영역의 가로 방향 화소값 분포 및 세로 방향 화소값 분포와 현재 영상 프레임에서 상기 제1 영역에 대응하는 제2 영역의 가로 방향 화소값 분포 및 세로 방향 화소값 분포를 각각 비교하여 상기 제1 영역에 대한 상기 제2 영역의 줌 비율을 구하는 단계; (b) 상기 구해진 줌 비율에 따라 상기 기준 영상 프레임을 확대 또는 축소시키는 단계; 및 (c) 상기 확대 또는 축소된 기준 영상 프레임과 상기 현재 영상 프레임을 가지고 블록 매칭 알고리즘을 이용하여 객체를 추적하는 단계를 포함하는 것을 특징으로 한다.
일 실시예에서, 상기 (a) 단계는, (a1) 상기 제1 영역 내의 가로 방향 화소값 분포를 나타내는 가로 방향 히스토그램과 상기 제1 영역 내의 세로 방향 화소값 분포를 나타내는 세로 방향 히스토그램을 구하는 단계; (a2) 상기 제2 영역 내의 가로 방향 화소값 분포를 나타내는 가로 방향 히스토그램과 상기 제2 영역 내의 세로 방향 화소값 분포를 나타내는 세로 방향 히스토그램을 구하는 단계; (a3) 상기 제1 영역의 가로 방향 히스토그램과 상기 제2 영역의 가로 방향 히스토그램을 비교하여 상기 제1 영역에 대한 상기 제2 영역의 가로 방향 줌 비율을 구하는 단계; 및 (a4) 상기 제1 영역의 세로 방향 히스토그램과 상기 제2 영역의 세로 방향 히스토그램을 비교하여 상기 제1 영역에 대한 상기 제2 영역의 세로 방향 줌 비율을 구하는 단계를 포함할 수 있다.
일 실시예에서, 상기 (a3) 단계는, 상기 제1 영역의 가로 방향 히스토그램의 스트레칭 및 쉬프팅을 통하여 상기 제2 영역의 가로 방향 히스토그램과 가장 유사한 때의 스트레칭 비율을 상기 가로 방향 줌 비율로서 구할 수 있다.
일 실시예에서, 상기 (a4) 단계는, 상기 제1 영역의 세로 방향 히스토그램의 스트레칭 및 쉬프팅을 통하여 상기 제2 영역의 세로 방향 히스토그램과 가장 유사한 때의 스트레칭 비율을 상기 세로 방향 줌 비율로서 구할 수 있다.
일 실시예에서, 상기 제1 영역 또는 상기 제2 영역의 가로 방향 히스토그램은 다음 수학식으로 표현될 수 있다.
Figure 112010074968975-pat00001
, r=1, 2, 3, ..., n
여기서, I(r,c)는 상기 제1 영역 또는 상기 제2 영역의 r 번째 열, c 번째 행에 위치하는 화소의 화소값을 나타내고, n은 상기 제1 영역 또는 상기 제2 영역의 가로 방향 및 세로 방향 화소 수를 나타낸다.
일 실시예에서, 상기 제1 영역 또는 상기 제2 영역의 세로 방향 히스토그램은 다음 수학식으로 표현될 수 있다.
Figure 112010074968975-pat00002
, c=1, 2, ..., n
여기서, I(r,c)는 상기 제1 영역 또는 상기 제2 영역의 r 번째 열, c 번째 행에 위치하는 화소의 화소값을 나타내고, n은 상기 제1 영역 또는 상기 제2 영역의 가로 방향 및 세로 방향 화소 수를 나타낸다.
일 실시예에서, 상기 제2 영역은 상기 현재 영상 프레임 상에서 상기 제1 영역을 포함하는 영역일 수 있다.
일 실시예에서, 상기 (b) 단계는 화소값 보간을 이용하여 상기 기준 영상 프레임을 확대 또는 축소시킬 수 있다.
상기 기술적 과제를 해결하기 위하여 본 발명에 따른 객체 추적 장치는 기준 영상 프레임에서 추적 대상 객체를 포함하는 제1 영역의 가로 방향 화소값 분포 및 세로 방향 화소값 분포와 현재 영상 프레임에서 상기 제1 영역에 대응하는 제2 영역의 가로 방향 화소값 분포 및 세로 방향 화소값 분포를 각각 비교하여 상기 제1 영역에 대한 상기 제2 영역의 줌 비율을 구하는 줌 비율 계산부; 상기 구해진 줌 비율에 따라 상기 기준 영상 프레임을 확대 또는 축소시키는 영상 변환부; 및 상기 확대 또는 축소된 기준 영상 프레임과 상기 현재 영상 프레임을 가지고 블록 매칭 알고리즘을 이용하여 객체를 추적하는 객체 추적부를 포함하는 것을 특징으로 한다.
일 실시예에서, 상기 줌 비율 계산부는, 상기 제1 영역 내의 가로 방향 화소값 분포를 나타내는 가로 방향 히스토그램을 구하는 제1 가로 방향 히스토그램 계산부; 상기 제2 영역 내의 가로 방향 화소값 분포를 나타내는 가로 방향 히스토그램을 구하는 제2 가로 방향 히스토그램 계산부; 상기 제1 영역 내의 세로 방향 화소값 분포를 나타내는 세로 방향 히스토그램을 구하는 제1 세로 방향 히스토그램 계산부; 상기 제2 영역 내의 세로 방향 화소값 분포를 나타내는 세로 방향 히스토그램을 구하는 제2 세로 방향 히스토그램 계산부; 상기 제1 영역의 가로 방향 히스토그램과 상기 제2 영역의 가로 방향 히스토그램을 비교하여 상기 제1 영역에 대한 상기 제2 영역의 가로 방향 줌 비율을 구하는 가로 방향 줌 비율 계산부; 및 상기 제1 영역의 세로 방향 히스토그램과 상기 제2 영역의 세로 방향 히스토그램을 비교하여 상기 제1 영역에 대한 상기 제2 영역의 세로 방향 줌 비율을 구하는 세로 방향 줌 비율 계산부를 포함할 수 있다.
일 실시예에서, 상기 가로 방향 줌 비율 계산부는, 상기 제1 영역의 가로 방향 히스토그램의 스트레칭 및 쉬프팅을 통하여 상기 제2 영역의 가로 방향 히스토그램과 가장 유사한 때의 스트레칭 비율을 상기 가로 방향 줌 비율로서 구할 수 있다.
일 실시예에서, 상기 세로 방향 줌 비율 계산부는, 상기 제1 영역의 세로 방향 히스토그램의 스트레칭 및 쉬프팅을 통하여 상기 제2 영역의 세로 방향 히스토그램과 가장 유사한 때의 스트레칭 비율을 상기 세로 방향 줌 비율로서 구할 수 있다.
일 실시예에서, 상기 제2 영역은 상기 현재 영상 프레임 상에서 상기 제1 영역을 포함하는 영역일 수 있다.
일 실시예에서, 상기 영상 변환부는 화소값 보간을 이용하여 상기 기준 영상 프레임을 확대 또는 축소시킬 수 있다.
상기 기술적 과제를 해결하기 위하여 상기된 본 발명에 따른 객체 추적 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.
상기된 본 발명에 의하면, 기준 영상 프레임의 제1 영역에 대한 현재 영상 프레임의 제2 영역의 줌 비율을 구하고, 기준 영상 프레임을 줌 비율에 따라 확대 또는 축소시킨 다음 블록 매칭 알고리즘을 적용함으로써 줌 환경에서도 강건한 객체 추적을 수행할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 객체 추적 장치의 블록도를 나타낸다.
도 2는 실험 영상에서 기준 영상 프레임의 제1 영역(10)과 현재 영상 프레임의 제2 영역(20)이 설정된 모습을 나타낸다.
도 3은 도 1에 도시된 객체 추적 장치에서 줌 비율 계산부(110)를 보다 구체적으로 도시한 블록도를 나타낸다.
도 4는 제1 영역의 화소를 나타내는 참고도이다.
도 5는 신호의 스트레칭과 쉬프팅에 대한 개념을 나타낸 참고도이다.
도 6은 실험 영상에서 제1 영역의 히스토그램과 제2 영역의 히스토그램을 비교하여 가장 유사한 제1 영역 히스토그램의 스트레칭 및 쉬프팅 결과가 찾아진 모습을 나타낸다.
도 7은 기준 영상 프레임을 가로 방향 줌 비율 및 방향 줌 비율로 확대한 영상을 나타낸다.
도 8은 본 발명의 일 실시예에 따른 객체 추적 방법의 흐름도를 나타낸다.
이하에서는 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 이하 설명 및 첨부된 도면들에서 실질적으로 동일한 구성요소들은 각각 동일한 부호들로 나타냄으로써 중복 설명을 생략하기로 한다. 또한 본 발명을 설명함에 있어 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략하기로 한다.
BMA에 의한 객체 추적에서 추적 성능을 높이기 위한 연구로, 현재 영상 프레임의 탐색 블록과 기준 영상 프레임의 기준 블록의 차이(즉, 유사도)를 어떻게 정의할 것인지와, 현재 영상 프레임과 비교하기 위한 기준 영상 프레임을 어떻게 정할 것인지에 대한 문제가 있다. 본 발명에서는 기준 영상 프레임과 현재 영상 프레임을 가지고 줌 현상이 얼마나 발생하였는지 검사하고, 이를 토대로 기준 영상 프레임을 변형한 다음 BMA를 이용한 객체 추적을 수행함으로써 줌 환경에서도 강건한 객체 추적을 수행할 수 있는 객체 추적 방법 및 장치를 구현한다.
도 1은 본 발명의 일 실시예에 따른 객체 추적 장치의 블록도를 나타낸다. 객체 추적 장치는 줌 비율 계산부(110), 영상 변환부(120), 객체 추적부(130)를 포함하여 이루어진다.
줌 비율 계산부(110)는 매 영상 프레임을 입력받고, 동시에 현재 입력되는 영상 프레임과의 비교 대상이 되는 기준 영상 프레임을 입력받는다. 기준 영상 프레임은 현재 영상 프레임의 이전 영상 프레임 중 하나로서, 현재 영상 프레임과 인접한 영상 프레임이거나 또는 해당 영상 프레임 내에서 추적 대상이 특정된 최초 추적시의 영상 프레임이거나, 현재 영상 프레임보다 미리 정해진 수만큼 앞서는 영상 프레임 등이 될 수 있다. 기준 영상 프레임은 매 영상 프레임마다 업데이트되거나, 수 개의 영상 프레임이 처리될 때마다 업데이트되거나, 또는 최초 추적시의 영상 프레임으로 고정될 수 있다. 기준 영상 프레임을 어떤 것으로 정할 것인지와 어떤 식으로 업데이트할 것인지는 기존 BMA를 따른다.
줌 비율 계산부(110)는 기준 영상 프레임의 일정 영역에 대한 현재 영상 프레임의 줌 비율을 구한다. 여기서, 일정 영역은 기준 영상 프레임에서 추적 대상 객체를 포함하는 영역이다. 특정 영상 프레임 내에서 추적 대상 객체가 특정되거나 객체 추적이 완료되면 기존에 알려진 객체 영역 추줄 기법을 이용하여 그 객체에 해당하는 영역을 추출할 수 있다.
줌 비율 계산부(110)는 기준 영상 프레임에서 객체에 해당하는 영역을 포함하는 일정 영역(이하, 제1 영역)을 설정하고, 제1 영역의 가로 방향 화소값 분포 및 세로 방향 화소값 분포를 구한다. 그리고 현재 영상 프레임에서 제1 영역을 포함하는 제2 영역을 설정한다. 추적 대상 객체는 현재 영상 프레임 상에서 제1 영역으로부터 아주 멀리 벗어나지 않을 것이라는 가정을 할 수 있다. 따라서 제1 영역을 중심으로 제1 영역을 포함하는 일정 영역(이하 제2 영역)을 설정하게 되면 그 영역 내에는 역시 추적 대상 객체가 포함된다. 제2 영역의 크기는 제1 영역의 크기와 동일할 수도 있으나, 객체가 카메라에 접근하여 영상 프레임 상에서 그 크기가 커질 수 있으므로, 제2 영역은 제1 영역보다 크게 설정하는 것이 바람직하다. 객체의 크기가 커지거나 작아지는 줌 현상이 발생하게 되면, 객체에 해당하는 영역의 가로 방향의 화소값 분포와 세로 방향의 화소값 분포는 그 패턴은 유사하고 다만 그 패턴의 길이가 늘어나거나 줄어들게 될 것이다.
도 2는 실험 영상에서 기준 영상 프레임의 제1 영역(10)과 현재 영상 프레임의 제2 영역(20)이 설정된 모습을 나타낸다. 도 2 (a)에 도시된 바와 같이 제1 영역(10)에는 추적 대상 물체가 포함되어 있다. 도 2 (b)를 참조하면, 추적 대상 물체가 접근함으로 인해 현재 영상 프레임의 제2 영역(20) 내에서 그 크기가 커지는 줌 현상이 발생했다.
줌 비율 계산부(110)는 기준 영상 프레임의 제1 영역의 가로 방향 화소값 분포 및 세로 방향 화소값 분포와 현재 영상 프레임의 제2 영역의 가로 방향 화소값 분포 및 세로 방향 화소값 분포를 각각 비교하여 기준 영상 프레임의 제1 영역에 대한 현재 영상 프레임의 제2 영역의 줌 비율을 구한다. 여기서, 가로 방향 화소값 분포끼리 비교하여 가로 방향 줌 비율을, 세로 방향 화소값 분포끼리 비교하여 세로 방향 줌 비율을 구할 수 있다.
영상 변환부(120)는 줌 비율 계산부(110)에서 구해진 줌 비율에 따라 기준 영상 프레임을 확대 또는 축소시킨다. 예컨대, 줌 비율이 2이라면 현재 영상 프레임의 제2 영역은 제1 영역보다 2배 확대되었음을 의미한다. 따라서 기준 영상 프레임을 2배 확대함으로써 기준 영상 프레임과 현재 영상 프레임이 BMA를 통하여 보다 정확하게 비교될 수 있도록 한다. 영상 변환부(120)는 가로 방향 줌 비율만큼 기준 영상 프레임을 가로 방향으로 확대시키고 세로 방향 줌 비율만큼 기준 영상 프레임을 세로 방향으로 확대시킬 수 있다. 일반적으로, 가로 방향 줌 비율과 세로 방향 줌 비율은 거의 유사할 것이므로, 가로 방향 줌 비율과 세로 방향 줌 비율 중 어느 하나의 값 또는 두 값을 평균한 값으로 기준 영상 프레임을 전체적으로 확대 또는 축소시킬 수도 있다. 영상의 확대 또는 축소는 이미 잘 알려진 기법인 화소값 보간을 이용할 수 있다. 예컨대, 영상의 확대로 인하여 발생하는 미지의 화소값은 해당 화소 주변 화소값의 선형 보간으로 산출하고, 영상 축소의 경우에는 축소된 영상의 화소값을 그에 대응하는 원래 영상의 화소값들의 선형 보간을 통하여 산출할 수 있다.
객체 추적부(130)는 입력되는 현재 영상 프레임과 영상 변환부(120)로부터 출력되는 확대 또는 축소된 기준 영상 프레임을 가지고 BMA를 이용하여 현재 영상 프레임에서 객체를 추적한다. 객체 추적부(130)는 이미 잘 알려진 BMA에 의한 추적 기법을 사용하므로, 상세한 설명은 생략한다.
도 3은 도 1에 도시된 객체 추적 장치에서 줌 비율 계산부(110)를 보다 구체적으로 도시한 블록도를 나타낸다. 줌 비율 계산부(110)는 제1 가로 방향 히스토그램 계산부(111), 제1 세로 방향 히스토그램 계산부(112), 제2 가로 방향 히스토그램 계산부(113), 제2 세로 방향 히스토그램 계산부(114), 가로 방향 줌 비율 계산부(115), 세로 방향 줌 비율 계산부(116)를 포함하여 이루어진다.
제1 가로 방향 히스토그램 계산부(111)는 기준 영상 프레임의 제1 영역 내의 가로 방향 화소값 분포를 나타내는 가로 방향 히스토그램을 구하고, 제1 세로 방향 히스토그램 계산부(112)는 기준 영상 프레임의 제1 영역 내의 세로 방향 화소값 분포를 나타내는 세로 방향 히스토그램을 구한다.
제2 가로 방향 히스토그램 계산부(113)는 현재 영상 프레임의 제2 영역 내의 가로 방향 화소값 분포를 나타내는 가로 방향 히스토그램을 구하고, 제2 세로 방향 히스토그램 계산부(114)는 현재 영상 프레임의 제2 영역 내의 세로 방향 화소값 분포를 나타내는 세로 방향 히스토그램을 구한다.
가로 방향 줌 비율 계산부(115)는 기준 영상 프레임의 제1 영역의 가로 방향 히스토그램과 현재 영상 프레임의 제2 영역의 가로 방향 히스토그램을 비교하여 제1 영역에 대한 제2 영역의 가로 방향 줌 비율을 구한다.
세로 방향 줌 비율 계산부(116)는 기준 영상 프레임의 제1 영역의 세로 방향 히스토그램과 현재 영상 프레임의 제2 영역의 세로 방향 히스토그램을 비교하여 제1 영역에 대한 제2 영역의 세로 방향 줌 비율을 구한다.
이하에서는, 제1 영역 또는 제2 영역의 가로 방향 히스토그램과 세로 방향 히스토그램을 구하는 과정에 대하여 보다 구체적으로 설명한다. 이하 설명은 제1 영역과 제2 영역에 대하여 공히 동일하게 적용되며, 편의상 제1 영역을 기준으로 설명한다.
도 4는 제1 영역의 화소를 나타내는 참고도이다. 여기서, 제1 영역은 편의상 n X n 의 정사각형(n은 가로 방향 또는 세로 방향 화소 수)으로 가정하나, 임의의 직사각형일 수 있음은 물론이다. I(r,c)는 제1 영역 상에서 r 번째 열, c 번째 행에 위치하는 화소의 화소값을 나타낸다. 여기서 화소값은 적외선 카메라로 촬영된 영상의 경우 온도에 대응하는 화소값이며, 일반 카메라로 촬영된 영상의 경우 휘도에 대응하는 화소값일 수 있다.
가로 방향 화소값 분포를 나타내는 가로 방향 히스토그램(H1, H2, H3, ..., Hn)은 각 열(1, 2, 3, ..., n열)에 대하여 해당 열의 모든 화소값을 평균한 값으로 정의할 수 있다. 수학식으로 표현하면 다음과 같다. 도 4를 참조하면, H1, H2, H3, ..., Hn은 제1 영역(또는 제2 영역) 내에서 가로 방향의 화소값 분포를 반영하고 있음을 확인할 수 있다.
Figure 112010074968975-pat00003
세로 방향 화소값 분포를 나타내는 세로 방향 히스토그램(V1, V2, V3, ..., Vn)은 각 행(1, 2, 3, ..., n행)에 대하여 해당 행의 모든 화소값을 평균한 값으로 정의할 수 있다. 수학식으로 표현하면 다음과 같다. 도 4를 참조하면, V1, V2, V3, ..., Vn은 제1 영역 내에서 세로 방향의 화소값 분포를 반영하고 있음을 확인할 수 있다.
Figure 112010074968975-pat00004
가로 방향 줌 비율 계산부(115)는 제1 영역의 가로 방향 히스토그램의 다양한 스트레칭(stretching) 및 쉬프팅(shifting)을 통하여 제2 영역의 가로 방향 히스토그램과 가장 유사한 때의 스트레칭 비율을 가로 방향 줌 비율로서 산출한다. 세로 방향 줌 비율 계산부(116)는 제1 영역의 세로 방향 히스토그램의 다양한 스트레칭 및 쉬프팅을 통하여 제2 영역의 세로 방향 히스토그램과 가장 유사한 때의 스트레칭 비율을 세로 방향 줌 비율로서 산출한다. 이하 보다 구체적으로 설명한다. 이하 설명은 가로 방향 히스토그램과 세로 방향 히스토그램에 관하여 공히 동일하게 적용되므로 '히스토그램'이라 함은 가로 방향 히스토그램 또는 세로 방향 히스토그램에 해당하는 것으로 한다.
히스토그램의 스트레칭이란, 히스토그램을 늘이거나 줄이는 것을 의미하고, 히스토그램의 쉬프팅이란 특정 히스토그램을 비교 대상 히스토그램을 기준으로 그 위치를 이동시키는 것을 의미한다. 스트레칭 비율이 1보다 크다면 히스토그램을 늘이는 것을, 스트레칭 비율이 1보다 작다면 히스토그램을 줄이는 것을 의미한다.
히스토그램은 그에 대응하는 아날로그 신호 또는 디지털 신호로 만들어질 수 있다. 제1 영역의 히스토그램과 제2 영역의 히스토그램에 각각 대응하는 제1 신호 및 제2 신호를 생성하여 서로 대응시킨 다음, 제1 신호를 가능한 여러 비율로 스트레칭하고 제2 신호를 기준으로 여러 값만큼 그 위치를 쉬프팅시키면서 가장 유사한 때의 스트레칭 비율을 찾을 수 있다. 도 5는 이러한 신호의 스트레칭과 쉬프팅에 대한 개념을 나타낸 참고도이다. (a)는 제1 신호와 제2 신호의 예를, (b)는 제1 신호의 스트레칭을 (c)는 제1 신호의 이동을 나타낸다.
스트레칭 및 쉬프팅된 제1 신호가 제2 신호와 가장 유사한 때를 찾기 위해 다음 수학식에 따라 두 신호 간의 거리 d를 계산할 수 있다.
Figure 112010074968975-pat00005
여기서, Si in 및 Si ref는 각각 제1 신호 및 기준이 되는 제2 신호를 의미하고, i 는 샘플링 인덱스를 의미한다. 제1 신호의 각 스트레칭 및 각 쉬프팅마다 제1 신호와 제2 신호 간의 거리 d를 계산하고, d 값이 가장 작은 때의 제1 신호의 스트레칭 비율을 구하면 그 값이 찾고자 하는 스트레칭 비율이 된다.
도 6은 실험 영상에서 제1 영역의 히스토그램과 제2 영역의 히스토그램을 비교하여 가장 유사한 제1 영역 히스토그램의 스트레칭 및 쉬프팅 결과가 찾아진 모습을 나타낸다.
도 6 (a)를 참조하면, 적색 그래프는 기준 영상 프레임의 제1 영역의 세로 방향 히스토그램을 나타내고, 청색 그래프는 현재 영상 프레임의 제2 영역의 세로 방향 히스토그램을 나타낸다. 상기 적색 그래프를 여러 비율로 스트레칭시키고 여러 값만큼 쉬프팅시키면서 청색 그래프와의 거리를 계산한 결과, 녹색 그래프로 스트레칭 및 쉬프팅되었을 때가 거리 d가 가장 작은 경우로 확인된 것이다. 즉, 녹색 그래프로 스트레칭 및 쉬프팅된 제1 영역의 세로 방향 히스토그램이 제2 영역의 세로 방향 히스토그램과 가장 유사한 것으로 볼 수 있다. 따라서 적색 그래프에 대한 녹색 그래프의 스트레칭 비율이 곧 구하고자 하는 가로 방향 줌 비율이 된다.
도 6 (b)를 참조하면, 적색 그래프는 기준 영상 프레임의 제1 영역의 가로 방향 히스토그램을 나타내고, 청색 그래프는 현재 영상 프레임의 제2 영역의 가로 방향 히스토그램을 나타낸다. 상기 적색 그래프를 여러 비율로 스트레칭시키고 여러 값만큼 쉬프팅시키면서 청색 그래프와의 거리를 계산한 결과, 녹색 그래프로 스트레칭 및 쉬프팅되었을 때가 거리 d가 가장 작은 경우로 확인된 것이다. 즉, 녹색 그래프로 스트레칭 및 쉬프팅된 제1 영역의 가로 방향 히스토그램이 제2 영역의 가로 방향 히스토그램과 가장 유사한 것으로 볼 수 있다. 따라서 적색 그래프에 대한 녹색 그래프의 스트레칭 비율이 곧 구하고자 하는 세로 방향 줌 비율이 된다.
도 7은 실험 영상에서 가로 방향 줌 비율과 세로 방향 줌 비율이 1보다 큰 값으로 구해짐에 따라 기준 영상 프레임을 상기 가로 방향 줌 비율 및 세로 방향 줌 비율로 확대한 영상을 나타낸다. 영상의 확대 또는 축소는 기준 영상 프레임의 전 영역에 걸쳐서 수행될 수도 있으나, 추적 대상 객체는 제1 영역 내에 포함되어 있어서 BMA 수행 시에 기준 블록은 제1 영역 내에서 설정하므로, 기준 영상 프레임의 제1 영역에 한해서 확대 또는 축소 변환을 수행할 수 있다.
도 8은 본 발명의 일 실시예에 따른 객체 추적 방법의 흐름도를 나타낸다. 본 실시예에 따른 객체 추적 방법은 이상에서 설명된 객체 추적 장치에서 처리되는 단계들로 구성된다. 따라서 이하 생략된 내용이라 하더라도 객체 추적 장치에 관하여 이상에서 기술된 내용은 본 실시예에 따른 객체 추적 방법에도 적용된다.
기준 영상 프레임을 입력받고(810단계), 객체를 추적할 현재 영상 프레임을 입력받는다(811단계).
다음으로, 기준 영상 프레임에서 추적 대상 객체를 포함하는 제1 영역의 가로 방향 화소값 분포를 나타내는 가로 방향 히스토그램을 산출하고(815단계), 상기 제1 영역의 세로 방향 화소값 분포를 나타내는 세로 방향 히스토그램을 산출한다(820단계). 이와 동시에, 현재 영상 프레임에서 기준 영상 프레임의 제1 영역에 대응하는 제2 영역의 가로 방향 화소값 분포를 나타내는 가로 방향 히스토그램을 산출하고(816단계), 상기 제2 영역의 세로 방향 화소값 분포를 나타내는 세로 방향 히스토그램을 산출한다(821단계).
다음으로, 기준 영상 프레임의 제1 영역의 가로 방향 히스토그램과 현재 영상 프레임의 제2 영역의 가로 방향 히스토그램을 비교하여 제1 영역에 대한 제2 영역의 가로 방향 줌 비율을 산출하고(825단계), 기준 영상 프레임의 제1 영역의 세로 방향 히스토그램과 현재 영상 프레임의 제2 영역의 세로 방향 히스토그램을 비교하여 제1 영역에 대한 제2 영역의 세로 방향 줌 비율을 산출한다(830단계).
다음으로, 상기 산출된 가로 방향 줌 비율 및 세로 방향 줌 비율에 따라 기준 영상 프레임을 확대 또는 축소 변환한다(835단계).
다음으로, 상기 확대 또는 축소된 기준 영상 프레임과 현재 영상 프레임을 가지고 BMA를 이용하여 객체를 추적한다(840단계).
객체 추적이 완료되면 다시 810단계 및 811단계로 돌아가서 상기 810단계 내지 845단계를 반복한다. 기준 영상 프레임이 갱신되는 경우라면 반복되는 810단계에서는 새로운 기준 영상 프레임이 입력되며, 기준 영상 프레임이 갱신되지 않는 경우라면 810단계에서 새로운 기준 영상 프레임이 입력되지 않고, 이전 반복에서 입력된 기준 영상 프레임이 사용된다. 반복되는 811단계에서는 이전 반복에서 입력된 영상 프레임의 다음 영상 프레임이 현재 영상 프레임으로서 입력된다.
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (17)

  1. (a) 기준 영상 프레임에서 추적 대상 객체를 포함하는 제1 영역의 가로 방향 화소값 분포와 현재 영상 프레임에서 상기 제1 영역에 대응하는 제2 영역의 가로 방향 화소값 분포를 비교하여 상기 제1 영역에 대한 상기 제2 영역의 가로 방향 줌 비율을 구하고, 상기 제1 영역의 세로 방향 화소값 분포와 상기 제2 영역의 세로 방향 화소값 분포를 비교하여 상기 제1 영역에 대한 상기 제2 영역의 세로 방향 줌 비율을 구하는 단계;
    (b) 상기 구해진 가로 방향 줌 비율 및 세로 방향 줌 비율에 따라 상기 기준 영상 프레임을 확대 또는 축소시키는 단계; 및
    (c) 상기 확대 또는 축소된 기준 영상 프레임과 상기 현재 영상 프레임을 가지고 블록 매칭 알고리즘을 이용하여 객체를 추적하는 단계를 포함하는 것을 특징으로 하는 객체 추적 방법.
  2. 제1항에 있어서,
    상기 (a) 단계는,
    (a1) 상기 제1 영역 내의 가로 방향 화소값 분포를 나타내는 가로 방향 히스토그램과 세로 방향 화소값 분포를 나타내는 세로 방향 히스토그램을 구하는 단계;
    (a2) 상기 제2 영역 내의 가로 방향 화소값 분포를 나타내는 가로 방향 히스토그램과 세로 방향 화소값 분포를 나타내는 세로 방향 히스토그램을 구하는 단계;
    (a3) 상기 제1 영역의 가로 방향 히스토그램과 상기 제2 영역의 가로 방향 히스토그램을 비교하여 상기 제1 영역에 대한 상기 제2 영역의 가로 방향 줌 비율을 구하는 단계; 및
    (a4) 상기 제1 영역의 세로 방향 히스토그램과 상기 제2 영역의 세로 방향 히스토그램을 비교하여 상기 제1 영역에 대한 상기 제2 영역의 세로 방향 줌 비율을 구하는 단계를 포함하는 것을 특징으로 하는 객체 추적 방법.
  3. 제2항에 있어서,
    상기 (a3) 단계는,
    상기 제1 영역의 가로 방향 히스토그램의 스트레칭 및 쉬프팅을 통하여 상기 제2 영역의 가로 방향 히스토그램과 가장 유사한 때의 스트레칭 비율을 상기 가로 방향 줌 비율로서 구하는 것을 특징으로 하는 객체 추적 방법.
  4. 제2항에 있어서,
    상기 (a4) 단계는,
    상기 제1 영역의 세로 방향 히스토그램의 스트레칭 및 쉬프팅을 통하여 상기 제2 영역의 세로 방향 히스토그램과 가장 유사한 때의 스트레칭 비율을 상기 세로 방향 줌 비율로서 구하는 것을 특징으로 하는 객체 추적 방법.
  5. 제2항에 있어서,
    상기 제1 영역 또는 상기 제2 영역의 가로 방향 히스토그램은 다음 수학식으로 표현되는 것을 특징으로 하는 객체 추적 방법.
    Figure 112011028343714-pat00006
    , c=1, 2, 3, ..., n
    여기서, I(r,c)는 상기 제1 영역 또는 상기 제2 영역의 r 번째 열, c 번째 행에 위치하는 화소의 화소값을 나타내고, n은 상기 제1 영역 또는 상기 제2 영역의 가로 방향 및 세로 방향 화소 수를 나타낸다.
  6. 제2항에 있어서,
    상기 제1 영역 또는 상기 제2 영역의 세로 방향 히스토그램은 다음 수학식으로 표현되는 것을 특징으로 하는 객체 추적 방법.
    Figure 112010074968975-pat00007
    , r=1, 2, 3, ..., n
    여기서, I(r,c)는 상기 제1 영역 또는 상기 제2 영역의 r 번째 열, c 번째 행에 위치하는 화소의 화소값을 나타내고, n은 상기 제1 영역 또는 상기 제2 영역의 가로 방향 및 세로 방향 화소 수를 나타낸다.
  7. 제2항에 있어서,
    상기 제2 영역은 상기 현재 영상 프레임 상에서 상기 제1 영역을 포함하는 영역인 것을 특징으로 하는 객체 추적 방법.
  8. 제1항에 있어서,
    상기 (b) 단계는 화소값 보간을 이용하여 상기 기준 영상 프레임을 확대 또는 축소시키는 것을 특징으로 하는 객체 추적 방법.
  9. 제1항 내지 제8항 중 어느 한 항에 기재된 객체 추적 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
  10. 기준 영상 프레임에서 추적 대상 객체를 포함하는 제1 영역의 가로 방향 화소값 분포와 현재 영상 프레임에서 상기 제1 영역에 대응하는 제2 영역의 가로 방향 화소값 분포를 비교하여 상기 제1 영역에 대한 상기 제2 영역의 가로 방향 줌 비율을 구하고, 상기 제1 영역의 세로 방향 화소값 분포와 상기 제2 영역의 세로 방향 화소값 분포를 비교하여 상기 제1 영역에 대한 상기 제2 영역의 세로 방향 줌 비율을 구하는 줌 비율 계산부;
    상기 구해진 가로 방향 줌 비율 및 세로 방향 줌 비율에 따라 상기 기준 영상 프레임을 확대 또는 축소시키는 영상 변환부; 및
    상기 확대 또는 축소된 기준 영상 프레임과 상기 현재 영상 프레임을 가지고 블록 매칭 알고리즘을 이용하여 객체를 추적하는 객체 추적부를 포함하는 것을 특징으로 하는 객체 추적 장치.
  11. 제10항에 있어서,
    상기 줌 비율 계산부는,
    상기 제1 영역 내의 가로 방향 화소값 분포를 나타내는 가로 방향 히스토그램을 구하는 제1 가로 방향 히스토그램 계산부;
    상기 제2 영역 내의 가로 방향 화소값 분포를 나타내는 가로 방향 히스토그램을 구하는 제2 가로 방향 히스토그램 계산부;
    상기 제1 영역 내의 세로 방향 화소값 분포를 나타내는 세로 방향 히스토그램을 구하는 제1 세로 방향 히스토그램 계산부;
    상기 제2 영역 내의 세로 방향 화소값 분포를 나타내는 세로 방향 히스토그램을 구하는 제2 세로 방향 히스토그램 계산부;
    상기 제1 영역의 가로 방향 히스토그램과 상기 제2 영역의 가로 방향 히스토그램을 비교하여 상기 제1 영역에 대한 상기 제2 영역의 가로 방향 줌 비율을 구하는 가로 방향 줌 비율 계산부; 및
    상기 제1 영역의 세로 방향 히스토그램과 상기 제2 영역의 세로 방향 히스토그램을 비교하여 상기 제1 영역에 대한 상기 제2 영역의 세로 방향 줌 비율을 구하는 세로 방향 줌 비율 계산부를 포함하는 것을 특징으로 하는 객체 추적 장치.
  12. 제11항에 있어서,
    상기 가로 방향 줌 비율 계산부는, 상기 제1 영역의 가로 방향 히스토그램의 스트레칭 및 쉬프팅을 통하여 상기 제2 영역의 가로 방향 히스토그램과 가장 유사한 때의 스트레칭 비율을 상기 가로 방향 줌 비율로서 구하는 것을 특징으로 하는 객체 추적 장치.
  13. 제11항에 있어서,
    상기 세로 방향 줌 비율 계산부는, 상기 제1 영역의 세로 방향 히스토그램의 스트레칭 및 쉬프팅을 통하여 상기 제2 영역의 세로 방향 히스토그램과 가장 유사한 때의 스트레칭 비율을 상기 세로 방향 줌 비율로서 구하는 것을 특징으로 하는 객체 추적 장치.
  14. 제11항에 있어서,
    상기 제1 영역 또는 상기 제2 영역의 가로 방향 히스토그램은 다음 수학식으로 표현되는 것을 특징으로 하는 객체 추적 장치.
    Figure 112011028343714-pat00008
    , c=1, 2, 3, ..., n
    여기서, I(r,c)는 상기 제1 영역 또는 상기 제2 영역의 r 번째 열, c 번째 행에 위치하는 화소의 화소값을 나타내고, n은 상기 제1 영역 또는 상기 제2 영역의 가로 방향 및 세로 방향 화소 수를 나타낸다.
  15. 제11항에 있어서,
    상기 제1 영역 또는 상기 제2 영역의 세로 방향 히스토그램은 다음 수학식으로 표현되는 것을 특징으로 하는 객체 추적 장치.
    Figure 112010074968975-pat00009
    , r=1, 2, 3, ..., n
    여기서, I(r,c)는 상기 제1 영역 또는 상기 제2 영역의 r 번째 열, c 번째 행에 위치하는 화소의 화소값을 나타내고, n은 상기 제1 영역 또는 상기 제2 영역의 가로 방향 및 세로 방향 화소 수를 나타낸다.
  16. 제11항에 있어서,
    상기 제2 영역은 상기 현재 영상 프레임 상에서 상기 제1 영역을 포함하는 영역인 것을 특징으로 하는 객체 추적 장치.
  17. 제10항에 있어서,
    상기 영상 변환부는 화소값 보간을 이용하여 상기 기준 영상 프레임을 확대 또는 축소시키는 것을 특징으로 하는 객체 추적 장치.
KR1020100114219A 2010-11-17 2010-11-17 줌 환경을 고려한 객체 추적 방법 및 장치 KR101033242B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100114219A KR101033242B1 (ko) 2010-11-17 2010-11-17 줌 환경을 고려한 객체 추적 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100114219A KR101033242B1 (ko) 2010-11-17 2010-11-17 줌 환경을 고려한 객체 추적 방법 및 장치

Publications (1)

Publication Number Publication Date
KR101033242B1 true KR101033242B1 (ko) 2011-05-06

Family

ID=44365716

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100114219A KR101033242B1 (ko) 2010-11-17 2010-11-17 줌 환경을 고려한 객체 추적 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101033242B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101906173B1 (ko) 2017-06-05 2018-10-10 동의대학교 산학협력단 깊이 영상에서 신축을 이용한 움직임 추정 방법 및 장치
CN113989696A (zh) * 2021-09-18 2022-01-28 北京远度互联科技有限公司 目标跟踪方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030064208A (ko) * 2002-01-19 2003-07-31 (주)미토스 특정 검사대상의 위치 자동 추적 시스템 및 추적 방법
KR20080100215A (ko) * 2006-01-30 2008-11-14 도시바 기카이 가부시키가이샤 글래스 소자의 성형용 금형
KR20080100218A (ko) * 2006-01-31 2008-11-14 구글 인코포레이티드 검색 결과의 향상

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030064208A (ko) * 2002-01-19 2003-07-31 (주)미토스 특정 검사대상의 위치 자동 추적 시스템 및 추적 방법
KR20080100215A (ko) * 2006-01-30 2008-11-14 도시바 기카이 가부시키가이샤 글래스 소자의 성형용 금형
KR20080100218A (ko) * 2006-01-31 2008-11-14 구글 인코포레이티드 검색 결과의 향상

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101906173B1 (ko) 2017-06-05 2018-10-10 동의대학교 산학협력단 깊이 영상에서 신축을 이용한 움직임 추정 방법 및 장치
CN113989696A (zh) * 2021-09-18 2022-01-28 北京远度互联科技有限公司 目标跟踪方法、装置、电子设备及存储介质
CN113989696B (zh) * 2021-09-18 2022-11-25 北京远度互联科技有限公司 目标跟踪方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
KR100985805B1 (ko) 적응적인 칼만필터를 이용한 영상 안정화 장치 및 방법
US8928813B2 (en) Methods and apparatus for reducing structured noise in video
TWI455588B (zh) 以雙向、局部及全域移動評估為基礎之框率轉換
CN103702128B (zh) 一种应用于视频帧速率上转换的插值帧生成方法
CN104408742B (zh) 一种基于空间‑时间频谱联合分析的运动目标检测方法
CN106851046A (zh) 视频动态超分辨率处理方法及系统
JP5238220B2 (ja) 解像度変換装置、方法およびプログラム
JP2011071986A (ja) 低解像度ビデオから高解像度ビデオを生成する方法
KR20050076220A (ko) 수직 및 수평 방향의 패턴을 고려한 전역 움직임 보상순차주사화 방법
US11330286B2 (en) Biasing selection of motion estimation vectors
WO2013100791A1 (en) Method of and apparatus for scalable frame rate up-conversion
JP2009212969A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
CN108765317A (zh) 一种时空一致性与特征中心emd自适应视频稳定的联合优化方法
KR100994367B1 (ko) 영상 추적 장치의 이동표적 움직임 추적 방법
JP2012034327A5 (ko)
US20100040304A1 (en) Image quality improvement processing apparatus, image quality improvement processing method and computer-readable recording medium storing image quality improvement processing computer program
JP6507843B2 (ja) 映像解析方法及び映像解析装置
CN106056540A (zh) 基于鲁棒光流和Zernike不变矩的视频时空超分辨率重建方法
KR101033242B1 (ko) 줌 환경을 고려한 객체 추적 방법 및 장치
KR101337206B1 (ko) 블록 샘플링을 이용한 영상의 움직임 추정 시스템 및 방법.
JP2010250611A (ja) 画像処理装置、画像処理方法及び記録媒体
US8179967B2 (en) Method and device for detecting movement of an entity provided with an image sensor
KR102003671B1 (ko) 영상 처리 방법 및 장치
JP6216192B2 (ja) 動き推定装置及びプログラム
Nasrullah et al. A novel algorithm for real time moving object tracking

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20101117

PA0201 Request for examination
A302 Request for accelerated examination
PA0302 Request for accelerated examination

Patent event date: 20110104

Patent event code: PA03022R01D

Comment text: Request for Accelerated Examination

Patent event date: 20101117

Patent event code: PA03021R01I

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20110217

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20110422

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20110428

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20110429

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20140321

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20140321

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20150306

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20150306

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20160325

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20160325

Start annual number: 6

End annual number: 6

FPAY Annual fee payment

Payment date: 20170313

Year of fee payment: 7

PR1001 Payment of annual fee

Payment date: 20170313

Start annual number: 7

End annual number: 7

FPAY Annual fee payment

Payment date: 20180306

Year of fee payment: 8

PR1001 Payment of annual fee

Payment date: 20180306

Start annual number: 8

End annual number: 8

FPAY Annual fee payment

Payment date: 20190328

Year of fee payment: 9

PR1001 Payment of annual fee

Payment date: 20190328

Start annual number: 9

End annual number: 9

FPAY Annual fee payment

Payment date: 20200312

Year of fee payment: 10

PR1001 Payment of annual fee

Payment date: 20200312

Start annual number: 10

End annual number: 10

PR1001 Payment of annual fee

Payment date: 20230309

Start annual number: 13

End annual number: 13

PR1001 Payment of annual fee

Payment date: 20240318

Start annual number: 14

End annual number: 14