KR20030037776A - 조명에 강인한 객체 추적 방법 및 이를 응용한 영상 편집장치 - Google Patents

조명에 강인한 객체 추적 방법 및 이를 응용한 영상 편집장치 Download PDF

Info

Publication number
KR20030037776A
KR20030037776A KR1020010068636A KR20010068636A KR20030037776A KR 20030037776 A KR20030037776 A KR 20030037776A KR 1020010068636 A KR1020010068636 A KR 1020010068636A KR 20010068636 A KR20010068636 A KR 20010068636A KR 20030037776 A KR20030037776 A KR 20030037776A
Authority
KR
South Korea
Prior art keywords
color
image
modeling
result
tracking
Prior art date
Application number
KR1020010068636A
Other languages
English (en)
Other versions
KR100421221B1 (ko
Inventor
김태균
조인명
이종하
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR10-2001-0068636A priority Critical patent/KR100421221B1/ko
Priority to JP2002321741A priority patent/JP4194025B2/ja
Priority to US10/287,592 priority patent/US7171023B2/en
Priority to EP02257658A priority patent/EP1308896A3/en
Publication of KR20030037776A publication Critical patent/KR20030037776A/ko
Application granted granted Critical
Publication of KR100421221B1 publication Critical patent/KR100421221B1/ko
Priority to US11/514,968 priority patent/US7346189B2/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

본 발명은 조명변화에 강인한 객체 추적방법 및 이를 응용한 영상 편집 장치에 관한 것으로, 조명에 강인한 객체 추적 방법은 (a) 영상에서 추적하고자 하는 객체의 초기 위치를 지정하는 단계; (b) 영상에서 인접한 픽셀의 밝기 비를 고려하여 객체 추적을 위한 확률 맵을 생성하는 단계; 및 (c) 상기 객체의 초기 위치 및 상기 확률 맵을 근거로 하여 칼만 필터링을 수행하는 단계를 포함하며, 상기 추적방법을 응용한 영상 편집 장치는, 편집하고자 하는 영상을 받아들이는 데이터 입력 수단; 상기 영상에서 인접 픽셀들의 밝기 비를 고려하여 상기 객체를 추적하는 객체 추적 수단; 및 상기 추적된 객체의 위치, 크기 및 경계선 정보에 응답해서 소정의 영역에 속하는 영상을 변환시켜 출력하는 영상 편집 수단을 포함한다.

Description

조명에 강인한 객체 추적 방법 및 이를 응용한 영상 편집 장치{Illumination invariant object tracking method and image editing system adopting the method}
본 발명은 객체 추적방법에 관한 것으로, 특히 조명변화에 강인한 객체 추적방법 및 이를 응용한 비디오 영상 편집 장치에 관한 것이다.
최근 들어, 거의 모든 정보의 유통과 흐름에 멀티미디어적인 요소가 사용되고 있다. 이를 위해 디지털카메라, 화상통신용 카메라 등과, 카메라를 통해 취득된 비디오 화면을 처리하기 위한 장치 및 소프트웨어들이 쏟아져 나오고 있다.
카메라를 통해 취득된 비디오 영상을 편집하는 비디오 영상 편집 시스템은, 화면에서 특정 인물의 얼굴이나 제품을 모자이크 처리하는 등, 다양한 영상 편집 기능을 수행한다. 이 중 모자이크 기능은 전체 화면이나 고정 위치에 대해 수행될 수도 있고, 본 출원인에 의해 취득된 대한민국 특허 등록번호 제 10-170698호, "실시간 영상 모자이크 시스템"과 같이 영상의 움직임에 따라 모자이크 기능을 실시간으로 수행할 수도 있다.
일반적으로, 카메라에 의해 촬영된 영상은 대부분 밝기가 일정치 않은 곳에서 획득된다. 특히 야외 촬영의 경우, 시시각각 변화하는 자연광의 밝기 변화로 인해 촬영된 영상의 밝기가 균일하지 않게 된다. 따라서, 이 같은 경우, 밝기 변화를 고려하지 않은 채 모자이크 처리를 하게 되면, 밝기 변화에 따라 각기 다른 값을 가지는 영상의 픽셀 값 변화에 의해서 모자이크 처리가 부정확하게 수행될 수 있다. 이와 같은 문제를 해결하기 위해, 최근에는 객체의 형태(shape) 정보를 이용한 추적 알고리즘을 이용하여 해당 객체를 모자이크 처리하는 방법이 제기되고 있다.그러나, 이 방법은 복잡도(complexity)가 높아 고성능의 연산장치 및 메모리를 필요로 하며, 실시간 처리가 어려운 문제를 가지고 있다.
본 발명이 이루고자 하는 기술적 과제는, 조명 변화에 상관없이 영상의 원하는 영역을 신뢰성 있게 추적하고, 이를 실시간으로 편집할 수 있는 영상 편집장치를 제공하는데 있다.
도 1은 본 발명의 바람직한 실시예에 의한 조명에 강인한 객체 추적 방법 및 이를 이용한 영상 편집 방법을 설명하는 흐름도이다.
도 2는 인접한 픽셀의 밝기 비의 변화를 보여주는 도면이다.
도 3은 도 1에 도시된 객체의 초기 위치 지정 방법을 설명하는 흐름도이다.
도 4는 도 3에 도시된 역 투사 방법을 설명하는 흐름도이다.
도 5는 도 1에 도시된 추적 객체에 대한 컬러 정보 모델링 방법을 설명하는 흐름도이다.
도 6은 조명 변화에 따른 피부색의 색상, 채도의 변화를 각각 보여주는 도면이다.
도 7은 도 1에 도시된 영상 전체에 대한 컬러 정보 모델링 방법을 설명하는 흐름도이다.
도 8은 본 발명의 바람직한 실시예에 의한 영상 편집 장치의 블록도이다.
도 9는 다양한 조명 조건 하에 있는 합성 몬드리안 영상(Synthetic Mondrian Image)을 보여주는 도면이다.
도 10은 다양한 조명 조건 하에서 취득된 실제 영상의 예를 보여주는 도면이다.
도 11은 다양한 조명 조건 하에서 피부색 데이터가 수집되는 일례를 보여주는 도면이다.
도 12는 도 11에서 수집된 피부색 데이터의 일례를 보여주는 도면이다.
도 13은 도 11에서 수집된 영상의 전체 조명 변화를 분석한 결과를 보여주는 도면이다.
도 14는 도 11 내지 도 13에 도시된 방법에 의해 취득된 정보를 근거로 하여 복수 개의 얼굴을 추적한 결과를 보여주는 도면이다.
도 15는 본 발명에 의한 영상 편집 장치에 의해 특정 얼굴을 모자이크 처리한 결과를 보여주는 도면이다.
< 도면의 주요 부분에 대한 부호의 설명 >
10 : 데이터 입력 유닛11 : 비디오 카메라
12 : A/D 컨버터20 : 객체 추적 유닛
21 : 초기위치 지정부22 : 컬러 모델링부
24 : 확률맵 구성부25 : MUX
26 : 객체 추적부30 : 영상 편집 유닛
31 : 경계선 추출부32 : 영상 편집부
33 : D/A 컨버터100 : 영상 편집 장치
상기의 과제를 이루기 위하여 본 발명에 의한 조명에 강인한 객체 추적 방법은, (a) 영상에서 추적하고자 하는 객체의 초기 위치를 지정하는 단계; (b) 영상에서 인접한 픽셀의 밝기 비를 고려하여 객체 추적을 위한 확률 맵을 생성하는 단계; 및 (c) 상기 객체의 초기 위치 및 상기 확률 맵을 근거로 하여 칼만 필터링을 수행하는 단계를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위하여 본 발명에 의한 조명에 강인한 추적 기술을 이용한 영상 편집 방법은, (a) 편집하고자 하는 영상을 받아들이는 단계; (b) 상기 영상에서 인접 픽셀들의 밝기 비를 고려하여 상기 객체를 추적하는 단계; 및 (c) 상기 추적된 객체의 위치, 크기 및 경계선 정보에 응답해서 소정의 영역에 속하는 영상을 변환시켜 출력하는 영상 편집 단계를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위하여 본 발명에 의한 조명에 강인한 객체 추적 장치는, 영상에서 추적하고자 하는 객체의 초기 위치를 지정하는 초기 위치 지정부; 상기 객체 및 상기 영상 전체의 인접한 픽셀의 밝기 비를 고려한 컬러 모델링을 수행하는 컬러 모델링부; 상기 컬러 모델링 결과에 응답해서, 상기 객체의 추적을 위한 확률 맵을 구성하는 확률 맵 구성부; 및 상기 초기 위치 및 상기 확률 맵에 응답해서 상기 객체의 현재 위치를 추적하는 객체 추적부를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위하여 본 발명에 의한 조명에 강인한 추적 기술을 이용한 영상 편집 장치는, 편집하고자 하는 영상을 받아들이는 데이터 입력 수단; 상기 영상에서 인접 픽셀들의 밝기 비를 고려하여 상기 객체를 추적하는 객체 추적 수단; 및 상기 추적된 객체의 위치, 크기 및 경계선 정보에 응답해서 소정의 영역에 속하는 영상을 변환시켜 출력하는 영상 편집 수단을 포함하는 것을 특징으로 한다.
이하에서, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세히 설명한다.
도 1은 본 발명의 바람직한 실시예에 의한 조명에 강인한 객체 추적 방법 및 이를 이용한 영상 편집 방법을 설명하는 흐름도이다. 도 1을 참조하면, 먼저 본 발명에 의한 영상 편집 방법은 영상 신호가 입력되면(100 단계) 영상의 인접 픽셀 밝기 비를 이용한 객체 추적(200 단계)을 수행한 후, 추적된 객체를 편집하여(300 단계) 디스플레이 한다(400 단계).
카메라에 의해 촬영된 영상은 밝기가 일정치 않은 곳에서 획득되는 경우가 대부분이므로, 영상의 밝기가 균일하지 않은 경우가 빈번히 발생된다. 이는 편집하고자 하는 객체의 추적에 오류를 발생하므로, 본 발명에서는 상기와 같은 밝기 변화에 영향을 받지 않도록 영상의 인접 픽셀 밝기 비를 이용한 객체 추적을 수행한다.
영상 처리 분야에 있어, 조명에 강인한 특징을 찾으려는 많은 연구들이 있어 왔다. 그 중 Brain V. Funt 및 Graham D. Finlayson에 의해 1995년 IEEE Transactions on Pattern Analysis and Machine Intelligence에 실린 논문, "Color Constant Color Indexing"에서는 인접한 픽셀들의 컬러 비가 공간적으로 불균일한 조명에도 변하지 않는다는 것을 밝히고 있다. 이 논문에서는, 조명이 전체적으로 혹은 공간적으로 변한다 하더라도 바로 인접한 픽셀들의 밝기는 픽셀들이 속한 표면의 반사 특징에만 의존하므로, 인접한 픽셀들의 밝기 비가 조명의 변화에 영향을 받지 않는다는 것을 나타낸다.
도 2는 인접한 픽셀의 밝기 비의 변화를 보여주는 도면이다. 도 2를 참조하면, (a)에 도시된 영상의 A와 B 지점을 잇는 경로에 위치한 인접 픽셀들은 (b)에 도시된 바와 같은 밝기 값(intensity)을 갖는다. 이 같은 밝기 값은 조명이 변화하는 경우, 조명의 변화에 따라 그 값이 민감하게 변화한다. 그러나, Brain V. Funt 및 Graham D. Finlayson의 논문에 의하면, 상기 영상의 인접 픽셀들간의 밝기 비율은 조명이 변화하더라도 (c)에 도시된 바와 같이 조명의 변화에 영향을 받지 않고, 영상이 가지고 있는 특성을 그대로 유지함을 알 수 있다.
본 발명에서는 이 같은 특성을 이용하여 아래와 같이 조명에 강인한 객체 추적을 수행한다. 도 1을 참조하면, 본 발명에 의한 객체 추적 방법은, 먼저 편집하고자 하는 영상 구간 및 추적하고자 하는 객체의 초기 위치를 지정한다(210 단계).이어서, 추적하고자 하는 객체에 대한 컬러 정보를 모델링 하고(220 단계), 영상 전체에 대한 컬러 정보를 모델링 한다(225 단계). 그리고, 220 및 225 단계에서 수행된 컬러 정보의 모델링 결과와 210 단계에서 지정된 위치 정보를 고려한 확률 맵을 구성하고(240 단계), 구성된 확률 맵을 근거로 하여 칼만 필터링(Kalman Filtering)을 수행한다(260 단계). 아래에서 상세히 설명되겠지만, 칼만 필터(Kalman Filter)는 객체의 동작을 예측하는 필터로서, 움직임이 있는 객체의 추적에 주로 사용된다. 본 발명에 의한 객체 추적 방법의 각 단계별 상세 동작은 다음과 같다.
도 3은 도 1에 도시된 객체의 초기 위치 지정 방법(210 단계)을 설명하는 흐름도이다. 도 3을 참조하면, 먼저 객체의 초기 위치가 자동으로 지정되는지, 또는 수동으로 지정되는지 여부를 판별한다(2100 단계). 판별 결과, 객체의 초기 위치가 수동으로 지정되는 경우, 사용자는 마우스로 객체를 포함하는 경계 박스를 영상에 지정해 줌으로써 추적 객체의 위치를 수동으로 지정해 준다(2110 단계). 그리고, 2100 단계에서의 판별 결과, 객체의 초기 위치가 자동으로 지정되는 경우, 사용자가 소정의 데이터 저장 영역에 미리 생성해 둔 객체 데이터베이스(Object Database) 목록 중에서 편집하고자 하는 객체의 목록을 지정하면, 상기 데이터베이스로부터 해당 객체의 컬러 히스토그램을 독출하고(2120 단계), 독출된 히스토그램을 역 투사(Back-projection)함으로써 객체의 초기 위치를 자동으로 지정한다(2130 단계).
2130 단계에서 사용된 컬러 히스토그램의 역 투사 알고리즘은, 영상에서 객체를 검출하는데 방해가 되는 컬러의 영향, 즉 객체 이외의 영역에서 나타난 컬러의 영향을 줄이고, 대상 객체의 컬러가 가장 강하게 나타나는 위치를 찾아내는데 사용된다. 이에 대한 구체적인 방법은 다음과 같다.
도 4는 도 3에 도시된 역 투사 방법(2130 단계)을 설명하는 흐름도이다. 도 4를 참조하면, 컬러 히스토그램의 역 투사 방법은, Dr을 반지름이 r인 디스크라 할 때, 먼저 각 히스토그램 빈(bin) j 에 대해을 계산한다(2131 단계). 여기서, Mj는 히스토그램 빈 j에 대하여 이전 모델의 컬러 히스토그램을 나타내고, Ij는 히스토그램 빈 j에 대하여 현재 영상의 컬러 히스토그램을 나타낸다. Rj값은 Mj값에서 Ij값을 나눈 값과 1 중 그 크기가 작은 값으로 정의된다.
이어서, 모든 위치(x,y)의 컬러에 해당되는 R을 계산한다(2132 단계). 이는 b_x,y = R_h (c(x,y))로 표시된다. 2132 단계에서 계산된 b 값은 디스크 Dr과 컨볼루션(convolution) 된다(2133 단계). 이는 b = Dr* b로 표시되며, 이 때 Dr의 값은의 값을 가진다. 컨볼루션이 수행되고 나면, 컨볼루션 결과(b)가 최대가 되는 좌표를 찾아 이를 객체의 초기 위치로 정한다(2134 단계). 이 때 정해지는 초기 위치는 (xt, yt) = loc(max(x, y) b)로 표시될 수 있다.
이어서, 도 1에 도시된 추적 객체에 대한 컬러 정보 모델링 방법(220 단계)을 살펴보면 다음과 같다.
도 5는 도 1에 도시된 추적 객체에 대한 컬러 정보 모델링 방법(220 단계)을 설명하는 흐름도이다. 도 5를 참조하면, 먼저 추적 객체의 색상 구성을 분석하고(2211 단계), 분석 결과를 근거로 하여 객체의 색상이 단색으로 구성되었는지, 다색으로 구성되었는지 여부를 판별한다(2212 단계).
객체가 단색인지 다색인지 여부를 판별하는 식은 아래의 [수학식 1]과 같다.
[수학식 1]
Th 는 드레솔드(Threshold) 값으로서, [수학식 1]의 좌변 값이 우변의 드레솔드 값 보다 작으면 단색 객체로 판별하고, 크거나 같으면 다색 객체로 판별한다.
판별 결과, 객체가 다색으로 구성된 것으로 판별되면, 상기 객체의 컬러 정보는 R(적색), G(녹색), B(청색) 각 채널에 대해 인접한 픽셀들의 밝기 비를 축으로 하는 삼차원 히스토그램(hobject(color))으로 저장된다(2213 단계). 이렇게 구성된 컬러 비의 히스토그램(hobject(color))을 객체 추적에 사용하게 되면, 조명 변화에 영향을 받지 않고 객체를 추적할 수 있게 된다.
반면, 추적 대상 객체가 얼굴과 같이 단색으로 구성된 경우에는 컬러 비가 객체의 주요 특징을 표현하지 못하게 된다. 그러므로, 상기와 같은 컬러 비의 히스토그램(hobject(color))은 단색으로 구성된 객체의 검출 및 추적에 효과적이지 못하다. 따라서, 본 발명에서는 단색 객체에 대해서는 영상의 밝기에 따른 색상(Hue), 채도(Saturation)의 2차원 가우시안 모델링(2D Gaussian Modeling)을 통해 조명에강인하게 객체의 컬러를 모델링 하여 객체의 컬러 확률을 정의하고(2214 단계), 정의된 객체의 컬러 확률을 근거로 하여 객체의 컬러 히스토그램을 구성한다(2215 단계). 이에 대한 상세 내용은 다음과 같다.
도 6은 조명 변화에 따른 피부색의 색상, 채도의 변화를 각각 보여주는 도면이다. 여기서, 피부는 단일 색상으로 구성된 객체의 일례를 나타낸다. 도 6의 (a) 및 (b)를 참조하면, HSI 컬러 공간(HSI Color Space)에서 피부의 색상은 주변 밝기에 독립적이고, 채도는 밝기에 대해 선형적으로 감소하는 특성을 알 수 있다. 이와 같은 특성은 피부 이외의 일반적인 컬러에도 적용 가능하다. 따라서, 상기 특성을 이용하여 [수학식 2]와 같이 객체(예를 들면, 피부)의 컬러 확률을 정의할 수 있다.
[수학식 2]
여기서,는 2차원 가우시안 함수(two-dimensional Gaussian function)를, n은 객체의 사이즈(size of object)를, 그리고 I는 영상의 평균 밝기(average intensity of image)를 각각 나타낸다. 이와 같은 객체의 컬러 확률이 정의되면, 본 발명에서는 이를 히스토그램(hobject(color))의 축으로 사용하여 컬러 히스토그램을 구성한다.
객체의 컬러 분포를 이용해 객체를 효과적으로 추적하기 위해서는, 앞에서 설명한 바와 같은 객체에 대한 컬러 분포 정보 외에도 전체 영상의 컬러 분포 정보 역시 필요하다. 전체 영상의 컬러 분포 정보를 모델링 하는 방법은 다음과 같다.
도 7은 도 1에 도시된 영상 전체에 대한 컬러 정보 모델링 방법(225 단계)을 설명하는 흐름도이다. 도 7을 참조하면, 먼저 전체 영상의 컬러 변화를 측정하고(2221 단계), 측정 결과를 근거로 하여 조명이 백색 조명인지, 컬러 조명인지 여부를 판별한다(2222 단계).
조명이 백색 조명인지, 또는 컬러 조명인지 여부를 판별하는 식은 아래의 [수학식 3]과 같다.
[수학식 3]
여기서, Th 는 드레솔드 값으로서, [수학식 3]의 좌변의 값이 우변의 드레솔드 값 보다 작으면 백색 조명으로 판별하고, 좌변의 값이 우변의 드레솔드 값 보다 크거나 같으면 컬러 조명으로 판별한다. 이 때, n은 현재 프레임(frame)의 영상을, m은 이전 프레임의 영상을 의미한다.
2222 단계에서의 판별 결과, 조명이 컬러 조명으로 판별되면, 바로 이전 프레임에서 찾은 객체의 영역으로부터 컬러 분포를 새로 추출하여 컬러 정보를 재 모델링하고, 영상 전체에 대한 컬러 분포를 히스토그램으로 구성하는 적응적 컬러 모델링을 수행한다(2230 단계). 이 때 사용되는 컬러 모델링 방법은 도 5에서 설명한 컬러 모델링 방법과 동일하다. 그리고, 조명이 백색 조명으로 판별되면, 컬러 정보의 재 모델링 과정을 거치지 않고, 도 1의 220 단계에서 구성된 객체 히스토그램의 축과 동일한 축에 대해서 영상의 전체 컬러 분포를 히스토그램(htotal(color))으로 구성한다(2223 단계).
즉, 전체 영상의 컬러 변화 측정 결과, 영상 전체의 밝기가 달라지거나 영상 일부분의 밝기가 다른 백색 조명이 비출 경우에는 이전에 수행된 컬러 정보 모델링 결과(즉, 도 1의 220 단계)가 그대로 사용되고, 파장별로 세기가 다른 컬러 조명이 비출 경우에는 2230 단계와 같이 컬러 정보가 적응적으로 모델링 된다.
다시 도 1을 참조하면, 240 단계에서는 210 단계에서 지정된 위치 정보와, 220 및 225 단계를 거쳐 모델링된 컬러 정보를 고려하여 확률 맵을 구성한다. 이 때 구성되는 확률 맵은 아래 [수학식 4] 및 [수학식 5]와 같다.
[수학식 4]
[수학식 5]
260 단계에서는 [수학식 4] 및 [수학식 5]에 의해 구성된 확률 맵에 의해 칼만 필터링을 수행하여 객체를 추적한다.
칼만 필터는, 아래 [수학식 6]에 의거하여 연속된 영상에서 대상 객체의 위치와 크기를 계속적으로 추적한다.
[수학식 6]
여기서,는 객체의 중심 좌표를 의미하고, C(i,j)는 공분산 행렬(Covariance Matrix)을 의미한다. 객체의 중심 좌표및 공분산 행렬 C(i,j)을 구성하는 각각의 파라미터들은
의 값을 가진다.
260 단계에서 수행되는 칼만 필터링 단계에서는 현재 계산된 객체의 위치와, 소정의 데이터 영역에 저장되어 있는 과거의 데이터 모두를 이용하여 현재 움직이고 있는 객체의 속도를 예측하고, 아래 [수학식 7]과 같이 공분산 행렬을 갱신함으로써 객체의 급작스러운 움직임이나 정지를 신뢰성 있게 추적한다.
[수학식 7]
이와 같은 일련의 객체 추적 방법에 의해서 소정의 객체가 추적되면, 추적된 객체는 모자이크 처리 등과 같은 편집 기능이 수행된 후(300 단계), 디스플레이 된다(400 단계).
도 8은 본 발명의 바람직한 실시예에 의한 영상 편집 장치(100)의 블록도이다. 도 8을 참조하면, 본 발명에 의한 영상 편집 장치(100)는 편집하고자 하는 영상을 받아들이는 데이터 입력 유닛(10), 상기 영상에서 인접 픽셀들의 밝기 비를 고려하여 객체를 추적하는 객체 추적 유닛(20), 및 추적된 객체의 위치, 크기 및 경계선 정보에 응답해서 소정의 영역에 속하는 영상을 변환시켜 출력하는 영상 편집 유닛(30)을 포함한다.
데이터 입력 유닛(10)은, 아날로그 영상 신호를 받아들이는 비디오 카메라(11)와, 취득된 아날로그 영상 신호를 연속적인 디지털 영상 신호로 변환하는 A/D 컨버터(12)를 포함한다.
객체 추적 유닛(20)은, 영상에서 추적하고자 하는 객체의 초기 위치를 지정하는 초기 위치 지정부(21), 객체 및 영상 전체의 인접한 픽셀의 밝기 비를 고려한 컬러 모델링을 수행하는 컬러 모델링부(22), 컬러 모델링 결과에 의해 객체 추적을 위한 확률 맵을 구성하는 확률 맵 구성부(24), 확률 맵 구성부(24)의 입력을 선택하는 MUX(Multiplexer ; 25), 상기 초기 위치 및 상기 확률 맵에 응답해서 객체의 현재 위치를 추적하는 객체 추적부(26)를 포함한다.
초기 위치 지정부(21)는, 사용자가 지정한 소정의 위치를 상기 객체의 초기 위치로 받아들이는 제 1 초기 위치 지정부(211), 상기 객체의 목록 및 상기 객체에 대응되는 컬러 모델링 데이터를 저장하는 객체 데이터베이스(212), 및 사용자가 지정한 객체 목록에 대응되는 컬러 모델링 데이터를 객체 데이터베이스(212)로부터 독출하고, 독출된 컬러 모델링 데이터를 역 투사하여 상기 객체의 초기 위치를 자동으로 지정하는 제 2 초기위치 지정부(213)를 포함한다. 제 1 초기 위치 지정부(211)는 앞에서 설명한 초기 위치의 수동 지정 기능을 수행하고, 제 2 초기위치 지정부(213)는 초기 위치의 자동 지정 기능을 각각 수행한다.
상기 컬러 모델링부(22)는, 객체에 대한 컬러 정보를 모델링 하는 제 1 컬러 모델링부(221), 영상 전체에 대한 컬러 정보를 모델링하는 제 2 컬러 모델링부(222), 및 영상의 조명에 관한 변화를 고려하여 상기 객체에 대한 컬러 정보를 적응적으로 모델링 하는 제 3 컬러 모델링부(223)를 포함한다.
제 1 컬러 모델링부(221)는, 제 1 또는 제 2 초기 위치 지정부(211 또는 213)를 통해 편집하고자 하는 객체의 초기 위치가 수동 또는 자동으로 지정되면, 상기 객체의 초기 영역으로부터 컬러 정보를 추출하여, 객체를 추적하는 데 이를 사용한다. 제 1 컬러 모델링부(221)는 해당 객체가 단색인지 다색인지 여부를 판별하고, 해당 객체가 다색으로 구성된 경우에는 상기 객체의 정보를 RGB 각 채널에 대해 인접한 픽셀들의 밝기 비를 축으로 하는 삼차원 히스토그램(hobject(color))으로저장한다. 이러한 컬러 비의 히스토그램(hobject(color))을 사용하면, 조명 변화에 영향을 받지 않고 컬러 정보를 이용해 객체를 인식할 수 있게 된다.
그러나, 대상 객체가 얼굴과 같이 단색으로 구성된 객체인 경우에는 컬러 비가 객체의 주요 특징을 표현하지 못하므로, 객체를 검출, 추적하기에 효과적이지 못하다. 따라서, 본 발명에서는 단색 객체에 대해서는 영상의 밝기에 따른 색상(Hue), 채도(Saturation)의 2차원 가우시안 모델링(2D Gaussian Modeling)을 통해 조명에 강인하게 객체의 컬러를 모델링 한다.
일반적으로 추적, 검출하고자 하는 대상 객체가 정밀하지 않거나(nonrigid) 회전이 심한 경우에는, 형태(shape) 정보 보다 컬러 정보를 이용하는 것이 시간과 정확도에 있어 많은 이점을 가진다. 그러나, 방송용으로 제작된 비디오 신호는 실내외의 극심한 조명 변화를 포함하기 때문에, 일반적인 RGB 컬러 공간에서 대상 객체의 컬러가 극심하게 변화하게 되며, 이는 객체의 추적, 검출을 어렵게 만든다. 따라서, 본 발명에서는 이러한 극심한 조명 변화에도 강인하게 객체를 추적하기 위해, 컬러 정보의 추출에 있어서, 제 1 컬러 모델링부(221) 및 제 3 컬러 모델링부(223)에서 수행된 객체의 컬러 모델링 결과를 동시에 사용한다.
이를 위해 제 3 컬러 모델링부(223)는 영상 전체에 대한 컬러 변화를 측정하고, 측정 결과, 영상이 컬러 조명 하에서 취득된 것으로 판별된 경우, 상기 영상의 이전 프레임에서 추적된 객체의 영역에 대한 컬러 모델링을 재 수행하고, 영상 전체에 대한 컬러 분포를 히스토그램으로 구성한다. 그리고, 측정 결과, 영상이 백색 조명 하에서 취득된 것으로 판별된 경우, 제 1 컬러 모델링부(221)에서 수행된 객체의 컬러 모델링 결과를 그대로 사용한다.
객체의 컬러 분포를 이용해 객체를 효과적으로 추적하기 위해서는, 앞에서 설명한 바와 같은 객체에 대한 컬러 분포 정보 외에도 전체 영상의 컬러 분포 정보 역시 필요하다. 이를 위해 제 2 컬러 모델링부(222)는 현재 영상의 전체 컬러 분포를 객체 히스토그램의 축과 동일한 축에 대한 히스토그램(htotal(color))으로 구성한다.
확률 맵 구성부(24)는 제 2 컬러 모델링부(222)에서 수행된 컬러 모델링 결과를 받아들이고, 선택된 객체의 위치와, 제 1 또는 제 3 컬러 모델링부(221 또는 223)에서 수행된 컬러 모델링 결과를 MUX(25)를 통해 받아들인다. 이 때 생성되는 확률 맵은 앞에서 설명한 [수학식 4] 및 [수학식 5]와 같다.
한편, 객체 데이터베이스(212)는 제 1 컬러 모델링부(221)에서 생성된 조명에 강인한 컬러 히스토그램을 저장하는데, 물체의 색 구성에 따라 컬러 비 히스토그램이나, 조명에 따른 가우시안 확률 히스토그램으로 저장한다. 객체 데이터베이스(212)에 저장된 객체의 컬러 분포 정보는, 사용자가 관심 객체를 목록에서 지정하게 되면, 제 2 초기 위치 지정부(213)에 의해 객체의 초기 위치를 자동으로 검출하는데 사용된다.
객체 추적부(26)는, 메모리(261), 속도 예측부(262) 및 칼만 필터(263)를 구비하여, 객체의 현재 위치를 추적한다.
칼만 필터(263)는 확률 맵 구성부(24)에서 생성된 객체의 확률 맵(COLOR_MODEL) 및 객체의 초기 위치(OBJ_POSITION)를 받아들이고, [수학식 6]에의거하여 연속적인 영상에서 관심 객체의 위치와 크기를 계속적으로 추적한다. 속도 예측부(262)는 메모리(261)를 이용해 과거의 객체의 위치를 저장해 두고, 현재 계산된 객체의 위치와 과거의 데이터를 모두 이용하여 현재 움직이고 있는 객체의 속도를 예측한다. 그리고, [수학식 7]과 같이 칼만 필터(263)의 공분산 행렬을 갱신함으로써 객체의 급작스러운 움직임이나 정지를 신뢰성 있게 추적한다.
앞에서 설명한 바와 같은 일련의 객체 추적 방법에 의해 소정의 객체가 추적되면, 추적된 객체는 영상 편집 유닛(30)을 통해 모자이크 처리 등과 같은 간단한 편집 기능이 자동으로 수행된다. 영상 편집 유닛(30)은, 좀 더 다양한 편집 기능을 제공하기 위해서, 영상 편집을 수행하는 영상 편집부(32)와, 편집된 비디오 신호를 아날로그 신호로 변환하여 출력하는 D/A 컨버터(33) 외에, 경계선 추출부(31)를 더 포함한다. 경계선 추출부(31)는 영상 편집부(32)에 연결되어 추적중인 객체의 경계선 정보를 제공한다. 경계선 추출 방법은 양자화된 컬러 영상과 모션 차영상(difference image)을 모두 이용하여 객체 영역을 이진화된 영상(binary image)으로 정의하고, Boundary Following 알고리즘을 적용해 경계선을 추출한다.
본 발명에 의한 영상 편집 유닛(30)에는 미리 저장해둔 편집 기능 리스트(미도시됨)가 구비되어 있어, 사용자가 특정 기능을 선택하게 되면 그 선택 결과에 따라 편집 알고리즘이 동작하고, 편집된 결과가 D/A 컨버터(33)를 통해 아날로그 형태로 변환된다. 영상 편집부(32)에서 수행하는 편집 알고리즘은 디지털 영상 한 장, 한 장에 대해서, 관심 객체의 위치와 크기 또는 경계선 정보(또는 윤곽선 정보)를 이용해 특정 영역에 특정 색을 칠하거나, 또는 특정 필터를 통과시켜 영상을변환하는 과정을 포함한다. 편집에 사용될 수 있는 필터로 모자이크 필터, 블러링 필터, 반전 필터 등이 있다.
앞에서 설명한 본 발명에 의한 영상 편집 장치(100)를 실제 영상에 적용한 경우, 그 결과는 다음과 같다.
도 9는 다양한 조명 조건 하에 있는 합성 몬드리안 영상(Synthetic Mondrian Image)을 보여주는 도면이고, 도 10은 다양한 조명 조건 하에서 취득된 실제 영상의 예를 보여주는 도면이다.
먼저, 도 9를 참조하면, 도 9의 (a)는 공간적으로 일정하고 스펙트럼상으로도 일정한 조명하에서의 합성 몬드리안 영상을 나타내고, 도 9의 (b)는 공간적으로는 일정하나, 스펙트럼상으로는 일정하지 않은 조명하에서의 합성 몬드리안 영상을 나타낸다. 그리고, 도 9의 (c)는 공간적으로도 일정하지 않고, 스펙트럼상으로도 일정하지 않은 조명하에서의 합성 몬드리안 영상을 각각 나타낸다.
이 같은 경우, 도 9의 (a), (b), (c) 각각에 대한 RGB 공간(RGB space), Opponent 컬러 공간(Opponent color space), 정규화된 R,G 공간(Normalized R,G space), 및 HSI 공간(HSI space), 및 컬러 비율 공간(Color ratio space)의 비교 결과는 아래 [표 1] 내지 [표 3]과 같다.
[표 1]
Spatially and spectrally constant illumination
Rank 1 Rank 2 Rank 3 Rank 3 이상 평균 백분위수 평균허용오차
RGB 0 1 2 7 0.9103 0.00743
Opponent 0 2 1 7 0.9137 0.00743
Normalized R,G 10 0 0 0 1.0000 0.32822
HIS 10 0 0 0 1.0000 0.30781
Color ratio 10 0 0 0 1.0000 0.58229
[표 2]
Spatially constant but spectrally varying illumination
Rank 1 Rank 2 Rank 3 Rank 3 이상 평균 백분위수 평균허용오차
RGB 4 2 0 4 0.9517 0.06932
Opponent 5 0 1 4 0.9517 0.06932
Normalized R,G 4 1 3 2 0.9551 0.06038
HIS 5 1 3 1 0.9655 0.06157
Color ratio 10 0 0 0 1.0000 0.58229
[표 3]
Spatially and spectrally varying illumination
Rank 1 Rank 2 Rank 3 Rank 3 이상 평균 백분위수 평균허용오차
RGB 3 2 0 5 0.9413 0.0298
Opponent 5 2 0 3 0.9620 0.0321
Normalized R,G 5 2 3 0 0.9724 0.0214
HIS 6 1 2 1 0.9724 0.0233
Color ratio 10 0 0 0 1.0000 0.3561
[표 1] 내지 [표 3]에서 알 수 있는 바와 같이, 컬러 비율 공간을 기준으로 할 때, 합성 몬드리안 영상은 조명의 변화에 상관없이 모든 컬러 공간에 대해 높은 평균 백분위수(Average percentile)의 매칭 결과가 나타남을 알 수 있다. 이로써, 본 발명에 의한 객체 추적방법은 조명변화에 강인한 특성을 가짐을 알 수 있다.
이어서, 도 10을 참조하면, 도 10의 (a)는 한 영상에 대한 다른 한 영상의 각도가 틀어져 보이는 Swain's model 영상의 경우를 나타내고, 도 10의 (b)는 유사한 조명 하에서 취득된 두 영상을 나타낸다. 그리고, 도 10의 (c)는 현격히 다른조명 하에서 취득된 두 영상을 각각 나타낸다.
이 같은 경우, 도 10의 (a), (b), (c) 각각에 대한 RGB 공간(RGB space), Opponent 컬러 공간(Opponent color space), 정규화된 R,G 공간(Normalized R,G space), 및 HSI 공간(HSI space), 및 컬러 비율 공간(Color ratio space)의 비교 결과는 아래 [표 4] 내지 [표 6]과 같다.
[표 4]
Swain's model
Rank 1 Rank 2 Rank 3 Rank 3 이상 평균 백분위수 평균허용오차
RGB 29 0 0 0 1.0000 0.1518
Opponent 28 0 0 1 0.9964 0.1599
Normalized R,G 27 1 0 1 0.9942 0.1344
HIS 25 3 0 1 0.9928 0.1387
Color ratio 29 0 0 0 1.0000 0.1012
[표 5]
Similar illumination
Rank 1 Rank 2 Rank 3 Rank 3 이상 평균 백분위수 평균허용오차
Opponent 23 - - 1 0.994 0.255
Normalized R,G 23 1 - - 0.998 0.163
HIS 23 - 1 - 0.997 0.198
Color ratio 23 - 1 - 0.997 0.044
[표 6]
Large change of illumination
Rank 1 Rank 2 Rank 3 Rank 3 이상 평균 백분위수 평균허용오차
Opponent 9 1 1 10 0.9476 0.072
Normalized R,G 9 - 1 11 0.9444 0.058
HIS 8 1 3 9 0.9460 0.059
Color ratio 8 3 5 5 0.9554 0.048
[표 4]에서 알 수 있는 바와 같이, 영상의 각도가 비틀어져 있는 Swain's 영상의 경우에도 컬러 비율 공간을 기준으로 할 때, 모든 컬러 공간에 대해 높은 평균 백분위수의 매칭 결과가 나타남을 알 수 있다. 뿐만 아니라, [표 5] 및 [표 6]에서 알 수 있는 바와 같이, 컬러 비율 공간을 기준으로 할 때, 각각 다른 조건에 있는 영상은 조명이 비슷하게 변화하건, 또는 조명이 많이 변화하건 간에 조명의 변화에 상관없이 모든 컬러 공간에 대해 높은 평균 백분위수의 매칭 결과가 나타남을 알 수 있다. 이로써, 본 발명에 의한 객체 추적 방법은 조명에 강인한 특성을 가짐을 알 수 있다.
도 11은 다양한 조명 조건 하에서 피부색 데이터가 수집되는 일례를 보여주는 도면이다. 도 11에는 영상이 취득된 위치와, 취득된 영상이 각각 도시되어 있다. 도 11을 참조하면, 동일한 사무실의 경우라 하더라도 영상이 취득되는 위치에 따라서 각기 다른 밝기를 가진다. 이 경우, 본 발명에 사용되는 컬러 모델링을 수행하기 위해 다양한 위치에서 영상을 취득하여 실험을 수행하였다.
도 12는 도 11에서 수집된 피부색 데이터의 일례를 보여주는 도면이다. 도 12를 참조하면, 도 11에 도시된 위치에서 취득된 피부의 밝기 데이터는 도 12의 그래프와 같이 표현된다.
도 13은 도 11에서 수집된 영상의 전체 조명 변화를 분석한 결과를 보여주는 도면이다. 도 13을 참조하면, 도 11과 같이 수집된 영상의 전체 조면 변화를 HSI 히스토그램으로 표시할 수 있다.
예를 들어, 취득된 비디오 영상에서 사람의 얼굴을 추적하고자 하는 경우, 도 11 내지 도 13에 도시된 방법에 의해 수집되고 분석된 데이터를 바탕으로 객체(사람의 얼굴)를 추적할 수 있으며, 그 추적 결과는 다음과 같다.
도 14는 도 11 내지 도 13에 도시된 방법에 의해 취득된 정보를 근거로 하여 복수 개의 얼굴을 추적한 결과를 보여주는 도면이고, 도 15는 본 발명에 의한 영상 편집 장치에 의해 특정 얼굴을 모자이크 처리한 결과를 보여주는 도면이다.
도 14 및 도 15를 참조하면, 본 발명에 의한 객체 추적 방법에 의하면, 다양한 조명의 변화에도 불구하고, 하나 또는 복수개의 특정 객체에 대한 추적이 정확히 수행될 수 있고, 추적된 객체에 대한 편집(예를 들면, 모자이크 처리 등) 또한 정확하게 수행될 수 있음을 알 수 있다.
이상에서, 본 발명의 실시예로서 비디오 데이터에 대한 자동 객체 추적 및 이를 이용한 편집에 대해 구체적으로 예시되었으나, 그밖에도 방송용 촬영 장치를 비롯한 가정용 촬영장치에 이르기까지 모든 영상 장치를 위한 영상 편집에 적용될 수 있으며, 보안시스템, 화상채팅, 통신 등에도 본 발명을 적용할 수 있다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드로 저장되고 실행될 수 있다.
이상에 설명한 바와 같이, 본 발명에 의한 조명에 강인한 객체 추적 방법 및 이를 응용한 영상 편집 장치에 의하면, 실시간 또는 녹화 촬영 중에 영상 편집 처리가 필요한 부적절한 영역이 조명변화가 큰 환경에서 촬영될 경우, 조명변화에 상관없이 원하는 영역을 신뢰성 있게 추적, 편집할 수 있다. 따라서, 객체의 추적 및 편집에 있어 높은 정확성을 가질 수 있다.

Claims (44)

  1. (a) 영상에서 추적하고자 하는 객체의 초기 위치를 지정하는 단계;
    (b) 영상에서 인접한 픽셀의 밝기 비를 고려하여 객체 추적을 위한 확률 맵을 생성하는 단계; 및
    (c) 상기 객체의 초기 위치 및 상기 확률 맵을 근거로 하여 칼만 필터링을 수행하는 단계를 포함하는 것을 특징으로 하는 조명에 강인한 객체 추적 방법.
  2. 제 1 항에 있어서, 상기 (a) 단계는,
    (a-1) 상기 객체의 초기 위치 지정 방법을 판별하는 단계;
    (a-2) 상기 (a-1) 단계에서의 판별 결과, 상기 객체의 초기 위치 지정 방법이 수동 지정 방법인 경우, 사용자가 상기 객체의 초기 위치를 직접 입력하는 단계;
    (a-3) 상기 (a-1) 단계에서의 판별 결과, 상기 객체의 초기 위치 지정 방법이 자동 지정 방법인 경우, 각 객체의 컬러 히스토그램이 저장된 데이터저장 수단으로부터 컬러 히스토그램을 독출하는 단계; 및
    (a-4) 상기 독출된 컬러 히스토그램을 역 투사하여 상기 객체의 초기 위치를 자동으로 지정하는 단계를 포함하는 것을 특징으로 하는 조명에 강인한 객체 추적 방법.
  3. 제 2 항에 있어서, Dr을 반지름 r인 디스크라 할 때 상기 (a-4) 단계는,
    (a-4-1) 상기 히스토그램의 각 빈에 대해서, 이전 모델에 대한 컬러 히스토그램에서 현재 영상의 컬러 히스토그램을 나눈 값과 1의 값 중 크기가 작은 값을 출력하는 단계;
    (a-4-2) 상기 (a-4-1) 단계의 연산을 상기 영상의 모든 위치 좌표에 대해 수행하는 단계;
    (a-4-3) 상기 (a-4-2) 단계에서 수행된 연산 결과와 상기 Dr을 컨볼루션 하는 단계; 및
    (a-4-4) 상기 (a-4-3) 단계에서 수행된 컨볼루션 결과가 최대 값을 가지는 좌표를 검색하여, 상기 좌표를 상기 객체의 초기 위치로 지정하는 단계를 포함하며,
    상기 Dr은 상기 영상의 x, y 좌표에 대해의 값을 가지는 것을 특징으로 하는 조명에 강인한 객체 추적 방법.
  4. 제 1 항에 있어서, 상기 (b) 단계는
    (b-1) 상기 객체에 대한 컬러 정보를 모델링 하는 단계;
    (b-2) 상기 영상 전체에 대한 컬러 정보를 모델링 하는 단계; 및
    (b-3) 상기 객체의 위치 정보 및 상기 (b-1) 및 (b-2) 단계에서 모델링된 상기 컬러 정보를 고려한 확률 맵을 생성하는 단계를 포함하는 것을 특징으로 하는 조명에 강인한 객체 추적 방법.
  5. 제 4 항에 있어서, 상기 (b-1) 단계는
    (b-1-1) 상기 객체의 색상 구성을 분석하는 단계;
    (b-1-2) 상기 (b-1-1) 단계에서의 분석 결과, 상기 객체가 복수 개의 색상으로 구성된 경우, 상기 영상의 컬러를 구성하는 적색(R), 녹색(G), 청색(B)의 각 채널에 대하여, 인접한 픽셀들의 밝기 비를 축으로 하는 상기 객체의 3차원 히스토그램을 구성하는 단계;
    (b-1-3) 상기 (b-1-1) 단계에서의 분석 결과, 상기 객체가 단일 색상으로 구성된 경우, 상기 영상의 색상, 채도에 대한 2차원 가우시안 모델링을 수행하여 객체의 컬러 확률을 정의하는 단계; 및
    (b-1-4) 상기 (b-1-3) 단계에서 정의된 상기 객체의 컬러 확률을 축으로 하여 상기 객체의 컬러 히스토그램을 구성하는 단계를 포함하는 것을 특징으로 하는조명에 강인한 객체 추적 방법.
  6. 제 5 항에 있어서,
    상기 (b-1-1) 단계는, n은 현재 프레임의 영상을 의미하고, m은 이전 프레임의 영상을 의미하며, R, G, B가 상기 영상의 컬러를 구성하는 적색, 녹색, 청색 데이터를 각각 의미할 때,
    을 계산하고, 상기 계산 결과가 소정의 드레솔드 값 보다 작은 경우 상기 객체가 단일 색상으로 구성된 것으로 판별하고, 상기 계산된 값이 소정의 드레솔드 값 보다 크거나 같은 경우, 상기 영상이 복수 개의 색상으로 구성된 것으로 판별하는 것을 특징으로 하는 조명에 강인한 객체 추적 방법.
  7. 제 5 항에 있어서,
    상기 (b-1-3) 단계에서 계산되는 상기 객체의 컬러 확률은,
    이고,일 때,
    인 것을 특징으로 하는 조명에 강인한 객체 추적 방법.
  8. 제 4 항에 있어서, 상기 (b-2) 단계는
    (b-2-1) 상기 영상 전체에 대한 컬러 변화를 측정하는 단계;
    (b-2-2) 상기 (b-2-1) 단계에서의 측정 결과, 상기 영상이 백색 조명 하에서 취득된 것으로 판별된 경우, 상기 (b-1) 단계에서 수행된 상기 객체의 컬러 정보 모델링 결과의 변화 없이 상기 영상 전체에 대한 컬러 분포를 히스토그램으로 구성하는 단계; 및
    (b-2-3) 상기 (b-2-1) 단계에서의 측정 결과, 상기 영상이 컬러 조명 하에서 취득된 것으로 판별된 경우, 상기 영상의 이전 프레임에서 추적된 객체의 영역에 대해 상기 (b-1) 단계를 재 수행하고, 상기 영상 전체에 대한 컬러 분포를 히스토그램으로 구성하는 단계를 포함하는 것을 특징으로 하는 조명에 강인한 객체 추적 방법.
  9. 제 8 항에 있어서,
    상기 (b-2-1) 단계는, n은 현재 프레임의 영상을 의미하고, m은 이전 프레임의 영상을 의미하며, R, G, B가 상기 영상의 컬러를 구성하는 적색, 녹색, 청색 데이터를 각각 의미할 때,
    을 계산하고, 상기 계산 결과가 소정의 드레솔드 값 보다 작은 경우 상기 영상이 백색 조명 하에서 취득된 것으로 판별하고, 상기 계산된 값이 소정의 드레솔드 값 보다 크거나 같은 경우, 상기 영상이 컬러 조명 하에서 취득된 것으로 판별하는 것을 특징으로 하는 조명에 강인한 객체 추적 방법.
  10. 제 4 항에 있어서,
    상기 객체의 컬러 모델링 결과가 hobject(color)이고, 상기 영상 전체의 컬러 모델링 결과가 htotal(color)일 때,
    상기 확률 맵은인 것을 특징으로 하는 조명에 강인한 객체 추적 방법.
  11. (a) 편집하고자 하는 영상을 받아들이는 단계;
    (b) 상기 영상에서 인접 픽셀들의 밝기 비를 고려하여 상기 객체를 추적하는 단계; 및
    (c) 상기 추적된 객체의 위치, 크기 및 경계선 정보에 응답해서 소정의 영역에 속하는 영상을 변환시켜 출력하는 영상 편집 단계를 포함하는 것을 특징으로 하는 조명에 강인한 추적 기술을 이용한 영상 편집 방법.
  12. 제 11 항에 있어서, 상기 (b) 단계는
    (b-1) 영상에서 추적하고자 하는 객체의 초기 위치를 지정하는 단계;
    (b-2) 상기 객체에 대한 컬러 정보를 모델링 하는 단계;
    (b-3) 상기 영상 전체에 대한 컬러 정보를 모델링 하는 단계;
    (b-4) 상기 객체의 위치 정보 및 상기 (b-2) 및 (b-3) 단계에서 모델링된 상기 컬러 정보를 고려한 확률 맵을 생성하는 단계; 및
    (b-5) 상기 객체의 초기 위치 및 상기 확률 맵을 근거로 하여 칼만 필터링을 수행하는 단계를 포함하는 것을 특징으로 하는 조명에 강인한 추적 기술을 이용한 영상 편집 방법.
  13. 제 12 항에 있어서, 상기 (b-1) 단계는,
    (b-1-1) 상기 객체의 초기 위치 지정 방법을 판별하는 단계;
    (b-1-2) 상기 (b-1-1) 단계에서의 판별 결과, 상기 객체의 초기 위치 지정 방법이 수동 지정 방법인 경우, 사용자가 상기 객체의 초기 위치를 직접 입력하는 단계;
    (b-1-3) 상기 (b-1-1) 단계에서의 판별 결과, 상기 객체의 초기 위치 지정 방법이 자동 지정 방법인 경우, 각 객체의 컬러 히스토그램이 저장된 데이터저장 수단으로부터 컬러 히스토그램을 독출하는 단계; 및
    (b-1-4) 상기 독출된 컬러 히스토그램을 역 투사하여 상기 객체의 초기 위치를 자동으로 지정하는 단계를 포함하는 것을 특징으로 하는 조명에 강인한 추적 기술을 이용한 영상 편집 방법.
  14. 제 13 항에 있어서, Dr을 반지름 r인 디스크라 할 때 상기 (b-1-4) 단계는,
    (b-1-4-1) 상기 히스토그램의 각 빈에 대해서, 이전 모델에 대한 컬러 히스토그램에서 현재 영상의 컬러 히스토그램을 나눈 값과 1의 값 중 크기가 작은 값을 출력하는 단계;
    (b-1-4-2) 상기 (b-1-4-1) 단계의 연산을 상기 영상의 모든 위치 좌표에 대해 수행하는 단계;
    (b-1-4-3) 상기 (b-1-4-2) 단계에서 수행된 연산 결과와 상기 Dr을 컨볼루션 하는 단계; 및
    (b-1-4-4) 상기 (b-1-4-3) 단계에서 수행된 컨볼루션 결과가 최대 값을 가지는 좌표를 검색하여, 상기 좌표를 상기 객체의 초기 위치로 지정하는 단계를 포함하며,
    상기 Dr은 상기 영상의 x, y 좌표에 대해의 값을 가지는 것을 특징으로 하는 조명에 강인한 추적 기술을 이용한 영상 편집 방법.
  15. 제 12 항에 있어서, 상기 (b-2) 단계는
    (b-2-1) 상기 객체의 색상 구성을 분석하는 단계;
    (b-2-2) 상기 (b-2-1) 단계에서의 분석 결과, 상기 객체가 복수 개의 색상으로 구성된 경우, 상기 영상의 컬러를 구성하는 적색(R), 녹색(G), 청색(B)의 각 채널에 대하여, 인접한 픽셀들의 밝기 비를 축으로 하는 상기 객체의 3차원 히스토그램을 구성하는 단계;
    (b-2-3) 상기 (b-2-1) 단계에서의 분석 결과, 상기 객체가 단일 색상으로 구성된 경우, 상기 영상의 색상, 채도에 대한 2차원 가우시안 모델링을 수행하여 객체의 컬러 확률을 정의하는 단계; 및
    (b-2-4) 상기 (b-2-3) 단계에서 정의된 상기 객체의 컬러 확률을 축으로 하여 상기 객체의 컬러 히스토그램을 구성하는 단계를 포함하는 것을 특징으로 하는 조명에 강인한 추적 기술을 이용한 영상 편집 방법.
  16. 제 15 항에 있어서,
    상기 (b-2-1) 단계는, n은 현재 프레임의 영상을 의미하고, m은 이전 프레임의 영상을 의미하며, R, G, B가 상기 영상의 컬러를 구성하는 적색, 녹색, 청색 데이터를 각각 의미할 때,
    을 계산하고, 상기 계산 결과가 소정의 드레솔드 값 보다 작은 경우 상기 객체가 단일 색상으로 구성된 것으로 판별하고, 상기 계산된 값이 소정의 드레솔드 값 보다 크거나 같은 경우, 상기 영상이 복수 개의 색상으로 구성된 것으로 판별하는 것을 특징으로 하는 조명에 강인한 추적 기술을 이용한 영상 편집 방법.
  17. 제 15 항에 있어서,
    상기 (b-2-3) 단계에서 계산되는 상기 확률은,
    이고,일 때
    인 것을 특징으로 하는 조명에 강인한 추적 기술을 이용한 영상 편집 방법.
  18. 제 12 항에 있어서, 상기 (b-3) 단계는
    (b-3-1) 상기 영상 전체에 대한 컬러 변화를 측정하는 단계;
    (b-3-2) 상기 (b-3-1) 단계에서의 측정 결과, 상기 영상이 백색 조명 하에서 취득된 것으로 판별된 경우, 상기 (b-2) 단계에서 수행된 상기 객체의 컬러 정보 모델링 결과의 변화 없이 상기 영상 전체에 대한 컬러 분포를 히스토그램으로 구성하는 단계; 및
    (b-3-3) 상기 (b-3-1) 단계에서의 측정 결과, 상기 영상이 컬러 조명 하에서 취득된 것으로 판별된 경우, 상기 영상의 이전 프레임에서 추적된 객체의 영역에 대해 상기 (b-2) 단계를 재 수행하고, 상기 영상 전체에 대한 컬러 분포를 히스토그램으로 구성하는 단계를 포함하는 것을 특징으로 하는 조명에 강인한 추적 기술을 이용한 영상 편집 방법.
  19. 제 18 항에 있어서,
    상기 (b-3-1) 단계는, n은 현재 프레임의 영상을 의미하고, m은 이전 프레임의 영상을 의미하며, R, G, B가 상기 영상의 컬러를 구성하는 적색, 녹색, 청색 데이터를 각각 의미할 때,
    을 계산하고, 상기 계산 결과가 소정의 드레솔드 값 보다 작은 경우 상기 영상이 백색 조명 하에서 취득된 것으로 판별하고, 상기 계산된 값이 소정의 드레솔드 값 보다 크거나 같은 경우, 상기 영상이 컬러 조명 하에서 취득된 것으로 판별하는 것을 특징으로 하는 조명에 강인한 추적 기술을 이용한 영상 편집 방법.
  20. 제 12 항에 있어서,
    상기 객체의 컬러 모델링 결과가 hobject(color)이고, 상기 영상 전체의 컬러 모델링 결과가 htotal(color)일 때,
    상기 확률 맵은인 것을 특징으로 하는 조명에 강인한 추적 기술을 이용한 영상 편집 방법.
  21. 제 1 항 내지 제 20 항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
  22. 영상에서 추적하고자 하는 객체의 초기 위치를 지정하는 초기 위치 지정부;
    상기 객체 및 상기 영상 전체의 인접한 픽셀의 밝기 비를 고려한 컬러 모델링을 수행하는 컬러 모델링부;
    상기 컬러 모델링 결과에 응답해서, 상기 객체의 추적을 위한 확률 맵을 구성하는 확률 맵 구성부; 및
    상기 초기 위치 및 상기 확률 맵에 응답해서 상기 객체의 현재 위치를 추적하는 객체 추적부를 포함하는 것을 특징으로 하는 조명에 강인한 객체 추적 장치.
  23. 제 22 항에 있어서, 상기 초기 위치 지정부는
    사용자가 지정한 소정의 위치를 상기 객체의 초기 위치로 받아들이는 제 1 초기 위치 지정부;
    상기 객체의 목록 및 상기 객체에 대응되는 컬러 모델링 데이터를 저장하는 객체 데이터베이스; 및
    사용자가 지정한 객체의 목록에 대응되는 컬러 모델링 데이터를 상기 객체 데이터베이스로부터 독출하고, 독출된 상기 컬러 모델링 데이터를 역 투사하여 상기 객체의 초기 위치를 자동으로 지정하는 제 2 초기위치 지정부를 포함하는 것을 특징으로 하는 조명에 강인한 객체 추적 장치.
  24. 제 22 항에 있어서, 상기 컬러 모델링부는
    상기 객체에 대한 컬러 정보를 모델링 하는 제 1 컬러 모델링부;
    상기 영상 전체에 대한 컬러 정보를 모델링 하는 제 2 컬러 모델링부; 및
    상기 영상의 조명에 관한 변화를 고려하여 상기 객체에 대한 컬러 정보를 적응적으로 모델링 하는 제 3 컬러 모델링부를 포함하는 것을 특징으로 하는 조명에 강인한 객체 추적 장치.
  25. 제 24 항에 있어서,
    상기 제 1 컬러 모델링부는 상기 객체의 색상 구성을 분석하여, 상기 객체가 복수 개의 색상으로 구성된 경우, 상기 영상의 컬러를 구성하는 적색(R), 녹색(G), 청색(B)의 각 채널에 대하여, 인접한 픽셀들의 밝기 비를 축으로 하는 상기 객체의 3차원 히스토그램을 구성하고,
    상기 객체가 단일 색상으로 구성된 경우, 상기 영상의 색상, 채도에 대한 2차원 가우시안 모델링을 수행하여 객체의 컬러 확률을 정의하고, 상기 객체의 컬러 히스토그램을 구성하는 것을 특징으로 하는 조명에 강인한 객체 추적 장치.
  26. 제 24 항 또는 제 25 항에 있어서,
    상기 제 1 컬러 모델링부는, n이 현재 프레임의 영상을 의미하고, m이 이전 프레임의 영상을 의미하며, R, G, B가 상기 영상의 컬러를 구성하는 적색, 녹색, 청색 데이터를 각각 의미할 때,
    을 계산하고, 상기 계산 결과가 소정의 드레솔드 값 보다 작은 경우 상기 객체가 단일 색상으로 구성된 것으로 판별하고, 상기 계산된 값이 소정의 드레솔드 값 보다 크거나 같은 경우, 상기 영상이 복수 개의 색상으로 구성된 것으로 판별하는 것을 특징으로 하는 조명에 강인한 객체 추적 장치.
  27. 제 25 항에 있어서,
    상기 가우시안 모델링을 통해 구해지는 상기 객체의 컬러 확률은,
    이고,일 때,
    인 것을 특징으로 하는 조명에 강인한 객체 추적 장치.
  28. 제 24 항에 있어서,
    상기 제 3 컬러 모델링부는, 상기 영상 전체에 대한 컬러 변화를 측정하고, 상기 측정 결과 상기 영상이 컬러 조명 하에서 취득된 것으로 판별된 경우, 상기 영상의 이전 프레임에서 추적된 객체의 영역에 대한 컬러 모델링을 재 수행하고, 상기 영상 전체에 대한 컬러 분포를 히스토그램으로 구성하는 것을 특징으로 하는 조명에 강인한 객체 추적 장치.
  29. 제 28 항에 있어서,
    상기 제 3 컬러 모델링부는, n이 현재 프레임의 영상을 의미하고, m이 이전프레임의 영상을 의미하며, R, G, B가 상기 영상의 컬러를 구성하는 적색, 녹색, 청색 데이터를 각각 의미할 때,
    을 계산하고, 상기 계산 결과가 소정의 드레솔드 값 보다 작은 경우 상기 영상이 백색 조명 하에서 취득된 것으로 판별하고, 상기 계산된 값이 소정의 드레솔드 값 보다 크거나 같은 경우, 상기 영상이 컬러 조명 하에서 취득된 것으로 판별하는 것을 특징으로 하는 조명에 강인한 객체 추적 장치.
  30. 제 22 항 또는 제 24 항에 있어서,
    상기 확률 맵은, 상기 객체의 컬러 모델링 결과가 hobject(color)이고, 상기 영상 전체의 컬러 모델링 결과가 htotal(color)일 때
    인 것을 특징으로 하는 조명에 강인한 객체 추적 장치.
  31. 편집하고자 하는 영상을 받아들이는 데이터 입력 수단;
    상기 영상에서 인접 픽셀들의 밝기 비를 고려하여 상기 객체를 추적하는 객체 추적 수단; 및
    상기 추적된 객체의 위치, 크기 및 경계선 정보에 응답해서 소정의 영역에속하는 영상을 변환시켜 출력하는 영상 편집 수단을 포함하는 것을 특징으로 하는 조명에 강인한 추적 기술을 이용한 영상 편집 장치.
  32. 제 31 항에 있어서, 상기 객체 추적 수단은
    영상에서 추적하고자 하는 객체의 초기 위치를 지정하는 초기 위치 지정부;
    상기 객체 및 상기 영상 전체의 인접한 픽셀의 밝기 비를 고려한 컬러 모델링을 수행하는 컬러 모델링부;
    상기 컬러 모델링 결과에 응답해서, 상기 객체의 추적을 위한 확률 맵을 구성하는 확률 맵 구성부; 및
    상기 초기 위치 및 상기 확률 맵에 응답해서 상기 객체의 현재 위치를 추적하는 칼만 필터를 포함하는 것을 특징으로 하는 조명에 강인한 추적 기술을 이용한 영상 편집 장치.
  33. 제 32 항에 있어서,
    상기 객체 추적 수단은 상기 객체의 목록 및 상기 객체에 대응되는 컬러 모델링 데이터를 저장하는 데이터 저장부를 더 포함하는 것을 특징으로 하는 조명에 강인한 추적 기술을 이용한 영상 편집 장치.
  34. 제 32 항에 있어서,
    상기 초기 위치 지정부는 사용자가 지정한 소정의 위치를 상기 객체의 초기위치로 받아들이는 것을 특징으로 하는 조명에 강인한 추적 기술을 이용한 영상 편집 장치.
  35. 제 32 항 또는 제 33 항에 있어서,
    상기 초기 위치 지정부는 사용자가 지정한 객체 목록에 대응되는 컬러 모델링 데이터를 상기 데이터 저장부로부터 독출하고, 독출된 상기 컬러 모델링 데이터를 역 투사하여 상기 객체의 초기 위치를 자동으로 지정하는 것을 특징으로 하는 조명에 강인한 추적 기술을 이용한 영상 편집 장치.
  36. 제 32 항에 있어서, 상기 컬러 모델링부는
    상기 객체에 대한 컬러 정보를 모델링 하는 제 1 컬러 모델링부; 및
    상기 영상 전체에 대한 컬러 정보를 모델링 하는 제 2 컬러 모델링부를 포함하는 것을 특징으로 하는 조명에 강인한 추적 기술을 이용한 영상 편집 장치.
  37. 제 36 항에 있어서,
    상기 제 1 컬러 모델링부는 상기 객체의 색상 구성을 분석하여, 상기 객체가 복수 개의 색상으로 구성된 경우, 상기 영상의 컬러를 구성하는 적색(R), 녹색(G), 청색(B)의 각 채널에 대하여, 인접한 픽셀들의 밝기 비를 축으로 하는 상기 객체의 3차원 히스토그램을 구성하고,
    상기 객체가 단일 색상으로 구성된 경우, 상기 영상의 색상, 채도에 대한 2차원 가우시안 모델링을 수행하여 객체의 컬러 확률을 정의하고, 상기 객체의 컬러 히스토그램을 구성하는 것을 특징으로 하는 조명에 강인한 추적 기술을 이용한 영상 편집 장치.
  38. 제 36 항에 있어서,
    상기 제 2 컬러 모델링부는, n이 현재 프레임의 영상을 의미하고, m이 이전 프레임의 영상을 의미하며, R, G, B가 상기 영상의 컬러를 구성하는 적색, 녹색, 청색 데이터를 각각 의미할 때,
    을 계산하고, 상기 계산 결과가 소정의 드레솔드 값 보다 작은 경우 상기 객체가 단일 색상으로 구성된 것으로 판별하고, 상기 계산된 값이 소정의 드레솔드 값 보다 크거나 같은 경우, 상기 영상이 복수 개의 색상으로 구성된 것으로 판별하는 것을 특징으로 하는 조명에 강인한 추적 기술을 이용한 영상 편집 장치.
  39. 제 37 항에 있어서,
    상기 가우시안 모델링을 통해 구해지는 상기 객체의 컬러 확률은,
    이고,일 때,
    인 것을 특징으로 하는조명에 강인한 추적 기술을 이용한 영상 편집 장치.
  40. 제 32 항에 있어서,
    상기 컬러 모델링부는 상기 영상 전체에 대한 컬러 변화를 측정하고, 상기 측정 결과 상기 영상이 컬러 조명 하에서 취득된 것으로 판별된 경우, 상기 영상의 이전 프레임에서 추적된 객체의 영역에 대한 컬러 모델링을 재 수행하고, 상기 영상 전체에 대한 컬러 분포를 히스토그램으로 구성하는 제 3 컬러 모델링부를 더 포함하는 것을 특징으로 하는 조명에 강인한 추적 기술을 이용한 영상 편집 장치.
  41. 제 40 항에 있어서,
    상기 제 3 컬러 모델링부는, n이 현재 프레임의 영상을 의미하고, m이 이전 프레임의 영상을 의미하며, R, G, B가 상기 영상의 컬러를 구성하는 적색, 녹색, 청색 데이터를 각각 의미할 때,
    을 계산하고, 상기 계산 결과가 소정의 드레솔드 값 보다 작은 경우 상기 영상이 백색 조명 하에서 취득된 것으로 판별하고, 상기 계산된 값이 소정의 드레솔드 값 보다 크거나 같은 경우, 상기 영상이 컬러 조명 하에서 취득된 것으로 판별하는 것을 특징으로 하는 조명에 강인한 추적 기술을 이용한 영상 편집 장치.
  42. 제 32 항 또는 제 36 항에 있어서,
    상기 확률 맵은, 상기 객체의 컬러 모델링 결과가 hobject(color)이고, 상기 영상 전체의 컬러 모델링 결과가 htotal(color)일 때
    인 것을 특징으로 하는 조명에 강인한 추적 기술을 이용한 영상 편집 장치.
  43. 제 31 항에 있어서,
    상기 영상 편집 수단은, 상기 추적 수단을 통해 추적된 상기 객체의 경계선 정보를 추출하는 경계선 추출부; 및
    상기 추출된 경계선 정보와, 상기 객체의 위치 및 크기 정보를 받아들여 상기 객체에 대해 적어도 하나 이상의 영상 필터링을 수행하는 영상 편집부를 포함하는 것을 특징으로 하는 조명에 강인한 추적 기술을 이용한 영상 편집 장치.
  44. 제 43 항에 있어서,
    상기 영상 편집부는 모자이크 필터, 블러링 필터 및 반전 필터 중 적어도 어느 하나의 필터를 포함하는 것을 특징으로 하는 조명에 강인한 추적 기술을 이용한 영상 편집 장치.
KR10-2001-0068636A 2001-11-05 2001-11-05 조명에 강인한 객체 추적 방법 및 이를 응용한 영상 편집장치 KR100421221B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR10-2001-0068636A KR100421221B1 (ko) 2001-11-05 2001-11-05 조명에 강인한 객체 추적 방법 및 이를 응용한 영상 편집장치
JP2002321741A JP4194025B2 (ja) 2001-11-05 2002-11-05 照明不変の客体追跡方法及びこれを用いた映像編集装置
US10/287,592 US7171023B2 (en) 2001-11-05 2002-11-05 Illumination-invariant object tracking method and image editing system using the same
EP02257658A EP1308896A3 (en) 2001-11-05 2002-11-05 Illumination-invariant object tracking method and image editing system using the same
US11/514,968 US7346189B2 (en) 2001-11-05 2006-09-05 Illumination-invariant object tracking method and image editing system using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2001-0068636A KR100421221B1 (ko) 2001-11-05 2001-11-05 조명에 강인한 객체 추적 방법 및 이를 응용한 영상 편집장치

Publications (2)

Publication Number Publication Date
KR20030037776A true KR20030037776A (ko) 2003-05-16
KR100421221B1 KR100421221B1 (ko) 2004-03-02

Family

ID=19715709

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2001-0068636A KR100421221B1 (ko) 2001-11-05 2001-11-05 조명에 강인한 객체 추적 방법 및 이를 응용한 영상 편집장치

Country Status (4)

Country Link
US (2) US7171023B2 (ko)
EP (1) EP1308896A3 (ko)
JP (1) JP4194025B2 (ko)
KR (1) KR100421221B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100777199B1 (ko) * 2006-12-14 2007-11-16 중앙대학교 산학협력단 이동 객체 추적 장치 및 그 방법
KR100822459B1 (ko) * 2006-10-10 2008-04-16 엠텍비젼 주식회사 움직임 인식 방법 및 그 장치
KR101249737B1 (ko) * 2008-12-03 2013-04-03 한국전자통신연구원 움직이는 카메라 환경에서의 물체 추적 장치 및 그 방법
KR101409810B1 (ko) * 2012-10-24 2014-06-24 계명대학교 산학협력단 파티클 필터를 이용한 움직임 카메라에서의 실시간 객체 추적 방법

Families Citing this family (78)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004254298A (ja) * 2003-01-30 2004-09-09 Ricoh Co Ltd 画像処理装置、プログラム及び記憶媒体
JP2004348674A (ja) * 2003-05-26 2004-12-09 Noritsu Koki Co Ltd 領域検出方法及びその装置
US8593542B2 (en) 2005-12-27 2013-11-26 DigitalOptics Corporation Europe Limited Foreground/background separation using reference images
US8553949B2 (en) * 2004-01-22 2013-10-08 DigitalOptics Corporation Europe Limited Classification and organization of consumer digital images using workflow, and face detection and recognition
US7269292B2 (en) * 2003-06-26 2007-09-11 Fotonation Vision Limited Digital image adjustable compression and resolution using face detection information
US7471846B2 (en) 2003-06-26 2008-12-30 Fotonation Vision Limited Perfecting the effect of flash within an image acquisition devices using face detection
US7616233B2 (en) * 2003-06-26 2009-11-10 Fotonation Vision Limited Perfecting of digital image capture parameters within acquisition devices using face detection
US7362368B2 (en) * 2003-06-26 2008-04-22 Fotonation Vision Limited Perfecting the optics within a digital image acquisition device using face detection
US8498452B2 (en) * 2003-06-26 2013-07-30 DigitalOptics Corporation Europe Limited Digital image processing using face detection information
US8948468B2 (en) * 2003-06-26 2015-02-03 Fotonation Limited Modification of viewing parameters for digital images using face detection information
US9129381B2 (en) * 2003-06-26 2015-09-08 Fotonation Limited Modification of post-viewing parameters for digital images using image region or feature information
US7440593B1 (en) * 2003-06-26 2008-10-21 Fotonation Vision Limited Method of improving orientation and color balance of digital images using face detection information
US7792335B2 (en) * 2006-02-24 2010-09-07 Fotonation Vision Limited Method and apparatus for selective disqualification of digital images
US7620218B2 (en) * 2006-08-11 2009-11-17 Fotonation Ireland Limited Real-time face tracking with reference images
US8155397B2 (en) * 2007-09-26 2012-04-10 DigitalOptics Corporation Europe Limited Face tracking in a camera processor
US8494286B2 (en) 2008-02-05 2013-07-23 DigitalOptics Corporation Europe Limited Face detection in mid-shot digital images
US8989453B2 (en) * 2003-06-26 2015-03-24 Fotonation Limited Digital image processing using face detection information
US8363951B2 (en) * 2007-03-05 2013-01-29 DigitalOptics Corporation Europe Limited Face recognition training method and apparatus
US9692964B2 (en) 2003-06-26 2017-06-27 Fotonation Limited Modification of post-viewing parameters for digital images using image region or feature information
US7844076B2 (en) * 2003-06-26 2010-11-30 Fotonation Vision Limited Digital image processing using face detection and skin tone information
US7792970B2 (en) * 2005-06-17 2010-09-07 Fotonation Vision Limited Method for establishing a paired connection between media devices
US8682097B2 (en) * 2006-02-14 2014-03-25 DigitalOptics Corporation Europe Limited Digital image enhancement with reference images
US8330831B2 (en) * 2003-08-05 2012-12-11 DigitalOptics Corporation Europe Limited Method of gathering visual meta data using a reference image
US7565030B2 (en) 2003-06-26 2009-07-21 Fotonation Vision Limited Detecting orientation of digital images using face detection information
US8896725B2 (en) 2007-06-21 2014-11-25 Fotonation Limited Image capture device with contemporaneous reference image capture mechanism
US7574016B2 (en) 2003-06-26 2009-08-11 Fotonation Vision Limited Digital image processing using face detection information
US7564994B1 (en) 2004-01-22 2009-07-21 Fotonation Vision Limited Classification system for consumer digital images using automatic workflow and face detection and recognition
US8320641B2 (en) 2004-10-28 2012-11-27 DigitalOptics Corporation Europe Limited Method and apparatus for red-eye detection using preview or other reference images
US7639841B2 (en) * 2004-12-20 2009-12-29 Siemens Corporation System and method for on-road detection of a vehicle using knowledge fusion
US8488023B2 (en) * 2009-05-20 2013-07-16 DigitalOptics Corporation Europe Limited Identifying facial expressions in acquired digital images
US7715597B2 (en) 2004-12-29 2010-05-11 Fotonation Ireland Limited Method and component for image recognition
US7315631B1 (en) 2006-08-11 2008-01-01 Fotonation Vision Limited Real-time face tracking in a digital image acquisition device
US8503800B2 (en) * 2007-03-05 2013-08-06 DigitalOptics Corporation Europe Limited Illumination detection using classifier chains
EP1929768A4 (en) * 2005-08-26 2010-05-05 Idt Corp TRACKING AND INTEGRATION OF REGION OF INTEREST IN A VIDEO CODEC
US7813557B1 (en) 2006-01-26 2010-10-12 Adobe Systems Incorporated Tagging detected objects
US7716157B1 (en) 2006-01-26 2010-05-11 Adobe Systems Incorporated Searching images with extracted objects
US7720258B1 (en) * 2006-01-26 2010-05-18 Adobe Systems Incorporated Structured comparison of objects from similar images
US7978936B1 (en) 2006-01-26 2011-07-12 Adobe Systems Incorporated Indicating a correspondence between an image and an object
US7636450B1 (en) * 2006-01-26 2009-12-22 Adobe Systems Incorporated Displaying detected objects to indicate grouping
US8259995B1 (en) 2006-01-26 2012-09-04 Adobe Systems Incorporated Designating a tag icon
US7694885B1 (en) 2006-01-26 2010-04-13 Adobe Systems Incorporated Indicating a tag with visual data
US7813526B1 (en) * 2006-01-26 2010-10-12 Adobe Systems Incorporated Normalizing detected objects
US7706577B1 (en) 2006-01-26 2010-04-27 Adobe Systems Incorporated Exporting extracted faces
US7804983B2 (en) 2006-02-24 2010-09-28 Fotonation Vision Limited Digital image acquisition control and correction method and apparatus
US7965875B2 (en) * 2006-06-12 2011-06-21 Tessera Technologies Ireland Limited Advances in extending the AAM techniques from grayscale to color images
US7711157B2 (en) * 2006-08-01 2010-05-04 California Institute Of Technology Artificial intelligence systems for identifying objects
EP2050043A2 (en) * 2006-08-02 2009-04-22 Fotonation Vision Limited Face recognition with combined pca-based datasets
US7916897B2 (en) * 2006-08-11 2011-03-29 Tessera Technologies Ireland Limited Face tracking for controlling imaging parameters
US7403643B2 (en) * 2006-08-11 2008-07-22 Fotonation Vision Limited Real-time face tracking in a digital image acquisition device
WO2008024115A1 (en) * 2006-08-25 2008-02-28 Otis Elevator Company Anonymous passenger indexing system for security tracking in destination entry dispatching operations
US20080056566A1 (en) * 2006-09-01 2008-03-06 Texas Instruments Incorporated Video processing
US8055067B2 (en) * 2007-01-18 2011-11-08 DigitalOptics Corporation Europe Limited Color segmentation
DE602008001607D1 (de) * 2007-02-28 2010-08-05 Fotonation Vision Ltd Trennung der direktionalen beleuchtungsvariabilität in der statistischen gesichtsmodellierung auf basis von texturraumzerlegungen
WO2008109622A1 (en) 2007-03-05 2008-09-12 Fotonation Vision Limited Face categorization and annotation of a mobile phone contact list
KR101247147B1 (ko) * 2007-03-05 2013-03-29 디지털옵틱스 코포레이션 유럽 리미티드 디지털 영상 획득 장치에서의 얼굴 탐색 및 검출
US7916971B2 (en) * 2007-05-24 2011-03-29 Tessera Technologies Ireland Limited Image processing method and apparatus
US8750578B2 (en) 2008-01-29 2014-06-10 DigitalOptics Corporation Europe Limited Detecting facial expressions in digital images
US7855737B2 (en) * 2008-03-26 2010-12-21 Fotonation Ireland Limited Method of making a digital camera image of a scene including the camera user
TWI357582B (en) * 2008-04-18 2012-02-01 Univ Nat Taiwan Image tracking system and method thereof
JP5157721B2 (ja) * 2008-07-29 2013-03-06 ソニー株式会社 画像データの分布モデル更新装置、画像処理装置、画像データの分布モデル更新方法およびプログラム
KR101446975B1 (ko) 2008-07-30 2014-10-06 디지털옵틱스 코포레이션 유럽 리미티드 얼굴 검출 기능을 사용한 얼굴 및 피부의 자동 미화
KR101341637B1 (ko) * 2008-08-29 2013-12-16 서울대학교산학협력단 물체 추적 장치 및 방법
WO2010063463A2 (en) * 2008-12-05 2010-06-10 Fotonation Ireland Limited Face recognition using face tracker classifier data
WO2010084714A1 (ja) * 2009-01-23 2010-07-29 日本電気株式会社 画像識別子抽出装置
US8340435B2 (en) * 2009-06-11 2012-12-25 California Institute Of Technology Method and system for object recognition search
WO2011001514A1 (ja) * 2009-06-30 2011-01-06 株式会社 日立製作所 画像解析装置及び画像解析プログラム
US8379917B2 (en) * 2009-10-02 2013-02-19 DigitalOptics Corporation Europe Limited Face recognition performance using additional image features
TWI392366B (zh) * 2009-12-31 2013-04-01 Ind Tech Res Inst 全周鳥瞰影像距離介面產生方法與系統
JP2013031034A (ja) * 2011-07-29 2013-02-07 Sony Corp 画像編集プログラム、画像編集方法、画像編集装置、記録媒体
US20130201344A1 (en) * 2011-08-18 2013-08-08 Qualcomm Incorporated Smart camera for taking pictures automatically
US10089327B2 (en) 2011-08-18 2018-10-02 Qualcomm Incorporated Smart camera for sharing pictures automatically
JP6351240B2 (ja) * 2013-11-20 2018-07-04 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US9679212B2 (en) 2014-05-09 2017-06-13 Samsung Electronics Co., Ltd. Liveness testing methods and apparatuses and image processing methods and apparatuses
CN105844663B (zh) * 2016-03-21 2018-11-27 中国地质大学（武汉） 一种自适应orb目标跟踪方法
US10635116B2 (en) 2017-10-19 2020-04-28 Ford Global Technologies, Llc Video calibration with illumination invariant image
EP3534294B1 (en) * 2018-03-02 2023-09-06 Akademia Gorniczo-Hutnicza im. Stanislawa Staszica w Krakowie Computer implemented method for processing a frame sequence, digital frame processing device computer program product and monitoring system
CN110033478A (zh) * 2019-04-12 2019-07-19 北京影谱科技股份有限公司 基于深度对抗训练的视觉目标跟踪方法和装置
CN115908642A (zh) * 2021-09-30 2023-04-04 北京字跳网络技术有限公司 一种图像编辑方法及装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100248040B1 (ko) * 1992-09-17 2000-03-15 윤종용 목표물 예측방법
US5912980A (en) * 1995-07-13 1999-06-15 Hunke; H. Martin Target acquisition and tracking
KR0170698B1 (ko) 1995-10-28 1999-03-20 김광호 실시간 영상 모자이크 시스템
JPH10336506A (ja) * 1997-05-29 1998-12-18 Canon Inc 画像処理システム、追尾システム，追尾方法，記憶媒体
US6226388B1 (en) * 1999-01-05 2001-05-01 Sharp Labs Of America, Inc. Method and apparatus for object tracking for automatic controls in video devices
US6917692B1 (en) * 1999-05-25 2005-07-12 Thomson Licensing S.A. Kalman tracking of color objects
US6539099B1 (en) * 1999-08-30 2003-03-25 Electric Planet System and method for visual chat
KR100312427B1 (ko) * 1999-12-23 2001-11-03 오길록 비디오 영상에서 템플레이트와 칼만 필터를 이용한 이동물체 추적방법 및 장치
KR100372774B1 (ko) * 2000-10-27 2003-02-25 한국과학기술연구원 컬러정보를 사용한 영상 추적방법
US20020176001A1 (en) * 2001-05-11 2002-11-28 Miroslav Trajkovic Object tracking based on color distribution

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100822459B1 (ko) * 2006-10-10 2008-04-16 엠텍비젼 주식회사 움직임 인식 방법 및 그 장치
KR100777199B1 (ko) * 2006-12-14 2007-11-16 중앙대학교 산학협력단 이동 객체 추적 장치 및 그 방법
KR101249737B1 (ko) * 2008-12-03 2013-04-03 한국전자통신연구원 움직이는 카메라 환경에서의 물체 추적 장치 및 그 방법
KR101409810B1 (ko) * 2012-10-24 2014-06-24 계명대학교 산학협력단 파티클 필터를 이용한 움직임 카메라에서의 실시간 객체 추적 방법

Also Published As

Publication number Publication date
JP4194025B2 (ja) 2008-12-10
US20070003106A1 (en) 2007-01-04
US7171023B2 (en) 2007-01-30
EP1308896A3 (en) 2005-10-19
US7346189B2 (en) 2008-03-18
EP1308896A2 (en) 2003-05-07
US20030099376A1 (en) 2003-05-29
JP2003203240A (ja) 2003-07-18
KR100421221B1 (ko) 2004-03-02

Similar Documents

Publication Publication Date Title
KR100421221B1 (ko) 조명에 강인한 객체 추적 방법 및 이를 응용한 영상 편집장치
CN101802842B (zh) 用于识别图像中的复杂特征点的系统和方法
EP2400459B1 (en) Automated, computerized image processing
US7020329B2 (en) Color image segmentation in an object recognition system
US7760912B2 (en) Image segregation system with method for handling textures
US8139850B2 (en) Constraint generation for use in image segregation
US5471535A (en) Method for detecting a contour of a given subject to be separated from images and apparatus for separating a given subject from images
US8260050B2 (en) Test bed for optimizing an image segregation
US8175390B2 (en) System and method for illumination invariant image segmentation
WO2010065087A1 (en) Solver for image segregation
WO2009120264A1 (en) System and method for identifying complex tokens in an image
Amoroso et al. A segmentation system for soccer robot based on neural networks
CN109523594A (zh) 一种视觉托盒特征点坐标定位方法及系统
CA2306641A1 (en) Identifying intrinsic pixel colors in a region of uncertain pixels
Burger et al. Corner detection
De Rosa et al. Image Processing for Virtual Artwork Restoration
CN117911495A (zh) 一种空地协同下的全局环境地图构建及定位方法
Zibret et al. Direct 3D flow investigations by means of Rainbow Volumic Velocimetry (RVV)
Popova et al. Examination and processing of the images of biomedical microobjects
Chen et al. Integrating Color and Gradient into Real-time Curve Tracking
Lodato et al. Objects extraction by cooperating optical flow, edge detection and region growing procedures
Furong et al. An novelty color image edge detector based on fast entropy threshold

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130115

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20140124

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20150116

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20160119

Year of fee payment: 13

FPAY Annual fee payment

Payment date: 20170119

Year of fee payment: 14

FPAY Annual fee payment

Payment date: 20180119

Year of fee payment: 15

FPAY Annual fee payment

Payment date: 20190116

Year of fee payment: 16

FPAY Annual fee payment

Payment date: 20200120

Year of fee payment: 17