KR20030021252A - 컬러 분포에 기초한 오브젝트 추적 - Google Patents

컬러 분포에 기초한 오브젝트 추적 Download PDF

Info

Publication number
KR20030021252A
KR20030021252A KR10-2003-7000404A KR20037000404A KR20030021252A KR 20030021252 A KR20030021252 A KR 20030021252A KR 20037000404 A KR20037000404 A KR 20037000404A KR 20030021252 A KR20030021252 A KR 20030021252A
Authority
KR
South Korea
Prior art keywords
color
histogram
hue
target
pixels
Prior art date
Application number
KR10-2003-7000404A
Other languages
English (en)
Inventor
트라즈코빅미로스라브
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20030021252A publication Critical patent/KR20030021252A/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

목표들과 이미지들을 특징화하기 위해, 회색 또는 준-회색의 픽셀들의 명도와 함께, 컬러 픽셀들의 색조 및 채도를 사용하는 컬러 모델링, 컬러 매칭 처리 및 시스템이 제공된다. 목표는, 색조들에 제공되는 더 큰 구별과 함께, 목표 이미지 내의 색조들과 채도의 히스토그램에 의해 특징화된다. 회색 또는 준-회색의 화상 요소들의 색조가 잡읍에 매우 민감하다는 것을 인식하면, 회색 또는 준-회색의 픽셀들은 색조 또는 채도보다는 명도의 히스토그램에 따라 인코딩된다. 목표 추적 시스템은 일련의 이미지 프레임들의 이미지 프레임들 각각 내에 부합하는 컬러-색조-채도 및 회색-명도 히스토그램들의 유사한 세트의 발생을 탐색한다.

Description

컬러 분포에 기초한 오브젝트 추적{Object tracking based on color distribution}
일련의 이미지 프레임들 내에서 특정 오브젝트들을 추적하기 위해 통상 움직임-기반 추적이 사용된다. 예를 들어, 보안 시스템들은 하나 이상의 카메라들로부터의 이미지들을 처리하고 보안 영역들에의 잠재적인 침입자들을 자동으로 검출하며 침입자의 이동 경로에 기초하여 적절한 경보 통지들을 제공하도록 구성될 수 있다. 유사하게, 화상 회의 시스템들은 선택된 스피커를 자동으로 추적하도록 구성될 수 있고, 가정 자동화 시스템은 거주자들을 추적하여 각 거주자의 위치에 의존하여 조명들(lights)과 전기 장치들을 그에 대응하게 제어하도록 구성될 수 있다.
카메라로부터의 일련의 이미지들에서 동일한 오브젝트를 인식하는 것에 기초하여, 다양한 움직임-기반 추적 기술들이 이용 가능하다. 오브젝트 크기, 모양, 색 등과 같은 특징들은 잠재적으로 관심있는 오브젝트들을 구별하기 위해 사용될수 있고, 카메라로부터의 일련의 이미지들에서 프레임마다 동일한 오브젝트의 움직임을 추적하기 위해 패턴 매칭 기술들이 응용될 수 있다. 이미지 추적 분야에서, "목표(target)"는 한 세트의 이미지 특징들에 의해 모델링되고, 각 이미지 프레임 또는 이미지 프레임의 서브세트는 유사한 세트의 특징들에 대해 탐색된다.
그러나, 정확하고 강건한 목표 모델링은 일반적으로 고-해상도를 요구하고, 비교 처리는 연산이 복잡할 수 있다. 이 연산 복잡도는 종종 목표 추적을 매우 고속의 컴퓨터들 또는 오프-라인(즉, 비-실시간) 처리로 제한한다. 마찬가지로, 고-해상도 특징은 일반적으로 각 목표의 상세한 데이터 및 각 이미지 프레임을 포함하기 위한 상당한 메모리 자원들을 필요로 한다.
본 발명은 이미지 처리 분야에 관한 것으로, 더 상세하게는, 색 분포 및 특히 컬러 픽셀들의 색조와 채도(hue and saturation) 및 회색 픽셀들의 명도(intensity)에 기초하여 이미지들에서 목표 오브젝트들을 추적하는 것에 관한 것이다.
도 1은 본 발명에 따른 이미지 추적 시스템의 예시적인 흐름도.
도 2는 본 발명에 따른 이미지 추적 시스템의 예시적인 블록도.
도 3은 본 발명에 따른 컬러 색조 및 채도와, 그레인 명도 특징들의 합성 히스토그램을 생성하기 위한 예시적인 흐름도.
본 발명의 목적은 연산에 있어서 효율적이고 비교적 정확한 목표 추적 시스템 및 방법을 제공하는 것이다. 본 발명의 다른 목적은 비교적 적은 양의 메모리 및/또는 처리 자원들을 사용하는 목표 모델링 시스템 및 방법을 제공하는 것이다.
상기 목적들 및 다른 목적들은, 목표들 및 이미지들을 특징화하기 위해, 회색 또는 준-회색(near-gray)의 픽셀들의 명도와 함께, 컬러 픽셀들의 색조 및 채도를 사용하는 시스템, 및 컬러 모델링 및 컬러 매칭 처리를 제공함으로써 달성된다. 목표는, 색조들에 제공되는 더 큰 구별과 함께, 목표 이미지 내의 채도와 색조들의 히스토그램으로 특징화된다. 회색 또는 준-회색의 화소들(픽셀들)이 잡음에 매우 민감하다는 것을 인식하여, 회색 또는 준-회색의 픽셀들은 색조나 채도보다는 명도의 히스토그램으로 인코딩된다. 목표 추적 시스템은 일련의 이미지 프레임들의 각이미지 프레임들내에서 부합하는 컬러-색조-채도 및 회색-명도 히스토그램들의 유사한 세트의 발생을 탐색한다. 연산 및 저장 작업들을 더 간단히 하기 위해서, 목표들은 이미지 프레임의 직사각형 세그먼트로 규정된다. 컬러-매칭 작업의 연산 복잡도를 줄이기 위해 순환(Recursive) 기술들이 채용된다.
본 발명은 첨부 도면들을 참조하여 예시적으로 더 상세히 설명된다.
도면 전체에 걸쳐, 동일한 참조 부호들은 유사하거나 대응하는 특징들 또는 기능들을 나타낸다.
도 1은 본 발명에 따른 이미지 추적 시스템(100)의 예시적인 흐름도를 도시한다. 입력 프레임들의 형태인 비디오 입력이 110에서 계속적으로 수신되어, 이미지 처리 루프(140 내지 180)를 통해 계속적으로 처리된다. 120에서, 자동적이거나 수동 입력에 기초한 몇몇 지점에서, 이미지 프레임들 내에서 목표가 추적을 위해 선택된다. 목표가 식별된 후에, 130에서 효과적인 처리를 위해 모델링된다. 블록 140에서, 블록 180에서 행해질 수 있는 임의의 카메라 조정을 고려하여 현재 이미지가 이전 이미지에 대해 정렬된다. 이미지 프레임들 내의 이전 및 이후 이미지들을 정렬한 후에, 150에서 프레임 내의 오브젝트들의 움직임이 결정된다. 일반적으로, 추적되고 있는 목표는 움직이는 목표이고, 독립적으로 움직이는 오브젝트들의 식별(identification)은 배경 디테일을 무시함으로써 목표 위치 결정의 효율성을 향상한다. 160에서, 목표에 대응하는 이미지의 일부분 또는 이미지에서의 움직이는 오브젝트들의 일부분을 식별하기 위해 컬러 매칭이 사용된다. 컬러 매칭 및/또는 크기, 모양, 움직임의 속도 등과 같은 다른 기준에 기초하여, 170에서, 이미지에서 목표가 식별된다.
통합된 보안 시스템에 있어서, 180에서, 목표의 추적은 일반적으로 추적을 용이하게 하기 위해 하나 이상의 카메라들을 제어하는 것을 포함한다. 다중-카메라 시스템에서, 목표 추적 시스템(100)은 한 카메라에서 다른 카메라로 언제 "핸드-오프(hand-off)"해야 하는지, 예를 들어, 목표가 한 카메라의 시야로부터 다른 카메라의 시야로 언제 이동해야 하는지를 결정한다. 단일-카메라 시스템 또는 다중-카메라 시스템 중 어느 한 시스템에서, 목표 추적 시스템(100)은 또한, 어떠한 경우에는 카메라의 팬(pan), 틸트(tilt), 및 줌 제어들의 제어를 통해 카메라의 시야를 조정하도록 구성될 수도 있다. 대안적으로, 또는 부가적으로, 목표 추적 시스템(100)은 카메라의 수동 제어 또는 카메라들의 선택을 위해 목표의 움직임들을 보안 담당자에게 통지하도록 구성될 수 있다.
이 기술분야에 숙련된 사람들에게 명백한 바와 같이, 특정 추적 시스템은 도 1의 예시적인 시스템(100)에 도시된 것보다 적거나 많은 기능 블록들을 포함할 수도 있다. 도시되지는 않았지만, 목표 추적 시스템(100)은 다른 동작들을 수행하도록 구성될 수도 있다. 예를 들어, 보안 응용에서, 추적 시스템(100)은 목표가 보안 구역에 들어갈 경우 청각 알람들을 활성화하거나, 원격 보안 단체에 경보를 전달하도록 구성될 수도 있다. 가정 자동화 응용에서, 추적 시스템(100)은 거주자의 움직임 경로 등에 의존하여 전기 장치 및 조명들을 켜거나 끄도록 구성될 수도 있다.
추적 시스템은 하드웨어 장치들 및 하나 이상의 프로그램된 처리기들의 조합으로 구체화되는 것이 바람직하다. 도 2는 본 발명에 따른 이미지 추적 시스템(200)의 예시적인 블록도를 도시한다. 하나 이상의 카메라들(210)이 비디오 처리기(220)에 입력을 제공한다. 비디오 처리기(220)는 하나 이상의 카메라들(210)로부터의 이미지들을 처리하고, 시스템 제어기(240)의 제어 하에서 목표 특징들을 메모리(250)에 저장한다. 바람직한 실시예에서, 시스템 제어기(240)는 또한 카메라들(210)의 시야 제어를 용이하게 하고, 비디오 처리기(220)의 기능들을 선택한다. 상술된 바와 같이, 추적 시스템(200)은, 비디오 처리기(220)에 의해 제공되는 추적 정보에 기초하여, 카메라들(210)을 자동으로 제어할 수도 있다.
본 발명은 주로 컬러 매칭 작업(160), 대응하는 목표 모델링 작업(130), 및 본 발명의 컬러 매칭 처리를 수행하기 위해 사용되는 목표 식별 작업(170)을 다룬다. 컬러 매칭 처리는, 몇몇 시각적 특징들이 조명, 그림자, 반사 등과 같은 환경적 변화들에 더 민감하거나 덜 민감하다는 관찰에 기초한다. 참조를 쉽게 하기 위해, 시각적 특징들에 영향을 미치는 조건들의 제어되지 않은 변화들을 본 명세서에서는 "잡음"이라고 한다.
통상의 환경에서 경험되는 잡음은 일반적으로, 환경 조건들이 변하거나 오브젝트가 한 세트의 환경 조건들에서 다른 환경 조건들로 이동함에 따른, 오브젝트들의 휘도 변화들과 관련된다는 것으로 알려졌다. 본 발명의 바람직한 실시예에서, 휘도 변화들에 대해 강건하고 컬러 정보를 계속 유지하는 표시를 제공하기 위해, 색채(chromacity)에서 휘도의 분리를 제공하는 표시가 사용된다. 실험들은 HSI(색조, 채도, 명도) 컬러 모델이, 통상 비디오 이미지화에 사용되는 RGB(적색, 녹색, 청색) 컬러 모델보다 휘도와 색채간에 더 양호한 분리를 제공한다는 것을 나타내었다. 색조는 관찰자에 의해 지각되는 지배적인 컬러를 나타내고, 채도는 상대적인 순도 또는 컬러와 혼합된 백색의 양을 나타내고, 명도는 컬러에 의해 제공되는 광량에 관한 주관적인 척도이다. YUV 또는 휘도와 색채를 구별하기 위해 명시적으로 생성된 모델과 같은 다른 모델들이 사용될 수도 있다.
도 3은 도 1의 블록 160 및 대응하는 블록 130에 사용될 수 있는, 본 발명에 따른 컬러 색조 및 채도, 및 회색 명도 특징들의 합성 히스트로그램을 생성하기 위한 예시적인 흐름도를 도시한다. 본 명세서에서는, 소스가 YUV 성분들이나 다른 것들을 제공하더라도, 입력 이미지가 RGB 컬러 성분들을 포함하고, HSI 컬러 모델이 이미지를 특징화하기 위해 사용되는 것으로 가정된다. 310에서 RGB 이미지는 HSI 이미지로 변환된다. 이러한 변환을 수행하기 위한 식들이 이하 제공되며, 다른 컬러 모델 포맷들로/로부터 변환하기 위한 식들은 일반적으로 이 기술분야에 숙련된 사람들에게 공지되어 잇다.
명도 성분 I는 컬러 성분들의 평균 크기에 대응한다는 것을 알 수 있고, 실질적으로 컬러 변화들에는 민감하지 않고 휘도 변화들에는 매우 민감하다. 색조 성분 H는 적색, 녹색 및 청색 성분들간의 상대적인 차이들에 대응한다는 것을 알 수 있고, 따라서, 컬러 변화들에는 민감하고 휘도 변화들에는 꽤 민감하지 않다. 채도 성분 S는 컬러 성분들의 평균 크기에 대한 최소 컬러 성분의 비율에 기초하고, 따라서, 휘도 변화들에 대해서는 꽤 민감하지 않지만, 최소 컬러 성분에 기초하면, 색조 성분보다 컬러 변화들에 대해 다소 덜 민감하다.
그러나, 컬러 성분들간의 상대적 차이에 기초하는 색조 성분은, 적색, 녹색 및 청색 성분들이 서로 동일할 때 생성되는 회색에 대해 확정적이지 않다(통상 0)는 것을 유념해야 한다. 색조 성분은 또한 준-회색 컬러들에 대해 매우 가변적이다. 예를 들어, (채도와 명도의 일정한 값들로 명시되는 바와 같이) 다음 두 RGB 값들이 사실상 구별될 수 없다고 하더라도, (101, 100, 100)의 RGB 값을 갖는 회색에 "가까운" 색은 (0, 0.0033, 100.333)의 HSI 값을 갖지만, (100, 101, 100)의 RGB 값은 (2.09, 0.0033, 100.333)의 HSI 값을 생성한다. 또한, 저-명도의 컬러에 대해서도, 색조 및 채도 성분들에서 유사한 변형들(anomalies)이 발생한다.
실험들은, 색조 및 채도 성분들이 컬러를 구별하는데 효과적이고, 색조 성분이 순수한 컬러를 구별하는데 채도 성분보다 더 강건하지만, 회색 또는 준-회색 컬러들, 또는 전체적으로 명도 레벨이 낮은 컬러들에 대해서는 잡음에 매우 민감하다는 것이 확인되었다. 참조를 용이하게 하기 위해서, 매우 낮은 명도 레벨들을 갖는 컬러들은 여기서 비-컬러들(non-colors)로 정의되는데, 이는 매우 낮은 명도 픽셀의 컬러가 실질적으로 검정색(또는 어두운 회색)과 구별될 수 없고, 및/또는 카메라에 대한 낮은 명도의 입력 신호의 순수한 컬러 성분들의 결정이 높은 잡음 인자를 갖기 때문이다.
본 발명에 따라, 비-컬러(즉, 회색, 또는 준-회색, 또는 저-명도) 픽셀들로부터 컬러(즉, 비-회색) 픽셀들을 특징화하기 위해 개별적인 히스토그램들이 사용된다. 이러한 두 히스토그램들의 합성은 목표 특징화, 및 특징화된 목표의 움직임을 추적하기 위해 이미지 내의 후속하는 컬러 매칭을 위해 사용된다. 도 3에 도시된 바와 같이, 320에서, 바람직하게 RGB 컬러 공간에서 R=G=B 라인의 환상면체(toroid) 내에 위치하는 모든 컬러들을 준-회색으로 규정함으로써, 회색 또는 준-회색 픽셀들(R~G~B)이 식별된다. 환상면체의 반경은 각 픽셀을 비-회색(컬러) 또는 회색(비-컬러) 중 하나로서 규정하기 위한 경계를 정의하고, 바람직하게는 발견적(heuristic)으로 결정된다. 일반적으로, 컬러 값들의 최대 범위의 10%보다 작은 반경이 컬러 픽셀들로부터 회색 픽셀들을 필터링하기에 충분하다.
330에서, 각 컬러 픽셀에 대해 각 색조-채도 쌍의 발생을 기록하기 위한 히스토그램이 생성된다. 색조는 컬러의 더 민감한 식별자가 되기 때문에, 색조 축에따른 히스토그램의 해상도는 채도 축에 따른 해상도보다 미세하다. 바람직한 실시예에서, 목표 내에 포함된 색조-채도 쌍들의 분포를 포함하는 총 128개의 히스토그램 "빈들(bins)"에 대해, 색조 축은 32개의 색조 값들로 분할되고, 채도 축은 4개의 채도 값들로 분할된다. 340에서, 회색 픽셀들의 명도 레벨들의 히스토그램이 생성되고, 통상 컬러 히스토그램 정보와 협력하여, 불과 16개의 상이한 명도 레벨들이면 회색 오브젝트들을 구별하기에 충분하다. 이 2개의 히스토그램들은 목표를 특징화하기 위해 사용되는 합성 히스토그램을 형성한다. 합성 히스토그램은 상이한 색조-채도 쌍들 및 명도 레벨들의 수의 합과 같은 전체 "빈들"을 포함한다.
본 발명에 따라, 회색 픽셀들을 필터링한 후의 컬러 정보의 히스토그램을 유지함으로써, 회색 또는 준-회색의 픽셀들 또는 오브젝트들간 컬러 식별과 연관된 통상적인 변화없이 효과적인 컬러 식별이 달성될 수 있다. 회색 픽셀들만에 대한 명도 정보의 히스토그램을 유지함으로써, 상이한 조명 조건들 하에서 컬러 픽셀들의 명도 척도와 연관된 통상적인 변화없이 효과적인 식별이 달성될 수 있다.
바람직한 실시예에서, 목표의 합성 히스토그램은 목표와 실질적으로 동일한 크기와 모양을 갖는 이미지 영역들에 대응하는 유사하게 결정된 히스토그램에 비교된다. 바람직하게, 비교 처리를 간단히 하기 위해서, 또는 유사하게는 영역의 모양들을 쉽게 규정하기 위해서, 목표들은 직사각형 오브젝트들로 식별된다. 도 1의 블록 170에 대응하는, 목표에 가장 근접하게 대응하는 이미지 내의 영역을 결정하기 위해 임의의 다양한 히스토그램 비교 기술들이 사용될 수 있다. 선택된 히스토그램 비교 기술은 도 1의 목표 모델링 블록 130에 의해 도 2의 목표 특징메모리(250)에 저장되는 목표의 특징들을 결정한다. 본 발명의 바람직한 실시예에서, 처리되는 각 이미지에서 대응하는 영역을 결정하기 위해 컬러 및 비-컬러 히스토그램들이 독립적으로 처리될 수 있더라도, 컬러(색조-채도) 및 비-컬러(명도) 빈도 카운트들을 포함하는 합성 히스토그램이 사용된다. 히스토그램들이 독립적으로 처리되면, 컬러 히스토그램 및 비-컬러 히스토그램에는 상이한 히스토그램 비교 기술들이 적용될 수도 있다.
본 발명의 바람직한 실시예에서, 본 명세서에 참조로서 포함되고, 계류중인 출원 "팔레트-기반 히스토그램 매칭(Palette-based histogram matching)"의 미국 특허 출원 번호 09/854044(2001년 5월 11일 출원, 미로스라브 트라즈코빅(Miroslav Trajkovic), 대리인 정리번호 US010239)에 기술된 바와 같은 빠른 히스토그램 기술이 이미지에서 목표 컬러 및 비-컬러 픽셀들의 유사한 분포를 찾기 위해 사용된다. 히스토그램을 형성하는 가능한 전체 컬러 및 비-컬러 값들 대신에, (색조-채도 또는 명도 중 하나의) 목표의 N개의 가장 평이한 값들을 포함하는 히스토그램 벡터가 목표를 특징화하기 위해 사용된다. 도 1의 목표-모델링 블록(130)은 목표 특징들인 상기 N-원소 벡터 및 벡터의 각 원소에 대응하는 컬러 또는 명도의 식별을 도 2의 메모리(250)에 저장한다. 즉, 상기 제시된 예시적인 파라미터들을 사용하면, 목표 히스토그램은 총 128개의 가능한 색조-채도 쌍들(32개의 색조 레벨들 X 4개의 채도 레벨들)을 갖는다. 이 예에서 비-컬러 픽셀들을 특징화하기 위해 8개의 명도 레벨들이 사용되는 것으로 가정하면, 목표에서 색채(색조-채도) 값들 또는 회색 스케일(명도) 레벨들의 발생 회수들을 카운트하기 위한, 총 136개의 가능한 히스토그램 부류들, 또는 "빈들"이 제공된다. 참조를 용이하게 하기 위해, 합성 값은 이하, 픽셀이 컬러로 분류되는지 아니면 비-컬러로 분류되는지에 따라, 색조-채도 쌍 또는 명도 레벨 중 하나를 참조하도록 사용된다. 바람직한 실시예에서, 목표에서 16개의 가장 빈번하게 발생하는 합성 값들이 16-원소 벡터를 형성한다. 이러한 합성 신호들 각각의 식별 및 목표에서의 각 합성 값의 발생 회수들이 메모리(250)에 목표 특징들로서 저장된다. 목표 히스토그램 벡터를 형성하는 합성 값들의 세트를 목표 팔레트라고 하고, N개의 가장 빈번히 발생하는 합성 값들 각각을 팔레트 값이라고 한다.
도 1의 블록 170에서 컬러 비교를 수행하기 위해서, 이미지는 이미지의 목표 팔레트 값들의 발생들을 식별하도록 처리된다. 모든 다른 합성 값들은 무시된다. 이미지에서 각 픽셀에 대한 대응하는 목표 팔레트 값의 식별을 포함하는 팔레트 이미지가 형성된다. 목표 팔레트에 포함되지 않는 합성 값들을 포함하는 픽셀들에는 0 또는 널(null) 값이 할당된다. 이미지의 목표-크기 영역 내의 0이 아닌 엔트리들 각각의 카운트가 상기 영역에 대응하는 히스토그램 벡터를 형성한다. 따라서, 목표 팔레트에 포함되지 않는 모든 이미지 픽셀 값들을 무시함으로써, 이미지에서 각 목표-크기의 영역에 대한 히스토그램 벡터를 생성하기 위해 요구되는 시간이 실질적으로 감소된다. 참조된 계류중인 출원은 또한 히스토그램 생성 처리 속도를 더 증가시키기 위한 순환 기술을 개시한다. 목표에 대한 각 영역의 유사성 척도는다음과 같이 결정된다.
여기서, hR은 상기 영역의 히스토그램 벡터이고, hT는 목표의 히스토그램 벡터이고, n은 길이 또는 각 히스토그램 벡터의 차원 수이다. 몇몇 최소의 정규화된 임계값 이상의 가장 높은 유사성 척도를 갖는 영역이, 상술된 컬러 및 비-컬러 매칭에 기초하여, 목표를 포함하는 영역으로 규정된다.
상술된 설명은 단지 본 발명의 원리들을 설명하는 것이다. 따라서, 이 기술분야에 숙련된 사람들은 본 명세서에 명시적으로 기술되거나 도시되지 않더라도 다음 청구범위의 사상과 범위 내에서 본 발명의 원리들을 구체화하는 다양한 장치들을 고안할 수 있다.

Claims (15)

  1. 이미지를 특징화하기 위한 비디오 처리 시스템에 있어서,
    상기 이미지의 픽셀들을 제 1 세트의 컬러 픽셀들 및 제 2 세트의 비-컬러 픽셀들로 분할하고, 상기 제 1 세트의 컬러 픽셀들 내의 색채 성분들의 히스토그램(a histogram of chromatic components) 및 상기 제 2 세트의 비-컬러 픽셀들 내의 휘도 성분들의 히스토그램 중 적어도 하나를 생성하도록 구성되는 특징화 장치를 포함하는, 비디오 처리 시스템.
  2. 제 1 항에 있어서,
    상기 특징화 장치는 또한 상기 색채 성분들의 히스토그램과 상기 휘도 성분들의 히스토그램을 포함하는 합성 히스토그램을 생성하도록 구성되는, 비디오 처리 시스템.
  3. 제 2 항에 있어서,
    상기 합성 히스토그램은 목표 히스토그램(target histogram)에 대응하고, 상기 비디오 처리 시스템은 하나 이상의 다른 합성 히스토그램들을 상기 목표 히스토그램과 비교하도록 구성되는 컬러-매칭 장치를 더 포함하는, 비디오 처리 시스템.
  4. 제 3 항에 있어서,
    - 상기 목표 히스토그램에 대응하는 목표 히스토그램 벡터를 생성하기 위해 제한된 수의 상이한 색채 성분 값들 및 휘도 성분 값들이 사용되고,
    - 상기 컬러-매칭 장치는, 상기 목표 히스토그램에 대응하는 상기 제한된 수의 상이한 색채 성분 값들 및 휘도 성분 값들에 기초하여, 상기 다른 합성 히스토그램들에 대응하는 하나 이상의 다른 히스토그램 벡터들을 생성하도록 구성되는, 비디오 처리 시스템.
  5. 제 1 항에 있어서,
    - 상기 색채 성분들은 색조-채도-명도(hue-saturation-intensity) 컬러 모델의 색조 및 채도 성분 중 적어도 하나를 포함하고,
    - 상기 휘도 성분들은 상기 색조-채도-명도 컬러 모델의 명도 성분을 포함하는, 비디오 처리 시스템.
  6. 제 1 항에 있어서,
    - 상기 색채 성분들의 히스토그램은 목표 히스토그램에 대응하고,
    - 상기 비디오 처리 시스템은 색채 성분들의 하나 이상의 다른 히스토그램들을 상기 목표 히스토그램과 비교하도록 구성되는 컬러-매칭 장치를 더 포함하는, 비디오 처리 시스템.
  7. 제 6 항에 있어서,
    - 상기 목표 히스토그램에 대응하는 목표 히스토그램 벡터를 생성하기 위해 제한된 수의 상이한 색채 성분 값들이 사용되고,
    - 상기 컬러-매칭 장치는, 상기 제한된 수의 상이한 색채 성분 값들에 기초하여, 상기 다른 히스토그램들에 대응하는 하나 이상의 다른 히스토그램 벡터들을 생성하도록 구성되는, 비디오 처리 시스템.
  8. 제 1 항에 있어서,
    상기 제 2 세트의 비-컬러 픽셀들은 규정된 컬러 공간에서 회색 값들의 라인으로부터 명시된 거리 내에 위치하는 컬러 값들을 갖는 픽셀들에 기초하여 규정되는, 비디오 처리 시스템.
  9. 제 1 항에 있어서,
    각 픽셀 값의 적색-녹색-청색 표시를 상기 픽셀 값의 색조-채도-명도 표시로 변환하도록 구성되는 컬러 모델러(modeler)를 더 포함하는, 비디오 처리 시스템.
  10. 제 1 항에 있어서,
    상기 색채 성분들의 히스토그램에 기초하여, 하나 이상의 이미지들에서 목표를 추적하도록 구성되는 목표 추적기를 더 포함하는, 비디오 처리 시스템.
  11. 이미지를 특징화하는 방법에 있어서:
    - 상기 이미지를 구성하는 픽셀들을 제 1 세트의 컬러 픽셀들 및 제 2 세트의 비-컬러 세트들로 분할하는 단계, 및
    - 상기 제 1 세트의 컬리 픽셀들을 포함하는 색채 성분들의 히스토그램, 및 상기 제 2 세트의 비-컬러 픽셀들 내의 휘도 성분들의 히스토그램 중 적어도 하나를 생성하는 단계를 포함하는, 이미지 특징화 방법.
  12. 제 11 항에 있어서,
    - 상기 색채 성분들은 각 컬러 픽셀의 색조-채도-명도 컬러 모델의 색조 성분 및 채도 성분 중 적어도 하나에 대응하고,
    - 상기 휘도 성분들은 상기 색조-채도-명도 컬러 모델의 명도 성분을 포함하는, 이미지 특징화 방법.
  13. 제 11 항에 있어서,
    - 상기 색채 성분들의 히스토그램은 목표 히스토그램에 대응하고,
    - 상기 방법은 색채 성분들의 하나 이상의 다른 히스토그램들을 상기 목표 히스토그램과 비교하는 단계를 더 포함하는, 이미지 특징화 방법.
  14. 제 11 항에 있어서,
    상기 제 2 세트의 비-컬러 픽셀들은, 규정된 컬러 공간에서 회색 값들의 라인으로부터 명시된 거리 내에 위치하는 컬러 값들을 갖는 픽셀들에 기초하여 규정되는, 이미지 특징화 방법.
  15. 제 11 항에 있어서,
    각 픽셀 값의 적색-녹색-청색 표시를 상기 픽셀 값의 색조-채도-명도 표시로 변환하는 단계를 더 포함하는, 이미지 특징화 방법.
KR10-2003-7000404A 2001-05-11 2002-05-02 컬러 분포에 기초한 오브젝트 추적 KR20030021252A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US09/854,044 US20020176001A1 (en) 2001-05-11 2001-05-11 Object tracking based on color distribution
US09/854,044 2001-05-11
PCT/IB2002/001536 WO2002093477A2 (en) 2001-05-11 2002-05-02 Object tracking based on color distribution

Publications (1)

Publication Number Publication Date
KR20030021252A true KR20030021252A (ko) 2003-03-12

Family

ID=25317589

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2003-7000404A KR20030021252A (ko) 2001-05-11 2002-05-02 컬러 분포에 기초한 오브젝트 추적

Country Status (4)

Country Link
US (1) US20020176001A1 (ko)
JP (1) JP2004531823A (ko)
KR (1) KR20030021252A (ko)
WO (1) WO2002093477A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100717002B1 (ko) * 2005-06-11 2007-05-10 삼성전자주식회사 영상 부호화 및 복호화 장치와, 그 방법, 및 이를 수행하기위한 프로그램이 기록된 기록 매체

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6865295B2 (en) * 2001-05-11 2005-03-08 Koninklijke Philips Electronics N.V. Palette-based histogram matching with recursive histogram vector generation
KR100421221B1 (ko) * 2001-11-05 2004-03-02 삼성전자주식회사 조명에 강인한 객체 추적 방법 및 이를 응용한 영상 편집장치
US20040233233A1 (en) * 2003-05-21 2004-11-25 Salkind Carole T. System and method for embedding interactive items in video and playing same in an interactive environment
WO2005045762A1 (en) * 2003-11-05 2005-05-19 Koninklijke Philips Electronics N.V. Tracking of a subimage in a sequence of images
FR2868578A1 (fr) * 2004-04-06 2005-10-07 France Telecom Procede de suivi d'objets dans une sequence video
US7308137B2 (en) * 2004-06-08 2007-12-11 Benq Corporation Method of determining color composition of an image
US7213761B2 (en) * 2005-03-23 2007-05-08 Microscan Systems Incorporated Apparatus and process for two-stage decoding of high-density optical symbols
US7522746B2 (en) * 2005-08-12 2009-04-21 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Object tracking using optical correlation and feedback
US7734114B1 (en) * 2005-12-07 2010-06-08 Marvell International Ltd. Intelligent saturation of video data
US7596266B2 (en) * 2006-04-13 2009-09-29 Tandent Vision Science, Inc. Method and system for separating illumination and reflectance using a log color space
US20100195902A1 (en) * 2007-07-10 2010-08-05 Ronen Horovitz System and method for calibration of image colors
US8224029B2 (en) 2008-03-03 2012-07-17 Videoiq, Inc. Object matching for tracking, indexing, and search
JP5441670B2 (ja) 2009-12-22 2014-03-12 キヤノン株式会社 画像処理装置及びその制御方法
JP5441669B2 (ja) * 2009-12-22 2014-03-12 キヤノン株式会社 画像処理装置及びその制御方法
MY151310A (en) * 2010-12-10 2014-05-15 Mimos Berhad Method for color classification and applications of the same
JP2012217137A (ja) 2011-03-31 2012-11-08 Sony Corp 画像処理装置、画像処理方法、画像処理プログラム
US9092876B2 (en) * 2011-08-25 2015-07-28 Electronics And Telecommunications Research Institute Object-tracking apparatus and method in environment of multiple non-overlapping cameras
US9754357B2 (en) * 2012-03-23 2017-09-05 Panasonic Intellectual Property Corporation Of America Image processing device, stereoscoopic device, integrated circuit, and program for determining depth of object in real space generating histogram from image obtained by filming real space and performing smoothing of histogram
US9948902B1 (en) * 2014-03-07 2018-04-17 Alarm.Com Incorporated Video camera and sensor integration
CN107358242B (zh) * 2017-07-11 2020-09-01 浙江宇视科技有限公司 目标区域颜色识别方法、装置及监控终端
US10979669B2 (en) * 2018-04-10 2021-04-13 Facebook, Inc. Automated cinematic decisions based on descriptive models
US11216662B2 (en) * 2019-04-04 2022-01-04 Sri International Efficient transmission of video over low bandwidth channels
CN112381053B (zh) * 2020-12-01 2021-11-19 连云港豪瑞生物技术有限公司 具有图像跟踪功能的环保监测系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3487436B2 (ja) * 1992-09-28 2004-01-19 ソニー株式会社 ビデオカメラシステム
KR100276681B1 (ko) * 1992-11-07 2001-01-15 이데이 노부유끼 비디오 카메라 시스템
DE4309802A1 (de) * 1993-03-28 1994-09-29 Robert Prof Dr Ing Massen Produktionsnahe Farbkontrolle mit bildgebenden Sensoren
JPH0730796A (ja) * 1993-07-14 1995-01-31 Sony Corp ビデオ信号追従処理システム
US5872865A (en) * 1995-02-08 1999-02-16 Apple Computer, Inc. Method and system for automatic classification of video images
US6226388B1 (en) * 1999-01-05 2001-05-01 Sharp Labs Of America, Inc. Method and apparatus for object tracking for automatic controls in video devices
US6549643B1 (en) * 1999-11-30 2003-04-15 Siemens Corporate Research, Inc. System and method for selecting key-frames of video data
KR20010055492A (ko) * 1999-12-10 2001-07-04 오길록 영상 히스토그램을 이용한 영상 검색 시스템과 그 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100717002B1 (ko) * 2005-06-11 2007-05-10 삼성전자주식회사 영상 부호화 및 복호화 장치와, 그 방법, 및 이를 수행하기위한 프로그램이 기록된 기록 매체

Also Published As

Publication number Publication date
JP2004531823A (ja) 2004-10-14
US20020176001A1 (en) 2002-11-28
WO2002093477A3 (en) 2003-10-16
WO2002093477A2 (en) 2002-11-21

Similar Documents

Publication Publication Date Title
KR20030021252A (ko) 컬러 분포에 기초한 오브젝트 추적
Harville et al. Foreground segmentation using adaptive mixture models in color and depth
Soriano et al. Skin detection in video under changing illumination conditions
JP3298072B2 (ja) ビデオカメラシステム
US20020168091A1 (en) Motion detection via image alignment
EP0932114B1 (en) A method of and apparatus for detecting a face-like region
Kwok et al. Simultaneous image color correction and enhancement using particle swarm optimization
Schreer et al. Fast and robust shadow detection in videoconference applications
Pritam et al. Detection of fire using image processing techniques with LUV color space
KR20210006276A (ko) 플리커를 약화시키기 위한 이미지 처리 방법
CN107635099B (zh) 一种人体感应双光网络摄像机及安防监控系统
CN111491149B (zh) 基于高清视频的实时抠像方法、装置、设备及存储介质
EP2795904B1 (en) Method and system for color adjustment
JP2006039689A (ja) 画像処理装置、画像処理方法、画像処理プログラムおよびそのプログラムを記録した記録媒体
Huerta et al. Improving background subtraction based on a casuistry of colour-motion segmentation problems
CN108491857B (zh) 一种视域重叠的多摄像机目标匹配方法
CN104574377A (zh) 用于电子警察的红灯偏黄的校正方法
CN111311500A (zh) 一种对图像进行颜色还原的方法和装置
KR20000059451A (ko) 이미지 검색시스템의 분위기 칼라 자동추출 및 원래 칼라 조정방법
CN112017128B (zh) 一种图像自适应去雾方法
KR20180088557A (ko) 컬러 영상 내의 변화영역을 검출하는 방법 및 그 장치
CN111355940A (zh) 避免光源致人眩晕
Fuentes et al. Foreground segmentation using luminance contrast
US11451713B2 (en) Autogaining of color pattern filtered sensors to ensure color fidelity
KR100230446B1 (ko) 칼라 화상으로부터 조명의 칼라를 결정하는 방법

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid