KR20090122212A - 비디오 내 이동 객체의 친화 색으로의 분류 - Google Patents

비디오 내 이동 객체의 친화 색으로의 분류 Download PDF

Info

Publication number
KR20090122212A
KR20090122212A KR1020097017420A KR20097017420A KR20090122212A KR 20090122212 A KR20090122212 A KR 20090122212A KR 1020097017420 A KR1020097017420 A KR 1020097017420A KR 20097017420 A KR20097017420 A KR 20097017420A KR 20090122212 A KR20090122212 A KR 20090122212A
Authority
KR
South Korea
Prior art keywords
color
histogram
video
moving objects
video input
Prior art date
Application number
KR1020097017420A
Other languages
English (en)
Other versions
KR101039202B1 (ko
Inventor
리사 마리에 브라운
Original Assignee
인터내셔널 비지네스 머신즈 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인터내셔널 비지네스 머신즈 코포레이션 filed Critical 인터내셔널 비지네스 머신즈 코포레이션
Publication of KR20090122212A publication Critical patent/KR20090122212A/ko
Application granted granted Critical
Publication of KR101039202B1 publication Critical patent/KR101039202B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

비디오에서 이동 객체를 친화 색으로 분류하기 위한 향상된 해결 방안이 제공된다. 본 발명의 실시예에서, 비디오에서 이동 객체를 친화 색으로 분류하기 위한 방법은, 비디오 입력을 수신하는 단계, 비디오 입력의 하나 이상의 객체 트랙을 결정하는 단계, 상기 하나 이상의 객체 트랙의 정규화된 누적 히스토그램을 생성하는 단계, 및 채도 및 명도 중 하나로부터 도출된 하나 이상의 표면 곡선에 기초하여 상기 히스토그램을 영역들로 분리시키는 것을 포함하여, 상기 히스토그램의 파라미터화된 양자화를 수행하는 단계 또는 상기 양자화된 히스토그램의 현저한 색을 식별하는 단계 중 하나를 포함한다.
Figure P1020097017420
이동 객체, 분류, 비디오

Description

비디오 내 이동 객체의 친화 색으로의 분류{CATEGORIZING MOVING OBJECTS INTO FAMILIAR COLOURS IN VIDEO}
일반적으로 본 발명의 태양은 비디오 처리(video processing) 및 색 검색(colour retrieval)에 관한 것이고, 보다 구체적으로는 비디오에서 이동 객체를 친화 색(familiar colours)으로 분류하는 기술에 관한 것이다.
흔히 색 검색은 이미지의 집합으로부터 이미지를 검색하는 것에 기초한다. 통상 전체 이미지가 사용된다. 때로는, 이미지가 사전 분할(pre-segmented)된 후, 객체의 검색이 수행된다. 최근에 이르러서야, 색 정보를 기초로 하여 비디오로부터 이동 객체를 검색하는 것에 관한 연구가 수행되고 있다. 이러한 작업은 예비적일뿐이었고, 변화하는 광 조건, 광에 대해 변화하는 표면 배향 및 객체의 광범위한 복잡성을 포함하는 색 항상성(colour constancy)에 관한 문제점에 의해 한계가 있었다.
통상적으로 색 검색은 사전정의된 친화 색들에 기초하며, 색 검색 공간으로부터 도출된 색 분류 또는 예시적인 질의에 기초한다. 흔히 색 검색에는 질의 입력 또는 자체 습득(unsupervised learning)이 필요로 되는데, 이는 자원 낭비를 가져온다. 또한, 연습 데이터, 구체적으로는 객체의 유형, 광 조건, 시야, 카메라의 집합 각각에 대해 수동으로 또는 반자동적으로 라벨링된 데이터를 가질 것을 필요로 하는데, 이 또한 비효율적이다.
또한, 각종 색 검색 방법은 적응성이 없다. 새로운 카메라, 시야, 광 조건, 또는 객체의 클래스 상에서 작업하기 위해, 분류를 갱신하는 추가 연습 데이터에 대한 내재적인 필요성이 존재한다.
추가하여, 색 검색 방법들은 이미지, 영역 또는 객체를 매치하기 위해 복잡한 색 분포 정보를 이용한다. 예시로서, 공간 색 히스토그램(spatial colour histograms)은 복잡한 객체의 색을 나타내기 위해 이용된다. 그러나 이들 방법은 여러 문제점을 적절히 처리할 수 없기 때문에 단점을 가지고 있다. 첫 번째로, 색 항상성(colour constancy)에 대한 문제이다. 사람들은 광범위한 조명 조건에 걸쳐 객체를 동일한 색으로 인식한다. 그러나 동일한 색으로 인식되더라도 객체의 실제 픽셀은 광 조건에 따라 색 스펙트럼에 걸쳐 분포하는 값들을 가질 수 있다. 둘째로, 비디오에서 추출된 이동 객체는 배경으로부터 완전하게 분할되지 않는다. 때로는 음영이 객체의 일부를 차지하고, 객체와 배경 모델 간의 유사성에 기인하여 분할 시 에러가 발생한다. 마지막으로, 복잡한 객체는 주된 한 가지 색을 가지지 않는다. 객체의 어느 특정 면이 관심의 대상일 수 있는데, 이는 객체의 유형 및 애플리케이션에 따라 달라진다. 상술한 모든 단점들에 의해 친화 색 기술자(familiar colour descriptors)에 기초하여 이동 객체를 선택하는 것이 어렵게 된다.
이상 설명한 점에 비추어 볼 때, 관련 기술 분야에는 하나 이상의 상술한 단 점을 극복하기 위한 필요성이 존재한다.
본 발명의 태양은 비디오에서 이동 객체를 친화 색으로 분류하기 위한 향상된 방법을 제공한다. 본 발명의 일 실시예에서, 비디오에서 이동 객체를 친화 색으로 분류하기 위한 방법은, 비디오 입력을 수신하는 단계; 비디오 입력의 하나 이상의 객체 트랙을 결정하는 단계; 하나 이상의 객체 트랙의 정규화된 누적 히스토그램(normalized cumulative histogram)을 생성하는 단계; 및 채도와 명도 중 하나로부터 도출된 하나 이상의 표면 곡선에 기초하여 히스토그램을 영역들로 분리시키는 것을 포함하여, 히스토그램의 파라미터화된 양자화를 수행하는 단계 또는 양자화된 히스토그램의 현저한 색을 식별하는 단계 중 하나를 포함한다.
본 발명의 제1 태양은 비디오에서 이동 객체를 친화 색으로 분류하기 위한 방법을 제공하고, 본 방법은 비디오 입력을 수신하는 단계; 비디오 입력의 하나 이상의 객체 트랙을 결정하는 단계; 하나 이상의 객체 트랙의 정규화된 누적 히스토그램을 생성하는 단계; 및 채도와 명도 중 하나로부터 도출된 하나 이상의 표면 곡선에 기초하여 히스토그램을 영역들로 분리시키는 것을 포함하여, 히스토그램의 파라미터화된 양자화를 수행하는 단계 또는 양자화된 히스토그램의 현저한 색을 식별하는 단계 중 하나를 포함한다.
본 발명의 제2 태양은 비디오에서 이동 객체를 친화 색으로 분류하기 위한 시스템을 제공하고, 본 시스템은 비디오 입력을 수신하기 위한 시스템; 비디오 입력의 하나 이상의 객체 트랙을 결정하기 위한 시스템; 하나 이상의 객체 트랙의 정규화된 누적 히스토그램을 생성하기 위한 시스템; 및 채도와 명도 중 하나로부터 도출된 하나 이상의 표면 곡선에 기초하여 히스토그램을 영역들로 분리시키는 것을 포함하여, 히스토그램의 파라미터화된 양자화를 수행하기 위한 시스템 또는 양자화된 히스토그램의 현저한 색을 식별하기 위한 시스템 중 하나를 포함한다.
본 발명의 제3 태양은 컴퓨터 판독가능 매체에 저장된 컴퓨터 프로그램 코드를 포함하는 컴퓨터 프로그램을 제공하며, 컴퓨터 프로그램은 실행될 때 컴퓨터 시스템으로 하여금 비디오에서 이동 객체를 친화 색으로 분류하는 방법을 구현하게 하고, 본 방법은, 비디오 입력을 수신하는 단계; 비디오 입력의 하나 이상의 객체 트랙을 결정하는 단계; 하나 이상의 객체 트랙의 정규화된 누적 히스토그램을 생성하는 단계; 및 채도와 명도 중 하나로부터 도출된 하나 이상의 표면 곡선에 기초하여 히스토그램을 영역들로 분리시키는 것을 포함하여, 히스토그램의 파라미터화된 양자화를 수행하는 단계 또는 양자화된 히스토그램의 현저한 색을 식별하는 단계 중 하나를 포함한다.
본 발명의 제4 태양은 다자간 전화 통화 참석자의 우선순위를 정하기 위한 시스템을 생성하는 방법을 제공하고, 본 방법은 비디오 입력을 수신하고; 비디오 입력의 하나 이상의 객체 트랙을 결정하며; 하나 이상의 객체 트랙의 정규화된 누적 히스토그램을 생성하고; 및 채도와 명도 중 하나로부터 도출된 하나 이상의 표면 곡선에 기초하여 히스토그램을 영역들로 분리시키는 것을 포함하여, 히스토그램의 파라미터화된 양자화를 수행하는 것 또는 양자화된 히스토그램의 현저한 색을 식별하는 것 중 하나를 동작할 수 있는 컴퓨터 시스템을 제공하는 단계를 포함한다.
본 발명의 제5 태양은 비디오에서 이동 객체를 친화 색으로 분류하기 위한 데이터 처리 시스템을 제공하고, 본 데이터 처리 시스템은 프로세싱 유닛; 프로세싱 유닛과 연결된 버스; 및 버스와 연결된, 프로그램 코드를 포함하는 메모리 매체를 포함하고, 프로그램 코드는 프로세싱 유닛에 의해 실행될 때 데이터 처리 시스템으로 하여금, 비디오 입력을 수신하고; 비디오 입력의 하나 이상의 객체 트랙을 결정하며, 하나 이상의 객체 트랙의 정규화된 누적 히스토그램을 생성하고, 채도와 명도 중 하나로부터 도출된 하나 이상의 표면 곡선에 기초하여 히스토그램을 영역들로 분리시키는 것을 포함하여, 히스토그램의 파라미터화된 양자화를 수행하게 하는 것 또는 양자화된 히스토그램의 현저한 색을 식별하게 하는 것 중 하나를 하게 한다.
본 발명의 제6 태양은 하나 이상의 전파 신호에서 구현된, 비디오에서 이동 객체를 친화 색으로 분류하기 위한 컴퓨터 소프트웨어를 제공하고, 하나 이상의 전파 신호는 적어도 컴퓨터 시스템으로 하여금, 비디오 입력을 수신하고; 비디오 입력의 하나 이상의 객체 트랙을 결정하며; 하나 이상의 객체 트랙의 정규화된 누적 히스토그램을 생성하고; 채도와 명도 중 하나로부터 도출된 하나 이상의 표면 곡선에 기초하여 히스토그램을 영역들로 분리시키는 것을 포함하여, 히스토그램의 파라미터화된 양자화를 수행하는 것 또는 양자화된 히스토그램의 현저한 색을 식별하는 것 중 하나를 하게 하는 명령어들을 포함한다.
본 발명의 제7 태양은 비디오에서 이동 객체를 친화 색으로 분류하기 위한 비즈니스 방법을 제공하고, 본 비즈니스 방법은 본 명세서에서 설명한 프로세스를 수행하는 하나 이상의 컴퓨터 시스템을 포함하는 네트워크를 관리하는 단계 및 관리에 기초하여 요금을 수납하는 단계를 포함한다.
본 발명의 예시적인 태양은 본 명세서에서 설명한 하나 이상의 문제점들 및/또는 언급하지 않은 하나 이상의 다른 문제점들을 해결하도록 설계된다.
본 발명의 특징들은 본 발명의 다양한 실시예를 묘사한 첨부된 도면을 참고하여, 본 발명의 다양한 태양들에 대한 상세한 설명으로부터 보다 용이하게 이해될 수 있다.
도 1은 본 발명의 실시예에 따라 비디오에서 이동 객체들을 친화 색들로 분류하기 위한 시스템을 위한 예시적인 환경을 도시한 도면.
도 2는 본 발명의 실시예에 따라 비디오에서 이동 객체들을 친화 색들로 분류하기 위한 예시적인 환경에 대한 상세도.
도 3은 본 발명의 실시예에 따라 비디오에서 이동 객체들을 친화 색들로 분류하기 위한 예시적인 데이터 흐름을 설명한 도면.
도 4a 및 4b는 본 발명의 실시예에 따른 예시적인 색 공간을 도시한 도면.
도면은 일정 비율이 아니라는 것에 주의한다. 도면은 본 발명의 대표적인 태양만을 도시하기 위한 것이며, 따라서 본 발명의 범위을 제한하기 위한 것으로 간주되어서는 안된다. 도면에서, 동일한 도면 부호는 도면에 걸쳐 동일한 구성 요소를 나타낸다.
상술한 바와 같이, 본 발명의 태양은 비디오에서 이동 객체를 친화 색으로 분류하기 위한 향상된 해결 방안을 제공하는 것이다. 본 발명의 일 실시예에서, 비디오에서 이동 객체를 친화 색으로 분류하기 위한 방법은, 비디오 입력을 수신하는 단계; 비디오 입력의 하나 이상의 객체 트랙을 결정하는 단계; 하나 이상의 객체 트랙의 정규화된 누적 히스토그램을 생성하는 단계; 및 채도(saturation)와 명도도(intensity) 중 하나로부터 도출된 하나 이상의 표면 곡선(surface curve)에 기초하여 히스토그램을 영역들로 분리시키는 것을 포함하는 히스토그램의 파라미터화된 양자화(parameterization quantization)를 수행하는 단계 또는 양자화된 히스토그램의 현저한 색을 식별하는 단계 중 하나를 포함한다. 본 명세서에서 사용된 바와 같이, 달리 기술하지 않는 한, 용어 "집합"은 하나 이상(즉, 적어도 하나)을 의미하고, 표현 "임의의 해결 방안"은 현재 공지된 또는 후에 개발될 해결 방안을 의미한다.
본 발명의 태양은 이동 객체를, 예컨대 작은 수의 사전정의 및/또는 표준 색 중 하나로 분류하는 것을 제공한다. 본 발명의 태양은 객체 트랙 각각에 대해 정규화된 누적 색 히스토그램을 수집하는 것과 이를 원주 모양의 HSI(hue, saturation, intensity) 공간으로 변환하는 것에 기초한다. 본 발명의 태양은 공간을 파라미터화를 통해 지능적으로 나누고, 이는 사용자 또는 장면의 활성 색 측정에 의해 설정될 수 있는 메커니즘을 설명한다. 색 공간을 지능적으로 이산화하는(discretize) 기능은 색상, 채도 및 명도 간의 관계를 이용하는 것에 기초한다. 채도 및 명도가 없어 색 정보가 제한적일 수 있기 때문에, 본 발명의 방법의 태양은 원주 모양 공간의 채도 및 명도의 함수에 의해 정의된 표면을 따라 색 공간을 분리한다. 관심 대상의 현저한 색을 습득하는 것 또한 사용자 파라미터에 기초하거나, 장면의 전경(foreground)에서 "트랙된(tracked)" 이동 객체의 클래스로부터 축적된 정보를 이용하여 도출될 수 있다. 따라서, 본 발명의 태양은 친화 색 및/또는 친화 색 기술자에 기초하여 이동 객체 이벤트를 바람직하게 선택할 수 있게 한다.
도면을 참고하면, 도 1은 본 발명의 실시예에 따라 비디오에서 이동 객체를 친화 색으로 분류하기 위한 예시적인 환경을 도시하는 도면이다. 가능한 한, 하나 이상의 카메라(42)가 장면 또는 배경(90; background)을 캡쳐한다. 때로는, 배경 또는 장면(90)은 화살표(94)로 표시된 것과 같이, 이동 중인 자동차, 사람, 동물 및/또는 그 외의 것과 같은 하나 이상의 객체(92; 또는 객체 트랙)를 포함할 수 있다. 본 명세서에서 설명한 바와 같이, 디지털 비디오 입력(42)이 획득되고 시스템(12)로 전송되며, 시스템(12)는 예컨대, 색 분류 프로그램(30), 데이터(50) 및/또는 그 외의 것을 포함한다.
도 2는 본 발명의 실시예에 따라 비디오(40)에서 이동 객체(92; 도 1)를 친화 색으로 분류하기 위한 예시적인 환경(10)에 대한 상세도를 도시한다. 가능한 한, 환경(10)은 비디오(40)에서 이동 객체(92)를 친화 색으로 분류하기 위해 본 명세서에서 설명한 프로세스를 수행할 수 있는 컴퓨터 시스템(12)을 포함한다. 구체적으로, 컴퓨터 시스템(12)은 색 분류 프로그램(30)을 포함하는 컴퓨팅 장치(14)를 포함하는 것으로 도시되며, 색 분류 프로그램(30)은 본 명세서에서 설명한 프로세스를 수행함으로써, 컴퓨팅 장치(14)가 비디오(40)에서 이동 객체(92; 도 1)를 친화 색으로 분류하도록 작동가능하게 한다.
컴퓨팅 장치(14)가 프로세서(20), 메모리(22A), 입출력 인터페이스(24) 및 버스(26)를 포함하는 것으로 도시된다. 또한, 컴퓨팅 장치(14)는 외부 입출력 장치/리소스(28) 및 저장 장치(22B)와 통신하는 것으로 도시된다. 일반적으로, 프로세서(20)는 색 분류 프로그램(30)과 같은 프로그램 코드를 실행하며, 색 분류 프로그램은 메모리(22A) 및/또는 저장 장치(22B)와 같은 저장 시스템에 저장된다. 프로그램 코드를 실행하는 동안, 프로세서(20)는 메모리(22A), 저장 장치(22B) 및/또는 입출력 인터페이스(24)로/로부터 데이터(36)와 같은 데이터를 판독 및/또는 기록할 수 있다. 버스(26)는 컴퓨팅 장치(14)의 각 구성요소 간의 통신 연결을 제공한다. 입출력 장치(28)는 개별 사용자(16)와 컴퓨팅 장치(14) 간 및/또는 디지털 비디오 입력(40)과 컴퓨팅 장치(14) 간에 정보를 전송하는 임의의 장치를 포함할 수 있다. 가능한 한, 입출력 장치(28)는 개별 사용자(16)가 컴퓨팅 장치(14)와 상호 작용 가능하게 하는 사용자 입/출력 장치 및/또는 디지털 비디오 입력(40)과 같은 구성 요소가 임의 유형의 통신 연결을 이용하여 컴퓨팅 장치(14)와 통신가능하게 하는 통신 장치를 포함할 수 있다.
임의의 경우, 컴퓨팅 장치(14)는 설치된 프로그램 코드를 실행할 수 있는 범용 계산 제조물(computing article of manufacture)을 포함할 수 있다. 그러나 컴퓨팅 장치(14) 및 색 분류 프로그램(30)은 본 명세서에서 설명한 프로세스를 수행 할 수 있는 컴퓨팅 장치와 동등하게 간주될 수 있는 다양한 컴퓨팅 장치를 대표할 뿐이라는 것을 이해하여야 한다. 가능한 한, 다른 실시예에서, 컴퓨팅 장치(14) 및 색 분류 프로그램(30)을 계산함으로써 제공되는 기능은 범용 및/또는 전용 하드웨어 및/또는 프로그램 코드의 임의의 조합을 포함하는 계산 제조물에 의해 구현될 수 있다. 각 실시예에서, 프로그램 코드 및 하드웨어는 표준 프로그래밍 및 공학 기술을 이용하여 각각 생성될 수 있다.
유사하게, 컴퓨터 시스템(12)은 본 발명의 태양을 구현하기 위한 다양한 유형의 컴퓨터 시스템의 예시일 뿐이다. 예시로서, 일 실시예에서, 컴퓨터 시스템(12)은 본 명세서에서 설명한 프로세스를 수행하기 위해 네트워크, 공유 메모리 등과 같은 임의 유형의 통신 연결을 통해 통신하는 2개 이상의 컴퓨팅 장치를 포함한다. 또한, 본 명세서에서 설명한 프로세스를 수행하는 동안, 컴퓨터 시스템(12)의 하나 이상의 컴퓨팅 장치는 임의 유형의 통신 연결을 이용하여 컴퓨터 시스템(12) 외부의 하나 이상의 컴퓨팅 장치와 통신할 수 있다. 임의의 경우, 통신 연결은 다양한 유형의 유선 및/또는 무선 연결의 임의의 조합을 포함할 수 있고; 하나 이상의 유형의 네트워크의 임의의 조합을 포함할 수 있고; 및/또는 다양한 유형의 전송 기술 및 프로토콜의 임의의 조합을 이용할 수 있다.
본 명세서에서 설명한 바와 같이, 색 분류 프로그램(30)에 의해 컴퓨터 시스템(12)은 비디오(40)에서 이동 객체(92; 도 1)를 친화 색(들)으로 분류할 수 있다. 가능한 한, 색 분류 프로그램(30)은 객체 트랙 모듈(32; object track module), 히스토그램 모듈(34; histogram module), 파라미터화 모듈(36; parameterization module) 및 색 지시자 모듈(38; colour signifier module)을 포함하는 것으로 도시된다. 각 모듈의 동작은 이하에서 설명한다. 그러나 도 2에 도시된 각종 모듈 중 일부는 독립적으로 구현될 수 있고, 조합될 수 있으며, 및/또는 컴퓨터 시스템(12)에 포함된 하나 이상의 개별 컴퓨팅 장치의 메모리에 저장될 수 있다. 또한, 모듈 및/또는 기능의 일부가 구현되지 않거나 추가 모듈 및/또는 기능이 컴퓨터 시스템(12)의 부분으로서 포함될 수 있다는 것을 이해하여야 한다.
본 발명의 태양은 비디오(40)에서 이동 객체(92; 도 1)를 친화 색으로 분류하기 위한 향상된 해결방안을 제공한다. 가능한 한, 도 3은 본 발명의 실시예에 따라, 색 분류 프로그램(30; 도 2)의 모듈을 이용함으로써 비디오(40)에서 이동 객체(92; 도 1)를 친화 색으로 분류하기 위한 예시적인 데이터 흐름을 도시한다. 예시로서, 단계 D1에서, 시스템(12)은 디지털 색 비디오 입력(40)을 수신한다. 통상적으로 디지털 색 비디오 입력(40)은 RGB(red-green-blue) 포맷이며, 각 인스턴스에서 비디오 입력의 프레임은 객체 트랙 모듈(32; 도 2)에 도달한다.
단계 S1에서, 객체 트랙 모듈(32; 도 2)은 디지털 색 비디오 입력(40)에서 일어나는 모든 객체 트랙(92; 도 1)을 결정하기 위해, 실시간 또는 지연 모드(delayed mode)로 프레임을 분석한다. 객체 트랙(92)은 연속 프레임 집합에 걸쳐 연관된, 프레임 당 한 개로 분할된 객체의 집합을 포함한다. 예시로서, 객체 트랙(92)은 장면(90; 도 1)에서 건너거나 이동하는 자동차 또는 사람의 인스턴스일 수 있다. 객체 트랙 모듈(32; 도 2)은, 적어도 2 개의 부분, 즉 분할된 전경 "얼룩(blobs)"(예컨대, 배경 모델과 현저히 상이한 인접 픽셀)을 출력하는 배경 삭제 모듈(background substraction model) 및 분할된 전경 "얼룩"을 연관시켜 객체 트랙(92)을 구성하는 트랙커 모듈(tracker module)을 적어도 더 포함할 수 있다. 전경 "얼룩"은 장면(90)의 이동 객체 트랙(29)을 최적으로 결정하기 위해, 트랙커 모듈이 이용하는 모델에 따라 합쳐지고, 찢어지고 및/또는 재구성될 수 있다.
객체 트랙(92)은 픽셀 당 색 정보를 포함할 수 있다. 이는 통상적으로 빨간색, 초록색 및 파란색과 연관된 38-비트이다. 그 외의 일반적인 표현으로는 YUV(luminance/bandwidth/chrominance) 또는 휘도(luminance)/색차(chrominane) 공간이 있다. 단계 S2에서, 객체 트랙 모듈(32)은 픽셀 색을 HSI(Hue/Saturation/Intensity; HSV로도 지칭됨) 공간으로 변환한다. 공지된 표준 비선형 변환 방법 또는 그 이후에 개발된 방법이 HSI 공간으로 변환하기 위해 이용될 수 있다.
본 방법을 실시간 시스템에 대해 계산으로 실행가능하게 하기 위해, 단계 S3이 선택에 따라 포함될 수 있고, 단계 S3에서, 객체 트랙 모듈(32)은 부분-트랙 색 선택 모듈(sub-track colour selection module)을 더 포함하고, 부분-트랙 색 선택 모듈은 HSI 객체 트랙(92)의 프레임을 실시간으로 부분 샘플링(sub sample)한다. 부분-트랙 색 선택 모듈은 트랙의 길이가 어느 정도 일지 미리 알 필요가 없다. 이러한 방식으로 부분-트랙 색 선택 모듈은 초기에 색 정보를 빈번하게 획득하고, 트랙 수명이 연장됨에 따라 빈번도는 점차 낮아진다. 이러한 방식으로, 트랙은 지속 구간이 짧을 경우를 위해 충분한 샘플을 확보하지만, 트랙의 수명이 더 긴 경우 트랙의 수명에 걸쳐 증가한 데이터가 샘플링되도록 주기적으로 갱신된다. i ＞ S ＋ M*2n (식 1-1)이 샘플링을 위해 이용될 수 있다.
식 1-1에서, i는 지금까지의 객체 트랙의 프레임 개수이고, S는 샘플링이 시작되기 전에 필요한 프레임의 개수와 동일한 상수이다. 후자는 트랙이 현재 안정한 상태에 있다는 것을 보장하는 프레임의 최소 개수에 기초한다. 이러한 파라미터는 객체 트랙 모듈(32)로부터 획득된 다른 정보로 대체될 수 있다. 상수 M은 (최초 S 프레임 이후) 건너 뛴(skip) 프레임의 초기 개수이자, 후속 샘플링 전에 후속하여 연속적으로 두 배가 될 개수이다. 연속자(iterator) n은 초기에 0으로 설정되고, 식 1-1이 만족될 때 각각 증분된다.
예시로서, 비디오(40)가 초 당 30개의 프레임의 프레임 레이트를 가지고 S=60(2초) 그리고 M=5인 경우, 객체 트랙은 60개, 65개, 70개, 80개, 100개, 140개, 180개 (등) 프레임으로 샘플링된다. 트랙이 안정화된 이후 샘플링이 개시하고, 트랙은 초기에는 빈번하게 샘플링되고 이후 점차적으로 느리게 샘플링된다.
단계 S4에서, 단계 S2(단계 S3가 이용되는 경우에는 단계 S3)에서의 부분 HSI 객체 트랙 출력(HSI object track output)에 기초한 객체 트랙에 대한 HSI 공간에서의 정규화된 누적 히스토그램이 히스토그램 모듈(34)에 의해 생성된다. HSI 객체 트랙의 각 프레임이 히스토그램 모듈(34)에 입력되는 동안, 이는 객체 트랙에 대한 HSI 히스토그램에 축적되고 연속적으로 정규화된다. 예시로서, 8×8×8 빈(bins)이 사용될 수 있다. 선택에 따라, 히스토그램 모듈(34)은 출력(54)을 생성할 수 있고, 이는 파라미터(52)의 개발에 도움을 줄 수 있다(단계 D2 및/또는 단 계 D3). 본 방법은 단계 S5로 진행하거나 단계 S6으로 바로 진행할 수 있다.
단계 S5에서, 파라미터화 모듈(36; 도 2)은 각 트랙 히스토그램에서 파라미터화된 양자화를 수행한다. 이는 트랙이 종료하고 최종 히스토그램이 계산된 때 발생할 수 있다. 양자화는 계층적이다. 첫 번째로, 유채색 및 무채색 공간 영역(chromatic and achromatic colour space regions)의 양자화된 분리가 이루어진다. 그 후, 각 부분 영역(subregion)이 더 분리된다. 유채색/무채색 분리는 명도와 상이한 채도 레벨에 따라 HSI 공간(60; 도 4a 및 4b)을 분리하는 계열의 곡선에 기초한다. 이러한 계열 소속의 일 예시적인 곡선(70)이 도 4a에서 (단면으로) 도시된다. 명도(62), 채도(64) 및 색상(66)은 HSI 공간(60)에서 묘사된다. 예시로서, 명도(62)가 매우 높거나 매우 낮은 곳에서, 유채색 영역에 포함되기 위해 필요한 채도 레벨(64)은 매우 더 높다. 중간 영역에서의 명도(62)에 대해, 채도 레벨(64)은 더 이상 매우 높을 필요가 없다. 이는 특정 카메라/시야/조명 조건에 대해 색상(66)에 따라 어느 정도 실질적으로 변경될 수 있다. 그러나 곡선(70)은 파라미터에 따라 변경되어 무채색으로 추출된 병 모양의 영역이 더 좁아지거나 두 개의 원뿔 영역이 될 수 있다. 이러한 유형의 계열 소속의 일 예시적인 곡선(70)이 도 4b에서 도시된다. 이러한 계열의 곡선(70)을 생성하기 하는데 이용되는 파라미터를 정의할 수 있는 방법은 다양하다. 히스토그램이 상대적으로 작은 경우에서 사용될 수 있는 단순한 일 예시로는 각 명도 레벨(62)에 대한 채도 경계를 명시적으로 제한하는 것이 있다. 다른 가능한 예시로는 도 4a에 도시된 원들(P1, P2, P3)로부터의 보간(interpolating)에 기초한 바이-리니어(bi-linear) 또는 단순 곡 선 모델이 있다. 분리가 수행되면, 각 부분 영역은 더 분해된다. 무채색 영역은 임계값에 기초하여 작은 수의 회색 레벨로 분리될 수 있다. 유채색 영역은 특정 색상의 개수 및 그에 대응하는 파장에 기초하여 다양한 색상으로 분리된다. 인공 배색(artificial colouration)을 도입하는 색 조건에 대해, 색 분리가 그에 따라 비대칭(skewed)이 될 수 있다.
단계 S5의 대안으로, 또는 단계 S5에 후속하여, 단계 S6에서 방법은 양자화된 트랙 히스토그램에서 발견된 작은 수(예컨대 3개)의 주요 색을 계산하거나 검출하는 색 지시자 모듈(38; colour signifier module; 도 2)을 도입한다. 실시예에서, 이는 히스토그램에서 최고 피크 또는 모드를 발견하는 것에 기초한다.
단계 S7에서, 색 지시자 모듈(38; 도 2)은 단계 S6에서 발견된 주요 색에 기초하여 객체 트랙의 단일 주요 색을 또한 결정한다. 색 지시자 모듈(38)은 선행 기술에서 언급했던 두 개의 문제점들을 해결한다. 첫 번째 문제점은 배경으로부터 참된 객체(true object)를 분할시키는데 있어서의 곤란함에서 발생한다. 때로는 음영이 포함되고, 객체의 일부가 소실되거나 위장 에러(camouflage errors)에 기인하여 배경의 일부가 과실로 포함될 수 있다. 위장 에러는 배경 및 전경 객체의 유사성에 기인한다. 두 번째 문제점은 이동 객체가 많은 컴포넌트를 포함하고 각 컴포넌트는 많은 색일 수 있어, 때로는 복잡하다는 사실에 기인한다. 사실상, 이동 객체는 사람의 인식에 의하더라도(즉, 색 항상성의 문제 없이) 주된 한 가지의 색이 아니다. 그러나 일부 표준 색 중 하나로 이 같은 복잡한 객체를 분류할 수 있다(분류한다). 이에 대한 바람직한 일 실시예는 자동차 색을 인식하는 경우를 들 수 있다. 때로는 통상적인 차가 (음영, 반사 및 도로 또는 배경의 일부를 과실로 포함하는 것뿐만 아니라) 타이어, 창, 전면 유리 및 범퍼 때문에 주로 검은색 또는 은색이지만, 사람은 빈번하게 차의 본체의 색에 기초하여 자동차를 참조한다. 유사하게, 사람은 코드 또는 재킷의 색에 따라 소매 시장(retail environment)에 들어가는 사람을 분류하는 것이 유용하다는 것을 안다.
색 지시자 모듈(38)은 사용자(16; 또는 시스템(12))가 임계값을 특정할 수 있도록 함으로써 현저한 색의 검출을 수행하며, 여기서 임계값은 검은색, 흰 색 및 각각이 현저한 색이라는 것을 설명하는데 필요한 색의 양을 표시한다. 색상은 색의 양이 충분한 경우 무채색 영역에 걸쳐 선택된다(색의 양은 적을 수도 있다). 또한, 서로 다른 색을 분별하기(discern) 어려운 것과 연관된 파라미터에 기초하여 서로 다른 색이 존재하는지를 결정하기 위해 서로 다른 임계값이 사용된다. 예컨대, 검은색, 녹색, 보라색 및 회색은 빨간색, 노란색, 오렌지색, 핑크색 및 하얀색보다 구별하기 더 어려울 수 있다. 이러한 방식으로 색 지시자 모듈(38)은 본 발명의 다양한 실시예에서 피드백을 제공할 수 있다.
다른 실시예에서, 단계 D2에서, 사용자(16)는 트랙 히스토그램을 양자화하기 위해 파라미터(52)를 명시적으로 특정할 수 있다.
또 다른 실시예에서, 사용자(16)는 직접적으로 객체 트랙에서의 색 공간의 이산화의 피드백 시각화 및/또는 데이터(50)에 저장된 색 분류로의 객체 트랙의 분류화(classification)로 파라미터(52)를 특정할 수 있다. 본 명세서에서 설명한 모든 실시예에서, IBM 지능 감시 시스템(IBM Smart Surveillance System; 단계 S3) 과 같은 시스템이 객체 트랙킹, 트랙 색 히스토그래밍, 양자화 및/또는 분류화의 중간 및 최종 결과로 액세스하는데 이용될 수 있다. 이 같은 시스템에 의해, 사용자는 파라미터화의 현재 결과를 신속하고 시각적으로 검사할 수 있고 파라미터화에 대한 변화의 효과에 대한 피드백을 즉각적으로 얻을 수 있다. 일 실시예에서, 사용자(16)는 색 공간의 파라미터화를 상호작용으로 수정할 수 있고, 객체 트랙의 픽셀이 생 공간에서 이산화되는 방법 및/또는 객체 트랙의 픽셀이 친화 색으로 분류되는 방법을 조사한다.
또 다른 실시예에서, 파라미터(52; 도 3)는 단계 S4에서 누적 히스토그램을 생성하는 히스토그램 모듈(34)로부터의 트랙 히스토그램 출력(54; 도 3)으로부터 도출된다.
또 다른 실시예에서, 객체 색 분포(object colour distribution)가 색 공간을 양자화하는 파라미터를 최적으로 특정하는데 이용될 수 있다. 이는 자동으로 또는 사용자의 피드백에 의해 이루어질 수 있지만, 비디오/장면/카메라/광 조건의 재평가를 더 이상 필요로 하지 않는다. 색 분포 정보가 조건이 변화하는 동안 보다 긴 기간에 걸쳐 수집되는 경우, 정보는 색 분류화를 최적화하는데 필요한 파라미터에서의 상대적인 차이를 습득하는데 이용될 수 있다.
또 다른 실시예에서, 본 발명은 실행될 때, 컴퓨터 시스템으로 하여금 비디오(40)에서 이동 객체(92; 도 1)를 친화 색으로 분류가능하게 하는, 컴퓨터 판독가능 매체에 저장된 컴퓨터 프로그램을 제공한다. 가능한 한, 컴퓨터 판독가능 매체는 본 명세서에서 설명한 프로세스를 구현하는, 색 분류 프로그램(30; 도 1)과 같 은 프로그램 코드를 포함한다. 용어 "컴퓨터 판독가능 매체"는 프로그램 코드의 복사본을 구현할 수 있는 하나 이상의 임의의 타입을 가진 유형의 표현 매체(예컨대, 물리적 실시예)를 포함한다. 구체적으로, 컴퓨터 판독가능 매체는 데이터 신호가 네트워크상에서 이동하는 동안(예컨대, 컴퓨터 프로그램의 유/무선 전자 배포를 하는 동안), 하나 이상의 휴대용 저장 제조물 또는 예컨대, 메모리(22A; 도 1) 및/또는 저장 시스템(22B; 도 1)과 같은 컴퓨팅 장치의 하나 이상의 데이터 저장 부분에서 구현되거나, (예컨대, 스캐닝되어 전자 데이터로 변환될 수 있는) 종이 등과 같은 매체에서 구현되는 프로그램 코드를 포함할 수 있다.
또 다른 실시예에서, 본 발명은 비디오(40)에서 이동 객체(92; 도 1)를 친화 색으로 분류하기 위한 시스템을 생성하는 방법을 제공한다. 이 경우, 컴퓨터 시스템(12; 도 1)과 같은 컴퓨터 시스템이 획득(예컨대, 생성, 유지, 사용 등) 될 수 있고, 본 명세서에서 설명한 프로세스를 수행하기 위한 하나 이상의 프로그램/시스템이 획득(생성, 구매, 사용, 수정 등)될 수 있으며, 컴퓨터 시스템에 배포(deploy)될 수 있다. 가능한 한, 배포는 (1) 컴퓨터 판독가능 매체로부터 컴퓨팅 장치(14; 도 1)와 같은 컴퓨팅 장치에 프로그램 코드를 설치하는 것, (2) 컴퓨팅 시스템에 하나 이상의 컴퓨팅 장치를 부가하는 것, 및 (3) 컴퓨터 시스템의 하나 이상의 기존 장치를 통합 및/또는 수정하여 컴퓨터 시스템이 본 명세서에서 설명한 프로세스를 수행할 수 있게 하는 것 중 하나 이상을 포함할 수 있다.
또 다른 실시예에서, 본 발명은 사용자가 가입(subscription), 광고 및/또는 요금 기반에 대해 본 명세서에서 설명한 프로세스를 수행할 수 있게 하는, 비디 오(40)에서 이동 객체(92; 도 1)를 친화 색으로 분류하는 비즈니스 방법을 제공한다. 즉, 서비스 제공자는 본 명세서에서 설명한 바와 같이 사용자가 비디오(40)에서 이동 객체(92; 도 1)을 친화 색으로 분류할 수 있게 하는 네트워크 및/또는 컴퓨터 시스템(12,; 도 1)을 관리하도록 제안할 수 있다. 이 경우, 서비스 제공자는 본 명세서에서 설명한 프로세스를 수행하는, 컴퓨터 시스템(12)과 같은 컴퓨터 시스템을 이용하여 사용자가 콘텐츠를 통신할 수 있게 하는 가상 및/또는 물리 네트워크를 관리(예컨대, 생성, 유지, 지원 등)를 할 수 있다. 그 대신, 서비스 제공자는 가입 및/또는 요금 계약에 따라 사용자(들)로부터 요금을 받을 수 있고, 하나 이상의 제3자 등에 대한 판매 광고로부터 요금을 받을 수 있다.
본 명세서에서 사용한 바와 같이, "프로그램 코드"는 임의의 언어, 코드 또는 기호법(notation)으로 된 선언문들(statements) 또는 명령어들(instructions)의 임의의 집합을 의미하는데, 선언문들 또는 명령어들은 정보 프로세싱 기능을 가진 컴퓨팅 장치로 하여금 (a) 다른 언어, 코드 또는 기호법으로의 변환, (b) 상이한 재료 형태로의 재생, 및/또는 (c) 압축 풀기(decompression)의 임의의 조합을 수행한 직후 또는 그 이후에 특정 기능을 수행하도록 한다. 가능한 한, 프로그램 코드는 애플리케이션/소프트웨어 프로그램, 기능의 컴포넌트 소프트웨어/라이브러리 컴포넌트, 운영 시스템, 특정 컴퓨팅을 위한 기본 입출력 시스템/드라이버, 저장장치 및/또는 입출력 장치 등과 같은 하나 이상 유형의 컴퓨터 프로그램의 임의의 조합으로 구현될 수 있다.
본 발명의 다양한 태양에 대한 상술한 설명은 예시 및 설명을 위해 제시되었 다. 본 발명을 개시된 정확한 형태에 한정시키고자 위한 하는 것이 아니며, 다양한 수정 및 변경이 명백히 가해질 수 있다. 당업자에게 명백할 수 있는 이 같은 수정 및 변경은 첨부된 특허청구범위에 의해 정의된 본 발명의 범위 내에 포함된다.

Claims (10)

  1. 비디오에서 이동 객체들을 분류하기 위한 방법으로서,
    비디오 입력을 수신하는 단계;
    상기 비디오 입력의 하나 이상의 객체 트랙(object track)을 결정하는 단계;
    상기 하나 이상의 객체 트랙의 정규화된 누적 히스토그램(normalized cumulative histogram)을 생성하는 단계;
    채도(saturation)와 명도(intensity) 중 하나로부터 도출된 하나 이상의 표면 곡선에 기초하여 상기 히스토그램을 영역들로 분리시키는 것을 포함하여, 상기 히스토그램의 파라미터화된 양자화(parameterization quantization)를 수행하는 단계; 및
    상기 양자화된 히스토그램의 현저한 색(significant colour)을 식별하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서,
    파라미터화된 양자화와 상기 현저한 색 중 하나를 출력하는 단계를 더 포함하는 방법.
  3. 제1항에 있어서,
    상기 수행하는 단계는,
    색 공간을 유채색 및 무채색 영역들로 분리시키는 단계, 및 하나 이상의 임계값을 이용하여 상기 영역들을 나누는 단계를 포함하는 방법.
  4. 제1항에 있어서,
    상기 하나 이상의 객체 트랙의 복수의 프레임을 부분 샘플링(sub sampling)하는 단계를 더 포함하는 방법.
  5. 제1항에 있어서,
    상기 수행하는 단계는, 데이터 베이스로부터 이동 객체들의 색 또는 색 분류 결과들의 이산화(discretization)에 대한 피드백 시각화 중 하나를 가지는 양자화된 파라미터를 설정하는 단계를 포함하는 방법.
  6. 제1항에 있어서,
    상기 히스토그램의 출력을 이용하여 양자화 및 현저한 색 식별 파라미터들 중 하나를 도출하는 단계를 더 포함하는 방법.
  7. 제1항에 있어서,
    객체 색 분포를 이용하여 상기 양자화 파라미터들을 특정하는 단계를 더 포함하는 방법.
  8. 제1항에 있어서,
    양자화와 현저한 색 식별 파라미터들 중 하나와 연관된 상대적인 차이를 결정하기 위해, 객체 색 분포와 연관된 이력 데이터(historical data)를 이용하는 단계를 더 포함하는 방법.
  9. 비디오에서 이동 객체들을 분류하기 위한 장치로서, 상기 장치는
    비디오 입력을 수신하기 위한 수단;
    상기 비디오 입력의 하나 이상의 객체 트랙을 결정하기 위한 수단;
    상기 하나 이상의 객체 트랙의 정규화된 누적 히스토그램을 생성하기 위한 수단;
    채도와 명도 중 하나로부터 도출된 하나 이상의 표면 곡선에 기초하여 상기 히스토그램을 영역들로 분리시키는 것을 포함하여, 상기 히스토그램의 파라미터화된 양자화를 수행하기 위한 수단; 및
    상기 양자화된 히스토그램과 연관된 현저한 색을 식별하기 위한 수단
    을 포함하는 장치.
  10. 컴퓨터 상에서 실행될 때, 제1항 내지 제8항 중 어느 한 항의 모든 단계를 수행하도록 구성된 프로그램 코드 수단을 포함하는 컴퓨터 프로그램.
KR1020097017420A 2007-03-20 2008-02-15 비디오 내 이동 객체의 친화 색으로의 분류 KR101039202B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/688,588 US8223835B2 (en) 2007-03-20 2007-03-20 Categorizing moving objects into familiar colors in video
US11/688,588 2007-03-20

Publications (2)

Publication Number Publication Date
KR20090122212A true KR20090122212A (ko) 2009-11-26
KR101039202B1 KR101039202B1 (ko) 2011-06-03

Family

ID=39766537

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020097017420A KR101039202B1 (ko) 2007-03-20 2008-02-15 비디오 내 이동 객체의 친화 색으로의 분류

Country Status (7)

Country Link
US (1) US8223835B2 (ko)
EP (1) EP2137697A2 (ko)
JP (1) JP4988872B2 (ko)
KR (1) KR101039202B1 (ko)
AU (1) AU2008228412B2 (ko)
IL (1) IL200645A (ko)
WO (1) WO2008113650A2 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190110800A (ko) * 2018-03-21 2019-10-01 (주) 올림플래닛 실린더 디스플레이를 위한 공간 왜곡 보정 시스템 및 방법
KR20210061705A (ko) * 2019-11-20 2021-05-28 한국전력공사 전력 데이터의 이미지화 장치 및 그 방법

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI382762B (zh) * 2008-11-17 2013-01-11 Ind Tech Res Inst 移動物體的追蹤方法
US20120092492A1 (en) * 2010-10-19 2012-04-19 International Business Machines Corporation Monitoring traffic flow within a customer service area to improve customer experience

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6292074A (ja) 1985-10-17 1987-04-27 Mitsubishi Electric Corp カラ−画像変換装置
US5740345A (en) 1995-03-28 1998-04-14 Compaq Computer Corporation Method and apparatus for displaying computer graphics data stored in a compressed format with an efficient color indexing system
US6411953B1 (en) 1999-01-25 2002-06-25 Lucent Technologies Inc. Retrieval and matching of color patterns based on a predetermined vocabulary and grammar
US6424370B1 (en) * 1999-10-08 2002-07-23 Texas Instruments Incorporated Motion based event detection system and method
US20010014356A1 (en) * 1999-12-24 2001-08-16 Yuzo Yoshida Plasminogen activator inhibitor and external preparation for skin comprising the same
KR100459893B1 (ko) 2002-01-08 2004-12-04 삼성전자주식회사 동영상에서 칼라 기반의 객체를 추적하는 방법 및 그 장치
JP4151631B2 (ja) 2004-09-08 2008-09-17 日産自動車株式会社 物体検出装置
JP4625949B2 (ja) 2005-02-18 2011-02-02 国立大学法人九州工業大学 物体追跡方法および物体追跡装置ならびにプログラム
JP2007011696A (ja) 2005-06-30 2007-01-18 Matsushita Electric Ind Co Ltd 映像検索装置及び映像検索方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190110800A (ko) * 2018-03-21 2019-10-01 (주) 올림플래닛 실린더 디스플레이를 위한 공간 왜곡 보정 시스템 및 방법
KR20210061705A (ko) * 2019-11-20 2021-05-28 한국전력공사 전력 데이터의 이미지화 장치 및 그 방법

Also Published As

Publication number Publication date
EP2137697A2 (en) 2009-12-30
WO2008113650A2 (en) 2008-09-25
IL200645A (en) 2014-07-31
KR101039202B1 (ko) 2011-06-03
US20080232685A1 (en) 2008-09-25
AU2008228412B2 (en) 2013-01-10
JP4988872B2 (ja) 2012-08-01
WO2008113650A3 (en) 2009-09-03
AU2008228412A1 (en) 2008-09-25
JP2010521757A (ja) 2010-06-24
IL200645A0 (en) 2010-05-17
US8223835B2 (en) 2012-07-17

Similar Documents

Publication Publication Date Title
CN103069434B (zh) 用于多模式视频事件索引的方法和系统
CN109151501A (zh) 一种视频关键帧提取方法、装置、终端设备及存储介质
US20130336582A1 (en) Image processing apparatus, image processing method, and storage medium
CN111833340A (zh) 图像检测方法、装置、电子设备及存储介质
US8922674B2 (en) Method and system for facilitating color balance synchronization between a plurality of video cameras and for obtaining object tracking between two or more video cameras
CN107527045A (zh) 一种面向多路视频的人体行为事件实时分析方法
CN113627226A (zh) 使用神经网络在具有宽范围光强度的场景中进行对象检测
US9256803B2 (en) Automatic detection of persistent changes in naturally varying scenes
KR101039202B1 (ko) 비디오 내 이동 객체의 친화 색으로의 분류
Ansari et al. Significance of color spaces and their selection for image processing: a survey
Kim et al. Adaptive patch based convolutional neural network for robust dehazing
CN108900895B (zh) 一种对视频流的目标区域的屏蔽方法及其装置
CN104145477A (zh) 调整颜色的方法及系统
Liu et al. Scene background estimation based on temporal median filter with Gaussian filtering
CN112383824A (zh) 视频广告过滤方法、设备及存储介质
Choudhury et al. Segmenting foreground objects in a multi-modal background using modified Z-score
KR101547255B1 (ko) 지능형 감시 시스템의 객체기반 검색방법
KR101064946B1 (ko) 다중 영상 분석 기반의 객체추출 장치 및 그 방법
Sankaranarayanan et al. Efficient vehicle detection for traffic video-based intelligent transportation systems applications using recurrent architecture
CN111724297B (zh) 图像处理方法及装置
Garcia Freitas et al. Referenceless image quality assessment by saliency, color-texture energy, and gradient boosting machines
Brown Color retrieval for video surveillance
Ismael Comparative study for different color spaces of image segmentation based on Prewitt edge detection technique
CN115474084B (zh) 一种视频封面图像的生成方法、装置、设备和存储介质
CN110942420A (zh) 一种图像字幕的消除方法及装置

Legal Events

Date Code Title Description
PA0105 International application

Patent event date: 20090820

Patent event code: PA01051R01D

Comment text: International Patent Application

A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20091012

Comment text: Request for Examination of Application

PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20110107

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20110419

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20110530

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20110530

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20150409