KR20110074107A - 카메라를 이용한 오브젝트 검출 방법 - Google Patents

카메라를 이용한 오브젝트 검출 방법 Download PDF

Info

Publication number
KR20110074107A
KR20110074107A KR1020090130975A KR20090130975A KR20110074107A KR 20110074107 A KR20110074107 A KR 20110074107A KR 1020090130975 A KR1020090130975 A KR 1020090130975A KR 20090130975 A KR20090130975 A KR 20090130975A KR 20110074107 A KR20110074107 A KR 20110074107A
Authority
KR
South Korea
Prior art keywords
histogram
search window
camera
search
pixel
Prior art date
Application number
KR1020090130975A
Other languages
English (en)
Other versions
KR101652261B1 (ko
Inventor
강우성
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020090130975A priority Critical patent/KR101652261B1/ko
Priority to US12/977,645 priority patent/US8515165B2/en
Publication of KR20110074107A publication Critical patent/KR20110074107A/ko
Application granted granted Critical
Publication of KR101652261B1 publication Critical patent/KR101652261B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/277Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/223Analysis of motion using block-matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/50Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G06V10/7515Shifting the patterns to accommodate for positional errors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758Involving statistics of pixels or of feature values, e.g. histogram matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 카메라를 이용한 오브젝트(Object) 검출 방법에 있어서, 상기 오브젝트가 입력된 영상 데이터를 기 설정된 영역으로 분할하여 영역별로 검색 윈도우를 생성하는 과정과, 상기 영역별 검색 윈도우의 히스토그램(histogram)을 연산하는 과정과, 미리 저장된 오브젝트의 히스토그램과 상기 검색 윈도우별 히스토그램의 유사도에 근거하여 상기 검색 윈도우에 위치하는 픽셀에 가중치를 부여하는 과정과, 상기 가중치가 부여된 방향으로 검색 윈도우를 평균 이동하여, 상기 오브젝트에 수렴하는 과정과, 상기 오브젝트에 수렴하는 검색 윈도우 중에서 오브젝트 히스토그램과 최대 유사도를 갖는 검색 윈도우를 선택하여 상기 오브젝트의 위치를 검출 및 추적하는 과정을 포함함을 특징으로 한다.
카메라, 오브젝트 검출, 에지 히스토그램, 색상 히스토그램

Description

카메라를 이용한 오브젝트 검출 방법{METHOD FOR DETECTING OBJECT USING CAMERA}
본 발명은 오브젝트 검출 방법에 관한 것으로, 특히 상기 오브젝트가 입력된 영상 데이터에 영역별 검색 윈도우를 생성하여, 상기 미리 저장된 오브젝트와 검색 윈도우간의 히스토그램의 연산을 기반으로 각 픽셀별 유사도 비교를 통해, 상기 히스토그램 간의 유사도를 최대화하여 상기 검색 윈도우가 오브젝트의 위치로 수렴하도록 하는 카메라를 이용한 오브젝트 검출 방법에 관한 것이다.
일반적으로 카메라를 구비한 모바일 카메라를 이용한 오브젝트 검출 즉, 사용자 손과 같이 외양이 변화가 심한 오브젝트를 검출하는 방법은 인식 가능한 손 모양 또는 손 패턴을 미리 설정하고, 상기 카메라를 통해 입력된 영상에서 손모양을 검출한다.
종래의 오브젝트 인식 방법은 대부분 입력 신호들에 각각 대응하는 오브젝트들을 정의하고, 미리 학습 또는 저장된 오브젝트와 현재 입력 영상 속 오브젝트를 비교하는 방법을 제안하고 있으며, 이와 같은 종래의 카메라를 이용한 오브젝트 검출 방법들을 종류별로 구분하여 설명하자면 다음과 같다.
전역 검색 방법
상기 방법은 얼굴 검출, 침입자 탐지, 차량 번호판 탐지와 같은 응용분야를 위해 개발되었으며, 도 1에 도시된 바와 같이, 순차적 검색에 의한 탐지 방법에서는 주로 오브젝트를 통계적 학습 기법이나 지역적 특징 추출법을 이용하여 모델링하고, 이 정보를 저장하여 입력 영상의 전 범위를 영상의 좌 상단에서 우 하단 방향으로 순차적으로 조사하여 오브젝트를 검출하도록 하는 것으로, 전 영역을 이동하여 비교 분석해야 하기 때문에 많은 연산량을 요구하게 되어, 제한적인 연산능력을 갖춘 시스템에서는 적절치 못한 문제점과 더불어, 주로 오브젝트의 회전변화에 대해 고려하지 않고 설계되었기 때문에 손과 같이 모양의 변화가 다양한 오브젝트를 검출할 수 없으며, 손과 같이 카메라의 근거리에서 빠르게 움직이는 경우에는 영상의 블러(blur)현상 때문에 검출에 실패하는 경우가 많다.
컬러 검출 방법
상기 방법은 검출하고자 하는 도 3에 도시된 바와 같이, 오브젝트의 색을 색 공간에서 범위를 지정하여 범위에 속하는 해당 픽셀을 획득함으로써 오브젝트를 검출하는 것으로, 이러한 방법은 검출하고자 하는 오브젝트가 피부색과 같은 단일색이 아닐 경우 모델링하기 어려운 단점이 있다.
또한, 상기 색 범위를 지정하는 방법은 유사한 색상을 모두 정의된 오브젝트로 간주하기 때문에, 원하지 않은 영역을 얻게 되어 정확하게 오브젝트의 위치를 찾아내는 것이 용이하지 않다.
차 영상 검출 방법
상기 방법은 도 2에 도시된 바와 같이, 연속적인 두 프레임간의 차이를 구하여, 픽셀 값의 변화를 감지하여 오브젝트를 검출하는 것으로, 카메라가 흔들리거나 이동할 경우 오브젝트를 검출하는 것이 불가능하며, 상기 방법으로 오브젝트를 검출했어도, 상기 오브젝트에 위치하는 픽셀 그룹핑 후 에지 영역에 대한 경계가 불분명하고, 개선된 차 영상 기법으로 배경 모델을 학습 후 저장하고, 이를 시간의 변화에 따라 갱신하면서 차 영상을 통해 오브젝트를 탐지하는 기법은 연속되는 프레임마다 각 픽셀별로 채널별 평균값과 분산값을 계산해야 하기 때문에 제한된 연산 능력 및 메모리를 갖는 시스템에는 적합하지 않다.
또한, 상기 방법은 오브젝트가 정지하고 있을 경우나, 움직임이 미비할 경우 오브젝트의 위치를 인식할 수 없는 문제점이 있다.
따라서, 본 발명은 제한된 연산 능력을 구비한 환경에서도, 오브젝트의 위치 검출이 가능하도록 통계적 학습법에 의해 획득된 오브젝트의 정보를 사용하여 영상 데이터의 전체 영역을 조사하지 않고, 배경이 흔들리는 경우나, 색 정보에 의한 오 탐지율을 최소화하여 연속적으로 오브젝트를 검출하도록 한다.
본 발명의 일 견지에 따르면, 카메라를 이용한 오브젝트(Object) 검출 방법에 있어서, 상기 오브젝트가 입력된 영상 데이터를 기 설정된 영역으로 분할하여 영역별로 검색 윈도우를 생성하는 과정과, 상기 영역별 검색 윈도우의 히스토그램(histogram)을 연산하는 과정과, 미리 저장된 오브젝트의 히스토그램과 상기 검색 윈도우별 히스토그램의 유사도에 근거하여 상기 검색 윈도우에 위치하는 픽셀에 가중치를 부여하는 과정과, 상기 가중치가 부여된 방향으로 검색 윈도우를 평균 이동하여, 상기 오브젝트에 수렴하는 과정과, 상기 오브젝트에 수렴하는 검색 윈도우 중에서 오브젝트 히스토그램과 최대 유사도를 갖는 검색 윈도우를 선택하여 상기 오브젝트의 위치를 검출 및 추적하는 과정을 포함함을 특징으로 한다.
본 발명의 다른 견지에 따르면, 컴퓨터로 읽을 수 있는 기록매체는 상기 오브젝트 검출 방법을 실행시키기 위한 프로그램을 기록한다.
본 발명의 또 다른 견지에 따르면, 휴대 단말은 상기 오브젝트 검출 방법을 실 행시키기 위한 프로그램을 기록한 매체를 구비한다.
상기한 본 발명에 따르면, 카메라를 이용한 오브젝트 검출 방법은, 영역별 생성된 검색 윈도우에 가중치를 부여하여 미리 저장된 오브젝트와 검색 윈도우 히스토그램 간의 유사도를 최대화함으로써, 상기 검색 윈도우가 빠르게 오브젝트의 위치에 수렴하도록 함으로써, 제한적인 시스템 내에서 과도한 연산이 필요 없이 오브젝트를 검출할 수 있는 이점이 있다.
이하 본 발명에 따른 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기 설명에서는 특정 사항들이 나타나고 있는데 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들이 본 발명의 범위 내에서 소정의 변형이나 혹은 변경이 이루어질 수 있음은 이 기술분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다.
본 발명은 촬영을 통해 획득된 영상에서 통계적 학습법에 의해 미리 저장된 오브젝트의 정보를 이용하여 상기 영상에 나타나는 오브젝트(object)의 움직임을 인식함으로써, 즉 상기 영상의 전체 영역을 검색하지 않고, 흔들리는 배경, 해당 오브젝트의 유사한 색상을 가진 배경 등과 같은 다양한 교란 요소에 강인한 영상 속 해당 오브젝트의 히스토그램에 가까운 대상의 움직임 특성만을 고려함으로써, 다양한 교란 요소에 강인하고 속도가 빠르고 다양한 애플리케이션에 적용할 수 있는 카메라를 이용한 오브젝트 검출 방식을 제안하는 것으로, 예를 들어, 메뉴 선택 시 마우스를 이용한 커서 혹은 포인터, 사진 보기, 게임 등과 같은 선택 방식의 사용자 인터페이스 기술에 적용 가능하다.
그리고, 이하 설명되는 오브젝트는 본 발명을 설명하는 데 있어서, 그 설명 편의를 위해 도시한 도면에서 목적하는 움직임 대상을 사용자의 손으로 도시하고 있으나, 구체적인 애플리케이션의 입력 방식에 따라서 이에 국한되지 않음은 자명할 것이다.
이하, 본 발명의 일 실시 예에 따른 카메라를 이용한 오브젝트 검출 방법이 적용된 동작을 도 4를 참조하여 개략적으로 설명하기로 한다.
도 4는 본 발명의 일 실시 예에 따른 카메라를 이용한 오브젝트 검출 방법이 적용된 오브젝트의 위치를 추적하는 단계의 개략적인 동작을 보인 화면 예시도로서, 상기 오브젝트의 움직임에 따른 시간 순으로 연속된 4개의 영상 프레임들(a, b, c 및 d)을 도시하였다.
먼저, 도 4의 (a)에 도시된 바와 같이, 카메라로부터 오브젝트(402)가 입력된 영상 데이터(410)를 미리 설정된 영역으로 분할하고, 상기 분할된 영역별로 검색 윈도우(401-1, 2, 3, 4)를 생성한다.
상기 영역별 검색 윈도우(401-1, 2, 3, 4)의 생성은 영상 데이터 프레임 전체에 대해 수행되거나, 상기 영상 데이터가 디스플레이되는 화면에 보여지는 영상 에서 검출하고자 하는 대상 오브젝트 또는 메모리에 지정된 디폴트 값에 따라 설정된 대상 오브젝트에 대해 수행될 수 있다.
그리고, 상기 영상 데이터(410)의 소정 영역에 각각 생성된 영역별 검색 윈도우(401-1, 2, 3, 4)들의 히스토그램(histogram)을 연산한다. 상기 히스토그램은 406에 도시된 바와 같이, 특정 윈도우 내 영상 안에서 픽셀들에 대한 명암값의 분포를 지칭하는 것으로, 히스토그램 406에 도시된 바와 같이, 현재 410 영상 데이터 내에서의 RGB 채널 및 에지 정보를 기반으로 한 오브젝트(402)가 상기 영상 데이터(410)로 진입하기 전이므로, 각 윈도우들(401-1, 2, 3, 4)은 영상의 변화가 없어서 화소들의 변화가 없거나 작기 때문에, 현재 입력 영상 데이터(410)내의 히스토그램과 이전 입력 영상 데이터 내의 히스토그램은 큰 차이가 없다.
이후, (b)에 도시된 바와 같이, 오브젝트(413)가 입력된 영상 데이터(412)에서, 상기 오브젝트(413)가 위치한 영역이 검색 윈도우가 위치한 영역과 일부 일치할 때의 해당 검색 윈도우에 가중치가 부여된 픽셀별 명암값은 407과 같은 형태이다.
계속해서, (c)에 도시된 오브젝트(416)가 입력된 영상 데이터에서 히스토그램에 기반한 영역별 검색 윈도우(404-1, 2, 3, 4)의 히스토그램이 생성되면, 미리 저장된 오브젝트의 히스토그램과 상기 검색 윈도우 별 히스토그램의 유사도에 근거하여 상기 검색 윈도우에 위치하는 픽셀에 가중치를 부여한다.
상기 픽셀별 가중치가 부여된 검색 윈도우(404-3, 404-4)는 상기 오브젝트의 움직임에 기반하여 시간 순에 따라 영상 데이터 프레임 별로 오브젝트(416)에 순차적으로 수렴한다. 이때, 상기 오브젝트(416)에 수렴하는 검색 윈도우들(404-3, 404-4) 중에서 (d)에 보인 바와 같이, 미리 저장된 오브젝트 히스토그램과 최대 유사도를 갖는 검색 윈도우(405)를 선택하고, 상기 오브젝트 히스토그램과 가장 근접한 히스토그램의 검색 윈도우가 아닌 나머지 검색 윈도우는 삭제된다. 상기 선택된 검색 윈도우(405)를 이용하여 이후 입력된 프레임들에서의 오브젝트 위치를 연속적으로 검출 및 추적한다.
이상에서는 본 발명의 일 실시 예에 따른 카메라를 이용한 오브젝트 검출 방법이 적용된 기기에서의 화면 동작을 개략적으로 살펴보았다. 이하에서는, 본 발명의 일 실시 예에 따른 카메라를 이용한 오브젝트 검출 방법에 대하여 자세히 살펴보기로 한다.
도 5는 본 발명의 일 실시 예에 따른 카메라를 이용한 오브젝트 검출 방법에 관한 전체 흐름도이다. 도 5를 참조하면, 먼저, 510 과정에서는 상기 카메라로부터 오브젝트가 입력된 영상 데이터(501)를 미리 설정된 영역으로 분할하고, 상기 분할된 영역별로 검색 윈도우(502)를 생성한다.
상기 검색 윈도우(502)는 기설정된 화소(pixel)수를 갖는 블록을 의미하는 것으로, 상기 오브젝트가 움직일 만한 여러 곳에 위치시키고 즉, 상기 영상 데이터가 디스플레이 되는 화면(501) 특성(예컨대, 크기)에 따라 블록에 위치하는 화소의 수 및 상기 블록의 수가 설정되어 생성된다.
이러한 검색 윈도우의 생성은 영상 데이터 프레임 전체에 대해 수행되거나, 상기 영상 데이터가 디스플레이되는 화면에 보여지는 영상에서 검출하고자 하는 대상 오브젝트 또는 메모리에 저장된 디폴트된 값에 따라 설정된 대상 오브젝트에 대해 수행될 수 있다.
또한, 상기 영역별 검색 윈도우 생성 단계는 가상적인 단계로서, 예를 들어, 상기 영상 데이터에는 N개의 검색 윈도우들이 생성되고, 상기 영상 데이터의 상기 오브젝트는 소정의 화소를 포함하는 블록 단위로 처리된다.
계속해서 512 과정에서는 상기 영상 데이터의 소정 영역에 각각 생성된 영역별 검색 윈도우들의 히스토그램(histogram)을 연산한다.
여기서, 히스토그램이란 특정 윈도우 내 영상 안에서 화소들에 대한 명암값의 분포를 의미하는 것으로, 504의 영상 데이터에 도시된 바와 같이 해당 영역별 검색 윈도우들의 막대모양을 한 히스토그램으로서, 상기 오브젝트(503)가 위치하는 영역에서 벗어난 검색 윈도우(505, 506)들은 일정한 명암값을 가진 히스토그램의 형태를 가지고, 상기 오브젝트(503)가 위치한 영역에 근접한 검색 윈도우(507, 508)들은 상기 오브젝트가 가지는 색에 기반하여 오브젝트에 수렴하는 방향으로 막대의 크기가 증가하여 상기 검색 윈도우(507, 508)들의 각 화소별 명암값을 히스토그램으로 보여준다.
그리고, 상기 영역별 검색 윈도우들의 히스토그램은 생성되는 검색윈도우에 대응하여 영상 데이터 프레임 전체 즉, 연속되는 프레임 마다 생성되는 것으로, 이 러한 검색 윈도우의 히스토그램은 하기의 <수학식 1>과 같이 표현된다.
<수학식 1>
Figure 112009080269277-PAT00001
(여기서, n은 히스토그램(T)의 bin의 인덱스(index)임.)
이와 같이 오브젝트가 입력된 영상 데이터에서 히스토그램에 기반한 각 영역별 검색 윈도우의 히스토그램이 생성되면, 514 과정에서는, 미리 저장된 오브젝트의 히스토그램과 상기 검색 윈도우별 히스토그램의 유사도에 근거하여 상기 검색 윈도우에 위치하는 픽셀에 가중치를 부여한다.
이때, 미리 저장된 오브젝트의 히스토그램을 T라고 할 때, RGB 채널과 에지 정보를 사용하여 다차원 공간에서 구성되는 히스토그램 T는 하기의 <수학식 2>과 같이 표현된다.
<수학식 2>
Figure 112009080269277-PAT00002
(여기서, i는 오브젝트가 입력된 영상 윈도우에서 i번째 영역이고, k는 히스토그램이 계산되어야 할 윈도우의 총 개수임.)
더욱 상세하게는, 상기 영상 데이터의 각 프레임에 대하여 오브젝트의 움직임에 따른 검색 윈도우들의 전후 픽셀 값들의 차이를 미리 저장된 오브젝트 히스토그램의 픽셀별 특징값과 비교하여 상기 영역별 검색 윈도우들 중 오브젝트 히스토 그램의 픽셀별 특징값과 유사한 값을 가지는 해당 검색 윈도우의 픽셀에 가중치를 부여한다.
상기 가중치를 부여하는 것은, RGB 채널 및 에지 정보를 기반으로 한 오브젝트의 일부 혹은 전체가 상기 검색 윈도우의 영역에 위치하고 있기 때문에 상기 검색 윈도우에 위치하는 픽셀별 특징값이 임계치 이상이므로, 검색 윈도우 히스토그램 상에서 상기 오브젝트의 밀집도에 따라 가중치를 부여하는 방식이다.
예를 들어, 상기 오브젝트의 RGB 채널과 에지 정보에 기반한 히스토그램의 픽셀별 특징값과 상기 검색 윈도우에 위치하는 픽셀별 특징값이 유사할수록 큰 값을 같도록 하여 가중치를 부여하고, 이는 하기의 <수학식 3>을 통해 획득한다.
<수학식 3>
Figure 112009080269277-PAT00003
(여기서,
Figure 112009080269277-PAT00004
는 i번째 영역의 첫번째 픽셀로서 가중치를 의미하고,
Figure 112009080269277-PAT00005
은 위치
Figure 112009080269277-PAT00006
인 픽셀의 컬러가 히스토그램의 어떤 인덱스에 속하는 가를 획득하기 위한 함수임.)
상기 <수학식 3>을 통해 획득된 가중치 값을 이용하여, 하기의 <수학식 4>와 같이 가중치가 부여된 검색 윈도우의 이동이 임계치 값 이하가 되어 오브젝트에 수렴할 때까지, 반복 연산하여 상기 검색 윈도우의 새 위치를 구하도록 한다.
<수학식 4>
Figure 112009080269277-PAT00007
이러한 검색 윈도우 내의 가중치가 부여된 픽셀들은509의 형태이고, 514 과정에서 가중치가 부여된 방향으로 상기 검색 윈도우를 평균 이동한다(516 과정).
상기 516 과정의 동작으로 인해, 상기 가중치가 부여된 검색 윈도우는 상기 오브젝트의 움직임에 기반하여 시간 순에 따라 영상 데이터의 프레임 별로 오브젝트에 순차적으로 수렴한다.
이후, 518 과정에서는 상기 오브젝트에 수렴하는 검색 윈도우 중에서 상기 오브젝트에 가장 근접한 검색 윈도우를 판별한다.
이때, 상기 오브젝트에 가장 근접한 검색 윈도우가 아닌 나머지 검색 윈도우는 삭제된다. 상기 오브젝트가 어느 방향으로 움직이느냐에 따라서, 이에 따른 영역별 검색 윈도우에 위치하는 픽셀별 특징값이 해당 방향에 편중되어 변화할 수 있으므로, 시간 순에 따른 프레임 별로 검색 윈도우의 픽셀별 특징값의 변화 없거나, 그 변화의 차이가 미비할 경우, 이러한 검색 윈도우가 위치하는 영역으로는 상기 오브젝트가 근접했다고 판별할 수 없으므로, 해당 검색 윈도우는 삭제된다.
상기 오브젝트에 가장 근접한 검색 윈도우를 판별하기 위한 연속되는 프레임별로 하기의 <수학식 5>를 통해 판별 가능하다.
<수학식 5>
Figure 112009080269277-PAT00008
만약, 영역별 검색 윈도우들의 상기 <수학식 5>의 결과가 임계치 이하의 값을 갖는 다면 즉, 시간 순에 따른 프레임 별로 검색 윈도우의 픽셀별 특징값이 변화 없거나, 그 변화의 차이가 미비할 경우, 현재 프레임에서 소정 영역에 위치하는 검색 윈도우는 삭제된다.
이후, 520 과정에서는 상기 518 과정에서 선택된 검색 윈도우를 이용하여 이후 입력되는 프레임들에서의 오브젝트의 위치를 연속적으로 검출 및 추적한다.
이때, 상기 선택된 검색 윈도우만을 이용하여, 오브젝트의 움직임에 따른 연속되는 프레임별 오브젝트의 위치 추적은, 상기 선택된 검색 윈도우의 전후 픽셀별 특징값들의 차이를 미리 저장된 오브젝트 히스토그램의 픽셀별 특징값과 비교하여 해당 픽셀에 가중치를 부여함으로써 수행된다.
본 발명의 카메라를 이용한 오브젝트 검출방법이 하드웨어, 소프트웨어(즉, 프로그램), 또는 이들의 조합의 형태로 구현될 수 있음은 자명하다. 이러한 프로그램은 컴퓨터와 같은 기계가 읽을 수 있는 휘발성 또는 비휘발성 기록매체에 저장될 수 있고, 이러한 기록매체는 ROM 등과 같은 저장 장치, RAM, 메모리 칩, 집적 회로 등과 같은 메모리, CD, DVD, 자기 디스크, 자기 테이프 등과 같은 광학 또는 자기 기록 매체일 수 있다. 즉, 본 발명의 에지 적응적 보간 및 노이즈 필터링 방법은 이를 실현하기 위한 코드들을 포함하는 프로그램의 형태로 구체화될 수 있다. 더 나아가서, 이러한 프로그램은 유선 또는 무선으로 전파되는 통신 신호와 같이 임의의 매체를 통해 전기적으로 전달될 수 있고, 본 발명은 이와 균등한 것들을 포함한다.
상기와 같이 본 발명에 따른 카메라를 이용한 오브젝트 검출 방법에 관한 동작이 이루어질 수 있으며, 한편 상기한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나 여러 가지 변형이 본 발명의 범위를 벗어나지 않고 실시될 수 있다. 따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 청구범위와 청구범위의 균등한 것에 의하여 정하여져야 할 것이다.
도 1은 종래에 따른 오브젝트 검출 시 전역 검색 방식을 나타내는 도면.
도 2는 종래에 따른 오브젝트 검출 시 컬러 검출 방식을 나타내는 도면.
도 3은 종래에 따른 오브젝트 검출 시 차 영상 검출 방식을 나타내는 도면.
도 4는 본 발명의 일 실시 예에 따른 카메라를 이용한 오브젝트 검출 방법이 적용된 동작을 보인 화면 예시도.
도 5는 본 발명의 일 실시 예에 따른 카메라를 이용한 오브젝트 검출 방법에 관한 전체 흐름도.

Claims (15)

  1. 카메라를 이용한 오브젝트(Object) 검출 방법에 있어서,
    상기 오브젝트가 입력된 영상 데이터를 기 설정된 영역으로 분할하여 영역별로 검색 윈도우를 생성하는 과정과,
    상기 영역별 검색 윈도우의 히스토그램(histogram)을 연산하는 과정과,
    미리 저장된 오브젝트의 히스토그램과 상기 검색 윈도우별 히스토그램의 유사도에 근거하여 상기 검색 윈도우에 위치하는 픽셀에 가중치를 부여하는 과정과,
    상기 가중치가 부여된 방향으로 검색 윈도우를 평균 이동하여, 상기 오브젝트에 수렴하는 과정과,
    상기 오브젝트에 수렴하는 검색 윈도우 중에서 오브젝트 히스토그램과 최대 유사도를 갖는 검색 윈도우를 선택하여 상기 오브젝트의 위치를 검출 및 추적하는 과정을 포함함을 특징으로 하는 카메라를 이용한 오브젝트 검출 방법.
  2. 제1항에 있어서, 상기 유사도는,
    상기 영상 데이터의 각 프레임에 대하여 오브젝트의 움직임에 따른 검색 윈도우들의 전후 픽셀값들의 차이를 미리 저장된 오브젝트 히스토그램의 픽셀별 특징값과 비교하여 상기 검색 윈도우들 중 오브젝트 히스토그램의 픽셀별 특징값에 해당하는 검색 윈도우를 검출하는 것임을 특징으로 하는 카메라를 이용한 오브젝트 검출 방법.
  3. 제1항에 있어서, 상기 미리 저장된 오브젝트의 히스토그램은,
    하기의 <수학식 2>의 형태임을 특징으로 하는 카메라를 이용한 오브젝트 검출 방법.
    <수학식 2>
    Figure 112009080269277-PAT00009
    (여기서, i는 오브젝트가 입력된 영상 윈도우에서 i번째 영역이고, k는 히스토그램이 계산되어야 할 윈도우의 총 개수임.)
  4. 제1항에 있어서, 상기 영역별 각 검색 윈도우의 히스토그램은,
    하기의 <수학식 1>의 형태임을 특징으로 하는 카메라를 이용한 오브젝트 검출 방법.
    <수학식 1>
    Figure 112009080269277-PAT00010
    (여기서, n은 히스토그램(T)의 bin의 인덱스(index)임.)
  5. 제1항에 있어서,
    상기 각 검색 윈도우 히스토그램의 연속되는 프레임별 유사도 레벨을 비교하 여, 상기 검색 윈도우의 픽셀의 값이 변경되지 않는 검색 윈도우를 삭제하는 과정을 더 포함함을 특징으로 하는 카메라를 이용한 오브젝트 검출 방법.
  6. 제1항에 있어서, 상기 히스토그램은,
    각 픽셀의 RGB 채널 및 에지(edge) 검출 방식을 이용하여 획득된 에지 정보를 이용하여 다차원 공간에서 구성됨을 특징으로 하는 카메라를 이용한 오브젝트 검출 방법.
  7. 제1항에 있어서, 상기 가중치를 부여하는 과정은,
    하기의 <수학식 3>을 통해 수행됨을 특징으로 하는 카메라를 이용한 오브젝트 검출 방법.
    <수학식 3>
    Figure 112009080269277-PAT00011
    (여기서,
    Figure 112009080269277-PAT00012
    는 i번째 영역의 첫번째 픽셀로서 가중치를 의미하고,
    Figure 112009080269277-PAT00013
    은 위치인 픽셀의 컬러가 히스토그램의 어떤 인덱스에 속하는 가를 획득하기 위한 함수임.)
  8. 제1항에 있어서, 상기 오브젝트에 수렴하는 과정은,
    하기의 <수학식 4>를 이용하여, 상기 검색 윈도우가 가중치가 부여된 방향으로 의 평균 이동을 반복적으로 수행하여 검색 윈도우의 다음 위치를 계산함을 특징으로 하는 카메라를 이용한 오브젝트 검출 방법.
    <수학식 4>
    Figure 112009080269277-PAT00014
  9. 제1항에 있어서, 상기 유사도는,
    상기 영상 윈도우 내에서 오브젝트의 움직임에 따라 변경됨을 특징으로 하는 카메라를 이용한 오브젝트 검출 방법.
  10. 제5항에 있어서, 상기 검색 윈도우의 연속되는 프레임별 유사도는,
    하기의 <수학식 5>의 형태임을 특징으로 하는 카메라를 이용한 오브젝트 검출 방법.
    <수학식 5>
    Figure 112009080269277-PAT00015
  11. 제1항에 있어서,
    사용자가 검출하고자 하는 오브젝트의 특징값이 반영된 히스토그램을 미리 저장하는 과정을 더 포함함을 특징으로 하는 카메라를 이용한 오브젝트 검출 방법.
  12. 제1항에 있어서, 상기 기 설정된 영역은,
    상기 영상 윈도우가 디스플레이되는 화면의 크기에 따라 조절됨을 특징으로 하는 카메라를 이용한 오브젝트 검출 방법.
  13. 제1항에 있어서, 상기 검색 윈도우의 평균 이동은,
    상기 오브젝트가 입력된 영상 윈도우에서 픽셀 단위로 이동함을 특징으로 하는 카메라를 이용한 오브젝트 검출 방법.
  14. 제1항 내지 제13항 중 어느 한 항의 카메라를 이용한 오브젝트 검출 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  15. 제1항 내지 제13항 중 어느 한 항의 카메라를 이용한 오브젝트 검출 방법을 실행시키기 위한 프로그램을 기록한 기록매체를 구비한 휴대 단말.
KR1020090130975A 2009-12-24 2009-12-24 카메라를 이용한 오브젝트 검출 방법 KR101652261B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020090130975A KR101652261B1 (ko) 2009-12-24 2009-12-24 카메라를 이용한 오브젝트 검출 방법
US12/977,645 US8515165B2 (en) 2009-12-24 2010-12-23 Method of detecting an object using a camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090130975A KR101652261B1 (ko) 2009-12-24 2009-12-24 카메라를 이용한 오브젝트 검출 방법

Publications (2)

Publication Number Publication Date
KR20110074107A true KR20110074107A (ko) 2011-06-30
KR101652261B1 KR101652261B1 (ko) 2016-08-30

Family

ID=44187650

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090130975A KR101652261B1 (ko) 2009-12-24 2009-12-24 카메라를 이용한 오브젝트 검출 방법

Country Status (2)

Country Link
US (1) US8515165B2 (ko)
KR (1) KR101652261B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013012150A1 (ko) * 2011-07-18 2013-01-24 한양대학교 산학협력단 에지의 방향 성분을 검출하는 영상 필터링 방법 및 이를 이용한 영상 인식 방법
WO2014007562A1 (ko) * 2012-07-06 2014-01-09 인텔렉추얼 디스커버리 주식회사 영상 검색방법 및 장치
KR101537788B1 (ko) * 2014-02-06 2015-07-17 동서대학교산학협력단 평균이동 기반의 영상분할 방식을 이용한 저조도 영상 대비증가 방법

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10440402B2 (en) 2011-01-26 2019-10-08 Afterlive.tv Inc Method and system for generating highlights from scored data streams
CN105872187A (zh) * 2015-01-23 2016-08-17 青岛海信移动通信技术股份有限公司 一种快速拍照的方法及装置
US9710911B2 (en) * 2015-11-30 2017-07-18 Raytheon Company System and method for generating a background reference image from a series of images to facilitate moving object identification
CN105678330B (zh) * 2016-01-05 2019-02-05 北京环境特性研究所 一种基于高斯加权的直方图匹配方法
JP7018001B2 (ja) * 2018-09-20 2022-02-09 株式会社日立製作所 情報処理システム、情報処理システムを制御する方法及びプログラム
CN111623810A (zh) * 2019-02-27 2020-09-04 多方科技(广州)有限公司 移动侦测方法及其电路

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000048211A (ja) * 1998-07-31 2000-02-18 Matsushita Electric Ind Co Ltd 移動物体追跡装置
KR20080095787A (ko) * 2007-04-24 2008-10-29 소니 가부시끼 가이샤 유사 화상 판정 장치 및 유사 화상 판정 방법
KR100886323B1 (ko) * 2007-10-10 2009-03-04 성균관대학교산학협력단 컬러 히스토그램을 이용한 실시간 물체 추적 방법 및 장치

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3912859A (en) * 1962-06-08 1975-10-14 Philco Ford Corp Electronic tracking device
US3974328A (en) * 1971-07-23 1976-08-10 Martin Marietta Corporation Line scan area signature detection system
EP0682449B1 (en) * 1988-09-09 2003-01-02 Canon Kabushiki Kaisha Automatic image stabilization device
US6002793A (en) * 1992-01-30 1999-12-14 Cognex Corporation Machine vision method and apparatus for finding an object orientation angle of a rectilinear object
US5614945A (en) * 1993-10-19 1997-03-25 Canon Kabushiki Kaisha Image processing system modifying image shake correction based on superimposed images
JP3596314B2 (ja) * 1998-11-02 2004-12-02 日産自動車株式会社 物体端の位置計測装置および移動体の通行判断装置
US7130446B2 (en) * 2001-12-03 2006-10-31 Microsoft Corporation Automatic detection and tracking of multiple individuals using multiple cues
KR100459893B1 (ko) * 2002-01-08 2004-12-04 삼성전자주식회사 동영상에서 칼라 기반의 객체를 추적하는 방법 및 그 장치
JP3836814B2 (ja) 2003-05-20 2006-10-25 株式会社東芝 画像処理方法、画像処理装置、画像処理プログラム
US7650016B2 (en) * 2004-07-30 2010-01-19 Lockheed Martin Corporation System and method for tracking motion of an object image
US7447337B2 (en) * 2004-10-25 2008-11-04 Hewlett-Packard Development Company, L.P. Video content understanding through real time video motion analysis
KR100751407B1 (ko) 2005-03-09 2007-08-23 엘지전자 주식회사 영상 부호화 장치 및 움직임 추정 방법
JP4166253B2 (ja) 2006-07-10 2008-10-15 トヨタ自動車株式会社 物体検出装置、物体検出方法、および物体検出用プログラム
US8204278B2 (en) * 2006-11-28 2012-06-19 Fujitsu Limited Image recognition method
KR100818289B1 (ko) * 2007-02-02 2008-03-31 삼성전자주식회사 비디오 영상 트레킹 방법 및 장치
US8218817B2 (en) * 2007-12-21 2012-07-10 Honda Motor Co. Ltd. Online articulate object tracking with appearance and shape
WO2009098894A1 (ja) * 2008-02-06 2009-08-13 Panasonic Corporation 電子カメラおよび画像処理方法
KR100977259B1 (ko) 2008-03-17 2010-08-23 전남대학교산학협력단 다중 기울기 히스토그램을 이용한 사람 탐색 및 추적 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000048211A (ja) * 1998-07-31 2000-02-18 Matsushita Electric Ind Co Ltd 移動物体追跡装置
KR20080095787A (ko) * 2007-04-24 2008-10-29 소니 가부시끼 가이샤 유사 화상 판정 장치 및 유사 화상 판정 방법
KR100886323B1 (ko) * 2007-10-10 2009-03-04 성균관대학교산학협력단 컬러 히스토그램을 이용한 실시간 물체 추적 방법 및 장치

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013012150A1 (ko) * 2011-07-18 2013-01-24 한양대학교 산학협력단 에지의 방향 성분을 검출하는 영상 필터링 방법 및 이를 이용한 영상 인식 방법
US9355335B2 (en) 2011-07-18 2016-05-31 Iucf-Hyu (Industry-University Cooperation Foundation Hanyang University) Image filtering method for detecting orientation component of edge and image recognizing method using the same
WO2014007562A1 (ko) * 2012-07-06 2014-01-09 인텔렉추얼 디스커버리 주식회사 영상 검색방법 및 장치
KR101537788B1 (ko) * 2014-02-06 2015-07-17 동서대학교산학협력단 평균이동 기반의 영상분할 방식을 이용한 저조도 영상 대비증가 방법

Also Published As

Publication number Publication date
US20110158518A1 (en) 2011-06-30
KR101652261B1 (ko) 2016-08-30
US8515165B2 (en) 2013-08-20

Similar Documents

Publication Publication Date Title
US10782688B2 (en) Method, control apparatus, and system for tracking and shooting target
KR20110074107A (ko) 카메라를 이용한 오브젝트 검출 방법
KR102364993B1 (ko) 제스처 인식 방법, 장치 및 디바이스
JP6158446B2 (ja) 表示の区分およびビデオフレームのクラスタ化のためのオブジェクトの選択およびトラッキング
US9560271B2 (en) Removing unwanted objects from photographed image
EP3008696B1 (en) Tracker assisted image capture
JP5554984B2 (ja) パターン認識方法およびパターン認識装置
US10896495B2 (en) Method for detecting and tracking target object, target object tracking apparatus, and computer-program product
EP1542153A1 (en) Object detection
EP2570992A1 (en) Image processing apparatus, image processing method, and program
JP2016085487A (ja) 情報処理装置、情報処理方法及びコンピュータプログラム
JP2019186955A (ja) 情報処理システム、情報処理方法及びプログラム
JP6292540B2 (ja) 情報処理システム、情報処理方法及びプログラム
US20230394792A1 (en) Information processing device, information processing method, and program recording medium
CN113424516A (zh) 处理从基于事件的光传感器的像素阵列异步地接收的一系列事件的方法
KR20130091441A (ko) 물체 추적 장치 및 그 제어 방법
CN111986229A (zh) 视频目标检测方法、装置及计算机系统
JP2014110020A (ja) 画像処理装置、画像処理方法および画像処理プログラム
US11605224B2 (en) Automated media editing operations in consumer devices
CN111784750A (zh) 视频图像中移动物体追踪方法、装置、设备以及存储介质
JP5962383B2 (ja) 画像表示システムおよび画像処理装置
Kaur Background subtraction in video surveillance
JP7215569B2 (ja) オブジェクト特徴量抽出装置、オブジェクト特徴量抽出方法及びプログラム
KR101908938B1 (ko) 배경모델 기반 시간축 최소값 필터링 및 로그 히스토그램을 이용한 전경 객체 검출 방법
KR20180082739A (ko) 단일 카메라를 이용한 영상에서 움직이는 객체 검출 방법 및 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190909

Year of fee payment: 4