KR101064946B1 - 다중 영상 분석 기반의 객체추출 장치 및 그 방법 - Google Patents

다중 영상 분석 기반의 객체추출 장치 및 그 방법 Download PDF

Info

Publication number
KR101064946B1
KR101064946B1 KR1020090076668A KR20090076668A KR101064946B1 KR 101064946 B1 KR101064946 B1 KR 101064946B1 KR 1020090076668 A KR1020090076668 A KR 1020090076668A KR 20090076668 A KR20090076668 A KR 20090076668A KR 101064946 B1 KR101064946 B1 KR 101064946B1
Authority
KR
South Korea
Prior art keywords
image
background
infrared
result
color
Prior art date
Application number
KR1020090076668A
Other languages
English (en)
Other versions
KR20110019090A (ko
Inventor
고종국
이수웅
이준섭
이준석
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020090076668A priority Critical patent/KR101064946B1/ko
Publication of KR20110019090A publication Critical patent/KR20110019090A/ko
Application granted granted Critical
Publication of KR101064946B1 publication Critical patent/KR101064946B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 다중 영상 분석 기반의 객체추출 장치 및 그 방법에 관한 것으로, 동적 배경에 대한 분별을 하기 위해 변화값이 큰 부분에 대해서 적외선 영상기반의 객체추출을 수행하고, 변화값이 작은 부분에 대해서 적외선 영상 및 칼라 영상의 다중 영상기반으로 객체추출을 수행하고, 수행된 각 객체추출 결과를 배경모델과의 비교방식을 통해 전경 객체 혹은 배경 객체로 지정하여 추출함으로써, 변화값이 커서 모델링 속도가 현저하게 떨어지게 되는 점과 가시광선으로 이루어진 스크린이나 모니터의 동적 화면 등이 나타나지 않게 되는 기존 문제점들을 해결할 수 있다. 또한, 적외선 영상기반으로만 객체추출 시 배경모델 정보와 비교시 적외선 영상 명암정보의 차이가 많이 나지 않을 경우에도 칼라정보 기반의 객체추출을 수행하므로 이를 보완하고 객체추출 정확성을 높일 수 있다.
칼라, 적외선, 객체, 추출, 다중 영상

Description

다중 영상 분석 기반의 객체추출 장치 및 그 방법{OBJECT ABSTRACTION APPARATUS BASED MULTI IMAGE ANALYSIS AND ITS METHOD}
본 발명은 다중 영상 분석 기반의 객체추출 장치 및 그 방법에 관한 것으로, 보다 상세하게는 동적 배경에 대하여 적외선 영상 및 칼라 영상의 선택적 혼합 기반으로 객체추출을 수행하고, 수행된 각 객체추출 결과를 배경모델과의 비교방식을 통해 전경 객체 혹은 배경 객체로 지정하여 추출하도록 하는 장치 및 그 방법에 관한 것이다.
본 발명은 지식경제부의 IT성장동력기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2008-S-025-02, 과제명: 디지털 교과서 및 u-러닝 활성화를 위한 요소기술 개발].
주지된 바와 같이, 영상에 대한 자동 추적 장치인 무인 감시 시스템, 영상 회의 시스템, 원격 화상 강의 시스템 등의 응용을 목적으로 다양한 영상 추적 기법이 제안되고 있으며, 이 영상 추적 기법을 위해 배경 객체와 전경 객체(또는 움직임 객체)를 분리하여 추출하여야만 한다.
이러한 영상 추적 기법으로는 배경 영상을 이용한 추출 기법과 연속 프레임을 이용한 추출 기법이 있고, 영상에서 원하는 객체를 추출하기 위해서 유사한 부분(영역)들을 하나로 묶는 영역 분할은 영역을 대표하는 특징에 기반으로 하여 유사한 화소들을 하나의 단위로 간주하며 동일한 성질을 갖는 영역들을 분할하는 영역 기반 영역화 방법과 영상에서 경계선을 추출한 후에 얻어진 경계선 정보를 이용하여 의미있는 영역들을 추출하는 경계선 기반의 영역화 방법이 알려져 있다.
이중 배경 영상을 이용한 추출 기법은, 배경 영역과 전경 영역을 구분하여 객체를 추출하는 기술로서, 이 기술은 칼라 혹은 흑백 영상기반에서 배경 정보의 모델링을 수행하고 모델링된 배경 정보를 기반으로 전경 영역인 객체를 추출할 수 있다.
상술한 바와 같이 종래 기술에서 언급된 배경 정보를 모델링함에 있어서 뒷배경이 화면 스크린이나 대형 모니터 화면으로 인해 배경 화면이 계속해서 변하는동적 배경인 경우에 그 모델링을 수행하는데 변화하는 값이 대용량 단위로 움직이기 때문에 모델링 속도가 현저하게 떨어지게 된다. 또한, 칼라 정보를 가지고 전경 객체에 대한 세그멘테이션을 수행할 경우 배경 객체와 전경 객체의 칼라 정보가 유사하여 전경 객체를 배경 객체로부터 분리할 때 가시광선으로 이루어진 스크린이나 모니터의 동적 화면 등이 나타나지 않게 되는 문제점이 있다.
이에, 본 발명의 기술적 과제는 상술한 바와 같은 문제점을 해결하기 위해 안출한 것으로, 동적 배경에 대한 분별을 하기 위해 변화값이 큰 부분에 대해서 적외선 영상기반의 객체추출을 수행하고, 변화값이 작은 부분에 대해서 적외선 영상 및 칼라 영상의 다중 영상기반으로 객체추출을 수행하고, 수행된 각 객체추출 결과를 배경모델과의 비교방식을 통해 전경 객체 혹은 배경 객체로 지정하여 추출하도록 하는 다중 영상 분석 기반의 객체추출 장치 및 그 방법을 제공한다.
본 발명의 일 관점에 따른 다중 영상 분석 기반의 객체추출 장치는, 칼라 이미지들로 분할된 각 블록을 통해 동적 배경을 결정하는 분할 및 결정부와, 동적 배경인 경우, 적외선 영상기반으로 획득한 적외선 영상과 적외선 배경 모델 데이터베이스(DB)에 저장된 적외선 배경 모델정보의 임계치값 간 배경차분을 통해 객체 픽셀을 추출하는 적외선 영상기반 추출부와, 동적 배경이 아닌 경우, 다중 영상기반으로 획득한 적외선 영상과 적외선 배경 모델정보의 임계치값 간 배경차분을 통해 계산된 적외선 영상기반 결과와 다중 영상기반으로 획득한 칼라 영상과 칼라 배경 모델 DB에 저장된 칼라 배경 모델정보의 임계치값 간 배경차분을 통해 계산된 칼라 영상기반 결과를 통해 객체 픽셀을 추출하는 다중 영상기반 추출부를 포함한다.
상술한 분할 및 결정부는, 칼라 영상에 대하여 칼라 이미지 블록들로 분할하는 이미지 분할부와, 칼라 이미지 블록들을 통해 뒷배경이 디스플레이 화면인 경우 동적 배경으로 변화값이 큰 결과로 계산하고, 뒷배경이 디스플레이 화면이 아닌 경 우 동적 배경이 아니므로 변화값이 작은 결과로 계산하는 변화값 계산부와, 변화값이 큰 결과인 경우 적외선 영상기반을 이용한 세그멘테이션을 수행하도록 결정하고, 변화값이 작은 결과인 경우 다중 영상기반을 이용한 세그멘테이션을 수행하도록 결정하는 세그멘테이션 결정부를 포함한다.
상술한 적외선 영상기반 추출부는, 적외선 영상과 객체추출을 위한 객체추출 명령 결과를 제공하는 적외선 영상기반 객체 추출부와, 객체추출 명령 결과에 따라 적외선 영상과 적외선 배경 모델정보의 임계치값 간 배경차분을 계산하여 임계치값의 이상으로 나오는 픽셀들을 전경 객체 픽셀로 지정하고, 임계치값의 이하인 나머지 픽셀들을 배경 객체 픽셀로 지정하는 적외선 영상기반 배경차분 계산부를 포함한다.
상술한 다중 영상기반 추출부는, 적외선 영상 및 칼라 영상, 객체추출을 위한 객체추출 명령 결과를 제공하는 다중 영상기반 객체 추출부와, 객체추출 명령 결과에 따라 적외선 영상과 적외선 배경 모델정보의 임계치값 간 배경차분을 계산하여 임계치값의 이상 및 이하의 결과값을 제공하는 적외선 영상기반 배경차분 계산부와, 객체추출 명령 결과에 따라 칼라 영상과 칼라 배경 모델 정보의 임계치값 간 배경차분을 계산하여 임계치값의 이상 및 이하의 결과값을 제공하는 칼라 영상기반 배경차분 계산부와, 칼라 영상기반 배경차분 계산부로부터 입력되는 임계치값의 이상 및 이하의 결과값과 적외선 영상기반 배경차분 계산부로부터 입력되는 임계치값의 이상 및 이하의 결과값을 분석하여 결과값이 모두 임계치값의 이상으로 나오는 픽셀들을 전경 객체 픽셀로 지정하고, 결과값이 모두 임계치값의 이하인 나 머지 픽셀들을 배경 객체 픽셀로 지정하는 다중 임계치 분석부를 포함한다.
상술한 동적 배경은, 뒷배경이 화면 스크린이나 대형 모니터 화면으로 배경화면이 연속적으로 변화하는 것을 특징으로 한다.
상술한 객체추출 장치는, 칼라 카메라에 의해 촬상된 칼라 영상과 적외선 카메라에 의해 촬상된 적외선 영상을 각각 입력받아 저장하는 프레임 그래버를 더 포함한다.
상술한 객체 픽셀은, 전경 객체 픽셀 혹은 배경 객체 픽섹인 것을 특징으로 한다.
또한, 본 발명의 다른 관점에 따른 다중 영상 분석 기반의 객체추출 방법은, 칼라 이미지들로 분할된 각 블록을 통해 동적 배경을 결정하는 단계와, 동적 배경인 경우, 적외선 영상기반으로 획득한 적외선 영상과 적외선 배경 모델 DB에 저장된 적외선 배경 모델정보의 임계치값 간 배경차분을 통해 객체 픽셀을 제1추출하는 단계와, 동적 배경이 아닌 경우, 다중 영상기반으로 획득한 적외선 영상과 적외선 배경 모델정보의 임계치값 간 배경차분을 통해 계산된 적외선 영상기반 결과와 다중 영상기반으로 획득한 칼라 영상과 칼라 배경 모델 DB에 저장된 칼라 배경 모델정보의 임계치값 간 배경차분을 통해 계산된 칼라 영상기반 결과를 통해 객체 픽셀을 제2추출하는 단계를 포함한다.
상술한 결정하는 단계는, 칼라 영상에 대하여 칼라 이미지 블록들로 분할하는 단계와, 칼라 이미지 블록들을 통해 뒷배경이 디스플레이 화면인 경우 동적 배경으로 변화값이 큰 결과로 계산하는 단계와, 뒷배경이 디스플레이 화면이 아닌 경 우 동적 배경이 아니므로 변화값이 작은 결과로 계산하는 단계와, 변화값이 큰 결과인 경우 적외선 영상기반을 이용한 세그멘테이션을 수행하도록 결정하는 단계와, 변화값이 작은 결과인 경우 다중 영상기반을 이용한 세그멘테이션을 수행하도록 결정하는 단계를 포함한다.
상술한 제1추출하는 단계는, 적외선 영상과 객체추출을 위한 객체추출 명령 결과를 제공하는 단계와, 객체추출 명령 결과에 따라 적외선 영상과 적외선 배경 모델정보의 임계치값 간 배경차분을 계산하여 임계치값의 이상으로 나오는 픽셀들을 전경 객체 픽셀로 지정하는 단계와, 임계치값의 이하인 나머지 픽셀들을 배경 객체 픽셀로 지정하는 단계를 포함한다.
상술한 제2추출하는 단계는, 적외선 영상 및 칼라 영상, 객체추출을 위한 객체추출 명령 결과를 제공하는 단계와, 객체추출 명령 결과에 따라 적외선 영상과 적외선 배경 모델정보의 임계치값 간 배경차분을 계산하여 임계치값의 이상 및 이하의 결과값을 제공하는 단계와, 객체추출 명령 결과에 따라 칼라 영상과 칼라 배경 모델 정보의 임계치값 간 배경차분을 계산하여 임계치값의 이상 및 이하의 결과값을 제공하는 단계와, 칼라 영상기반 배경차분 계산부로부터 입력되는 임계치값의 이상 및 이하의 결과값과 적외선 영상기반 배경차분 계산부로부터 입력되는 임계치값의 이상 및 이하의 결과값을 분석하는 단계와, 분석의 결과에서 결과값이 모두 임계치값의 이상으로 나오는 픽셀들을 전경 객체 픽셀로 지정하는 단계와, 분석의 결과에서 결과값이 모두 임계치값의 이하인 나머지 픽셀들을 배경 객체 픽셀로 지정하는 단계를 포함한다.
상술한 객체 픽셀은, 전경 객체 픽셀 혹은 배경 객체 픽섹인 것을 특징으로 한다.
본 발명은 동적 배경에 대한 분별을 하기 위해 변화값이 큰 부분에 대해서 적외선 영상기반의 객체추출을 수행하고, 변화값이 작은 부분에 대해서 적외선 영상 및 칼라 영상의 다중 영상기반으로 객체추출을 수행하고, 수행된 각 객체추출 결과를 배경모델과의 비교방식을 통해 전경 객체 혹은 배경 객체로 지정하여 추출함으로써, 기존에서와 같이 변화값이 커서 모델링 속도가 현저하게 떨어지게 되는 점과 가시광선으로 이루어진 스크린이나 모니터의 동적 화면 등이 나타나지 않게 되는 문제점을 해결할 수 있다.
또한, 본 발명은 다중 영상 분석 기반의 객체추출 장치 및 그 방법을 제공함으로써, 적외선 영상기반으로만 객체추출 시 배경모델 정보와 비교시 적외선 영상 명암정보의 차이가 많이 나지 않을 경우에도 칼라정보 기반의 객체추출을 수행하므로 이를 보완하고 객체추출 정확성을 높일 수 있는 이점이 있다.
이하, 첨부된 도면을 참조하여 본 발명의 동작 원리를 상세히 설명한다. 하기에서 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 다중 영상 분석 기반의 객체추출 장치(100)에 대한 블록 구성도로서, 프레임 그래버(101), 분할 및 결정부(103a)와 적외선 영상기반 추출부(103b)와 다중 영상기반 추출부(103c)로 이루어진 객체 추출부(103) 등을 포함할 수 있다.
프레임 그래버(101)는 칼라 카메라(S1)에 의해 촬상된 칼라 영상과 적외선 카메라(S2)에 의해 촬상된 적외선 영상을 각각 입력받아 저장하고 있는 중에, 객체 추출부(103)의 전송 요청에 따라 저장된 칼라 영상 혹은 적외선 영상을 객체 추출부(103)에 제공한다.
객체 추출부(103)는 분할 및 결정부(103a)와 적외선 영상기반 추출부(103b)와 다중 영상기반 추출부(103c) 등으로 이루어져 있으며, 분할 및 결정부(103a)에는 도 2에 도시된 이미지 분할부(1031)와 변화값 계산부(1033)와 세그멘테이션 결정부(1035) 등이 포함될 수 있으며, 적외선 영상기반 추출부(103b)에는 도 2에 도시된 적외선 영상기반 객체 추출부(1037)와 적외선 영상기반 배경차분 계산부(1039)와 적외선 배경 모델 데이터베이스(DataBase, DB라 함)(1045) 등이 포함될 수 있으며, 다중 영상기반 추출부(103c)에는 도 2에 도시된 다중 영상기반 객체 추 출부(1041)와 적외선 영상기반 배경차분 계산부(1039)와 칼라 영상기반 배경차분 계산부(1043)와 적외선 배경 모델 DB(1045)와 칼라 배경 모델 DB(1047)와 다중 임계치 분석부(1049) 등이 포함될 수 있다. 즉, 적외선 영상기반 배경차분 계산부(1039)와 적외선 배경 모델 DB(1045)는 적외선 영상기반 추출부(103b)와 다중 영상기반 추출부(103c)에 공통으로 포함될 수 있다.
이미지 분할부(1031)는 프레임 그래버(101)에 칼라 영상을 요청하고, 이 요청에 대한 응답으로 입력되는 칼라 영상에 대하여 다수개의 칼라 이미지 블록들로 분할하고, 이 분할된 다수개의 칼라 이미지 블록들로 이루어진 칼라 이미지들을 변화값 계산부(1033)에 제공한다.
변화값 계산부(1033)는 이미지 분할부(1031)로부터 입력되는 칼라 이미지들로 분할된 각 블록을 통해 뒷배경이 디스플레이 화면일 경우 동적 배경이므로 변화값이 큰 결과로 계산하고, 뒷배경과 전경이 유사한 디스플레이 화면일 경우 동적 배경이 아니므로 변화값이 작은 결과로 계산하며, 이 계산된 변화값이 큰 결과 및 작은 결과를 세그멘테이션 결정부(1035)에 제공한다.
세그멘테이션 결정부(1035)는 변화값 계산부(1033)로부터 입력되는 변화값이 큰 결과인 경우 적외선 영상기반을 이용한 세그멘테이션을 수행하도록 결정한 적외선 결정정보를 적외선 영상기반 객체 추출부(1037)에 제공하고, 입력되는 변화값이 작은 결과인 경우 다중 영상기반을 이용한 세그멘테이션을 수행하도록 결정한 다중 영상 결정정보를 다중 영상기반 객체 추출부(1041)에 제공한다.
적외선 영상기반 객체 추출부(1037)는 세그멘테이션 결정부(1035)로부터 입 력되는 적외선 결정정보를 통해 프레임 그래버(101)에 적외선 영상을 요청하고, 이 요청에 대한 응답으로 입력되는 적외선 영상과 객체추출을 수행하도록 하는 객체추출 명령 결과를 적외선 영상기반 배경차분 계산부(1039)에 제공한다.
적외선 영상기반 배경차분 계산부(1039)는 적외선 영상기반 객체 추출부(1037)로부터 입력되는 객체추출 명령 결과에 따라 입력되는 적외선 영상과 적외선 배경 모델 DB(1045)에 저장된 적외선 배경 모델정보의 임계치값 간의 비교방식으로 배경차분을 계산하여 임계치값 이상으로 나오는 픽셀들을 전경 객체 픽셀로 지정하고, 임계치값 이하인 나머지 픽셀들을 배경 객체 픽셀로 지정한다.
또한, 적외선 영상기반 배경차분 계산부(1039)는 다중 영상기반 객체 추출부(1041)로부터 입력되는 객체추출 명령 결과에 따라 입력되는 적외선 영상과 적외선 배경 모델 DB(1045)에 저장된 적외선 배경 모델정보의 임계치값 간의 비교방식으로 배경차분을 계산하고, 계산된 임계치값 이상 및 이하의 결과값을 다중 임계치 분석부(1049)에 제공한다.
다중 영상기반 객체 추출부(1041)는 세그멘테이션 결정부(1035)로부터 입력되는 다중 영상 결정정보를 통해 프레임그래버(101)에 적외선 영상 및 칼라 영상을 요청하고, 이 요청에 대한 응답으로 입력되는 적외선 영상과 객체추출을 수행하도록 하는 객체추출 명령 결과를 적외선 영상기반 배경차분 계산부(1039)에 제공하며, 더불어 입력되는 칼라 영상과 객체추출을 수행하도록 하는 객체추출 명령 결과를 칼라 영상기반 배경차분 계산부(1043)에 제공한다.
칼라 영상기반 배경차분 계산부(1043)는 다중 영상기반 객체 추출부(1041)로 부터 입력되는 객체추출 명령 결과에 따라 입력되는 칼라 영상과 칼라 배경 모델 DB(1047)에 저장된 칼라 배경 모델의 임계치값 간의 비교방식으로 배경차분을 계산하고, 계산된 임계치값 이상 및 이하의 결과값을 다중 임계치 분석부(1049)에 제공한다.
적외선 배경 모델 DB(1045)는 일정기간의 적외선 이미지(적외선으로 촬상된 적외선 영상)들에 대해 가우시안 모델 기반(예컨대, 영상 데이터의 평균 및 분산으로 가우시안 분포를 계산하는 방식)으로 모델링하여 생성시킨 적외선 배경 정보들을 저장할 수 있다.
칼라 배경 모델 DB(1047)는 일정기간의 칼라 이미지(칼라로 촬상된 칼라 영상)들에 대해 가우시안 모델 기반(예컨대, 영상 데이터의 평균 및 분산으로 가우시안 분포를 계산하는 방식)으로 모델링하여 생성시킨 칼라 배경 정보들을 저장할 수 있다.
다중 임계치 분석부(1049)는 칼라 영상기반 배경차분 계산부(1043)로부터 입력되는 임계치값 이상 및 이하의 결과값과 적외선 영상기반 배경차분 계산부(1039)로부터 입력되는 임계치값 이상 및 이하의 결과값을 분석하여 양쪽 모두 임계치 이상으로 나오는 픽셀들을 전경 객체 픽셀로 지정하고, 양쪽 모두 임계치값 이하인 나머지 픽셀들을 배경 객체 픽셀로 지정한다.
따라서, 본 발명은 동적 배경에 대한 분별을 하기 위해 변화값이 큰 부분에 대해서 적외선 영상기반의 객체추출을 수행하고, 변화값이 작은 부분에 대해서 적외선 영상 및 칼라 영상의 다중 영상기반으로 객체추출을 수행하고, 수행된 각 객 체추출 결과를 배경모델과의 비교방식을 통해 전경 객체 혹은 배경 객체로 지정하여 추출함으로써, 기존에서와 같이 변화값이 커서 모델링 속도가 현저하게 떨어지게 되는 점과 가시광선으로 이루어진 스크린이나 모니터의 동적 화면 등이 나타나지 않게 되는 문제점을 해결할 수 있다.
다음에, 상술한 바와 같은 구성을 갖는 본 발명의 일 실시예에서 다중 영상 분석 기반의 객체추출 과정에 대하여 설명한다.
도 3은 본 발명의 일 실시예에 따른 다중 영상 분석 기반의 객체추출 방법에 대하여 순차적으로 도시한 흐름도이다.
먼저, 칼라 카메라(S1)와 적외선 카메라(S2)에서는 배경 영상, 일 예로 뒷배경이 화면 스크린이나 대형 모니터 화면으로 인해 배경화면이 계속해서 변화는 동적 배경에 대하여 실시간으로 촬상(S301)하고, 이 촬상된 칼라 영상 및 적외선 영상을 다중 영상 분석 기반의 객체추출 장치(100)내 프레임 그래버(101)에 저장(S303)한다.
이 때, 객체 추출부(103)내 이미지 분할부(1031)에서는 프레임 그래버(101)에 칼라 영상을 요청(S305)하고, 이 요청에 대한 응답으로 입력(S305)되는 칼라 영상에 대하여 다수개의 칼라 이미지 블록들로 분할(S307)하고, 이 분할된 다수개의 칼라 이미지 블록들로 이루어진 칼라 이미지들을 변화값 계산부(1033)에 제공(S309)한다.
변화값 계산부(1033)에서는 이미지 분할부(1031)로부터 입력되는 칼라 이미지들로 분할된 각 블록을 통해 뒷배경이 거의 디스플레이 화면(전경이 거의 없는 화면)일 경우 동적 배경이므로 변화값이 큰 결과로 계산(S311)하고, 뒷배경과 전경이 유사한 디스플레이 화면(혹은 뒷배경보다 전경 화면이 많은 화면)일 경우 동적 배경이 아니므로 변화값이 작은 결과로 계산(S313)하며, 이 계산된 변화값이 큰 결과 및 작은 결과를 세그멘테이션 결정부(1035)에 제공(S315)한다.
세그멘테이션 결정부(1035)에서는 변화값 계산부(1033)로부터 입력되는 변화값이 큰 결과인 경우 적외선 영상기반을 이용한 세그멘테이션을 수행하도록 결정한 적외선 결정정보를 적외선 영상기반 객체 추출부(1037)에 제공(S317)하고, 변화값 계산부(1033)로부터 입력되는 변화값이 작은 결과인 경우 다중 영상기반을 이용한 세그멘테이션을 수행하도록 결정한 다중 영상 결정정보를 다중 영상기반 객체 추출부(1041)에 제공(S319)한다.
적외선 영상기반 객체 추출부(1037)에서는 세그멘테이션 결정부(1035)로부터 입력되는 적외선 결정정보를 통해 프레임 그래버(101)에 적외선 영상을 요청(S321)하고, 이 요청에 대한 응답으로 입력(S321)되는 적외선 영상과 객체추출을 수행하도록 하는 객체추출 명령 결과를 적외선 영상기반 배경차분 계산부(1039)에 제공(S323)한다.
적외선 영상기반 배경차분 계산부(1039)에서는 적외선 영상기반 객체 추출부(1037)로부터 입력되는 객체추출 명령 결과에 따라 입력되는 적외선 영상과 적외선 배경 모델 DB(1045)에 저장된 적외선 배경 모델정보의 임계치값 간의 비교방식으로 배경차분을 계산하여 임계치값 이상인지를 체크(S325)한다. 체크(S325)결과에서 임계치값 이상으로 나오는 픽셀들을 전경 객체 픽셀로 지정(S327)하고, 체 크(S325)결과에서 임계치값 이하인 나머지 픽셀들을 배경 객체 픽셀로 지정(S329)한다.
다중 영상기반 객체 추출부(1041)에서는 세그멘테이션 결정부(1035)로부터 입력되는 다중 영상 결정정보를 통해 프레임그래버(101)에 적외선 영상 및 칼라 영상을 요청(S331)하고, 이 요청에 대한 응답으로 입력(S331)되는 적외선 영상과 객체추출을 수행하도록 하는 객체추출 명령 결과를 적외선 영상기반 배경차분 계산부(1039)에 제공(S333)하며, 더불어 입력되는 칼라 영상과 객체추출을 수행하도록 하는 객체추출 명령 결과를 칼라 영상기반 배경차분 계산부(1043)에 제공(S335)한다.
그러면, 적외선 영상기반 배경차분 계산부(1039)에서는 다중 영상기반 객체 추출부(1041)로부터 입력되는 객체추출 명령 결과에 따라 입력되는 적외선 영상과 적외선 배경 모델 DB(1045)에 저장된 적외선 배경 모델정보의 임계치값 간의 비교방식으로 배경차분을 계산(S337)하고, 계산된 임계치값 이상 및 이하의 결과값을 다중 임계치 분석부(1049)에 제공(S339)한다.
그리고 칼라 영상기반 배경차분 계산부(1043)에서는 다중 영상기반 객체 추출부(1041)로부터 입력되는 객체추출 명령 결과에 따라 입력되는 칼라 영상과 칼라 배경 모델 DB(1047)에 저장된 칼라 배경 모델의 임계치값 간의 비교방식으로 배경차분을 계산(S341)하고, 계산된 임계치값 이상 및 이하의 결과값을 다중 임계치 분석부(1049)에 제공(S343)한다.
다중 임계치 분석부(1049)에서는 칼라 영상기반 배경차분 계산부(1043)로부 터 입력되는 임계치값 이상 및 이하의 결과값과 적외선 영상기반 배경차분 계산부(1039)로부터 입력되는 임계치값 이상 및 이하의 결과값을 분석 판단(S345)한다. 판단(S345)결과에서 양쪽 모두 임계치 이상일 경우, 양쪽 모두 임계치 이상으로 나오는 픽셀들을 전경 객체 픽셀로 지정(S347)하고, 판단(S345)결과에서 양쪽 모두 임계치 이하인 경우, 양쪽 모두 임계치값 이하인 나머지 픽셀들을 배경 객체 픽셀로 지정(S349)한다.
한편, 상술한 바와 같이 다양한 실시예를 제시하고 있는 본 발명의 다중 영상 분석 기반의 객체추출 방법은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 실행할 수 있는 코드로서 구현할 수 있는데, 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함할 수 있다. 이러한 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기테이프, 플로피디스크, 광 데이터 저장장치와 캐리어 웨이브(예컨대, 인터넷을 통한 전송 등) 등이 있으며, 컴퓨터로 실행할 수 있는 코드 또는 프로그램은 본 발명의 기능을 분산적으로 수행하기 위해 네트워크로 연결된 컴퓨터 시스템에 분산되어 실행될 수 있다.
이상에서와 같이, 본 발명은 다중 영상 분석 기반의 객체추출 장치 및 그 방법을 제공함으로써, 적외선 영상기반으로만 객체추출 시 배경모델 정보와 비교시 적외선 영상 명암정보의 차이가 많이 나지 않을 경우에도 칼라정보 기반의 객체추출을 수행하므로 이를 보완하고 객체추출 정확성을 높일 수 있다.
지금까지 본 발명에 대하여 그 일부 실시예들을 중심으로 살펴보았다. 본 발 명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 다중 영상 분석 기반의 객체추출 장치에 대한 블록 구성도,
도 2는 도 1에 도시된 객체 추출부에 대한 상세 블록 구성도,
도 3은 본 발명의 일 실시예에 따른 다중 영상 분석 기반의 객체추출 방법에 대하여 순차적으로 도시한 흐름도.
<도면의 주요부분에 대한 부호의 설명>
100 : 다중 영상 분석 기반의 객체추출 장치
101 : 프레임 그래버 103 : 객체 추출부
103a : 분할 및 결정부 103b : 적외선 영상기반 추출부
103c : 다중 영상기반 추출부 1031 : 이미지 분할부
1033 : 변화값 계산부 1035 : 세그멘테이션 결정부
1037 : 적외선 영상기반 객체 추출부
1039 : 적외선 영상기반 배경차분 계산부
1041 : 다중 영상기반 객체 추출부
1043 : 칼라 영상기반 배경차분 계산부
1045 : 적외선 배경 모델 DB 1047 : 칼라 배경 모델 DB
1049 : 다중 임계치 분석부

Claims (12)

  1. 칼라 이미지들로 분할된 각 블록을 통해 동적 배경을 결정하는 분할 및 결정부와,
    상기 동적 배경인 경우, 적외선 영상기반으로 획득한 적외선 영상과 적외선 배경 모델 DB에 저장된 적외선 배경 모델정보의 임계치값 간 배경차분을 통해 객체 픽셀을 추출하는 적외선 영상기반 추출부와,
    상기 동적 배경이 아닌 경우, 다중 영상기반으로 획득한 적외선 영상과 상기 적외선 배경 모델정보의 임계치값 간 배경차분을 통해 계산된 적외선 영상기반 결과와 상기 다중 영상기반으로 획득한 칼라 영상과 칼라 배경 모델 DB에 저장된 칼라 배경 모델정보의 임계치값 간 배경차분을 통해 계산된 칼라 영상기반 결과를 통해 객체 픽셀을 추출하는 다중 영상기반 추출부
    를 포함하는 다중 영상 분석 기반의 객체추출 장치.
  2. 제 1 항에 있어서,
    상기 분할 및 결정부는,
    상기 칼라 영상에 대하여 칼라 이미지 블록들로 분할하는 이미지 분할부와,
    상기 칼라 이미지 블록들을 통해 뒷배경이 디스플레이 화면인 경우 동적 배경으로 변화값이 큰 결과로 계산하고, 상기 뒷배경이 상기 디스플레이 화면이 아닌 경우 상기 동적 배경이 아니므로 상기 변화값이 작은 결과로 계산하는 변화값 계산부와,
    상기 변화값이 큰 결과인 경우 상기 적외선 영상기반을 이용한 세그멘테이션을 수행하도록 결정하고, 상기 변화값이 작은 결과인 경우 상기 다중 영상기반을 이용한 세그멘테이션을 수행하도록 결정하는 세그멘테이션 결정부
    를 포함하는 다중 영상 분석 기반의 객체추출 장치.
  3. 제 2 항에 있어서,
    상기 적외선 영상기반 추출부는,
    상기 적외선 영상과 객체추출을 위한 객체추출 명령 결과를 제공하는 적외선 영상기반 객체 추출부와,
    상기 객체추출 명령 결과에 따라 상기 적외선 영상과 상기 적외선 배경 모델정보의 임계치값 간 배경차분을 계산하여 상기 임계치값의 이상으로 나오는 픽셀들을 전경 객체 픽셀로 지정하고, 상기 임계치값의 이하인 나머지 픽셀들을 배경 객체 픽셀로 지정하는 적외선 영상기반 배경차분 계산부
    를 포함하는 다중 영상 분석 기반의 객체추출 장치.
  4. 제 2 항에 있어서,
    상기 다중 영상기반 추출부는,
    상기 적외선 영상 및 상기 칼라 영상, 객체추출을 위한 객체추출 명령 결과를 제공하는 다중 영상기반 객체 추출부와,
    상기 객체추출 명령 결과에 따라 상기 적외선 영상과 상기 적외선 배경 모델정보의 임계치값 간 배경차분을 계산하여 상기 임계치값의 이상 및 이하의 결과값을 제공하는 적외선 영상기반 배경차분 계산부와,
    상기 객체추출 명령 결과에 따라 상기 칼라 영상과 상기 칼라 배경 모델 정보의 임계치값 간 배경차분을 계산하여 상기 임계치값의 이상 및 이하의 결과값을 제공하는 칼라 영상기반 배경차분 계산부와,
    상기 칼라 영상기반 배경차분 계산부로부터 입력되는 상기 임계치값의 이상 및 이하의 결과값과 상기 적외선 영상기반 배경차분 계산부로부터 입력되는 상기 임계치값의 이상 및 이하의 결과값을 분석하여 상기 결과값이 모두 상기 임계치값의 이상으로 나오는 픽셀들을 전경 객체 픽셀로 지정하고, 상기 결과값이 모두 상기 임계치값의 이하인 나머지 픽셀들을 배경 객체 픽셀로 지정하는 다중 임계치 분석부
    를 포함하는 다중 영상 분석 기반의 객체추출 장치.
  5. 제 2 항에 있어서,
    상기 동적 배경은,
    상기 뒷배경이 화면 스크린이나 대형 모니터 화면으로 배경화면이 연속적으로 변화하는 화면인 다중 영상 분석 기반의 객체추출 장치.
  6. 제 1 항에 있어서,
    상기 객체추출 장치는,
    칼라 카메라에 의해 촬상된 칼라 영상과 적외선 카메라에 의해 촬상된 적외선 영상을 각각 입력받아 저장하는 프레임 그래버
    를 더 포함하는 다중 영상 분석 기반의 객체추출 장치.
  7. 제 1 항에 있어서,
    상기 객체 픽셀은, 전경 객체 픽셀 혹은 배경 객체 픽섹인 다중 영상 분석 기반의 객체추출 장치.
  8. 칼라 이미지들로 분할된 각 블록을 통해 동적 배경을 결정하는 단계와,
    상기 동적 배경인 경우, 적외선 영상기반으로 획득한 적외선 영상과 적외선 배경 모델 DB에 저장된 적외선 배경 모델정보의 임계치값 간 배경차분을 통해 객체 픽셀을 제1추출하는 단계와,
    상기 동적 배경이 아닌 경우, 다중 영상기반으로 획득한 적외선 영상과 상기 적외선 배경 모델정보의 임계치값 간 배경차분을 통해 계산된 적외선 영상기반 결과와 상기 다중 영상기반으로 획득한 칼라 영상과 칼라 배경 모델 DB에 저장된 칼라 배경 모델정보의 임계치값 간 배경차분을 통해 계산된 칼라 영상기반 결과를 통해 객체 픽셀을 제2추출하는 단계
    를 포함하는 다중 영상 분석 기반의 객체추출 방법.
  9. 제 8 항에 있어서,
    상기 결정하는 단계는,
    상기 칼라 영상에 대하여 칼라 이미지 블록들로 분할하는 단계와,
    상기 칼라 이미지 블록들을 통해 뒷배경이 디스플레이 화면인 경우 동적 배경으로 변화값이 큰 결과로 계산하는 단계와,
    상기 뒷배경이 상기 디스플레이 화면이 아닌 경우 동적 배경이 아니므로 상기 변화값이 작은 결과로 계산하는 단계와,
    상기 변화값이 큰 결과인 경우 상기 적외선 영상기반을 이용한 세그멘테이션을 수행하도록 결정하는 단계와,
    상기 변화값이 작은 결과인 경우 상기 다중 영상기반을 이용한 세그멘테이션을 수행하도록 결정하는 단계
    를 포함하는 다중 영상 분석 기반의 객체추출 방법.
  10. 제 9 항에 있어서,
    상기 제1추출하는 단계는,
    상기 적외선 영상과 객체추출을 위한 객체추출 명령 결과를 제공하는 단계와,
    상기 객체추출 명령 결과에 따라 상기 적외선 영상과 상기 적외선 배경 모델정보의 임계치값 간 배경차분을 계산하여 상기 임계치값의 이상으로 나오는 픽셀들을 전경 객체 픽셀로 지정하는 단계와,
    상기 임계치값의 이하인 나머지 픽셀들을 배경 객체 픽셀로 지정하는 단계
    를 포함하는 다중 영상 분석 기반의 객체추출 방법.
  11. 제 9 항에 있어서,
    상기 제2추출하는 단계는,
    상기 적외선 영상 및 상기 칼라 영상, 객체추출을 위한 객체추출 명령 결과를 제공하는 단계와,
    상기 객체추출 명령 결과에 따라 상기 적외선 영상과 상기 적외선 배경 모델정보의 임계치값 간 배경차분을 계산하여 상기 임계치값의 이상 및 이하의 결과값을 제공하는 단계와,
    상기 객체추출 명령 결과에 따라 상기 칼라 영상과 상기 칼라 배경 모델 정 보의 임계치값 간 배경차분을 계산하여 상기 임계치값의 이상 및 이하의 결과값을 제공하는 단계와,
    상기 칼라 영상기반 배경차분 계산부로부터 입력되는 상기 임계치값의 이상 및 이하의 결과값과 상기 적외선 영상기반 배경차분 계산부로부터 입력되는 상기 임계치값의 이상 및 이하의 결과값을 분석하는 단계와,
    상기 분석의 결과에서 상기 결과값이 모두 상기 임계치값의 이상으로 나오는 픽셀들을 전경 객체 픽셀로 지정하는 단계와,
    상기 분석의 결과에서 상기 결과값이 모두 상기 임계치값의 이하인 나머지 픽셀들을 배경 객체 픽셀로 지정하는 단계
    를 포함하는 다중 영상 분석 기반의 객체추출 방법.
  12. 제 8 항에 있어서,
    상기 객체 픽셀은, 전경 객체 픽셀 혹은 배경 객체 픽섹인 다중 영상 분석 기반의 객체추출 방법.
KR1020090076668A 2009-08-19 2009-08-19 다중 영상 분석 기반의 객체추출 장치 및 그 방법 KR101064946B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090076668A KR101064946B1 (ko) 2009-08-19 2009-08-19 다중 영상 분석 기반의 객체추출 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090076668A KR101064946B1 (ko) 2009-08-19 2009-08-19 다중 영상 분석 기반의 객체추출 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20110019090A KR20110019090A (ko) 2011-02-25
KR101064946B1 true KR101064946B1 (ko) 2011-09-15

Family

ID=43776513

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090076668A KR101064946B1 (ko) 2009-08-19 2009-08-19 다중 영상 분석 기반의 객체추출 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101064946B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9294753B2 (en) 2012-04-25 2016-03-22 Electronics And Telecommunications Research Institute Apparatus for extracting image object in 3D image system and method thereof
KR101891631B1 (ko) 2018-03-07 2018-08-27 (주)크레아소프트 영상 학습 장치, 이를 이용한 촬영영상 분석 시스템 및 방법, 이를 수행하기 위한 기록매체

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101268596B1 (ko) * 2011-07-28 2013-06-04 광주과학기술원 정사각 코드북과 다중 경계 값이 적용된 텍스쳐 특징을 이용한 전경 검출 장치 및 방법
KR102030736B1 (ko) * 2017-11-24 2019-10-10 주식회사 리얼타임테크 다중 분산 영상 데이터 분석 장치
CN110555351B (zh) * 2018-06-04 2022-02-08 瑞昱半导体股份有限公司 前景影像的提取方法与电子装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020095867A (ko) * 2001-06-16 2002-12-28 이희만 컬러의 파장을 이용한 모션캡쳐방법
KR100869998B1 (ko) 2007-09-06 2008-11-24 연세대학교 산학협력단 원거리 홍채 영상 획득 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020095867A (ko) * 2001-06-16 2002-12-28 이희만 컬러의 파장을 이용한 모션캡쳐방법
KR100869998B1 (ko) 2007-09-06 2008-11-24 연세대학교 산학협력단 원거리 홍채 영상 획득 시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9294753B2 (en) 2012-04-25 2016-03-22 Electronics And Telecommunications Research Institute Apparatus for extracting image object in 3D image system and method thereof
KR101891631B1 (ko) 2018-03-07 2018-08-27 (주)크레아소프트 영상 학습 장치, 이를 이용한 촬영영상 분석 시스템 및 방법, 이를 수행하기 위한 기록매체

Also Published As

Publication number Publication date
KR20110019090A (ko) 2011-02-25

Similar Documents

Publication Publication Date Title
US10275653B2 (en) Primary video objects with neighborhood reversibility
US9224211B2 (en) Method and system for motion detection in an image
US9600898B2 (en) Method and apparatus for separating foreground image, and computer-readable recording medium
US20120263346A1 (en) Video-based detection of multiple object types under varying poses
TW202101371A (zh) 視訊流的處理方法和裝置
US9373174B2 (en) Cloud based video detection and tracking system
JPWO2007138858A1 (ja) 映像の特殊効果検出装置、特殊効果検出方法、特殊効果検出プログラム及び映像再生装置
KR101064946B1 (ko) 다중 영상 분석 기반의 객체추출 장치 및 그 방법
KR101062225B1 (ko) 감시 카메라를 이용한 지능형 영상 검색 방법 및 시스템
Subudhi et al. Statistical feature bag based background subtraction for local change detection
KR20040053337A (ko) 개연적인 프레임워크를 사용하는 블롭-기반의 분석용컴퓨터 비전 방법 및 시스템
Pini et al. Video synthesis from intensity and event frames
KR102350192B1 (ko) 검색 데이터베이스를 구축하기 위한 관심영상 선별 방법 및 이를 수행하는 영상 관제 시스템
US11532158B2 (en) Methods and systems for customized image and video analysis
Sutopo et al. Appearance-based passenger counting in cluttered scenes with lateral movement compensation
KR102042397B1 (ko) 압축영상에 대한 신택스 기반의 히트맵 생성 방법
KR20210008574A (ko) 프레임 분할과 지능형 검출 pool을 이용한 다수의 카메라 영상에서 실시간 객체 검출 방법
Gupta et al. Reconnoitering the Essentials of Image and Video Processing: A Comprehensive Overview
KR20200067682A (ko) 상용분류기 외부 연동 학습형 신경망을 이용한 압축영상에 대한 신택스 기반의 객체 분류 방법
Tiwari et al. Development of Algorithm for Object Detection & Tracking Using RGB Model
Kaur Background subtraction in video surveillance
Zováthi et al. ST-DepthNet: A spatio-temporal deep network for depth completion using a single non-repetitive circular scanning Lidar
JP2016051236A (ja) 画像処理装置、画像処理方法およびそれを用いた検査方法。
Singh et al. An ensemble approach for moving vehicle detection and tracking by using Ni vision module
KR20140107999A (ko) 시공간 패턴에 기반한 비디오 분석 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140827

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150827

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160826

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee