KR101957218B1 - 기준 배경이미지 획득 시스템 및 기준 배경이미지 획득 방법 - Google Patents
기준 배경이미지 획득 시스템 및 기준 배경이미지 획득 방법 Download PDFInfo
- Publication number
- KR101957218B1 KR101957218B1 KR1020180090847A KR20180090847A KR101957218B1 KR 101957218 B1 KR101957218 B1 KR 101957218B1 KR 1020180090847 A KR1020180090847 A KR 1020180090847A KR 20180090847 A KR20180090847 A KR 20180090847A KR 101957218 B1 KR101957218 B1 KR 101957218B1
- Authority
- KR
- South Korea
- Prior art keywords
- frame
- image frame
- image
- reference background
- generating
- Prior art date
Links
- 238000000034 method Methods 0.000 title abstract description 28
- 238000012217 deletion Methods 0.000 claims abstract description 26
- 230000037430 deletion Effects 0.000 claims abstract description 26
- 238000010586 diagram Methods 0.000 description 9
- 239000000284 extract Substances 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 206010000117 Abnormal behaviour Diseases 0.000 description 1
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- 102100037123 Exosome RNA helicase MTR4 Human genes 0.000 description 1
- 101001029120 Homo sapiens Exosome RNA helicase MTR4 Proteins 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20224—Image subtraction
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
본 발명은 기준 배경이미지 획득 시스템 및 기준 배경이미지 획득 방법에 관한 것이다.
여기서, 본 발명의 기준 배경이미지 획득 시스템은 제1시간에 설정영역을 촬영하여 제1영상패킷을 생성하고, 제1시간에서 일정시간 경과된 제2시간에 설정영역을 촬영하여 제2영상패킷을 생성하는 영상촬영부;
제1영상패킷을 수신하여 제1영상프레임을 생성하고, 제2영상패킷을 수신하여 제2영상프레임을 생성하는 영상프레임생성부;
제1영상프레임에서 객체를 검색한 후, 기 설정된 설정객체와 매칭되면, 제1영상프레임으로부터 객체를 삭제하여 제1삭제영상프레임을 생성하고, 제2영상프레임에서 객체를 검색한 후, 기 설정된 설정객체와 매칭되면, 제2영상프레임으로부터 객체를 삭제하여 제2삭제영상프레임을 생성하는 객체삭제부;
제1삭제영상프레임과 제2삭제영상프레임을 합성하여, 제1삭제영상프레임에 삭제된 영역을 제2영상프레임으로 메우거나,
제2삭제영상프레임에 삭제된 영역을 제1영상프레임으로 메워 기준배경프레임을 생성하는 기준배경프레임생성부를 포함한다.
또한, 본 발명의 기준 배경이미지 획득 방법은 영상촬영부가 제1시간에 설정영역을 촬영하여 제1영상패킷을 생성하고, 제1시간에서 일정시간 경과된 제2시간에 설정영역을 촬영하여 제2영상패킷을 생성하는 (A)단계;
영상프레임생성부가 제1영상패킷을 수신하여 제1영상프레임을 생성하고, 제2영상패킷을 수신하여 제2영상프레임을 생성하는 (B)단계;
객체삭제부가 제1영상프레임에서 객체를 검색한 후, 기 설정된 설정객체와 매칭되면, 제1영상프레임으로부터 객체를 삭제하여 제1삭제영상프레임을 생성하고, 제2영상프레임에서 객체를 검색한 후, 기 설정된 설정객체와 매칭되면, 제2영상프레임으로부터 객체를 삭제하여 제2삭제영상프레임을 생성하는 (C)단계;
기준배경프레임생성부가 제1삭제영상프레임과 제2삭제영상프레임을 합성하여, 제1삭제영상프레임에 삭제된 영역을 제2영상프레임으로 메우거나, 제2영상프레임에 삭제된 영역을 제1영상프레임으로 메워 기준배경프레임을 생성하는 (D) 단계를 포함한다.
여기서, 본 발명의 기준 배경이미지 획득 시스템은 제1시간에 설정영역을 촬영하여 제1영상패킷을 생성하고, 제1시간에서 일정시간 경과된 제2시간에 설정영역을 촬영하여 제2영상패킷을 생성하는 영상촬영부;
제1영상패킷을 수신하여 제1영상프레임을 생성하고, 제2영상패킷을 수신하여 제2영상프레임을 생성하는 영상프레임생성부;
제1영상프레임에서 객체를 검색한 후, 기 설정된 설정객체와 매칭되면, 제1영상프레임으로부터 객체를 삭제하여 제1삭제영상프레임을 생성하고, 제2영상프레임에서 객체를 검색한 후, 기 설정된 설정객체와 매칭되면, 제2영상프레임으로부터 객체를 삭제하여 제2삭제영상프레임을 생성하는 객체삭제부;
제1삭제영상프레임과 제2삭제영상프레임을 합성하여, 제1삭제영상프레임에 삭제된 영역을 제2영상프레임으로 메우거나,
제2삭제영상프레임에 삭제된 영역을 제1영상프레임으로 메워 기준배경프레임을 생성하는 기준배경프레임생성부를 포함한다.
또한, 본 발명의 기준 배경이미지 획득 방법은 영상촬영부가 제1시간에 설정영역을 촬영하여 제1영상패킷을 생성하고, 제1시간에서 일정시간 경과된 제2시간에 설정영역을 촬영하여 제2영상패킷을 생성하는 (A)단계;
영상프레임생성부가 제1영상패킷을 수신하여 제1영상프레임을 생성하고, 제2영상패킷을 수신하여 제2영상프레임을 생성하는 (B)단계;
객체삭제부가 제1영상프레임에서 객체를 검색한 후, 기 설정된 설정객체와 매칭되면, 제1영상프레임으로부터 객체를 삭제하여 제1삭제영상프레임을 생성하고, 제2영상프레임에서 객체를 검색한 후, 기 설정된 설정객체와 매칭되면, 제2영상프레임으로부터 객체를 삭제하여 제2삭제영상프레임을 생성하는 (C)단계;
기준배경프레임생성부가 제1삭제영상프레임과 제2삭제영상프레임을 합성하여, 제1삭제영상프레임에 삭제된 영역을 제2영상프레임으로 메우거나, 제2영상프레임에 삭제된 영역을 제1영상프레임으로 메워 기준배경프레임을 생성하는 (D) 단계를 포함한다.
Description
본 발명은 CCTV를 통해 촬영된 이미지에서 기계 학습되지 않는 임의의 객체를 검출하는 기술분야에 관한 것이다.
폐회로 텔레비전(CCTV: Closed Circuit Television)은 아파트, 골목 등의 환경감시 등 여러 장소에 활용되고 있다. 폐회로 텔레비전의 다양한 곳에 활용됨에 따라, 효율적인 모니터링을 위해 촬영되는 객체를 보다 정확히 감지할 수 있는 기술 개발이 활발히 진행되고 있다.
현재에는 영상의 정보를 분석하여 기계 학습된 객체가 영상에서 검출되면, 자동으로 이상 행위를 탐지하고 관리자에서 경보를 전송하는 지능형 지능형 영상 감지 시스템이 활발히 개발되고 있다.
지능형 영상 감지(IVS: Intelligent Video Surveillance)시스템은 영상 전처리 단계, 배경 영역분리 단계, 객체 식별단계, 객체 추적 단계 및 사전에 정의된 규칙을 기반으로 이벤트를 탐지하는 이벤트 탐지 단계로 구성된다.
현재 개발된 대다수의 지능형 영상 감지 시스템은 배경 차분 기법을 이용하여, 배경프레임과 현재프레임을 비교하여 차이를 구하는 방법으로 현재프레임에 있는 객체를 검출하고 있다. 이러한 지능형 영상 감지 시스템은 배경프레임을 기준으로 한다는 점에서 배경프레임의 설정이 매우 중요하게 여겨 지고 있다.
하지만, 지능형 영상 감지 시스템의 CCTV는 장시간 동작하게 되면서, 시간의 흐름, 새로운 객체의 등장 예를 들어 자동차, 바람에 의해 움직이는 쓰레기 등에 따라 조금씩 다른 이미지를 생성하며 조금씩 다른 배경프레임을 기준 배경프레임으로 설정하고 있다.
이에, 지능형 영상 감지 시스템은 일관되지 않는 기준 배경프레임으로 객체를 정확하게 검출할 수 없는 문제를 가지고 있다.
이에, 본 발명이 해결하고자 하는 과제는 이러한 문제점을 해결하기 위한 것으로서, 본 발명은 최신의 영상이미지에서 임의의 객체 즉, 비학습된 객체를 정확하게 검출할 수 있도록, 기준이 되는 배경이미지를 생성하는 것이다.
다시 말해, 본 발명은 임의의 객체를 일관되게 검출할 수 있도록 최적의 배경이미지를 생성하는 것이다.
본 발명의 해결 하고자 하는 과제는 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 해결하고자 하는 과제를 달성하기 위한 본 발명의 기준 배경이미지 획득 시스템은,
제1시간에 설정영역을 촬영하여 제1영상패킷을 생성하고, 상기 제1시간에서 일정시간 경과된 제2시간에 설정영역을 촬영하여 제2영상패킷을 생성하는 영상촬영부;
상기 제1영상패킷을 수신하여 제1영상프레임을 생성하고, 상기 제2영상패킷을 수신하여 제2영상프레임을 생성하는 영상프레임생성부;
상기 제1영상프레임에서 객체를 검색한 후, 기 설정된 설정객체와 매칭되면, 상기 제1영상프레임으로부터 상기 객체를 삭제하여 제1삭제영상프레임을 생성하고, 상기 제2영상프레임에서 객체를 검색한 후, 기 설정된 설정객체와 매칭되면, 상기 제2영상프레임으로부터 상기 객체를 삭제하여 제2삭제영상프레임을 생성하는 객체삭제부;
상기 제1삭제영상프레임과 상기 제2삭제영상프레임을 합성하여, 상기 제1삭제영상프레임에 삭제된 영역을 상기 제2영상프레임으로 메우거나, 상기 제2삭제영상프레임에 삭제된 영역을 상기 제1영상프레임으로 메워 기준배경프레임을 생성하는 기준배경프레임생성부;
상기 기준배경프레임생성부로부터 상기 기준배경프레임을 입력받고, 상기 영상촬영부에서 최신의 영상프레임을 입력 받아, 상기 기준배경프레임과 최신의 영상프레임을 비교하여 동일한 부분을 제외한 차분프레임을 생성하는 차분프레임생성부;를 포함하고,
상기 객체삭제부는 내부에 복수 개의 설정객체가 저장된 객체정보제공기를 포함하여, 상기 설정객체와 상기 제1영상프레임 및 상기 제2영상프레임에서 포함되는 객체를 비교하여, 상기 설정객체와 상기 객체 간 매칭값이 기준매칭값 이상이면 상기 객체를 설정객체로 간주하고, 상기 설정객체와 상기 객체 간 매칭값이 기준매칭값 미만이면 상기 객체를 배경으로 간주하고,
상기 차분프레임생성부는 상기 기준배경프레임과 상기 최신의 영상프레임을 비교하여 상기 기준배경프레임과 상기 최신의 영상프레임의 동일 부분을 검정색으로 변환시키고, 동일하지 않은 부분을 제3객체로 생성할 수 있다.
상기 기준배경프레임생성부로부터 상기 기준배경프레임을 입력받고, 상기 영상촬영부에서 최신의 영상프레임을 입력 받아, 상기 기준배경프레임과 최신의 영상프레임을 비교하여 동일한 부분을 제외한 차분프레임을 생성하는 차분프레임생성부;를 포함하고,
상기 객체삭제부는 내부에 복수 개의 설정객체가 저장된 객체정보제공기를 포함하여, 상기 설정객체와 상기 제1영상프레임 및 상기 제2영상프레임에서 포함되는 객체를 비교하여, 상기 설정객체와 상기 객체 간 매칭값이 기준매칭값 이상이면 상기 객체를 설정객체로 간주하고, 상기 설정객체와 상기 객체 간 매칭값이 기준매칭값 미만이면 상기 객체를 배경으로 간주하고,
상기 차분프레임생성부는 상기 기준배경프레임과 상기 최신의 영상프레임을 비교하여 상기 기준배경프레임과 상기 최신의 영상프레임의 동일 부분을 검정색으로 변환시키고, 동일하지 않은 부분을 제3객체로 생성할 수 있다.
삭제
삭제
삭제
또 다른 상기 해결하고자 하는 과제를 달성하기 위한 본 발명의 기준 배경이미지 획득 방법은 영상촬영부가 제1시간에 설정영역을 촬영하여 제1영상패킷을 생성하고, 상기 제1시간에서 일정시간 경과된 제2시간에 설정영역을 촬영하여 제2영상패킷을 생성하는 (A)단계;
영상프레임생성부가 상기 제1영상패킷을 수신하여 제1영상프레임을 생성하고, 상기 제2영상패킷을 수신하여 제2영상프레임을 생성하는 (B)단계;
객체삭제부가 상기 제1영상프레임에서 객체를 검색한 후, 기 설정된 설정객체와 매칭되면, 상기 제1영상프레임으로부터 상기 객체를 삭제하여 제1삭제영상프레임을 생성하고, 상기 제2영상프레임에서 객체를 검색한 후, 기 설정된 설정객체와 매칭되면, 상기 제2영상프레임으로부터 상기 객체를 삭제하여 제2삭제영상프레임을 생성하는 (C)단계;
기준배경프레임생성부가 상기 제1삭제영상프레임과 상기 제2삭제영상프레임을 합성하여, 상기 제1삭제영상프레임에 삭제된 영역을 상기 제2영상프레임으로 메우거나, 상기 제2영상프레임에 삭제된 영역을 상기 제1영상프레임으로 메워 기준배경프레임을 생성하는 (D) 단계;
차분프레임생성부가 상기 기준배경프레임생성부로부터 상기 기준배경프레임을 입력받고, 상기 영상촬영부에서 최신의 영상프레임을 입력 받아, 상기 기준배경프레임과 최신의 영상프레임을 비교하여 동일한 부분을 제외하는 (E)단계;를 포함하고,
상기 (C)단계에서, 상기 객체삭제부가 내부에 복수 개의 설정객체가 저장된 객체정보제공기를 포함하여, 상기 설정객체와 상기 제1영상프레임 및 상기 제2영상프레임에서 포함되는 객체를 비교해, 상기 설정객체와 상기 객체 간 매칭값이 기준매칭값 이상이면 상기 객체를 설정객체로 간주하고, 상기 설정객체와 상기 객체 간 매칭값이 기준매칭값 미만이면 상기 객체를 배경으로 간주하는 단계를 포함하고,
상기 (E)단계에서, 상기 차분프레임생성부가 상기 기준배경프레임과 상기 최신의 영상프레임을 비교하여 상기 기준배경프레임과 상기 최신의 영상프레임의 동일 부분을 검정색으로 변환시키고, 동일하지 않은 부분을 제3객체로 생성하는 단계를 포함할 수 있다.
차분프레임생성부가 상기 기준배경프레임생성부로부터 상기 기준배경프레임을 입력받고, 상기 영상촬영부에서 최신의 영상프레임을 입력 받아, 상기 기준배경프레임과 최신의 영상프레임을 비교하여 동일한 부분을 제외하는 (E)단계;를 포함하고,
상기 (C)단계에서, 상기 객체삭제부가 내부에 복수 개의 설정객체가 저장된 객체정보제공기를 포함하여, 상기 설정객체와 상기 제1영상프레임 및 상기 제2영상프레임에서 포함되는 객체를 비교해, 상기 설정객체와 상기 객체 간 매칭값이 기준매칭값 이상이면 상기 객체를 설정객체로 간주하고, 상기 설정객체와 상기 객체 간 매칭값이 기준매칭값 미만이면 상기 객체를 배경으로 간주하는 단계를 포함하고,
상기 (E)단계에서, 상기 차분프레임생성부가 상기 기준배경프레임과 상기 최신의 영상프레임을 비교하여 상기 기준배경프레임과 상기 최신의 영상프레임의 동일 부분을 검정색으로 변환시키고, 동일하지 않은 부분을 제3객체로 생성하는 단계를 포함할 수 있다.
본 발명에 따른 기준 배경이미지 획득 시스템 및 기준 배경이미지 획득방법은 기준이 되는 최적의 배경이미지를 획득하여, 획득된 기준배경이미지로부터 임의의 객체를 정확하게 검출할 수 있도록 한다.
또한, 본 발명은 복수 개의 영상이미지로부터 기계 학습된 객체를 추출하는 단계, 추출된 객체를 삭제하는 단계, 삭제된 영역을 복수 개의 영상이미지에서 추출하여 메우며 기준 배경이미지를 생성하는 단계, 획득된 배경이미지와 최신의 영상이미지를 비교하여 최신의 영상이미지에서 비 학습된 객체를 검출하는 단계만으로 임의의 객체를 정확하게 검출하는데 기준이 되는 배경이미지를 생성할 수 있다.
도 1은 본 발명의 일 실시예에 따른 기준 배경이미지 획득 시스템의 블록도이다.
도 2는 도 1의 영상촬영부가 일정시간 동안 설정영역을 촬영하는 상태를 나타낸 도면이다.
도 3은 도 1의 객체삭제부가 기계 학습된 객체를 포함한 상태를 나타낸 도면이다.
도 4 및 도 5는 도 1의 영상프레임생성부의 작동과 객체삭제부의 작동을 나타낸 도면이다.
도 6은 도 1의 기준배경프레임생성부의 작동을 나타낸 도면이다.
도 7은 도 1의 기준배경프레임생성부와 차분프레임생성부 간 블록도 이다.
도 8은 도 7의 차분프레임생성부를 통해, 기준배경프레임생성부에서 생성된 기준배경프레임과 최신의 영상프레임을 비교하여 임의의 객체를 검출한 상태를 나타낸 도면이다.
도 9는 본 발명의 일 실시예에 따른 기준 배경이미지 획득 방법의 순서도이다.
도 2는 도 1의 영상촬영부가 일정시간 동안 설정영역을 촬영하는 상태를 나타낸 도면이다.
도 3은 도 1의 객체삭제부가 기계 학습된 객체를 포함한 상태를 나타낸 도면이다.
도 4 및 도 5는 도 1의 영상프레임생성부의 작동과 객체삭제부의 작동을 나타낸 도면이다.
도 6은 도 1의 기준배경프레임생성부의 작동을 나타낸 도면이다.
도 7은 도 1의 기준배경프레임생성부와 차분프레임생성부 간 블록도 이다.
도 8은 도 7의 차분프레임생성부를 통해, 기준배경프레임생성부에서 생성된 기준배경프레임과 최신의 영상프레임을 비교하여 임의의 객체를 검출한 상태를 나타낸 도면이다.
도 9는 본 발명의 일 실시예에 따른 기준 배경이미지 획득 방법의 순서도이다.
본 발명의 이점 및 특징 그리고 그것들을 달성하기 위한 방법들은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다.
그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다.
본 발명의 청구범위는 청구항을 비롯해 청구항을 뒷받침하는 설명에 의해 정의될 수 있다. 아울러, 명세서 전체에 걸쳐 동일 참조부호는 동일 구성요소를 지칭한다.
아울러, 본 명세서 상에 기술된‘제1객체’및‘제2객체’는 설명의 편의상 도면에 도시된 바와 같이 사람을 일례로 하고,‘제3객체’는 쓰레기가 담긴 봉지를 일례로 한다. 그러나, 제1객체 및 제2객체가 사람으로써 한정되는 것은 아니며 상황 및 사용자의 설정에 따라 자동차, 오토바이 등으로 변경될 수 있다. 그리고, 제3객체는 박스, 가방 등으로 변경될 수 있다. 아울러, 본 명세서 상에서의 촬영부, 생성부, 삭제부 등은 모두 입력된 데이터를 연산하여 출력하는 연산모듈 즉, 컴퓨터가 될 수 있다.
이하, 도 1 내지 도 8을 참조하여 본 발명의 일 실시예에 따른 기준 배경이미지 획득 시스템에 대해 상세히 설명하고, 설명된 내용과 도 9를 바탕으로 기준 배경이미지 획득 방법에 대해 상세히 설명하도록 한다.
먼저, 도 1을 참조하여 본 발명의 일 실시예에 따른 기준 배경이미지 획득 시스템에 대해 개괄적으로 설명한다.
도 1은 본 발명의 일 실시예에 따른 기준 배경이미지 획득 시스템의 블록도이다.
본 발명의 일 실시예에 따른 기준 배경이미지 획득 시스템(1)은 복수 개의 영상프레임에서 검출되는 객체를 삭제한 후, 객체가 삭제됨에 따라 비워 있는 영역을 서로의 영역으로 메우며 검출되는 객체가 없는 온전한 배경프레임을 생성한다.
즉, 본 발명의 기준 배경이미지 획득 시스템(1)은 복수 개의 영상프레임을 획득하고, 객체를 추출하여 삭제한 후 합성하여 최적의 배경프레임을 생성한다.
이러한 기준 배경이미지 획득 시스템(1)은 영상촬영부(10), 영상프레임생성부(20), 객체삭제부(30) 및 기준배경프레임생성부(40) 등을 구성요소로 포함한다.
이하, 도 2 내지 도 6을 참조하여 본 발명을 이루는 각 구성요소에 대해 구체적으로 설명한다.
도 2는 도 1의 영상촬영부가 일정시간 동안 설정영역을 촬영하는 상태를 나타낸 도면이고, 도 3은 도 1의 객체삭제부가 기계 학습된 객체를 포함한 상태를 나타낸 도면이고, 도 4 및 도 5는 도 1의 영상프레임생성부의 작동과 객체삭제부의 작동을 나타낸 도면이다. 그리고 도 6은 도 1의 기준배경프레임생성부의 작동을 나타낸 도면이다.
영상촬영부(10)는 제1시간에 설정영역을 촬영하여 제1영상패킷을 생성하고 제1시간에서 일정시간 경과된 제2시간에 설정영역을 촬영하여 제2영상패킷을 생성할 수 있다. 즉, 영상촬영부(10)는 도 2에 도시된 바와 같이, 설정영역을 촬영하여 제1영상프레임(110)에 기반이 되는 제1영상패킷과 제2영상프레임(120)의 기반이 되는 제2영상패킷을 생성할 수 있다.
예를 들어, 영상촬영부(10)는 설정영역을 오후 7시부터 새벽 6시까지 촬영한다고 하였을 때, 일정 시간 동안 설정영역을 촬영하며 복수 개의 영상패킷 즉, 제1영상패킷과 제2영상패킷을 생성할 수 있다. 이때, 일정 시간은 기준배경프레임이 생성되는 시간되어 1분이 될 수도 있으며 10분이 될 수도 있고, 설정영역은 기준 배경미지 획득 시스템(1)을 사용하는 사용자에 의해 설정되는 영역으로 결정될 수 있다.
영상촬영부(10)는 이와 같이 생성한 제1영상패킷과 제2영상패킷을 영상프레임생성부(20)로 송신한다.
영상프레임생성부(20)는 영상촬영부에서 송신하는 복수 개의 영상패킷을 수신하여 각 영상프레임으로 생성한다.
즉, 영상프레임생성부(20)는 영상촬영부(10)에서 최초 송신한 제1영상패킷을 수신하여 도 4의 (a-1)에 도시된 바와 같은 제1영상프레임(110)을 생성할 수 있다. 그리고, 도 5의 (a-2)에 도시된 바와 같은 제2영상패킷 송신한 후 수신한 제2영상패킷을 제2영상프레임(120)으로 생성할 수 있다. 그리고 영상프레임생성부(20)는 이렇게 생성한 제1영상프레임(110) 및 제2영상프레임(120)을 객체삭제부(30)로 전송한다.
객체삭제부(30)는 수신된 영상프레임으로부터 기 설정된 객체를 검출하여 객체 영역을 삭제할 수 있다.
보다 구체적으로 객체삭제부(30)는 도 4의 (b-1)에 도시된 바와 같이 제1영상프레임(110)에서 객체 즉, 제1객체(ob1)를 검색한 후, 검색된 객체(ob1)와 기 설정된 설정객체(300)와 매칭하고, 도 5의 (b-1)에 도시된 바와 같이 제2영상프레임(120)에서 객체 즉, 제2객체(ob2)를 검색한 후, 검색된 객체(ob2)와 기 설정된 설정객체(300)와 매칭한다.
이때, 객체삭제부(30)는 설정객체(300)와 제1영상프레임(110) 및 제2영상프레임(120)에 포함되는 객체(ob2)를 비교하여, 설정객체(300)와 객체(ob2) 간 매칭값이 기준매칭값 이상이면 도 4의 (c-1)에 도시된 바와 같이 제1영상프레임(110)으로부터 제1객체(ob1)를 삭제하며 제1영상프레임(110)을 제1삭제영상프레임(310)으로 생성할 수 있다. 그리고 객체삭제부(30)는 도 4의 (c-2)에 도시된 바와 같이 제2영상프레임(120)을 제2삭제영상프레임(320)으로 생성할 수 있다. 아울러, 객체삭제부(30)는 설정객체(300)와 객체 간 매칭값이 기준매칭값 미만이면 객체를 배경(BI)으로 간주한다.
특히, 객체삭제부(30)는 도 3에 도시된 바와 같이 내부에 복수 개의 설정객체를 기계 학습하며 저장하는 객체정보제공기(301)를 포함한다. 객체삭제부(30)는 객체정보제공기(301)에 저장된 설정객체(300)를 기반으로 수신된 영상프레임으로부터 객체를 정확하게 검출할 수 있다.
여기서, 객체정보제공기(301)는 영상(또는 영상 프레임)이미지에 포함된 객체를 추출하고 기계학습하며 학습된 객체로부터 객체정보를 추출한다.
객체정보제공기(301)는 도 3에 도시된 바와 같이 영상프레임생성부(20)에서 영상프레임을 생성하기 이전에 다양한 특정 객체 일례로, 자전거, 자동차, 개 등의 객체를 기계학습 할 수 있다. 이때 객체정보제공기(301)는 딥 러닝 기술과 같은 기계학습 기술을 통해, 객체를 기계 학습할 수 있다.
객체정보제공기(301)는 영상프레임생성부(20)를 통해 생성된 영상프레임으로부터 기계 학습된 객체를 감지하며 객체로부터 정보 즉, 객체정보를 추출할 수 있다.
객체삭제부(30)는 이러한 ?체정보제공기(301)를 통해 추출된 객체를 삭제하여 제1삭제영상프레임(310)과 제2삭제영상프레임(320)을 생성한 후, 기준배경프레임생성부(40)로 전송한다.
기준배경프레임생성부(40)는 복수 개의 삭제영상프레임(310, 320)을 합성하여, 삭제된 부분을 메우며 하나의 기준배경프레임(400)을 생성한다.
보다 구체적으로 기준배경프레임생성부(40)는 도 6에 도시된 바와 같이, 제1삭제영상프레임(310)에 삭제된 영역(Dob1)을 제2영상프레임(120)의 일부분으로 메워 기준배경프레임(400)을 생성하거나, 제2삭제영상프레임(320)에 삭제된 영역을 제1영상프레임(110)의 일부분으로 메워 기준배경프레임(400)을 생성할 수 있다.
아울러, 이와 같은 기준 배경이미지 획득 시스템의 기준배경프레임생성부(40)는 도 7에 도시된 바와 같이 차분프레임생성부(50)와 연결되어 임의의 객체를 정확하게 검출할 수 있도록 할 수 있다.
이하, 도 8을 참조하여, 차분프레임생성부에 의해 임의의 객체가 검출되는 상태에 대해 설명한다.
도 8은 도 7의 차분프레임생성부를 통해, 기준배경프레임생성부에서 생성된 기준배경프레임과 최신의 영상프레임을 비교하여 임의의 객체를 검출한 상태를 나타낸 도면이다.
차분프레임생성부(50)는 기준배경프레임생성부(40)로부터 기준배경프레임(400)을 입력 받고, 영상촬영부(10)에서 최신의 영상프레임을 입력 받는다. 그리고 입력 받은 최신의 영상프레임(410)과 기준배경프레임(400)을 비교하여 동일한 부분을 제외하여 차분프레임(420)을 생성한다.
다시 말해, 차분프레임생성부(50)는 도 8의 (a)에 도시된 바와 같은 기준배경프레임(400)을 입력 받는다. 그리고 도 8의 (b)에 도시된 바와 같이 최신의 영상프레임(410)을 입력 받는다. 그리고 차분프레임생성부(50)는 입력받은 기준배경프레임(400)과 최신의 영상프레임(410)을 비교하여, 기준배경프레임(400)과 최신의 영상프레임(410)간 동일한 부분을 검정색으로 변환시키고, 동일하지 않은 부분 즉, 최신의 영상프레임(410)에만 존재하는 객체 즉, 제3객체(ob3)만이 존재하는 이미지 즉, 도 8의 (c)에 도시된 바와 같은 차분프레임(420)을 생성할 수 있다.
이하, 지금까지 설명한 객체를 검출하는 기준 배경이미지 획득 시스템에 대한 설명을 바탕으로 본 발명의 일 실시예에 따른 기준 배경이미지 획득 방법에 대해 설명한다.
기준 배경이미지 획득 방법의 단계를 진행하는 주체에 대한 특징에 대해 설명된 내용은 기준 배경이미지 획득 시스템을 구성하는 구성요소와 동일할 수 있다.
즉, 기준 배경이미지 획득 시스템을 구성하는 구성요소는 순차적으로 작동하고, 작동되는 단계는 기준 배경이미지 획득방법이 된다.
이와 같은 기준 배경이미지 획득 방법에 대한 설명은 도 9의 순서도를 기준으로 한다.
도 9는 본 발명의 일 실시예에 따른 기준 배경이미지 획득 방법의 순서도이다.
기준 배경이미지 획득 방법은 영상촬영부(10)가 복수 개의 영상패킷을 생성하는 (A)단계, 영상프레임생성부(20)가 복수 개의 영상패킷을 생성하여 영상프레임(110, 120)을 생성하는 (B)단계, 객체삭제부(30)가 생성된 영상프레임(110, 120)에서 객체를 삭제하여 삭제영상프레임(310, 320)을 생성하는 (C)단계, 기준배경프레임생성부(40)가 삭제영상프레임(310, 320)을 합성하여 기준배경프레임(400)을 생성하는 (D)단계로 진행된다.
기준 배경이미지 획득 방법은 (A)단계 내지 (D)단계를 일련의 단계로 진행하며, 배경 차분 기법을 통해 객체를 검출하는 방법에 절대적으로 필요한 최적의 배경이미지 즉, 기준배경프레임을 생성할 수 있다.
기준 배경이미지 획득 방법에 대해 보다 구체적으로 설명하면, 기준배경이미지 획득 방법은 영상촬영부가 제1시간에 설정영역을 촬영하여 제1영상패킷을 생성하고, 제1시간에서 일정시간 경과된 제2시간에 설정영역을 촬영하여 제2영상패킷을 생성하는 (A)단계로 일련의 단계를 시작한다.
이후, 기준배경이미지 획득 방법은 영상프레임생성부(20)가 제1영상패킷을 수신하여 제1영상프레임을 생성하고, 제2영상패킷을 수신하여 제2영상프레임을 생성하는 (B)단계로 진행된다.
이후, 객체삭제부(30)가 제1영상프레임에서 객체를 검색한 후, 기 설정된 설정객체와 매칭되면, 제1영상프레임으로부터 객체를 삭제하여 제1삭제영상프레임을 생성하고, 제2영상프레임에서 객체를 검색한 후, 기 설정된 설정객체와 매칭되면, 제2영상프레임으로부터 객체를 삭제하여 제2삭제영상프레임을 생성하는 (C)단계로 진행된다.
이후, 기준배경이미지 획득 방법은 기준배경프레임생성부(40)가 제1삭제영상프레임과 제2삭제영상프레임을 합성하여, 제1삭제영상프레임(310)에 삭제된 영역을 제2영상프레임으로 메우거나, 제2영상프레임에 삭제된 영역을 제1영상프레임(110)으로 메워 기준배경프레임을 생성하는 (D) 단계로 일련의 단계를 종료할 수 있다.
아울러, 이러한 기준 배경이미지 획득방법은 (D)단계 이후, 차분프레임생성부(50)가 기준배경프레임(400)과 최신의 영상프레임을 비교하여 동일한 부분을 제외한 차분프레임을 생성하는 (E)단계로 더 진행되어, 객체삭제부의 객체정보제공기(301)에 저장되지 않는 객체 즉, 제3객체(ob3)를 검출할 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야 한다.
1: 기준 배경이미지 획득 시스템
10: 영상촬영부
110: 제1영상프레임 120: 제2영상프레임
20: 영상프레임생성부
30: 객체삭제부 300: 설정객체
301: 객체정보제공기
310: 제1삭제영상프레임 320: 제2삭제영상프레임
40: 기준배경프레임생성부 400: 기준배경프레임
50: 차분프레임생성부
10: 영상촬영부
110: 제1영상프레임 120: 제2영상프레임
20: 영상프레임생성부
30: 객체삭제부 300: 설정객체
301: 객체정보제공기
310: 제1삭제영상프레임 320: 제2삭제영상프레임
40: 기준배경프레임생성부 400: 기준배경프레임
50: 차분프레임생성부
Claims (4)
- 제1시간에 설정영역을 촬영하여 제1영상패킷을 생성하고, 상기 제1시간에서 일정시간 경과된 제2시간에 설정영역을 촬영하여 제2영상패킷을 생성하는 영상촬영부;
상기 제1영상패킷을 수신하여 제1영상프레임을 생성하고, 상기 제2영상패킷을 수신하여 제2영상프레임을 생성하는 영상프레임생성부;
상기 제1영상프레임에서 객체를 검색한 후, 기 설정된 설정객체와 매칭되면, 상기 제1영상프레임으로부터 상기 객체를 삭제하여 제1삭제영상프레임을 생성하고, 상기 제2영상프레임에서 객체를 검색한 후, 기 설정된 설정객체와 매칭되면, 상기 제2영상프레임으로부터 상기 객체를 삭제하여 제2삭제영상프레임을 생성하는 객체삭제부;
상기 제1삭제영상프레임과 상기 제2삭제영상프레임을 합성하여, 상기 제1삭제영상프레임에 삭제된 영역을 상기 제2영상프레임으로 메우거나, 상기 제2삭제영상프레임에 삭제된 영역을 상기 제1영상프레임으로 메워 기준배경프레임을 생성하는 기준배경프레임생성부;
상기 기준배경프레임생성부로부터 상기 기준배경프레임을 입력받고, 상기 영상촬영부에서 최신의 영상프레임을 입력 받아, 상기 기준배경프레임과 최신의 영상프레임을 비교하여 동일한 부분을 제외한 차분프레임을 생성하는 차분프레임생성부;를 포함하고,
상기 객체삭제부는 내부에 복수 개의 설정객체가 저장된 객체정보제공기를 포함하여, 상기 설정객체와 상기 제1영상프레임 및 상기 제2영상프레임에서 포함되는 객체를 비교하여, 상기 설정객체와 상기 객체 간 매칭값이 기준매칭값 이상이면 상기 객체를 설정객체로 간주하고, 상기 설정객체와 상기 객체 간 매칭값이 기준매칭값 미만이면 상기 객체를 배경으로 간주하고,
상기 차분프레임생성부는 상기 기준배경프레임과 상기 최신의 영상프레임을 비교하여 상기 기준배경프레임과 상기 최신의 영상프레임의 동일 부분을 검정색으로 변환시키고, 동일하지 않은 부분을 제3객체로 생성하는, 기준 배경이미지 획득 시스템. - 삭제
- 삭제
- 영상촬영부가 제1시간에 설정영역을 촬영하여 제1영상패킷을 생성하고, 상기 제1시간에서 일정시간 경과된 제2시간에 설정영역을 촬영하여 제2영상패킷을 생성하는 (A)단계;
영상프레임생성부가 상기 제1영상패킷을 수신하여 제1영상프레임을 생성하고, 상기 제2영상패킷을 수신하여 제2영상프레임을 생성하는 (B)단계;
객체삭제부가 상기 제1영상프레임에서 객체를 검색한 후, 기 설정된 설정객체와 매칭되면, 상기 제1영상프레임으로부터 상기 객체를 삭제하여 제1삭제영상프레임을 생성하고, 상기 제2영상프레임에서 객체를 검색한 후, 기 설정된 설정객체와 매칭되면, 상기 제2영상프레임으로부터 상기 객체를 삭제하여 제2삭제영상프레임을 생성하는 (C)단계;
기준배경프레임생성부가 상기 제1삭제영상프레임과 상기 제2삭제영상프레임을 합성하여, 상기 제1삭제영상프레임에 삭제된 영역을 상기 제2영상프레임으로 메우거나, 상기 제2영상프레임에 삭제된 영역을 상기 제1영상프레임으로 메워 기준배경프레임을 생성하는 (D)단계;
차분프레임생성부가 상기 기준배경프레임생성부로부터 상기 기준배경프레임을 입력받고, 상기 영상촬영부에서 최신의 영상프레임을 입력 받아, 상기 기준배경프레임과 최신의 영상프레임을 비교하여 동일한 부분을 제외하는 (E)단계;를 포함하고,
상기 (C)단계에서, 상기 객체삭제부가 내부에 복수 개의 설정객체가 저장된 객체정보제공기를 포함하여, 상기 설정객체와 상기 제1영상프레임 및 상기 제2영상프레임에서 포함되는 객체를 비교해, 상기 설정객체와 상기 객체 간 매칭값이 기준매칭값 이상이면 상기 객체를 설정객체로 간주하고, 상기 설정객체와 상기 객체 간 매칭값이 기준매칭값 미만이면 상기 객체를 배경으로 간주하는 단계를 포함하고,
상기 (E)단계에서, 상기 차분프레임생성부가 상기 기준배경프레임과 상기 최신의 영상프레임을 비교하여 상기 기준배경프레임과 상기 최신의 영상프레임의 동일 부분을 검정색으로 변환시키고, 동일하지 않은 부분을 제3객체로 생성하는 단계를 포함하는, 기준 배경이미지 획득 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180090847A KR101957218B1 (ko) | 2018-08-03 | 2018-08-03 | 기준 배경이미지 획득 시스템 및 기준 배경이미지 획득 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180090847A KR101957218B1 (ko) | 2018-08-03 | 2018-08-03 | 기준 배경이미지 획득 시스템 및 기준 배경이미지 획득 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101957218B1 true KR101957218B1 (ko) | 2019-03-12 |
Family
ID=65800267
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180090847A KR101957218B1 (ko) | 2018-08-03 | 2018-08-03 | 기준 배경이미지 획득 시스템 및 기준 배경이미지 획득 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101957218B1 (ko) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102348233B1 (ko) * | 2021-12-03 | 2022-01-07 | 새빛이앤엘 주식회사 | Cctv 동영상 콘트라스트 최적화를 이용한 영상 감시 장치 |
| KR20220169312A (ko) * | 2021-06-18 | 2022-12-27 | 엘아이지넥스원 주식회사 | 이미지 처리 방법 및 장치 |
| WO2024123159A1 (ko) * | 2022-12-06 | 2024-06-13 | 숭실대학교 산학협력단 | 연속적인 rgb-d 프레임 세트를 활용한 고품질 깊이 영상 생성 방법 및 이의 장치 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20050031694A (ko) * | 2003-09-30 | 2005-04-06 | 엘지전자 주식회사 | 플라즈마 디스플레이 패널의 광역 플리커 제거를 위한비디오 화상 처리 방법 |
| KR20120025718A (ko) * | 2010-09-08 | 2012-03-16 | 중앙대학교 산학협력단 | 이상행위 검출장치 및 방법 |
| KR101519342B1 (ko) | 2014-11-21 | 2015-05-13 | 주식회사 로보티어 | Cctv 방범·안전 argos 타워 및 argos 시스템 및 argos 제어방법 |
| KR20160091488A (ko) * | 2015-01-23 | 2016-08-03 | 정영규 | 모델 생성을 이용한 객체 자동 검출 방법 및 시스템 |
-
2018
- 2018-08-03 KR KR1020180090847A patent/KR101957218B1/ko active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20050031694A (ko) * | 2003-09-30 | 2005-04-06 | 엘지전자 주식회사 | 플라즈마 디스플레이 패널의 광역 플리커 제거를 위한비디오 화상 처리 방법 |
| KR20120025718A (ko) * | 2010-09-08 | 2012-03-16 | 중앙대학교 산학협력단 | 이상행위 검출장치 및 방법 |
| KR101519342B1 (ko) | 2014-11-21 | 2015-05-13 | 주식회사 로보티어 | Cctv 방범·안전 argos 타워 및 argos 시스템 및 argos 제어방법 |
| KR20160091488A (ko) * | 2015-01-23 | 2016-08-03 | 정영규 | 모델 생성을 이용한 객체 자동 검출 방법 및 시스템 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220169312A (ko) * | 2021-06-18 | 2022-12-27 | 엘아이지넥스원 주식회사 | 이미지 처리 방법 및 장치 |
| KR102662230B1 (ko) | 2021-06-18 | 2024-04-30 | 엘아이지넥스원 주식회사 | 이미지 처리 방법 및 장치 |
| KR102348233B1 (ko) * | 2021-12-03 | 2022-01-07 | 새빛이앤엘 주식회사 | Cctv 동영상 콘트라스트 최적화를 이용한 영상 감시 장치 |
| WO2024123159A1 (ko) * | 2022-12-06 | 2024-06-13 | 숭실대학교 산학협력단 | 연속적인 rgb-d 프레임 세트를 활용한 고품질 깊이 영상 생성 방법 및 이의 장치 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI749113B (zh) | 在視訊監控系統中產生警示之方法、系統及電腦程式產品 | |
| KR101957218B1 (ko) | 기준 배경이미지 획득 시스템 및 기준 배경이미지 획득 방법 | |
| US9208226B2 (en) | Apparatus and method for generating evidence video | |
| KR102045871B1 (ko) | 인공지능 기술에 기반한 화재감지시스템 및 인공지능 기술에 기반한 화재감지방법 | |
| KR20110132884A (ko) | 다중 동영상 색인 및 검색이 가능한 지능형 영상 정보 검색 장치 및 방법 | |
| CN102411703A (zh) | 检测图像序列中的特定对象的装置、方法和视频摄像设备 | |
| CN111814510B (zh) | 一种遗留物主体检测方法及装置 | |
| KR101084914B1 (ko) | 차량번호 및 사람 이미지의 인덱싱 관리시스템 | |
| CN116916049B (zh) | 一种基于云计算技术的视频数据在线采集与存储系统 | |
| CN113269127B (zh) | 实时自动建库的人脸识别和行人重识别监控方法及系统 | |
| JP5153478B2 (ja) | 画像処理装置及び画像処理方法 | |
| KR20210104979A (ko) | 영상 검색 장치 및 이를 포함하는 네트워크 감시 카메라 시스템 | |
| CN111260869A (zh) | 监控视频中视频帧的提取方法、装置和计算机设备 | |
| CN113065482A (zh) | 基于图像识别的行为检测方法、系统、计算机设备及介质 | |
| CN111753743A (zh) | 一种基于网闸的人脸识别方法及系统 | |
| CN105847752A (zh) | 信息编解码方法、设备和视频监控系统 | |
| KR20140054650A (ko) | 관심객체의 선택에 의한 영상 탐색장치 및 방법 | |
| KR102077632B1 (ko) | 로컬 영상분석과 클라우드 서비스를 활용하는 하이브리드 지능형 침입감시 시스템 | |
| KR101907442B1 (ko) | 사람 이동 궤적 기반 유기 감지 시스템 및 사람 이동 궤적 기반 유기 감지 방법 | |
| KR20210075533A (ko) | 딥러닝을 활용한 영상 기반의 강수 정보 제공 시스템 및 방법 | |
| KR101509593B1 (ko) | 프리셋 투어 카메라를 위한 영상 분류 방법 및 그 장치 | |
| CN104104860B (zh) | 对象图像检测设备及其控制方法以及控制程序、记录介质 | |
| CN108200390A (zh) | 视频结构化分析方法及装置 | |
| JP6604413B1 (ja) | 画像検索装置、画像検索システム、画像検索方法及びプログラム | |
| CN110855932B (zh) | 基于视频数据的报警方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |