KR20210008574A - 프레임 분할과 지능형 검출 pool을 이용한 다수의 카메라 영상에서 실시간 객체 검출 방법 - Google Patents

프레임 분할과 지능형 검출 pool을 이용한 다수의 카메라 영상에서 실시간 객체 검출 방법 Download PDF

Info

Publication number
KR20210008574A
KR20210008574A KR1020190071357A KR20190071357A KR20210008574A KR 20210008574 A KR20210008574 A KR 20210008574A KR 1020190071357 A KR1020190071357 A KR 1020190071357A KR 20190071357 A KR20190071357 A KR 20190071357A KR 20210008574 A KR20210008574 A KR 20210008574A
Authority
KR
South Korea
Prior art keywords
image
detection
intelligent
frame
real
Prior art date
Application number
KR1020190071357A
Other languages
English (en)
Inventor
이채수
류만상
Original Assignee
포인드 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 포인드 주식회사 filed Critical 포인드 주식회사
Priority to KR1020190071357A priority Critical patent/KR20210008574A/ko
Priority to US16/890,277 priority patent/US20200394802A1/en
Publication of KR20210008574A publication Critical patent/KR20210008574A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G06K9/00711—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/96—Management of image or video recognition tasks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명에 따른 지능형 머신비전이 다수의 카메라가 촬영한 영상으로부터 실시간으로 객체를 검출하는 객체 검출 방법에 있어서, 상기 카메라로부터 영상을 수신하는 단계(S100); 수신한 영상으로부터 객체를 감지하는 단계(S200); 상기 단계(S200)에서 감지한 결과로부터 객체의 종류를 판단하는 단계(S300) 및 상기 단계(S300)에서 판단한 상기 객체의 종류의 결과를 표출하는 단계(S400)를 포함하는 것을 특징으로 한다.

Description

프레임 분할과 지능형 검출 POOL을 이용한 다수의 카메라 영상에서 실시간 객체 검출 방법 {A Real-Time Object Detection Method for Multiple Camera Images Using Frame Segmentation and Intelligent Detection POOL}
본 발명은 중소벤처기업부에서 시행한 '창업성장-기술개발사업'으로 수행된 연구결과로, 프레임 분할과 지능형 검출 POOL을 이용한 다수의 카메라 영상에서 실시간으로 사람 및 차량 등의 객체를 검출하는 방법에 관한 것이다.
폐회로 텔레비전(CCTV: Closed Circuit Television)은 아파트, 골목 등에 설치되어 활용되고 있다. 폐회로 텔레비전의 다양한 곳에 활용됨에 따라, 효율적인 모니터링 기술개발이 진행되고 있다.
현재에는 영상의 정보를 분석하여 기계 학습된 객체가 영상에서 검출되면, 자동으로 이상 행위를 탐지하고 관리자에서 경보를 전송하는 지능형 지능형 영상 감지 시스템이 활발히 개발되고 있다.
지능형 영상 감지(IVS: Intelligent Video Surveillance) 시스템은 영상 전처리 단계, 배경 영역분리 단계, 객체 식별단계, 객체 추적 단계 및 사전에 정의된 규칙을 기반으로 이벤트를 탐지하는 이벤트 탐지 단계로 구성된다.
현재 개발된 대다수의 지능형 영상 감지 시스템은 배경 차분 기법을 이용해, 배경프레임과 현재프레임을 비교하여 차이를 구하는 방법으로 현재프레임에 있는 객체를 검출하고 있다. 이러한 지능형 영상 감지 시스템은 기준이 되는 배경이미지를 생성하여 임의의 객체를 일관되게 검출할 수 있다.
그러나, 이와 같은 지능형 영상 감지 시스템은 감지된 객체의 행동을 분류하고 특정된 행동에 기반한 사고를 검출할 수 없어 특정된 행동이 큰 사고로 번지는 것을 예방할 수 없는 문제를 가지고 있다.
또한, 이동 객체 검출은 입력 영상에서 배경과 다른 전경 객체를 찾는 것을 말하는 것으로 지능 영상 감시, HCI, 객체 기반 영상 압축 등의 여러 영상 처리 응용 분야에서 필요한 과정이다. 예를 들어, 지능 영상 감시에서는 관심 객체의 행위 분석이 요구된다. 관심 객체는 이동 객체 검출로부터 도출되며 지능 영상 감시의 성능은 얼마나 빠르고 정확하게 이동 객체를 검출할 수있느냐에 달려 있다는 것이 잘 알려져 있다.
그런데, 기존의 모폴로지 연산 이용 이동 객체 검출 알고리즘은 상당한 계산량을 요구하여 다채널 영상 감시 응용, 또는 임베디드 시스템에서의 단일 채널의 실시간 응용 구현에 사용하는 데 애로가 많다. 이동 객체 검출은 "전경 마스크 추출, 전경 마스크 정정, 블롭 분할"과 같은 절차를 거친다.
전경 마스크는 추출된 전경 픽셀들을 나타내는 것으로 정확한 객체 추출을 위해서 잘못 추출되거나 추출안된 것을 고치는 전경 마스크 정정 단계가 필요하며 보통 열림/닫힘 등의 모포롤지 연산이 전처리 단계로 처리되어 수행된다.
한편, 전경 마스크는 다수의 블롭을 포함할 수있으므로 이들 블롭을 구분하여 분할을 해낼필요가 있으며 연결 요소 레이블링 알고리즘[문헌 5]을 이용하여 처리된다. 블롭은 연결된 전경 픽셀들의 집합을 의미한다. 이후 분할된 블롭들을 각각 포함하는 최소 사각형 영역이 계산되고 이들 최소 사각형 영역이 객체 영역으로 검출되게 된다.
그런데, 전경 마스크 정정 과정에서 이용되는 모폴로지 연산은 계산량이 적지 않고 게다가 프로세싱 방법이 달라 연결 요소 레이블링 처리 루틴에서 사용되는 방법과 달라 연결 요소 레이블링 처리 루틴과 동시에 처리되기 어렵고, 먼저 모폴로지 연산에 의한 전경 마스크 정정 과정 처리후에 순차적으로 연결 요소 레이블링 과정이 수행된다. 모폴로지 연산 자체가 계산량이 적지 않고 전경 마스크 정정과 연결 요소 레이블링이 순차적으로 처리되기 때문에 기존의 모폴로지 연산 이용 이동 객체 검출 방법은 수행에 많이 시간이 소요된다.
KR 10-1980551 B1 KR 10-2011-0009761 A
따라서, 본 발명은 상술한 문제점을 해결하기 위한 것으로, Python 기반의 GIL(Global Interpreter Lock) 방식의 다수 영상을 동시처리 방식에서 발생하는 처리 지연을 해결하기 위해 블록 단위의 영상 프레임 불러오기와 불러온 프레임을 분할 후 유사성이 있는 인접한 프레임을 제거 후 연속적 객체 검출 방식을 적용한 프레임 분할과 지능형 검출 POOL을 이용한 다수의 카메라 영상에서 실시간 객체 검출 방법을 제공함에 있다.
상기의 목적을 이루기 위한 본 발명에 따른 지능형 머신비전이 다수의 카메라가 촬영한 영상으로부터 실시간으로 객체를 검출하는 객체 검출 방법에 있어서, 상기 카메라로부터 영상을 수신하는 단계(S100); 수신한 영상으로부터 객체를 감지하는 단계(S200); 상기 단계(S200)에서 감지한 결과로부터 객체의 종류를 판단하는 단계(S300) 및 상기 단계(S300)에서 판단한 상기 객체의 종류의 결과를 표출하는 단계(S400)를 포함하는 것을 특징으로 한다.
본 발명은 객체 검출 시 GIL로 인한 병목 및 지연처리 현상을 해소하여, 병목 및 지연현상 없이 객체를 실시간으로 신속하게 검출할 수 있다는 효과를 갖는다.
도 1은 본 발명에 따른 프레임 분할과 지능형 검출 POOL을 이용한 다수의 카메라 영상에서 실시간 객체 검출 방법의 순서도이다.
도 2는 종래의 Python의 단점인 GIL로 인한 병목 및 지연처리 현상을 보여준다.
도 3은 본 발명에 따른 영상 프레임 처리 방법에 관한 순서도이다.
도 4는 본 발명에 따른 검출만 담당하는 POOL을 활용하여 불러온 프레임의 동시 처리과정을 보여주는 순서도이다.
도 5는 본 발명에 따른 객체 검출을 위한 지능형 분석 및 다수의 비디오 결과 영상 표출 장치이다.
도 6은 본 발명에 따른 객체 검출에 사용하는 검출 소프트웨어 구조도이다.
도 7은 본 발명에 따른 비디오 입력 스트림과 결과가 함께 표출된 화면이다.
도 8은 본 발명에 따른 영상 프레임 처리 방법에 적용할 수 있는 객체를 감지하는 방법 중 Optical Flow를 설명하기 위한 도면이다.
이하에서는, 본 발명의 실시 예에 따른 도면을 참조하여 설명하지만, 이는 본 발명의 더욱 용이한 이해를 위한 것으로, 본 발명의 범주가 그것에 의해 한정되는 것은 아니다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "... 부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다.
본 명세서에 있어서는 어느 하나의 구성요소가 다른 구성요소로 데이터 또는 신호를 '전송'하는 경우에는 구성요소는 다른 구성요소로 직접 상기 데이터 또는 신호를 전송할 수 있고, 적어도 하나의 또 다른 구성요소를 통하여 데이터 또는 신호를 다른 구성요소로 전송할 수 있음을 의미한다.
그리고 본 명세서에서 모듈이라 함은, 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적, 구조적 결합을 의미할 수 있다. 예컨대, 상기 모듈은 소정의 코드와 상기 소정의 코드가 수행되기 위한 하드웨어 리소스의 논리적인 단위를 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나, 한 종류의 하드웨어를 의미하는 것은 아님은 본 발명의 기술분야의 평균적 전문가에게는 용이하게 추론될 수 있다.
설명에 앞서 본 명세서에는 다수의 양태 및 실시양태가 기술되며, 이들은 단순히 예시적인 것으로서 한정하는 것이 아니다.
본 명세서를 읽은 후에, 숙련자는 다른 양태 및 실시예가 본 발명의 범주로부터 벗어남이 없이 가능함을 이해할 것이다.
이하에서 설명되는 실시양태의 상세 사항을 다루기 전에, 몇몇 용어를 정의하거나 또는 명확히 하기로 한다.
지능형 머신비전은 사람 및 차량 등의 객체를 소프트웨어가 분석하여 인식 할 수 없었던 객체의 종류를 자동으로 검출하여 알려 주는 장치를 의미한다.
도 1은 본 발명에 따른 프레임 분할과 지능형 검출 POOL을 이용한 다수의 카메라 영상에서 실시간 객체 검출 방법의 순서도이고, 도 2는 종래의 Python의 단점인 GIL로 인한 병목 및 지연처리 현상을 보여주고, 도 3은 본 발명에 따른 영상 프레임 처리 방법에 관한 순서도이고, 도 4는 본 발명에 따른 검출만 담당하는 POOL을 활용하여 불러온 프레임의 동시 처리과정을 보여주는 순서도이고, 도 5는 본 발명에 따른 객체 검출을 위한 지능형 분석 및 다수의 비디오 결과 영상 표출 장치이고, 도 6은 본 발명에 따른 객체 검출에 사용하는 검출 소프트웨어 구조도이고, 도 7은 본 발명에 따른 비디오 입력 스트림과 결과가 함께 표출된 화면이고, 도 8은 본 발명에 따른 영상 프레임 처리 방법에 적용할 수 있는 객체를 감지하는 방법 중 Optical Flow를 설명하기 위한 도면이다.
본 발명에 따른 지능형 머신비전이 다수의 카메라가 촬영한 영상으로부터 실시간으로 객체를 검출하는 객체 검출 방법에 있어서, 상기 카메라로부터 영상을 수신하는 단계(S100); 수신한 영상으로부터 객체를 감지하는 단계(S200); 상기 단계(S200)에서 감지한 결과로부터 객체의 종류를 판단하는 단계(S300) 및 상기 단계(S300)에서 판단한 상기 객체의 종류의 결과를 표출하는 단계(S400)를 포함하는 것을 특징으로 한다.
또한, 상기 단계(S100) 이후 수신한 상기 영상을 블록 단위의 영상 프레임으로 불러오고 불러온 상기 프레임을 분할하여 유사성이 있는 인접한 프레임을 제거 하는 단계(S110)를 더 포함할 수 있다.
또한, 상기 단계(S110) 이후 연속적으로 객체를 검출하는 단계(S120)를 더 포함할 수 있다.
또한, 상기 지능형 머신비전은 다수의 카메라가 촬영한 영상을 수신하여 객체 종류를 판단하면 지능형 검출부 및 상기 지능형 검출 장치가 판단한 결과를 클라이언트로 전송하는 전송부로 구성된 것을 특징으로 한다.
또한, 상기 지능형 머신비전은 영상 프레임을 수신 후 분할 후 인접 프레임 제거하는 기능, 검출된 객체에 고유 ID를 지정하는 기능, 검출된 결과를 저장하는 기능 및 검출만 담당하는 POOL이 다수의 객체를 검출하는 기능을 포함할 수 있다.
다음은 도 1 내지 도 8을 참조하여 본 발명에 따른 프레임 분할과 지능형 검출 POOL을 이용한 다수의 카메라 영상에서 실시간 객체 검출 방법에 대해 상세히 설명하도록 한다. 본 발명을 적용하여 차량 검출을 하는 실시 예를 통해 설명하도록 한다. 이에 따라 차량을 검출하는 방법과 검출된 결과 중 잘 못 검출(오검출)이 없는지를 검토하는 방법을 제안한다.
본 발명은 종래의 기술인 도 2와 같이 Python 기반의 GIL(Global Interpreter Lock) 방식의 다수 영상을 동시처리 방식에서 발생하는 처리 지연을 해결하기 위해 “블록 단위의 영상 프레임 불러오기와 불러온 프레임을 분할 후 유사성이 있는 인접한 프레임을 제거 후 연속적 객체 검출 방식”을 도 3과 같이 제안한다. 도 3에서 (a)는 기존의 순차적 영상 프레임 불러오기 및 객체검출 방법이며, 이는 모든 프레임을 빠짐없이 순서적으로 불러와서 처리하는 방식이므로 필요 이상으로 유사한 영상을 반복하게 되는 것을 확인할 수 있다. 따라서 도 3의 (b)와 같이 블록 단위의 영상 프레임을 불러와서, 불러온 프레임 중 인접한 유사 프레임을 제거하고 이들을 묶어 하나의 영상으로 만든 후 상기 영상을 연속으로 처리하는 연속적 객체 검출 방식을 확인할 수 있다.
또한, 제안된 방식은 도 4와 같이 검출만 담당하는 POOL을 만듦으로써 다수의 비디오 영상에서 객체를 동시에 연속적으로 지연 없이 검출하는 구조가 가능하다. 즉, 검출만 담당하는 POOL을 활용하기 위해 멀티쓰레드의 각 쓰레드에서 불러온 프레임을 POOL에 넘겨줘서 POOL에 있는 여러 Detector가 동시 처리하는 과정이다.
또한, 본 발명은 도 5와 같이 기존 영상 저장 서버에서 영상 스트림을 받아 지능형 검출 장치(영상분석 서버)에서 객체 종류를 판단하고, 이를 클라이언트에 알려주는 장치로 구성된다. 이는 동시에 다수의 객체 검출을 위해 다수의 카메라를 한개의 분석 서버에 연결하고, 상기 분석 서버에서 분석한 결과를 표시하는 비디오 영상 표출부인 것이다.
도 6의 제안된 검출 소프트웨어 구조에서와 같이 본 발명에서 제안된 지능형 검출 장치는 영상 프레임을 수신 후 분할 후 인접 프레임 제거하는 기능, 검출된 객체에 고유 ID를 지정하는 기능, 검출된 결과를 저장하는 기능, 검출만 담당하는 POOL이 다수의 객체를 검출하는 기능을 갖는 구조를 가진다. 클라이언트에 알려주는 장치는 카메라로부터 받은 영상 스트림에 도 7과 같이 객체가 검출된 결과를 함께 표출하여 모니터에 송출하는 기능을 가진다. 도 7에서 비디오 입력 스트림에 지능형 검출장치를 거쳐 검출된 객체에 대한 결과를 확인할 수 있고, (a)에서는 차량 검출 및 카운팅을, (b)에서는 사출물 종류 및 오류 검출을 확인할 수 있다.
다음은 수신한 영상으로부터 객체를 감지하는 단계(S200)에 대해 좀 더 상세히 설명하도록 한다.
객체를 감지하는 것은 클러스터 픽셀(cluster pixels)과 비디오 시퀀스(video sequence)에서 관심 있는 객체를 확인하는 과정이다. 이는 프레임 디프렌싱(Frame differencing), 옵티컬 플로우(Optical flow), Background subtraction과 같은 방법을 적용할 수 있다.
다음은 상기 단계(S200)에서 감지한 결과로부터 객체의 종류를 판단하는 단계(S300)에 대해 좀 더 상세히 설명하도록 한다.
객체는 예를 들어 자동차, 새, 구름, 나무나 다른 움직이는 객체들로 분류될 수 있다. 이러한 객체를 분류하기 위한 방법으로는 Shape-based classification, Motion-based classification, Color based classification and Texture based classification 등이 있으며 감지된 객체에 따라 혹은 사용자가 직접 적합한 방법을 택하여 개별적으로 적용할 수 있다.
다음은 본 발명에 적용할 수 있는 객체 추적방법에 대해 상세히 설명하도록 한다. 추적(Tracking)은 움직이는 장면에서 이미지면에 있는 물체의 path 근사치 구하는 문제라고 할 수 있다. 즉, 영상에서 관심있는 물체가 움직이는 path가 얼마나 그 전 프레임과 유사한지 알아낸 다음 동일 객체라고 인식하게 되면, 그 물체를 계속 Tracking 하는 것이라고 할 수 있다. 객체를 Tracking 하는 방법에는 Point Tracking, Kernel Tracking, Silhouette을 적용할 수 있다.
Object Tracking을 위해서는 video Sequence에서 관심있는 객체를 식별하는 것이다. 또한 픽셀들을 클러스터하는 과정도 포함되는데 이러한 과정에는 Frame differencing, Optical Flow, Background Subtraction가 있는데, 아래에서는 Frame differencing, Optical Flow, Background Subtraction에 대해 좀 더 상세히 설명하도록 한다.
Frame differencing은 두 개의 연속되는 이미지 사이의 차이를 계산함으로써 움직이는 객체가 존재한다고 판단하는 방법이다. 모션 감지 알고리즘은 전경 또는 움직이는 물체가 배경에서 분할되는 세분화 부분으로 시작하는데, 이를 구현하는 가장 간단한 방법은 이미지를 배경으로 사용하고 I (t)로 표시된 시각 t에서 얻은 프레임을 B로 표시된 배경 이미지와 비교하는 것이다. I (t)의 각 픽셀에 대한 컴퓨터 시각 의미의 이미지 감산 기술을 사용하여, P [I (t)]로 표시된 픽셀 값을 취하여 다음과 같이 표시된 배경 이미지의 같은 위치에있는 해당 픽셀로 뺀다P [B]. 이를 정리하면 하기 수학식 1과 같다.
Figure pat00001
<수학식 1. 두 개의 연속되는 이미지 사이의 차이 계산식>
여기서, 배경은 시간 t 에서 프레임으로 가정된다. 이 이미지 차이(difference image)는 두 프레임에서 변경된 픽셀 위치에 대해서만 약간의 강도(intensity)를 나타낸다. 이 경우에는 겉으로보기에는 배경을 제거했지만, 이러한 방법은 모든 전경 픽셀이 움직이고 모든 배경 픽셀이 정적 인 경우에만 적용 가능하다. 따라서 이러한 점을 개선시키기 위해 하기의 수학식 2와 같이 "임계 값"을 이미지 차이에 적용한다.
Figure pat00002
<수학식 2. 임계 값을 적용한 식>
즉, 이미지 사이의 차이(difference image)라는게 결국 시간에 따라 변하기 때문에 시간변수 t를 이용하여 계산하며, background를 제거하고, foreground pixels을 threshold하여 subtraction을 하여 이미지를 개선하게 된다. 이는, empty phenomenon(빈 현상)이 있을 때 적용하기 좋은 알고리즘이다.
다음은 Optical Flow에 대해 상세히 설명하도록 한다.
Optical flow 방법은 관찰자(눈 또는 카메라)와 Scene(장면) 사이에 관계있는움직임에 의해 발생되는 visual scene에서 edges와 surfaces, objects의 동작들을 나타내는 패턴이다. 옵티컬 플로우는 하늘에 떠있는 경우에 회전하는 관찰자를 통해 개념을 설명할 수 있는데, 각 위치에서 나타난 Direction과 Magnitude가 각 화살의 길이와 방향에의해 나타난다. 도 8과 같이 방향과 규모가 어느정도 영향을 끼치고 있는지가 표면상에 화살로 나타나게 된다. 이는 단순히, 영상에서 모션 벡터를 찾는 방법이라고 할 수 있다.
다음은 Background Subtraction에 대해 상세히 설명하도록 한다.
background subtraction을 하기 위한 첫 단계는 Background Modelling이며, 배경 추출 알고리즘의 핵심은 배경 모델링이 움직이는 객체에를 충분히 인식해야 한다. 본 발명에서는 배경 모델링을 하는 방법으로 Mean filter와 Median filter를 권장한다. 배경 추출 방법은 현재 이미지와 움지기는 객체를 탐지하기 위한 배경 이미지의 차이를 이용하는 방법을 사용하게 된다. 이는 배경에 대한 정보를 알고 있는 경우, 객체의 대한 정보를 완벽하게 얻을 수 있다. 배경 추출 방법으로는 Recursive Algorithm와 Non-recursive Algorithm를 적용할 수 있다.
또한, Gaussian of Mixture(가우시안 혼합모델), Approximate median, Adaptive background가 있으며, 가우시안 혼합 모델은 여러 개의 가우시안 확률밀도함수로 데이터의 분포를 모델링 하는 방법이다. 영상에서는 각각의 픽셀 값을 의미하며 (Gray scale, 0~255), 배경의 학습을 통해 배경 모델이 형성된다. 이를 이용해 배경을 따로 추출해 낼 수 있는 것이다. 배경에 대한 학습(Learning)이 이루어지는 과정에서 배경과 객체를 분리하고, 객체를 좀 더 정확히 감지하기 위해 Median Filter를 적용하는 과정을 거치면 된다.
이상 본 발명의 실시 예에 따른 도면을 참조하여 설명하였지만, 본 발명이 속한 분야에서 통상의 지식을 가진 자라면 상기 내용을 바탕으로 본 발명의 범주 내에서 다양한 응용 및 변형을 행하는 것이 가능할 것이다.

Claims (5)

  1. 지능형 머신비전이 다수의 카메라가 촬영한 영상으로부터 실시간으로 객체를 검출하는 객체 검출 방법에 있어서,
    상기 카메라로부터 영상을 수신하는 단계(S100);
    수신한 영상으로부터 객체를 감지하는 단계(S200);
    상기 단계(S200)에서 감지한 결과로부터 객체의 종류를 판단하는 단계(S300) 및
    상기 단계(S300)에서 판단한 상기 객체의 종류의 결과를 표출하는 단계(S400)를 포함하는 것을 특징으로 하는 프레임 분할과 지능형 검출 POOL을 이용한 다수의 카메라 영상에서 실시간 객체 검출 방법.
  2. 청구항 1에 있어서,
    상기 단계(S100) 이후 수신한 상기 영상을 블록 단위의 영상 프레임으로 불러오고 불러온 상기 프레임을 분할하여 유사성이 있는 인접한 프레임을 제거 하는 단계(S110)를 더 포함하는 것을 특징으로 하는 프레임 분할과 지능형 검출 POOL을 이용한 다수의 카메라 영상에서 실시간 객체 검출 방법.
  3. 청구항 2에 있어서,
    상기 단계(S110) 이후 연속적으로 객체를 검출하는 단계(S120)를 더 포함하는 것을 특징으로 하는 프레임 분할과 지능형 검출 POOL을 이용한 다수의 카메라 영상에서 실시간 객체 검출 방법.
  4. 청구항 1에 있어서,
    상기 지능형 머신비전은 다수의 카메라가 촬영한 영상을 수신하여 객체 종류를 판단하면 지능형 검출부 및 상기 지능형 검출 장치가 판단한 결과를 클라이언트로 전송하는 전송부로 구성된 것을 특징으로 하는 프레임 분할과 지능형 검출 POOL을 이용한 다수의 카메라 영상에서 실시간 객체 검출 방법.
  5. 청구항 1 또는 4중 어느 하나에 있어서,
    상기 지능형 머신비전은 영상 프레임을 수신 후 분할 후 인접 프레임 제거하는 기능, 검출된 객체에 고유 ID를 지정하는 기능, 검출된 결과를 저장하는 기능 및 검출만 담당하는 POOL이 다수의 객체를 검출하는 기능을 포함하는 것을 특징으로 하는 프레임 분할과 지능형 검출 POOL을 이용한 다수의 카메라 영상에서 실시간 객체 검출 방법.
KR1020190071357A 2019-06-17 2019-06-17 프레임 분할과 지능형 검출 pool을 이용한 다수의 카메라 영상에서 실시간 객체 검출 방법 KR20210008574A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190071357A KR20210008574A (ko) 2019-06-17 2019-06-17 프레임 분할과 지능형 검출 pool을 이용한 다수의 카메라 영상에서 실시간 객체 검출 방법
US16/890,277 US20200394802A1 (en) 2019-06-17 2020-06-02 Real-time object detection method for multiple camera images using frame segmentation and intelligent detection pool

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190071357A KR20210008574A (ko) 2019-06-17 2019-06-17 프레임 분할과 지능형 검출 pool을 이용한 다수의 카메라 영상에서 실시간 객체 검출 방법

Publications (1)

Publication Number Publication Date
KR20210008574A true KR20210008574A (ko) 2021-01-25

Family

ID=73745132

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190071357A KR20210008574A (ko) 2019-06-17 2019-06-17 프레임 분할과 지능형 검출 pool을 이용한 다수의 카메라 영상에서 실시간 객체 검출 방법

Country Status (2)

Country Link
US (1) US20200394802A1 (ko)
KR (1) KR20210008574A (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11748210B2 (en) * 2021-01-22 2023-09-05 EMC IP Holding Company LLC Intelligent monitoring of backup, recovery and anomalous user activity in data storage systems
CN115049692B (zh) * 2022-08-15 2022-12-16 山东万牧农业科技有限公司郯城分公司 模拟自然生态的海洋水产养殖光照智能调节方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110009761A (ko) 2009-07-23 2011-01-31 (주)임베디드비전 지능 영상 감시를 위한 이동 객체 실시간 검출 방법
KR101980551B1 (ko) 2018-11-08 2019-05-21 주식회사 다누시스 기계학습 객체검출을 이용한 실시간 지능형 cctv 영상 분석 행위 탐지 시스템 및 기계학습 객체검출을 이용한 실시간 지능형 cctv 영상 분석 행위 탐지 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110009761A (ko) 2009-07-23 2011-01-31 (주)임베디드비전 지능 영상 감시를 위한 이동 객체 실시간 검출 방법
KR101980551B1 (ko) 2018-11-08 2019-05-21 주식회사 다누시스 기계학습 객체검출을 이용한 실시간 지능형 cctv 영상 분석 행위 탐지 시스템 및 기계학습 객체검출을 이용한 실시간 지능형 cctv 영상 분석 행위 탐지 방법

Also Published As

Publication number Publication date
US20200394802A1 (en) 2020-12-17

Similar Documents

Publication Publication Date Title
US9158985B2 (en) Method and apparatus for processing image of scene of interest
Kulchandani et al. Moving object detection: Review of recent research trends
US8571261B2 (en) System and method for motion detection in a surveillance video
Elhabian et al. Moving object detection in spatial domain using background removal techniques-state-of-art
Bloisi et al. Independent multimodal background subtraction.
Lei et al. Real-time outdoor video surveillance with robust foreground extraction and object tracking via multi-state transition management
WO2012022744A2 (en) Multi-mode video event indexing
US20080310677A1 (en) Object detection system and method incorporating background clutter removal
Jeeva et al. Survey on background modeling and foreground detection for real time video surveillance
KR101062225B1 (ko) 감시 카메라를 이용한 지능형 영상 검색 방법 및 시스템
Malhi et al. Vision based intelligent traffic management system
Hu et al. A novel approach for crowd video monitoring of subway platforms
US20200394802A1 (en) Real-time object detection method for multiple camera images using frame segmentation and intelligent detection pool
KR101492059B1 (ko) 평균이동 알고리즘을 적용한 실시간 객체 추적방법 및 시스템
CN108961287B (zh) 智能货架触发方法、智能货架系统、存储介质及电子设备
Sharma et al. Automatic vehicle detection using spatial time frame and object based classification
Monteiro et al. Robust segmentation for outdoor traffic surveillance
CN114550060A (zh) 周界入侵识别方法、系统及电子设备
RU2676028C1 (ru) Способ обнаружения оставленного предмета в видеопотоке
Pojage et al. Review on automatic fast moving object detection in video of surveillance system
Kadam et al. Rain Streaks Elimination Using Image Processing Algorithms
Kachhava et al. Security system and surveillance using real time object tracking and multiple cameras
RU2809945C2 (ru) Способ обнаружения движущихся объектов
Monteiro et al. Robust segmentation process to detect incidents on highways
Pojage et al. Automatic fast moving object detection in video of surveillance system

Legal Events

Date Code Title Description
AMND Amendment
X091 Application refused [patent]
AMND Amendment
X601 Decision of rejection after re-examination