KR20190028103A - 비관심 객체에 대한 마스크 처리 방법 및 그 장치 - Google Patents
비관심 객체에 대한 마스크 처리 방법 및 그 장치 Download PDFInfo
- Publication number
- KR20190028103A KR20190028103A KR1020170115149A KR20170115149A KR20190028103A KR 20190028103 A KR20190028103 A KR 20190028103A KR 1020170115149 A KR1020170115149 A KR 1020170115149A KR 20170115149 A KR20170115149 A KR 20170115149A KR 20190028103 A KR20190028103 A KR 20190028103A
- Authority
- KR
- South Korea
- Prior art keywords
- interest
- region
- motion vector
- area
- masking
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 158
- 230000000873 masking effect Effects 0.000 title claims description 41
- 239000013598 vector Substances 0.000 claims abstract description 169
- 238000012545 processing Methods 0.000 claims abstract description 94
- 230000008569 process Effects 0.000 claims description 61
- 230000002123 temporal effect Effects 0.000 claims description 30
- 230000003287 optical effect Effects 0.000 claims description 12
- 230000002093 peripheral effect Effects 0.000 claims description 4
- 238000003379 elimination reaction Methods 0.000 claims description 3
- 230000008030 elimination Effects 0.000 claims description 2
- 230000000877 morphologic effect Effects 0.000 claims 1
- 238000001514 detection method Methods 0.000 abstract description 27
- 238000010191 image analysis Methods 0.000 description 31
- 238000010586 diagram Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 9
- 238000009825 accumulation Methods 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 7
- 238000003672 processing method Methods 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration using non-spatial domain filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/008—Vector quantisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/273—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion removing elements interfering with the pattern to be recognised
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
- G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
- H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20036—Morphological image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Image Analysis (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
비관심 객체에 대한 마스크 처리를 통해 관심 객체 검출의 정확도를 향상시키는 방법이 제공된다. 마스크 처리 장치에 의해 수행되는 본 발명의 일 실시예에 따른 비관심 객체에 대한 마스크 처리 방법은, 지정된 관심 지역에 대한 제1 영상 정보로부터 움직임 벡터(motion vector)를 획득하고, 상기 제1 영상 정보에서 상기 움직임 벡터가 나타난 영역을 제1 비관심 객체 영역으로 결정하는 단계, 상기 제1 비관심 객체 영역에 대한 공간 잡음(spatial noise) 제거 처리를 수행하고, 상기 공간 잡음 제거 처리의 결과로 상기 제1 비관심 객체 영역과 적어도 일부는 상이한 제2 비관심 객체 영역을 획득하는 단계 및 상기 제2 비관심 객체 영역에 대응되는 마스크를 생성하는 단계를 포함할 수 있다.
Description
본 발명은 비관심 객체에 대한 마스크 처리 방법 및 장치에 관한 것이다. 보다 자세하게는, 입력된 영상 정보에서 마스크 처리가 수행될 비관심 객체 영역을 결정하고, 상기 마스크 처리를 통해 관심 객체 검출의 정확도 및 신뢰도를 향상시킬 수 있는 방법 및 그 방법을 수행하는 장치에 관한 것이다.
지능형 영상 분석 시스템은 CCTV(closed circuit television) 등의 영상 촬영 장치로부터 수집된 영상 정보를 실시간으로 분석하여 관심 객체의 검출, 추적, 인식 등을 수행하고, 다양한 분석 정보를 제공하는 시스템을 의미한다. CCTV 보급의 확대 및 영상 분석 기술의 고도화에 따라, 현재 다양한 분야에 지능형 영상 분석 시스템이 구축되어 활용되고 있다. 예를 들어, 고객의 동선과 같은 비즈니스 인텔리전스(business intelligence) 정보 획득을 목적으로, 지능형 영상 분석 시스템이 다양한 매장에 구축되어 활용되고 있다.
지능형 영상 분석 시스템이 수행하는 일련의 영상 분석 작업 중에서 관심 객체 검출은 영상 분석의 가장 기본적인 과정이자 분석 정보의 신뢰성을 담보하는 가장 중요한 작업이라고 할 수 있다. 일반적으로 관심 객체는 매장의 고객과 같이 움직임을 갖는 객체이기 때문에, 지능형 영상 분석 시스템은 영상에서 추출된 움직임 특성을 기초로 관심 객체를 검출한다.
상기와 같은 관심 객체 검출 과정에서, 관심 객체 검출의 정확도를 저하시키는 주된 요인은 움직임을 갖는 비관심 객체가 관심 객체로 오검출되는 것이다. 예를 들어, 도 1a에 도시된 디스플레이 매장에서 고객의 동선에 대한 영상 분석 정보를 히트맵(heat map) 형태로 제공하는 경우, 디스플레이 장치에서 재생 중인 영상 속 움직임으로 인해 진열된 디스플레이 장치가 관심 객체로 오검출될 수 있다. 도 1b에 도시된 히트맵에서 사각형 영역(10)은 디스플레이 장치가 관심 객체로 오검출된 영역을 나타내고 있다. 이와 같이, 움직임을 갖는 비관심 객체가 관심 객체로 오검출되는 경우, 종국적으로 지능형 영상 분석 결과로 제공되는 분석 정보의 신뢰성이 크게 저하될 수 있으므로, 이에 대한 대책이 강구되어야 한다.
위와 같은 문제를 해결하기 위해, 관리자가 비관심 객체가 위치한 영역을 예외 영역으로 설정하는 방법이 주로 활용되고 있다. 그러나, 관리지가 예외 영역을 수동으로 설정하는 방법은 관심 지역이 변경될 때마다 예외 지역을 다시 설정해야 하므로 편의성이 떨어진다. 또한, 예외 영역이 잘못 설정될 가능성이 높고, 예외 영역이 잘못 설정되는 경우 오히려 분석 정보의 신뢰성이 더 떨어지는 문제가 발생될 수 있다.
따라서, 자동으로 비관심 객체가 위치한 영역을 검출하고, 검출된 영역을 마스크 처리 함으로써, 관심 객체 검출의 정확도를 향상시킬 수 있는 방법이 요구된다.
본 발명이 해결하고자 하는 기술적 과제는, 입력된 영상 정보에서 비관심 객체에 대한 마스크 처리를 통해 관심 객체 검출의 정확도를 높일 수 있는 마스크 처리 방법 및 그 방법을 수행하는 장치를 제공하는 것이다.
본 발명이 해결하고자 하는 다른 기술적 과제는, 입력된 영상 정보에서 상기 비관심 객체가 위치한 영역을 정확하게 검출하고, 검출된 영역에 대응되는 마스크를 생성하는 방법 및 그 방법을 수행하는 장치를 제공하는 것이다.
본 발명이 해결하고자 하는 또 다른 기술적 과제는, 생성된 마스크를 이용하여, 입력된 영상 정보에 포함된 관심 객체를 정확하게 검출하는 방법 및 그 방법을 수행하는 장치를 제공하는 것이다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명의 기술분야에서의 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상기 기술적 과제를 해결하기 위한, 본 발명의 일 실시예에 따른 비관심 객체에 대한 마스크 처리 방법은, 마스크 처리 장치에 의해 수행되는 비관심 객체에 대한 마스크 처리 방법에 있어서, 지정된 관심 지역에 대한 제1 영상 정보로부터 움직임 벡터(motion vector)를 획득하고, 상기 제1 영상 정보에서 상기 움직임 벡터가 나타난 영역을 제1 비관심 객체 영역으로 결정하는 단계, 상기 제1 비관심 객체 영역에 대한 공간 잡음(spatial noise) 제거 처리를 수행하고, 상기 공간 잡음 제거 처리의 결과로 상기 제1 비관심 객체 영역과 적어도 일부는 상이한 제2 비관심 객체 영역을 획득하는 단계 및 상기 제2 비관심 객체 영역에 대응되는 마스크를 생성하는 단계를 포함할 수 있다.
일 실시예에서, 상기 제1 비관심 객체 영역으로 결정하는 단계는, 부호화 처리 과정을 통해 생성된 상기 제1 영상 정보에 대한 영상 비트스트림(bitstream)을 획득하는 단계, 상기 영상 비트스트림에 대한 복호화 처리를 수행하고, 상기 복호화 처리의 결과로 상기 부호화 처리 과정에서 연산된 움직임 벡터를 획득하는 단계 및 상기 연산된 움직임 벡터를 기초로 상기 제1 비관심 객체 영역을 결정하는 단계를 포함할 수 있다.
일 실시예에서, 상기 제1 비관심 객체 영역으로 결정하는 단계는, 옵티컬 플로우(optical flow)를 이용하여, 상기 제1 영상 정보에 대한 움직임 벡터를 산출하는 단계 및 상기 제1 영상 정보에서 상기 산출된 움직임 벡터가 나타난 영역을 상기 제1 비관심 객체 영역으로 결정하는 단계를 포함할 수 있다.
일 실시예에서, 상기 제1 영상 정보는 복수의 영상 프레임을 포함하되, 상기 제1 비관심 객체 영역으로 결정하는 단계는, 상기 복수의 영상 프레임 각각에서 획득된 움직임 벡터를 누적하는 단계 및 상기 누적된 움직임 벡터를 기초로 상기 제1 비관심 객체 영역을 결정하는 단계를 포함할 수 있다.
일 실시예에서, 상기 제2 비관심 객체 영역을 획득하는 단계는, 상기 제1 비관심 객체 영역에 포함된 각각의 화소에 대하여, 각 화소 영역을 기 설정된 크기의 주변 화소 영역으로 확장하는 영역 확장 처리를 수행하고, 상기 영역 확장 처리의 결과로 상기 제2 비관심 객체 영역을 획득하는 단계를 포함할 수 있다.
일 실시예에서, 상기 제2 비관심 객체 영역을 획득하는 단계는, MRF(Markov Random Field) 모델에 기초한 에너지 함수의 에너지 값이 최소화되도록 상기 제1 비관심 객체 영역에 대한 공간 잡음 제거 처리를 수행하고, 상기 공간 잡음 제거 처리의 결과로 상기 제2 비관심 객체 영역을 획득하는 단계를 포함할 수 있다.
일 실시예에서, 상기 제1 비관심 객체 영역으로 결정하는 단계는, 상기 제1 영상 정보를 부호화한 영상 비트스트림에 대한 복호화 처리를 수행하고, 상기 복호화 처리의 결과로 상기 제1 영상 정보의 부호화 처리 과정에서 연산된 제1 움직임 벡터를 획득하는 단계, 상기 제1 움직임 벡터에 기초하여 상기 제1 영상 정보에서 제1-1 비관심 객체 영역을 결정하는 단계, 옵티컬 플로우를 기초로 상기 제1 영상 정보에 대한 제2 움직임 벡터를 산출하는 단계 및 상기 제2 움직임 벡터에 기초하여 상기 제1 영상 정보에서 제1-2 비관심 객체 영역을 결정하는 단계를 포함할 수 있다.
일 실시예에서, 상기 제2 비관심 객체 영역을 획득하는 단계는, 상기 제1-1 비관심 객체 영역 및 상기 제1-2 비관심 객체 영역에 대한 공간 잡음 제거 처리를 통해, 상기 제2 비관심 객체 영역을 획득하는 단계를 포함할 수 있다.
일 실시예에서, 상기 제2 비관심 객체 영역을 획득하는 단계는, 상기 제1 비관심 객체 영역에 대한 외곽선을 추출하는 단계, 상기 외곽선 상에 위치한 세 점 사이의 각도를 이용하여, 상기 외곽선을 보정하는 단계 및 상기 보정된 외곽선이 가리키는 영역을 기초로 상기 제2 비관심 객체 영역으로 결정하는 단계를 포함할 수 있다.
일 실시예에서, 상기 지정된 관심 지역에 대한 제2 영상 정보를 획득하는 단계 및 상기 생성된 마스크를 이용하여, 상기 제2 영상 정보에서 관심 객체를 검출하는 단계를 더 포함할 수 있다.
상술한 기술적 과제를 해결하기 위한 본 발명의 다른 실시예에 따른 비관심 객체에 대한 마스크 처리 장치는, 하나 이상의 프로세서, 네트워크 인터페이스, 상기 프로세서에 의하여 수행되는 컴퓨터 프로그램을 로드(Load)하는 메모리 및 상기 컴퓨터 프로그램을 저장하는 스토리지를 포함하되, 상기 컴퓨터 프로그램은, 지정된 관심 지역에 대한 제1 영상 정보로부터 움직임 벡터(motion vector)를 획득하고, 상기 제1 영상 정보에서 상기 움직임 벡터가 나타난 영역을 제1 비관심 객체 영역으로 결정하는 오퍼레이션, 상기 제1 비관심 객체 영역에 대한 공간 잡음(spatial noise) 제거 처리를 수행하고, 상기 공간 잡음 제거 처리의 결과로 상기 제1 비관심 객체 영역과 적어도 일부는 상이한 제2 비관심 객체 영역을 획득하는 오퍼레이션 및 상기 제2 비관심 객체 영역에 대응되는 마스크를 생성하는 오퍼레이션을 포함할 수 있다.
상술한 기술적 과제를 해결하기 위한 본 발명의 또 다른 실시예에 따른 비관심 객체에 대한 마스크 처리 컴퓨터 프로그램은, 컴퓨팅 장치와 결합되어, 지정된 관심 지역에 대한 제1 영상 정보로부터 움직임 벡터(motion vector)를 획득하고, 상기 제1 영상 정보에서 상기 움직임 벡터가 나타난 영역을 제1 비관심 객체 영역으로 결정하는 단계, 상기 제1 비관심 객체 영역에 대한 공간 잡음(spatial noise) 제거 처리를 수행하고, 상기 공간 잡음 제거 처리의 결과로 상기 제1 비관심 객체 영역과 적어도 일부는 상이한 제2 비관심 객체 영역을 획득하는 단계 및 상기 제2 비관심 객체 영역에 대응되는 마스크를 생성하는 단계를 실행시키기 위하여 기록 매체에 저장될 수 있다.
상술한 본 발명에 따르면, 입력된 영상 정보로부터 자동으로 비관심 객체 영역이 결정되고, 상기 비관심 객체 영역에 대응되는 마스크가 생성될 수 있다. 이에 따라, 관심 지역이 변경되더라도 관리자의 개입없이 자동 마스크 처리가 수행되므로, 사용자 편의성이 증대될 수 있다.
또한, 생성된 마스크를 이용하여 관심 객체 검출이 수행된다. 이에 따라, 비관심 객체가 관심 객체로 오검출되는 것이 방지되고, 관심 객체 검출의 정확도가 향상될 수 있다.
또한, 관심 객체 검출의 정확도가 향상됨에 따라, 지능형 영상 분석 정보의 신뢰도가 향상될 수 있다.
또한, 움직임 벡터를 기초로 비관심 객체 영역이 결정되면, 상기 비관심 객체 영역에 대한 시간 잡음 제거 처리 및/또는 공간 잡음 제거 처리가 수행되어 정확하게 비관심 객체 영역에 대응되는 마스크가 생성될 수 있다. 이에 따라, 관심 객체 검출의 정확도가 더욱 향상될 수 있다.
또한, 관심 객체가 특정 비관심 객체 영역에 인접하여 검출되는 경우, 소정의 판단 기준에 따라 상기 인접한 영역에 대응되는 마스크를 제외하고 관심 객체의 검출이 수행될 수 있다. 이에 따라, 마스크로 인해 관심 객체가 정확하게 검출되지 않는 문제 또한 해결될 수 있고, 관심 객체 검출의 정확도가 향상될 수 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1a 및 도 1b는 비관심 객체의 오검출 문제를 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 지능형 영상 분석 시스템의 구성도이다.
도 3 및 도 4는 본 발명의 실시예에 따른 마스크 처리 장치(100)의 개략적인 구성 및 동작을 설명하기 위한 도면이다.
도 5는 본 발명의 제1 실시예에 따른 마스크 처리 장치(100-1)의 마스크 생성부(150-1)를 나타내는 블록도이다.
도 6 내지 도 7b는 도 5에 도시된 움직임 벡터 정제부(151)를 설명하기 위한 도면이다.
도 8은 도 5에 도시된 움직임 벡터 누적부(153)를 설명하기 위한 도면이다.
도 9는 도 5에 도시된 공간 잡음 제거부(157)를 나타내는 블록도이다.
도 10 내지 도 13은 도 9에 도시된 제1 공간 잡음 제거부(157a)를 설명하기 위한 도면이다.
도 14 및 도 15는 도 9에 도시된 제2 공간 잡음 제거부(157b)를 설명하기 위한 도면이다.
도 16은 도 9에 도시된 제3 공간 잡음 제거부(157c)를 설명하기 위한 도면이다.
도 17 및 도 18은 본 발명의 제2 실시예에 따른 마스크 처리 장치(100-2)를 설명하기 위한 도면이다.
도 19 내지 도 22는 본 발명의 제3 실시예에 따른 마스크 처리 장치(100-3)을 설명하기 위한 도면이다.
도 23은 본 발명의 다른 실시예에 따른 마스크 처리 장치(100)의 하드웨어 구성도이다.
도 24 내지 도 26은 본 발명의 실시예에 따른 마스크 생성 방법을 설명하기 위한 흐름도이다.
도 27 및 도 28은 본 발명의 실시예에 따른 관심 객체 검출 방법을 설명하기 위한 흐름도이다.
도 29a 및 도 29b는 마스크 처리가 수행되지 않은 경우와 본 발명의 실시예에 따른 마스크 처리 방법이 수행된 경우를 비교 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 지능형 영상 분석 시스템의 구성도이다.
도 3 및 도 4는 본 발명의 실시예에 따른 마스크 처리 장치(100)의 개략적인 구성 및 동작을 설명하기 위한 도면이다.
도 5는 본 발명의 제1 실시예에 따른 마스크 처리 장치(100-1)의 마스크 생성부(150-1)를 나타내는 블록도이다.
도 6 내지 도 7b는 도 5에 도시된 움직임 벡터 정제부(151)를 설명하기 위한 도면이다.
도 8은 도 5에 도시된 움직임 벡터 누적부(153)를 설명하기 위한 도면이다.
도 9는 도 5에 도시된 공간 잡음 제거부(157)를 나타내는 블록도이다.
도 10 내지 도 13은 도 9에 도시된 제1 공간 잡음 제거부(157a)를 설명하기 위한 도면이다.
도 14 및 도 15는 도 9에 도시된 제2 공간 잡음 제거부(157b)를 설명하기 위한 도면이다.
도 16은 도 9에 도시된 제3 공간 잡음 제거부(157c)를 설명하기 위한 도면이다.
도 17 및 도 18은 본 발명의 제2 실시예에 따른 마스크 처리 장치(100-2)를 설명하기 위한 도면이다.
도 19 내지 도 22는 본 발명의 제3 실시예에 따른 마스크 처리 장치(100-3)을 설명하기 위한 도면이다.
도 23은 본 발명의 다른 실시예에 따른 마스크 처리 장치(100)의 하드웨어 구성도이다.
도 24 내지 도 26은 본 발명의 실시예에 따른 마스크 생성 방법을 설명하기 위한 흐름도이다.
도 27 및 도 28은 본 발명의 실시예에 따른 관심 객체 검출 방법을 설명하기 위한 흐름도이다.
도 29a 및 도 29b는 마스크 처리가 수행되지 않은 경우와 본 발명의 실시예에 따른 마스크 처리 방법이 수행된 경우를 비교 설명하기 위한 도면이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.
명세서에서 사용되는 "포함한다 (comprises)" 및/또는 "포함하는 (comprising)"은 언급된 구성 요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성 요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
본 명세서에 대한 설명에 앞서, 본 명세서에서 사용되는 몇몇 용어들에 대하여 명확하게 하기로 한다.
본 명세서에서, 관심 지역이란, 영상 분석의 목적과 관계된 분석 정보를 획득하기 위해 영상 촬영 장치에 의해 촬영되는 지역을 의미한다. 이때, 상기 지역은 실세계의 물리적 공간 또는 지리적 공간을 의미한다. 예를 들어, 매장을 방문한 고객의 동선, 체류 시간 등의 비즈니스 인텔리전스 정보 획득이 목적인 경우, 해당 매장이 관심 지역이 될 수 있다.
본 명세서에서, 관심 객체(object of interest)란 입력 영상에서 탐지하고자 하는 객체를 의미한다. 이때, 상기 객체는 사람, 동물, 식물 등과 같이 의미를 부여할 수 있는 대상을 모두 포함하는 포괄적인 의미로 해석될 수 있다.
본 명세서에서, 비관심 객체(non object-of-interest)란, 입력 영상에서 상기 관심 객체가 아닌 객체를 의미한다. 즉, 상기 비관심 객체는 입력 영상에서 탐지 대상이 아닌 모든 객체를 포함하는 의미로 해석될 수 있다. 예를 들어, 관심 객체가 사람인 경우, 비관심 객체는 입력 영상에서 사람이 아닌 모든 객체를 의미할 수 있다. 일반적으로, 관심 객체는 움직임 특성에 기초하여 탐지되기 때문에, 동영상을 재생 중인 디스플레이 장치, 바람에 흔들리는 나뭇잎, 파도 등 움직임이 있는 비관심 객체들이 관심 객체로 오검출될 수 있다.
본 명세서에서, 시간 잡음(temporal noise)이란, 시간 영역에 걸쳐서 일시적으로 나타나는 잡음을 의미한다. 예를 들어, 입력 영상이 복수의 프레임으로 구성될 때, 상기 시간 잡음은 일부 프레임에 걸쳐서 나타나는 잡음을 의미할 수 있다.
본 명세서에서, 공간 잡음(spatial noise)이란, 공간 영역에 걸쳐서 나타나는 잡음을 의미한다. 일반적으로, 영상의 잡음 시공간영역에 걸쳐서 나타날 수 있고, 잡음이 나타나는 원인은 조명 변화, 센서 자체의 노이즈 등으로 다양할 수 있다.
이하, 본 발명의 몇몇 실시예들에 대하여 첨부된 도면에 따라 상세하게 설명한다.
도 2는 본 발명의 일 실시예에 따른 지능형 영상 분석 시스템의 구성도이다.
본 발명의 일 실시예에 따른 지능형 영상 분석 시스템은 지능형 영상 분석 장치(100) 및 관심 지역을 촬영하는 적어도 하나의 영상 촬영 장치(200)를 포함하도록 구성될 수 있다. 단, 이는 본 발명의 목적을 달성하기 위한 바람직한 실시예일 뿐이며, 필요에 따라 일부 구성 요소가 추가되거나 삭제될 수 있음은 물론이다. 또한, 도 2에 도시된 지능형 영상 분석 시스템의 각각의 구성 요소들은 기능적으로 구분되는 기능 요소들을 나타낸 것으로서, 적어도 하나의 구성 요소가 실제 물리적 환경에서는 서로 통합되는 형태로 구현될 수도 있음에 유의한다. 이하, 상기 지능형 영상 분석 시스템의 각 구성 요소에 대하여 설명하도록 한다.
상기 지능형 영상 분석 시스템에서, 지능형 영상 분석 장치(100)는 영상 촬영 장치(200)로부터 관심 지역에 대한 영상 정보를 수신하고, 상기 영상 정보를 기초로 지능형 영상 분석을 수행하는 컴퓨팅 장치이다. 여기서, 상기 컴퓨팅 장치는, 노트북, 데스크톱(desktop), 랩탑(laptop) 등이 될 수 있으나, 이에 국한되는 것은 아니며 연산 수단 및 통신 수단이 구비된 모든 종류의 장치를 포함할 수 있다. 다만, 지능형 영상 분석 장치(100)가 실시간으로 영상 정보를 분석하도록 동작하는 경우라면, 고성능의 서버 컴퓨팅 장치로 구현되는 것이 바람직할 수 있다.
지능형 영상 분석 장치(100)는 수신된 영상 정보를 기초로 관심 객체의 검출, 추적 등을 수행하고, 이를 기초로 피플 카운팅(people counting) 정보, 고객의 동선 정보 등의 다양한 분석 정보를 제공할 수 있다. 상기 분석 정보는 정보 전달성을 향상시키기 위해, 히트맵과 같이 시각화된 형태로 제공될 수도 있다.
본 발명의 실시예에 따르면, 지능형 영상 분석 장치(100)는 관심 지역에 대한 제1 영상 정보에서 획득된 움직임 벡터(motion vector)를 기초로 비관심 객체 영역을 결정하고, 상기 비관심 객체 영역에서 시간 잡음 및/또는 공간 잡음을 제거한다. 또한, 지능형 영상 분석 장치(100)는 잡음이 제거된 비관심 객체 영역에 대응되는 마스크를 생성하고, 생성된 마스크를 이용하여 상기 관심 지역에 대한 제2 영상 정보에서 관심 객체를 검출한다. 이와 같은 실시예에 한하여, 지능형 영상 분석 장치(100)는 비관심 객체에 대한 마스크 처리 장치로 명명될 수 있다. 본 실시예에 따르면, 관리자의 개입 없이 비관심 객체 영역에 대한 마스크가 자동 생성될 수 있다. 따라서, 사용자 편의성이 향상될 수 있다. 또한, 비관심 객체 영역에 대한 마스크 처리를 통해 비관심 객체의 오검출이 방지되기 때문에, 관심 객체 검출의 정확도가 향상될 수 있다. 본 실시예에 대한 자세한 설명은 도 3 이하의 도면을 참조하여 상세하게 설명하도록 한다.
상기 지능형 영상 분석 시스템에서, 영상 촬영 장치(200)는 지정된 관심 지역에 대한 영상 정보를 생성하고, 상기 영상 정보를 지능형 영상 분석 장치(100)로 제공하는 장치이다. 영상 촬영 장치(200)는 예를 들어 CCTV로 구현될 수 있으나, 지정된 관심 지역에 대한 영상 정보를 획득할 수 있다면, 어떠한 장치로 구현되더라도 무방하다.
본 발명의 실시예에 따르면, 영상 촬영 장치(200)는 생성된 영상 정보에 대한 부호화 처리를 수행하고, 비트스트림(bitstream) 형태의 영상 정보를 지능형 영상 분석 장치(100)로 제공할 수 있다. 상기 부호화 처리는 블록 매칭 알고리즘(block matching algorithm)을 기초로 수행되고, 블록 매칭 알고리즘의 수행 결과 소정의 블록 단위로 연산된 움직임 벡터가 획득될 수 있다. 부호화 처리 과정을 통해 연산된 움직임 벡터는 상기 영상 정보에 포함되어 전송되므로, 지능형 영상 분석 장치(100)는 별도의 연산을 수행하지 않고 복호화 처리를 통해 움직임 벡터를 획득할 수 있다. 이에 따라, 움직임 벡터 산출에 소요되는 지능형 영상 분석 장치(100)의 시간 비용 및 컴퓨팅 비용이 절감될 수 있다. 이하에서는, 설명의 편의를 위해, 부호화 처리 과정에서 연산된 움직임 벡터를 "제1 움직임 벡터"로 명명하도록 한다.
도 2에 도시된 지능형 영상 분석 시스템에서, 각 구성 요소는 네트워크를 통해 통신할 수 있다. 여기서, 상기 네트워크는 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN), 이동 통신망(mobile radio communication network), Wibro(Wireless Broadband Internet) 등과 같은 모든 종류의 유/무선 네트워크로 구현될 수 있다.
지금까지 도 2를 참조하여, 본 발명의 일 실시예에 따른 지능형 영상 분석 시스템에 대하여 설명하였다. 다음으로, 도 3 내지 도 23을 참조하여 본 발명의 실시예에 따른 비관심 객체에 대한 마스크 처리 장치(100)의 구성 및 동작에 대하여 설명하도록 한다.
먼저, 도 3 및 도 4를 참조하여, 비관심 객체에 대한 마스크 처리 장치(100)의 개략적인 구성 및 운영 방법에 대하여 간단하게 살펴보고, 이하의 도면을 참조하여 본 발명의 다양한 실시예에 따른 마스크 처리 장치(100-1 내지 100-4)의 구성 및 동작에 대하 상세하게 설명하도록 한다.
도 3은 본 발명의 실시예에 따른 비관심 객체에 대한 마스크 처리 장치(100)를 나타내는 블록도이다.
도 3을 참조하면, 본 발명의 실시예에 따른 마스크 처리 장치(100)는 영상 획득부(110), 영상 복호화부(130), 마스크 생성부(150), 관심 객체 검출부(170)를 포함하도록 구성될 수 있다. 다만, 도 3에는 본 발명의 실시예와 관련 있는 구성요소들만이 도시되어 있다. 따라서, 본 발명이 속한 기술분야의 통상의 기술자라면 도 3에 도시된 구성요소들 외에 다른 범용적인 구성 요소들이 더 포함될 수 있음을 알 수 있다. 또한, 도 3에 도시된 마스크 처리 장치(100)의 각각의 구성 요소들은 기능적으로 구분되는 기능 요소들을 나타낸 것으로서, 적어도 하나의 구성 요소가 실제 물리적 환경에서는 서로 통합되는 형태로 구현될 수도 있음에 유의한다.
각 구성 요소를 살펴보면, 영상 획득부(110)는 영상 촬영 장치(200)로부터 관심 지역에 대한 영상 정보를 획득한다. 구체적으로, 영상 획득부(110)는 부호화 처리가 수행된 비트스트림 형태의 영상 정보를 획득한다.
영상 복호화부(130)는 영상 획득부(110)에 의해 획득된 비트스트림 형태의 영상 정보에 대한 복호화 처리를 수행한다. 상기 복호화 처리의 결과, 영상 복호화부(130)는 복호화된 영상 정보 및/또는 제1 움직임 벡터를 마스크 생성부(150)로 제공할 수 있다
마스크 생성부(150)는 움직임 벡터를 이용하여 영상 정보에서 비관심 객체 영역을 결정하고, 상기 비관심 객체 영역에 대응되는 마스크를 생성한다.
제1 실시예에서, 마스크 생성부(150)는 상기 제1 움직임 벡터를 이용하여 비관심 객체 영역을 결정할 수 있다.
제2 실시예에서, 마스크 생성부(150)는 옵티컬 플로우에 기초하여 자체적으로 산출한 움직임 벡터를 이용하여 비관심 객체 영역을 결정할 수 있다. 이하에서는, 상기 제1 움직임 벡터와의 구분을 위해, 옵티컬 플로우에 기초하여 산출된 움직임 벡터는 "제2 움직임 벡터"로 명명하도록 한다.
제3 실시예에서, 마스크 생성부(150)는 상기 제1 움직임 벡터 및 상기 제2 움직임 벡터를 모두 이용하여 비관심 객체 영역을 결정할 수 있다. 이와 같이, 마스크 생성부(150)의 동작은 실시예에 따라 달라질 수 있고, 각 실시예에 따른 마스크 생성부(150)의 동작은 도 5 이하의 도면을 참조하여 상세하게 설명하도록 한다.
관심 객체 검출부(170)는 마스크 생성부(150)에 의해 생성된 마스크를 이용하여, 관심 객체를 검출한다. 구체적으로, 관심 객체 검출부(170)는 영상 정보에서 마스크에 대응되는 비관심 객체 영역을 제외하고 나머지 영역에서 관심 객체를 검출한다. 관심 객체 검출부(170)가 수행하는 관심 객체 검출 방법에 대한 자세한 설명은 도 27 및 도 28을 참조하여 후술하도록 한다.
한편, 도 3에는 도시되어 있지 않으나, 마스크 처리 장치(100)는 히트맵 생성부(미도시)를 더 포함하도록 구성될 수 있다. 히트맵 생성부(미도시)는 관심 객체 검출부(170)에 의해 검출된 관심 객체의 움직임이 가시적으로 표현된 히트맵을 생성한다. 예를 들어, 히트맵 생성부(미도시)는 관심 객체의 움직임이 많이 검출된 영역은 붉은색 계열로, 상기 관심 객체의 움직임이 적게 검출된 영역은 푸른색 계열로 표현함으로써 히트맵을 생성할 수 있다.
도 3의 각 구성 요소는 소프트웨어(Software) 또는, FPGA(Field Programmable Gate Array)나 ASIC(Application-Specific Integrated Circuit)과 같은 하드웨어(Hardware)를 의미할 수 있다. 그렇지만, 상기 구성 요소들은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 어드레싱(Addressing)할 수 있는 저장 매체에 있도록 구성될 수도 있고, 하나 또는 그 이상의 프로세서들을 실행시키도록 구성될 수도 있다. 상기 구성 요소들 안에서 제공되는 기능은 더 세분화된 구성 요소에 의하여 구현될 수 있으며, 복수의 구성 요소들을 합하여 특정한 기능을 수행하는 하나의 구성 요소로 구현될 수도 있다.
다음으로, 도 4를 참조하여, 본 발명의 실시예에 따른 비관심 객체에 대한 마스크 처리 장치(100)에 대한 예시적인 운영 방법에 대하여 설명하도록 한다.
도 4를 참조하면, 마스크 처리 장치(100)는 복수의 영상 정보 중에서 제1 영상 정보를 이용하여 마스크를 생성하고, 생성된 마스크를 기초로 제2 영상 정보에서 관심 객체를 검출하도록 운영될 수 있다.
보다 구체적으로, 마스크 처리 장치(100)는 관심 객체 검출을 수행하기 이전에 제1 영상 정보를 이용하여 비관심 객체 영역에 대한 마스크(160)를 생성할 수 있다. 이와 같은 경우, 마스크 처리 장치(100)에서 마스크 생성 동작은 제1 경로(140a)에 따라 수행된다.
본 발명의 실시예에 따르면, 상기 제1 영상 정보는 복수의 영상 정보 중에서 관심 객체의 움직임이 최소한으로 검출된 영상 정보 또는 관심 객체가 나타나지 않는 시간대에 생성된 영상 정보일 수 있다. 본 실시예에 따르면, 관심 객체의 움직임이 나타난 영역이 비관심 객체 영역으로 결정되는 것, 즉 관심 객체가 비관심 객체로 오검출되는 것이 방지되기 때문에, 보다 정교한 마스크가 생성될 수 있다. 또한, 이에 따른 효과로, 관심 객체 검출의 정확도가 더욱 향상될 수 있다.
다음으로, 마스크 처리 장치(100)는 상기 제1 영상 정보로부터 생성된 마스크를 이용하여 제2 영상 정보에서 관심 객체를 검출한다. 이와 같은 경우, 마스크 처리 장치(100)에서 관심 객체 검출 동작은 제2 경로(140b)에 따라 수행된다.
지금까지, 도 4를 참조하여, 본 발명의 실시예에 따른 마스크 처리 장치(100)의 예시적인 운영 방법에 대하여 설명하였다. 이하에서는, 본 발명의 몇몇 실시예에 따른 마스크 처리 장치(100-1 내지 100-4)에 대하여 상세하게 설명하도록 한다.
먼저, 본 발명의 제1 실시예에 따른 마스크 처리 장치(100-1)에 대하여 설명하도록 한다.
본 발명의 제1 실시예에 따른 마스크 처리 장치(100-1)는 부호화 처리 과정에서 연산된 제1 움직임 벡터를 이용하여 비관심 객체 영역을 결정하고, 상기 비관심 객체 영역에 대응되는 마스크를 생성한다. 이하, 도 5 내지 도 16을 참조하여, 상기 제1 실시예에 따른 마스크 처리 장치(100-1)의 구성 및 동작에 대하여 설명한다.
도 5는 상기 제1 실시예에 따른 마스크 처리 장치(100-1)의 일 구성 요소인 마스크 생성부(150-1)를 나타내는 블록도이다.
도 5를 참조하면, 마스크 생성부(150-1)는 움직임 벡터 정제부(151), 움직임 벡터 누적부(153), 시간 잡음 제거부(155) 및 공간 잡음 제거부(157)를 포함하도록 구성될 수 있다.
각 구성 요소를 살펴보면, 움직임 벡터 정제부(151)는 영상 복호화부(130)에 의해 제공되는 제1 움직임 벡터를 정제한다. 일반적으로, 부호화 처리 과정에서 연산된 상기 제1 움직임 벡터는 조명 변화, 카메라 센서 상의 노이즈 등에서 기인한 다양한 잡음을 포함하고 있다. 따라서, 상기 잡음의 영향을 최소화하고 비관심 객체 영역을 정확하게 결정하기 위해 움직임 벡터 정제부(151)에 의해 소정의 정제 과정이 수행될 필요가 있다.
본 발명의 실시예에 따르면, 움직임 벡터 정제부(151)는 도 6에 도시된 다단계 분류기(cascade classifier)를 이용하여 상기 제1 움직임 벡터를 정제할 수 있다. 상기 다단계 분류기는 순차적으로 연결된 복수의 분류기를 이용하여 분류 대상 블록에 움직임 벡터가 존재하는지 여부를 판정하는 분류기이다. 이해의 편의를 제공하기 위해, 도 6을 참조하여 상기 다단계 분류기에 대하여 부연 설명하도록 한다.
도 6을 참조하면, 상기 다단계 분류기는 움직임 벡터의 제1 특징에 기초한 제1 단계 분류기 내지 움직임 벡터의 제n 특징에 기초한 제n 단계 분류기(300-1 내지 300-n)를 포함할 수 있다.
본 발명의 실시예에 따르면, 각 단계 별 분류기의 분류 기준이 되는 움직임 벡터의 특징은 분류 대상 블록의 움직임 벡터의 길이, 주변 블록의 움직임 벡터 존재 여부, 주변 블록의 움직임 벡터 길이, 주변 블록의 움직임 벡터 방향 등을 포함할 수 있다.
구체적인 예를 들어, 제1 단계 분류기(300-1)는 분류 대상 블록의 움직임 벡터 길이가 제1 임계 값 이상인 경우 분류 대상 블록에 움직임 벡터가 존재하는 것(MV=1)으로 판정하고, 반대의 경우는 움직임 벡터가 존재하지 않는 것(MV=0)으로 판정할 수 있다. 제2 단계 분류기(300-2)는 분류 대상 블록의 움직임 벡터 길이가 상기 제1 임계 값보다 큰 값으로 설정된 제2 임계 값 이하인 경우 분류 대상 블록에 움직임 벡터가 존재하는 것으로 판정하고, 반대의 경우는 움직임 벡터가 존재하지 않는 것으로 판정할 수 있다. 움직임 벡터의 길이가 지나치게 작거나 큰 경우, 해당 블록에서 감지된 움직임은 잡음일 가능성이 높기 때문이다.
다른 구체적인 예를 들어, 제1 단계 분류기(300-1)는 분류 대상 블록에 인접한 주변 블록 중에 움직임 벡터가 존재하는 블록의 수가 임계 값 이하인 경우 분류 대상 블록에 움직임 벡터가 존재하지 않는다고 판정할 수 있다. 이때, 상기 인접한 주변 블록은 예를 들어 분류 대상 블록을 기준으로 상하좌우에 위치한 주변 블록 또는 대각선 방향에 위치한 블록일 수 있다. 단, 이에 국한되는 것은 아니고, 분류 대상 블록과 일정 거리 이내에 위치한 주변 블록까지 포함될 수도 있다.
또 다른 구체적인 예를 들어, 제1 단계 분류기(300-1)는 분류 대상 블록에 인접한 주변 블록 중에 움직임 벡터의 길이가 제1 임계 값 이하이거나 상기 제1 임계 값 보다 큰 값으로 설정된 제2 임계 값 이상인 블록의 수가 임계 값 이상인 경우, 상기 분류 대상 블록에 움직임 벡터가 존재하지 않는 것으로 판정할 수 있다.
참고로, 도 6에 도시된 다단계 분류기는 이해의 편의를 제공하기 위해 제공된 본 발명의 일 실시예에 불과함에 유의하여야 한다. 실시예에 따라, 상기 다단계 분류기를 구성하는 분류기의 개수, 조합 방법 등은 얼마든지 달라질 수 있다. 움직임 벡터 정제부(151)가 상술한 다단계 분류기를 이용하여 제1 움직임 벡터를 정제한 실험 결과는 도 7a 및 도 7b를 참조하도록 한다.
다시 도 5를 참조하여, 마스크 생성부(150-1)의 다른 구성 요소에 대한 설명을 이어가도록 한다.
도 5를 참조하면, 움직임 벡터 누적부(153)는 기 설정된 개수의 프레임 동안에 나타나는 움직임 벡터를 누적한다. 구체적으로, 복수의 프레임을 포함하는 영상 정보로부터 움직임 벡터 정제부(151)가 프레임 단위로 정제된 움직임 벡터를 제공하면, 움직임 벡터 누적부(153)는 도 8에 도시된 바와 같이 n개(단, n은 1 이상의 자연수)의 프레임 동안에 나타난 움직임 벡터를 누적한다. 움직임 벡터를 누적하는 이유는 동영상을 재생 중인 디스플레이 장치, 바람에 흔들리는 나뭇잎 등의 비관심 객체는 일반적으로 관심 객체에 비해 움직임이 미약하기 때문에, 단일 프레임에 나타난 움직임 벡터로는 정확하게 비관심 객체 영역이 결정되기 어렵기 때문이다.
상기 n에 설정되는 값은 기 설정된 고정 값 또는 상황에 따라 변동되는 변동 값일 수 있다. 예를 들어, 상기 n의 값은 비관심 객체 영역의 크기 또는 크기 변화에 기초하여 변동되는 변동 값일 수 있다. 보다 구체적인 예를 들어, k 프레임까지 누적된 움직임 벡터에 기초하여 결정된 비관심 객체 영역과 k+1 프레임까지 누적된 움직임 벡터에 기초하여 결정된 비관심 객체 영역의 크기 차이가 임계 값 이하인 경우, 상기 n의 값은 k로 설정될 수 있다.
다시 도 5를 참조하면, 시간 잡음 제거부(155)는 입력된 영상 정보에 대한 시간 잡음 제거 처리를 수행한다. 예를 들어, 시간 잡음 제거부(155)는 입력된 영상 정보에서 제1 움직임 벡터가 나타난 영역(이하, "제1-1 비관심 객체 영역"으로 명명함)에서 시간 잡음을 제거한다. 이하에서, 설명의 편의를 위해 상기 제1-1 비관심 객체 영역에 대한 시간 잡음 제거 처리에 따라 결정된 비관심 객체 영역을 "제2-1 비관심 객체 영역"으로 명명하도록 한다.
구체적으로, 시간 잡음 제거부(155)는 상기 제1-1 비관심 객체 영역에서 움직임 벡터 누적부(153)에 의해 누적된 움직임 벡터의 평균이 임계 값 이하인 영역을 제외하여 상기 제2-1 비관심 객체 영역을 결정한다. 상기 누적된 움직임 벡터의 평균은 예를 들어 균일 분포에 기초한 산술 평균으로 계산될 수 있으나, 이에 국한되는 것은 아니다.
다음으로, 공간 잡음 제거부(157)는 입력된 영상 정보에 대한 공간 잡음 제거 처리를 수행한다. 예를 들어, 공간 잡음 제거부(157)는 상기 제2-1 비관심 객체 영역에서 공간 잡음을 제거한다. 다만, 실시예에 따라, 마스크 생성부(150-1)에 시간 잡음 제거부(155)가 포함되지 않는 경우, 공간 잡음 제거부(157)는 상기 제1-1 비관심 객체 영역을 기초로 공간 잡음 제거 처리를 수행할 수도 있다. 이하에서, 설명의 편의를 위해 상기 제2-1 비관심 객체 영역에 대한 공간 잡음 제거 처리에 따라 결정된 비관심 객체 영역을 "제3-1 비관심 객체 영역"으로 명명하도록 한다.
공간 잡음 제거부(157)는 서로 다른 방식으로 공간 잡음을 제거하는 제1 공간 잡음 제거부 내지 제3 공간 잡음 제거부(157a 내지 157c) 중 적어도 하나의 공간 잡음 제거부를 포함하도록 구성될 수 있다. 또한, 실시예에 따라, 제1 공간 잡음 제거부 내지 제3 공간 잡음 제거부(157a 내지 157c)는 다양한 방식으로 조합될 수 있다. 도 9에는 공간 잡음 제거부(157)가 제1 공간 잡음 제거부 내지 제3 공간 잡음 제거부(157a 내지 157c)를 모두 포함하여 구성된 경우가 예로써 도시되었다. 이하, 공간 잡음 제거부(157)의 각 구성 요소에 대하여 설명하도록 한다.
제1 공간 잡음 제거부(157a)는 화소 단위의 영역 확장 처리를 수행하여 공간 잡음을 제거한다. 구체적으로, 제1 공간 잡음 제거부(157a)는 도 10에 도시된 바와 같이 움직임 벡터가 나타난 화소 영역(301)을 기 설정된 크기의 영역(302)으로 확장하는 영역 확장 처리를 수행하여 공간 잡음을 제거한다. 도 10은 상기 기 설정된 크기의 영역이 d x d의 정사각형 영역이고, d가 3인 경우를 예로써 도시하고 있으나, d의 값과 영역의 모양은 얼마든지 달라질 수 있다.
상기 영역 확장 처리는 제2-1 비관심 객체 영역에 포함된 각각의 화소에 대하여 수행된다. 예를 들어, 도 11에 도시된 바와 같이, 움직임 벡터가 존재하는 영역을 가리키는 제2-1 비관심 객체 영역 중에 포함된 제1 화소(311)에 대하여 영역 확장 처리가 수행되고, 이어서 제2 화소(313) 및 제3 화소(315) 등에 대하여 각각 영역 확장 처리가 수행될 수 있다.
도 12a 및 도 12b는 도 1a에 도시된 영상 정보에 대하여 영역 확장 처리가 수행된 결과를 도시하고 있다 도 12a 및 도 12b는 기 설정된 크기의 영역이 d x d의 정사각형 영역이고, 각각 d의 값이 4, 16으로 설정된 경우를 도시하고 있다. 도 12a 및 도 12b에 도시된 바에 따르면, d의 값이 커질수록 비관심 객체 영역의 크기는 커지나, 공간 잡음의 제거 효과는 향상되는 것을 확인할 수 있다.
또한, 제1 공간 잡음 제거부(157a)는 공간 잡음 제거의 효과를 보다 향상시키기 위해 모폴로지(morphology) 연산을 수행할 수 있다. 상기 모폴로지 연산은 침식(erosion), 팽창(dilation), 닫힘(closing), 열림(opening) 연산 또는 상기 연산의 조합을 통해 수행될 수 있다. 도 13은 닫힘 연산 이후 열림 연산이 수행된 예를 도시하고 있다.
다음으로, 제2 공간 잡음 제거부(157b)는 MRF(Markov Random Field) 모델을 이용하여 공간 잡음을 제거한다. 구체적으로, 제2 공간 잡음 제거부(157b)는 MRF 모델에 기초하여 정의된 에너지 함수의 에너지 값이 최소화되도록 하는 비관심 객체 영역을 결정함으로써 공간 잡음 제거 처리를 수행한다. 상기 MRF 모델은 당해 기술 분야에서 널리 알려진 확률 모델이므로 모델 자체에 대한 설명은 생략하도록 한다.
도 14는 제2 공간 잡음 제거부(157b)에 의해 이용되는 MRF 모델을 도시한다.
MRF 모델을 이용한 공간 잡음 제거는 화소 또는 블록 단위로 수행될 수 있다. 도 14를 참조하면, 블록 단위로 비관심 객체 영역이 결정된다고 가정할 때, 노드(321)는 공간 잡음 제거 처리의 결과로 획득될 영상 프레임(또는 비관심 객체 영역)의 제1 블록(w)을 가리키고, 노드(323)는 제1 움직임 벡터가 획득된 영상 프레임에서 상기 제1 블록(w)에 대응되는 제2 블록(v)을 가리키며, 노드(325, 327)는 상기 제1 블록(w)의 주변 블록을 가리킨다.
본 발명의 실시예에 따르면, 제2 공간 잡음 제거부(157b)는 하기의 수학식 1에 따른 에너지 함수의 에너지 값이 최소화되도록 비관심 객체 영역을 결정할 수 있다. 당해 기술 분야의 통상의 기술자라면, 공간 잡음 제거 처리 과정이 MRF 기반의 에너지 함수의 에너지 값을 최소화하는 문제로 모델링될 수 있다는 것을 자명하게 알 수 있을 것인 바, 이에 대한 상세한 설명은 생략하도록 한다. 또한, 당해 기술 분야의 통상의 기술자라면, 하기의 수학식 1이 도 14에 도시된 MRF 모델에 기초하여 정의된 것임을 자명하게 알 수 있을 것이다.
상기 수학식 1에서, 제1 에너지 항(Ev)은 상기 제1 블록(w)과 이에 대응되는 상기 제2 블록(v)과의 관계에 따른 에너지 항을 가리키고, 제2 에너지 항(Ew)은 상기 제1 블록(w)과 상기 제1 블록(w)에 인접한 주변 블록과의 관계에 따른 에너지 항을 가리킨다. 또한, α는 에너지 항의 가중치를 조절하는 계수 인자(scaling factor)를 가리킨다. 이하에서, 각 에너지 항의 에너지 값을 산출하는 방법에 대하여 설명하도록 한다.
본 발명의 실시예에 따르면, 제1 에너지 항(Ev)은 하기의 수학식 2에 따라 산출될 수 있다. 하기의 수학식 2에서 Dv(v, w)는 상기 제1 블록(w)과 이에 대응되는 제2 블록(v) 간의 유사도를 가리킨다. 하기의 수학식 2에서, 마이너스 부호는 두 블록 간의 유사도가 높을수록, 각 에너지 항의 에너지 값은 작은 값으로 결정된다는 것을 의미한다.
상기 수학식 2에서, 두 블록 간의 유사도는 예를 들어 SSD(sum of squared difference), SAD(sum of absolute difference), 움직임 벡터 존재 여부(또는 비관심 객체 해당 여부)를 가리키는 값(e.g. 1은 움직임 벡터 존재, 0은 움직임 벡터 존재하지 않음)의 일치 여부 등을 이용하여 산출될 수 있으나, 어떠한 방법으로 산출되더라도 무방하다.
다음으로, 제2 에너지 항(Ew)의 에너지 값은 해당 블록과 주변 블록과의 유사도를 고려하여 하기의 수학식 3에 의해 산출될 수 있다. 이는, 조밀한 형태를 지니는 강체(rigid body)의 특징을 고려할 때, 주변 블록이 객체로 분류된다면, 상기 해당 블록도 동일한 객체에 포함될 확률이 높다는 점을 이용한 것으로 이해될 수 있다. 하기의 수학식 3에서, 제1 주변 블록(1st-order neighborhood)은 제1 거리 이내에 위치한 주변 블록으로 예를 들어 도 15a에 도시된 바와 같이 상하좌우에 위치한 주변 블록(331 내지 337)이 될 수 있고, 제2 주변 블록(2nd-order neighborhood)은 제1 거리보다 먼 제2 거리 이내에 위치한 주변 블록으로 예를 들어 도 15b에 도시된 바와 같이 대각선 방향에 위치한 주변 블록(341 내지 347)이 될 수 있다. 그러나, 이에 한정되는 것은 아니다.
본 발명의 실시예에 따르면, 더 가까운 거리에 있는 상기 제1 주변 블록과의 유사도에 더 높은 가중치를 부여하기 위해, 상기 수학식 3에서 제1 주변 블록에 대한 에너지 항의 계수(γ1)에 상기 제2 주변 블록에 대한 에너지 항 계수(γ2)보다 더 높은 값이 설정될 수 있다. 그러나, 이는 실시예에 따라 달라질 수도 있다.
상기 수학식 1의 해는 ICM(Iterated Conditional Modes) 또는 SR(Stochastic Relaxation) 등의 알고리즘을 이용하여 결정될 수 있다. 상기 수학식 1의 해를 도출하는 과정은 당해 기술 분야의 통상의 기술자에게 이미 자명한 사항인 바 이에 대한 설명은 생략하도록 한다.
다음으로, 제3 공간 잡음 제거부(157c)는 입력된 영상 정보에서 추출된 비관심 객체의 외곽선(contour)을 이용하여 공간 잡음 제거 처리를 수행한다. 구체적으로, 제3 공간 잡음 제거부(157c)는 도 16에 도시된 과정에 따라 공간 잡음 제거 처리를 수행한다.
도 16을 참조하면, 제3 공간 잡음 제거부(157c) 입력된 영상 정보에서 비관심 객체 영역에 대한 외곽선을 추출하고, 추출된 외곽선에 기초하여 다각형 근사화를 수행한다. 이때, 외곽선을 추출하는 알고리즘 또는 다각형 근사화 알고리즘은 어떠한 알고리즘이 이용되더라도 무방하다.
다음으로, 제3 공간 잡음 제거부(157c)는 외곽선 상에 위치한 세 점 사이의 각도에 기초하여 외곽선 보정을 수행한다. 예를 들어, 상기 세 점 사이의 각도가 임계 각도 이하인 경우 상기 세 점을 연결하는 외곽선을 직선으로 변경하는 보정이 수행될 수 있다. 이 때, 세 점을 선정하는 방법은 일정 거리 이내에 위치한 세 점이 랜덤(random)하게 선정될 수 있으나, 이에 국한되는 것은 아니다.
다음으로, 제3 공간 잡음 제거부(157c)는 외곽선 내부의 영역을 채우고, 모폴로지 연산을 이용한 후처리를 수행한다. 이때, 외곽선 내부의 영역을 채운다는 것은 외곽선 내부의 영역이 비관심 객체 영역에 해당하는 것으로 마킹하는 것을 의미할 수 있다.
지금까지 설명한 바에 따라, 공간 잡음 제거 처리 수행되면, 공간 잡음이 제거된 비관심 객체 영역이 결정된다. 예를 들어, 시간 잡음이 제거된 제2-1 비관심 객체 영역으로부터, 공간 잡음 제거부(157)는 공간 잡음이 제거된 제3-1 비관심 객체 영역을 결정하게 된다. 그러면, 마스크 생성부(150-1)는 상기 제3-1 비관심 객체 영역에 대응되는 마스크를 생성하고, 생성된 마스크를 관심 객체 검출부(170)로 제공한다.
지금까지, 도 5 내지 도 16을 참조하여 본 발명의 제1 실시예에 따른 마스크 처리 장치(100-1)의 구성 및 동작에 대하여 상세하게 설명하였다. 이하에서는, 도 17 및 도 18을 참조하여, 본 발명의 제2 실시예에 따른 마스크 처리 장치(100-2)에 대하여 설명하도록 한다.
본 발명의 제2 실시예에 따른 마스크 처리 장치(100-2)는 옵티컬 플로우(optical flow)에 기초하여 산출된 제2 움직임 벡터를 이용하여 비관심 객체 영역을 결정하고, 상기 비관심 객체 영역에 대응되는 마스크를 생성한다. 중복된 설명을 배제하기 위해, 제1 실시예에 따른 마스크 처리 장치(100-1)와의 차이점을 중심으로 상기 제2 실시예에 따른 마스크 처리 장치(100-2)에 대한 설명을 이어가도록 한다.
도 17은 본 발명의 제2 실시예에 따른 마스크 처리 장치(100-2)의 마스크 생성부(150-2)를 나타내는 블록도이다.
도 17을 참조하면, 마스크 생성부(150-2)는 움직임 벡터 산출부(152), 움직임 벡터 누적부(154), 시간 잡음 제거부(156) 및 공간 잡음 제거부(158)를 포함하도록 구성될 수 있다.
각 구성 요소를 살펴보면, 움직임 벡터 산출부(152)는 옵티컬 플로우를 이용하여 입력된 영상 정보에서 제2 움직임 벡터를 산출한다. 이때, 상기 제2 움직임 벡터는 밀집 옵티컬 플로우(dense optical flow) 기법 또는 희소 옵티컬 플로우(sparse optical flow) 기법 중 어떠한 방식이 이용되더라도 무방하고, 어떠한 옵티컬 플로우 알고리즘이 이용되더라도 무방하다.
움직임 벡터 누적부(154) 프레임 별로 산출된 제2 움직임 벡터를 누적한다. 움직임 벡터 누적부(154)의 동작은 전술한 움직임 벡터 누적부(153)와 유사한 바, 더 이상의 설명은 생략하도록 한다.
시간 잡음 제거부(156)는 입력된 영상 정보에 대한 시간 잡음 제거 처리를 수행한다. 예를 들어, 시간 잡음 제거부(156)는 입력된 영상 정보에서 상기 제2 움직임 벡터가 나타난 영역(이하, "제1-2 비관심 객체 영역"으로 명명함)에 대한 시간 잡음 제거 처리를 수행하고, 시간 잡음 제거 처리가 수행된 영역(이하, "제2-2 비관심 객체 영역"으로 명명함)을 처리 결과로 제공한다. 시간 잡음 제거부(156)의 구체적인 동작은 전술한 시간 잡음 제거부(155)와 유사한 바, 더 이상의 설명은 생략하도록 한다.
공간 잡음 제거부(158)는 입력된 영상 정보에 대한 공간 잡음 제거 처리를 수행한다. 예를 들어, 공간 잡음 제거부(158)는 상기 제2-2 비관심 객체 영역에 대한 공간 잡음 제거 처리를 수행하고, 공간 잡음이 제거된 비관심 객체 영역(이하, "제3-2 비관심 객체 영역"으로 명명함)을 처리 결과로 제공한다. 다만, 실시예에 따라, 시간 잡음 제거부(156)를 제외하고 마스크 생성부(150-2)가 구성되는 경우, 공간 잡음 제거부(158)는 상기 제1-2 비관심 객체 영역을 기초로 공간 잡음 제거 처리를 수행할 수도 있다.
공간 잡음 제거부(158)의 동작은 전술한 공간 잡음 제거부(157)와 유사하다. 다만, 공간 잡음 제거부(158)가 MRF 모델을 이용하여 공간 잡음을 제거하는 경우, 도 18에 도시된 MRF 모델 및 상기 MRF 모델에 의해 도출된 하기의 수학식 4가 이용되는 차이점이 있다.
MRF 모델을 이용한 공간 잡음 제거는 화소 또는 블록 단위로 수행될 수 있다. 도 18에서, 화소 단위로 비관심 객체 영역이 결정된다고 가정할 때, 노드(351)는 공간 잡음 제거 처리의 결과로 획득될 영상 프레임(또는 비관심 객체 영역)의 제1 화소(w)를 가리키고, 노드(353)는 제2 움직임 벡터가 획득된 영상 프레임에서 상기 제1 화소(w)에 대응되는 제2 화소(v)를 가리키며, 노드(355, 357)은 상기 제1 화소(w)의 주변 화소를 가리킨다.
또한, 하기 수학식 4에서, 제1 에너지 항(Eu)은 상기 제1 블록(w)과 이에 대응되는 상기 제2 블록(u)과의 관계에 따른 에너지 항을 가리키고, 제2 에너지 항(Ew)은 상기 제1 블록(w)과 상기 제1 블록(w)에 인접한 주변 블록과의 관계에 따른 에너지 항을 가리킨다. 또한, α는 에너지 항의 가중치를 조절하는 계수 인자를 가리킨다. 각 에너지 항의 에너지 값을 산출하는 방법은 상기 수학식 1의 에너지항과 유사하므로 이에 대한 설명은 생략하도록 한다.
지금까지, 도 17 및 도 18을 참조하여, 본 발명의 제2 실시예에 따른 마스크 처리 장치(100-2)에 대하여 설명하였다. 다음으로, 도 19 내지 도 22를 참조하여 본 발명의 제3 실시예에 따른 마스크 처리 장치(100-3)에 대하여 설명하도록 한다.
본 발명의 제3 실시예에 따른 마스크 처리 장치(100-3)는 제1 움직임 벡터 및 제2 움직임 벡터를 모두 이용하여 비관심 객체 영역을 결정하고, 상기 비관심 객체 영역에 대응되는 마스크를 생성한다. 따라서, 마스크 처리 장치(100-3)는 제1 실시예 및 제2 실시예에 따른 마스크 처리 장치(100-1, 100-2)의 일부 구성 요소를 포함할 수 있다.
도 19는 본 발명의 제3 실시예에 따른 마스크 처리 장치(100-3)의 마스크 생성부(150-3)를 나타내는 블록도이다.
도 19를 참조하면, 마스크 생성부(150-3)는 마스크 생성부(150-1) 및 마스크 생성부(150-2)의 구성 요소를 모두 포함하고, 비관심 객체 영역 결정부(159)를 더 포함하도록 구성될 수 있다. 중복된 설명을 배제하기 위해, 마스크 생성부(150-1) 또는 마스크 생성부(150-2)에서 설명된 구성 요소(151 내지 158)에 대한 설명은 생략하도록 한다.
비관심 객체 영역 결정부(159)는 제1 움직임 벡터를 기초로 결정된 비관심 객체 영역과 제2 움직임 벡터를 기초로 결정된 비관심 객체 영역을 이용하여 최종 비관심 객체 영역을 결정할 수 있다. 이하에서는, 설명의 편의를 위해, 본 실시예에 한하여 상기 제1 움직임 벡터를 기초로 결정된 비관심 객체 영역을 통칭하여 제1 비관심 객체 영역으로 명명하고, 상기 제2 움직임 벡터를 기초로 결정된 비관심 객체 영역을 통칭하여 제2 비관심 객체 영역으로 명명하도록 한다.
도 19에서는 공간 잡음 제거부(157)에 의해 제공된 제3-1 비관심 객체 영역과 공간 잡음 제거부(158)에 의해 제공된 제3-2 비관심 객체 영역을 기초로 최종 비관심 객체 영역을 결정하는 것이 예로써 도시되었다. 다만, 도 20에 도시된 바와 같이, 공간 잡음 제거부(157, 158) 등의 일부 구성 요소가 제외되어 구성되더라도 무방하다.
비관심 객체 영역 결정부(159)는 MRF 모델을 이용하여 상기 제1 관심 객체 영역과 상기 제2 관심 객체 영역을 결합하여 최종 비관심 객체 영역을 결정한다. 이를 위한 전처리 과정으로, 비관심 객체 영역 결정부(159)는 상기 제1 비관심 객체 영역에 대한 제1 움직임 벡터의 산출 단위와 상기 제2 비관심 객체 영역에 대한 제2 움직임 벡터의 산출 단위 간의 정합을 수행할 수 있다. 예를 들어, 제1 움직임 벡터가 블록 단위로 산출되고, 제2 움직임 벡터가 화소 단위로 산출된 경우, 비관심 객체 영역 결정부(159)는 블록 단위를 기준으로 정합을 수행할 수 있다.
상기 정합이 수행되는 구체적인 과정을 살펴보면, 비관심 객체 영역 결정부(159)는 제2 비관심 객체 영역에 포함된 화소들을 각각의 블록으로 그룹핑한다. 이때, 상기 각각의 블록의 위치 및 크기는 제1 비관심 객체 영역에서 제1 움직임 벡터가 산출된 단위 블록에 대응된다. 다음으로, 비관심 객체 영역 결정부(159)는 각 블록 별로 움직임 벡터가 검출된 화소의 개수가 임계 값 이상인 블록을 움직임 벡터가 존재하는 블록으로 마킹함으로써 상기 정합을 수행할 수 있다.
이에 대한 예시는 도 21a 및 도 21b를 참조하도록 한다. 도 21a 및 도 21b는 제1 움직임 벡터가 산출된 단위 블록의 크기가 4x4이고 상기 임계 값이 9인 경우, 상기 정합이 수행되는 예를 도시한다. 구체적으로, 도 21a는 제2 비관심 객체 영역의 특정 블록(361)에 움직임 벡터가 존재하는 것으로 마킹된 경우를 도시하고, 도 21b는 특정 블록(371)에 움직임 벡터가 존재하지 않는 것으로 마킹된 경우를 도시하고 있다.
전술한 동작에 따라, 움직임 벡터의 산출 단위가 정합되면, 비관심 객체 영역 결정부(159)는 도 22에 도시된 MRF 모델에 따라 도출된 하기의 수학식 5를 이용하여 제1 관심 객체 영역과 제2 관심 객체 영역을 결합하여 최종 비관심 객체 영역을 결정한다. 구체적으로, 비관심 객체 영역 결정부(159)는 하기의 수학식 5에 따른 에너지 함수의 에너지 값이 최소화되도록 상기 최종 비관심 객체 영역을 결정한다. 이와 같은 동작 또한 공간 잡음 제거 처리의 일환으로 볼 수 있다.
도 22에 도시된 MRF 모델에서, 노드(381)는 공간 잡음 제거 처리의 결과로 획득될 영상 프레임(또는 비관심 객체 영역)의 제1 블록(w)을 가리키고, 노드(385)는 제1 움직임 벡터가 획득된 영상 프레임에서 상기 제1 블록(w)에 대응되는 제2 블록(v)을 가리킨다. 또한, 노드(383)는 제2 움직임 벡터가 획득된 영상 프레임에서 상기 제1 블록(w)에 대응되는 제3 블록(u)을 가리키고, 노드(387, 389)는 상기 제1 블록(w)의 주변 블록을 가리킨다.
또한, 상기 수학식 5에서, 제1 에너지 항(Ev)은 상기 제1 블록(w)과 이에 대응되는 상기 제2 블록(v)과의 관계에 따른 에너지 항을 가리키고, 제2 에너지 항(Ev)은 상기 제1 블록(w)과 이에 대응되는 상기 제3 블록(v)과의 관계에 따른 에너지 항을 가리키며, 제3 에너지 항(Ew)은 상기 제1 블록(w)과 상기 제1 블록(w)에 인접한 주변 블록과의 관계에 따른 에너지 항을 가리킨다. 또한, α, β는 에너지 항의 가중치를 조절하는 계수 인자(scaling factor)를 가리킨다. 각 에너지 항의 에너지 값을 산출하는 방법은 상기 수학식 1 및 상기 수학식 3의 에너지항과 유사하므로 이에 대한 설명은 생략하도록 한다.
한편, 도 19 또는 도 20에 도시된 비관심 객체 영역 결정부(159)는 시간 잡음 또는 공간 잡음 제거 처리가 수행된 제1 비관심 객체 영역 및 제2 비관심 객체 영역을 기초로 최종 비관심 객체 영역을 결정하는 동작을 수행한다고 설명하였다. 그러나, 본 발명의 다른 실시예에 따르면, 시간 잡음 또는 공간 잡음 처리가 수행되기 전에, 비관심 객체 영역 결정부(159)에 의해 두 비관심 객체 영역의 결합이 수행되고, 결합된 비관심 객체 영역에 대한 시간 잡음 제거 처리 및/또는 공간 잡음 제거 처리가 수행될 수도 있다.
지금까지, 도 3 내지 도 22를 참조하여, 본 발명의 제1 내지 제3 실시예에 따른 마스크 처리 장치(100-1 내지 100-4)에 대하여 설명하였다. 다음으로, 도 23을 참조하여, 본 발명의 다른 실시예에 따른 비관심 객체에 대한 마스크 처리 장치(100)에 대하여 설명하도록 한다.
도 23은 본 발명의 실시예에 따른 마스크 처리 장치(100)의 하드웨어 구성도이다.
도 23을 참조하면, 비관심 객체에 대한 마스크 처리 장치(100)는 하나 이상의 프로세서(101), 버스(105), 네트워크 인터페이스(107), 프로세서(101)에 의하여 수행되는 컴퓨터 프로그램을 로드(load)하는 메모리(103)와, 비관심 객체에 대한 마스크 처리 소프트웨어(109a)를 저장하는 스토리지(109)를 포함할 수 있다. 다만, 도 23에는 본 발명의 실시예와 관련 있는 구성요소들만이 도시되어 있다. 따라서, 본 발명이 속한 기술분야의 통상의 기술자라면 도 23에 도시된 구성요소들 외에 다른 범용적인 구성 요소들이 더 포함될 수 있음을 알 수 있다.
프로세서(101)는 비관심 객체에 대한 마스크 처리 장치(100)의 각 구성의 전반적인 동작을 제어한다. 프로세서(101)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit) 또는 본 발명의 기술 분야에 잘 알려진 임의의 형태의 프로세서를 포함하여 구성될 수 있다. 또한, 프로세서(101)는 본 발명의 실시예들에 따른 방법을 실행하기 위한 적어도 하나의 애플리케이션 또는 프로그램에 대한 연산을 수행할 수 있다. 비관심 객체에 대한 마스크 처리 장치(100)는 하나 이상의 프로세서를 구비할 수 있다.
메모리(103)는 각종 데이터, 명령 및/또는 정보를 저장한다. 메모리(103)는 본 발명의 실시예들에 따른 비관심 객체에 대한 마스크 처리 방법을 실행하기 위하여 스토리지(109)로부터 하나 이상의 프로그램(109a)을 로드할 수 있다. 도 23에서 메모리(103)의 예시로 RAM이 도시되었다.
버스(105)는 비관심 객체에 대한 마스크 처리 장치(100)의 구성 요소 간 통신 기능을 제공한다. 버스(105)는 주소 버스(Address Bus), 데이터 버스(Data Bus) 및 제어 버스(Control Bus) 등 다양한 형태의 버스로 구현될 수 있다.
네트워크 인터페이스(107)는 비관심 객체에 대한 마스크 처리 장치(100)의 유무선 인터넷 통신을 지원한다. 또한, 네트워크 인터페이스(107)는 인터넷 통신 외의 다양한 통신 방식을 지원할 수도 있다. 이를 위해, 네트워크 인터페이스(107)는 본 발명의 기술 분야에 잘 알려진 통신 모듈을 포함하여 구성될 수 있다.
스토리지(109)는 및 상기 하나 이상의 프로그램(109a) 및 영상 정보(109b)를 비임시적으로 저장할 수 있다. 도 23에서 상기 하나 이상의 프로그램(109a)의 예시로 비관심 객체에 대한 마스크 처리 소프트웨어(109a)가 도시되었다.
스토리지(109)는 ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리 등과 같은 비휘발성 메모리, 하드 디스크, 착탈형 디스크, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체를 포함하여 구성될 수 있다.
비관심 객체에 대한 마스크 처리 소프트웨어(109a)는 본 발명의 실시예에 따른 비관심 객체에 대한 마스크 처리 방법을 수행할 수 있다. 예를 들어, 마스크 처리 소프트웨어(109a)는 메모리(103)에 로드되어, 하나 이상의 프로세서(101)에 의해, 상기 제1 영상 정보에 포함된 비관심 객체에 대한 움직임 벡터(motion vector)를 획득하고, 상기 제1 영상 정보에서 상기 움직임 벡터가 획득된 영역을 제1 비관심 객체 영역으로 결정하는 오퍼레이션, 상기 제1 비관심 객체 영역에 대한 공간 잡음 제거 처리를 수행하고, 상기 공간 잡음 제거 처리의 결과로 상기 제1 비관심 객체 영역과 적어도 일부는 상이한 제2 비관심 객체 영역을 획득하는 오퍼레이션 및 상기 제2 비관심 객체 영역에 대응되는 마스크를 생성하는 오퍼레이션을 실행할 수 있다.
지금까지, 도 23을 참조하여, 본 발명의 실시예에 따른 비관심 객체에 대한 마스크 처리 장치(100)의 하드웨어 구성에 대하여 설명하였다. 다음으로, 도 24 내지 도 28을 참조하여 본 발명의 실시예에 따른 비관심 객체에 대한 마스크 처리 방법에 대하여 상세하게 설명한다.
이하에서 후술할 본 발명의 실시예에 따른 비관심 객체에 대한 마스크 처리 방법의 각 단계는, 컴퓨팅 장치에 의해 수행될 수 있다. 예를 들어, 상기 컴퓨팅 장치는 본 발명의 실시예에 따른 마스크 처리 장치(100)일 수 있다. 다만, 설명의 편의를 위해, 상기 마스크 처리 방법에 포함되는 각 단계의 동작 주체는 그 기재가 생략될 수도 있다. 또한, 상기 마스크 처리 방법의 각 단계는 마스크 처리 장치(100)의 프로세서(101)에 의해 실행되는 마스크 처리 소프트웨어(109a)의 오퍼레이션으로 구현될 수 있다.
본 발명의 실시예에 따른 비관심 객체에 대한 마스크 처리 방법은 제1 영상 정보를 기초로 마스크를 생성하는 마스크 생성 방법과 상기 생성된 마스크를 이용하여 제2 영상 정보에서 관심 객체를 검출하는 관심 객체 검출 방법을 포함할 수 있다. 먼저, 도 24 내지 도 26을 참조하여 상기 마스크 생성 방법에 대하여 설명하도록 한다. 이하에서는, 도 3 내지 도 23을 참조하여 설명한 실시예와 동일하거나 상응하는 부분에 대한 구체적인 설명은 생략하도록 한다.
도 24는 본 발명의 실시예에 따른 마스크 생성 방법의 흐름도이다. 단, 이는 본 발명의 목적을 달성하기 위한 바람직한 실시예일 뿐이며, 필요에 따라 일부 단계가 추가되거나 삭제될 수 있음은 물론이다.
도 24를 참조하면, 단계(S100)에서, 비관심 객체가 포함된 제1 영상 정보가 획득된다. 예를 들어, 상기 제1 영상 정보는 지정된 관심 지역을 촬영하는 영상 촬영 장치(200)로부터 실시간으로 수신되는 복수의 영상 프레임일 수 있다. 또한, 부호화 처리가 수행된 비트스트림 형태의 영상 정보일 수 있다.
단계(S200)에서, 상기 제1 영상 정보에 대한 움직임 벡터가 획득된다. 또한, 상기 제1 영상에서 상기 획득된 움직임 벡터가 나타난 영역이 제1 비관심 객체 영역으로 결정된다.
일 실시예에서, 상기 획득된 움직임 벡터는 상기 제1 영상 정보의 부호화 처리 과정에서 연산된 제1 움직임 벡터일 수 있다. 상기 제1 움직임 벡터는 비트스트림 형태로 수신된 상기 제1 영상 정보의 복호화 처리 과정에서 바로 획득될 수 있다. 다만, 상기 제1 움직임 벡터는 잡음이 포함될 확률이 높으므로, 소정의 정제 단계가 더 수행될 수도 있다. 이에 대한 설명은 움직임 벡터 정제부(151)의 설명 부분 참조하도록 한다.
일 실시예에서, 상기 획득된 움직임 벡터는 옵티컬 플로우에 기초하여 산출된 제2 움직임 벡터일 수 있다.
몇몇 실시예에서, 기 설정된 복수의 프레임에 걸쳐 움직임 벡터가 누적되고, 상기 움직임 벡터가 누적된 영역이 상기 제1 비관심 객체 영역으로 결정될 수 있다. 이에 대한 자세한 설명은 움직임 벡터 누적부(153, 154)의 설명 부분을 참조하도록 한다.
단계(S300)에서, 상기 제1 비관심 객체 영역에 대한 시간 잡음 제거 처리가 수행된다. 또한, 상기 시간 잡음 제거 처리의 결과로 제2 비관심 객체 영역이 획득된다. 본 단계(S300)에 대한 자세한 설명은 시간 잡음 제거부(155, 156)의 설명 부분을 조하도록 한다.
단계(S400)에서, 상기 제2 비관심 객체 영역에 대한 공간 잡음 제거 처리가 수행되고, 상기 공간 잡음 제거 처리의 결과로 제3 비관심 객체 영역이 획득된다. 본 단계(S400)에 대한 자세한 설명은 공간 잡음 제거부(157, 158)의 설명 부분을 참조하도록 한다.
일 실시예에서, 상기 공간 잡음 제거 처리는 도 25에 도시된 바와 같이 화소 단위의 영역 확장 처리를 통해 수행될 수 있다. 구체적으로, 단계(S411)에서, 상기 제2 비관심 객체 영역에 포함된 각 화소에 대하여, 각 화소 영역을 기 설정된 크기의 주변 화소 영역으로 확장하는 영역 확장 처리가 수행되고, 단계(S413)에서, 모폴로지 연산이 더 수행될 수 있다.
일 실시예에서, 상기 공간 잡음 제거 처리는 MRF 모델에 기초하여 정의된 에너지 함수의 에너지 값이 최소화되는 해를 구하는 방식으로 수행될 수 있다.
일 실시예에서, 상기 공간 잡음 제거 처리는 도 26에 도시된 바와 같이 제2 비관심 객체 영역의 외곽선에 기초하여 수행될 수 있다. 이에 대한 설명은 도 전술한 바와 같으므로 중복된 설명을 배제하기 위해 생략하도록 한다.
단계(S500)에서, 상기 제3 비관심 객체 영역에 대응되는 마스크가 생성된다. 생성된 마스크는 추후 관심 객체를 정확하게 검출하기 위해 이용될 수 있다.
지금까지, 도 24 내지 도 26을 참조하여 본 발명의 실시예에 따른 마스크 생성 방법에 대하여 설명하였다. 이하에서는, 도 27 및 도 28을 참조하여 본 발명의 실시예에 따른 관심 객체 검출 방법에 대하여 간략하게 설명하도록 한다.
도 27은 본 발명의 실시예에 따른 관심 객체 검출 방법의 흐름도이다. 단, 이는 본 발명의 목적을 달성하기 위한 바람직한 실시예일 뿐이며, 필요에 따라 일부 단계가 추가되거나 삭제될 수 있음은 물론이다.
도 27을 참조하면, 단계(S600)에서, 관심 객체 및 비관심 객체가 포함된 제2 영상 정보가 획득된다.
단계(S700)에서, 제1 영상 정보를 기초로 생성된 비관심 객체에 대한 마스크를 이용하여, 상기 제2 영상 정보에서 관심 객체 검출이 수행된다. 구체적으로, 상기 제2 영상 정보의 상기 마스크에 대응되는 영역을 제외한 나머지 영역에서 상기 관심 객체를 나타내는 특징 검출이 수행된다. 이때, 상기 관심 객체를 나타내는 특징은 예를 들어 움직임 벡터일 수 있다.
단계(S800)에서, 상기 관심 객체가 비관심 객체 영역에 인접하여 검출되었는지 여부가 판정된다. 예를 들어, 상기 관심 객체를 나타내는 특징이 상기 비관심 객체 영역과 기 설정된 임계 거리 이내에서 검출되는지 여부를 기초로 상기 판정이 수행될 수 있다.
상기 판정의 결과, 상기 관심 객체가 상기 비관심 객체 영역과 인접하여 검출된 경우, 단계(S900)에서, 상기 비관심 객체 영역에 대응되는 마스크를 제외할지 여부가 판정된다. 즉, 상기 마스크에 가려져 관심 객체의 일부분이 검출되지 않는 문제를 방지하기 위해, 단계(S900)에서 소정의 판정 기준에 따라 해당 마스크가 제외될지 여부가 판정된다. 다만, 실시예에 따라, 판정 단계(S900)를 수행하지 않고, 곧바로 해당 마스크가 제외되도록 동작될 수도 있다. 단계(S900)에 대한 설명은 도 28을 참조하여 후술하도록 한다.
해당 마스크가 제외되는 것으로 판정된 경우, 단계(S1000)에서, 나머지 마스크만을 이용하여, 관심 객체가 검출된다. 예를 들어, 각 비관심 객체 영역에 대응되는 복수의 마스크가 존재하는 경우, 관심 객체에 인접한 마스크만이 제외되고, 나머지 마스크만을 이용하여 관심 객체가 검출될 수 있다.
해당 마스크가 제외되지 않는 것으로 판정된 경우, 단계(S1100)에서, 모든 마스크를 이용하여 관심 객체가 검출된다.
이하에서는, 도 28을 참조하여, 단계(S900)에 대하여 부연 설명하도록 한다.
도 28을 참조하면, 단계(S910)에서, 인접한 비관심 객체 영역의 움직임 벡터 패턴과 관심 객체의 움직임 벡터 패턴이 산출된다. 상기 움직임 벡터의 패턴은 움직임 벡터의 길이, 방향 등을 기초로 생성될 수 있다. 예를 들어, 움직임 벡터의 평균 길이, 평균 방향과 같이 해당 영역을 대표할 수 있는 정보가 패턴으로 생성될 수 있다.
단계(S930)에서, 두 패턴의 비교가 수행된다.
상기 비교의 결과, 두 패턴이 유사한 경우, 단계(S950)에서, 해당 마스크가 제외된다. 두 패턴이 유사하다면, 인접한 비관심 객체 영역에서 나타난 움직임 벡터는 동일한 관심 객체를 나타내는 특징을 확률이 높기 때문이다. 또한, 단계(S1000)에서, 나머지 마스크만을 이용하여 객체 검출이 수행된다
반대의 경우, 단계(S970)에서, 해당 마스크가 제외되지 않는다. 또한, 단계(S1100)에서, 모든 마스크를 이용하여 객체 검출이 수행된다.
지금까지, 도 27 및 도 28을 참조하여, 본 발명의 실시예에 따른 관심 객체 검출 방법에 대하여 설명하였다. 상술한 바에 따르면, 관심 객체가 특정 비관심 객체 영역에 인접하여 검출되는 경우, 소정의 판단 기준에 따라 상기 인접한 영역에 대응되는 마스크를 제외하고 관심 객체의 검출이 수행될 수 있다. 이에 따라, 마스크로 인해 관심 객체가 정확하게 검출되지 않는 문제가 해결될 수 있고, 관심 객체 검출의 정확도가 향상될 수 있다.
지금까지, 도 24 내지 도 28을 참조하여 본 발명의 실시예에 따른 비관심 객체에 대한 마스크 처리 방법에 대하여 설명하였다. 상술한 바에 따르면, 비관심 객체에 대한 마스크를 이용하여, 비관심 객체가 관심 객체로 오검출되는 것이 방지될 수 있다. 이에 따라, 관심 객체 검출의 정확도가 향상될 수 있다.
또한, 입력된 영상 정보로부터 자동으로 비관심 객체 영역이 결정되고, 상기 비관심 객체 영역에 대응되는 마스크가 생성될 수 있다. 이에 따라, 관심 지역이 변경되더라도 관리자의 개입없이 자동 마스크 처리가 수행되므로, 사용자 편의성이 증대될 수 있다. 또한, 관심 객체 검출의 정확도가 향상됨에 따라, 지능형 영상 분석 정보의 신뢰도 또한 증대될 수 있다.
이하에서는, 도 29a 및 도 29b를 참조하여, 상술한 비관심 객체에 대한 마스크 처리 방법이 수행된 결과에 대하여 간략하게 살펴보도록 한다.
도 29a 및 도 29b는 좌측에 관심 지역인 디스플레이 매장을 촬영한 원본 영상을 도시하고 우측에 상기 영상 정보에서 검출된 고객의 동선을 시각화한 히트맵을 도시하고 있다. 또한, 도 29a는 마스크 처리가 수행되지 않은 경우를 도시하고, 도 29b는 본 발명의 실시예에 따라 마스크 처리가 수행된 경우를 도시하고 있다.
도 29a를 참조하면, 비관심 객체에 해당하는 디스플레이 장치에 대한 마스크 처리가 수행되지 않은 경우, 디스플레이 장치에 재생 중인 동영상으로 인해, 히트맵 상에 상기 동영상의 움직임(390)이 고객의 움직임과 함께 나타나는 것을 확인할 수 있다. 즉, 디스플레이 장치가 고객으로 오검출되는 것을 확인할 수 있다.
다음으로, 도 29b를 참조하면, 마스크 처리가 수행됨에 따라, 히트맵 상에서 디스플레이 장치의 오검출이 방지되고, 정확하게 관심 객체에 해당하는 고객의 움직임만이 검출되는 것을 확인할 수 있다. 이는, 본 발명의 실시예에 따라 생성된 마스크는 정확하게 비관심 객체 영역을 가리키도록 생성되고, 상기 마스크를 이용하는 경우 주어진 영상에서 관심 객체만이 정확하게 검출될 수 있다는 것을 의미한다.
지금까지 도 2 내지 도 29b를 참조하여 설명된 본 발명의 개념은 컴퓨터가 읽을 수 있는 매체 상에 컴퓨터가 읽을 수 있는 코드로 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체는, 예를 들어 이동형 기록 매체(CD, DVD, 블루레이 디스크, USB 저장 장치, 이동식 하드 디스크)이거나, 고정식 기록 매체(ROM, RAM, 컴퓨터 구비 형 하드 디스크)일 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체에 기록된 상기 컴퓨터 프로그램은 인터넷 등의 네트워크를 통하여 다른 컴퓨팅 장치에 전송되어 상기 다른 컴퓨팅 장치에 설치될 수 있고, 이로써 상기 다른 컴퓨팅 장치에서 사용될 수 있다.
도면에서 동작들이 특정한 순서로 도시되어 있지만, 반드시 동작들이 도시된 특정한 순서로 또는 순차적 순서로 실행되어야만 하거나 또는 모든 도시 된 동작들이 실행되어야만 원하는 결과를 얻을 수 있는 것으로 이해되어서는 안 된다. 특정 상황에서는, 멀티태스킹 및 병렬 처리가 유리할 수도 있다. 더욱이, 위에 설명한 실시예들에서 다양한 구성들의 분리는 그러한 분리가 반드시 필요한 것으로 이해되어서는 안 되고, 설명된 프로그램 컴포넌트들 및 시스템들은 일반적으로 단일 소프트웨어 제품으로 함께 통합되거나 다수의 소프트웨어 제품으로 패키지 될 수 있음을 이해하여야 한다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해해야만 한다.
Claims (22)
- 마스크 처리 장치에 의해 수행되는 비관심 객체에 대한 마스크 처리 방법에 있어서,
지정된 관심 지역에 대한 제1 영상 정보로부터 움직임 벡터(motion vector)를 획득하고, 상기 제1 영상 정보에서 상기 움직임 벡터가 나타난 영역을 제1 비관심 객체 영역으로 결정하는 단계;
상기 제1 비관심 객체 영역에 대한 공간 잡음(spatial noise) 제거 처리를 수행하고, 상기 공간 잡음 제거 처리의 결과로 상기 제1 비관심 객체 영역과 적어도 일부는 상이한 제2 비관심 객체 영역을 획득하는 단계; 및
상기 제2 비관심 객체 영역에 대응되는 마스크를 생성하는 단계를 포함하는 것을 특징으로 하는,
비관심 객체에 대한 마스크 처리 방법. - 제1 항에 있어서,
상기 제1 비관심 객체 영역으로 결정하는 단계는,
부호화 처리 과정을 통해 생성된 상기 제1 영상 정보에 대한 영상 비트스트림(bitstream)을 획득하는 단계;
상기 영상 비트스트림에 대한 복호화 처리를 수행하고, 상기 복호화 처리의 결과로 상기 부호화 처리 과정에서 연산된 움직임 벡터를 획득하는 단계; 및
상기 연산된 움직임 벡터를 기초로 상기 제1 비관심 객체 영역을 결정하는 단계를 포함하는 것을 특징으로 하는,
비관심 객체에 대한 마스크 처리 방법. - 제2 항에 있어서,
상기 연산된 움직임 벡터를 기초로 상기 제1 비관심 객체 영역을 결정하는 단계는,
상기 연산된 움직임 벡터 중에서, 기 설정된 조건을 만족하는 움직임 벡터를 제외한 나머지 움직임 벡터에 기초하여 상기 제1 비관심 객체 영역을 결정하는 단계를 포함하되,
상기 기 설정된 조건은,
움직임 벡터의 길이가 제1 임계 값 이하인 제1 조건 또는 움직임 벡터의 길이가 상기 제1 임계 값보다 큰 값을 갖는 제2 임계 값 이상인 제2 조건을 포함하는 것을 특징으로 하는,
비관심 객체에 대한 마스크 처리 방법. - 제1 항에 있어서,
상기 제1 비관심 객체 영역으로 결정하는 단계는,
옵티컬 플로우(optical flow)를 이용하여, 상기 제1 영상 정보에 대한 움직임 벡터를 산출하는 단계; 및
상기 제1 영상 정보에서 상기 산출된 움직임 벡터가 나타난 영역을 상기 제1 비관심 객체 영역으로 결정하는 단계를 포함하는 것을 특징으로 하는,
비관심 객체에 대한 마스크 처리 방법. - 제1 항에 있어서,
상기 제1 영상 정보는 복수의 영상 프레임을 포함하되,
상기 제1 비관심 객체 영역으로 결정하는 단계는,
상기 복수의 영상 프레임 각각에서 획득된 움직임 벡터를 누적하는 단계; 및
상기 누적된 움직임 벡터를 기초로 상기 제1 비관심 객체 영역을 결정하는 단계를 포함하는 것을 특징으로 하는,
비관심 객체에 대한 마스크 처리 방법. - 제5 항에 있어서,
상기 누적된 움직임 벡터를 기초로 상기 제1 비관심 객체 영역을 결정하는 단계는,
상기 누적된 움직임 벡터 중에서, 기 설정된 조건을 만족하는 움직임 벡터를 제외한 나머지 움직임 벡터에 기초하여 상기 제1 비관심 객체 영역을 결정하는 단계를 포함하되,
상기 기 설정된 조건은,
상기 복수의 영상 프레임에 대한 움직임 벡터의 평균 길이가 임계 값 이하인 조건을 포함하는 것을 특징으로 하는,
비관심 객체에 대한 마스크 처리 방법. - 제1 항에 있어서,
상기 제2 비관심 객체 영역을 획득하는 단계는,
상기 제1 비관심 객체 영역에 포함된 각각의 화소에 대하여, 각 화소 영역을 기 설정된 크기의 주변 화소 영역으로 확장하는 영역 확장 처리를 수행하고, 상기 영역 확장 처리의 결과로 상기 제2 비관심 객체 영역을 획득하는 단계를 포함하는 것을 특징으로 하는,
비관심 객체에 대한 마스크 처리 방법. - 제7 항에 있어서,
상기 영역 확장 처리의 결과로 상기 제2 비관심 객체 영역을 획득하는 단계는,
상기 영역 확장 처리의 결과에 대하여 모폴로지(morphology) 연산을 수행하고, 상기 모폴로지 연산의 결과로 상기 제2 비관심 객체 영역을 획득하는 단계를 포함하는 것을 특징으로 하는,
비관심 객체에 대한 마스크 처리 방법. - 제1 항에 있어서,
상기 제2 비관심 객체 영역을 획득하는 단계는,
MRF(Markov Random Field) 모델에 기초한 에너지 함수의 에너지 값이 최소화되도록 상기 제1 비관심 객체 영역에 대한 공간 잡음 제거 처리를 수행하고, 상기 공간 잡음 제거 처리의 결과로 상기 제2 비관심 객체 영역을 획득하는 단계를 포함하는 것을 특징으로 하는,
비관심 객체에 대한 마스크 처리 방법. - 제9 항에 있어서,
상기 에너지 함수는,
상기 제1 비관심 객체 영역에 포함된 제1 영역과 상기 제1 영역에 대응되는 상기 제2 비관심 객체 영역의 제2 영역과의 유사도에 기초한 제1 에너지 항 및 상기 제2 비관심 객체 영역에 포함된 제3 영역과 상기 제3 영역의 주변 영역과의 유사도에 기초한 제2 에너지 항을 포함하는 것을 특징으로 하는,
비관심 객체에 대한 마스크 처리 방법. - 제10 항에 있어서,
상기 제2 에너지 항의 에너지 값은,
상기 제3 영역과 제1 거리 이내에 위치한 제1 주변 영역과의 제1 유사도 및 상기 제3 영역과 제2 거리 이내에 위치한 제2 주변 영역과의 제2 유사도에 기초하여 결정되되,
상기 제1 거리는 상기 제2 거리보다 더 가까운 거리로 설정되는 것을 특징으로 하는,
비관심 객체에 대한 마스크 처리 방법. - 제11 항에 있어서,
상기 제2 에너지 항의 에너지 값은,
상기 제1 유사도 및 상기 제2 유사도의 가중치 합으로 결정되되,
상기 제1 유사도에 부여되는 제1 가중치는 상기 제2 유사도에 부여되는 제2 가중치보다 높은 값으로 설정되는 것을 특징으로 하는,
비관심 객체에 대한 마스크 처리 방법. - 제1 항에 있어서,
상기 제1 비관심 객체 영역으로 결정하는 단계는,
상기 제1 영상 정보를 부호화한 영상 비트스트림에 대한 복호화 처리를 수행하고, 상기 복호화 처리의 결과로 상기 제1 영상 정보의 부호화 처리 과정에서 연산된 제1 움직임 벡터를 획득하는 단계;
상기 제1 움직임 벡터에 기초하여 상기 제1 영상 정보에서 제1-1 비관심 객체 영역을 결정하는 단계;
옵티컬 플로우를 기초로 상기 제1 영상 정보에 대한 제2 움직임 벡터를 산출하는 단계; 및
상기 제2 움직임 벡터에 기초하여 상기 제1 영상 정보에서 제1-2 비관심 객체 영역을 결정하는 단계를 포함하고,
상기 제2 비관심 객체 영역을 획득하는 단계는,
상기 제1-1 비관심 객체 영역 및 상기 제1-2 비관심 객체 영역에 대한 공간 잡음 제거 처리를 통해, 상기 제2 비관심 객체 영역을 획득하는 단계를 포함하는 것을 특징으로 하는,
비관심 객체에 대한 마스크 처리 방법. - 제13 항에 있어서,
상기 제1-1 비관심 객체 영역 및 상기 제1-2 비관심 객체 영역에 대한 공간 잡음 제거 처리를 통해, 상기 제2 비관심 객체 영역을 획득하는 단계는,
MRF 모델에 기초한 에너지 함수의 에너지 값이 최소화되도록, 상기 제1-1 비관심 객체 영역 및 상기 제1-2 비관심 객체 영역을 결합하여 상기 제2 비관심 객체 영역을 획득하는 단계를 포함하는 것을 특징으로 하는,
비관심 객체에 대한 마스크 처리 방법. - 제14 항에 있어서,
상기 에너지 함수는,
상기 제1-1 비관심 객체 영역에 포함된 제1-1 영역과 상기 제1-1 영역에 대응되는 상기 제2 비관심 객체 영역의 제2-1 영역과의 유사도에 기초한 제1 에너지 항 및 상기 제1-2 비관심 객체 영역에 포함된 제1-2 영역과 상기 제1-2 영역에 대응되는 상기 제2 비관심 객체 영역의 제2-2 영역과의 유사도에 기초한 제2 에너지 항을 포함하는 것을 특징으로 하는,
비관심 객체에 대한 마스크 처리 방법. - 제1 항에 있어서,
상기 제2 비관심 객체 영역을 획득하는 단계는,
상기 제1 비관심 객체 영역에 대한 외곽선을 추출하는 단계;
상기 외곽선 상에 위치한 세 점 사이의 각도를 이용하여, 상기 외곽선을 보정하는 단계; 및
상기 보정된 외곽선이 가리키는 영역을 기초로 상기 제2 비관심 객체 영역으로 결정하는 단계를 포함하는 것을 특징으로 하는,
비관심 객체에 대한 마스크 처리 방법. - 제16 항에 있어서,
상기 외곽선을 보정하는 단계는,
상기 추출된 외곽선에 대한 다각형 근사화 처리를 수행하고, 상기 다각형 근사화 처리의 결과로 다각형 영역을 가리키는 제1 외곽선을 획득하는 단계; 및
상기 제1 외곽선 상에 위치한 세 점 사이의 각도를 이용하여, 상기 제1 외곽선을 보정하는 단계를 포함하되,
상기 제2 비관심 객체 영역을 결정하는 단계는,
상기 보정된 제1 외곽선이 가리키는 영역을 상기 제2 비관심 객체 영역으로 결정하는 단계를 포함하는 것을 특징으로 하는,
비관심 객체에 대한 마스크 처리 방법. - 제16 항에 있어서,
상기 제2 비관심 객체 영역을 결정하는 단계는,
상기 보정된 외곽선이 가리키는 영역에 대한 모폴로지 연산을 수행하고, 상기 모폴로지 연산의 결과로 획득된 영역을 상기 제2 비관심 객체 영역으로 결정하는 단계를 포함하는 것을 특징으로 하는,
비관심 객체에 대한 마스크 처리 방법. - 제1 항에 있어서,
상기 지정된 관심 지역에 대한 제2 영상 정보를 획득하는 단계; 및
상기 생성된 마스크를 이용하여, 상기 제2 영상 정보에서 관심 객체를 검출하는 단계를 더 포함하는 것을 특징으로 하는,
비관심 객체에 대한 마스크 처리 방법. - 제19 항에 있어서,
상기 관심 객체를 검출하는 단계는,
상기 제2 영상 정보에서, 상기 생성된 마스크에 의해 가려진 제1 영역과 인접한 제2 영역에서 상기 관심 객체를 나타내는 특징이 검출된 경우, 상기 생성된 마스크를 제외하고 상기 제2 영상 정보에서 상기 관심 객체를 검출하는 단계를 포함하는 것을 특징으로 하는,
비관심 객체에 대한 마스크 처리 방법. - 제20 항에 있어서,
상기 관심 객체를 나타내는 특징은 움직임 벡터이되,
상기 생성된 마스크를 제외하고 상기 제2 영상 정보에서 상기 관심 객체를 검출하는 단계는,
상기 제1 영역에 나타난 움직임 백터에 대한 제1 패턴과 상기 제2 영역에 나타난 움직임 벡터에 대한 제2 패턴의 비교 결과에 기초하여, 상기 생성된 마스크의 제외 여부를 판정하는 단계; 및
상기 생성된 마스크를 제외하기로 판정한 경우에 한하여, 상기 생성된 마스크를 제외하고 상기 제2 영상 정보에서 상기 관심 객체를 검출하는 단계를 포함하는 것을 특징으로 하는,
비관심 객체에 대한 마스크 처리 방법. - 마스크 처리 장치에 의해 수행되는 비관심 객체에 대한 마스크 처리 방법에 있어서,
지정된 관심 지역에 대한 복수의 영상 프레임을 획득하는 단계;
상기 복수의 영상 프레임 각각에서 획득된 움직임 벡터(motion vector)를 누적하고, 상기 누적된 움직임 벡터가 나타난 영역을 제1 비관심 객체 영역으로 결정하는 단계;
상기 움직임 벡터의 길이를 기초로 상기 제1 비관심 객체 영역에 대한 시간 잡음(temporal noise) 제거 처리를 수행하고, 상기 시간 잡음 제거 처리의 결과로 상기 제1 비관심 객체 영역과 적어도 일부는 상이한 제2 비관심 객체 영역을 획득하는 단계; 및
상기 제2 비관심 객체 영역에 대응되는 마스크를 생성하는 단계를 포함하는 것을 특징으로 하는,
비관심 객체에 대한 마스크 처리 방법.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170115149A KR20190028103A (ko) | 2017-09-08 | 2017-09-08 | 비관심 객체에 대한 마스크 처리 방법 및 그 장치 |
| US16/115,908 US20190080196A1 (en) | 2017-09-08 | 2018-08-29 | Method of masking object of non-interest |
| CN201811042238.5A CN109472811A (zh) | 2017-09-08 | 2018-09-07 | 非感兴趣客体的掩膜处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170115149A KR20190028103A (ko) | 2017-09-08 | 2017-09-08 | 비관심 객체에 대한 마스크 처리 방법 및 그 장치 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20190028103A true KR20190028103A (ko) | 2019-03-18 |
Family
ID=65631338
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170115149A KR20190028103A (ko) | 2017-09-08 | 2017-09-08 | 비관심 객체에 대한 마스크 처리 방법 및 그 장치 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20190080196A1 (ko) |
| KR (1) | KR20190028103A (ko) |
| CN (1) | CN109472811A (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210067498A (ko) * | 2019-11-29 | 2021-06-08 | 한동대학교 산학협력단 | 딥러닝 기반 영상 내 객체 자동 검출 방법 및 시스템 |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3751851A1 (en) * | 2019-06-14 | 2020-12-16 | Axis AB | Method of highlighting an object of interest in an image or video |
| US10949685B2 (en) * | 2019-07-22 | 2021-03-16 | Caterpillar Inc. | Excluding a component of a work machine from a video frame based on motion information |
| US11361545B1 (en) * | 2020-11-20 | 2022-06-14 | Himax Technologies Limited | Monitoring device for detecting object of interest and operation method thereof |
| CA3219624A1 (en) * | 2021-05-11 | 2022-11-17 | Objectvideo Labs, Llc | Adjusting areas of interest for motion detection in camera scenes |
| KR20230164384A (ko) * | 2022-05-25 | 2023-12-04 | 한화비전 주식회사 | 컴퓨팅 장치에서 객체인식 모델 학습방법 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150109978A (ko) | 2014-03-21 | 2015-10-02 | 한화테크윈 주식회사 | 영상 처리 시스템 및 영상 처리 방법 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7587099B2 (en) * | 2006-01-27 | 2009-09-08 | Microsoft Corporation | Region-based image denoising |
| JP2012054810A (ja) * | 2010-09-02 | 2012-03-15 | Olympus Corp | 画像処理装置、画像処理方法、撮像装置、および画像処理プログラム |
| CN103139448B (zh) * | 2011-11-22 | 2016-02-03 | 华晶科技股份有限公司 | 影像处理装置及其处理方法 |
| US10071687B2 (en) * | 2011-11-28 | 2018-09-11 | Magna Electronics Inc. | Vision system for vehicle |
| CN102833464B (zh) * | 2012-07-24 | 2015-06-17 | 常州展华机器人有限公司 | 智能视频监控用结构化背景重建方法 |
| CN102930719B (zh) * | 2012-10-09 | 2014-12-10 | 北京航空航天大学 | 用于交通路口场景并基于网络物理系统的视频图像前景检测方法 |
| CN103065123A (zh) * | 2012-12-21 | 2013-04-24 | 南京邮电大学 | 基于图像预处理和背景差分的人头跟踪及计数方法 |
| JP6194963B2 (ja) * | 2014-02-14 | 2017-09-13 | 日本電気株式会社 | 映像処理システム |
| EP3116213A4 (en) * | 2014-03-05 | 2017-06-07 | Panasonic Intellectual Property Management Co., Ltd. | Image processing apparatus, monitor camera, and image processing method |
| WO2015184440A2 (en) * | 2014-05-30 | 2015-12-03 | Placemeter Inc. | System and method for activity monitoring using video data |
| CN104966305B (zh) * | 2015-06-12 | 2017-12-15 | 上海交通大学 | 基于运动矢量划分的前景检测方法 |
-
2017
- 2017-09-08 KR KR1020170115149A patent/KR20190028103A/ko not_active Application Discontinuation
-
2018
- 2018-08-29 US US16/115,908 patent/US20190080196A1/en not_active Abandoned
- 2018-09-07 CN CN201811042238.5A patent/CN109472811A/zh not_active Withdrawn
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150109978A (ko) | 2014-03-21 | 2015-10-02 | 한화테크윈 주식회사 | 영상 처리 시스템 및 영상 처리 방법 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210067498A (ko) * | 2019-11-29 | 2021-06-08 | 한동대학교 산학협력단 | 딥러닝 기반 영상 내 객체 자동 검출 방법 및 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20190080196A1 (en) | 2019-03-14 |
| CN109472811A (zh) | 2019-03-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20190028103A (ko) | 비관심 객체에 대한 마스크 처리 방법 및 그 장치 | |
| TWI750498B (zh) | 視訊流的處理方法和裝置 | |
| JP7130368B2 (ja) | 情報処理装置および情報処理システム | |
| US10489660B2 (en) | Video processing with object identification | |
| JP6018674B2 (ja) | 被写体再識別のためのシステム及び方法 | |
| Singh et al. | Muhavi: A multicamera human action video dataset for the evaluation of action recognition methods | |
| Varadarajan et al. | Region-based mixture of gaussians modelling for foreground detection in dynamic scenes | |
| Pless et al. | Evaluation of local models of dynamic backgrounds | |
| US9247155B2 (en) | Method and system for robust scene modelling in an image sequence | |
| US9189867B2 (en) | Adaptive image processing apparatus and method based in image pyramid | |
| KR20190004010A (ko) | 전경 추출 방법 및 장치 | |
| US20190180450A1 (en) | Image processing system for detecting stationary state of moving object from image, image processing method, and recording medium | |
| US11893798B2 (en) | Method, system and computer readable medium of deriving crowd information | |
| Vosters et al. | Background subtraction under sudden illumination changes | |
| US11651493B2 (en) | Method, system and computer readable medium for integration and automatic switching of crowd estimation techniques | |
| Hsiao et al. | Background initialization and foreground segmentation for bootstrapping video sequences | |
| US20210027202A1 (en) | Method, system, and computer readable medium for performance modeling of crowd estimation techniques | |
| WO2022228325A1 (zh) | 行为检测方法、电子设备以及计算机可读存储介质 | |
| KR20130074860A (ko) | 영화 필름 손상 복원장치 및 그 방법 | |
| CN102254329A (zh) | 基于运动向量归类分析的异常行为检测方法 | |
| US11620360B2 (en) | Methods and systems for recognizing object using machine learning model | |
| Gomez-Nieto et al. | Quality aware features for performance prediction and time reduction in video object tracking | |
| Mahmood et al. | Anomaly event detection and localization of video clips using global and local outliers | |
| Hernandez–Lopez et al. | Binary segmentation of video sequences in real time | |
| KR20150047937A (ko) | 비디오 영상에서 사람과 배경을 분리하기 위한 방법, 장치 및 컴퓨터 판독 가능한 기록 매체 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application |