KR101841966B1 - 영상에서 이동 객체 그림자 제거 방법 및 장치 - Google Patents

영상에서 이동 객체 그림자 제거 방법 및 장치 Download PDF

Info

Publication number
KR101841966B1
KR101841966B1 KR1020170022794A KR20170022794A KR101841966B1 KR 101841966 B1 KR101841966 B1 KR 101841966B1 KR 1020170022794 A KR1020170022794 A KR 1020170022794A KR 20170022794 A KR20170022794 A KR 20170022794A KR 101841966 B1 KR101841966 B1 KR 101841966B1
Authority
KR
South Korea
Prior art keywords
foreground
shadow
pixel
image
region
Prior art date
Application number
KR1020170022794A
Other languages
English (en)
Inventor
원웅재
단병규
조경석
Original Assignee
주식회사 에스원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에스원 filed Critical 주식회사 에스원
Priority to KR1020170022794A priority Critical patent/KR101841966B1/ko
Application granted granted Critical
Publication of KR101841966B1 publication Critical patent/KR101841966B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G06T5/008—
    • G06K9/6212—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 이동 객체 그림자 제거 방법 및 장치에 관한 것으로, 본 발명에 따른 방법은 입력 영상을 전경 분류 영상과 배경 영상으로 복원하는 단계, 미리 정해진 방법을 이용하여 복수의 패치 영역을 포함하는 전경 샘플링 영역을 구하는 단계, 전경 분류 영상에서 그림자 후보 픽셀 영역을 검출하는 단계, 전경 샘플링 영역에 포함된 복수의 패치 영역에 대해서 각각 전경 분류 영상에서 검출된 그림자 후보 픽셀을 이용하여 그림자 영역 여부를 판단하는 단계, 그리고 전경 분류 영상에서 그림자 영역으로 판별된 패치 영역을 제거하는 단계를 포함한다. 전경 확률 맵을 기초로 복수의 패치 영역을 정할 수 있다. 그리고 그림자 영역으로 판별된 패치 영역이 제거된 전경 분류 영상을 하나 이상의 전경 후보 영역으로 분할하는 단계, 분할된 전경 후보 영역에 대해서 분할된 영역 내의 전경 면적과 그림자 후보 영역의 비를 이용하여 그림자 여부를 판단하는 단계, 그리고 분할된 전경 후보 영역 중에서 그림자로 판단된 영역을 전경 후보 영역에서 제외하는 단계를 더 포함할 수 있다.

Description

영상에서 이동 객체 그림자 제거 방법 및 장치{METHOD AND APPARATUS FOR REMOVING SHADOW OF MOVING OBJECT IN AN IMAGE}
본 발명은 영상에서 이동 객체 그림자 제거 방법 및 장치에 관한 것으로, 보다 자세하게는 전경 중요 샘플링 영역을 이용하여 계층적으로 영상에서 이동 객체의 그림자를 제거하는 방법 및 장치에 관한 것이다.
현재 지능형 CCTV 시스템에서는 자동으로 침입 배회 등을 감지를 위해 배경 학습 모델 기반 이동 객체 검출추적 모델을 주로 사용하고 있다. 하지만 이동 객체 검출 시 그림자 등의 노이즈 성분은 객체 검출/추적 성능을 저하 시켜, 침입 및 배회 등의 이벤트 감지 이를 위해 기존에 그림자 제거를 위한 많은 방법들이 제안 되고 있지만, 적용 환경에 따라 객체 영역도 같이 제거되어 오히려 객체 검출추적 성능을 저하 시키고 있다.
일반적으로 그림자 제거 방법은 배경 영상과 입력 영상의 색차 왜곡(Color Distortion), 텍스처(Texture), 자기 상관도 등을 영상의 픽셀(Pixel) 별로 또는 영역(Region) 별로 계산하여 그림자 영역 픽셀을 제거하기 때문에 배경과 유사한 객체 영역을 쉽게 그림자로 판단 및 제거함으로써, 성능을 오히려 저하 시키는 경우가 많다.
한국공개특허 제10-2013-0076049호에 상대적 상관도 기반의 그림자 제거 방법에 대해 개시되고 있는데, 단순 입력 영상에 대한 픽셀의 단순 인근 영상의 밝기차/유사도에 대한 누적값을 이용하여 그림자 영역을 판단하는 기법에 관한 것으로, 배경과 유사 객체의 검출이나 강한 그림자 제거에는 성능적 한계가 있었다.
한편 한국공개특허 제10-2011-0077465호에 카메라 위치/태양이 움직이는 시간에 따른 그림자 제거 방식을 통한 영상 추적 장치 및 방법에 대해 개시되고 있는데, 관제 서버로부터 주기적으로 위치와 시간을 입력 받고 태양의 움직임을 추정하여 그림자를 제거하는 방법으로써 서버와 연결이 힘든 지역이나 임베디드 시스템 등에 실제 적용하기에는 제약이 있었다.
한국공개특허 제10-2013-0076049호 한국공개특허 제10-2011-0077465호
따라서 본 발명이 해결하고자 하는 기술적 과제는 영상에서 이동 객체 그림자를 효율적으로 제거할 수 있는 방법 및 장치를 제공하는 것이다.
상기한 기술적 과제를 해결하기 위한 본 발명의 일 실시예에 따른 방법은 입력 영상을 전경 분류 영상과 배경 영상으로 복원하는 단계, 미리 정해진 방법을 이용하여 복수의 패치 영역을 포함하는 전경 샘플링 영역을 구하는 단계, 상기 전경 분류 영상에서 그림자 후보 픽셀 영역을 검출하는 단계, 상기 전경 샘플링 영역에 포함된 복수의 패치 영역에 대해서 각각 상기 전경 분류 영상에서 검출된 그림자 후보 픽셀을 이용하여 그림자 영역 여부를 판단하는 단계, 그리고 상기 전경 분류 영상에서 그림자 영역으로 판별된 패치 영역을 제거하는 단계를 포함한다.
전경 확률 맵을 기초로 상기 복수의 패치 영역을 정할 수 있다.
상기 방법은, 상기 그림자 영역으로 판별된 패치 영역이 제거된 전경 분류 영상을 하나 이상의 전경 후보 영역으로 분할하는 단계, 상기 분할된 전경 후보 영역에 대해서 분할된 영역 내의 전경 면적과 그림자 후보 영역의 비를 이용하여 그림자 여부를 판단하는 단계, 그리고 상기 분할된 전경 후보 영역 중에서 그림자로 판단된 영역을 상기 전경 후보 영역에서 제외하는 단계를 더 포함할 수 있다.
컴퓨터에 상기 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 포함할 수 있다.
상기한 기술적 과제를 해결하기 위한 본 발명의 일 실시예에 따른 장치는, 입력 영상을 전경 분류 영상과 배경 영상으로 복원하는 전경 배경 복원부, 미리 정해진 방법을 이용하여 복수의 패치 영역을 포함하는 전경 샘플링 영역을 구하는 전경 샘플링 영역 결정부, 상기 전경 분류 영상에서 그림자 후보 픽셀 영역을 검출하는 그림자 후보 픽셀 검출부, 그리고 상기 전경 샘플링 영역에 포함된 복수의 패치 영역에 대해서 각각 상기 전경 분류 영상에서 검출된 그림자 후보 픽셀을 이용하여 그림자 영역 여부를 판단하고, 상기 전경 분류 영상에서 그림자 영역으로 판별된 패치 영역을 제거하는 제1 그림자 제거부를 포함한다.
상기 장치는 상기 그림자 영역으로 판별된 패치 영역이 제거된 전경 분류 영상을 하나 이상의 전경 후보 영역으로 분할하고, 상기 분할된 전경 후보 영역에 대해서 분할된 영역 내의 전경 면적과 그림자 후보 영역의 비를 이용하여 그림자 여부를 판단하며, 상기 분할된 전경 후보 영역 중에서 그림자로 판단된 영역을 상기 전경 후보 영역에서 제외하는 제2 그림자 제거부를 더 포함할 수 있다.
본 발명에 의하면 전경 확률 맵을 기초로 획득되는 전경 중요 샘플링 영역에 포함되는 패치별로 그림자 여부를 판단함으로써 지역적 영역 기반으로 그림자를 효율적이면서 정확하게 제거할 수 있는 장점이 있다. 또한 본 발명에 의하면 입력 영상을 제외한 추가 입력 정보 없이도 자동으로 그림자를 제거할 수 있는 장점이 있다.
도 1은 본 발명의 일 실시예에 따른 이동 객체 그림자 제거 장치의 구성을 나타낸 블록도이다.
도 2는 본 발명의 일 실시예에 따른 이동 객체 그림자 제거 장치의 동작을 설명하기 위해 제공되는 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 입력 영상에서 그림자를 제거하여 객체를 검출하는 결과를 설명하기 위해 제공되는 이미지이다.
도 4는 본 발명의 일 실시예에 따른 이웃 마스크를 설명하기 위해 제공되는 도면이다.
도 5는 본 발명의 일 실시예에 따른 2차 그림자 제거 방법을 설명하기 위해 제공되는 도면이다.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 이동 객체 그림자 제거 장치의 구성을 나타낸 블록도이다.
도 1을 참고하면, 본 발명에 따른 이동 객체 그림자 제거 장치는 영상 입력부(110), 전경 배경 복원부(120), 전경 샘플링 영역 결정부(130), 그림자 후보 픽셀 검출부(140), 제1 그림자 제거부(150), 전경 후처리부(160) 및 제2 그림자 제거부(170)를 포함할 수 있다.
영상 입력부(110)는 감시 카메라(도시하지 않음) 등에서 획득된 영상을 입력받는 기능을 수행한다.
전경 배경 복원부(120)는 영상 입력부(110)에 입력된 영상(이하 입력 영상)을 배경 학습 모델을 통해 전경 분류 영상과 배경 영상으로 복원하는 기능을 수행할 수 있다.
전경 샘플링 영역 결정부(130)는 전경 확률 맵을 기초로 정해지는 복수의 패치 영역을 포함하는 전경 샘플링 영역을 구하는 기능을 수행할 수 있다.
그림자 후보 픽셀 검출부(140)는 전경 분류 영상에서 그림자 후보 픽셀 영역을 검출하는 기능을 수행할 수 있다.
제1 그림자 제거부(150)는 전경 샘플링 영역에 포함된 복수의 패치 영역에 대해서 패치 단위로 그림자 영역 여부를 판단하고, 전경 분류 영상에서 그림자 영역으로 판별된 패치 영역에 포함되는 픽셀을 제거하는 기능을 수행할 수 있다.
전경 분류 영상 후처리부(160)는 제1 그림자 제거부(150)에서 1차로 그림자가 제거된 전경 분류 영상에 대해서 모폴로지 등을 이용하여 후처리를 할 수 있다.
제2 그림자 제거부(170)는 제1 그림자 제거부(150)에서 1차로 그림자 영역이 제거 후 후처리가 된 전경 분류 영상에서 라벨링(labeling)을 통해 복수의 영역으로 분할하고, 분할된 영역에 대해서 2차로 그림자 여부를 판단해 제거하는 기능을 수행할 수 있다.
도 2는 본 발명의 일 실시예에 따른 이동 객체 그림자 제거 장치의 동작을 설명하기 위해 제공되는 흐름도이고, 도 3은 본 발명의 일 실시예에 따른 입력 영상에서 그림자를 제거하여 객체를 검출하는 결과를 설명하기 위해 제공되는 이미지이다.
도 1 내지 도 3을 참고하면, 먼저 영상 입력부(110)를 통해 영상이 입력되면(S210), 전경 배경 복원부(120)는 도 3(a)에 예시한 것과 같은 입력 영상에 대해서 배경 학습 모델을 통해 도 3(b)에 나타낸 전경 분류 영상과 도 3(c)에 나타낸 배경 영상으로 복원할 수 있다(S220).
단계(S220)에서 전경 배경 복원부(120)는 가우시안 혼합 모델 등과 같은 배경 학습 모델을 기반으로 획득된 영상에서 배경을 학습하고, 입력 영상을 전경과 배경으로 분류하는 방법은 이미 주지되어 있는 일반적인 방법이 이용될 수 있다.
다음으로 전경 샘플링 영역 결정부(130)는 전경 확률 맵을 기초로 정해지는 복수의 패치 영역을 포함하는 전경 샘플링 영역을 구할 수 있다(S231).
전경 확률 맵은 입력 영상에서 각 픽셀이 전경이 될 확률을 나타내는 맵으로 정의할 수 있다. 입력 영상에서 전경은 배경과 구별되는 세 가지 특성, 시간적, 공간적, 주파수 특성을 가질 수 있다. 시간적 특성은 픽셀이 이전에 전경의 픽셀이었다면 현재 프레임에서도 전경 영역의 부분일 거라 예상하는 것이다. 공간적 특성은 주위의 픽셀이 전경이라면 그 픽셀이 전경 픽셀이 될 가능성이 높다는 것인데, 그 가능성은 주위의 전경 픽셀의 개수에 비례한다. 주파수 특성은 전경/배경 라벨이 너무 자주 바뀐다면 그 픽셀은 노이즈이거나 동적 배경 지역일 가능성이 크고 안정적으로 전경 영역일 가능성은 낮다는 것이다.
전경 샘플링 영역 결정부(130)는 이러한 시간적, 공간적, 주파수 특성을 기초로 해서 전경 확률 맵을 생성할 수 있다. 그리고 전경 샘플링 영역 결정부(130)는 전경 확률 맵을 기초로 입력 영상에서 전경 탐지 대상으로 샘플링할 복수의 패치 영역(patch region)을 정할 수 있다.
한국공개특허 제2014-0122573호에서는 전경 확률 맵을 기초로 픽셀 단위로 랜덤산발형 샘플링을 수행하여 전경 탐지 대상 픽셀을 선택한다. 그리고 랜던산발형 샘플링을 통해 선택된 픽셀을 중심으로 하는 공간확장형 샘플링 패치 영역을 구할 수 있는데, 랜던산발형 샘플링 픽셀의 중요도 가중치를 적용하여 계산되는 너비만큼 해당 픽셀을 중심으로 샘플링 패치 영역을 확장시킬 수 있다. 공간확장형 샘플링 패치 영역의 너비는 전경 확률이 높은 지역에서는 넓게 나타나고, 낮은 지역에서는 좁게 나타날 수 있다. 한편 특정 픽셀이 이전 프레임에서는 전경 확률이 작았음에도 불구하고 전경으로 탐지되었을 경우 그 픽셀을 깜짝 픽셀로 정의하고, 해당 픽셀 주변의 샘플링 면적을 넓히는 방식으로 정해지는 깜짝 샘플링 패치 영역이 구해질 수 있다.
도 3(d)에서 흰색 픽셀은 랜던산발형 샘플링 픽셀을 나타내고, 흰색 정사각형 영역은 샘플링 픽셀을 중심으로 추정된 샘플링 패치 영역들에 해당하는 픽셀들을 나타내며, 파란색 영역은 샘플링 패치 영역들을 선으로 보여주고 있다.
본 실시예에서는 한국공개특허 제2014-0122573호에서 제시된 방법으로 전경 확률 맵을 기초로 정해지는 공간확장형 샘플링 패치 영역과 깜짝 샘플링 패치 영역을 복수의 패치 영역으로 구할 수 있다. 물론 이는 일 예일 뿐이며 전경 확률 맵을 기초로 미리 정해진 다른 방법에 의해 입력 영상에서 전경 탐지 대상을 선택적으로 샘플링하여 복수의 패치 영역을 정하도록 구현하는 것도 가능하다. 또한 공간확장형 샘플링 패치 영역과 깜짝 샘플링 패치 영역 중에서 공간확장형 샘플링 패치 영역만을 그림자 후보 픽셀을 검출하기 위한 패치 영역으로 이용할 수도 있다.
한편 그림자 후보 픽셀 검출부(140)는 전경 분류 영상에서 그림자 후보 픽셀 영역을 검출할 수 있다(S233). 단계(S240)에서 그림자 후보 픽셀 검출부(140)는 SNP(Statistical non-parametric) 기법과 텍스처(Texture) 기법을 융합하여 그림자 후보 픽셀을 검출하는 것에 대해 설명한다.
SNP 기법에서는 그림자는 배경과 유사한 색도(chromaticity)를 가지지만 밝기(brightness)는 낮다는 것에 근거하여 아래 수식 1에 의해 구해지는 밝기 왜곡(distortion of brightness)(
Figure 112017017757908-pat00001
)과 색차 왜곡(distortion of chrominance)(
Figure 112017017757908-pat00002
)을 그림자 픽셀 여부 판단에 이용할 수 있다.
[수식 1]
Figure 112017017757908-pat00003
Figure 112017017757908-pat00004
여기서 Ii는 현재 입력 영상에서 복원된 전경 분류 영상의 i 위치에 있는 픽셀(i)의 픽셀 값이다. 그리고 Si와 Ei는 각각 초기 N개 입력 프레임을 이용하여 각 픽셀에 대해서 계산되는 분산 벡터(variance vector)와 평균 벡터(mean vector)이다.
그리고 텍스처(Texture) 기법에서는
Figure 112017017757908-pat00005
(Texture Ratio)를 그림자 픽셀 여부 판단에 이용할 수 있다.
도 4는 본 발명의 일 실시예에 따른 이웃 마스크를 설명하기 위해 제공되는 도면이다.
도 4에 예시한 것과 같이 픽셀(i)을 이웃 마스크 중심에 놓았을 때, 픽셀(i)과 이웃 마스크에 포함되는 주변 픽셀에 대해서 하기 수식 2를 만족하는 픽셀을 카운팅한 값(count)을 이웃 마스크의 윈도우 사이즈(Window Size)로 나눈 값(Count/Window Size)을
Figure 112017017757908-pat00006
(Texture Ratio)로 정의할 수 있다.
도 4에서는 윈도우 사이즈가 3×3인 경우를 예시하였으나 윈도우 사이즈는 실시예에 따라서 그 크기가 달라질 수도 있다.
[수식 2]
Figure 112017017757908-pat00007
여기서
Figure 112017017757908-pat00008
는 사용자에 의해 정해지는 임계값이다. '&&' 연산자는 논리 AND이고, '∥' 연산자는 논리 OR이다.
그림자 후보 픽셀 검출부(140)는 현재 입력 영상에서 전경으로 분류된 픽셀, 즉 입력 영상에서 복원된 전경 분류 영상에 포함되는 픽셀(i)에 대해서, 앞에서 수식 1 및 수식 2에 의해 구해진
Figure 112017017757908-pat00009
,
Figure 112017017757908-pat00010
및
Figure 112017017757908-pat00011
가 하기 수식 3을 만족하면 해당 픽셀(i)을 그림자 후보 픽셀로 검출할 수 있다.
[수식 3]
Figure 112017017757908-pat00012
여기서
Figure 112017017757908-pat00013
,
Figure 112017017757908-pat00014
,
Figure 112017017757908-pat00015
는 사용자에 의해 정해지는 임계값이다.
도 3(e)는 본 발명에 따른 실시예에 의해 도 3(b)의 전경 분류 영상에서 검출된 그림자 후보 픽셀 영역을 나타낸다.
제1 그림자 제거부(150)는 단계(S240)에서 구해진 그림자 후보 픽셀에 대해서 전경과 배경 사이의 그라디언트 유사도(
Figure 112017017757908-pat00016
)를 구하고(S235), 이를 이용하여 전경 샘플링 영역에 포함된 복수의 패치 영역에 대해서 그림자 영역 여부를 판단할 수 있다(S237). 그리고 제1 그림자 제거부(150)는 전경 분류 영상에서 그림자 영역으로 판별된 패치 영역에 포함되는 픽셀을 제거할 수 있다(S239). 제1 그림자 제거부(150)는 도 3(f)와 같이 도 3(e)의 그림자 후보 영역에서 패치 단위로 그림자 영역을 분류해낼 수 있다.
보다 구체적으로 제1 그림자 제거부(150)는 그림자 후보 픽셀에 대해서 하기 수식 4에 의해 전경과 배경 사이의 그라디언트 유사도(
Figure 112017017757908-pat00017
)를 구할 수 있다.
[수식 4]
Figure 112017017757908-pat00018
여기서
Figure 112017017757908-pat00019
는 수직 그라디언트(vertical gradient)로 해당 픽셀과 y 방향으로 이웃한 다음 픽셀과의 밝기 차로 정의할 수 있고,
Figure 112017017757908-pat00020
는 수평 그라디언트(horizontal gradient)로 해당 픽셀과 x 방향으로 이웃한 다음 픽셀과의 밝기 차이로 정의할 수 있다.
그림자 후보 픽셀에 대해서
Figure 112017017757908-pat00021
는 전경 분류 영상에서의 수직 그라디언트이고,
Figure 112017017757908-pat00022
는 전경 분류 영상에서의 수평 그라디언트이며,
Figure 112017017757908-pat00023
는 배경 영상에서의 수직 그라디언트이고,
Figure 112017017757908-pat00024
는 배경 영상에서의 수평 그라디언트이다.
제1 그림자 제거부(150)는 복수의 패치에 대해서 하기 수식 5에 의해 전경과 배경의 영역 유사도에 해당하는 값(C)을 구하고, C가 미리 정해진 임계값(τc) 보다 크면, 해당 패치를 그림자 영역으로 판단할 수 있다.
[수식 5]
Figure 112017017757908-pat00025
여기서 n은 해당 패치에 포함된 그림자 후보 픽셀의 수이고, τa는 사용자에 의해 정해지는 임계값이며, H()는 단위 스텝 함수(unit step function)로
Figure 112017017757908-pat00026
가 τa보다 작거나 같으면 1이고, 그렇지 않으면 0을 가진다.
전경 후처리부(160)는 제1 그림자 제거부(150)에서 1차로 그림자가 제거된 전경 분류 영상에 대해 모로폴지 등을 이용하여 후처리를 수행할 수 있다(S240).
제2 그림자 제거부(170)는 그림자 영역이 제거된 전경 분류 영상을 하나 이상의 전경 후보 영역으로 분할할 수 있다(S251).
도 5(a)는 도 3(f)에 나타낸 그림자 영역을 제거한 후 모포롤지 등을 이용하여 후처리된 전경 분류 영상에서 라벨링(labeling)을 이용하여 전경 영역을 복수의 영역으로 분할한 것을 예시하였다. 도 5(a)에서 5개의 붉은 사각형으로 표시된 부분이 분할된 영역을 나타낸다.
그리고 제2 그림자 제거부(170)는 분할된 전경 후보 영역에 대해서 분할된 영역 내의 전경 면적과 그림자 후보 영역 면적의 비(Shadowness)를 계산하여(S253), 그림자 여부를 판단하며(S255), 분할된 전경 후보 영역 중에서 그림자로 판단된 영역을 전경 후보 영역에서 제외하고 최종적으로 이동 객체만을 검출할 수 있다(S257).
[수식 6]
Shadowness = 분할 영역 내의 그림자 후보 영역/ 분할 영역 내의 전경 면적
분할된 영역 내의 전경 면적과 그림자 후보 영역의 비(Shadowness)가 미리 정해진 임계값 이상이면 해당 영역을 그림자로 판단할 수 있다.
도 5(b)는 도 5(a)에서 5개로 분할된 영역 중에서 그림자로 판단된 영역을 제거하여 붉은색 사각형으로 표시된 하나의 영역만이 최종 객체로 검출된 것을 나타낸 것이다.
본 발명의 실시예는 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터로 읽을 수 있는 매체를 포함한다. 이 매체는 앞서 설명한 방법을 실행시키기 위한 프로그램을 기록한다. 이 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 이러한 매체의 예에는 하드디스크, 플로피디스크 및 자기 테이프와 같은 자기 매체, CD 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 자기-광 매체, 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 구성된 하드웨어 장치 등이 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (11)

  1. 입력 영상을 전경 분류 영상과 배경 영상으로 복원하는 단계,
    미리 정해진 방법을 이용하여 복수의 패치 영역을 포함하는 전경 샘플링 영역을 구하는 단계,
    상기 전경 분류 영상에서 그림자 후보 픽셀 영역을 검출하는 단계,
    상기 전경 샘플링 영역에 포함된 복수의 패치 영역에 대해서 각각 상기 전경 분류 영상에서 검출된 그림자 후보 픽셀을 이용하여 그림자 영역 여부를 판단하는 단계, 그리고
    상기 전경 분류 영상에서 그림자 영역으로 판별된 패치 영역을 제거하는 단계를 포함하고,
    상기 전경 분류 영상에서 그림자 후보 픽셀 영역을 검출하는 단계는,
    상기 전경 분류 영상에서 위치(i)에 있는 픽셀(i)에 대한
    Figure 112018001755012-pat00080
    와
    Figure 112018001755012-pat00081
    를 하기 수식 1에 의해 구하는 단계,
    상기 픽셀(i)을 이웃 마스크 중심에 놓았을 때, 상기 픽셀(i)과 상기 이웃 마스크에 포함되는 주변 픽셀에 대해서 하기 수식 2를 만족하는 픽셀 수를 카운팅한 값을 상기 이웃 마스크의 윈도우 사이즈로 나눈 값에 대응하는
    Figure 112018001755012-pat00082
    (Texture Ratio)를 구하는 단계, 그리고
    상기 픽셀(i)에 대해서 구해진
    Figure 112018001755012-pat00083
    ,
    Figure 112018001755012-pat00084
    및
    Figure 112018001755012-pat00085
    가 하기 수식 3을 만족하면 상기 픽셀(i)을 그림자 후보 픽셀로 검출하는 단계
    를 포함하는 이동 객체 그림자 제거 방법:
    [수식 1]
    Figure 112018001755012-pat00086

    Figure 112018001755012-pat00087

    여기서 Ii는 현재 입력 영상에서 복원된 전경 분류 영상의 i 위치에 있는 픽셀(i)의 픽셀 값이다. 그리고 Si와 Ei는 각각 초기 N개 입력 프레임을 이용하여 각 픽셀에 대해서 계산되는 분산 벡터(variance vector)와 평균 벡터(mean vector)이고,
    [수식 2]
    Figure 112018001755012-pat00088

    여기서
    Figure 112018001755012-pat00089
    는 사용자에 의해 정해지는 임계값이며,
    [수식 3]
    Figure 112018001755012-pat00090

    여기서
    Figure 112018001755012-pat00091
    ,
    Figure 112018001755012-pat00092
    ,
    Figure 112018001755012-pat00093
    는 사용자에 의해 정해지는 임계값이다.
  2. 입력 영상을 전경 분류 영상과 배경 영상으로 복원하는 단계,
    미리 정해진 방법을 이용하여 복수의 패치 영역을 포함하는 전경 샘플링 영역을 구하는 단계,
    상기 전경 분류 영상에서 그림자 후보 픽셀 영역을 검출하는 단계,
    상기 전경 샘플링 영역에 포함된 복수의 패치 영역에 대해서 각각 상기 전경 분류 영상에서 검출된 그림자 후보 픽셀을 이용하여 그림자 영역 여부를 판단하는 단계, 그리고
    상기 전경 분류 영상에서 그림자 영역으로 판별된 패치 영역을 제거하는 단계를 포함하고,
    상기 전경 샘플링 영역에 포함된 복수의 패치 영역에 대해서 각각 상기 전경 분류 영상에서 검출된 그림자 후보 픽셀을 이용하여 그림자 영역 여부를 판단하는 단계는,
    상기 그림자 후보 픽셀에 대해서 하기 수식 4에 의해 그라디언트 유사도(
    Figure 112018001755012-pat00094
    )를 구하는 단계, 그리고
    상기 복수의 패치에 대해서 하기 수식 5에 의해 구해진 값(C)이 미리 정해진 임계값보다 크면 그림자 영역으로 판단하는 단계
    를 포함하는 이동 객체 그림자 제거 방법:
    [수식 4]
    Figure 112018001755012-pat00095

    여기서
    Figure 112018001755012-pat00096
    는 수직 그라디언트(vertical gradient)로 해당 픽셀과 y 방향으로 이웃한 다음 픽셀과의 밝기 차로 정의할 수 있고,
    Figure 112018001755012-pat00097
    는 수평 그라디언트(horizontal gradient)로 해당 픽셀과 x 방향으로 이웃한 다음 픽셀과의 밝기 차이로 정의할 수 있으며, 상기 그림자 후보 픽셀에 대해서
    Figure 112018001755012-pat00098
    는 전경 분류 영상에서의 수직 그라디언트이고,
    Figure 112018001755012-pat00099
    는 전경 분류 영상에서의 수평 그라디언트이며,
    Figure 112018001755012-pat00100
    는 배경 영상에서의 수직 그라디언트이고,
    Figure 112018001755012-pat00101
    는 배경 영상에서의 수평 그라디언트이고,
    [수식 5]
    Figure 112018001755012-pat00102

    여기서 n은 패치에 포함된 그림자 후보 픽셀의 수이고, τa는 사용자에 의해 정해지는 임계값이며, H()는 단위 스텝 함수(unit step function)로
    Figure 112018001755012-pat00103
    가 τa보다 작거나 같으면 1이고, 그렇지 않으면 0을 가진다.
  3. 제 1 항 또는 제 2 항에서,
    상기 미리 정해진 방법은 전경 확률 맵을 기초로 상기 복수의 패치 영역을 정하는 이동 객체 그림자 제거 방법.
  4. 제 1 항 또는 제 2 항에서,
    상기 그림자 영역으로 판별된 패치 영역이 제거된 전경 분류 영상을 하나 이상의 전경 후보 영역으로 분할하는 단계,
    상기 분할된 전경 후보 영역에 대해서 분할된 영역 내의 전경 면적과 그림자 후보 영역의 비를 이용하여 그림자 여부를 판단하는 단계, 그리고
    상기 분할된 전경 후보 영역 중에서 그림자로 판단된 영역을 상기 전경 후보 영역에서 제외하는 단계
    를 더 포함하는 이동 객체 그림자 제거 방법.
  5. 삭제
  6. 컴퓨터에 제 1 항 또는 제 2 항에 기재된 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  7. 입력 영상을 전경 분류 영상과 배경 영상으로 복원하는 전경 배경 복원부,
    미리 정해진 방법을 이용하여 복수의 패치 영역을 포함하는 전경 샘플링 영역을 구하는 전경 샘플링 영역 결정부,
    상기 전경 분류 영상에서 그림자 후보 픽셀 영역을 검출하는 그림자 후보 픽셀 검출부, 그리고
    상기 전경 샘플링 영역에 포함된 복수의 패치 영역에 대해서 각각 상기 전경 분류 영상에서 검출된 그림자 후보 픽셀을 이용하여 그림자 영역 여부를 판단하고, 상기 전경 분류 영상에서 그림자 영역으로 판별된 패치 영역을 제거하는 제1 그림자 제거부를 포함하고,
    상기 그림자 후보 픽셀 검출부는,
    상기 전경 분류 영상에서 위치(i)에 있는 픽셀(i)에 대한
    Figure 112018001755012-pat00104
    와
    Figure 112018001755012-pat00105
    를 하기 수식 1에 의해 구하고, 상기 픽셀(i)을 이웃 마스크 중심에 놓았을 때, 상기 픽셀(i)과 상기 이웃 마스크에 포함되는 주변 픽셀에 대해서 하기 수식 2를 만족하는 픽셀 수를 카운팅한 값을 상기 이웃 마스크의 윈도우 사이즈로 나눈 값에 대응하는
    Figure 112018001755012-pat00106
    (Texture Ratio)를 구하며, 상기 픽셀(i)에 대해서 구해진
    Figure 112018001755012-pat00107
    ,
    Figure 112018001755012-pat00108
    및
    Figure 112018001755012-pat00109
    가 하기 수식 3을 만족하면 상기 픽셀(i)을 그림자 후보 픽셀로 검출하는 이동 객체 그림자 제거 장치:
    [수식 1]
    Figure 112018001755012-pat00110

    Figure 112018001755012-pat00111

    여기서 Ii는 현재 입력 영상에서 복원된 전경 분류 영상의 i 위치에 있는 픽셀(i)의 픽셀 값이다. 그리고 Si와 Ei는 각각 초기 N개 입력 프레임을 이용하여 각 픽셀에 대해서 계산되는 분산 벡터(variance vector)와 평균 벡터(mean vector)이고,
    [수식 2]
    Figure 112018001755012-pat00112

    여기서
    Figure 112018001755012-pat00113
    는 사용자에 의해 정해지는 임계값이며,
    [수식 3]
    Figure 112018001755012-pat00114

    여기서
    Figure 112018001755012-pat00115
    ,
    Figure 112018001755012-pat00116
    ,
    Figure 112018001755012-pat00117
    는 사용자에 의해 정해지는 임계값이다.
  8. 입력 영상을 전경 분류 영상과 배경 영상으로 복원하는 전경 배경 복원부,
    미리 정해진 방법을 이용하여 복수의 패치 영역을 포함하는 전경 샘플링 영역을 구하는 전경 샘플링 영역 결정부,
    상기 전경 분류 영상에서 그림자 후보 픽셀 영역을 검출하는 그림자 후보 픽셀 검출부, 그리고
    상기 전경 샘플링 영역에 포함된 복수의 패치 영역에 대해서 각각 상기 전경 분류 영상에서 검출된 그림자 후보 픽셀을 이용하여 그림자 영역 여부를 판단하고, 상기 전경 분류 영상에서 그림자 영역으로 판별된 패치 영역을 제거하는 제1 그림자 제거부를 포함하고,
    상기 제1 그림자 제거부는,
    상기 그림자 후보 픽셀에 대해서 하기 수식 4에 의해 그라디언트 유사도(
    Figure 112018001755012-pat00118
    )를 구하고, 상기 복수의 패치에 대해서 하기 수식 5에 의해 구해진 값(C)이 미리 정해진 임계값보다 크면 그림자 영역으로 판단하는 이동 객체 그림자 제거 장치:
    [수식 4]
    Figure 112018001755012-pat00119

    여기서
    Figure 112018001755012-pat00120
    는 수직 그라디언트(vertical gradient)로 해당 픽셀과 y 방향으로 이웃한 다음 픽셀과의 밝기 차로 정의할 수 있고,
    Figure 112018001755012-pat00121
    는 수평 그라디언트(horizontal gradient)로 해당 픽셀과 x 방향으로 이웃한 다음 픽셀과의 밝기 차이로 정의할 수 있으며, 상기 그림자 후보 픽셀에 대해서
    Figure 112018001755012-pat00122
    는 전경 분류 영상에서의 수직 그라디언트이고,
    Figure 112018001755012-pat00123
    는 전경 분류 영상에서의 수평 그라디언트이며,
    Figure 112018001755012-pat00124
    는 배경 영상에서의 수직 그라디언트이고,
    Figure 112018001755012-pat00125
    는 배경 영상에서의 수평 그라디언트이고,
    [수식 5]
    Figure 112018001755012-pat00126

    여기서 n은 패치에 포함된 그림자 후보 픽셀의 수이고, τa는 사용자에 의해 정해지는 임계값이며, H()는 단위 스텝 함수(unit step function)로
    Figure 112018001755012-pat00127
    가 τa보다 작거나 같으면 1이고, 그렇지 않으면 0을 가진다.
  9. 제 7 항 또는 제 8 항에서,
    상기 미리 정해진 방법은 전경 확률 맵을 기초로 상기 복수의 패치 영역을 정하는 이동 객체 그림자 제거 장치.
  10. 제 7 항 또는 제 8 항에서,
    상기 그림자 영역으로 판별된 패치 영역이 제거된 전경 분류 영상을 하나 이상의 전경 후보 영역으로 분할하고, 상기 분할된 전경 후보 영역에 대해서 분할된 영역 내의 전경 면적과 그림자 후보 영역의 비를 이용하여 그림자 여부를 판단하며, 상기 분할된 전경 후보 영역 중에서 그림자로 판단된 영역을 상기 전경 후보 영역에서 제외하는 제2 그림자 제거부
    를 더 포함하는 이동 객체 그림자 제거 장치.
  11. 삭제
KR1020170022794A 2017-02-21 2017-02-21 영상에서 이동 객체 그림자 제거 방법 및 장치 KR101841966B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170022794A KR101841966B1 (ko) 2017-02-21 2017-02-21 영상에서 이동 객체 그림자 제거 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170022794A KR101841966B1 (ko) 2017-02-21 2017-02-21 영상에서 이동 객체 그림자 제거 방법 및 장치

Publications (1)

Publication Number Publication Date
KR101841966B1 true KR101841966B1 (ko) 2018-03-26

Family

ID=61910851

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170022794A KR101841966B1 (ko) 2017-02-21 2017-02-21 영상에서 이동 객체 그림자 제거 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101841966B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110782409A (zh) * 2019-10-21 2020-02-11 太原理工大学 一种去除多运动物体阴影的方法
CN111429375A (zh) * 2020-03-27 2020-07-17 扆亮海 日间图像参照辅助的夜晚监控视频质量提升方法
CN112364884A (zh) * 2020-10-09 2021-02-12 北京星闪世图科技有限公司 一种移动物体侦测的方法
CN112418244A (zh) * 2020-11-02 2021-02-26 北京迈格威科技有限公司 目标检测方法、装置和电子系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015046811A (ja) * 2013-08-29 2015-03-12 セコム株式会社 画像センサ

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015046811A (ja) * 2013-08-29 2015-03-12 セコム株式会社 画像センサ

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110782409A (zh) * 2019-10-21 2020-02-11 太原理工大学 一种去除多运动物体阴影的方法
CN110782409B (zh) * 2019-10-21 2023-05-09 太原理工大学 一种去除多运动物体阴影的方法
CN111429375A (zh) * 2020-03-27 2020-07-17 扆亮海 日间图像参照辅助的夜晚监控视频质量提升方法
CN112364884A (zh) * 2020-10-09 2021-02-12 北京星闪世图科技有限公司 一种移动物体侦测的方法
CN112364884B (zh) * 2020-10-09 2024-02-20 江苏星闪世图科技(集团)有限公司 一种移动物体侦测的方法
CN112418244A (zh) * 2020-11-02 2021-02-26 北京迈格威科技有限公司 目标检测方法、装置和电子系统

Similar Documents

Publication Publication Date Title
US9230175B2 (en) System and method for motion detection in a surveillance video
US9158985B2 (en) Method and apparatus for processing image of scene of interest
JP4668921B2 (ja) 画像中のオブジェクト検出
KR101841966B1 (ko) 영상에서 이동 객체 그림자 제거 방법 및 장치
KR101922683B1 (ko) 이미지의 배경 제거를 위해 사용되는 배경 모델을 업데이트하기 위한 방법 및 장치
US7418134B2 (en) Method and apparatus for foreground segmentation of video sequences
JP5159677B2 (ja) ビデオ・ストリーム内での放置対象および除去済み対象の検出方法およびコンピュータ・プログラム、コンピュータ・システム
US9042662B2 (en) Method and system for segmenting an image
JP5865552B2 (ja) 動画に含まれたヘーズを除去する映像処理装置及びその方法
US8989437B2 (en) Salient object detection by composition
JP2018509678A (ja) ターゲット取得の方法及び装置
JP2017531883A (ja) 画像の主要被写体を抽出する方法とシステム
KR101436369B1 (ko) 적응적 블록 분할을 이용한 다중 객체 검출 장치 및 방법
KR20130121202A (ko) 영상에서의 객체 추적 방법, 장치 및 이를 컴퓨터 상에서 수행하는 프로그램이 기록된 기록 매체
KR20170015299A (ko) 배경 추적을 통한 오브젝트 추적 및 분할을 위한 방법 및 장치
JP7163718B2 (ja) 干渉領域検出装置と方法及び電子機器
Joo et al. A temporal variance-based moving target detector
KR101781942B1 (ko) 홀 채움 방법, 이를 수행하기 위한 기록매체 및 장치
Hänisch et al. Free-space detection with fish-eye cameras
KR101682137B1 (ko) 텍스처 및 움직임 감지를 사용한 시간적으로-일관된 변이 추정을 위한 방법 및 장치
Muniruzzaman et al. Deterministic algorithm for traffic detection in free-flow and congestion using video sensor
KR101438451B1 (ko) 비고정 카메라 영상에 대한 이중모드 ｓｇｍ 기반의 이동체 고속 검출 방법 및 이를 위한 컴퓨터로 판독가능한 기록매체
Gong et al. Real-time foreground segmentation on GPUs using local online learning and global graph cut optimization
CN108737814B (zh) 一种基于动态模式分解的视频镜头检测方法
RU2676028C1 (ru) Способ обнаружения оставленного предмета в видеопотоке

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant