KR101724658B1 - 사람 검출 장치 및 방법 - Google Patents

사람 검출 장치 및 방법 Download PDF

Info

Publication number
KR101724658B1
KR101724658B1 KR1020120150808A KR20120150808A KR101724658B1 KR 101724658 B1 KR101724658 B1 KR 101724658B1 KR 1020120150808 A KR1020120150808 A KR 1020120150808A KR 20120150808 A KR20120150808 A KR 20120150808A KR 101724658 B1 KR101724658 B1 KR 101724658B1
Authority
KR
South Korea
Prior art keywords
feature vector
person
neural network
map
region
Prior art date
Application number
KR1020120150808A
Other languages
English (en)
Other versions
KR20140081254A (ko
Inventor
임길택
정윤수
한병길
최은창
이수인
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020120150808A priority Critical patent/KR101724658B1/ko
Priority to US13/959,310 priority patent/US20140177946A1/en
Publication of KR20140081254A publication Critical patent/KR20140081254A/ko
Application granted granted Critical
Publication of KR101724658B1 publication Critical patent/KR101724658B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/446—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering using Haar-like filters, e.g. using integral image techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Abstract

입력되는 비디오 영상으로부터 기울기 기반 특징 벡터와 신경망을 이용하여 신뢰도 높게 사람을 검출하는 장치 및 방법을 제시한다. 제시된 장치는 입력 영상으로부터 배경 영상을 모델링하는 영상 전처리부, 상기 입력 영상과 상기 배경 영상을 차분하여 움직임이 존재하는 움직임 객체 영역을 설정하는 움직임 객체 영역 설정부, 상기 움직임 객체 영역에서 기울기 기반의 전신 및 상반신의 특징 벡터를 추출하고 상기 추출한 기울기 기반의 전신 및 상반신의 특징 벡터를 신경망 분류기의 입력으로 하여 사람이 존재하는 사람 영역을 검출하는 사람 영역 검출부, 및 상기 검출된 사람 영역내의 객체가 사람인지 아닌지를 확정하는 확정부를 포함한다. 본 발명은 다양한 형태의 영상에 대해서도 분별력이 우수한 전신 및 상반신에 대한 기울기 기반 특징 벡터들과 신경망들을 사용함으로써 신뢰도 높은 사람 검출이 가능하다.

Description

사람 검출 장치 및 방법{Human detecting apparatus and method}
본 발명은 사람 검출 장치 및 방법에 관한 것으로, 보다 상세하게는 비디오 영상에서의 움직임 영역내에 사람이 존재하는지를 신뢰도 높게 판단할 수 있는 사람 검출 장치 및 방법에 관한 것이다.
보안 및 방범 분야에서는 CCTV 카메라와 같은 영상 센서를 이용하여 획득되는 비디오 영상을 실시간으로 자동 분석하여 침입자를 검출해내는 기능이 필요하다.
현재 보안 및 방범 분야에서 사용되는 시스템에서는 카메라로 입력되는 영상을 시스템 운용자의 육안으로 살펴보면서 관리하기 때문에 비용과 효과성 측면에서 좋지 않다.
일부 사람 자동 검출 기능이 탑재된 시스템에서는 사람이 검출되었을 때 알람 등으로 시스템 운용자의 주의를 끌어 상황에 대처하게 하는데 잘못된 알람(false alarm)이 잦거나, 침입자를 탐지하지 못하는 경우가 자주 발생한다. 이는 움직임 검출이 잘못되었는데 이를 사람으로 잘못 오인식하거나, 움직임 검출이 잘 되었더라도 사람 검출을 잘못한 경우이다.
대한민국 등록특허 10-0543706호(비젼기반 사람 검출 방법 및 장치)에는 입력되는 영상으로부터 피부색정보와 형태정보를 이용하여 사람의 위치를 정확하고 빠르게 검출하는 내용이 개시되었다. 대한민국 등록특허 10-0543706호에 개시된 발명은 촬상되어 입력되는 프레임영상으로부터 피부색정보를 이용하여 적어도 하나 이상의 피부색영역을 검출하는 단계, 각 피부색영역이 사람후보영역에 해당하는지를 판단하는 단계; 및 사람후보영역으로 판단된 각 피부색영역이 사람인지를 사람의 형태정보를 이용하여 판단하는 단계로 이루어진다.
상술한 대한민국 등록특허 10-0543706호에 개시된 발명은 사람 영역 검출을 위해 피부색 정보를 이용하는데, 이와 같이 피부색을 이용하는 방법은 컬러 정보를 제공하지 못하는 시스템에는 적용할 수 없다. 또한, 컬러 정보를 제공하더라도 조명 변화에 따라 색 정보가 현저히 달라지는 경우는 성능이 현저히 떨어진다.
한편, 사람 검출 오류가 발생하는 다른 이유 중 하나는 영상을 분류하는데 사용되는 특징 정보가 충분하지 않는 경우이다. 대한민국 등록특허 10-1077312호(하라이크 특징점을 이용한 사람 검출 장치 및 그 방법)에는 하라이크(Haar-like) 특징점을 이용하여 실시간으로 관심 객체의 존재를 자동으로 감지하고, 이를 추적함으로써 인간의 역할을 능동적으로 대신할 수 있도록 하는 내용이 개시되었다. 대한민국 등록특허 10-1077312호에 개시된 발명은, 입력영상을 조도와 외부환경에 민감하지 않도록 평활화하는 전처리부, 입력영상에서 하라이크 특징점을 기초로 아다부스트 학습 알고리즘을 이용하여 특징점을 추출한 후에 후보영역 특징점 데이터베이스에 저장된 후보 영역 특징점과 비교하여 후보 영역을 판단하는 후보 영역 판단부, 및 후보 영역 판단부에서 판단된 후보 영역을 기초로 하여 객체를 판단하는 객체 판단부를 포함한다.
이와 같이 얼굴 검출에 가장 많이 사용되는 하라이크 특징(2001년 Violar 등이 사용)은 얼굴과 같이 상대적으로 영상 특성이 두드러지는 경우는 검출에 충분한 정보를 제공하지만, 다양한 옷, 걸음걸이, 시점 등에 따라 현저하게 다르게 나타나는 사람 검출에는 표현력이 충분하지 않다.
본 발명은 상기한 종래의 문제점을 해결하기 위해 제안된 것으로, 입력되는 비디오 영상으로부터 기울기 기반 특징 벡터와 신경망을 이용하여 신뢰도 높게 사람을 검출하는 장치 및 방법을 제공함에 그 목적이 있다.
상기와 같은 목적을 달성하기 위하여 본 발명의 바람직한 실시양태에 따른 사람 검출 장치는, 입력 영상으로부터 배경 영상을 모델링하는 영상 전처리부; 상기 입력 영상과 상기 배경 영상을 차분하여 움직임이 존재하는 움직임 객체 영역을 설정하는 움직임 객체 영역 설정부; 상기 움직임 객체 영역에서 기울기 기반의 전신 및 상반신의 특징 벡터를 추출하고, 상기 추출한 기울기 기반의 전신 및 상반신의 특징 벡터를 신경망 분류기의 입력으로 하여 사람이 존재하는 사람 영역을 검출하는 사람 영역 검출부; 및 상기 검출된 사람 영역내의 객체가 사람인지 아닌지를 확정하는 확정부;를 포함한다.
바람직하게, 상기 사람 영역 검출부는, 상기 움직임 객체 영역내의 영상을 기울기 맵으로 변환하는 기울기 맵 생성부; 상기 기울기 맵을 정규화하는 정규화 기울기 맵 생성부; 및 상기 정규화 기울기 맵 생성부에서의 정규화 기울기 맵에서 사람의 전신 및 상반신의 특징 벡터를 추출하고 이를 근거로 상기 사람 영역을 결정하는 판단부;를 포함한다.
상기 판단부는, 상기 정규화 기울기 맵에 탐색창을 적용시켜 상기 탐색창을 스캔하면서 사람의 전신 및 상반신에 대한 특징 벡터를 상기 스캔되는 탐색창별로 각각 추출하는 특징 벡터 추출부; 및 상기 탐색창별로 각각 추출되는 사람의 전신 및 상반신에 대한 특징 벡터를 신경망 분류기의 입력으로 하여 상기 탐색창별로 검출점수를 생성하고, 상기 검출점수가 최고인 탐색창의 위치를 사람이 존재하는 영역으로 결정하는 분류부;를 포함한다.
상기 분류부는 상기 탐색창별로 생성되는 전신 검출점수와 상반신 검출점수를 합하여 해당 탐색창의 검출점수로 한다.
상기 신경망 분류기는 전신 신경망 분류기 및 상반신 신경망 분류기를 포함하고, 상기 분류부는 상기 탐색창별로 각각 추출되는 사람의 전신에 대한 특징 벡터를 상기 전신 신경망 분류기의 입력으로 하고, 상기 탐색창별로 각각 추출되는 사람의 상반신에 대한 특징 벡터를 상기 상반신 신경망 분류기의 입력으로 한다.
상기 확정부는 상기 전신 신경망 분류기에서의 전신 신경망 특징 벡터 및 상반신 신경망 분류기에서의 상반신 신경망 특징 벡터를 입력으로 하는 최종 신경망 분류기를 포함한다.
상기 확정부는 상기 최종 신경망 분류기의 사람에 해당하는 출력 노드의 출력값과 비사람에 해당하는 출력 노드의 출력값과의 차이가 임계값을 넘으면 최종적으로 사람이 검출된 것으로 확정한다.
본 발명의 바람직한 실시양태에 따른 사람 검출 방법은, 입력 영상으로부터 배경 영상을 모델링하는 단계; 상기 입력 영상과 상기 배경 영상을 차분하여 움직임이 존재하는 움직임 객체 영역을 설정하는 단계; 상기 움직임 객체 영역에서 기울기 기반의 전신 및 상반신의 특징 벡터를 추출하는 단계; 상기 추출한 기울기 기반의 전신 및 상반신의 특징 벡터를 신경망 분류기의 입력으로 하여 사람이 존재하는 사람 영역을 검출하는 단계; 및 상기 검출된 사람 영역내의 객체가 사람인지 아닌지를 확정하는 단계;를 포함한다.
바람직하게, 상기 특징 벡터를 추출하는 단계는, 상기 움직임 객체 영역내의 영상을 기울기 맵으로 변환하는 단계; 상기 기울기 맵을 정규화하는 단계; 및 상기 정규화된 기울기 맵에서 사람의 전신 및 상반신의 특징 벡터를 추출하는 단계;를 포함한다.
이러한 구성의 본 발명에 따르면, 카메라에 의해 획득되는 비디오 영상으로부터 배경 영역 모델링 기법을 사용하여 추출한 여러 개의 움직임 객체 영역에 사람이 존재하는지를 자동으로 판단할 수 있다.
본 발명을 CCTV 영상감시 시스템 등에 적용하여 보안 및 방범을 위한 사람 자동 검출 기능을 효과적으로 실현할 수 있다.
CCTV 영상감시 카메라는 다양한 장소에 다양한 방식으로 설치되므로 획득되는 영상도 다양하다. 본 발명은 다양한 형태의 영상에 대해서도 분별력이 우수한 전신 및 상반신에 대한 기울기 기반 특징 벡터들과 신경망들을 사용함으로써 신뢰도 높은 사람 검출이 가능하다.
도 1은 본 발명의 실시예에 따른 사람 검출 장치의 구성도이다.
도 2는 도 1에 도시된 사람 영역 검출부의 내부 구성도이다.
도 3은 도 2에 도시된 판단부의 내부 구성도이다.
도 4는 본 발명의 실시예에서 전체 맵내에서 사람이 존재하는 위치를 탐색해 내는 과정을 설명하기 위해 채용된 도면이다.
도 5는 본 발명의 실시예에서 특징 벡터의 추출 과정을 설명하기 위한 채용된 도면이다.
도 6 및 도 7은 도 3에 도시된 분류부에 채용되는 신경망 분류기의 예를 나타낸 도면이다.
도 8은 도 1에 도시된 확정부에 채용되는 신경망 분류기의 예를 나타낸 도면이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예에 따른 사람 검출 장치 및 방법에 대하여 설명하면 다음과 같다. 본 발명의 상세한 설명에 앞서, 이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니된다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
도 1은 본 발명의 실시예에 따른 사람 검출 장치의 구성도이다.
본 발명의 실시예에 따른 사람 검출 장치는 영상 전처리부(10), 움직임 객체 영역 설정부(20), 사람 영역 검출부(30), 및 확정부(40)를 포함한다.
영상 전처리부(10)는 카메라로부터 입력되는 영상으로부터 배경 영상을 모델링하고 잡영을 제거하는 기능을 수행한다. 영상 전처리부(10)로부터 생성되는 배경 영상 및 입력 영상은 움직임 객체 영역 설정부(20)에게로 입력된다.
움직임 객체 영역 설정부(20)는 입력 영상과 배경 영상을 차분하여 움직임이 존재하는 영역을 찾아낸다. 즉, 움직임 객체 영역 설정부(20)는 영상 전처리부(10)로부터의 입력 영상에서 배경영상을 제거하고 그 결과에서 움직임 객체로 판단되는 영상 영역을 설정하여 사람 영역 검출부(30)에게로 보낸다.
사람 영역 검출부(30)는 움직임 객체 영역 설정부(20)로부터 제공되는 움직임 객체로 판단되는 영상 영역(즉, 움직임 객체 영역이라고 함)에서 실제 사람이 존재하는 영역(즉, 사람 영역)을 검출한다. 바람직하게, 사람 영역 검출부(30)는 기울기 기반 특징 벡터 및 신경망 분류기를 이용한다. 사람 영역 검출부(30)에 대한 내부 구성에 대해서는 후술한다.
확정부(40)는 사람 영역 검출부(30)에서 사람 영역이 검출되었으면 영역내의 객체가 사람인지 비사람인지를 최종적으로 확정한다. 바람직하게, 확정부(40)는 신경망 분류기를 이용한다.
도 2는 도 1에 도시된 사람 영역 검출부의 내부 구성도이고, 도 3은 도 2에 도시된 판단부의 내부 구성도이고, 도 4는 본 발명의 실시예에서 전체 맵내에서 사람이 존재하는 위치를 탐색해 내는 과정을 설명하기 위해 채용된 도면이다.
사람 영역 검출부(30)는 기울기 맵 생성부(32), 정규화 기울기 맵 생성부(34), 및 판단부(36)를 포함한다.
기울기 맵 생성부(32)는 움직임 객체 영역내의 영상 f(x,y)을 하기의 수학식 1을 이용하여 기울기 맵 G(x,y)으로 변환한다.
하기의 수학식 1에서, G(x,y)는 영상 f(x,y)에 Sobel 또는 Prewitt 등의 다양한 기울기 연산자를 적용함으로써 얻을 수 있는 기울기 맵이다. G(x,y)는 크기(magnitude) M(x,y) 및 방향 α(x,y)로 구성된다.
(수학식 1)
Figure 112012106554895-pat00001
Figure 112012106554895-pat00002
Figure 112012106554895-pat00003
Figure 112012106554895-pat00004
여기서, G(x,y)는 (x,y)위치에서의 기울기 맵이고, M(x,y)는 (x,y)위치에서의 크기값이고, α(x,y)는 (x,y)위치에서의 방향값이고, gx(x,y)는 영상 f(x,y)에 대한 x방향 편미분이고, gy(x,y)는 영상 f(x,y)에 대한 y방향 편미분이고, T는 벡터 전치를 의미한다.
정규화 기울기 맵 생성부(34)는 기울기 맵 생성부(32)에서 생성한 기울기 맵을 정규화한다. 하기의 수학식 2는 정규화 기울기 맵 N(x,y)을 계산하는 식이다.
(수학식 2)
Figure 112012106554895-pat00005
Figure 112012106554895-pat00006
여기서, N(x,y)는 (x,y)위치에서의 정규화 기울기 맵이고, Mmin은 기울기 맵의 최소 크기값이고, Mmax은 기울기 맵의 최대 크기값이고, M(x,y)는 (x,y)위치에서의 크기값이고, NMmin은 사전에 설정되는 정규화 기울기 맵의 최소 크기값이고, NMmax은 사전에 설정되는 정규화 기울기 맵의 최대 크기값이고, NM(x,y)는 (x,y)위치에서의 정규화 크기값이고, α(x,y)는 (x,y)위치에서의 방향값이다.
판단부(36)는 움직임 객체 영역에서 추출된 정규화 기울기 맵에서 사람 전신 또는 상반신이 발견되는지를 판단한다. 이를 위해, 판단부(36)는 도 3의 특징 벡터 추출부(37)를 통해 도 4의 탐색창을 정규화 기울기 맵에 씌우고, 탐색창의 전 영역에서 사람의 전신에 대한 특징 벡터들을 추출하고, 탐색창의 상위 반 영역에서 사람의 상반신에 대한 특징 벡터들을 추출하고, 분류부(38)로 전송하여 사람 영역과 검출 점수를 생성한다. 전체 맵내에서 사람이 존재하는 위치를 탐색해내기 위해, 도 4에서와 같이 전체 정규화 기울기 맵에 탐색창(r)을 씌우고 탐색창(r)을 상하좌우로 래스터 스캔하면서 특징 벡터 추출부(37)에서 탐색창(r)의 전 영역과 탐색창(r)의 상위 반 영역 별로 각각 전신과 상반신에 대한 특징 벡터를 추출한다. 그 추출되는 각 특징 벡터들은 분류부(38) 내부에 있는 분류기에게로 입력된다. 그에 따라, 분류부(38)에서는 검출점수를 생성한다. 분류부(38)는 검출점수가 최고인 탐색창의 위치를 사람이 존재하는 영역으로 결정하게 된다.
이하에서는 도 5 내지 도 7의 도면을 참조하여 특징 벡터 추출부(37) 및 분류부(38)에서의 동작에 대해 보다 상세히 설명한다.
도 5는 본 발명의 실시예에서 특징 벡터의 추출 과정을 설명하기 위한 채용된 도면이고, 도 6 및 도 7은 도 3에 도시된 분류부에 채용되는 신경망 분류기의 예를 나타낸 도면이다.
특징 벡터 추출부(37)에서의 특징 벡터의 추출 과정은 도 5 및 하기의 수학식 3을 이용하여 설명한다.
W×H 크기의 탐색창내 정규화 기울기 맵을 Sw ×Sh 개의 부분영역(각 부분 영역은 w×h개의 기울기 성분들로 구성됨)들로 나눈 다음, 각 부분영역별로 bw(bin-width)에 의해 결정되는 bn개의 빈(bin)을 할당하여 방향 α(x,y)를 인덱스 bs(i)인 빈(bin)에 NM(x,y)값을 누적한다. 각 부분영역별 특징 벡터는 SW×SH 개가 존재하며 이들을 연결함으로써 SW×Sh×bn 차원의 최종 특징 벡터를 얻을 수 있다.
(수학식 3)
Figure 112012106554895-pat00007
bn = π/bw, bw-bin width, bin number
Figure 112012106554895-pat00008
여기서, bs(i)는 부분영역 s에서의 빈 인덱스(bin index)를 의미한다.
그리고, W는 탐색창의 가로크기, H는 탐색창의 세로크기이며, w와 h는 탐색창내의 부분영역의 가로크기와 세로크기이다. SW는 W를 w로 나눈 값, 즉 탐색창 내의 가로방향으로 존재하는 부분영역의 개수이다. Sh는 H를 h로 나눈 값, 즉 탐색창 내의 세로방향으로 존재하는 부분영역의 개수이다. bw는 기울기의 방향을 양자화코드로 표현하기 위한 것으로서, 0에서 +π구간에 존재하는 픽셀 기울기의 방향각의 절대값을 구간화하는 크기이다. bn은 [0,π] 구간을 bw의 크기로 균등하게 구간화했을 때 얻어지는 구간의 갯수이며, 각 구간을 빈(bin)이라 한다.
상반신 특징 벡터는 탐색창의 상위 반 영역에 위치하는 특징들로 구성한다. 상기와 같이, 객체 영상 영역을 단순한 영상 명도값으로 표현하지 않고 기울기 기반의 특징 벡터로 추출함으로써 사람과 사람이 아닌 것에 대한 분별이 보다 더 효과적이게 된다.
한편, 분류부(38)는 하나의 중간층을 가지는 퍼™W트론 신경망(NN;Neural Network) 분류기들로 구성된다. 분류부(38)에서 전신 특징 벡터를 추출하기 위한 전신 NN 분류기는 도 6에 예시하였다. 도 6에 예시된 전신 NN 분류기는 전신 영역 기울기 히스토그램 특징 벡터를 입력으로 하는 입력층(52)과, 다수의 노드를 가진 중간층(54), 및 사람/비사람에 해당하는 2개의 노드(56a, 56b)를 포함한다. 그리고, 분류부(38)에서 상반신 특징 벡터를 추출하기 위한 상반신 NN 분류기는 도 7에 예시하였다. 도 7에 예시된 상반신 NN 분류기는 상반신 영역 기울기 히스토그램 특징 벡터를 입력으로 하는 입력층(62)과, 다수의 노드를 가진 중간층(64), 및 사람/비사람에 해당하는 2개의 노드(66a, 66b)를 포함한다.
탐색창(r)에서의 전신 검출점수(GScore)는 하기의 수학식 4와 같이 도 6의 전신 NN 분류기의 출력 노드에서 사람에 해당하는 출력 노드(56a)의 출력값(Op G)과 비사람에 해당하는 출력 노드(56b)의 출력값(On G)의 차이로 한다.
상반신 검출점수(UScore)도 상술한 전신 검출점수와 동일하게 결정한다.
그에 따라, 탐색창(r)의 검출점수는 해당 탐색창 위치에서의 전신 검출점수와 상반신 검출점수를 합한 것으로 한다. 모든 탐색창에 대해서 검출점수를 생성한 후 검출점수가 가장 높은 탐색창에서 전신과 상반신이 모두 검출되었으면 사람이 검출된 것으로 결정한다.
(수학식 4)
GScore(r) = Op G(r) - On G(r)
UScore(r) = Op U(r) - On U(r)
if GScore(r) > Thres, 전신 검출 성공
if UScore(r) > Thres, 상반신 검출 성공
여기서, Op G(r)은 탐색창(r)에서 전신 NN 분류기의 출력 노드에서 사람에 해당하는 출력 노드의 출력값이고, On G(r)은 탐색창(r)에서 전신 NN 분류기의 출력 노드에서 비사람에 해당하는 출력 노드의 출력값이고, Op U(r)은 탐색창(r)에서 상반신 NN 분류기의 출력 노드에서 사람에 해당하는 출력 노드의 출력값이고, On U(r)은 탐색창(r)에서 상반신 NN 분류기의 출력 노드에서 비사람에 해당하는 출력 노드의 출력값이고, Thres는 문턱값이다.
만약, 검출점수가 가장 높은 탐색창에서 전신과 상반신 중에서 하나가 검출되지 않았으면(즉, 전신 NN 분류기와 상반신 NN 분류기의 결정이 다르면) 도 8에 예시된 최종 NN 분류기로 구성된 확정부(40)에서 사람인지 아닌지를 최종 확정한다.
도 8은 도 1에 도시된 확정부에 채용되는 신경망 분류기의 예를 나타낸 도면이다.
획정부(40)는 도 8에 예시한 바와 같은 최종 NN 분류기로 구성된다. 최종 NN 분류기는 전신 NN 분류기의 중간층 노드들의 출력값들로 구성된 전신 NN 특징 벡터 및 상반신 NN 분류기의 중간층 노드들의 출력값들로 구성된 상반신 NN 특징 벡터를 입력으로 한다. 도 8의 최종 NN 분류기는 입력층(72), 다수의 노드로 구성된 중간층(74), 및 사람/비사람에 해당하는 2개의 노드(76a, 76b)를 포함한다. 최종 NN 분류기는 사람에 해당하는 출력 노드(76a)의 출력값(Op F)과 비사람에 해당하는 출력 노드(76b)의 출력값(On F)과의 차이가 임계값을 넘으면 최종적으로 사람이 검출된 것으로 확정한다.
한편, 본 발명은 상술한 실시예로만 한정되는 것이 아니라 본 발명의 요지를 벗어나지 않는 범위내에서 수정 및 변형하여 실시할 수 있고, 그러한 수정 및 변형이 가해진 기술사상 역시 이하의 특허청구범위에 속하는 것으로 보아야 한다.
10 : 영상 전처리부 20 : 움직임 객체 영역 설정부
30 : 사람 영역 검출부 32 : 기울기 맵 생성부
34 : 정규화 기울기 맵 생성부 36 : 판단부
37 : 특징 벡터 추출부 38 : 분류부
40 : 확정부

Claims (13)

  1. 입력 영상으로부터 배경 영상을 모델링하는 영상 전처리부;
    상기 입력 영상과 상기 배경 영상을 차분하여 움직임이 존재하는 움직임 객체 영역을 설정하는 움직임 객체 영역 설정부;
    상기 움직임 객체 영역에서 기울기 기반의 기울기 맵을 스캔하는 탐색창의 특징벡터 추출 영역을 달리하여 전신 및 상반신의 특징 벡터를 각각 추출하고, 상기 추출한 기울기 기반의 전신 및 상반신의 특징 벡터를 신경망 분류기의 입력으로 하여 사람이 존재하는 사람 영역을 검출하는 사람 영역 검출부; 및
    상기 검출된 사람 영역내의 객체가 사람인지 아닌지를 확정하는 확정부;를 포함하고,
    상기 사람 영역 검출부는,
    상기 움직임 객체 영역내의 영상을 기울기 맵으로 변환하는 기울기 맵 생성부;
    상기 기울기 맵을 정규화하는 정규화 기울기 맵 생성부; 및
    상기 정규화 기울기 맵 생성부에서의 정규화 기울기 맵에서 사람의 전신 및 상반신의 특징 벡터를 추출하고 이를 근거로 상기 사람 영역을 결정하는 판단부;를 포함하고,
    상기 판단부는,
    상기 정규화 기울기 맵에 탐색창을 적용시켜 상기 탐색창을 스캔하면서 상기 탐색창의 전 영역에서 사람의 전신에 대한 제1 특징 벡터와 상기 탐색창의 상위 반 영역에서 사람의 상반신에 대한 제2 특징 벡터를 각각 상기 스캔되는 탐색창들로부터 추출하는 특징 벡터 추출부; 및
    상기 탐색창들로부터 각각 추출되는 상기 제1 특징 벡터와 상기 제2 특징 벡터를 신경망 분류기의 입력으로 하여 상기 탐색창들의 상기 제1 특징 벡터에 대한 제1 검출점수와 상기 제2 특징 벡터에 대한 제2 검출점수를 생성하고, 상기 제1 검출점수와 상기 제2 검출점수를 합산한 점수가 최고인 탐색창을 상기 사람 영역으로 결정하는 분류부;를 포함하는 것을 특징으로 하는 사람 검출 장치.
  2. 삭제
  3. 청구항 1에 있어서,
    상기 기울기 맵 생성부는 하기의 수학식 1을 이용하여 상기 기울기 맵을 생성하는 것을 특징으로 하는 사람 검출 장치.
    (수학식 1)
    Figure 112016094163116-pat00009

    Figure 112016094163116-pat00010

    Figure 112016094163116-pat00011

    Figure 112016094163116-pat00012

    여기서, G(x,y)는 (x,y)위치에서의 기울기 맵이고, M(x,y)는 (x,y)위치에서의 크기값이고, α(x,y)는 (x,y)위치에서의 방향값이고, gx(x,y)는 영상 f(x,y)에 대한 x방향 편미분이고, gy(x,y)는 영상 f(x,y)에 대한 y방향 편미분이고, T는 벡터 전치를 의미한다.
  4. 청구항 1에 있어서,
    상기 정규화 기울기 맵 생성부는 하기의 수학식 2를 이용하여 상기 정규화 기울기 맵을 생성하는 것을 특징으로 하는 사람 검출 장치.
    (수학식 2)
    Figure 112016094163116-pat00013

    Figure 112016094163116-pat00014

    여기서, N(x,y)는 (x,y)위치에서의 정규화 기울기 맵이고, Mmin은 기울기 맵의 최소 크기값이고, Mmax은 기울기 맵의 최대 크기값이고, M(x,y)는 (x,y)위치에서의 크기값이고, NMmin은 사전에 설정되는 정규화 기울기 맵의 최소 크기값이고, NMmax은 사전에 설정되는 정규화 기울기 맵의 최대 크기값이고, NM(x,y)는 (x,y)위치에서의 정규화 크기값이고, α(x,y)는 (x,y)위치에서의 방향값이다.
  5. 삭제
  6. 청구항 1에 있어서,
    상기 분류부는 상기 탐색창별로 생성되는 전신 검출점수와 상반신 검출점수를 합하여 해당 탐색창의 검출점수로 하는 것을 특징으로 하는 사람 검출 장치.
  7. 청구항 1에 있어서,
    상기 신경망 분류기는 전신 신경망 분류기 및 상반신 신경망 분류기를 포함하고,
    상기 분류부는 상기 탐색창별로 각각 추출되는 사람의 전신에 대한 특징 벡터를 상기 전신 신경망 분류기의 입력으로 하고, 상기 탐색창별로 각각 추출되는 사람의 상반신에 대한 특징 벡터를 상기 상반신 신경망 분류기의 입력으로 하는 것을 특징으로 하는 사람 검출 장치.
  8. 청구항 7에 있어서,
    상기 확정부는 상기 전신 신경망 분류기에서의 전신 신경망 특징 벡터 및 상반신 신경망 분류기에서의 상반신 신경망 특징 벡터를 입력으로 하는 최종 신경망 분류기를 포함하는 것을 특징으로 하는 사람 검출 장치.
  9. 청구항 8에 있어서,
    상기 확정부는 상기 최종 신경망 분류기의 사람에 해당하는 출력 노드의 출력값과 비사람에 해당하는 출력 노드의 출력값과의 차이가 임계값을 넘으면 최종적으로 사람이 검출된 것으로 확정하는 것을 특징으로 하는 사람 검출 장치.
  10. 영상 전처리부가, 입력 영상으로부터 배경 영상을 모델링하는 단계;
    움직임 객체 영역 설정부가, 상기 입력 영상과 상기 배경 영상을 차분하여 움직임이 존재하는 움직임 객체 영역을 설정하는 단계;
    사람 영역 검출부가, 상기 움직임 객체 영역에서 기울기 기반의 기울기 맵을 스캔하는 탐색창의 특징벡터 추출 영역을 달리하여 전신 및 상반신의 특징 벡터를 각각 추출하는 단계;
    상기 사람 영역 검출부가, 상기 추출한 기울기 기반의 전신 및 상반신의 특징 벡터를 신경망 분류기의 입력으로 하여 사람이 존재하는 사람 영역을 검출하는 단계; 및
    확정부가, 상기 검출된 사람 영역내의 객체가 사람인지 아닌지를 확정하는 단계;를 포함하고,
    상기 특징 벡터를 추출하는 단계는,
    상기 움직임 객체 영역내의 영상을 기울기 맵으로 변환하는 단계;
    상기 기울기 맵을 정규화하는 단계; 및
    상기 정규화된 기울기 맵에서 사람의 전신 및 상반신의 특징 벡터를 추출하고 이를 근거로 상기 사람 영역을 결정하는 단계;를 포함하고,
    상기 사람 영역을 결정하는 단계는
    상기 정규화 기울기 맵에 탐색창을 적용시켜 상기 탐색창을 스캔하면서 상기 탐색창의 전 영역에서 사람의 전신에 대한 제1 특징 벡터와 상기 탐색창의 상위 반 영역에서 사람의 상반신에 대한 제2 특징 벡터를 각각 상기 스캔되는 탐색창들로부터 추출하는 단계; 및
    상기 탐색창들로부터 각각 추출되는 상기 제1 특징 벡터와 상기 제2 특징 벡터를 신경망 분류기의 입력으로 하여 상기 탐색창들의 상기 제1 특징 벡터에 대한 제1 검출점수와 상기 제2 특징 벡터에 대한 제2 검출점수를 생성하고, 상기 제1 검출점수와 상기 제2 검출점수를 합산한 점수가 최고인 탐색창을 상기 사람 영역으로 결정하는 단계를 포함하는 것을 특징으로 하는 사람 검출 방법.
  11. 삭제
  12. 청구항 10에 있어서,
    상기 기울기 맵은 하기의 수학식 1에 의해 생성되는 것을 특징으로 하는 사람 검출 방법.
    (수학식 1)
    Figure 112016094163116-pat00015

    Figure 112016094163116-pat00016

    Figure 112016094163116-pat00017

    Figure 112016094163116-pat00018

    여기서, G(x,y)는 (x,y)위치에서의 기울기 맵이고, M(x,y)는 (x,y)위치에서의 크기값이고, α(x,y)는 (x,y)위치에서의 방향값이고, gx(x,y)는 영상 f(x,y)에 대한 x방향 편미분이고, gy(x,y)는 영상 f(x,y)에 대한 y방향 편미분이고, T는 벡터 전치를 의미한다.
  13. 청구항 10에 있어서,
    상기 정규화된 기울기 맵은 하기의 수학식 2에 의해 생성되는 것을 특징으로 하는 사람 검출 방법.
    (수학식 2)
    Figure 112016094163116-pat00019

    Figure 112016094163116-pat00020

    여기서, N(x,y)는 (x,y)위치에서의 정규화 기울기 맵이고, Mmin은 기울기 맵의 최소 크기값이고, Mmax은 기울기 맵의 최대 크기값이고, M(x,y)는 (x,y)위치에서의 크기값이고, NMmin은 사전에 설정되는 정규화 기울기 맵의 최소 크기값이고, NMmax은 사전에 설정되는 정규화 기울기 맵의 최대 크기값이고, NM(x,y)는 (x,y)위치에서의 정규화 크기값이고, α(x,y)는 (x,y)위치에서의 방향값이다.
KR1020120150808A 2012-12-21 2012-12-21 사람 검출 장치 및 방법 KR101724658B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120150808A KR101724658B1 (ko) 2012-12-21 2012-12-21 사람 검출 장치 및 방법
US13/959,310 US20140177946A1 (en) 2012-12-21 2013-08-05 Human detection apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120150808A KR101724658B1 (ko) 2012-12-21 2012-12-21 사람 검출 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20140081254A KR20140081254A (ko) 2014-07-01
KR101724658B1 true KR101724658B1 (ko) 2017-04-10

Family

ID=50974738

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120150808A KR101724658B1 (ko) 2012-12-21 2012-12-21 사람 검출 장치 및 방법

Country Status (2)

Country Link
US (1) US20140177946A1 (ko)
KR (1) KR101724658B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101818129B1 (ko) * 2017-04-25 2018-01-12 동국대학교 산학협력단 나선 신경망 기법을 이용한 보행자 인식 장치 및 방법
KR20220019421A (ko) 2020-08-10 2022-02-17 인천대학교 산학협력단 머신 러닝을 이용한 카메라 영상의 객체 인식 및 검출 방법 및 장치

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10043067B2 (en) * 2012-12-03 2018-08-07 Harman International Industries, Incorporated System and method for detecting pedestrians using a single normal camera
WO2015176305A1 (zh) * 2014-05-23 2015-11-26 中国科学院自动化研究所 人形图像分割方法
KR20160028273A (ko) * 2014-09-03 2016-03-11 삼성전자주식회사 병변 검출 보간 장치 및 방법
CN104966104B (zh) * 2015-06-30 2018-05-11 山东管理学院 一种基于三维卷积神经网络的视频分类方法
US9443192B1 (en) 2015-08-30 2016-09-13 Jasmin Cosic Universal artificial intelligence engine for autonomous computing devices and software applications
CN106844394B (zh) * 2015-12-07 2021-09-10 北京航天长峰科技工业集团有限公司 基于行人上下衣颜色判别的视频检索方法
KR102592076B1 (ko) 2015-12-14 2023-10-19 삼성전자주식회사 딥러닝 기반 영상 처리 장치 및 방법, 학습 장치
US9582762B1 (en) 2016-02-05 2017-02-28 Jasmin Cosic Devices, systems, and methods for learning and using artificially intelligent interactive memories
CN105809136A (zh) 2016-03-14 2016-07-27 中磊电子（苏州）有限公司 影像数据处理方法及影像数据处理系统
KR101926568B1 (ko) 2016-05-02 2018-12-10 한국전자통신연구원 비디오 해석 장치 및 방법
US9864933B1 (en) 2016-08-23 2018-01-09 Jasmin Cosic Artificially intelligent systems, devices, and methods for learning and/or using visual surrounding for autonomous object operation
US10452974B1 (en) * 2016-11-02 2019-10-22 Jasmin Cosic Artificially intelligent systems, devices, and methods for learning and/or using a device's circumstances for autonomous device operation
US10607134B1 (en) 2016-12-19 2020-03-31 Jasmin Cosic Artificially intelligent systems, devices, and methods for learning and/or using an avatar's circumstances for autonomous avatar operation
CN107729805B (zh) * 2017-09-01 2019-09-13 北京大学 用于行人再识别的神经网络和基于深度学习的行人再识别算法
KR102195706B1 (ko) * 2017-10-26 2020-12-28 에스케이텔레콤 주식회사 침입 탐지방법 및 그 장치
US10102449B1 (en) 2017-11-21 2018-10-16 Jasmin Cosic Devices, systems, and methods for use in automation
JP2019096006A (ja) * 2017-11-21 2019-06-20 キヤノン株式会社 情報処理装置、情報処理方法
US10474934B1 (en) 2017-11-26 2019-11-12 Jasmin Cosic Machine learning for computing enabled systems and/or devices
US10402731B1 (en) 2017-12-15 2019-09-03 Jasmin Cosic Machine learning for computer generated objects and/or applications
CN108022256A (zh) * 2017-12-25 2018-05-11 虹德科技（杭州）有限公司 一种视频智能分析仪
CN110119734A (zh) * 2018-02-06 2019-08-13 同方威视技术股份有限公司 刀具检测方法及装置
KR102568410B1 (ko) 2018-04-10 2023-08-22 한국전자통신연구원 유효 데이터를 선별하기 위한 전처리부를 포함하는 인공 지능 시스템
KR102557572B1 (ko) 2018-05-23 2023-07-24 한국전자통신연구원 인공 신경망 장치 및 그 동작 방법
CN109146860B (zh) * 2018-08-03 2021-04-27 北京工商大学 全自动机械设备安装泄露检测方法及装置
KR102002812B1 (ko) * 2018-10-10 2019-07-23 에스케이 텔레콤주식회사 객체 검출을 위한 영상분석 서버장치 및 방법
CN110414461A (zh) * 2019-08-02 2019-11-05 湖南德雅坤创科技有限公司 一种人体目标检测方法、装置和计算机可读存储介质
DE102020126690A1 (de) 2020-10-12 2022-04-14 Connaught Electronics Ltd. Verfahren zum Bestimmen eines Bewegungsmodells eines Objekts in einer Umgebung eines Kraftfahrzeugs, Computerprogrammprodukt, computerlesbares Speichermedium sowie Assistenzsystem
CN112863100B (zh) * 2020-12-31 2022-09-06 山东奥邦交通设施工程有限公司 一种智能施工安全监测系统及方法
KR102391853B1 (ko) * 2021-11-19 2022-05-09 주식회사 케이비전 영상 정보 처리 시스템 및 방법
CN115273138B (zh) * 2022-06-29 2023-04-11 珠海视熙科技有限公司 一种人体检测系统以及客流相机

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120057748A1 (en) * 2010-09-02 2012-03-08 Canon Kabushiki Kaisha Apparatus which detects moving object from image and method thereof
WO2012073894A1 (ja) * 2010-11-29 2012-06-07 国立大学法人 九州工業大学 物体の検出方法及びその方法を用いた物体の検出装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6990239B1 (en) * 2002-07-16 2006-01-24 The United States Of America As Represented By The Secretary Of The Navy Feature-based detection and context discriminate classification for known image structures

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120057748A1 (en) * 2010-09-02 2012-03-08 Canon Kabushiki Kaisha Apparatus which detects moving object from image and method thereof
WO2012073894A1 (ja) * 2010-11-29 2012-06-07 国立大学法人 九州工業大学 物体の検出方法及びその方法を用いた物体の検出装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101818129B1 (ko) * 2017-04-25 2018-01-12 동국대학교 산학협력단 나선 신경망 기법을 이용한 보행자 인식 장치 및 방법
KR20220019421A (ko) 2020-08-10 2022-02-17 인천대학교 산학협력단 머신 러닝을 이용한 카메라 영상의 객체 인식 및 검출 방법 및 장치

Also Published As

Publication number Publication date
KR20140081254A (ko) 2014-07-01
US20140177946A1 (en) 2014-06-26

Similar Documents

Publication Publication Date Title
KR101724658B1 (ko) 사람 검출 장치 및 방법
KR101716646B1 (ko) 국부이진패턴을 이용한 객체 검출 인식 방법 및 장치
KR101653278B1 (ko) 색상 기반 얼굴 검출을 통한 실시간 얼굴 추적 시스템
US7957560B2 (en) Unusual action detector and abnormal action detecting method
Ogale A survey of techniques for human detection from video
US20140369567A1 (en) Authorized Access Using Image Capture and Recognition System
CN108268850B (zh) 一种基于图像的大数据处理方法
JP5106356B2 (ja) 画像監視装置
JP2004192646A (ja) 人物検出方法および装置
JP2007334623A (ja) 顔認証装置、顔認証方法、および入退場管理装置
KR100824757B1 (ko) 걸음걸이를 이용한 생체 인식 방법
JP2006236260A (ja) 顔認証装置、顔認証方法および入退場管理装置
KR101372860B1 (ko) 영상 검색 시스템 및 영상 분석 서버
KR101646000B1 (ko) 지정된 사물 및 영역에 대한 감시시스템 및 감시방법
US8923552B2 (en) Object detection apparatus and object detection method
Bashbaghi et al. Watch-list screening using ensembles based on multiple face representations
Xie et al. Human body and posture recognition system based on an improved thinning algorithm
KR102113489B1 (ko) 카메라 입력 영상을 딥러닝 활용한 행동 감지 시스템 및 방법
KR20180001356A (ko) 지능형 영상 보안 시스템
KR20040018586A (ko) 얼굴특징을 이용한 움직임 검출장치 및 이를 적용한감시시스템
El Gemayel et al. Automated face detection and control system using computer vision based video analytics to avoid the spreading of Covid-19
Sarker et al. Illegal trash thrower detection based on HOGSVM for a real-time monitoring system
JP2009181220A (ja) 物体検出装置
Phung et al. A new image feature for fast detection of people in images
KR102085070B1 (ko) 딥러닝 기반 영상 정합 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant