KR20160147512A - Foreground area extracting method and apparatus - Google Patents

Foreground area extracting method and apparatus Download PDF

Info

Publication number
KR20160147512A
KR20160147512A KR1020150084331A KR20150084331A KR20160147512A KR 20160147512 A KR20160147512 A KR 20160147512A KR 1020150084331 A KR1020150084331 A KR 1020150084331A KR 20150084331 A KR20150084331 A KR 20150084331A KR 20160147512 A KR20160147512 A KR 20160147512A
Authority
KR
South Korea
Prior art keywords
block image
pixels
extracting
image
foreground
Prior art date
Application number
KR1020150084331A
Other languages
Korean (ko)
Other versions
KR102414953B1 (en
Inventor
주경돈
김준식
오태현
박재식
이활석
Original Assignee
한화테크윈 주식회사
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화테크윈 주식회사, 한국과학기술원 filed Critical 한화테크윈 주식회사
Priority to KR1020150084331A priority Critical patent/KR102414953B1/en
Publication of KR20160147512A publication Critical patent/KR20160147512A/en
Application granted granted Critical
Publication of KR102414953B1 publication Critical patent/KR102414953B1/en

Links

Images

Classifications

    • G06T7/0079—

Landscapes

  • Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)

Abstract

An embodiment of the present invention relates to a front view extraction method. According to the embodiment of the present invention, the front view extraction method includes the steps of: extracting a first block image including at least one part of a human body detected from an input image; separating the body into parts by determining the similarity between the reference shape of each part of the body learned in advance and the shape of a part of the body in the first block image; generating a second block image with the overall extracted contour of the body separated into the parts; generating a third block image having pixels of the first block image classified into one or more groups in accordance with the feature similarity; selecting one or more groups with the number of pixels equal to or greater than a threshold rate within the contour of the second block image compared to the overall pixel number among the groups of the third block image and setting all the pixels in the selected groups as body areas; and extracting the pixels in the area corresponding to the body areas set in the third block image from the first block image as the front view pixels.

Description

전경 추출 방법 및 장치 {FOREGROUND AREA EXTRACTING METHOD AND APPARATUS}METHOD AND APPARATUS FOR FORROUND EXTRACTING

본 발명은 이미지에서 전경(Foreground)과 배경(Background)을 분리하여 사람의 전경을 추출하는 방법에 관한 것이다.The present invention relates to a method for extracting a foreground of a person by separating a foreground and a background from the image.

오늘날 감시카메라의 설치 대수가 증가되면서 MCT(Multi Camera Tracking)분야 특히 복수개의 감시카메라에서 촬영되는 인물이 동일 인물인지 여부를 판단하는 것의 중요성이 부각되고 있다. 이러한 판단을 위해서는 이미지에서 전경(Foreground)과 배경(Background)을 분리하는 전처리 과정이 필요한데, 사람의 전경이 정확히 추출될수록 재인식과 추적의 정확도가 향상된다.As the number of installed surveillance cameras increases, it is becoming more important to determine whether a plurality of surveillance cameras are the same person in the MCT (Multi Camera Tracking) field. For this judgment, a preprocessing process is required to separate the foreground and the background from the image. The more accurately the human foreground is extracted, the better the accuracy of recognition and tracking.

한국등록특허 제1035990호Korea Patent No. 1035990

본 발명의 실시예들은 이미지에서 정확하게 전경을 추출해낼 수 있는 방법 및 장치를 제공하고자 한다.Embodiments of the present invention seek to provide a method and apparatus that can accurately extract the foreground from an image.

본 발명의 일 실시예에 따른 전경 분리 방법은, 입력 이미지에서 검출된 사람 신체의 적어도 일부를 포함하는 제1 블록 이미지를 추출하는 단계; 상기 제1 블록 이미지에서 상기 신체의 일 부분에 대한 형상과 기 학습된 신체의 각 부분에 대한 기준형상의 유사도를 판단하여 상기 신체를 부분별로 구분하고, 상기 부분별로 구분된 신체의 전체 윤곽선이 추출된 제2 블록 이미지를 생성하는 단계; 상기 제1 블록 이미지의 픽셀들을 특성 유사도에 따라 적어도 하나의 그룹으로 분류한 제3 블록 이미지를 생성하는 단계; 상기 제3 블록 이미지의 그룹들 중 전체 픽셀 수 대비 상기 제2 블록 이미지의 상기 윤곽선 내에 속하는 픽셀 수가 임계비율 이상인 적어도 하나의 그룹을 선택하고, 상기 선택된 적어도 하나의 그룹에 속하는 모든 픽셀들을 신체영역으로 설정하는 단계; 및 상기 제1 블록 이미지로부터 상기 제3 블록 이미지에서 설정된 신체영역에 대응하는 영역의 픽셀들을 전경 픽셀들로 추출하는 단계;를 포함한다. A foreground separation method according to an embodiment of the present invention includes extracting a first block image including at least a part of a human body detected in an input image; The first block image is used to determine the similarity between the shape of a part of the body and the reference shape of each part of the learned body to divide the body into parts and extract the entire outline of the body divided by the parts Generating a second block image; Generating a third block image in which pixels of the first block image are classified into at least one group according to characteristic similarity; Selecting at least one group in which the number of pixels belonging to the outline of the second block image is equal to or greater than a threshold ratio with respect to the total number of pixels of the groups of the third block image and selecting all pixels belonging to the selected at least one group as a body area ; And extracting pixels of a region corresponding to the body region set in the third block image from the first block image with foreground pixels.

상기 제2 블록 이미지 생성 단계는 데이터베이스에 저장된 신체의 각 부분에 대한 기준형상과 상기 제1 블록 이미지의 일부분의 형상에 대한 패턴매칭을 통해 상기 제1 블록 이미지의 픽셀들 중 신체에 해당하는 픽셀들을 신체의 부분에 따라 서로 다른 색으로 분류하는 단계; 및 상기 부분별로 분류된 신체의 전체 윤곽선을 추출하는 단계;를 포함할 수 있다. The second block image generation step may include generating a second block image by adding pixels corresponding to the body among the pixels of the first block image through pattern matching of a reference shape for each part of the body stored in the database and a shape of a portion of the first block image Classification into different colors according to parts of the body; And extracting a whole outline of the body classified by the part.

상기 제3 블록 이미지 생성 단계는 휘도 유사도를 기초로 상기 제1 블록 이미지의 픽셀들을 적어도 하나의 그룹으로 분류하는 단계;를 포함할 수 있다.The generating of the third block image may include classifying the pixels of the first block image into at least one group based on the luminance similarity.

본 발명의 일 실시예에 따른 전경 분리 장치는, 입력 이미지에서 검출된 사람 신체의 적어도 일부를 포함하는 제1 블록 이미지를 추출하는 제1 블록 이미지 생성부; 상기 제1 블록 이미지에서 상기 신체의 일 부분에 대한 형상과 기 학습된 신체의 각 부분에 대한 기준형상의 유사도를 판단하여 상기 신체를 부분별로 구분하고, 상기 부분별로 구분된 신체의 전체 윤곽선이 추출된 제2 블록 이미지를 생성하는 제2 블록 이미지 생성부; 상기 제1 블록 이미지의 픽셀들을 특성 유사도에 따라 적어도 하나의 그룹으로 분류한 제3 블록 이미지를 생성하는 제3 블록 이미지 생성부; 상기 제3 블록 이미지의 그룹들 중 전체 픽셀 수 대비 상기 제2 블록 이미지의 상기 윤곽선 내에 속하는 픽셀 수가 임계비율 이상인 적어도 하나의 그룹을 선택하고, 상기 선택된 적어도 하나의 그룹에 속하는 모든 픽셀들을 신체영역으로 설정하는 신체영역 설정부; 및 상기 제1 블록 이미지로부터 상기 제3 블록 이미지에서 설정된 신체영역에 대응하는 영역의 픽셀들을 전경 픽셀들로 추출하는 전경 추출부;를 포함한다.A foreground separation apparatus according to an embodiment of the present invention includes a first block image generation unit for extracting a first block image including at least a part of a human body detected in an input image; The first block image is used to determine the similarity between the shape of a part of the body and the reference shape of each part of the learned body to divide the body into parts and extract the entire outline of the body divided by the parts A second block image generator for generating a second block image; A third block image generation unit for generating a third block image in which pixels of the first block image are classified into at least one group according to the characteristic similarity; Selecting at least one group in which the number of pixels belonging to the outline of the second block image is equal to or greater than a threshold ratio with respect to the total number of pixels of the groups of the third block image and selecting all pixels belonging to the selected at least one group as a body area A body region setting section for setting the body region; And a foreground extracting unit for extracting, from the first block image, pixels in a region corresponding to the body region set in the third block image, as foreground pixels.

상기 제2 블록 이미지 데이터베이스에 저장된 신체의 각 부분에 대한 기준형상과 상기 제1 블록 이미지의 일부분의 형상에 대한 패턴매칭을 통해 상기 제1 블록 이미지의 픽셀들 중 신체에 해당하는 픽셀들을 신체의 부분에 따라 서로 다른 색으로 분류하고, 상기 부분별로 분류된 신체의 전체 윤곽선을 추출할 수 있다. The pixels corresponding to the body among the pixels of the first block image are divided into a part of the body of the user through the pattern matching of the reference shape for each part of the body stored in the second block image database and the shape of the part of the first block image, It is possible to extract the whole contours of the body classified by the parts.

상기 제3 블록 이미지 생성부는 휘도 유사도를 기초로 상기 제1 블록 이미지의 픽셀들을 적어도 하나의 그룹으로 분류할 수 있다.The third block image generator may classify the pixels of the first block image into at least one group based on the luminance similarity.

전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.Other aspects, features, and advantages will become apparent from the following drawings, claims, and detailed description of the invention.

본 발명의 실시예들에 따른 전경 추출 방법에 따르면 이미지에서 정확하게 전경을 분리해낼 수 있다.According to the foreground extraction method according to the embodiments of the present invention, the foreground can be accurately separated from the image.

도 1은 본 발명의 일 실시예에 따른 전경 추출 장치를 개략적으로 도시한 블록도이다.
도 2는 제1 블록 이미지 생성부가 입력 이미지로부터 제1 블록 이미지를 추출하는 예시이다.
도 3은 제2 블록 이미지 생성부가 제1 블록 이미지로부터 신체 전체의 윤곽선이 추출된 제2 블록 이미지를 생성하는 예시이다.
도 4는 제3 블록 이미지 생성부가 제1 블록 이미지로부터 픽셀들이 특성 유사도에 따라 분류된 제3 블록 이미지를 생성하는 예시이다.
도 5는 신체영역 설정부가 신체영역을 설정하는 과정을 나타낸 도면이다.
도 6은 전경 추출부가 전경을 추출하는 과정을 나타낸 도면이다.
도 7내지 도 9는 본 발명의 일 실시예에 따른 전경 추출의 예시이다.
도 10은 본 발명의 일 실시예에 따른 전경 추출 방법을 설명하는 흐름도이다.1 is a block diagram schematically illustrating a foreground extracting apparatus according to an embodiment of the present invention.
2 is an example in which the first block image generating unit extracts the first block image from the input image.
FIG. 3 is an example in which the second block image generating unit generates a second block image from which contours of the entire body are extracted from the first block image.
4 is an example in which the third block image generating unit generates a third block image in which pixels from the first block image are classified according to the characteristic similarity.
5 is a diagram illustrating a process of setting a body region by the body region setting unit.
6 is a view illustrating a process of extracting a foreground by a foreground extracting unit.
7 to 9 are examples of foreground extraction according to an embodiment of the present invention.
10 is a flowchart illustrating a foreground extraction method according to an embodiment of the present invention.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. BRIEF DESCRIPTION OF THE DRAWINGS The present invention is capable of various modifications and various embodiments, and specific embodiments are illustrated in the drawings and described in detail in the detailed description. It is to be understood, however, that the invention is not to be limited to the specific embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.

이하의 실시예에서, 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. In the following embodiments, the terms first, second, etc. may be used to describe various elements, but the elements should not be limited by terms. Terms are used only for the purpose of distinguishing one component from another.

이하의 실시예에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 이하의 실시예에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in the following examples are used only to illustrate specific embodiments and are not intended to limit the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In the following description, the terms "comprises" or "having ", and the like, specify that the presence of stated features, integers, steps, operations, elements, But do not preclude the presence or addition of other features, numbers, steps, operations, components, parts, or combinations thereof.

본 발명의 실시예들은 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 발명의 실시예들은 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 본 발명의 실시예의 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 잇는 것과 유사하게, 본 발명의 실시예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 발명의 실시예들은 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. 매커니즘, 요소, 수단, 구성과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.Embodiments of the present invention may be represented by functional block configurations and various processing steps. These functional blocks may be implemented in a wide variety of hardware and / or software configurations that perform particular functions. For example, embodiments of the invention may be embodied directly in hardware, such as memory, processing, logic, look-up tables, etc., that can perform various functions by control of one or more microprocessors or by other control devices Circuit configurations can be employed. Similar to the components of an embodiment of the present invention that may be implemented with software programming or software components, embodiments of the present invention include various algorithms implemented with a combination of data structures, processes, routines, or other programming constructs , C, C ++, Java, assembler, and the like. Functional aspects may be implemented with algorithms running on one or more processors. Embodiments of the present invention may also employ conventional techniques for electronic configuration, signal processing, and / or data processing. Terms such as mechanisms, elements, means, and configurations are widely used and are not limited to mechanical and physical configurations. The term may include the meaning of a series of routines of software in conjunction with a processor or the like.

도 1은 본 발명의 일 실시예에 따른 전경 추출 장치를 개략적으로 도시한 블록도이다. 도 1을 참조하면, 본 발명의 일 실시예에 따른 전경 추출 장치(1)는 제1 블록 이미지 생성부(10), 제2 블록 이미지 생성부(20), 제3 블록 이미지 생성부(30), 신체영역 설정부(40) 및 전경 추출부(50)를 포함한다. 전경 추출 장치(1)는 영상 획득 장치(2)와 유선 또는 무선으로 연결될 수 있다.1 is a block diagram schematically illustrating a foreground extracting apparatus according to an embodiment of the present invention. 1, a foreground extracting apparatus 1 according to an embodiment of the present invention includes a first block image generating unit 10, a second block image generating unit 20, a third block image generating unit 30, A body region setting section 40, and a foreground extracting section 50. [ The foreground extracting apparatus 1 may be connected to the image capturing apparatus 2 in a wired or wireless manner.

영상 획득 장치(2)는 주변 환경 또는 장면(공간)을 촬영하고, 장면 내에 존재하는 다양한 객체(예를 들어, 바닥, 벽, 장애물 등의 정적 물체나 사람, 동물 등의 동적 물체)를 촬영한다. 영상 획득 장치(2)는 영상 센서를 포함하는 카메라 등일 수 있다. The image acquiring device 2 photographs a surrounding environment or scene (space), and photographs various objects (for example, a static object such as a floor, a wall, an obstacle, or a dynamic object such as a person or an animal) . The image acquisition device 2 may be a camera including an image sensor.

전경 추출이란 영상 처리 장치 등에서 사람을 인식하기 위해 전경(Foreground)과 배경(Background)을 분리하여 전경만을 추출하는 과정을 말한다. 사람의 전경이 정확히 추출될수록 재인식, 추적 등의 후행 과정의 정확도가 향상되기 때문에, 정확한 전경 추출이 중요하고 이를 위하여 많은 기술들이 개발되고 있다.Foreground extraction refers to the process of extracting foreground images by separating foreground and background to recognize people in image processing devices and the like. Accurate extracting of human foreground improves the accuracy of trailing processes such as re-recognition and tracking, so accurate foreground extraction is important and many techniques are being developed for this purpose.

본 발명의 실시예는 이미지(영상)에서 신체의 일 부분에 대한 형상과 기 학습된 신체의 각 부분에 대한 기준형상의 유사도를 판단하여 신체를 인식하는 방식과, 이미지 내의 픽셀간의 특성의 유사도를 판단하여 픽셀들을 그룹화 함으로써 신체를 인식하는 방식을 상호 보완적으로 사용함으로써 보다 정확한 전경 추출을 할 수 있다.In the embodiment of the present invention, a method of recognizing a body by judging a shape of a part of the body in an image (image) and a reference shape of each part of the learned body, and a method of recognizing the degree of similarity By using the method of recognizing the body by judging and grouping the pixels, it is possible to extract the foreground more accurately.

학습된 형상을 이용하여 신체를 인식하는 방법의 경우 고해상도의 이미지에서는 신체를 잘 인식하지만, 감시카메라 영상과 같은 저 해상도의 이미지에서는 인식률이 떨어진다. 픽셀간의 특성의 유사도를 판단하는 방법의 경우 해상도에 크게 영향을 받지 않는다. 따라서, 양자의 결과를 보완적으로 사용하면 향상된 사람 인식 결과를 얻을 수 있다.In the case of the body recognition method using the learned shape, the body is recognized well in the high resolution image, but the recognition rate is low in the low resolution image such as the surveillance camera image. The method of determining the degree of similarity between pixels is not greatly affected by the resolution. Therefore, using the results of both of them as a complementary result, an improved human recognition result can be obtained.

도 2 내지 도 6은 본 발명의 일 실시예에 따른 전경 추출 장치의 전경 추출 동작을 설명하는 예시 도면이다. 이하에서 도 2 내지 도 6을 참조하여 도 1에 도시된 전경 추출 장치(1)의 동작을 설명하겠다. FIGS. 2 to 6 are explanatory views illustrating a foreground extraction operation of the foreground extracting apparatus according to an embodiment of the present invention. Hereinafter, the operation of the foreground extracting apparatus 1 shown in Fig. 1 will be described with reference to Fig. 2 to Fig.

도 2를 참고하면, 제1 블록 이미지 생성부(10)는 입력 이미지(11)에서 움직임 영역의 탐지를 수행하여 움직임 영역을 포함하는 제1 블록 이미지(12)를 추출한다. 본 발명의 실시예에서 움직임 영역의 탐지 방법은 특별히 한정되지 않으며, GMM(Gaussian Mixture Model) 이나 코드북(Codebook) 모델 등 다양한 기법이 활용 될 수 있다.Referring to FIG. 2, the first block image generation unit 10 detects a motion region in the input image 11 to extract a first block image 12 including a motion region. In the embodiment of the present invention, a method of detecting a motion region is not particularly limited, and various techniques such as a GMM (Gaussian Mixture Model) or a codebook model can be utilized.

제1 블록 이미지(12)는 신체의 전부 또는 일부를 포함할 수 있는데, 신체의 일부만을 포함하는 경우 후술하는 제2 블록 이미지 생성부(20)에 의하여 신체의 나머지 부분이 추정될 수 있다.The first block image 12 may include all or a part of the body, but if the second block image includes only a part of the body, the remaining part of the body can be estimated by the second block image generating unit 20 described later.

제2 블록 이미지 생성부(20)는 기계학습(Machine Learning)기법을 이용하여 제1 블록 이미지의 일 부분에 대한 형상과 기 학습된 신체의 각 부분의 기준형상에 대한 패턴매칭(Pattern Matching)을 통해 제1 블록 이미지에서 신체를 추정하고 부분별로 구분하며, 배경을 구분할 수 있다. 예를 들어, 패턴매칭에 의해 제1 블록 이미지의 각 픽셀은 머리카락, 머리, 몸통, 팔 및 다리의 신체 부분을 나타내는 픽셀과 신체가 아닌 배경 픽셀로 구분될 수 있다. 이 때 신체의 일부가 장애물 등에 의해 가려진 경우에도 나머지 부분 만으로 패턴매칭을 수행하여 가려진 부분을 복구함으로써 신체를 추정할 수 있다. The second block image generator 20 generates a pattern matching for a part of the first block image and a reference shape of each part of the learned body using a machine learning technique In the first block image, the body can be estimated, divided into parts, and the background can be distinguished. For example, by pattern matching, each pixel of the first block image can be divided into a pixel representing a body part of the hair, a head, a trunk, an arm, and a leg, and a background pixel other than a body. In this case, even if a part of the body is obscured by an obstacle or the like, the body can be estimated by restoring the obscured part by performing pattern matching only with the remaining part.

신체를 부분별로 구분한 뒤 제2 블록 이미지 생성부(20)는 구분된 신체의 각 부분을 이용하여 신체 전체의 윤곽선을 추출한다. 즉 제2 블록 이미지 생성부(20)는 신체의 각 부분의 외곽선만을 추출하여 신체 전체의 실루엣이 획득된 제2 블록 이미지를 생성한다. After the body is divided into parts, the second block image generating unit 20 extracts contours of the entire body using each part of the divided body. That is, the second block image generating unit 20 extracts only the outline of each part of the body to generate a second block image in which a silhouette of the whole body is obtained.

제2 블록 이미지를 생성하는 방법은 특별히 한정되지 않으며, 학습에 의해 데이터베이스화된 신체 모델과 입력 이미지의 형상 비교에 의해 신체를 부분별로 구분하는 다양한 방법이 이용될 수 있다. The method of generating the second block image is not particularly limited, and various methods of dividing the body into parts by comparing the shape of the input image with the body model of the database by learning can be used.

도 3은 제2 블록 이미지 생성부(20)가 제1 블록 이미지(12)로부터 패턴매칭을 통하여 신체가 부분별로 구분된 이미지(21)를 생성하는 예시이다. 제2 블록 이미지 생성부(20)는 신체가 부분별로 구분된 이미지(21)로부터 신체 전체의 윤곽선(23)이 추출된 제2 블록 이미지(22)를 생성한다.3 is an example in which the second block image generating unit 20 generates an image 21 in which the body is divided into parts by pattern matching from the first block image 12. The second block image generating unit 20 generates a second block image 22 from which an entire body contour line 23 is extracted from an image 21 whose body is divided into parts.

다시 도 1로 돌아가면, 제3 블록 이미지 생성부(30)는 제1 블록 이미지(12)의 픽셀들을 특성 유사도에 따라 적어도 하나의 그룹으로 분류한 제3 블록 이미지를 생성한다. 이 때 유사도를 판단하는 특성은 휘도, 명도, 채도, 질감 등이 될 수 있으며, 특별히 한정되지 않는다. 제3 블록 이미지 생성부(30)는 적어도 하나의 특성에 설정된 조건에 따라 픽셀들을 분류할 수 있다. 예를 들어, 제3 블록 이미지 생성부(30)는 소정 범위의 휘도를 갖는 픽셀들끼리 그룹으로 분류할 수도 있고, 소정 범위의 휘도를 가지면서 소정 조건의 질감 특성을 갖는 픽셀들끼리 분류할 수도 있다. 1, the third block image generating unit 30 generates a third block image in which the pixels of the first block image 12 are classified into at least one group according to the degree of similarity of characteristics. At this time, the characteristic for determining the degree of similarity may be luminance, brightness, saturation, texture, and the like, and is not particularly limited. The third block image generator 30 may classify the pixels according to the condition set in at least one characteristic. For example, the third block image generation unit 30 may classify pixels having a predetermined range of brightness into a group, classify pixels having a predetermined range of brightness and textures having a predetermined condition have.

감시 카메라에 의해서 획득된 이미지는 낮은 해상도, 복잡한 배경구조 및 사람들 간의 간섭으로 인하여 영상 구조가 복잡하다. 본 발명의 실시예에서는 형상 유사도를 기초로 1차 전경을 추출하고, 픽셀들의 특성 유사도를 기초로 복잡한 영상 구조를 단순화 시킨 2차 전경을 추출 하여 두 결과를 모두 고려함으로써 전경 추출 성능을 향상시킬 수 있다.Images acquired by surveillance cameras are complicated due to low resolution, complex background structure, and interference between people. In the embodiment of the present invention, the foreground extraction is performed by extracting the first foreground based on the shape similarity, extracting the second foreground in which a complicated image structure is simplified based on the similarity of pixels, have.

제3 블록 이미지를 생성하는 방법은 특별히 한정되지 않으며, 소정 조건에 따라 픽셀들을 분류하는 다양한 방식이 이용될 수 있다. 예를 들어, 슈퍼 픽셀(Super Pixel) 방식 등의 다양한 기법이 활용될 수 있으며, 슈퍼 픽셀을 형성하는 방법 또한 특별히 제한되지 않는다. The method of generating the third block image is not particularly limited, and various methods of classifying pixels according to a predetermined condition may be used. For example, various techniques such as a super pixel method can be utilized, and a method of forming a super pixel is also not particularly limited.

도 4는 제3 블록 이미지 생성부(30)가 제1 블록 이미지(12)로부터 픽셀들을 특성 유사도에 따라 분류하여 제3 블록 이미지(31)를 생성하는 예시이다. 도 4 를 참고하면, 제3 블록 이미지(31)는 특성 유사도에 따라 수 개의 그룹으로 분류되어 있다.4 is an example in which the third block image generating unit 30 generates the third block image 31 by classifying the pixels from the first block image 12 according to the characteristic similarity. Referring to FIG. 4, the third block image 31 is classified into several groups according to the degree of characteristic similarity.

다시 도 1로 돌아가면, 신체영역 설정부(40)는 제2 블록 이미지와 제3 블록 이미지를 매칭(대응)시키고, 제2 블록 이미지(22)의 신체 윤곽선(23) 내에 적어도 일부가 중첩하는 제3 블록 이미지(31)의 그룹들 중 전체 픽셀 수 대비 윤곽선 내에 포함되는 픽셀 수가 임계비율 이상인 그룹들을 선택한다. 신체영역 설정부(40)는 제3 블록 이미지(31)에서 선택된 그룹들에 속하는 픽셀들을 신체영역으로 설정한다. 1, the body area setting unit 40 matches the second block image and the third block image, and at least partially overlaps the body contour 23 of the second block image 22 The number of pixels included in the contour line relative to the total number of pixels among the groups of the third block image 31 is selected to be equal to or greater than the threshold ratio. The body area setting unit 40 sets the pixels belonging to the groups selected in the third block image 31 as the body regions.

신체영역은 제1 블록 이미지에서 사람이 존재하는 것으로 판단되는 영역으로, 사람의 신체로써 추출할 영역을 의미하는데, 제2 블록 이미지와 제3 블록 이미지를 기반으로 형성된다.The body region is an area determined as a human being in the first block image, which is an area to be extracted as a human body, and is formed based on the second block image and the third block image.

도 5는 신체영역 설정부(40)가 신체영역을 설정하는 과정을 나타낸 도면이다. 신체영역 설정부(40)는 도 5(a)에 도시된 바와 같이 신체영역으로 설정할 그룹을 선별하기 위하여 제3 블록 이미지(31)에 제2 블록 이미지(22)의 윤곽선을 투영한다. 신체영역 설정부(40)는 도 5(b)에 도시된 바와 같이 제2 블록 이미지(22)의 신체 윤곽선(23) 내에 적어도 일부가 중첩하는 제3 블록 이미지(31)의 그룹들 중 전체 픽셀 수 대비 윤곽선 내에 포함되는 픽셀 수가 임계비율 이상인 그룹들을 선택한다. 도 5(c)에 도시된 바와 같이 신체영역 설정부(40)는 제3 블록 이미지(31)에서 선택된 그룹들에 속하는 픽셀들을 신체영역(431)으로 설정한다. 5 is a view showing a process of setting the body region by the body region setting unit 40. [ The body region setting section 40 projects the contour of the second block image 22 in the third block image 31 in order to select the group to be set as the body region as shown in Fig. 5 (a). The body region setting section 40 sets the entire body region of the third block image 31 among the groups of the third block image 31 at least partially overlapping within the body contour 23 of the second block image 22 as shown in Fig. Select groups whose number of pixels included in the contour line to the number is equal to or greater than the threshold ratio. The body area setting unit 40 sets the pixels belonging to the groups selected in the third block image 31 as the body area 431 as shown in FIG. 5 (c).

흉부의 예를 들면, 대각선으로 빗금 친 사각형 모양의 그룹(411)의 전체 픽셀 수 대비 해당 그룹(411)에 속하는 픽셀 중 제2 블록 이미지(22)의 윤곽선(23)내에 속하는 픽셀의 수가 임계비율 이상이라고 할 때, 해당 그룹(411)에 속하는 픽셀들을 신체영역(431)의 일부로 설정한다. 즉 대각선으로 빗금 친 사각형 모양의 그룹(411)에 속하는 모든 픽셀을 신체영역(431)의 일부로 설정한다. 이와 유사하게 왼쪽 다리에 대응하는 그룹(413)의 전체 픽셀수 대비 윤곽선(23) 내에 포함 된 픽셀의 수가 임계비율 이상이라고 할 때, 해당 그룹(413)에 속하는 모든 픽셀들을 신체영역(431)의 일부로 설정할 수 있다. 그러나 오른쪽 팔 상단 그룹(412)의 경우 해당 그룹(412)에 속하는 전체 픽셀수 대비 해당 그룹(412)에 속하는 픽셀 중 제2 블록 이미지(22)의 윤곽선(23)내에 속하는 픽셀의 수가 임계비율 이하라고 할 때, 해당 그룹(412)은 윤곽선(23)내에 속하는 픽셀이 있음에도 불구하고 신체영역(431)으로 설정되지 않는다. 임계비율은 사용자에 의해 설정될 수 있다. The number of pixels belonging to the contour 23 of the second block image 22 among the pixels belonging to the group 411 with respect to the total number of pixels of the rectangular group 411 hatched diagonally, for example, The pixels belonging to the group 411 are set as a part of the body area 431. [ That is, all the pixels belonging to the rectangular group 411 shaded diagonally are set as a part of the body region 431. Similarly, when the number of pixels included in the contour line 23 is equal to or greater than the threshold ratio, the pixel belonging to the group 413 is divided into the pixels of the body region 431 It can be set as a part. However, in the case of the right upper arm group 412, the number of pixels belonging to the contour line 23 of the second block image 22 among the pixels belonging to the corresponding group 412 with respect to the total number of pixels belonging to the corresponding group 412 is not more than the threshold ratio , The group 412 is not set to the body region 431 even though there are pixels belonging to the contour line 23. The threshold ratio can be set by the user.

상술한 방식에 의해서 신체영역(431) 즉 제1 블록 이미지로부터 전경으로 추출 할 영역이 결정된다. The area to be extracted from the body area 431, that is, the foreground image from the first block image, is determined by the above-described method.

전경 추출부(50)는 제3 블록 이미지(31)에서 신체영역(431)으로 설정된 픽셀들에 대응하는 제1 블록 이미지(12)의 픽셀들을 전경으로 추출한다. 즉 제1 블록 이미지(12)에서 전경으로 추출할 영역에 대응하는 영역 내에 있는 픽셀들을 전경으로 추출한다.The foreground extracting unit 50 extracts pixels of the first block image 12 corresponding to the pixels set in the body area 431 in the third block image 31 to the foreground. That is, the pixels in the area corresponding to the area to be extracted in the foreground in the first block image 12 are extracted into the foreground.

도 6은 전경 추출부(50)가 전경을 추출하는 과정을 나타낸 도면이다. 전술한 바와 같이 전경 추출부(50)는 제1 블록 이미지(12)에서 신체영역(431)에 대응하는 영역 내에 있는 픽셀들을 전경으로 추출한 전경 이미지(51)를 생성한다. 도 6의 전경 이미지(51)는 설명의 편의를 위해 전경으로 추출된 부분 이외의 부분은 배경으로서 블랙 처리하였다.6 is a diagram illustrating a process in which the foreground extracting unit 50 extracts a foreground. As described above, the foreground extracting unit 50 generates a foreground image 51 obtained by extracting pixels in the area corresponding to the body region 431 in the foreground in the first block image 12. The foreground image 51 of FIG. 6 is black-treated as the background except for the portion extracted by the foreground for convenience of explanation.

도 7 내지 도 9는 본 발명의 일 실시예에 따른 전경 추출의 예시이다. 이하에서는 도 2내지 도 6에서 설명한 내용과 중복하는 내용의 상세한 설명은 생략하겠다.7 to 9 are examples of foreground extraction according to an embodiment of the present invention. Hereinafter, detailed description of the contents overlapping with those described in Figs. 2 to 6 will be omitted.

도 7을 참고하면, 제1 블록 이미지 생성부(10)는 입력 이미지에서 움직임 영역의 탐지를 수행하여 제1 블록 이미지(13)를 추출한다. Referring to FIG. 7, the first block image generator 10 extracts a first block image 13 by performing a motion region detection on an input image.

제2 블록 이미지 생성부(20)는 기계학습(Machine Learning)기법을 이용하여 추출된 제1 블록 이미지(13)로부터 신체가 부분별로 구분된 이미지(24)를 생성한다. 또한 제2 블록 이미지 생성부(20)는 구분된 신체의 각 부분을 이용하여 신체 전체의 윤곽선을 추출하여 제2 블록 이미지(25)를 생성한다.The second block image generation unit 20 generates an image 24 in which the body is segmented from the first block image 13 extracted using a machine learning technique. The second block image generating unit 20 extracts contours of the whole body using each part of the divided body to generate a second block image 25. [

도 8을 참고하면, 제3 블록 이미지 생성부(30)는 제1 블록 이미지(13)의 픽셀들을 휘도에 따라 적어도 하나의 그룹으로 분류한 제3 블록 이미지(32)를 생성한다. 제3 블록 이미지(32)를 생성하는 방법은 특별히 한정되지 않으나, 본 실시예에서는 Super Pixel 기법이 활용되었다.Referring to FIG. 8, the third block image generating unit 30 generates a third block image 32 in which the pixels of the first block image 13 are classified into at least one group according to the luminance. The method of generating the third block image 32 is not particularly limited, but in this embodiment, the Super Pixel technique is utilized.

신체영역 설정부(40)는 도 5 내지 도 6에서 상술한 바와 같이 제3 블록 이미지(32)의 그룹들 중 제2 블록 이미지(22)의 신체 윤곽선(23) 내에 픽셀 수가 임계비율 이상 포함된 그룹들을 선택하고, 선택된 그룹들에 속하는 모든 픽셀들을 신체영역으로 설정한다. The body region setting section 40 sets the number of pixels within the body contour 23 of the second block image 22 among the groups of the third block image 32 as described above with reference to Figs. Selects the groups, and sets all the pixels belonging to the selected groups as the body regions.

도 9를 참조하면, 전경 추출부(50)는 제1 블록 이미지(13)로부터 신체영역 설정부(40)에서 설정된 신체영역에 대응하는 픽셀들을 전경 이미지(52)로 추출한다. 9, the foreground extracting unit 50 extracts, from the first block image 13, pixels corresponding to the body region set by the body region setting unit 40, into the foreground image 52. FIG.

도 10은 본 발명의 일 실시예에 따른 전경 추출 장치의 전경 추출 방법을 설명하는 흐름도이다. 이하에서는 도 2 내지 도 9에서 설명한 내용과 중복하는 내용의 상세한 설명은 생략하겠다.10 is a flowchart illustrating a foreground extraction method of a foreground extracting apparatus according to an embodiment of the present invention. Hereinafter, detailed description of the contents overlapping with those described in Figs. 2 to 9 will be omitted.

제1 블록 이미지 생성부(10)는 입력 이미지(11)에서 움직임 영역의 탐지를 수행하여 움직임 영역을 포함하는 제1 블록 이미지(12)를 생성한다(S61). 이 때 제1 블록 이미지(12)는 신체의 전부 또는 일부를 포함할 수 있다. The first block image generation unit 10 detects a motion region in the input image 11 to generate a first block image 12 including a motion region (S61). At this time, the first block image 12 may include all or part of the body.

제2 블록 이미지 생성부(20)는 제1 블록 이미지(12)로부터 신체의 각 부분을 검출하고, 검출된 신체의 외곽선만을 추출하여 신체 전체의 실루엣이 획득된 제2 블록 이미지(22)를 생성한다(S62). The second block image generating unit 20 detects each part of the body from the first block image 12 and extracts only the outline of the detected body to generate a second block image 22 in which the whole body silhouette is acquired (S62).

제3 블록 이미지 생성부(30)는 제1 블록 이미지(12)로부터 픽셀들을 특성 유사도에 따라 분류하여 제3 블록 이미지(31)를 생성한다(S63). The third block image generation unit 30 generates the third block image 31 by classifying the pixels from the first block image 12 according to the degree of similarity (S63).

제2 블록 이미지 생성(S62)과 제3 블록 이미지 생성(S63)은 순차, 또는 동시에 병렬적으로 행해질 수 있다. 제2 블록 이미지 생성(S62)과 제3 블록 이미지 생성(S63) 순서는 설정에 따라 달라질 수 있다. The second block image generation (S62) and the third block image generation (S63) may be performed sequentially or simultaneously in parallel. The order of the second block image generation (S62) and the third block image generation (S63) may vary depending on the setting.

신체영역 설정부(40)는 제2 블록 이미지(22)와 제3 블록 이미지(31)로부터 신체영역을 설정한다(S64). 신체영역 설정부(40)는 제2 블록 이미지(22)와 제3 블록 이미지(31)를 매칭(대응)시키고, 제2 블록 이미지(22)의 신체 윤곽선(23) 내에 적어도 일부 중첩하는 제3 블록 이미지(31)의 그룹들 중 전체 픽셀 수 대비 중첩하는 픽셀 수가 임계비율 이상 포함된 그룹들을 선택한다. 신체영역 설정부(40)는 제3 블록 이미지(31)에서 선택된 그룹들에 속하는 모든 픽셀들을 신체영역(431)으로 설정한다. The body region setting section 40 sets the body region from the second block image 22 and the third block image 31 (S64). The body area setting unit 40 matches the second block image 22 with the third block image 31 and sets the third block image 22 to the third block image 22 in a manner that at least partially overlaps the body contour 23 of the second block image 22. [ The number of pixels overlapping the total number of pixels among the groups of the block image 31 is more than the threshold ratio. The body area setting unit 40 sets all the pixels belonging to the groups selected in the third block image 31 as the body area 431. [

전경 추출부(50)는 제1 블록 이미지(12)로부터 제3 블록 이미지(31)에서 신체영역(431)으로 설정된 픽셀들에 대응하는 위치의 픽셀들을 전경으로 추출한다(S65). The foreground extracting unit 50 extracts pixels in the foreground from the first block image 12 at positions corresponding to the pixels set in the body area 431 in the third block image 31 at step S65.

본 발명의 실시예는 두 가지의 신체 인식 기법을 상호 보완적으로 사용함으로써 보다 정확한 전경 추출을 할 수 있다.The embodiment of the present invention can more precisely extract foreground by using two kinds of body recognition techniques complementarily.

본 발명의 실시예는 전경 추출을 요하는 다양한 장치에 유용하게 사용될 수 있다. 보다 구체적으로 본 발명의 실시예는 사람 계수 장치, 사람 추적 장치, 사람 인식 장치 등의 장치에 활용이 가능하다.Embodiments of the present invention can be usefully used in various devices requiring foreground extraction. More specifically, the embodiments of the present invention can be applied to devices such as a human counting device, a human tracking device, and a human recognition device.

본 발명의 실시예에 따른 전경 추출 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.The foreground extracting method according to the embodiment of the present invention can be implemented as a computer-readable code on a computer-readable recording medium. A computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer system is stored. Examples of the computer-readable recording medium include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage, and the like. In addition, the computer-readable recording medium may be distributed over network-connected computer systems so that computer readable codes can be stored and executed in a distributed manner. In addition, functional programs, codes, and code segments for implementing the present invention can be easily inferred by programmers of the technical field to which the present invention belongs.

본 발명은 첨부된 도면에 도시된 일 실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 수 있을 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is clearly understood that the same is by way of illustration and example only and is not to be taken by way of limitation, You will understand.

1: 전경 추출 장치
2: 영상 획득 장치
10: 제1 블록 이미지 생성부
20: 제2 블록 이미지 생성부
30: 제3 블록 이미지 생성부
40: 신체영역 설정부
50: 전경 추출부1: Foreground extraction device
2: Image acquisition device
10: First block image generating unit
20: second block image generating unit
30: Third block image generating unit
40: body area setting unit
50: foreground extracting unit

Claims (6)

입력 이미지에서 검출된 사람 신체의 적어도 일부를 포함하는 제1 블록 이미지를 추출하는 단계;
상기 제1 블록 이미지에서 상기 신체의 일 부분에 대한 형상과 기 학습된 신체의 각 부분에 대한 기준형상의 유사도를 판단하여 상기 신체를 부분별로 구분하고, 상기 부분별로 구분된 신체의 전체 윤곽선이 추출된 제2 블록 이미지를 생성하는 단계;
상기 제1 블록 이미지의 픽셀들을 특성 유사도에 따라 적어도 하나의 그룹으로 분류한 제3 블록 이미지를 생성하는 단계;
상기 제3 블록 이미지의 그룹들 중 전체 픽셀 수 대비 상기 제2 블록 이미지의 상기 윤곽선 내에 속하는 픽셀 수가 임계비율 이상인 적어도 하나의 그룹을 선택하고, 상기 선택된 적어도 하나의 그룹에 속하는 모든 픽셀들을 신체영역으로 설정하는 단계; 및
상기 제1 블록 이미지로부터 상기 제3 블록 이미지에서 설정된 신체영역에 대응하는 영역의 픽셀들을 전경 픽셀들로 추출하는 단계;를 포함하는 전경 추출 방법.Extracting a first block image including at least a portion of the human body detected in the input image;
The first block image is used to determine the similarity between the shape of a part of the body and the reference shape of each part of the learned body to divide the body into parts and extract the entire outline of the body divided by the parts Generating a second block image;
Generating a third block image in which pixels of the first block image are classified into at least one group according to characteristic similarity;
Selecting at least one group in which the number of pixels belonging to the outline of the second block image is equal to or greater than a threshold ratio with respect to the total number of pixels of the groups of the third block image and selecting all pixels belonging to the selected at least one group as a body area ; And
Extracting pixels of a region corresponding to a body region set in the third block image from the first block image with foreground pixels. 제1항에 있어서, 상기 제2 블록 이미지 생성 단계는
데이터베이스에 저장된 신체의 각 부분에 대한 기준형상과 상기 제1 블록 이미지의 일부분의 형상에 대한 패턴매칭을 통해 상기 제1 블록 이미지의 픽셀들 중 신체에 해당하는 픽셀들을 신체의 부분에 따라 서로 다른 색으로 분류하는 단계; 및
상기 부분별로 분류된 신체의 전체 윤곽선을 추출하는 단계;를 포함하는 것을 특징으로 하는 전경 추출 방법.The method of claim 1, wherein the second block image generation step
A plurality of pixels corresponding to the body of the pixels of the first block image are arranged in different colors according to a part of the body through pattern matching of a reference shape for each part of the body stored in the database and a shape of a part of the first block image, ; And
And extracting a whole contour of the body classified by the parts. 제1항에 있어서, 상기 제3 블록 이미지 생성 단계는
휘도 유사도를 기초로 상기 제1 블록 이미지의 픽셀들을 적어도 하나의 그룹으로 분류하는 단계;를 포함하는 것을 특징으로 하는 전경 추출 방법.The method of claim 1, wherein the third block image generation step
And classifying the pixels of the first block image into at least one group based on the luminance similarity. 입력 이미지에서 검출된 사람 신체의 적어도 일부를 포함하는 제1 블록 이미지를 추출하는 제1 블록 이미지 생성부;
상기 제1 블록 이미지에서 상기 신체의 일 부분에 대한 형상과 기 학습된 신체의 각 부분에 대한 기준형상의 유사도를 판단하여 상기 신체를 부분별로 구분하고, 상기 부분별로 구분된 신체의 전체 윤곽선이 추출된 제2 블록 이미지를 생성하는 제2 블록 이미지 생성부;
상기 제1 블록 이미지의 픽셀들을 특성 유사도에 따라 적어도 하나의 그룹으로 분류한 제3 블록 이미지를 생성하는 제3 블록 이미지 생성부;
상기 제3 블록 이미지의 그룹들 중 전체 픽셀 수 대비 상기 제2 블록 이미지의 상기 윤곽선 내에 속하는 픽셀 수가 임계비율 이상인 적어도 하나의 그룹을 선택하고, 상기 선택된 적어도 하나의 그룹에 속하는 모든 픽셀들을 신체영역으로 설정하는 신체영역 설정부; 및
상기 제1 블록 이미지로부터 상기 제3 블록 이미지에서 설정된 신체영역에 대응하는 영역의 픽셀들을 전경 픽셀들로 추출하는 전경 추출부;를 포함하는 전경 추출 장치.A first block image generation unit for extracting a first block image including at least a part of the human body detected in the input image;
The first block image is used to determine the similarity between the shape of a part of the body and the reference shape of each part of the learned body to divide the body into parts and extract the entire outline of the body divided by the parts A second block image generator for generating a second block image;
A third block image generation unit for generating a third block image in which pixels of the first block image are classified into at least one group according to the characteristic similarity;
Selecting at least one group in which the number of pixels belonging to the outline of the second block image is equal to or greater than a threshold ratio with respect to the total number of pixels of the groups of the third block image and selecting all pixels belonging to the selected at least one group as a body area A body region setting section for setting the body region; And
And a foreground extracting unit for extracting, from the first block image, pixels of a region corresponding to the body region set in the third block image, as foreground pixels. 제4항에 있어서 상기 제2 블록 이미지 생성부는
데이터베이스에 저장된 신체의 각 부분에 대한 기준형상과 상기 제1 블록 이미지의 일부분의 형상에 대한 패턴매칭을 통해 상기 제1 블록 이미지의 픽셀들 중 신체에 해당하는 픽셀들을 신체의 부분에 따라 서로 다른 색으로 분류하고,
상기 부분별로 분류된 신체의 전체 윤곽선을 추출하는 전경 추출 장치.The apparatus of claim 4, wherein the second block image generator
A plurality of pixels corresponding to the body of the pixels of the first block image are arranged in different colors according to a part of the body through pattern matching of a reference shape for each part of the body stored in the database and a shape of a part of the first block image, However,
And extracting a whole contour of the body classified by the parts. 제4항에 있어서 상기 제3 블록 이미지 생성부는
휘도 유사도를 기초로 상기 제1 블록 이미지의 픽셀들을 적어도 하나의 그룹으로 분류하는 것을 특징으로 하는 전경 추출 장치.The apparatus of claim 4, wherein the third block image generator comprises:
And classifies the pixels of the first block image into at least one group based on the luminance similarity.
KR1020150084331A 2015-06-15 2015-06-15 Foreground area extracting method and apparatus KR102414953B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150084331A KR102414953B1 (en) 2015-06-15 2015-06-15 Foreground area extracting method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150084331A KR102414953B1 (en) 2015-06-15 2015-06-15 Foreground area extracting method and apparatus

Publications (2)

Publication Number Publication Date
KR20160147512A true KR20160147512A (en) 2016-12-23
KR102414953B1 KR102414953B1 (en) 2022-06-30

Family

ID=57736135

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150084331A KR102414953B1 (en) 2015-06-15 2015-06-15 Foreground area extracting method and apparatus

Country Status (1)

Country Link
KR (1) KR102414953B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11316845A (en) * 1998-03-02 1999-11-16 Fuji Photo Film Co Ltd Method and device for extracting main object
JP2005149145A (en) * 2003-11-14 2005-06-09 Konica Minolta Holdings Inc Object detecting device and method, and computer program
KR101035990B1 (en) 2008-08-27 2011-05-23 한국외국어대학교 연구산학협력단 Image Segmentation and Computer-readable medium
JP2014016710A (en) * 2012-07-06 2014-01-30 Toyota Central R&D Labs Inc Object detection device and program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11316845A (en) * 1998-03-02 1999-11-16 Fuji Photo Film Co Ltd Method and device for extracting main object
JP2005149145A (en) * 2003-11-14 2005-06-09 Konica Minolta Holdings Inc Object detecting device and method, and computer program
KR101035990B1 (en) 2008-08-27 2011-05-23 한국외국어대학교 연구산학협력단 Image Segmentation and Computer-readable medium
JP2014016710A (en) * 2012-07-06 2014-01-30 Toyota Central R&D Labs Inc Object detection device and program

Also Published As

Publication number Publication date
KR102414953B1 (en) 2022-06-30

Similar Documents

Publication Publication Date Title
JP4216668B2 (en) Face detection / tracking system and method for detecting and tracking multiple faces in real time by combining video visual information
US6661907B2 (en) Face detection in digital images
JP5554984B2 (en) Pattern recognition method and pattern recognition apparatus
JP4479478B2 (en) Pattern recognition method and apparatus
US20130230245A1 (en) People counting device, people counting method and people counting program
JP2019109709A (en) Image processing apparatus, image processing method and program
JP2012226745A (en) Method and system for detecting body in depth image
JP6351243B2 (en) Image processing apparatus and image processing method
KR101279561B1 (en) A fast and accurate face detection and tracking method by using depth information
KR101449744B1 (en) Face detection device and method using region-based feature
Symeonidis et al. Improving neural non-maximum suppression for object detection by exploiting interest-point detectors
US12020510B2 (en) Person authentication apparatus, control method, and non-transitory storage medium
US20200034649A1 (en) Object tracking system, intelligent imaging device, object feature extraction device, and object feature extraction method
Hoque et al. Computer vision based gesture recognition for desktop object manipulation
Fleuret et al. Re-identification for improved people tracking
US10832044B2 (en) Image recognition device and image recognition program
KR20200010658A (en) Method for identifing person, computing system and program using the same
CN117475353A (en) Video-based abnormal smoke identification method and system
Zhang et al. Moving pedestrian detection based on motion segmentation
Piérard et al. A probabilistic pixel-based approach to detect humans in video streams
JP5217917B2 (en) Object detection and tracking device, object detection and tracking method, and object detection and tracking program
JP6393495B2 (en) Image processing apparatus and object recognition method
JP2017033556A (en) Image processing method and electronic apparatus
KR20160147512A (en) Foreground area extracting method and apparatus
Mattheij et al. Depth-based detection using Haarlike features

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant