KR102629594B1

KR102629594B1 - Method for distinguishing object from backgrounds

Info

Publication number: KR102629594B1
Application number: KR1020180041248A
Authority: KR
Inventors: 이상하; 유지상; 이준환; 임정은; 심진욱
Original assignee: 한화비전 주식회사; 광운대학교 산학협력단
Priority date: 2018-04-09
Filing date: 2018-04-09
Publication date: 2024-01-29
Also published as: KR20190118078A

Abstract

본 발명의 일 실시예에 따른 입력 영상에서 객체와 배경을 구분하는 방법은, 픽셀 별 색상 정보 및 픽셀 별 텍스쳐(Texture) 정보를 포함하는 복수의 배경 샘플(Sample)과 상기 입력 영상의 색상 정보 및 텍스쳐 정보의 비교 결과에 기초하여, 상기 입력 영상을 구성 하는 적어도 하나의 픽셀을 배경 픽셀 및 객체 픽셀 중 어느 하나로 구분한 제1 영상을 생성하는 단계; 및 상기 제1 영상에서 상기 객체 픽셀로 구분된 픽셀 중, 소정의 블링킹(Blinking) 조건을 만족하는 픽셀을 상기 배경 픽셀로 재구분 하는 단계;를 포함할 수 있다.A method for distinguishing between an object and a background in an input image according to an embodiment of the present invention includes a plurality of background samples including color information for each pixel and texture information for each pixel, color information of the input image, and Based on a result of comparing texture information, generating a first image in which at least one pixel constituting the input image is divided into one of a background pixel and an object pixel; and reclassifying pixels that satisfy a predetermined blinking condition among the pixels classified as the object pixels in the first image as the background pixels.

Description

{METHOD FOR DISTINGUISHING OBJECT FROM BACKGROUNDS}

본 발명의 실시예들은 객체 및 배경 구분 방법에 관한 것이다.Embodiments of the present invention relate to a method for distinguishing objects and backgrounds.

오늘날 다수의 감시카메라가 도처에 설치되어 있고, 감시카메라가 획득한 영상을 분석하는 다양한 기술들이 개발되고 있다.Today, numerous surveillance cameras are installed everywhere, and various technologies are being developed to analyze the images obtained by surveillance cameras.

특히 감시카메라의 설치 대수가 증가함에 따라, 관리자가 모든 감시카메라의 영상을 육안으로 관찰하고 분석하는 것은 사실상 불가능해진 실정이다. 따라서 감시 장치에 의해 보다 정확하고 세밀하게 영상을 분석할 수 있는 방법의 필요성이 대두되고 있다.In particular, as the number of installed surveillance cameras increases, it has become virtually impossible for managers to visually observe and analyze images from all surveillance cameras. Therefore, the need for a method to analyze images more accurately and in detail by surveillance devices is emerging.

본 발명은 복수의 배경 샘플과 색상의 유사성이나 텍스쳐의 유사성이 떨어지는 픽셀을 확인하고, 이에 기초하여 입력 영상 내에서 객체 픽셀과 배경 픽셀을 구분하고자 한다.The present invention seeks to identify pixels that have poor color or texture similarity with a plurality of background samples and distinguish between object pixels and background pixels in an input image based on this.

또한 본 발명은 입력 영상과 배경 샘플의 비교에 있어서, 입력 영상의 배경의 유동 정도를 반영한 기준에 따라 입력 영상에서 배경을 분리하고자 한다. In addition, the present invention seeks to separate the background from the input image according to a standard that reflects the degree of movement of the background of the input image when comparing the input image and the background sample.

또한 본 발명은 동적 배경에 의한 객체 구분의 오류를 최소화 하고자 한다.Additionally, the present invention seeks to minimize errors in object classification caused by dynamic backgrounds.

상기 제1 영상을 생성하는 단계는, 상기 복수의 배경 샘플 각각에 대해서, 상기 입력 영상을 구성하는 제1 픽셀의 색상 값의 크기와 상기 복수의 배경 샘플 각각을 구성하는 적어도 하나의 픽셀의 색상 값의 크기간의 차인 색상 차이를 산출하는 단계; 및 상기 복수의 배경 샘플 중 상기 색상 차이가 소정의 임계 색상 차이 미만인 픽셀을 포함하는 배경 샘플의 수가 소정의 제1 임계 샘플의 수 미만인 경우, 상기 제1 픽셀을 상기 객체 픽셀로 구분하는 단계;를 포함할 수 있다. 이때 상기 소정의 임계 색상 차이는 상기 입력 영상의 배경의 움직임이 클수록 증가할 수 있다.The step of generating the first image includes, for each of the plurality of background samples, a size of a color value of a first pixel constituting the input image and a color value of at least one pixel constituting each of the plurality of background samples. Calculating a color difference, which is the difference between the sizes of; and when the number of background samples including pixels whose color difference is less than a predetermined threshold color difference among the plurality of background samples is less than the number of first threshold samples, classifying the first pixel as the object pixel; It can be included. At this time, the predetermined threshold color difference may increase as the movement of the background of the input image increases.

상기 제1 영상을 생성하는 단계는, 상기 복수의 배경 샘플 각각에 대해서, 상기 입력 영상을 구성하는 제1 픽셀의 텍스쳐에 대응되는 바이너리(Binary) 값과 상기 복수의 배경 샘플 각각을 구성하는 적어도 하나의 픽셀의 텍스쳐에 대응되는 바이너리 값 간에 일치하지 않는 비트(Bit)의 수를 확인하는 단계; 및 상기 복수의 배경 샘플 중 상기 일치하지 않는 비트의 수가 소정의 임계 비트수 차이 미만인 픽셀을 포함하는 배경 샘플의 수가 소정의 제2 임계 샘플의 수 미만인 경우, 상기 제1 픽셀을 상기 객체 픽셀로 구분하는 단계;를 포함할 수 있다. 이때 상기 소정의 임계 비트수 차이는 상기 입력 영상의 배경의 움직임이 클수록 증가할 수 있다.The step of generating the first image includes, for each of the plurality of background samples, a binary value corresponding to the texture of the first pixel constituting the input image and at least one constituting each of the plurality of background samples. Checking the number of bits that do not match between binary values corresponding to the texture of the pixel; and when the number of background samples including pixels in which the number of mismatched bits among the plurality of background samples is less than a predetermined threshold bit number difference is less than the number of predetermined second threshold samples, the first pixel is classified as the object pixel. It may include; At this time, the predetermined threshold number of bits difference may increase as the background movement of the input image increases.

상기 소정의 블링킹 조건을 만족하는 픽셀을 상기 배경 픽셀로 재구분 하는 단계는 상기 객체 픽셀로 구분된 픽셀 중 제2 픽셀의 단위시간당 상기 배경 픽셀에서 상기 객체 픽셀로 분류가 전환 되는 횟수 및 상기 객체 픽셀에서 상기 배경 픽셀로 분류가 전환 되는 횟수의 합이 소정의 제1 임계 횟수 이상인 경우, 상기 제2 픽셀을 상기 배경 픽셀로 분류하는 단계; 및 상기 객체 픽셀로 구분된 픽셀 중 제3 픽셀의 상기 배경 픽셀에서 상기 객체 픽셀로 분류가 전환 되는 횟수 및 상기 객체 픽셀에서 상기 배경 픽셀로 분류가 전환 되는 횟수의 합이 소정의 제2 임계 횟수 이상인 경우, 상기 제3 픽셀을 상기 배경 픽셀로 분류하는 단계;를 포함할 수 있다.The step of reclassifying pixels that satisfy the predetermined blinking condition into the background pixels includes the number of times that the second pixel among the pixels classified as the object pixels is converted from the background pixel to the object pixel per unit time and the object pixel. classifying the second pixel as the background pixel when the sum of the number of times the pixel is switched to the background pixel is greater than or equal to a predetermined first threshold number; and the sum of the number of times the classification is switched from the background pixel to the object pixel of the third pixel among the pixels divided by the object pixel and the number of times the classification is switched from the object pixel to the background pixel is greater than or equal to a predetermined second threshold number. In this case, it may include classifying the third pixel as the background pixel.

전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다. Other aspects, features and advantages in addition to those described above will become apparent from the following drawings, claims and detailed description of the invention.

본 발명의 일 실시예에 따르면, 복수의 배경 샘플과 색상의 유사성이나 텍스쳐의 유사성이 떨어지는 픽셀을 확인하고, 이에 기초하여 입력 영상 내에서 객체 픽셀과 배경 픽셀을 구분할 수 있다.According to an embodiment of the present invention, pixels that have poor color or texture similarity with a plurality of background samples can be identified, and based on this, object pixels and background pixels can be distinguished in the input image.

특히 입력 영상과 배경 영상의 비교에 있어서, 입력 영상 배경의 유동 정도를 반영한 기준에 따라 입력 영상에서 배경을 분리하여 동적 배경에 의한 객체 구분의 오류를 최소화 할 수 있다.In particular, when comparing the input image and the background image, errors in object classification due to the dynamic background can be minimized by separating the background from the input image according to a standard that reflects the degree of movement of the input image background.

도 1은 본 발명의 일 실시예에 따른 객체와 배경을 구분하는 시스템을 개략적으로 도시한다.
도 2는 본 발명의 일 실시예에 따른 객체 및 배경 구분 장치의 구성을 개략적으로 도시한다.
도 3은 본 발명의 일 실시예에 따른 입력 영상의 예시이다.
도 4는 종래기술에 따라 도 3과 같은 입력 영상에서 객체를 구분한 영상의 예시이다.
도 5는 객체 구분 에러의 예시를 도시한 도면이다.
도 6은 객체가 구분된 영상의 예시이다.
도 7은 본 발명의 일 실시예에 따른 객체 및 배경 구분 장치에 의해 수행되는 객체 및 배경 구분 방법을 설명하기 위한 흐름도이다.Figure 1 schematically shows a system for distinguishing objects and backgrounds according to an embodiment of the present invention.
Figure 2 schematically shows the configuration of an object and background classification device according to an embodiment of the present invention.
Figure 3 is an example of an input image according to an embodiment of the present invention.
FIG. 4 is an example of an image in which objects are classified from an input image such as that of FIG. 3 according to the prior art.
Figure 5 is a diagram showing an example of an object classification error.
Figure 6 is an example of an image in which objects are divided.
Figure 7 is a flowchart illustrating a method for distinguishing objects and backgrounds performed by an object and background distinction apparatus according to an embodiment of the present invention.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다. Since the present invention can be modified in various ways and can have various embodiments, specific embodiments will be illustrated in the drawings and described in detail in the detailed description. The effects and features of the present invention and methods for achieving them will become clear by referring to the embodiments described in detail below along with the drawings. However, the present invention is not limited to the embodiments disclosed below and may be implemented in various forms.

이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. When describing with reference to the drawings, identical or corresponding components will be assigned the same reference numerals and redundant description thereof will be omitted. .

이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. 이하의 실시예에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 이하의 실시예에서, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다. 도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 형태는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다. In the following embodiments, terms such as first and second are used not in a limiting sense but for the purpose of distinguishing one component from another component. In the following examples, singular terms include plural terms unless the context clearly dictates otherwise. In the following embodiments, terms such as include or have mean that the features or components described in the specification exist, and do not exclude in advance the possibility of adding one or more other features or components. In the drawings, the sizes of components may be exaggerated or reduced for convenience of explanation. For example, the size and shape of each component shown in the drawings are arbitrarily shown for convenience of explanation, so the present invention is not necessarily limited to what is shown.

도 1은 본 발명의 일 실시예에 따른 객체와 배경을 구분하는 시스템을 개략적으로 도시한다.Figure 1 schematically shows a system for distinguishing objects and backgrounds according to an embodiment of the present invention.

본 발명의 일 실시예에 따른 객체와 배경을 구분하는 시스템은, 객체 및 배경 구분 장치(100)가 복수의 배경 샘플과 영상 장치(200A, 200B)가 획득한 입력 영상의 비교 결과에 기초하여, 입력 영상에서 객체와 배경을 구분할 수 있다.In a system for distinguishing between objects and backgrounds according to an embodiment of the present invention, the object and background distinguishing device 100 is based on a comparison result between a plurality of background samples and input images acquired by the imaging devices 200A and 200B, Objects and backgrounds can be distinguished from the input image.

이를 위하여 본 발명의 일 실시예에 따른 객체와 배경을 구분하는 시스템은 객체 및 배경 구분 장치(100), 영상 장치(200A, 200B) 및 이들을 상호 연결하는 통신망(300)을 포함할 수 있다.To this end, the system for distinguishing objects and backgrounds according to an embodiment of the present invention may include an object and background classification device 100, imaging devices 200A and 200B, and a communication network 300 interconnecting them.

본 발명에서 '배경 샘플'은 해당 배경 이미지의 픽셀 별 색상 정보 및 픽셀 별 텍스쳐(Texture) 정보를 포함하는 데이터를 의미할 수 있다. 이와 같은 배경 샘플은 미리 수집되어 후술하는 메모리(114)에 저장되어 있을 수 있으며, 복수일 수 있다.In the present invention, 'background sample' may mean data including color information for each pixel and texture information for each pixel of the background image. Such background samples may be collected in advance and stored in the memory 114, which will be described later, and may be plural.

본 발명에서 어떤 픽셀에 대한 '텍스쳐 정보'는 해당 픽셀과 인접하는 픽셀 간의 유사한 정도를 나타내는 데이터를 의미할 수 있다. 가령 텍스쳐 정보는 해당 픽셀의 픽셀값과 해당 픽셀에 인접하는 16 개의 픽셀값 간의 차이가 소정의 임계 차이 미만인지 여부를 판단하여 바이너리(Binary) 값의 형태로 나타낸 것일 수 있다.In the present invention, 'texture information' about a pixel may mean data indicating the degree of similarity between the pixel and adjacent pixels. For example, texture information may be expressed in the form of a binary value by determining whether the difference between the pixel value of the corresponding pixel and the 16 pixel values adjacent to the corresponding pixel is less than a predetermined threshold difference.

한편 본 발명에서 어떤 픽셀에 대한 '색상 정보'는 해당 픽셀의 색상에 관한 정보를 포함하는 데이터를 의미할 수 있다. 가령 색상 정보는 해당 픽셀의 R, G, B 값을 의미할 수 있다.Meanwhile, in the present invention, 'color information' about a pixel may mean data containing information about the color of the pixel. For example, color information may mean the R, G, and B values of the corresponding pixel.

본 발명의 일 실시예에 따른 영상 장치(200A, 200B)는 영상을 다른 장치로 전송하는 다양한 장치일 수 있다. 가령 영상 장치(200A, 200B)는 도 1에 도시된 바와 같이 영상을 획득하는 영상 획득 장치일 수 있다. 또한 영상 장치(200A, 200B)는 영상을 저장하고, 저장된 영상을 다른 장치에 제공하는 장치일 수도 있다.The imaging devices 200A and 200B according to an embodiment of the present invention may be various devices that transmit images to other devices. For example, the imaging devices 200A and 200B may be image acquisition devices that acquire images as shown in FIG. 1 . Additionally, the imaging devices 200A and 200B may be devices that store images and provide the stored images to other devices.

한편 영상 장치(200A, 200B)는 도 1에 도시된 바와 같이 두 개일수도 있고, 시스템의 구성에 따라 한 개이거나, 세 개 이상일 수도 있다. Meanwhile, there may be two imaging devices 200A and 200B as shown in FIG. 1, or there may be one or three or more depending on the configuration of the system.

이하에서는 설명의 편의를 위하여 영상 장치(200A, 200B)가 영상 획득 장치이며, 한 개인 것을 전제로 설명한다. 다만 이는 예시적인 것으로 본 발명의 사상이 이에 한정되는 것은 아니다.Hereinafter, for convenience of explanation, the description will be made on the assumption that the imaging devices 200A and 200B are image acquisition devices and are a single device. However, this is an example and the spirit of the present invention is not limited thereto.

본 발명의 일 실시예에 따른 통신망(300)은 전술한 영상 장치(200A, 200B)와 후술하는 객체 및 배경 구분 장치(100) 간의 데이터를 송수신하는 통로로써의 역할을 수행할 수 있다. 가령 통신망(300)은 제2 영상 장치(200B)가 객체 및 배경 구분 장치(100)로 입력 영상을 전송하는 경로를 제공할 수 있다. 이때 통신망(300)은 예컨대 LANs(Local Area Networks), WANs(Wide Area Networks), MANs(Metropolitan Area Networks), ISDNs(Integrated Service Digital Networks) 등의 유선 네트워크나, 무선 LANs, CDMA, 블루투스, 위성 통신 등의 무선 네트워크를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.The communication network 300 according to an embodiment of the present invention may serve as a path for transmitting and receiving data between the above-described imaging devices 200A and 200B and the object and background classification device 100 described later. For example, the communication network 300 may provide a path through which the second imaging device 200B transmits an input image to the object and background classification device 100. At this time, the communication network 300 may be, for example, a wired network such as LANs (Local Area Networks), WANs (Wide Area Networks), MANs (Metropolitan Area Networks), and ISDNs (Integrated Service Digital Networks), wireless LANs, CDMA, Bluetooth, or satellite communication. It may cover wireless networks such as, but the scope of the present invention is not limited thereto.

본 발명의 일 실시예에 따른 객체 및 배경 구분 장치(100)는 입력 영상에서 객체와 배경을 구분할 수 있다. 이때 객체 및 배경 구분 장치(100)는 전술한 영상 장치(200A, 200B)이거나, 영상 장치(200A, 200B)에 포함된 장치일 수 있다. 또한 객체 및 배경 구분 장치(100)는 VMS(Video Management System), CMS(Central Management System), NVR(Network Video Recorder) 및 DVR(Digital Video Recorder)중 어느 하나이거나, 어느 하나에 포함된 장치일 수 있다. The object and background classification device 100 according to an embodiment of the present invention can distinguish between an object and a background in an input image. At this time, the object and background distinction device 100 may be the above-described imaging devices 200A and 200B, or may be a device included in the imaging devices 200A and 200B. Additionally, the object and background separation device 100 may be any one of, or a device included in, a Video Management System (VMS), a Central Management System (CMS), a Network Video Recorder (NVR), and a Digital Video Recorder (DVR). there is.

나아가 객체 및 배경 구분 장치(100)는 전술한 장치와 구분되는 별개의 장치일 수도 있다. Furthermore, the object and background classification device 100 may be a separate device from the above-described device.

다만 이하에서는 설명의 편의를 위하여 객체 및 배경 구분 장치(100)가 독립된 장치임을 전제로 설명한다.However, for convenience of explanation, the description below assumes that the object and background classification device 100 is an independent device.

도 2는 본 발명의 일 실시예에 따른 객체 및 배경 구분 장치(100)의 구성을 개략적으로 도시한다.Figure 2 schematically shows the configuration of an object and background classification device 100 according to an embodiment of the present invention.

도 2를 참조하면, 본 발명의 일 실시예에 따른 객체 및 배경 구분 장치(100)는 통신부(110), 제어부(120), 디스플레이부(130) 및 메모리(140)를 포함할 수 있다.Referring to FIG. 2, the object and background classification device 100 according to an embodiment of the present invention may include a communication unit 110, a control unit 120, a display unit 130, and a memory 140.

본 발명의 일 실시예에 따른 통신부(110)는 다른 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있다.The communication unit 110 according to an embodiment of the present invention may be a device that includes hardware and software necessary to transmit and receive signals such as control signals or data signals through wired or wireless connections with other network devices.

본 발명의 일 실시예에 따른 제어부(120)는 복수의 배경 샘플과 입력 영상의 비교 결과에 기초하여, 입력 영상에서 객체와 배경을 구분할 수 있다. 이때 제어부(120)는 프로세서(Processor)와 같이 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 여기서, '프로세서(Processor)'는, 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(Microprocessor), 중앙처리장치(Central Processing Unit: CPU), 프로세서 코어(Processor Core), 멀티프로세서(Multiprocessor), ASIC(Application-Specific Integrated Circuit), FPGA(Field Programmable Gate Array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다. The control unit 120 according to an embodiment of the present invention may distinguish between an object and a background in an input image based on a comparison result between a plurality of background samples and the input image. At this time, the control unit 120 may include all types of devices that can process data, such as a processor. Here, 'processor' may mean, for example, a data processing device built into hardware that has a physically structured circuit to perform a function expressed by code or instructions included in a program. Examples of data processing devices built into hardware include microprocessor, central processing unit (CPU), processor core, multiprocessor, and application-specific integrated (ASIC). Circuit), FPGA (Field Programmable Gate Array), etc., but the scope of the present invention is not limited thereto.

이와 같은 제어부(120)는 단일 프로세서로 구성될 수도 있고, 제어부에 의해 수행되는 기능의 단위로 구분되는 복수개의 프로세서로 구성될 수도 있다. Such a control unit 120 may be composed of a single processor or may be composed of a plurality of processors divided into units of functions performed by the control unit.

본 발명의 일 실시예에 따른 디스플레이부(130)는 제어부(120)가 생성한 전기 신호에 따라 도형, 문자 또는 이들의 조합을 표시하는 표시장치를 의미할 수 있다. 예컨대, 디스플레이부(130)는 CRT(Cathode Ray Tube), LCD(Liqu-id Crystal Display), PDP (Plasma Display Panel) 및 OLED(Organic Light Emitting Diode) 중 어느 하나로 구성될 수 있으나, 본 발명의 사상은 이에 제한되지 않는다.The display unit 130 according to an embodiment of the present invention may refer to a display device that displays shapes, letters, or a combination thereof according to an electrical signal generated by the control unit 120. For example, the display unit 130 may be composed of any one of a cathode ray tube (CRT), a liquid-id crystal display (LCD), a plasma display panel (PDP), and an organic light emitting diode (OLED), but the spirit of the present invention is not limited to this.

본 발명의 일 실시예에 따른 메모리(140)는 제어부(120)가 처리하는 데이터, 명령어(instructions), 프로그램, 프로그램 코드, 또는 이들의 결합 등을 일시적 또는 영구적으로 저장하는 기능을 수행한다. 또한 메모리(140)는 전술한 바와 같이 미리 수집된 배경 샘플을 저장하는 기능을 수행할 수도 있다. 이와 같은 메모리(140)는 자기 저장 매체(magnetic storage media) 또는 플래시 저장 매체(flash storage media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.The memory 140 according to an embodiment of the present invention functions to temporarily or permanently store data, instructions, programs, program codes, or a combination thereof processed by the control unit 120. Additionally, the memory 140 may perform a function of storing previously collected background samples as described above. Such memory 140 may include magnetic storage media or flash storage media, but the scope of the present invention is not limited thereto.

이하에서는 제어부(120)에 의해 수행되는 객체 및 배경 구분 방법을 중심으로 설명한다.Hereinafter, the description will focus on the object and background distinction method performed by the control unit 120.

도 3은 본 발명의 일 실시예에 따른 입력 영상의 예시이다.Figure 3 is an example of an input image according to an embodiment of the present invention.

설명의 편의를 위하여 입력영상이 도 3에 도시된 바와 같이 흐르는 강에서 보트를 타는 사람에 대한 영상이라고 가정한다. 이러한 경우 객체는 보트 및 보트를 타는 사람이고, 배경은 보트 및 보트를 타는 사람을 제외한 나머지(즉 흐르는 강, 강 뒤의 땅 및 나무 등)일 수 있다.For convenience of explanation, it is assumed that the input image is an image of a person riding a boat on a flowing river, as shown in FIG. 3. In this case, the objects may be the boat and the boater, and the background may be anything other than the boat and the boater (i.e., a flowing river, the land behind the river, trees, etc.).

전술한 가정 하에, 본 발명의 일 실시예에 따른 제어부(120)는 복수의 배경 샘플과 입력 영상의 비교 결과에 기초하여, 입력 영상을 구성하는 적어도 하나의 픽셀을 배경 픽셀 및 객체 픽셀 중 어느 하나로 구분한 제1 영상을 생성할 수 있다. 이때 본 발명의 일 실시예에 따른 제어부(120)는 배경 샘플과 입력 영상의 비교에 있어서, 양자의 픽셀 별 색상 정보 및 픽셀 별 텍스쳐(Texture) 정보를 비교할 수 있다.Under the above-described assumption, the control unit 120 according to an embodiment of the present invention divides at least one pixel constituting the input image into one of a background pixel and an object pixel, based on the result of comparing a plurality of background samples and the input image. A divided first image can be generated. At this time, the control unit 120 according to an embodiment of the present invention may compare the color information for each pixel and the texture information for each pixel when comparing the background sample and the input image.

먼저 제어부(120)가 양자의 픽셀 별 색상 정보를 비교하는 과정을 보다 상세히 살펴보자. 본 발명의 일 실시예에 따른 제어부(120)는 복수의 배경 샘플 각각에 대해서, 입력 영상을 구성하는 제1 픽셀의 색상 값의 크기와 복수의 배경 샘플 각각을 구성하는 적어도 하나의 픽셀의 색상 값의 크기간의 차인 색상 차이를 산출할 수 있다. First, let's look at the process in which the control unit 120 compares the color information for each pixel in more detail. The control unit 120 according to an embodiment of the present invention determines the size of the color value of the first pixel constituting the input image and the color value of at least one pixel constituting each of the plurality of background samples, for each of the plurality of background samples. The color difference, which is the difference between the sizes, can be calculated.

바꾸어 말하면, 제어부(120)는 입력 영상을 구성하는 어느 하나의 픽셀의 색상 값의 크기와 복수의 배경 샘플 중 어느 하나의 샘플을 구성하는 어느 하나의 픽셀의 색상 값의 크기를 비교할 수 있다. 이때 제어부(120)는 이와 같은 비교를 입력 영상을 구성하는 복수의 픽셀에 대해서 수행할 수도 있고, 해당 배경 샘플을 구성하는 복수의 픽셀에 대해서 수행할 수도 있고, 나아가 복수의 배경 샘플에 대해서 수행할 수도 있다.In other words, the control unit 120 may compare the size of the color value of one pixel constituting the input image with the size of the color value of one pixel constituting one sample among the plurality of background samples. At this time, the control unit 120 may perform such comparison on a plurality of pixels constituting the input image, a plurality of pixels constituting the background sample, or further, perform the comparison on a plurality of background samples. It may be possible.

이때 본 발명의 일 실시예에 따른 제어부(120)는 복수의 배경 샘플 중 전술한 과정에 의해서 산출되는 색상 차이가 소정의 임계 색상 차이 미만인 픽셀을 포함하는 배경 샘플의 수가 소정의 제1 임계 샘플의 수 미만인 경우, 제1 픽셀을 객체 픽셀로 구분할 수 있다.At this time, the control unit 120 according to an embodiment of the present invention determines that the number of background samples including pixels whose color difference calculated by the above-described process is less than the predetermined threshold color difference among the plurality of background samples is equal to the number of the first threshold sample. If the number is less than that, the first pixel may be classified as an object pixel.

바꾸어 말하면, 제어부(120)는 복수의 배경 샘플 중에 제1 픽셀(입력 영상을 구성하는 픽셀)과의 색상 차이가 소정의 임계 색상 차이 미만인 픽셀을 포함하는 배경 샘플의 수를 확인하고, 확인된 배경 샘플의 수가 제1 임계 샘플의 수 미만인 경우 해당 픽셀(즉 입력 영상의 제1 픽셀)을 객체 픽셀로 구분할 수 있다.In other words, the control unit 120 checks the number of background samples including pixels whose color difference from the first pixel (pixel constituting the input image) is less than a predetermined threshold color difference among the plurality of background samples, and determines the number of background samples that are included in the identified background samples. If the number of samples is less than the number of first threshold samples, the corresponding pixel (i.e., the first pixel of the input image) may be classified as an object pixel.

한편 본 발명의 일 실시예에 따른 제어부(120)는 입력 영상의 배경의 움직임이 클 수록 전술한 '소정의 임계 색상 차이'를 증가시킬 수 있다. Meanwhile, the control unit 120 according to an embodiment of the present invention may increase the above-mentioned 'predetermined threshold color difference' as the movement of the background of the input image increases.

바꾸어 말하면 본 발명의 일 실시예에 따른 제어부(120)는 입력 영상의 배경의 움직임이 클수록 객체 픽셀로 구분하는 기준이 되는 임계 색상 차이를 증가시킴으로써, 움직이는 배경에 포함되는 픽셀들이 객체로 잘못 구분되는 확률을 낮출 수 있다. 가령 도 3과 같은 입력 영상의 경우 강물이 움직이므로, 본 발명의 일 실시예에 따른 제어부(120)는 전술한 임계 색상 차이를 증가시켜, 강물을 구성하는 픽셀들이 객체로 잘못 구분되는 확률을 낮출 수 있다. In other words, the control unit 120 according to an embodiment of the present invention increases the threshold color difference, which is the standard for classifying as object pixels, as the movement of the background of the input image increases, thereby preventing pixels included in the moving background from being incorrectly classified as objects. You can lower the probability. For example, in the case of the input image shown in FIG. 3, since the river is moving, the control unit 120 according to an embodiment of the present invention increases the above-described threshold color difference to reduce the probability that pixels constituting the river are incorrectly classified as objects. You can.

한편 본 발명의 일 실시예에 따른 제어부(120)는 이전 입력 영상 및/또는 과거 입력 영상의 임계 색상 차이를 참조하여, 현재 입력 영상의 임계 색상 차이를 결정함으로써, 상술한 바와 같이 움직이는 배경에 포함되는 픽셀들이 객체로 잘못 구분되는 확률을 낮출 수 있다. 가령 입력 영상이 프레임(Frame)단위로 입력되는 경우, 제어부(120)는 이전 프레임의 임계 색상 차이를 참조하여 현재 프레임의 임계 색상 차이를 결정할 수 있다.Meanwhile, the control unit 120 according to an embodiment of the present invention determines the critical color difference of the current input image by referring to the previous input image and/or the critical color difference of the past input image, thereby including it in the moving background as described above. This can lower the probability that the pixels are incorrectly classified as objects. For example, when the input image is input in units of frames, the control unit 120 may determine the critical color difference of the current frame by referring to the critical color difference of the previous frame.

이와 같이 본 발명의 일 실시예에 따른 제어부(120)는 복수의 배경 샘플과의 비교를 통하여, 배경과 색상의 유사성이 떨어지는 픽셀을 객체픽셀로 구분하되, 동적 배경에서 객체 픽셀로 구분하는 기준을 강화하여 객체 구분의 정확도를 향상시킬 수 있다.In this way, the control unit 120 according to an embodiment of the present invention classifies pixels that have less similarity in color with the background as object pixels through comparison with a plurality of background samples, and sets a standard for dividing the dynamic background into object pixels. By strengthening it, the accuracy of object classification can be improved.

다음으로 제어부(120)가 양자의 픽셀 별 텍스쳐 정보를 비교하는 과정을 보다 상세히 살펴보자. 본 발명의 일 실시예에 따른 제어부(120)는 복수의 배경 샘플 각각에 대해서, 입력 영상을 구성하는 제1 픽셀의 텍스쳐에 대응되는 바이너리 값과 복수의 배경 샘플 각각을 구성하는 적어도 하나의 픽셀의 텍스쳐에 대응되는 바이너리 값 간에 일치하지 않는 비트(Bit)의 수를 확인할 수 있다. Next, let's look at the process in which the control unit 120 compares the texture information for each pixel in more detail. The control unit 120 according to an embodiment of the present invention provides, for each of a plurality of background samples, a binary value corresponding to the texture of the first pixel constituting the input image and at least one pixel constituting each of the plurality of background samples. You can check the number of bits that do not match between the binary values corresponding to the texture.

바꾸어 말하면, 제어부(120)는 입력 영상을 구성하는 어느 하나의 픽셀의 바이너리 값과 복수의 배경 샘플 중 어느 하나의 샘플을 구성하는 어느 하나의 픽셀의 바이너리 값 간에 일치하지 않는 비트의 수를 확인할 수 있다. 이때 제어부(120)는 이와 같은 과정을 입력 영상을 구성하는 복수의 픽셀에 대해서 수행할 수도 있고, 해당 샘플을 구성하는 복수의 픽셀에 대해서 수행할 수도 있고, 나아가 복수의 샘플에 대해서 수행할 수도 있다. In other words, the control unit 120 can check the number of bits that do not match between the binary value of any one pixel constituting the input image and the binary value of any one pixel constituting any one sample among the plurality of background samples. there is. At this time, the control unit 120 may perform this process on a plurality of pixels constituting the input image, a plurality of pixels constituting the sample, or further, a plurality of samples. .

가령, 제1 픽셀의 텍스쳐에 대응되는 바이너리 값이 '101011'이고, 샘플을 구성하는 픽셀의 바이너리 값이 '111111'인 경우, 제어부(120)는 일치하지 않는 비트의 수가 2인 것으로 확인할 수 있다.(왜냐하면 두 번째 비트와 네 번째 비트가 일치하지 않으므로)For example, if the binary value corresponding to the texture of the first pixel is '101011' and the binary value of the pixel constituting the sample is '111111', the control unit 120 may determine that the number of mismatched bits is 2. .(because the second and fourth bits do not match)

이어서 본 발명의 일 실시예에 따른 제어부(120)는 복수의 배경 샘플 중 전술한 과정에 의해서 산출되는 일치하지 않는 비트의 수가 소정의 임계 비트수 차이 미만인 픽셀을 포함하는 배경 샘플의 수가 소정의 제2 임계 샘플의 수 미만인 경우, 제1 픽셀을 객체 픽셀로 구분할 수 있다.Subsequently, the control unit 120 according to an embodiment of the present invention determines that the number of background samples including pixels in which the number of non-matching bits calculated by the above-described process among the plurality of background samples is less than a predetermined threshold bit number difference is set to a predetermined number of background samples. If the number of samples is less than 2, the first pixel may be classified as an object pixel.

바꾸어 말하면, 제어부(120)는 복수의 배경 샘플 중에 제1 픽셀(입력 영상을 구성하는 픽셀)의 바이너리 값과 일치하지 않는 비트의 수가 소정의 임계 비트수 차이 미만인 픽셀을 포함하는 배경 샘플의 수를 확인하고, 확인된 배경 샘플의 수가 제2 임계 샘플의 수 미만인 경우 해당 픽셀(즉 제1 픽셀)을 객체 픽셀로 구분할 수 있다.In other words, the control unit 120 determines the number of background samples including pixels in which the number of bits that do not match the binary value of the first pixel (a pixel constituting the input image) is less than a predetermined threshold bit number difference among the plurality of background samples. Confirmation is made, and if the number of confirmed background samples is less than the number of second threshold samples, the corresponding pixel (i.e., the first pixel) may be classified as an object pixel.

이때 본 발명의 일 실시예에 따른 제어부(120)는 입력 영상의 배경의 움직임이 클 수록 전술한 '소정의 임계 비트수 차이'를 증가시킬 수 있다. At this time, the control unit 120 according to an embodiment of the present invention may increase the above-described 'predetermined threshold bit number difference' as the background movement of the input image increases.

바꾸어 말하면 본 발명의 일 실시예에 따른 제어부(120)는 입력 영상의 배경의 움직임이 클수록 객체 픽셀로 구분하는 기준이 되는 임계 비트수 차이를 증가시킴으로써, 움직이는 배경에 포함되는 픽셀들이 객체로 잘못 구분되는 확률을 낮출 수 있다. 가령 도 3과 같은 입력 영상의 경우 강물이 움직이므로, 본 발명의 일 실시예에 따른 제어부(120)는 전술한 임계 비트수 차이를 증가시켜, 강물을 구성하는 픽셀들이 객체로 잘못 구분되는 확률을 낮출 수 있다.In other words, the control unit 120 according to an embodiment of the present invention increases the difference in the critical number of bits, which is the standard for classifying pixels as object pixels, as the movement of the background of the input image increases, thereby incorrectly classifying pixels included in the moving background as objects. You can lower the probability of this happening. For example, in the case of the input image shown in FIG. 3, since the river is moving, the control unit 120 according to an embodiment of the present invention increases the above-described threshold bit number difference to reduce the probability that pixels constituting the river are incorrectly classified as objects. It can be lowered.

한편 본 발명의 일 실시예에 따른 제어부(120)는 이전 입력 영상 및/또는 과거 입력 영상의 임계 비트수 차이를 참조하여, 현재 입력 영상의 임계 비트수 차이를 결정함으로써, 상술한 바와 같이 움직이는 배경에 포함되는 픽셀들이 객체로 잘못 구분되는 확률을 낮출 수 있다. 가령 입력 영상이 프레임(Frame)단위로 입력되는 경우, 제어부(120)는 이전 프레임의 임계 비트수 차이를 참조하여 현재 프레임의 임계 비트수 차이를 결정할 수 있다.Meanwhile, the control unit 120 according to an embodiment of the present invention determines the critical bit number difference of the current input image by referring to the previous input image and/or the critical bit number difference between the past input image, thereby determining the moving background as described above. The probability that pixels included in are incorrectly classified as objects can be reduced. For example, when the input image is input in units of frames, the control unit 120 may determine the difference in the critical number of bits of the current frame by referring to the difference in the number of critical bits of the previous frame.

이와 같이 본 발명의 일 실시예에 따른 제어부(120)는 복수의 배경 샘플과의 비교를 통하여, 배경과 텍스쳐의 유사성이 떨어지는 픽셀을 객체픽셀로 구분 구분하되, 동적 배경에서 객체 픽셀로 구분하는 기준을 강화하여 객체 구분의 정확도를 향상시킬 수 있다.In this way, the control unit 120 according to an embodiment of the present invention classifies pixels that have low similarity between the background and texture as object pixels through comparison with a plurality of background samples, and sets the standard for dividing the dynamic background into object pixels. The accuracy of object classification can be improved by strengthening.

도 4는 종래기술에 따라 도 3과 같은 입력 영상에서 객체를 구분한 영상의 예시이다.FIG. 4 is an example of an image in which objects are classified from an input image such as that of FIG. 3 according to the prior art.

설명의 편의를 위해서, 입력영상이 도 3에 도시된 바와 같이 흐르는 강에서 보트를 타는 사람에 대한 영상이라고 가정한다. 또한 흰색으로 채색된 영역이 객체로 구분된 영역이고, 검은색으로 채색된 영역이 배경으로 구분된 영역인 것으로 가정한다. 즉, 보트와 보트를 타는 사람과 흐르는 강물의 일부 영역이 객체로 구분되고, 나머지 영역이 배경으로 구분되었다고 가정한다.For convenience of explanation, it is assumed that the input image is an image of a person riding a boat on a flowing river as shown in FIG. 3. Additionally, it is assumed that the area colored in white is the area divided by the object, and the area colored in black is the area divided by the background. In other words, assume that some areas of the boat, boaters, and flowing river water are divided into objects, and the remaining area is divided into the background.

종래기술은 이와 같이 동적 배경에 있어서, 객체와 배경을 구분하는 정확도가 높지 않았다. 특히 도 3과 같이 흐르는 강물과 같은 배경의 경우 배경의 형상이 시간의 흐름에 따라 변화하므로, 도 4에 도시된 바와 같이 보트 및 보트를 타는 사람 외에 강물의 일 부분이 객체로써 구분하였다.The prior art did not have high accuracy in distinguishing between objects and backgrounds in such dynamic backgrounds. In particular, in the case of a background such as a flowing river as shown in FIG. 3, the shape of the background changes over time, so as shown in FIG. 4, a portion of the river water in addition to the boat and the person riding the boat was classified as an object.

본 발명의 일 실시예에 따른 제어부(120)는 전술한 바와 같이 배경 샘플과 입력 영상의 색상의 유사성을 판단함에 있어서, 입력 영상의 배경의 움직임이 클수록 '소정의 임계 색상 차이'를 증가시켜, 움직이는 배경에 포함되는 픽셀들이 객체로 잘못 구분되는 확률을 낮출 수 있다.As described above, the control unit 120 according to an embodiment of the present invention determines the similarity between the background sample and the color of the input image by increasing the 'predetermined threshold color difference' as the background movement of the input image increases. The probability that pixels included in a moving background are incorrectly classified as objects can be reduced.

또한 이와 유사하게 본 발명의 일 실시예에 따른 제어부(120)는 배경 샘플과 입력 영상의 텍스쳐의 유사성을 판단함에 있어서, 입력 영상의 배경의 움직임이 클수록 '소정의 임계 비트수 차이'를 증가시켜, 움직이는 배경에 포함되는 픽셀들이 객체로 잘못 구분되는 확률을 낮출 수 있다.Also, similarly, when determining the similarity between the background sample and the texture of the input image, the control unit 120 according to an embodiment of the present invention increases the 'predetermined threshold number of bits difference' as the background movement of the input image increases. , the probability that pixels included in a moving background are incorrectly classified as objects can be reduced.

한편 본 발명의 일 실시예에 따른 제어부(120)는 객체와 배경 구분의 정확도를 향상시키기 위하여, 전술한 과정에 의해서 생성된 제1 영상에서 객체 픽셀로 구분된 픽셀 중, 소정의 블링킹(Blinking) 조건을 만족하는 픽셀을 배경 픽셀로 재구분 할 수 있다.Meanwhile, in order to improve the accuracy of distinguishing objects and backgrounds, the control unit 120 according to an embodiment of the present invention selects a predetermined blinking value among pixels classified as object pixels in the first image generated by the above-described process. ) Pixels that satisfy the conditions can be reclassified as background pixels.

이하에서는 전술한 과정에 의해서 생성된 제1 영상이 도 4인 것으로 가정하고, 이에 따라 제1 영상이 도 5와 같은 객체 구분 에러를 포함하는 것이라고 가정한다. 이때 도 4가 종래기술에 따른 객체 구분 영상임에도 불구하고, 본 발명에 따른 제1 영상인 것으로 가정하는 것은 단지 중복 도면의 최소화와 설명의 편의를 위한 것일 뿐이므로, 종래기술 대비 본 발명의 객체 구분의 효과가 현저하지 않음을 의미하는 것은 아니다.Hereinafter, it is assumed that the first image generated through the above-described process is that of FIG. 4, and accordingly, it is assumed that the first image includes an object classification error as shown in FIG. 5. At this time, although Figure 4 is an object classification image according to the prior art, assuming that it is the first image according to the present invention is only for the purpose of minimizing redundant drawings and convenience of explanation, so the object classification of the present invention compared to the prior art This does not mean that the effect is not significant.

상술한 가정 하에, 본 발명의 일 실시예에 따른 제어부(120)는 제1 영상에서 객체 픽셀로 구분된 픽셀 중 어느 하나의 픽셀인 제2 픽셀에 대해서, 단위시간당 배경 픽셀에서 객체 픽셀로 분류가 전환 되는 횟수 및 객체 픽셀에서 배경 픽셀로 분류가 전환 되는 횟수의 합이 소정의 제1 임계 횟수 이상인 경우, 제2 픽셀을 배경 픽셀로 재분류할 수 있다.Under the above-described assumption, the control unit 120 according to an embodiment of the present invention classifies the second pixel, which is one of the pixels classified as object pixels in the first image, from a background pixel to an object pixel per unit time. If the sum of the number of times of conversion and the number of times the classification from an object pixel to a background pixel is changed is greater than or equal to a predetermined first threshold number, the second pixel may be reclassified as a background pixel.

바꾸어 말하면, 제어부(120)는 입력 영상을 구성하는 어떤 픽셀의 단위시간당 분류 전환(객체 픽셀에서 배경 픽셀로 전환 또는 배경 픽셀에서 객체 픽셀로 전환)의 수, 즉 분류 전환 주파수가 소정의 기준 이상인 경우, 이러한 픽셀을 배경 픽셀로 재분류할 수 있다. In other words, the control unit 120 controls the number of classification transitions (transition from object pixel to background pixel or transition from background pixel to object pixel) per unit time of a certain pixel constituting the input image, that is, when the classification transition frequency is greater than a predetermined standard. , these pixels can be reclassified as background pixels.

또한 이와 유사하게, 본 발명의 일 실시예에 따른 제어부(120)는 객체 픽셀로 구분된 픽셀 중 어느 하나의 픽셀인 제3 픽셀에 대해서, 배경 픽셀에서 객체 픽셀로 분류가 전환 되는 횟수 및 객체 픽셀에서 배경 픽셀로 분류가 전환 되는 횟수의 합이 소정의 제2 임계 횟수 이상인 경우, 이러한 제3 픽셀을 상기 배경 픽셀로 재분류할 수 있다.Also, similarly, the control unit 120 according to an embodiment of the present invention determines the number of times the classification is changed from a background pixel to an object pixel and the object pixel for the third pixel, which is one of the pixels classified as object pixels. If the sum of the number of times the classification is changed from to the background pixel is greater than or equal to a predetermined second threshold number, this third pixel may be reclassified as the background pixel.

바꾸어 말하면, 제어부(120)는 입력 영상을 구성하는 어떤 픽셀의 분류 전환(객체 픽셀에서 배경 픽셀로 전환 또는 배경 픽셀에서 객체 픽셀로 전환) 횟수의 총 합이 소정의 기준 이상인 경우, 이러한 픽셀도 배경 픽셀로 재분류할 수 있다. In other words, if the total number of classification transitions (conversion from object pixels to background pixels or transitions from background pixels to object pixels) of certain pixels constituting the input image is greater than a predetermined standard, these pixels are also background pixels. Can be reclassified into pixels.

이로써 본 발명은 도 6에 도시된 바와 같이 동적 배경에 의한 객체 구분의 오류를 최소화할 수 있다.As a result, the present invention can minimize errors in object classification due to dynamic background, as shown in FIG. 6.

한편 본 발명의 일 실시예에 따른 제어부(120)는 입력 영상에 기초하여 배경 샘플을 업데이트 할 수 있다. 이때 본 발명의 일 실시예에 따른 제어부(120)는 복수의 배경 샘플들을 랜덤하게 선택하여 업데이트 할 수 있다.Meanwhile, the control unit 120 according to an embodiment of the present invention may update the background sample based on the input image. At this time, the control unit 120 according to an embodiment of the present invention may randomly select and update a plurality of background samples.

또한 본 발명의 일 실시예에 따른 제어부(120)는 입력 영상을 구성하는 제4 픽셀이 객체 픽셀로 분류될 가능성이 높을수록 업데이트 펙터(Factor)를 감소시킬 수 있고, 이러한 업데이트 펙터 만큼 입력 영상을 반영하여 배경 샘플을 업데이트 할 수 있다. In addition, the control unit 120 according to an embodiment of the present invention can reduce the update factor as the probability that the fourth pixel constituting the input image is classified as an object pixel increases, and increases the input image by this update factor. You can update the background sample to reflect this.

바꾸어 말하면, 제4 픽셀이 객체 필셀로 분류될 가능성이 높을수록(즉 배경 픽셀로 분류될 가능성이 낮을수록) 제4 픽셀을 포함하는 입력 영상을 적게 반영하여 배경 샘플을 업데이트 할 수 있다. 또한 제4 픽셀이 객체 필셀로 분류될 가능성이 낮을수록(즉 배경 픽셀로 분류될 가능성이 높을수록) 제4 픽셀을 포함하는 입력 영상을 많이 반영하여 배경 샘플을 업데이트 할 수 있다.In other words, the higher the possibility that the fourth pixel is classified as an object pixel (i.e., the lower the probability that it is classified as a background pixel), the less the input image including the fourth pixel can be reflected to update the background sample. Additionally, the lower the probability that the fourth pixel will be classified as an object pixel (i.e., the higher the probability that it will be classified as a background pixel), the more the input image including the fourth pixel can be reflected to update the background sample.

이로써 본 발명은 동적 배경에 의한 객체 구분의 오류를 최소화할 수 있다.As a result, the present invention can minimize errors in object classification due to dynamic background.

도 7은 본 발명의 일 실시예에 따른 객체 및 배경 구분 장치(100)에 의해 수행되는 객체 및 배경 구분 방법을 설명하기 위한 흐름도이다. 이하에서는 도 1 내지 도 6에서 설명한 내용과 중복하는 내용의 설명은 생략한다.FIG. 7 is a flowchart illustrating a method for distinguishing objects and backgrounds performed by the object and background distinction apparatus 100 according to an embodiment of the present invention. Hereinafter, descriptions of content that overlaps with the content described in FIGS. 1 to 6 will be omitted.

본 발명의 일 실시예에 따른 객체 및 배경 구분 장치(100)는 복수의 배경 샘플과 입력 영상의 비교 결과에 기초하여, 입력 영상을 구성하는 적어도 하나의 픽셀을 배경 픽셀 및 객체 픽셀 중 어느 하나로 구분한 제1 영상을 생성할 수 있다.(S71) 이때 본 발명의 일 실시예에 따른 객체 및 배경 구분 장치(100)는 배경 샘플과 입력 영상의 비교에 있어서, 양자의 픽셀 별 색상 정보 및 픽셀 별 텍스쳐(Texture) 정보를 비교할 수 있다.The object and background classification device 100 according to an embodiment of the present invention divides at least one pixel constituting the input image into one of a background pixel and an object pixel, based on the result of comparing a plurality of background samples and the input image. A first image can be generated. (S71) At this time, the object and background classification device 100 according to an embodiment of the present invention compares the background sample and the input image, and provides color information for each pixel and each pixel. You can compare texture information.

먼저 객체 및 배경 구분 장치(100)가 양자의 픽셀 별 색상 정보를 비교하는 과정을 보다 상세히 살펴보자. 본 발명의 일 실시예에 따른 객체 및 배경 구분 장치(100)는 복수의 배경 샘플 각각에 대해서, 입력 영상을 구성하는 제1 픽셀의 색상 값의 크기와 복수의 배경 샘플 각각을 구성하는 적어도 하나의 픽셀의 색상 값의 크기간의 차인 색상 차이를 산출할 수 있다. First, let's look at the process in which the object and background classification device 100 compares the color information for each pixel in more detail. The object and background classification device 100 according to an embodiment of the present invention provides, for each of a plurality of background samples, the size of the color value of the first pixel constituting the input image and at least one of the plurality of background samples. The color difference, which is the difference between the sizes of the color values of the pixels, can be calculated.

바꾸어 말하면, 객체 및 배경 구분 장치(100)는 입력 영상을 구성하는 어느 하나의 픽셀의 색상 값의 크기와 복수의 배경 샘플 중 어느 하나의 샘플을 구성하는 어느 하나의 픽셀의 색상 값의 크기를 비교할 수 있다. 이때 객체 및 배경 구분 장치(100)는 이와 같은 비교를 입력 영상을 구성하는 복수의 픽셀에 대해서 수행할 수도 있고, 해당 배경 샘플을 구성하는 복수의 픽셀에 대해서 수행할 수도 있고, 나아가 복수의 배경 샘플에 대해서 수행할 수도 있다.In other words, the object and background classification device 100 compares the size of the color value of any one pixel constituting the input image with the size of the color value of any one pixel constituting any one sample among the plurality of background samples. You can. At this time, the object and background distinction device 100 may perform such comparison on a plurality of pixels constituting the input image, a plurality of pixels constituting the background sample, or further, a plurality of background samples. It can also be performed for .

이때 본 발명의 일 실시예에 따른 객체 및 배경 구분 장치(100)는 복수의 배경 샘플 중 전술한 과정에 의해서 산출되는 색상 차이가 소정의 임계 색상 차이 미만인 픽셀을 포함하는 배경 샘플의 수가 소정의 제1 임계 샘플의 수 미만인 경우, 제1 픽셀을 객체 픽셀로 구분할 수 있다.At this time, the object and background distinction device 100 according to an embodiment of the present invention determines that the number of background samples including pixels whose color difference calculated by the above-described process is less than a predetermined threshold color difference among the plurality of background samples is set to a predetermined threshold. If the number of samples is less than 1, the first pixel may be classified as an object pixel.

바꾸어 말하면, 객체 및 배경 구분 장치(100)는 복수의 배경 샘플 중에 제1 픽셀(입력 영상을 구성하는 픽셀)과의 색상 차이가 소정의 임계 색상 차이 미만인 픽셀을 포함하는 배경 샘플의 수를 확인하고, 확인된 배경 샘플의 수가 제1 임계 샘플의 수 미만인 경우 해당 픽셀(즉 입력 영상의 제1 픽셀)을 객체 픽셀로 구분할 수 있다.In other words, the object and background classification device 100 determines the number of background samples including pixels whose color difference from the first pixel (pixel constituting the input image) is less than a predetermined threshold color difference among the plurality of background samples, , if the number of confirmed background samples is less than the number of first threshold samples, the corresponding pixel (i.e., the first pixel of the input image) may be classified as an object pixel.

한편 본 발명의 일 실시예에 따른 객체 및 배경 구분 장치(100)는 입력 영상의 배경의 움직임이 클 수록 전술한 '소정의 임계 색상 차이'를 증가시킬 수 있다. Meanwhile, the object and background classification device 100 according to an embodiment of the present invention can increase the above-mentioned 'predetermined threshold color difference' as the movement of the background of the input image increases.

바꾸어 말하면 본 발명의 일 실시예에 따른 객체 및 배경 구분 장치(100)는 입력 영상의 배경의 움직임이 클수록 객체 픽셀로 구분하는 기준이 되는 임계 색상 차이를 증가시킴으로써, 움직이는 배경에 포함되는 픽셀들이 객체로 잘못 구분되는 확률을 낮출 수 있다. 가령 도 3과 같은 입력 영상의 경우 강물이 움직이므로, 본 발명의 일 실시예에 따른 객체 및 배경 구분 장치(100)는 전술한 임계 색상 차이를 증가시켜, 강물을 구성하는 픽셀들이 객체로 잘못 구분되는 확률을 낮출 수 있다. In other words, the object and background classification device 100 according to an embodiment of the present invention increases the threshold color difference, which is a standard for classifying object pixels, as the movement of the background of the input image increases, so that pixels included in the moving background become objects. The probability of misclassification can be reduced. For example, in the case of the input image shown in FIG. 3, since the river water moves, the object and background classification device 100 according to an embodiment of the present invention increases the above-described threshold color difference, so that the pixels constituting the river water are incorrectly classified as objects. You can lower the probability of this happening.

한편 본 발명의 일 실시예에 따른 객체 및 배경 구분 장치(100)는 이전 입력 영상 및/또는 과거 입력 영상의 임계 색상 차이를 참조하여, 현재 입력 영상의 임계 색상 차이를 결정함으로써, 상술한 바와 같이 움직이는 배경에 포함되는 픽셀들이 객체로 잘못 구분되는 확률을 낮출 수 있다. 가령 입력 영상이 프레임(Frame)단위로 입력되는 경우, 객체 및 배경 구분 장치(100)는 이전 프레임의 임계 색상 차이를 참조하여 현재 프레임의 임계 색상 차이를 결정할 수 있다.Meanwhile, the object and background classification device 100 according to an embodiment of the present invention determines the critical color difference of the current input image by referring to the previous input image and/or the critical color difference of the past input image, as described above. The probability that pixels included in a moving background are incorrectly classified as objects can be reduced. For example, when the input image is input in units of frames, the object and background classification device 100 may determine the critical color difference of the current frame by referring to the critical color difference of the previous frame.

이와 같이 본 발명의 일 실시예에 따른 객체 및 배경 구분 장치(100)는 복수의 배경 샘플과의 비교를 통하여, 배경과 색상의 유사성이 떨어지는 픽셀을 객체픽셀로 구분하되, 동적 배경에서 객체 픽셀로 구분하는 기준을 강화하여 객체 구분의 정확도를 향상시킬 수 있다.In this way, the object and background classification device 100 according to an embodiment of the present invention distinguishes pixels that have less similarity in color with the background as object pixels through comparison with a plurality of background samples, and divides them into object pixels from the dynamic background. The accuracy of object classification can be improved by strengthening the classification criteria.

다음으로 객체 및 배경 구분 장치(100)가 양자의 픽셀 별 텍스쳐 정보를 비교하는 과정을 보다 상세히 살펴보자. 본 발명의 일 실시예에 따른 객체 및 배경 구분 장치(100)는 복수의 배경 샘플 각각에 대해서, 입력 영상을 구성하는 제1 픽셀의 텍스쳐에 대응되는 바이너리 값과 복수의 배경 샘플 각각을 구성하는 적어도 하나의 픽셀의 텍스쳐에 대응되는 바이너리 값 간에 일치하지 않는 비트(Bit)의 수를 확인할 수 있다. Next, let's look at the process in which the object and background classification device 100 compares the texture information for each pixel in more detail. The object and background classification device 100 according to an embodiment of the present invention provides, for each of a plurality of background samples, a binary value corresponding to the texture of the first pixel constituting the input image and at least a binary value constituting each of the plurality of background samples. You can check the number of bits that do not match between the binary values corresponding to the texture of one pixel.

바꾸어 말하면, 객체 및 배경 구분 장치(100)는 입력 영상을 구성하는 어느 하나의 픽셀의 바이너리 값과 복수의 배경 샘플 중 어느 하나의 샘플을 구성하는 어느 하나의 픽셀의 바이너리 값 간에 일치하지 않는 비트의 수를 확인할 수 있다. 이때 객체 및 배경 구분 장치(100)는 이와 같은 과정을 입력 영상을 구성하는 복수의 픽셀에 대해서 수행할 수도 있고, 해당 샘플을 구성하는 복수의 픽셀에 대해서 수행할 수도 있고, 나아가 복수의 샘플에 대해서 수행할 수도 있다. In other words, the object and background distinction device 100 detects bits that do not match between the binary value of any pixel constituting the input image and the binary value of any one pixel constituting any one sample among the plurality of background samples. You can check the number. At this time, the object and background distinction device 100 may perform this process on a plurality of pixels constituting the input image, a plurality of pixels constituting the corresponding sample, or further, a plurality of samples. It can also be done.

가령, 제1 픽셀의 텍스쳐에 대응되는 바이너리 값이 '101011'이고, 샘플을 구성하는 픽셀의 바이너리 값이 '111111'인 경우, 객체 및 배경 구분 장치(100)는 일치하지 않는 비트의 수가 2인 것으로 확인할 수 있다.(왜냐하면 두 번째 비트와 네 번째 비트가 일치하지 않으므로)For example, if the binary value corresponding to the texture of the first pixel is '101011' and the binary value of the pixel constituting the sample is '111111', the object and background distinguishing device 100 determines that the number of mismatched bits is 2. (because the second and fourth bits do not match)

이어서 본 발명의 일 실시예에 따른 객체 및 배경 구분 장치(100)는 복수의 배경 샘플 중 전술한 과정에 의해서 산출되는 일치하지 않는 비트의 수가 소정의 임계 비트수 차이 미만인 픽셀을 포함하는 배경 샘플의 수가 소정의 제2 임계 샘플의 수 미만인 경우, 제1 픽셀을 객체 픽셀로 구분할 수 있다.Next, the object and background distinction apparatus 100 according to an embodiment of the present invention selects a background sample including pixels in which the number of non-matching bits calculated by the above-described process among a plurality of background samples is less than a predetermined threshold number of bits difference. If the number is less than the predetermined number of second threshold samples, the first pixel may be classified as an object pixel.

바꾸어 말하면, 객체 및 배경 구분 장치(100)는 복수의 배경 샘플 중에 제1 픽셀(입력 영상을 구성하는 픽셀)의 바이너리 값과 일치하지 않는 비트의 수가 소정의 임계 비트수 차이 미만인 픽셀을 포함하는 배경 샘플의 수를 확인하고, 확인된 배경 샘플의 수가 제2 임계 샘플의 수 미만인 경우 해당 픽셀(즉 제1 픽셀)을 객체 픽셀로 구분할 수 있다.In other words, the object and background distinguishing device 100 selects a background sample including pixels in which the number of bits that do not match the binary value of the first pixel (pixel constituting the input image) is less than a predetermined threshold bit number difference among the plurality of background samples. The number of samples may be checked, and if the number of confirmed background samples is less than the number of second threshold samples, the corresponding pixel (i.e., the first pixel) may be classified as an object pixel.

이때 본 발명의 일 실시예에 따른 객체 및 배경 구분 장치(100)는 입력 영상의 배경의 움직임이 클 수록 전술한 '소정의 임계 비트수 차이'를 증가시킬 수 있다. At this time, the object and background classification device 100 according to an embodiment of the present invention can increase the above-mentioned 'predetermined threshold number of bits difference' as the movement of the background of the input image increases.

바꾸어 말하면 본 발명의 일 실시예에 따른 객체 및 배경 구분 장치(100)는 입력 영상의 배경의 움직임이 클수록 객체 픽셀로 구분하는 기준이 되는 임계 비트수 차이를 증가시킴으로써, 움직이는 배경에 포함되는 픽셀들이 객체로 잘못 구분되는 확률을 낮출 수 있다. 가령 도 3과 같은 입력 영상의 경우 강물이 움직이므로, 본 발명의 일 실시예에 따른 객체 및 배경 구분 장치(100)는 전술한 임계 비트수 차이를 증가시켜, 강물을 구성하는 픽셀들이 객체로 잘못 구분되는 확률을 낮출 수 있다.In other words, the object and background classification device 100 according to an embodiment of the present invention increases the difference in the critical number of bits, which is the standard for classifying object pixels, as the movement of the background of the input image increases, so that the pixels included in the moving background are The probability of being incorrectly classified as an object can be reduced. For example, in the case of an input image such as that of FIG. 3, since the river is moving, the object and background classification device 100 according to an embodiment of the present invention increases the above-described threshold bit number difference, so that the pixels constituting the river are mistaken as objects. The probability of being distinguished can be lowered.

한편 본 발명의 일 실시예에 따른 객체 및 배경 구분 장치(100)는 이전 입력 영상 및/또는 과거 입력 영상의 임계 비트수 차이를 참조하여, 현재 입력 영상의 임계 비트수 차이를 결정함으로써, 상술한 바와 같이 움직이는 배경에 포함되는 픽셀들이 객체로 잘못 구분되는 확률을 낮출 수 있다. 가령 입력 영상이 프레임(Frame)단위로 입력되는 경우, 객체 및 배경 구분 장치(100)는 이전 프레임의 임계 비트수 차이를 참조하여 현재 프레임의 임계 비트수 차이를 결정할 수 있다.Meanwhile, the object and background classification device 100 according to an embodiment of the present invention determines the critical bit number difference of the current input image by referring to the critical bit number difference between the previous input image and/or the past input image, and thereby achieves the above-mentioned As shown, the probability that pixels included in a moving background are incorrectly classified as objects can be reduced. For example, when the input image is input in units of frames, the object and background distinction device 100 may determine the difference in the critical number of bits of the current frame by referring to the difference in the number of critical bits in the previous frame.

이와 같이 본 발명의 일 실시예에 따른 객체 및 배경 구분 장치(100)는 복수의 배경 샘플과의 비교를 통하여, 배경과 텍스쳐의 유사성이 떨어지는 픽셀을 객체픽셀로 구분 구분하되, 동적 배경에서 객체 픽셀로 구분하는 기준을 강화하여 객체 구분의 정확도를 향상시킬 수 있다.In this way, the object and background classification device 100 according to an embodiment of the present invention divides pixels with poor background and texture similarity into object pixels through comparison with a plurality of background samples, and classifies object pixels in the dynamic background. The accuracy of object classification can be improved by strengthening the classification criteria.

다시 도 4를 참조하여, 종래기술에 따라 도 3과 같은 입력 영상에서 객체를 구분한 결과 영상을 설명한다. 이때 설명의 편의를 위해서, 입력영상이 도 3에 도시된 바와 같이 흐르는 강에서 보트를 타는 사람에 대한 영상이라고 가정한다. 또한 흰색으로 채색된 영역이 객체로 구분된 영역이고, 검은색으로 채색된 영역이 배경으로 구분된 영역인 것으로 가정한다. 즉, 보트와 보트를 타는 사람과 흐르는 강물의 일부 영역이 객체로 구분되고, 나머지 영역이 배경으로 구분되었다고 가정한다.Referring again to FIG. 4, the resulting image of classifying objects in the input image as shown in FIG. 3 according to the prior art will be described. At this time, for convenience of explanation, it is assumed that the input image is an image of a person riding a boat on a flowing river, as shown in FIG. 3. Additionally, it is assumed that the area colored in white is the area divided by the object, and the area colored in black is the area divided by the background. In other words, assume that some areas of the boat, boaters, and flowing river water are divided into objects, and the remaining area is divided into the background.

본 발명의 일 실시예에 따른 객체 및 배경 구분 장치(100)는 전술한 바와 같이 배경 샘플과 입력 영상의 색상의 유사성을 판단함에 있어서, 입력 영상의 배경의 움직임이 클수록 '소정의 임계 색상 차이'를 증가시켜, 움직이는 배경에 포함되는 픽셀들이 객체로 잘못 구분되는 확률을 낮출 수 있다.As described above, the object and background classification device 100 according to an embodiment of the present invention determines the similarity between the colors of the background sample and the input image, and the greater the movement of the background of the input image, the 'predetermined threshold color difference'. By increasing , the probability that pixels included in the moving background are incorrectly classified as objects can be lowered.

또한 이와 유사하게 본 발명의 일 실시예에 따른 객체 및 배경 구분 장치(100)는 배경 샘플과 입력 영상의 텍스쳐의 유사성을 판단함에 있어서, 입력 영상의 배경의 움직임이 클수록 '소정의 임계 비트수 차이'를 증가시켜, 움직이는 배경에 포함되는 픽셀들이 객체로 잘못 구분되는 확률을 낮출 수 있다.Also, similarly, the object and background classification device 100 according to an embodiment of the present invention determines the similarity between the background sample and the texture of the input image, and the greater the movement of the background of the input image, the 'predetermined threshold bit number difference'. By increasing ', you can lower the probability that pixels included in the moving background are incorrectly classified as objects.

이어서 본 발명의 일 실시예에 따른 객체 및 배경 구분 장치(100)는 객체와 배경 구분의 정확도를 향상시키기 위하여, 전술한 과정에 의해서 생성된 제1 영상에서 객체 픽셀로 구분된 픽셀 중, 소정의 블링킹(Blinking) 조건을 만족하는 픽셀을 배경 픽셀로 재구분 할 수 있다. (S72)Next, in order to improve the accuracy of object and background distinction, the object and background distinction device 100 according to an embodiment of the present invention selects a predetermined number of pixels classified as object pixels in the first image generated by the above-described process. Pixels that satisfy blinking conditions can be reclassified as background pixels. (S72)

상술한 가정 하에, 본 발명의 일 실시예에 따른 객체 및 배경 구분 장치(100)는 제1 영상에서 객체 픽셀로 구분된 픽셀 중 어느 하나의 픽셀인 제2 픽셀에 대해서, 단위시간당 배경 픽셀에서 객체 픽셀로 분류가 전환 되는 횟수 및 객체 픽셀에서 배경 픽셀로 분류가 전환 되는 횟수의 합이 소정의 제1 임계 횟수 이상인 경우, 제2 픽셀을 배경 픽셀로 재분류할 수 있다.Under the above-described assumption, the object and background distinction apparatus 100 according to an embodiment of the present invention is capable of dividing the object pixel from the background pixel per unit time to the second pixel, which is one of the pixels classified as object pixels in the first image. If the sum of the number of times the classification is changed to a pixel and the number of times the classification is changed from an object pixel to a background pixel is greater than or equal to a predetermined first threshold number, the second pixel may be reclassified as a background pixel.

바꾸어 말하면, 객체 및 배경 구분 장치(100)는 입력 영상을 구성하는 어떤 픽셀의 단위시간당 분류 전환(객체 픽셀에서 배경 픽셀로 전환 또는 배경 픽셀에서 객체 픽셀로 전환)의 수, 즉 분류 전환 주파수가 소정의 기준 이상인 경우, 이러한 픽셀을 배경 픽셀로 재분류할 수 있다. In other words, the object and background classification device 100 determines the number of classification transitions (transition from object pixels to background pixels or transitions from background pixels to object pixels) per unit time of any pixel constituting the input image, that is, the classification transition frequency. If it is above the criteria, these pixels can be reclassified as background pixels.

또한 이와 유사하게, 본 발명의 일 실시예에 따른 객체 및 배경 구분 장치(100)는 객체 픽셀로 구분된 픽셀 중 어느 하나의 픽셀인 제3 픽셀에 대해서, 배경 픽셀에서 객체 픽셀로 분류가 전환 되는 횟수 및 객체 픽셀에서 배경 픽셀로 분류가 전환 되는 횟수의 합이 소정의 제2 임계 횟수 이상인 경우, 이러한 제3 픽셀을 상기 배경 픽셀로 재분류할 수 있다.Also, similarly, the object and background classification device 100 according to an embodiment of the present invention switches the classification from a background pixel to an object pixel for the third pixel, which is one of the pixels divided into object pixels. If the sum of the number of times and the number of times the classification is switched from an object pixel to a background pixel is greater than or equal to a predetermined second threshold number, this third pixel may be reclassified as the background pixel.

바꾸어 말하면, 객체 및 배경 구분 장치(100)는 입력 영상을 구성하는 어떤 픽셀의 분류 전환(객체 픽셀에서 배경 픽셀로 전환 또는 배경 픽셀에서 객체 픽셀로 전환) 횟수의 총 합이 소정의 기준 이상인 경우, 이러한 픽셀도 배경 픽셀로 재분류할 수 있다. In other words, the object and background classification device 100 operates when the total number of classification transitions (conversion from object pixels to background pixels or transitions from background pixels to object pixels) of certain pixels constituting the input image is greater than a predetermined standard, These pixels can also be reclassified as background pixels.

이상 설명된 본 발명에 따른 실시예는 컴퓨터 상에서 다양한 구성요소를 통하여 실행될 수 있는 컴퓨터 프로그램의 형태로 구현될 수 있으며, 이와 같은 컴퓨터 프로그램은 컴퓨터로 판독 가능한 매체에 기록될 수 있다. 이때, 매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다. 나아가, 매체는 네트워크 상에서 전송 가능한 형태로 구현되는 무형의 매체를 포함할 수 있으며, 예를 들어 소프트웨어 또는 애플리케이션 형태로 구현되어 네트워크를 통해 전송 및 유통이 가능한 형태의 매체일 수도 있다. The embodiments according to the present invention described above may be implemented in the form of a computer program that can be executed through various components on a computer, and such a computer program may be recorded on a computer-readable medium. At this time, the media includes magnetic media such as hard disks, floppy disks, and magnetic tapes, optical recording media such as CD-ROMs and DVDs, magneto-optical media such as floptical disks, and ROM. , RAM, flash memory, etc., may include hardware devices specifically configured to store and execute program instructions. Furthermore, the medium may include intangible media implemented in a form that can be transmitted over a network. For example, it may be a form of media implemented in the form of software or an application that can be transmitted and distributed over a network.

한편, 상기 컴퓨터 프로그램은 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 프로그램의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함될 수 있다.Meanwhile, the computer program may be designed and configured specifically for the present invention, or may be known and available to those skilled in the art of computer software. Examples of computer programs may include not only machine language code such as that created by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.

본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.The specific implementations described in the present invention are examples and do not limit the scope of the present invention in any way. For the sake of brevity of the specification, descriptions of conventional electronic components, control systems, software, and other functional aspects of the systems may be omitted. In addition, the connections or connection members of lines between components shown in the drawings exemplify functional connections and/or physical or circuit connections, and in actual devices, various functional connections or physical connections may be replaced or added. Can be represented as connections, or circuit connections. Additionally, if there is no specific mention such as “essential,” “important,” etc., it may not be a necessary component for the application of the present invention.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.Therefore, the spirit of the present invention should not be limited to the above-described embodiments, and the scope of the patent claims described below as well as all scopes equivalent to or equivalently changed from the scope of the claims are within the scope of the spirit of the present invention. It will be said to belong to

100: 객체 및 배경 구분 장치
200A, 200B: 영상 장치
300: 통신망100: Object and background separation device
200A, 200B: Imaging device
300: communication network

Claims

In a method for an object and background classification device to distinguish between an object and a background in an input image,
Based on the result of comparing the color information and texture information of the input image with a plurality of background samples including color information for each pixel and texture information for each pixel, at least one pixel constituting the input image is selected. generating a first image divided into one of background pixels and object pixels; and
A step of reclassifying pixels that satisfy a predetermined blinking condition among the pixels classified as the object pixels in the first image into the background pixels, wherein a unit of a second pixel among the pixels classified as the object pixels If the sum of the number of times the classification is switched from the background pixel to the object pixel and the number of times the classification is switched from the object pixel to the background pixel per time is greater than or equal to a predetermined first threshold number, the second pixel is classified as the background pixel. A method for distinguishing objects and backgrounds, including:

◈Claim 2 was abandoned upon payment of the setup registration fee.◈

In paragraph 1
The step of generating the first image is,
For each of the plurality of background samples, calculating a color difference, which is the difference between the size of the color value of the first pixel constituting the input image and the size of the color value of at least one pixel constituting each of the plurality of background samples. ; and
If the number of background samples including pixels whose color difference is less than a predetermined threshold color difference among the plurality of background samples is less than the number of a predetermined first threshold sample, classifying the first pixel as the object pixel; How to distinguish objects and backgrounds.

◈Claim 3 was abandoned upon payment of the setup registration fee.◈

In paragraph 2
The predetermined threshold color difference is
A method for distinguishing an object and a background, which increases as the motion of the background of the input image increases.

◈Claim 4 was abandoned upon payment of the setup registration fee.◈

In paragraph 1
The step of generating the first image is,
For each of the plurality of background samples, between a binary value corresponding to the texture of the first pixel constituting the input image and the binary value corresponding to the texture of at least one pixel constituting each of the plurality of background samples. Checking the number of mismatched bits; and
When the number of background samples including pixels in which the number of mismatched bits among the plurality of background samples is less than a predetermined threshold bit number difference is less than the number of predetermined second threshold samples, distinguishing the first pixel as the object pixel A method for distinguishing objects and backgrounds, including steps.

◈Claim 5 was abandoned upon payment of the setup registration fee.◈

In paragraph 4
The difference in the predetermined threshold number of bits is
A method for distinguishing an object and a background, which increases as the motion of the background of the input image increases.

◈Claim 6 was abandoned upon payment of the setup registration fee.◈

In paragraph 1
The step of reclassifying pixels that satisfy the predetermined blinking condition into the background pixels is
When the sum of the number of times the classification of the third pixel among the pixels classified as the object pixel is switched from the background pixel to the object pixel and the number of times the classification is changed from the object pixel to the background pixel is greater than or equal to a predetermined second threshold number. , classifying the third pixel as the background pixel; comprising, a method for distinguishing between an object and a background.