KR102416820B1 - Method and Apparatus for detecting windows using building images - Google Patents

Method and Apparatus for detecting windows using building images Download PDF

Info

Publication number
KR102416820B1
KR102416820B1 KR1020200056186A KR20200056186A KR102416820B1 KR 102416820 B1 KR102416820 B1 KR 102416820B1 KR 1020200056186 A KR1020200056186 A KR 1020200056186A KR 20200056186 A KR20200056186 A KR 20200056186A KR 102416820 B1 KR102416820 B1 KR 102416820B1
Authority
KR
South Korea
Prior art keywords
value
window
region
interest
setting
Prior art date
Application number
KR1020200056186A
Other languages
Korean (ko)
Other versions
KR20210137843A (en
Inventor
조위덕
최선탁
Original Assignee
아주대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아주대학교 산학협력단 filed Critical 아주대학교 산학협력단
Priority to KR1020200056186A priority Critical patent/KR102416820B1/en
Publication of KR20210137843A publication Critical patent/KR20210137843A/en
Application granted granted Critical
Publication of KR102416820B1 publication Critical patent/KR102416820B1/en

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/04Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438Sensor means for detecting
    • G08B21/0476Cameras to detect unsafe condition, e.g. video cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features

Abstract

본 발명은 건물 이미지를 이용한 창문 검출 방법 및 장치에 관한 것으로, 상기 건물 이미지를 이용한 창문 검출 방법은, 규칙적으로 배열된 창문을 갖는 건물 외벽의 이미지로부터 벽면 전체를 관심영역으로 설정하는 단계; 상기 관심 영역의 가로축과 세로축 각각을 기준으로 각 픽셀의 평균 명암값을 연산하는 단계; 상기 가로축과 세로축 각각에 대하여 상기 평균 명암값의 최대값과 최소값을 산출하고, 상기 최대값과 최소값 사이에서 기준 임계값을 설정하는 단계; 및 설정된 기준 임계값과 상기 평균 명암값을 이용하여 상기 관심 영역에서 창문 영역을 검출하는 단계를 포함한다. The present invention relates to a window detection method and apparatus using a building image, the method comprising: setting an entire wall surface as a region of interest from an image of an exterior wall of a building having regularly arranged windows; calculating an average contrast value of each pixel based on each of a horizontal axis and a vertical axis of the region of interest; calculating a maximum value and a minimum value of the average intensity value with respect to the horizontal axis and the vertical axis, respectively, and setting a reference threshold value between the maximum value and the minimum value; and detecting a window region in the ROI using a set reference threshold value and the average intensity value.

Description

건물 이미지를 이용한 창문 검출 방법 및 장치{Method and Apparatus for detecting windows using building images}Method and Apparatus for detecting windows using building images}

본 발명은 건물 이미지를 이용한 창문 검출 방법 및 장치에 관한 것으로, 보다 구체적으로, 규칙적으로 배열된 창문을 갖는 건물 외벽의 이미지로부터 창문을 검출하는 방법 및 장치에 관한 것이다. The present invention relates to a method and apparatus for detecting a window using an image of a building, and more particularly, to a method and apparatus for detecting a window from an image of an exterior wall of a building having regularly arranged windows.

최근에는 독거노인 대상의 실내 모니터링 기술은 주택 내에 설치된 거리 및 근접 센서를 이용하여 위치를 추적하거나 스위치 센서를 이용하여 위치를 추적하는 등 실내 생활 시 사용자가 이동하는 동선 및 주둔 위치를 파악하는 연구가 진행되고 있다. Recently, indoor monitoring technology for the elderly living alone has been researched to determine the movement of users and their stationed positions during indoor living, such as tracking the location using the distance and proximity sensors installed in the house or tracking the location using a switch sensor. is in progress

기존 실내 모니터링 기술은 상세한 위급 상황을 알 수 있고, 생활 패턴을 분석하여 고독사를 방지할 수 있다는 장점이 있다. Existing indoor monitoring technology has the advantage of being able to know detailed emergency situations and preventing loneliness by analyzing life patterns.

하지만 영상, 음성의 측정으로 인해 사생활 침해의 문제가 있을 수 있다. 또한, 모니터링 기기로부터 획득한 정보 또는 그 정보를 가공하여 판별된 상황 정보를 전달하기 위하여 인터넷을 이용하는데, 하지만 임대아파트와 같이 낙후한 환경에서는 인터넷 연결 자체가 원활하지 않을 수 있거나, 통신비용 등의 부가 비용이 각 가구마다 발생하여 사용자에게 경제적으로 부담을 줄 수 있다. However, there may be a problem of invasion of privacy due to the measurement of video and audio. In addition, the Internet is used to deliver the information obtained from the monitoring device or the situation information determined by processing the information. However, in an underdeveloped environment such as a rental apartment, the Internet connection itself may not be smooth, or communication costs may be reduced. Additional costs may be incurred for each household, which may put a burden on users economically.

따라서, 사생활 침해의 문제를 최소화하면서, 경제성을 만족하고, 제약된 환경에서 독거노인 또는 장애인의 이상 상황을 인지할 수 있는 실외 모니터링 기술이 요구된다. Therefore, there is a need for an outdoor monitoring technology that can minimize the problem of privacy invasion, satisfy economic feasibility, and recognize the abnormal situation of the elderly or the disabled living alone in a limited environment.

본 발명은 이러한 요구에 의해 제안되며, 실외에서 CCTV 등의 촬영장치로 획득한 건물 외벽 이미지에 기초하여, 각 세대의 상황을 용이하게 판정하기 위하여, 각 세대를 정확하게 판정하는 기술이 요구된다. The present invention is proposed in response to such a request, and in order to easily determine the situation of each household based on an image of the exterior wall of a building obtained outdoors with a photographing device such as CCTV, a technique for accurately determining each household is required.

이에, 본 발명의 일 실시예는 실외에서 촬영한 건물 외벽 이미지로부터 각각의 창문을 정확하게 검출하고, 나아가 검출된 창문에 기초하여 각 세대를 판정하는 방법 및 장치를 제공하고자 한다. Accordingly, one embodiment of the present invention is to provide a method and apparatus for accurately detecting each window from an image of an exterior wall of a building taken outdoors, and further determining each household based on the detected window.

본 발명이 해결하고자 하는 과제는 이상에서 언급한 과제(들)로 제한되지 않으며, 언급되지 않은 또 다른 과제(들)은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The problem to be solved by the present invention is not limited to the problem(s) mentioned above, and another problem(s) not mentioned will be clearly understood by those skilled in the art from the following description.

본 발명의 일 실시예에 따른 영상 처리 장치에 의한 건물 이미지를 이용한 창문 검출 방법은, 규칙적으로 배열된 창문을 갖는 건물 외벽의 이미지로부터 벽면 전체를 관심영역으로 설정하는 단계; 상기 관심 영역의 가로축과 세로축 각각을 기준으로 각 픽셀의 평균 명암값을 연산하는 단계; 상기 가로축과 세로축 각각에 대하여 상기 평균 명암값의 최대값과 최소값을 산출하고, 상기 최대값과 최소값 사이에서 기준 임계값을 설정하는 단계; 및 설정된 기준 임계값과 상기 평균 명암값을 이용하여 상기 관심 영역에서 창문 영역을 검출하는 단계를 포함한다. A window detection method using an image of a building by an image processing apparatus according to an embodiment of the present invention includes: setting the entire wall as a region of interest from an image of an exterior wall of a building having regularly arranged windows; calculating an average contrast value of each pixel based on each of a horizontal axis and a vertical axis of the region of interest; calculating a maximum value and a minimum value of the average intensity value with respect to the horizontal axis and the vertical axis, respectively, and setting a reference threshold value between the maximum value and the minimum value; and detecting a window region in the ROI using a set reference threshold value and the average intensity value.

일 실시예에서, 창문 검출 방법은 상기 검출된 창문 영역에 기초하여 미리 설정된 기준에 따라 세대를 판정하는 단계를 더 포함한다. In one embodiment, the window detection method further includes determining a generation according to a preset criterion based on the detected window area.

일 실시예에서, 상기 최대값과 최소값 사이에서 기준 임계값을 설정하는 단계는, 상기 가로축과 세로축 각각에 대하여 상기 최대값과 최소값 사이를 미리 설정된 구간으로 나누고, 각 구간의 경계값을 후보 임계값으로 설정하는 단계; 상기 가로축과 세로축 각각에 대하여 상기 후보 임계값을 기준으로 상기 관심 영역에서 복수개의 단일 창문 영역과 단일 벽면 영역을 구분하는 단계; 및 상기 가로축과 세로축 각각에 대하여 상기 복수개의 단일 창문 영역과 단일 벽면 영역의 길이에 기초하여 복수개의 후보 임계값 중에 기준 임계값을 선택하는 단계를 더 포함하는 것을 특징으로 한다. In an embodiment, the step of setting the reference threshold value between the maximum value and the minimum value includes dividing the interval between the maximum value and the minimum value into preset sections for each of the horizontal axis and the vertical axis, and dividing the boundary value of each section as a candidate threshold value set to; classifying a plurality of single window regions and a single wall region in the region of interest based on the candidate thresholds for each of the horizontal and vertical axes; and selecting a reference threshold value from among a plurality of candidate thresholds based on lengths of the plurality of single window areas and single wall areas with respect to the horizontal axis and the vertical axis, respectively.

일 실시예에서, 상기 복수개의 후보 임계값 중에 기준 임계값을 선택하는 단계는, 상기 복수개의 단일 창문 영역 각각의 길이를 제1 집합으로 정의하고, 상기 복수개의 단일 벽면 영역 각각의 길이를 제2 집합으로 정의하는 단계; 상기 후보 임계값 각각에 대하여 상기 제1 집합의 분산과 제2 집합의 분산의 곱을 연산하는 단계; 및 상기 제1 집합의 분산과 제2 집합의 분산의 곱이 최소가 되는 후보 임계값을 기준 임계값으로 설정하는 단계를 더 포함하는 것을 특징으로 한다. In an embodiment, the selecting of a reference threshold value from among the plurality of candidate threshold values includes defining a length of each of the plurality of single window areas as a first set, and defining a length of each of the plurality of single wall areas as a second set. defining a set; calculating a product of the variance of the first set and the variance of the second set for each of the candidate thresholds; and setting, as a reference threshold, a candidate threshold at which the product of the variance of the first set and the variance of the second set is minimized.

일 실시예에서, 상기 각 픽셀의 평균 명암값을 산출하는 단계와, 상기 최대값과 최소값 사이에서 기준 임계값을 설정하는 단계 사이에, 선형 회귀식을 이용하여 연산된 각 픽셀의 평균 명암값의 명암 차이를 보정하는 단계를 더 포함하는 것을 특징으로 한다.In an embodiment, between calculating the average intensity value of each pixel and setting a reference threshold value between the maximum value and the minimum value, the average intensity value of each pixel calculated using a linear regression equation is It characterized in that it further comprises the step of correcting the contrast difference.

일 실시예에서, 상기 미리 설정된 기준은 1 세대에 대응하는 창문의 수인 것을 특징으로 한다. In one embodiment, the preset criterion is characterized in that the number of windows corresponding to the first generation.

본 발명의 일 실시예에 따른 건물 이미지를 이용한 창문 검출 장치는, 규칙적으로 배열된 창문을 갖는 건물 외벽의 이미지로부터 벽면 전체를 관심영역으로 설정하는 관심영역 설정부; 상기 관심 영역의 가로축과 세로축 각각을 기준으로 각 픽셀의 평균 명암값을 산출하는 명암 산출부; 상기 가로축과 세로축 각각에 대하여 상기 평균 명암값의 최대값과 최소값을 산출하고, 상기 최대값과 최소값 사이에서 기준 임계값을 설정하는 임계값 설정부; 및 설정된 기준 임계값과 상기 평균 명암값을 이용하여 상기 관심 영역에서 창문 영역을 검출하는 창문 영역 검출부를 포함한다. A window detection apparatus using a building image according to an embodiment of the present invention includes: a region of interest setting unit configured to set the entire wall as a region of interest from an image of an exterior wall of a building having regularly arranged windows; a contrast calculator configured to calculate an average intensity value of each pixel based on a horizontal axis and a vertical axis of the region of interest; a threshold value setting unit calculating a maximum value and a minimum value of the average intensity value with respect to the horizontal axis and the vertical axis, respectively, and setting a reference threshold value between the maximum value and the minimum value; and a window region detector configured to detect a window region in the ROI using a set reference threshold value and the average intensity value.

본 발명의 일 실시예에 따르면 건물 외벽의 이미지에서 창문을 정확하게 검출할 수 있게 된다. 또한, 검출된 창문에 기초하여 각 세대를 판정하여, 추후, 각 세대의 이상상태 등의 판정에 활용될 수 있게 된다. According to an embodiment of the present invention, it is possible to accurately detect a window in an image of an exterior wall of a building. In addition, by determining each household based on the detected window, it can be utilized for determining the abnormal state of each household in the future.

본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.Effects of the present invention are not limited to the above-mentioned effects, and other effects not mentioned will be clearly understood by those skilled in the art from the following description.

도 1은 본 발명의 일 실시예에 따른 건물 이미지를 이용한 창문 검출 장치 장치의 구성을 개략적으로 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 창문 검출 장치 장치의 컨트롤러의 구성을 개략적으로 도시한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 건물 이미지를 이용한 창문 검출 방법을 설명하기 위한 흐름도이다.
도 4의 (a)는 본 발명의 일 실시예에 따른 건물 외벽의 이미지의 일 예이고, 도 4의 (b)는 본 발명의 일 실시예에 따른 관심 영역의 일 예이다.
도 5는 본 발명의 일 실시예에 따른 관심영역의 각 픽셀의 평균 명암값에 대한 그래프이다.
도 6은 본 발명의 일 실시예에 따른 기준 임계값 설정 방법을 설명하기 위한 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 후보 임계값을 적용한 분산을 설명하기 위한 일 예를 나타내는 도면이다.
도 8은 본 발명의 일 실시예에 따른 보정된 평균 명암 그래프에 기준 임계값이 적용된 그래프의 일 예이다.
도 9는 본 발명의 일 실시예에 따른 관심 영역에 기준 임계값이 적용된 2차원 이미지이다.
1 is a block diagram schematically illustrating the configuration of a device for detecting a window using a building image according to an embodiment of the present invention.
2 is a block diagram schematically illustrating a configuration of a controller of a device for detecting a window according to an embodiment of the present invention.
3 is a flowchart illustrating a window detection method using a building image according to an embodiment of the present invention.
4A is an example of an image of an exterior wall of a building according to an embodiment of the present invention, and FIG. 4B is an example of an ROI according to an embodiment of the present invention.
5 is a graph of an average intensity value of each pixel of an ROI according to an embodiment of the present invention.
6 is a flowchart illustrating a method for setting a reference threshold value according to an embodiment of the present invention.
7 is a diagram illustrating an example for explaining variance to which a candidate threshold is applied according to an embodiment of the present invention.
8 is an example of a graph to which a reference threshold is applied to a corrected average contrast graph according to an embodiment of the present invention.
9 is a two-dimensional image to which a reference threshold is applied to a region of interest according to an embodiment of the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.Since the present invention can have various changes and can have various embodiments, specific embodiments are illustrated in the drawings and described in detail in the detailed description. However, this is not intended to limit the present invention to specific embodiments, and it should be understood to include all modifications, equivalents and substitutes included in the spirit and scope of the present invention. In describing each figure, like reference numerals have been used for like elements.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.Terms such as first, second, A, and B may be used to describe various elements, but the elements should not be limited by the terms. The above terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, a first component may be referred to as a second component, and similarly, a second component may also be referred to as a first component. and/or includes a combination of a plurality of related listed items or any of a plurality of related listed items.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.When an element is referred to as being “connected” or “connected” to another element, it is understood that it may be directly connected or connected to the other element, but other elements may exist in between. it should be On the other hand, when it is said that a certain element is "directly connected" or "directly connected" to another element, it should be understood that the other element does not exist in the middle.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in the present application are only used to describe specific embodiments, and are not intended to limit the present invention. The singular expression includes the plural expression unless the context clearly dictates otherwise. In the present application, terms such as “comprise” or “have” are intended to designate that a feature, number, step, operation, component, part, or combination thereof described in the specification exists, but one or more other features It should be understood that this does not preclude the existence or addition of numbers, steps, operations, components, parts, or combinations thereof.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical and scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the related art, and should not be interpreted in an ideal or excessively formal meaning unless explicitly defined in the present application. does not

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 건물 이미지를 이용한 창문 검출 장치 장치의 구성을 개략적으로 도시한 블록도이고, 도 2는 본 발명의 일 실시예에 따른 창문 검출 장치 장치의 컨트롤러의 구성을 개략적으로 도시한 블록도이다. 1 is a block diagram schematically illustrating the configuration of a window detection device using a building image according to an embodiment of the present invention, and FIG. 2 is a configuration of a controller of the window detection device according to an embodiment of the present invention. It is a schematic block diagram.

도 1을 참조하면, 건물 이미지를 이용한 창문 검출 장치(100)는 이미지를 획득하고, 획득된 이미지를 처리하는 영상 처리 장치로서, 입력부(110), 표시부(120), 통신부(130), 저장부(140) 및 컨트롤러(150)를 포함할 수 있다. Referring to FIG. 1 , an apparatus 100 for detecting a window using a building image is an image processing apparatus that acquires an image and processes the acquired image, and includes an input unit 110 , a display unit 120 , a communication unit 130 , and a storage unit. 140 and a controller 150 .

입력부(110)는 사용자의 입력 동작을 입력 신호로 변환하여 컨트롤러(150)에게 송신한다. 입력부(110)는 예를 들어 키보드, 마우스, 터치스크린 상의 터치센서, 터치패드, 키패드, 음성 입력, 기타 현재, 과거에 가능하거나 미래에 가능해질 입력 처리 장치들로써 구현될 수 있다. 입력부(110)는 예를 들어 사용자의 정보 제공 요청 입력을 수신하여 컨트롤러(150)에게 전달할 수 있다.The input unit 110 converts a user's input operation into an input signal and transmits it to the controller 150 . The input unit 110 may be implemented as, for example, a keyboard, a mouse, a touch sensor on a touch screen, a touch pad, a keypad, a voice input, and other input processing devices capable of present, past, or future input processing. The input unit 110 may receive, for example, a user's information provision request input and transmit it to the controller 150 .

표시부(120)는 컨트롤러(150)의 제어에 따라 화면을 출력한다. 표시부(120)는 예를 들어 LCD(액정표시장치), LED(발광 다이오드), OLED(유기 발광 다이오드), 프로젝터, 기타 현재, 과거에 가능하거나 미래에 가능해질 표시 장치들로써 구현될 수 있다. 표시부(120)는 예를 들어 건물 이미지를 표시하거나, 건물 이미지에 관심 영역을 설정하기 위한 인터페이스 등을 표시할 수 있다. The display unit 120 outputs a screen according to the control of the controller 150 . The display unit 120 may be implemented as, for example, a liquid crystal display (LCD), a light emitting diode (LED), an organic light emitting diode (OLED), a projector, or other display devices capable of present, past or future. The display unit 120 may display, for example, a building image or an interface for setting an ROI in the building image.

통신부(130)는 촬영장치(10) 및/또는 기타 외부 장치와 데이터를 주고받는다. 통신부(130)는 촬영장치(10)로부터 수신한 이미지를 컨트롤러(150)에게 전달한다. 또한 통신부(130)는 컨트롤러(150)의 제어에 따라 데이터를 기타 외부 장치 예를 들어 미리 설정된 유관 기관에게 전달한다. 통신부(130)가 사용하는 통신 기술은 통신망의 유형이나 기타 사정에 따라 달라질 수 있다.The communication unit 130 exchanges data with the photographing device 10 and/or other external devices. The communication unit 130 transmits the image received from the photographing device 10 to the controller 150 . In addition, the communication unit 130 transmits data to other external devices, for example, a preset related organization according to the control of the controller 150 . The communication technology used by the communication unit 130 may vary depending on the type of communication network or other circumstances.

저장부(140)는 컨트롤러(150)의 제어에 따라 데이터를 저장하고 요청된 데이터를 컨트롤러(150)에게 전달한다.The storage unit 140 stores data under the control of the controller 150 and transmits the requested data to the controller 150 .

컨트롤러(150)는 창문 검출 장치(100)의 전반적인 동작과 각 구성부를 제어한다.The controller 150 controls the overall operation of the window detection apparatus 100 and each component.

컨트롤러(150)는 후술하는 바와 같이 건물 외벽 이미지로부터 창문을 검출한다. 예를 들어, 컨트롤러(150)는 카메라(10)로부터 획득한 건물 외벽 이미지에서 관심 영역을 설정하기 위한 인터페이스를 표시부(120)를 통해 표시하고, 상기 인터페이스로부터 설정된 관심 영역내의 창문을 검출하여 검출 결과를 표시부(220)를 통해 표시하거나, 통신부(130)를 통해 미리 설정된 외부 장치 및 단말에 전송한다. The controller 150 detects a window from an image of an exterior wall of a building, as will be described later. For example, the controller 150 displays an interface for setting a region of interest in the image of the exterior wall of a building obtained from the camera 10 through the display unit 120, detects a window in the region of interest set from the interface, and detects a result of the detection is displayed through the display unit 220 or transmitted to a preset external device and terminal through the communication unit 130 .

도 2를 참조하면, 컨트롤러(150)는 관심영역 설정부(151), 명암 산출부(152), 보정부(153), 임계값 설정부(154), 창문 영역 검출부(155) 및 세대 판정부(156)를 포함할 수 있다.Referring to FIG. 2 , the controller 150 includes a region of interest setting unit 151 , a contrast calculation unit 152 , a correction unit 153 , a threshold value setting unit 154 , a window region detection unit 155 , and a generation determining unit. (156).

관심영역 설정부(151)는 건물 외벽 이미지로부터 창문 영역을 검출하고자 하는 관심 영역을 설정하기 위한 인터페이스를 표시부(120)를 통해 제공하고, 사용자로부터 입력부(110)를 통해 관심 영역을 선택받아 설정한다. The region of interest setting unit 151 provides an interface for setting the region of interest in which the window region is to be detected from the image of the exterior wall of the building through the display unit 120, and the region of interest is selected from the user through the input unit 110 and is set. .

명암 산출부(152)는 설정된 관심 역역의 각 픽셀의 명암값을 산출하고, 관심 영역의 가로축과 세로축 각각에 대하여 각 픽셀의 명암값의 평균을 구한다. 가로축의 명암에 의해 각 층의 음영을 알 수 있다. The contrast calculator 152 calculates a contrast value of each pixel in the set ROI, and obtains an average of the contrast value of each pixel with respect to each of the horizontal and vertical axes of the ROI. The shade of each layer can be known by the contrast of the horizontal axis.

보정부(153)는 벽면 영상의 주변 건축물이나 나무와 같은 사물의 영향에 따른 조도값을 반영하기 위하여 선형 회귀식을 이용하여 각 픽셀의 평균 명암값을 보정한다. The correction unit 153 corrects the average contrast value of each pixel by using a linear regression equation to reflect the illuminance value according to the influence of objects such as surrounding buildings or trees on the wall image.

임계값 설정부(154)는 보정된 각 픽셀의 평균 명암값의 최대값과 최소값에 기초하여 관심 영역에서 창문 영역과 벽면 영역을 구분하기 위한 기준 임계값을 설정한다. 기준 임계값 설정에 대하여는 도 4 내지 도 8에 기초하여 후술하기로 한다. The threshold value setting unit 154 sets a reference threshold value for classifying the window region and the wall region in the ROI based on the corrected maximum and minimum values of the average contrast value of each pixel. The reference threshold value setting will be described later with reference to FIGS. 4 to 8 .

창문 영역 검출부(155)는 설정된 기준 임계값과 상기 평균 명암값을 이용하여 상기 관심 영역에서 창문 영역을 검출한다. The window region detection unit 155 detects a window region in the ROI using a set reference threshold value and the average intensity value.

세대 판정부(156)는 검출된 창문 영역에 기초하여 미리 설정된 기준에 따라 세대를 판정한다. 미리 설정된 기준은 1 세대에 대응하는 창문의 수를 포함하고, 1세대에 대응하는 창문의 수가 복수개인 경우, 창문 배열 방향을 더 포함한다. 예를 들어, 1세대에 대응하는 창문의 수가 1개인 건물인 경우, 미리 설정된 기준은 1세대에 1개 창문을 포함하고, 세대 판정부(156)는 검출된 각각의 창문을 각각의 세대로 판정한다. 1세대에 대응하는 창문의 수가 가로방향으로 2개인 건물인 경우, 미리 설정된 기준은 1세대에 가로 2개의 창문을 포함하고, 세대 판정부(156)는 검출된 창문에서 각 층(가로축)의 이웃하는 2개의 창문을 묶어 하나의 세대로 판정한다. The generation determining unit 156 determines the generation according to a preset criterion based on the detected window area. The preset criterion includes the number of windows corresponding to the first generation, and when the number of windows corresponding to the first generation is plural, further includes a window arrangement direction. For example, if the number of windows corresponding to one household is one building, the preset criterion includes one window in one household, and the household determination unit 156 determines each detected window as each household. do. When the number of windows corresponding to one household is two in the horizontal direction, the preset criterion includes two horizontal windows in one household, and the household determination unit 156 determines the neighbors of each floor (horizontal axis) from the detected windows. It is judged as one household by tying two windows that do.

이러한 미리 설정된 기준은 관리자에 의해 입력될 수 있다. These preset criteria may be input by an administrator.

본 발명의 일 실시예의 컨트롤러(150)는 각 부가 물리적으로 분리돼 있는 처리 장치의 총합으로써 구현되어 있으나, 컨트롤러(150)의 각 부 중에서 일부는 통합된 장치에서 구현될 수도 있고, 컨트롤러(150)의 모든 부가 하나의 장치로 구현될 수도 있다. The controller 150 of an embodiment of the present invention is implemented as a sum total of processing devices in which each part is physically separated, but some of each part of the controller 150 may be implemented in an integrated device, and the controller 150 All additions of may be implemented in one device.

창문 검출 장치(100)의 각 구성부의 구체적인 동작에 대해서는 도 3 내지 도 9를 참조하여 후술한다.A detailed operation of each component of the window detection apparatus 100 will be described later with reference to FIGS. 3 to 9 .

도 3은 본 발명의 일 실시예에 따른 건물 이미지를 이용한 창문 검출 방법을 설명하기 위한 흐름도이고, 도 4의 (a)는 본 발명의 일 실시예에 따른 건물 외벽의 이미지의 일 예이고, 도 4의 (b)는 본 발명의 일 실시예에 따른 관심 영역의 일 예이다. 도 5는 본 발명의 일 실시예에 따른 관심영역의 각 픽셀의 평균 명암값에 대한 그래프이다. 3 is a flowchart for explaining a window detection method using a building image according to an embodiment of the present invention, and FIG. 4 (a) is an example of an image of an exterior wall of a building according to an embodiment of the present invention, FIG. 4(b) is an example of a region of interest according to an embodiment of the present invention. 5 is a graph of an average intensity value of each pixel of an ROI according to an embodiment of the present invention.

도 3 및 도 4를 참조하면, 규칙적으로 배열된 창문을 갖는 건물 외벽의 이미지로부터 벽면 전체를 관심영역으로 설정한다(S110). Referring to FIGS. 3 and 4 , the entire wall is set as a region of interest from the image of the exterior wall of a building having regularly arranged windows ( S110 ).

카메라 또는 CCTV와 같은 촬영장치로부터 획득한 원본 이미지는 도 4의 (a)와 같이, 규칙적으로 배열된 창문을 갖는 건물 외벽 및 그 외의 배경을 포함할 수 있다. 사용자는 컨트롤러에 의해 제공되는 인터페이스를 통해, 규칙적으로 배열된 창문을 갖는 건물 외벽의 이미지로부터 관심영역을 설정한다. 건물 외벽의 이미지에서 관심 영역으로 설정된 영역의 꼭지점 4개를 선택함으로써, 도 4의 (b)와 같은 관심 영역이 설정된다. 관심 영역에는 격자무늬의 규칙적인 배치된 복수개의 창문을 포함한다. The original image obtained from a camera or a photographing device such as a CCTV may include an exterior wall of a building having regularly arranged windows and other backgrounds, as shown in FIG. 4 ( a ). A user sets a region of interest from an image of an exterior wall of a building having regularly arranged windows through an interface provided by the controller. By selecting four vertices of the region set as the region of interest in the image of the exterior wall of the building, the region of interest as shown in FIG. 4(b) is set. The region of interest includes a plurality of regularly arranged windows in a grid pattern.

관심 영역의 가로축과 세로축 각각을 기준으로 각 픽셀의 평균 명암값을 산출한다(S120). An average contrast value of each pixel is calculated based on each of the horizontal and vertical axes of the region of interest ( S120 ).

이를 위하여, 먼저 관심 영역의 각 픽셀의 명암값을 추출한다. 다음 관심영역의 가로축의 각 픽셀의 명암값의 평균을 연산하고, 관심영역의 세로축의 각 픽셀의 명암값의 평균을 연산하여, 가로축과 세로축 각각을 기준으로 각 픽셀의 평균 명암값을 산출한다. To do this, first, the contrast value of each pixel in the ROI is extracted. Next, the average of the brightness values of each pixel on the horizontal axis of the region of interest is calculated, and the average of the brightness values of each pixel on the vertical axis of the region of interest is calculated, and the average brightness value of each pixel is calculated based on each of the horizontal and vertical axes.

도 5의 (a)는 관심영역의 가로축의 각 픽셀의 평균 명암값에 대한 그래프로서, 그래프의 x축은 관심영역의 가로축의 픽셀을 나타내고, y축은 명암값을 나타낸다. 도 5의 (b)는 관심영역의 세로축의 각 픽셀의 평균 명암값에 대한 그래프로서, x축은 관심영역의 세로축의 픽셀을 나타내고, y축은 명암값을 나타낸다. 도 5의 (a)를 참조하면, 건물의 각 층에 대응하는 가로축의 명암(음영)이 주기적으로 변화되는 것을 알 수 있고, 도 5의 (b)를 참조하면, 건물의 각 호수에 대응하는 세로축의 관심 영역의 각 축은 명암(음영)이 주기적으로 변화되는 것을 알 수 있다. 5A is a graph of the average intensity value of each pixel on the horizontal axis of the region of interest. The x-axis of the graph indicates the pixel on the horizontal axis of the region of interest, and the y-axis indicates the contrast value. 5B is a graph of the average intensity value of each pixel on the vertical axis of the region of interest. The x-axis represents the pixel on the vertical axis of the region of interest, and the y-axis represents the contrast value. Referring to (a) of Figure 5, it can be seen that the contrast (shade) of the horizontal axis corresponding to each floor of the building is periodically changed, and referring to Figure 5 (b), It can be seen that the contrast (shade) of each axis of the ROI on the vertical axis is periodically changed.

다시 도 3으로 되돌아와서, 연산된 각 픽셀의 평균 명암값의 명암 차이를 선형 회귀식을 이용하여 보정한다(S130). Referring back to FIG. 3 , the difference in brightness between the calculated average brightness values of each pixel is corrected using a linear regression equation ( S130 ).

원본의 건물 외벽 이미지는 주변 건축물 등의 영향으로 영역별로 조도값에 차이가 발생할 수 있다. 따라서 추출한 각 축별 평균 명암 그래프에서 원하지 않는 조도값의 영향을 보정하며, 이 때 3차 선형 회귀식을 이용할 수 있다. 3차 선형 회귀식을 이용한 보정방법은 통상의 기술이므로 상세한 설명은 생략한다. In the original building exterior wall image, there may be differences in illuminance values for each area due to the influence of surrounding structures. Therefore, the effect of unwanted illuminance values is corrected in the extracted average contrast graph for each axis, and in this case, a cubic linear regression equation can be used. Since a correction method using a cubic linear regression equation is a conventional technique, a detailed description thereof will be omitted.

각 픽셀의 평균 명암값의 최대값과 최소값을 산출하고, 최대값과 최소값 사이에서 기준 임계값을 설정한다(S140). The maximum value and minimum value of the average brightness value of each pixel are calculated, and a reference threshold value is set between the maximum value and the minimum value (S140).

도 6은 본 발명의 일 실시예에 따른 기준 임계값 설정 방법을 설명하기 위한 흐름도이다. 6 is a flowchart illustrating a method for setting a reference threshold value according to an embodiment of the present invention.

도 6을 참조하면, 기준 임계값을 설정하기 위해서 먼저, 관심영역의 가로축과 세로축 각각에 대하여 평균 명암값의 최대값과 최소값 사이를 미리 설정된 구간으로 나누고, 각 구간의 경계값을 후보 임계값으로 설정한다(S142). Referring to FIG. 6 , in order to set the reference threshold value, first, the interval between the maximum value and the minimum value of the average intensity value for each of the horizontal and vertical axes of the region of interest is divided into preset sections, and the boundary value of each section is set as a candidate threshold value. set (S142).

미리 설정된 구간은 관리자 또는 설계자에 의해 설정될 수 있다. The preset section may be set by an administrator or a designer.

상기 가로축과 세로축 각각에 대하여 상기 후보 임계값을 기준으로 상기 관심 영역에서 복수개의 단일 창문 영역과 단일 벽면 영역을 구분한다(S144). A plurality of single window areas and a single wall area are divided in the ROI based on the candidate thresholds for each of the horizontal and vertical axes (S144).

관심 영역 상에서 각각의 창문 영역을 단일 창문 영역이라 하고, 단일 창문 영역과 이웃하는 단일 창문 영역은 서로 이격되어 있고, 상기 이웃하는 단일 창문 영역 사이의 벽면 영역을 단일 벽면 영역이라고 한다. 즉, 단일 창문 영역과 단일 벽면 영역은 교번적으로 배치되어 있다. In the region of interest, each window area is referred to as a single window area, the single window area and the neighboring single window area are spaced apart from each other, and a wall area between the neighboring single window areas is referred to as a single wall area. That is, the single window area and the single wall area are alternately arranged.

상기 가로축과 세로축 각각에 대하여 상기 복수개의 단일 창문 영역과 단일 벽면 영역의 길이에 기초하여 수학식 1과 같이 복수개의 후보 임계값 중에 기준 임계값을 선택한다(S146).Based on the lengths of the plurality of single window areas and single wall areas with respect to the horizontal axis and the vertical axis, respectively, a reference threshold value is selected from among a plurality of candidate threshold values as shown in Equation 1 (S146).

[수학식 1][Equation 1]

Figure 112020047514265-pat00001
Figure 112020047514265-pat00001

여기서, Tmax는 평균 명암값의 최대값이고, Tmin는 평균 명암값의 최소값이다. Di는 i번째 후보 임계값을 기준으로 할 때 단일 창문 영역의 각각의 길이의 집합이고, Ni는 i번째 후보 임계값을 기준으로 할 때 단일 벽면 영역의 각각의 길이의 집합이다. V(Di)는 Di의 분산값이고, V(Ni)는 Ni의 분산값이다. Here, Tmax is the maximum value of the average intensity value, and Tmin is the minimum value of the average intensity value. Di is the set of respective lengths of the single window area based on the i-th candidate threshold, and Ni is the set of respective lengths of the single wall area based on the i-th candidate threshold. V(Di) is the dispersion value of Di, and V(Ni) is the dispersion value of Ni.

예를 들어 상기 복수개의 단일 창문 영역 각각의 길이를 제1 집합(D)으로 정의하고, 상기 복수개의 단일 벽면 영역 각각의 길이를 제2 집합(N)으로 정의한다. 단일 창문 영역과 단일 벽면 영역의 각각의 길이는 각 축별 평균 명암 그래프에서 확인할 수 있다. 각 축별 평균 명암 그래프에서 후보 임계값을 기준으로 분리되는 각각의 영역은 단일 창문 영역과 단일 벽면 영역이며, 후보 임계값 보다 명도값이 높은 영역이 벽면 영역을 나타내고, 후보 임계값보다 명도값이 낮은 영역이 창문 영역을 나타낸다. For example, a length of each of the plurality of single window areas is defined as a first set (D), and a length of each of the plurality of single wall areas is defined as a second set (N). The lengths of the single window area and the single wall area can be confirmed in the average contrast graph for each axis. In the average contrast graph for each axis, each area separated based on the candidate threshold is a single window area and a single wall area. A region with a brightness value higher than the candidate threshold indicates a wall area, and a brightness value lower than the candidate threshold value is a wall area. The area represents the window area.

상기 후보 임계값 각각에 대하여 상기 제1 집합(D)의 분산과 제2 집합(N)의 분산의 곱을 연산한다. 다시 말하면, 모든 후보 임계값의 단일 창문 영역의 길이의 제1 집합의 분산값(V(Di))과 단일 벽면 영역의 길이의 제2 집합의 분산값(V(Ni))의 곱을 구한다.The product of the variance of the first set (D) and the variance of the second set (N) is calculated for each of the candidate thresholds. In other words, the product of the variance value V(Di) of the first set of lengths of the single window area of all candidate thresholds and the variance value V(Ni) of the second set of lengths of the single wall area is obtained.

제1 집합(D)의 분산과 제2 집합(N)의 분산의 곱이 최소가 되는 후보 임계값을 기준 임계값으로 설정한다. 다시 말하면, 모든 후보 임계값의 V(Di)와 V(Ni)의 곱중에 제일 작은 값은 V(Di)와 V(Ni)의 곱의 값을 갖는 후보 임계값을 기준 임계값으로 설정한다. A candidate threshold at which the product of the variance of the first set (D) and the variance of the second set (N) is minimized is set as the reference threshold. In other words, the smallest value among the products of V(Di) and V(Ni) of all the candidate thresholds sets a candidate threshold having a value of the product of V(Di) and V(Ni) as the reference threshold value.

도 7은 본 발명의 일 실시예에 따른 후보 임계값을 적용한 분산을 설명하기 위한 일 예를 나타내는 도면이다. 7 is a diagram illustrating an example for explaining variance to which a candidate threshold is applied according to an embodiment of the present invention.

도 7의 (a)는 제1 후보 임계값을 적용한 제1 집합과 제2 집합을 나타내고, 도 7의 (b)는 제2 후보 임계값을 적용한 제1 집합과 제2 집합을 나타낸다. 7A shows the first and second sets to which the first candidate threshold is applied, and FIG. 7B shows the first and second sets to which the second candidate threshold is applied.

도 7을 참조하면, 제1 후보 임계값의 제1 집합과 제2 집합의 분산의 곱은 38.671이고, 제2 후보 임계값의 제1 집합과 제2 집합의 분산의 곱은 0.173이다. 분산의 곱이 작은 도 7의 (b)가 분산의 곱이 큰 도 7의 (a)보다 규칙적인 배열임을 알 수 있다. 즉, 분산의 곱이 작을수록 더 규칙적인 배열임을 확인할 수 있다.Referring to FIG. 7 , the product of the variance of the first set of first candidate thresholds and the variance of the second set is 38.671, and the product of the variance of the first set and the second set of second candidate thresholds is 0.173. It can be seen that Fig. 7(b), in which the product of variance is small, has a more regular arrangement than in Fig. 7(a), in which the product of variance is large. That is, it can be confirmed that the smaller the product of variance is, the more regular the arrangement is.

이러한 결과를 도 5의 명암 그래프를 보정한 후, 임계값을 적용하면 도 8의 그래프를 얻을 수 있다. For these results, the graph of FIG. 8 can be obtained by applying a threshold value after correcting the contrast graph of FIG. 5 .

도 8은 본 발명의 일 실시예에 따른 보정된 평균 명암 그래프에 기준 임계값이 적용된 그래프의 일 예이고, 도 9는 본 발명의 일 실시예에 따른 관심 영역에 기준 임계값이 적용된 2차원 이미지이다. 8 is an example of a graph to which a reference threshold is applied to a corrected average contrast graph according to an embodiment of the present invention, and FIG. 9 is a two-dimensional image to which a reference threshold is applied to an ROI according to an embodiment of the present invention. to be.

도 8의 (a)는 관심 영역의 가로축 즉 수평방향의 보정된 평균 명암 그래프이고, 도 8의 (b)는 관심 영역의 세로축 즉 수직 방향의 보정된 평균 명암 그래프이다. FIG. 8(a) is a corrected average contrast graph on the horizontal axis, that is, the horizontal direction, of the region of interest, and FIG. 8(b) is a corrected average contrast graph on the vertical axis, that is, the vertical direction of the region of interest.

다시 도 3 및 도 8을 참조하면, 설정된 기준 임계값과 상기 평균 명암값을 이용하여 상기 관심 영역에서 창문 영역을 검출한다(S150). Referring again to FIGS. 3 and 8 , a window region is detected in the ROI using a set reference threshold value and the average intensity value ( S150 ).

예를 들어, 도 5의 그래프에 산출된 기준 임계값을 적용하면 도 8의 그래프를 얻을 수 있다. For example, if the calculated reference threshold value is applied to the graph of FIG. 5 , the graph of FIG. 8 may be obtained.

도 8의 그래프를 2차원 영상으로 확장하면 도 9의 (a)의 이미지를 얻을 수 있고, 도 9의 (a)이미지를 도 4의 (b)의 건물 외벽 이미지의 관심 영역에 적용하면 도 9의 (b)와 같은 창문 영역이 명확하게 구분되는 건물 외벽 이미지를 얻을 수 있다. If the graph of FIG. 8 is expanded to a two-dimensional image, the image of FIG. 9 (a) can be obtained, and when the image of FIG. 9 (a) is applied to the region of interest of the image of the exterior wall of the building of FIG. An image of the exterior wall of the building in which the window area is clearly distinguished as in (b) can be obtained.

검출된 창문 영역에 기초하여 미리 설정된 기준에 따라 세대를 판정한다(S160).A generation is determined according to a preset criterion based on the detected window area (S160).

여기서, 상기 미리 설정된 기준은 1 세대에 대응하는 창문의 수 이다. 예를 들어, 1세대에 대응하는 창문의 수가 1인 경우, 각 창문을 각 세대로 판정한다. 1세대에 대응하는 창문의 수가 가로 2인 경우, 가로축으로 2개의 창문을 1세대로 판정한다. Here, the preset criterion is the number of windows corresponding to the first generation. For example, when the number of windows corresponding to the first generation is 1, each window is determined as each household. When the number of windows corresponding to the first generation is 2, it is determined that the two windows are the 1st generation along the horizontal axis.

건물 마다 창과 세대의 관계는 서로 상이할 수 있다. 즉 건물마다 세대의 창의 수와 창의 형태는 서로 상이하므로, 관리자에 의해 세대와 창의 관계에 대한 기준을 미리 설정해두어야 한다.The relationship between windows and households may be different for each building. In other words, since the number of windows and the shape of windows in each building are different from each other, the standard for the relationship between households and windows should be set in advance by the manager.

본 발명의 일 실시예에 따른 창문 검출 방법에 대한 평가결과를 표1에 나타내었다. Table 1 shows the evaluation results for the window detection method according to an embodiment of the present invention.

TruthTruth PositivePositive Negativenegative DetectionDetection PositivePositive 326326 9393 PrecisionPrecision Negativenegative 1616 00 77.80%77.80% SensitivitySensitivity AccuracyAccuracy 95.32%95.32% 74.94%74.94%

표 1을 참조하면, 5개의 아파트 벽면 영상에서 실험한 결과, 총 342개의 창문에 대한 검출 결과로서, 창문을 창문으로 분류한 값은 326이며, 창문을 벽면으로 분류한 값은 16이고, 벽면을 벽면으로 분류한 값은 93이고, 벽면을 창문으로 분류한 값은 0이다. 이로써, 정밀도(Precision)는 77.80%, 정확도(Accuracy)는 71.94%가 되고, 민감도(Sensitivity)는 95.32가 되어, F1-Score는 85.68%가 산출됨을 알 수 있다. Referring to Table 1, as a result of the experiment on 5 apartment wall images, as the detection results for a total of 342 windows, the value of classifying windows as windows is 326, the value of classifying windows as walls is 16, The value classified as a wall is 93, and the value classified as a wall is 0. Accordingly, it can be seen that the precision becomes 77.80%, the accuracy becomes 71.94%, the sensitivity becomes 95.32, and the F1-Score is 85.68%.

본 발명의 일 실시예에 따른 창문 검출 방법에 따라 건물 외벽 이미지로부터 창문 영역을 명확하게 검출하고, 이에 근거하여, 세대를 판정하거나, 창문 영역의 밝기 등을 통해 조명 온 오프 상태 등을 정확하게 검출하여 이상상태 판정 등에 용이하게 이용될 수 있다. 또한, 본 발명의 일 실시예에 따른 창문 검출 방법에 따르면, 실외 측정방법이므로, 사용자의 사생활보호를 침해하지 않고도 세대의 이상상태를 판정할 수 있도록 도와준다. 또한, 본 발명의 일 실시예에 따른 창문 검출 방법에 따르면, 각 세대마다 설치하는 것이 아니라, 건물 전체 세대의 이상상태를 판정할 수 있어, 관리에 효율성이 기대된다. According to the window detection method according to an embodiment of the present invention, the window area is clearly detected from the image of the exterior wall of the building, and based on this, the household is determined or the lighting on/off state is accurately detected through the brightness of the window area, etc. It can be easily used for abnormal state determination and the like. In addition, according to the window detection method according to an embodiment of the present invention, since it is an outdoor measurement method, it helps to determine the abnormal state of the household without violating the user's privacy protection. In addition, according to the window detection method according to an embodiment of the present invention, it is possible to determine the abnormal state of the entire building rather than installing it for each household, so efficiency in management is expected.

한편, 본 발명의 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광매체(magneto-optical), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 일 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Meanwhile, the embodiments of the present invention may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the present invention, or may be known and available to those skilled in the art of computer software. Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic such as floppy disks. - Examples of program instructions such as magneto-optical and ROM, RAM, and flash memory can be executed by a computer using an interpreter as well as machine code such as generated by a compiler. contains high-level language codes. The hardware device described above may be configured to operate as one or more software modules to perform the operations of the embodiments of the present invention, and vice versa.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.So far, the present invention has been looked at with respect to preferred embodiments thereof. Those of ordinary skill in the art to which the present invention pertains will understand that the present invention can be implemented in a modified form without departing from the essential characteristics of the present invention. Therefore, the disclosed embodiments are to be considered in an illustrative rather than a restrictive sense. The scope of the present invention is indicated in the claims rather than the foregoing description, and all differences within the scope equivalent thereto should be construed as being included in the present invention.

100 : 창문 검출 장치
110 : 입력부
120 : 표시부
130 : 통신부
140 : 저장부
150 : 컨트롤러
151 : 관심영역 설정부
152 : 명암 산출부
153 : 보정부
154 : 임계값 설정부
155 : 창문 영역 검출부
156 : 세대 판정부
100: window detection device
110: input unit
120: display
130: communication department
140: storage
150: controller
151: region of interest setting unit
152: Contrast calculator
153: correction unit
154: threshold setting unit
155: window area detection unit
156: generation judging unit

Claims (12)

영상 처리 장치에 의한 건물 이미지를 이용한 창문 검출 방법으로서,
규칙적으로 배열된 창문을 갖는 건물 외벽의 이미지로부터 벽면 전체를 관심영역으로 설정하는 단계;
상기 관심 영역의 가로축과 세로축 각각을 기준으로 각 픽셀의 평균 명암값을 연산하는 단계;
상기 가로축과 세로축 각각에 대하여 상기 평균 명암값의 최대값과 최소값을 산출하고, 상기 최대값과 최소값 사이에서 기준 임계값을 설정하는 단계;
설정된 기준 임계값과 상기 평균 명암값을 이용하여 상기 관심 영역에서 창문 영역을 검출하는 단계; 및
상기 검출된 창문 영역에 기초하여 미리 설정된 기준에 따라 세대를 판정하는 단계
를 포함하고,
상기 미리 설정된 기준은 1 세대에 대응하는 창문배열방향에 대한 창문의 수이고,
상기 최대값과 최소값 사이에서 기준 임계값을 설정하는 단계는,
상기 가로축과 세로축 각각에 대하여 상기 최대값과 최소값 사이를 미리 설정된 구간으로 나누고, 각 구간의 경계값을 후보 임계값으로 설정하는 단계;
상기 가로축과 세로축 각각에 대하여 상기 후보 임계값을 기준으로 상기 관심 영역에서 복수개의 단일 창문 영역과 단일 벽면 영역을 구분하는 단계; 및
상기 가로축과 세로축 각각에 대하여 상기 복수개의 단일 창문 영역과 단일 벽면 영역의 길이에 기초하여 복수개의 후보 임계값 중에 기준 임계값을 선택하는 단계를 더 포함하고,
상기 단일 창문은 각각의 창문 영역을 나타내고, 상기 단일 벽면은 상기 단일 창문 영역 사이의 벽면 영역을 나타내는 것을 특징으로 하는 건물 이미지를 이용한 창문 검출 방법.
A window detection method using an image of a building by an image processing device, comprising:
setting the entire wall as a region of interest from an image of an exterior wall of a building having regularly arranged windows;
calculating an average contrast value of each pixel based on each of a horizontal axis and a vertical axis of the region of interest;
calculating a maximum value and a minimum value of the average intensity value with respect to the horizontal axis and the vertical axis, respectively, and setting a reference threshold value between the maximum value and the minimum value;
detecting a window region in the ROI using a set reference threshold value and the average intensity value; and
determining a household according to a preset criterion based on the detected window area;
including,
The preset criterion is the number of windows in the window arrangement direction corresponding to the first generation,
Setting a reference threshold value between the maximum value and the minimum value comprises:
dividing a section between the maximum value and the minimum value with respect to each of the horizontal and vertical axes into preset sections, and setting a boundary value of each section as a candidate threshold value;
classifying a plurality of single window regions and a single wall region in the region of interest based on the candidate thresholds for each of the horizontal and vertical axes; and
selecting a reference threshold value from among a plurality of candidate thresholds based on lengths of the plurality of single window areas and single wall areas with respect to the horizontal axis and the vertical axis, respectively;
The window detection method using a building image, characterized in that the single window represents each window area, and the single wall represents a wall area between the single window areas.
삭제delete 제1항에 있어서,
상기 단일 창문 영역과 상기 단일 벽면 영역은 교번적으로 배치되는 것을 특징으로 하는 건물 이미지를 이용한 창문 검출 방법.
According to claim 1,
The window detection method using a building image, characterized in that the single window area and the single wall area are alternately arranged.
제1항에 있어서,
상기 복수개의 후보 임계값 중에 기준 임계값을 선택하는 단계는,
상기 복수개의 단일 창문 영역 각각의 길이를 제1 집합으로 정의하고, 상기 복수개의 단일 벽면 영역 각각의 길이를 제2 집합으로 정의하는 단계;
상기 후보 임계값 각각에 대하여 상기 제1 집합의 분산과 제2 집합의 분산의 곱을 연산하는 단계; 및
상기 제1 집합의 분산과 제2 집합의 분산의 곱이 최소가 되는 후보 임계값을 기준 임계값으로 설정하는 단계
를 포함하는 것을 특징으로 하는 건물 이미지를 이용한 창문 검출 방법.
The method of claim 1,
The step of selecting a reference threshold value from among the plurality of candidate threshold values includes:
defining a length of each of the plurality of single window areas as a first set, and defining a length of each of the plurality of single wall areas as a second set;
calculating a product of the variance of the first set and the variance of the second set for each of the candidate thresholds; and
Setting a candidate threshold at which the product of the variance of the first set and the variance of the second set is the minimum as a reference threshold value
Window detection method using a building image, characterized in that it comprises a.
제1항에 있어서,
상기 각 픽셀의 평균 명암값을 산출하는 단계와, 상기 최대값과 최소값 사이에서 기준 임계값을 설정하는 단계 사이에,
선형 회귀식을 이용하여 연산된 각 픽셀의 평균 명암값의 명암 차이를 보정하는 단계
를 더 포함하는 건물 이미지를 이용한 창문 검출 방법.
According to claim 1,
Between calculating the average intensity value of each pixel and setting a reference threshold value between the maximum value and the minimum value,
Compensating for the difference in contrast between the average contrast values of each pixel calculated using a linear regression equation
Window detection method using a building image further comprising a.
삭제delete 규칙적으로 배열된 창문을 갖는 건물 외벽의 이미지로부터 벽면 전체를 관심영역으로 설정하는 관심영역 설정부;
상기 관심 영역의 가로축과 세로축 각각을 기준으로 각 픽셀의 평균 명암값을 산출하는 명암 산출부;
상기 가로축과 세로축 각각에 대하여 상기 평균 명암값의 최대값과 최소값을 산출하고, 상기 최대값과 최소값 사이에서 기준 임계값을 설정하는 임계값 설정부;
설정된 기준 임계값과 상기 평균 명암값을 이용하여 상기 관심 영역에서 창문 영역을 검출하는 창문 영역 검출부; 및
상기 검출된 창문 영역에 기초하여 미리 설정된 기준에 따라 세대를 판정하는 세대 판정부
를 포함하고,
상기 미리 설정된 기준은 1 세대에 대응하는 창문배열방향에 대한 창문의 수이고,
상기 임계값 설정부는,
상기 가로축과 세로축 각각에 대하여 상기 최대값과 최소값 사이를 미리 설정된 구간으로 나누고, 각 구간의 경계값을 후보 임계값으로 설정하고, 상기 가로축과 세로축 각각에 대하여 상기 후보 임계값을 기준으로 상기 관심 영역에서 복수개의 단일 창문 영역과 단일 벽면 영역을 구분하여, 상기 가로축과 세로축 각각에 대하여 상기 복수개의 단일 창문 영역과 단일 벽면 영역의 길이에 기초하여 복수개의 후보 임계값 중에 기준 임계값을 선택하고,
상기 단일 창문은 각각의 창문 영역을 나타내고, 상기 단일 벽면은 상기 단일 창문 영역 사이의 벽면 영역을 나타내는 것을 특징으로 하는 건물 이미지를 이용한 창문 검출 장치.
a region of interest setting unit for setting the entire wall as a region of interest from an image of an exterior wall of a building having regularly arranged windows;
a contrast calculator configured to calculate an average intensity value of each pixel based on a horizontal axis and a vertical axis of the region of interest;
a threshold value setting unit calculating a maximum value and a minimum value of the average intensity value with respect to the horizontal axis and the vertical axis, respectively, and setting a reference threshold value between the maximum value and the minimum value;
a window region detector configured to detect a window region in the region of interest using a set reference threshold value and the average contrast value; and
A household determination unit that determines a household according to a preset criterion based on the detected window area
including,
The preset criterion is the number of windows in the window arrangement direction corresponding to the first generation,
The threshold setting unit,
For each of the horizontal and vertical axes, a section between the maximum value and the minimum value is divided into preset sections, a boundary value of each section is set as a candidate threshold, and the region of interest is based on the candidate threshold value for each of the horizontal and vertical axes. distinguishing a plurality of single window areas and single wall areas, and selecting a reference threshold value from among a plurality of candidate thresholds based on lengths of the plurality of single window areas and single wall areas with respect to the horizontal and vertical axes, respectively;
The window detection apparatus using a building image, characterized in that the single window represents each window area, and the single wall represents a wall area between the single window areas.
삭제delete 삭제delete 제7항에 있어서,
상기 임계값 설정부는,
상기 복수개의 단일 창문 영역 각각의 길이를 제1 집합으로 정의하고, 상기 복수개의 단일 벽면 영역 각각의 길이를 제2 집합으로 정의하며, 상기 후보 임계값 각각에 대하여 상기 제1 집합의 분산과 제2 집합의 분산의 곱을 연산하고, 상기 제1 집합의 분산과 제2 집합의 분산의 곱이 최소가 되는 후보 임계값을 기준 임계값으로 설정하는
것을 특징으로 하는 건물 이미지를 이용한 창문 검출 장치.
8. The method of claim 7,
The threshold setting unit,
A length of each of the plurality of single window areas is defined as a first set, and a length of each of the plurality of single wall areas is defined as a second set, and the variance of the first set and the second set for each of the candidate thresholds are calculating the product of the variance of the set, and setting a candidate threshold at which the product of the variance of the first set and the variance of the second set is the minimum as a reference threshold
Window detection device using a building image, characterized in that.
제7항에 있어서,
선형 회귀식을 이용하여 연산된 각 픽셀의 평균 명암값의 명암 차이를 보정하는 보정부
를 더 포함하는 건물 이미지를 이용한 창문 검출 장치.





8. The method of claim 7,
A correction unit that corrects the difference between the brightness and the average brightness value of each pixel calculated using a linear regression equation
Window detection device using a building image further comprising a.





삭제delete
KR1020200056186A 2020-05-11 2020-05-11 Method and Apparatus for detecting windows using building images KR102416820B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200056186A KR102416820B1 (en) 2020-05-11 2020-05-11 Method and Apparatus for detecting windows using building images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200056186A KR102416820B1 (en) 2020-05-11 2020-05-11 Method and Apparatus for detecting windows using building images

Publications (2)

Publication Number Publication Date
KR20210137843A KR20210137843A (en) 2021-11-18
KR102416820B1 true KR102416820B1 (en) 2022-07-05

Family

ID=78717396

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200056186A KR102416820B1 (en) 2020-05-11 2020-05-11 Method and Apparatus for detecting windows using building images

Country Status (1)

Country Link
KR (1) KR102416820B1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180039713A1 (en) * 2016-08-02 2018-02-08 Indoor Reality Building scan window detection

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100447268B1 (en) * 2001-12-18 2004-09-07 한국전자통신연구원 Method for eye detection from face images by searching for an optimal binarization threshold
EP2495688A1 (en) * 2011-03-02 2012-09-05 Harman Becker Automotive Systems GmbH Floor Number Determination in Buildings
KR101793400B1 (en) * 2017-01-18 2017-11-20 (주)베라시스 Bottom Line Detecting Method of Vehicle in ROI

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180039713A1 (en) * 2016-08-02 2018-02-08 Indoor Reality Building scan window detection

Also Published As

Publication number Publication date
KR20210137843A (en) 2021-11-18

Similar Documents

Publication Publication Date Title
US10256906B2 (en) Position localization using visible light communication
CN107959875B (en) Image providing apparatus and method
US20080137906A1 (en) Smoke Detecting Method And Device
US9766057B1 (en) Characterization of a scene with structured light
KR101855057B1 (en) Fire alarm system and method
JP2011191298A (en) Device, method and system for identifying laser spot
KR20160090875A (en) Apparatus and method for generating assistance data with vertical access areas and predicted vertical movement models
US20100097474A1 (en) Smoke detecting method and system
US20140140576A1 (en) Object detection apparatus detection method and program
JP2023054162A (en) Optical fiber sending system and action specification method
KR20110048417A (en) Fire-Flame Detection Using Fuzzy Logic
WO2017072158A1 (en) A system and method for determining the location and occupancy of workspaces
CN110709900A (en) Measuring flow of people through doorway using easily installed IR array sensors
JP2011123742A (en) Intruding object detector
JP2014074948A (en) Designing support device and designing support method
US9313376B1 (en) Dynamic depth power equalization
JP2023041931A (en) Evaluation device, evaluation method, and program
US8552862B2 (en) System and method for detecting multi-level intrusion events and computer program product thereof
KR102416820B1 (en) Method and Apparatus for detecting windows using building images
Karakaya et al. Collaborative localization in visual sensor networks
KR102547768B1 (en) Method and Apparatus for Detecting Real-time Anomaly in Video Surveillance System
JP2005202578A (en) Communication device and communication method
US20040145568A1 (en) Optical mouse and method for preventing abnormal operation of the same
JP6664106B2 (en) Detection device, detection system, and program
JP5000928B2 (en) Object detection apparatus and method

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant