KR20220137236A - 사생활 침해를 방지하는 건물 외벽 하자 검출 방법 및 장치 - Google Patents

사생활 침해를 방지하는 건물 외벽 하자 검출 방법 및 장치 Download PDF

Info

Publication number
KR20220137236A
KR20220137236A KR1020210043052A KR20210043052A KR20220137236A KR 20220137236 A KR20220137236 A KR 20220137236A KR 1020210043052 A KR1020210043052 A KR 1020210043052A KR 20210043052 A KR20210043052 A KR 20210043052A KR 20220137236 A KR20220137236 A KR 20220137236A
Authority
KR
South Korea
Prior art keywords
image
building
area
window
detector
Prior art date
Application number
KR1020210043052A
Other languages
English (en)
Inventor
김하영
박정은
김정은
이기수
안용한
이상효
신현규
Original Assignee
연세대학교 산학협력단
한양대학교 에리카산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단, 한양대학교 에리카산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020210043052A priority Critical patent/KR20220137236A/ko
Publication of KR20220137236A publication Critical patent/KR20220137236A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/16—Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U20/00—Constructional aspects of UAVs
    • B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
    • B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/022—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B64U2101/31—UAVs specially adapted for particular uses or applications for imaging, photography or videography for surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Signal Processing (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Mechanical Engineering (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

개시된 기술은 사생활 침해를 방지하는 건물 외벽 하자 검출 방법 및 장치에 관한 것으로, 검출기가 건물 외벽에 대한 영상을 수신하는 단계; 상기 검출기가 전처리 모델에 상기 영상을 입력하여 상기 영상에 포함된 창문 영역을 마스킹하는 단계; 및 상기 검출기가 검출 모델에 상기 영상을 입력하여 상기 창문 영역을 제외한 나머지 영역에서 적어도 하나의 하자 영역을 검출하는 단계;를 포함한다.

Description

사생활 침해를 방지하는 건물 외벽 하자 검출 방법 및 장치 {METHOD AND DEVICE TO PREVENT INVASION OF PRIVACY AND DETECT DEFECT ON BUILDING WALLS}
개시된 기술은 건물 외벽의 하자를 검출할 때 사생활 침해를 방지하는 검출 방법 및 장치에 관한 것이다.
건물의 외벽에 발생하는 하자의 종류로 가장 대표적인 현상은 균열이 발생하는 것이다. 과거에는 고층 빌딩과 같이 사람이 육안으로 확인하기 어려운 위치에 발생하는 균열을 모니터링하기 위해서 작업자가 크레인이나 곤돌라와 같은 장치에 매달려서 육안으로 균열이 발생한 정도를 확인하였으나 최근에는 낙상사고의 위험으로 인하여 작업자 대신 카메라를 이용하거나 카메라를 드론과 같은 장치에 탑재하여 균열이 발생한 위치의 영상을 획득하고 있다.
한편, 균열로 인한 건물의 하자 보수 여부를 결정하기 위해서 획득된 영상을 분석하는 기술이 이용된다. 최근에는 딥러닝 모델을 이용하여 영상에서 균열이 포함된 영역을 감지한 후 균열의 상태를 예측하여 하자 보수 공사를 결정짓는 자료로 이용하고 있다. 그러나 이와 같이 영상 기반의 분석 기술을 이용할 때 영상에 포함된 건물 내부의 인원들의 사생활이 노출되는 문제가 있어서 이를 해결하기 위한 기술이 추가로 요구된다.
한국 공개특허 제10-2012-0109954호
개시된 기술은 건물 외벽의 하자를 검출할 때 사생활 침해를 방지하는 검출 방법 및 장치를 제공하는데 있다.
상기의 기술적 과제를 이루기 위하여 개시된 기술의 제 1 측면은 검출기가 건물 외벽에 대한 영상을 수신하는 단계, 상기 검출기가 전처리 모델에 상기 영상을 입력하여 상기 영상에 포함된 창문 영역을 마스킹하는 단계 및 상기 검출기가 검출 모델에 상기 영상을 입력하여 상기 창문 영역을 제외한 나머지 영역에서 적어도 하나의 하자 영역을 검출하는 단계를 포함하는 건물 외벽 하자 검출 방법을 제공하는데 있다.
상기의 기술적 과제를 이루기 위하여 개시된 기술의 제 2 측면은 촬영장치로부터 건물 외벽에 대한 영상을 수신하는 수신장치, 전처리 모델 및 검출 모델을 저장하는 저장장치 및 상기 전처리 모델에 상기 영상을 입력하여 상기 영상에 포함된 창문 영역을 마스킹하고, 상기 검출 모델에 상기 영상을 입력하여 상기 창문 영역을 제외한 나머지 영역에서 적어도 하나의 하자 영역을 검출하는 처리장치를 포함하는 건물 외벽 하자 검출 장치를 제공하는데 있다.
개시된 기술의 실시 예들은 다음의 장점들을 포함하는 효과를 가질 수 있다. 다만, 개시된 기술의 실시 예들이 이를 전부 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
개시된 기술의 일 실시예에 따르면 사생활 침해를 방지하는 건물 외벽 하자 검출 방법 및 장치는 건물 외벽 영상에서 창문 영역을 마스킹하여 사생활 침해를 방지하는 효과가 있다.
또한, 다양한 형태의 건물에 적용하여도 정확하게 창문 영역을 마스킹하는 효과가 있다.
또한, 딥러닝 모델을 이용하여 균열의 상태를 분석하여 건물 외벽에 대한 하자 보수 여부를 정확하게 결정하는 효과가 있다.
도 1은 개시된 기술의 일 실시예에 따른 사생활 침해를 방지하는 건물 외벽 하자 검출 과정을 나타낸 도면이다.
도 2는 개시된 기술의 일 실시예에 따른 사생활 침해를 방지하는 건물 외벽 하자 검출 방법에 대한 순서도이다.
도 3은 개시된 기술의 일 실시예에 따른 사생활 침해를 방지하는 건물 외벽 하자 검출 장치에 대한 블록도이다.
도 4는 개시된 기술의 일 실시예에 따라 전처리된 영상을 나타낸 도면이다.
도 5는 개시된 기술의 일 실시예에 따라 균열이 발생된 위치를 표시한 영상을 나타낸 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제 1 , 제 2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 해당 구성요소들은 상기 용어들에 의해 한정되지는 않으며, 단지 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
본 명세서에서 사용되는 용어에서 단수의 표현은 문맥상 명백하게 다르게 해석되지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 한다. 그리고 "포함한다" 등의 용어는 설시된 특징, 개수, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 의미하는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 단계 동작 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하지 않는 것으로 이해되어야 한다.
도면에 대한 상세한 설명을 하기에 앞서, 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다.
그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다. 따라서, 본 명세서를 통해 설명되는 각 구성부들의 존재 여부는 기능적으로 해석되어야 할 것이다.
도 1은 개시된 기술의 일 실시예에 따른 사생활 침해를 방지하는 건물 외벽 하자 검출 과정을 나타낸 도면이다. 도 1을 참조하면 검출기를 이용하여 건물 외벽에 발생한 하자 영역(Defect Area)을 검출할 수 있다. 하자 영역은 건물 외벽의 도장이 박리되거나 누수의 흔적이 존재하거나 균열이 발생한 것으로 추정되는 영역을 의미한다. 검출기는 촬영장치로부터 전송되는 영상을 수신하여 딥러닝 모델에 입력하는 것으로 영상을 분석하여 건물 외벽의 하자를 검출할 수 있다. 이때 검출기는 영상에서 건물 내 인원의 사생활이 노출되는 것을 방지하기 위해서 건물 내부가 공개될 수 있는 영역을 가린 나머지 영상에서 하자를 검출할 수 있다. 가령, 창문이 형성된 영역에 마스크를 삽입하여 가릴 수 있다. 검출기는 사전에 학습된 딥러닝 모델을 이용하여 영상에서 창문 영역을 식별하고 식별된 창문 영역을 마스킹하여 사생활 노출을 방지할 수 있다. 그리고 이와 같이 전처리 된 영상을 이용하여 하자 영역을 검출할 수 있다.
한편, 검출기는 촬영장치로부터 건물 외벽에 대한 영상을 수신할 수 있다. 촬영장치는 도 1에 도시한 바와 같이 카메라를 탑재한 드론을 이용할 수 있다. 사용자가 단말기를 이용하여 제어 명령을 전송하는 것으로 드론의 높이를 조절하고 카메라를 구동하여 영상을 획득할 수 있다. 물론 카메라를 다른 방식으로 건물 외벽에 접근시켜서 촬영한 영상을 이용할 수도 있다. 예컨대, 건물 외벽을 따라 승하강하는 인양기에 카메라를 고정시키고 촬영하고자 하는 위치로 인양기 높이를 조절하여 영상을 획득할 수도 있고 사용자가 길이 조절이 가능한 막대에 카메라를 연결하여 건물 외벽에 대한 영상을 촬영하는 것도 가능하다. 이와 같이 촬영장치로부터 획득된 건물 외벽에 대한 영상은 검출기에 무선으로 전송될 수 있다. 검출기 및 촬영장치는 사전에 무선 페어링을 수행하여 영상을 송수신할 수 있다.
한편, 검출기에 탑재된 딥러닝 모델은 영상을 전처리하기 위한 전처리 모델과 전처리된 영상에서 하자 영역을 검출하기 위한 검출 모델을 포함한다. 각 모델은 서로 다른 학습데이터를 이용하여 학습될 수 있다. 예컨대, 전처리 모델은 영상에서 창문을 식별하기 위한 학습데이터를 이용하여 사전에 학습될 수 있다. 그리고 검출 모델은 영상에서 하자를 식별하기 위한 학습데이터를 이용하여 학습될 수 있다. 두 모델은 학습하는 데이터에 있어서는 다소 차이가 있을 수 있으나 모델의 구조 자체는 서로 동일할 수 있다. 예컨대, 전처리 모델 및 검출 모델은 RCNN, Faster-RCNN, YOLO 또는 오토인코더와 같은 딥러닝 모델일 수 있다. 물론 각 모델의 성능을 위해 서로 다른 구조의 모델을 이용하는 것도 가능하다.
한편, 검출기는 전처리 모델을 통해 영상에 대한 전처리를 수행할 수 있다. 여기에서 영상을 전처리한다는 의미는 전처리 모델이 영상을 분석하여 영상에 포함된 창문 영역을 마스킹하는 것을 의미한다. 일 실시예로, 전처리 모델은 입력된 영상에서 특징을 추출하고 픽셀값을 변경하여 창문 영역에 바운딩 박스를 마스킹할 수 있다. 검출기는 이와 같이 설정된 바운딩 박스와 동일한 위치, 동일한 크기의 마스크를 이용하여 영상의 창문 영역을 마스킹할 수 있다.
한편, 검출기는 창문 영역을 모자이크, 블러(Blur) 및 단일 색상 평면 중 하나를 이용하여 가릴 수 있다. 검출기는 사전에 입력된 사용자의 설정값에 따라 설정된 마스크를 이용하여 창문 영역을 가릴 수 있다. 따라서 건물 외벽 영상을 통해 발생할 수 있는 사생활 침해를 방지할 수 있다.
한편, 검출기는 전처리 모델을 통해 전처리된 영상을 검출 모델에 입력하여 창문 영역을 제외한 나머지 영역에서 적어도 하나의 하자 영역을 검출하는 것이 가능하다. 검출 모델도 전처리 모델과 마찬가지로 창문 영역을 제외한 나머지 영역에 대하여 하자가 발생한 것으로 추정되는 영역에 바운딩 박스를 설정할 수 있다. 이러한 방식에 따라 검출 모델은 영상에 포함된 적어도 하나의 하자 영역을 검출할 수 있다.
한편, 검출기는 검출 모델의 출력값에 따라 영상에 적어도 하나의 하자 영역이 포함된 것을 확인하면 하자 영역에 포함된 균열의 진행방향, 균열의 크기 및 균열의 깊이를 추정하여 위험도를 판단할 수 있다. 위험도를 판단하는 것은 검출 모델을 이용할 수도 있고 별도의 모델을 이용할 수도 있다. 예컨대, 사전에 균열의 진행방향, 크기 및 깊이에 대한 학습데이터를 통해 학습된 딥러닝 모델에 전체 영상에서 추출된 하자 영역의 영상을 입력하고 딥러닝 모델의 출력값에 따라 위험도를 판단할 수 있다. 위험도에 대한 판단은 각 요소별로 수행될 수 있으며 이를 위해 서로 다른 복수개의 임계값이 사전에 설정될 수 있다. 예컨대, 균열의 진행방향에 대한 제 1 임계값, 균열 영역의 크기에 대한 제 2 임계값 및 균열 영역의 깊이에 대한 제 3 임계값이 각각 구비되어 어느 하나만 임계값을 초과하더라도 위험 상태로 판단할 수도 있고 3가지를 모두 초과해야만 위험 상태로 판단할 수 있다.
도 2는 개시된 기술의 일 실시예에 따른 사생활 침해를 방지하는 건물 외벽 하자 검출 방법에 대한 순서도이다. 도 2를 참조하면 건물 외벽 하자 검출 방법은 검출기를 통해서 순차적으로 수행될 수 있다. 건물 외벽 하자 검출 방법은 건물 외벽 영상을 수신하는 단계(210), 영상에 전처리를 수행하여 창문 영역을 가리는 단계(220) 및 창문 영역을 제외한 나머지 영역에서 하자 영역을 검출하는 단계(230)를 포함한다.
210 단계에서 검출기는 건물 외벽에 대한 영상을 수신한다. 검출기는 외부 장치로부터 전송되는 건물 외벽 영상을 입력받을 수도 있고 사전에 연결된 통신경로를 따라 영상을 전송받을 수도 있다. 일반적으로 고층 빌딩의 외벽과 같이 촬영이 어려운 위치를 촬영하기 위해서는 안전사고에 대비하여 사람이 직접 촬영하는 대신 별도의 원격 촬영이 가능한 장치를 이용하여 건물 외벽 영상을 촬영하는 것이 바람직하다. 따라서, 검출기는 카메라가 탑재된 드론과 같은 촬영장치를 이용하여 영상을 수신할 수 있다. 검출기는 사용자 단말기로부터 전송되는 제어 명령에 따라 구동되는 촬영장치로부터 영상을 무선으로 수신할 수 있다.
220 단계에서 검출기는 전처리 모델에 영상을 입력하여 영상에 포함된 창문 영역을 마스킹한다. 전처리 모델은 사전에 영상에서 창문 영역을 식별하기 위해 학습된 모델로, 창문 영역으로 식별되는 영역과 동일한 위치 및 크기를 갖는 마스크를 생성하여 창문 영역을 가릴 수 있다. 220 단계는 전처리 모델이 영상에서 창문이 존재하는 것으로 추정되는 영역에 바운딩 박스를 설정하는 단계 및 바운딩 박스를 마스킹하는 단계를 포함한다. 전처리 모델은 각 세부단계에 따라 창문 영역에 마스크를 삽입하여 창문으로 투과되는 건물 내부의 모습을 가릴 수 있다. 전처리 모델이 창문 영역에 대한 마스킹을 수행하면 검출기는 사전에 입력된 사용자의 설정값에 따라 마스크의 종류를 모자이크, 블러(Blur) 및 단일 색상 평면 중 하나로 결정하여 영상에 포함시킬 수 있다. 예컨대, 사전에 모자이크에 대한 설정값이 입력되었다면 전처리 모델의 마스크를 모자이크로 형성하여 원본 영상의 창문 영역에 삽입할 수 있다.
230 단계에서 검출기는 검출 모델에 영상을 입력하여 창문 영역을 제외한 나머지 영역에서 적어도 하나의 하자 영역을 검출할 수 있다. 230 단계에서 검출기는 전처리 모델에 입력한 영상과 동일한 영상을 검출 모델에 입력하고 전처리 모델의 출력값을 검출 모델에 전송하여 검출 모델이 창문 영역을 제외한 나머지 영역에 대하여 하자 영역을 검출하도록 제어할 수 있다. 물론 전처리 모델의 출력값을 검출 모델의 입력값으로 입력하는 것도 가능하다. 검출 모델은 균열을 검출할 수 있도록 학습된 모델이며 균열 영역을 검출하기 위한 학습데이터를 이용하여 사전에 학습될 수 있다.
한편, 230 단계는 검출된 하자 영역에 포함된 균열의 진행방향, 균열의 크기 및 균열의 깊이를 추정하여 위험도를 판단하는 단계를 더 포함한다. 위험도를 판단하는 단계는 하자 영역의 검출 과정에서 함께 수행될 수 있다. 검출기는 영상에서 하자 영역에 대한 영상을 추출하여 위험도를 판단할 수 있다. 검출기는 위험도 판단을 위해 학습된 별도의 딥러닝 모델을 탑재할 수 있으며 검출 모델에 학습데이터를 제공하여 사전에 학습시킨 후 위험도를 판단할 수도 있다.
도 3은 개시된 기술의 일 실시예에 따른 사생활 침해를 방지하는 건물 외벽 하자 검출 장치에 대한 블록도이다. 도 3을 참조하면 건물 외벽 하자 검출 장치(300)는 수신장치(310), 저장장치(320) 및 처리장치(330)를 포함한다.
수신장치(310)는 촬영장치에서 전송되는 건물 외벽에 대한 영상을 수신한다. 수신장치(310)는 사전에 촬영장치와 무선으로 페어링될 수 있으며 페어링된 경로를 따라 영상을 수신할 수 있다. 따라서 수신장치(310)는 무선통신 기능을 탑재하는 통신장치 내지는 통신모듈의 형태로 구현될 수 있다. 촬영장치는 사용자가 입력하는 제어명령에 따라 건물 외벽의 특정 위치로 이동하여 영상을 촬영할 수 있고 추가로 입력되는 제어명령에 따라 촬영된 영상을 수신장치(310)로 전송하거나 별도의 입력 없이 자동으로 전송하도록 설정될 수 있다.
저장장치(320)는 전처리 모델과 검출 모델이라는 2개의 딥러닝 모델을 저장한다. 저장장치(320)는 건물 외벽 하자 검출 장치(300)에 탑재되며 딥러닝 모델을 저장할 수 있는 저장공간 또는 용량을 가지는 메모리 형태로 구현될 수 있다.
처리장치(330)는 전처리 모델에 영상을 입력하여 영상에 포함된 창문 영역을 가리고, 검출 모델에 영상을 입력하여 창문 영역을 제외한 나머지 영역에서 적어도 하나의 하자 영역을 검출한다. 앞서 저장장치(320)에 저장된 전처리 모델 및 검출 모델은 사전에 학습된 상태의 모델들이다. 처리장치(330)는 우선 전처리 모델에 영상을 입력하여 창문 영역을 검출할 수 있다. 전처리 모델은 영상에서 창문으로 추정되는 영역을 검출하도록 사전에 학습되었으므로 창문 영역에 대한 바운딩 박스를 설정한 후 바운딩 박스와 동일한 크기의 마스크를 생성하여 창문 영역을 마스킹하는 것이 가능하다. 이때 건물 외벽 하자 검출 장치(300)에 입력된 설정값에 따라 마스킹의 종류가 서로 다르게 결정될 수 있다. 예컨대, 모자이크나 블러 또는 별도의 오브젝트로 마스킹을 수행할 수 있다.
한편, 처리장치(330)는 검출 모델에도 영상을 입력하여 건물 외벽에 발생한 하자 영역을 검출할 수 있다. 처리장치(330)는 하나의 영상을 전처리 모델과 검출 모델에 병렬로 입력한 후 전처리 모델의 출력값을 검출 모델에 전달하여 창문 영역을 제외한 나머지 영역을 식별하도록 할 수도 있다. 전처리 모델의 출력값을 검출 모델의 입력값으로 전달할 수도 있다. 검출 모델은 균열이 발생한 것으로 추정되는 영역을 검출할 수 있도록 사전에 학습되었으므로 입력된 영상을 분석하여 하자 영역을 검출할 수 있다. 검출 모델 또한 전처리 모델과 마찬가지로 하자 영역에 대한 바운딩 박스를 설정하는 방식으로 균열 영역을 검출할 수 있다.
한편, 처리장치(330)는 하자 영역을 검출하는 과정에서 하자 영역에 포함된 균열의 진행방향, 균열의 크기 및 균열의 깊이를 추정하여 위험도를 판단하는 것이 가능하다. 예컨대, 사전에 검출 모델에 위험도를 판단하기 위한 학습데이터를 제공하여 위험도 판단을 위한 학습을 수행하거나 위험도 판단을 위한 별도의 딥러닝 모델을 구비하고 딥러닝 모델에 학습데이터를 제공하여 위험도 판단을 위한 학습을 수행할 수 있다. 이와 같이 학습된 모델을 이용하여 건물 외벽에 발생한 균열이 건물의 안정성에 어느 정도의 악영향을 미치는지 추정할 수 있다.
한편, 상술한 바와 같은 건물 외벽 하자 검출 장치(300)는 컴퓨터에서 실행될 수 있는 실행가능한 알고리즘을 포함하는 프로그램(또는 어플리케이션)으로 구현될 수도 있다. 상기 프로그램은 일시적 또는 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장되어 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM (read-only memory), PROM (programmable read only memory), EPROM(Erasable PROM, EPROM) 또는 EEPROM(Electrically EPROM) 또는 플래시 메모리 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
일시적 판독 가능 매체는 스태틱 램(Static RAM，SRAM), 다이내믹 램(Dynamic RAM，DRAM), 싱크로너스 디램 (Synchronous DRAM，SDRAM), 2배속 SDRAM(Double Data Rate SDRAM，DDR SDRAM), 증강형 SDRAM(Enhanced SDRAM，ESDRAM), 동기화 DRAM(Synclink DRAM，SLDRAM) 및 직접 램버스 램(Direct Rambus RAM，DRRAM) 과 같은 다양한 RAM을 의미한다.
도 4는 개시된 기술의 일 실시예에 따라 전처리된 영상을 나타낸 도면이다. 도 4와 같이 영상에 포함된 2개의 창문 영역(401, 402)를 마스킹하여 건물 내부의 인원들에 대한 사생활이 노출되는 것을 방지할 수 있다. 도 4의 경우 바운딩 박스의 내부를 파란색으로 덧칠하여 마스킹을 한 것을 예시로 들었으나 앞서 도 1 내지 도 3을 통해 설명한 바와 같이 모자이크나 블러 등으로 처리하는 것도 가능하다. 물론 바운딩 박스 내부에 사생활 침해 방지를 알리는 텍스트나 그림, 기호 등의 오브젝트를 삽입하는 것으로 창문 영역을 가리는 것도 충분히 가능하다.
한편, 창문 영역을 검출하기 위해 학습되는 전처리 모델은 창문에 대한 특징을 학습하여 창문 영역을 검출할 수 있다. 예컨대, 창문의 프레임의 형태나 구조, 창문 유리에 반사되는 빛, 창문의 철조망의 특성 등을 학습하여 창문 영역을 검출할 수 있다. 따라서, 창문의 위치나 형태 등이 다소 달라지더라도 정확하게 마스킹을 수행할 수 있으므로 사생활 침해를 방지하는 것이 가능하다.
도 5는 개시된 기술의 일 실시예에 따라 하자 영역이 발생된 위치를 표시한 영상을 나타낸 도면이다. 도 5에 도시된 바와 같이 검출 모델은 창문 영역을 제외한 나머지 영역에 포함된 하자 영역을 검출할 수 있다. 도 5의 경우 1개의 균열 영역(501)을 검출한 것을 나타낸 것이며, 영상의 일 측에는 하자 영역에 대한 검출 정확도를 사용자가 직관적으로 파악할 수 있도록 퍼센티지로 균열 영역에 대한 검출 정확도를 표시하는 영역(502)이 포함될 수 있다.
개시된 기술의 일 실시예에 따른 사생활 침해를 방지하는 건물 외벽 하자 검출 방법 및 장치는 이해를 돕기 위하여 도면에 도시된 실시 예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 개시된 기술의 진정한 기술적 보호범위는 첨부된 특허청구범위에 의해 정해져야 할 것이다.

Claims (9)

  1. 검출기가 건물 외벽에 대한 영상을 수신하는 단계;
    상기 검출기가 전처리 모델에 상기 영상을 입력하여 상기 영상에 포함된 창문 영역을 마스킹하는 단계; 및
    상기 검출기가 검출 모델에 상기 영상을 입력하여 상기 창문 영역을 제외한 나머지 영역에서 적어도 하나의 하자 영역을 검출하는 단계;를 포함하는 건물 외벽 하자 검출 방법.
  2. 제 1 항에 있어서, 상기 창문 영역을 마스킹하는 단계는,
    상기 전처리 모델이 상기 영상에서 창문이 존재하는 것으로 추정되는 영역에 바운딩 박스를 설정하고 상기 바운딩 박스를 마스킹하는 건물 외벽 하자 검출 방법.
  3. 제 1 항에 있어서,
    상기 검출기는 사용자 단말기로부터 전송되는 제어 명령에 따라 구동되는 촬영장치로부터 상기 영상을 무선으로 수신하는 건물 외벽 하자 검출 방법.
  4. 제 1 항에 있어서, 상기 창문 영역을 가리는 단계는,
    상기 검출기가 상기 창문 영역을 모자이크, 블러(Blur) 및 단일 색상 평면 중 하나를 이용하여 가리는 건물 외벽 하자 검출 방법.
  5. 제 1 항에 있어서, 상기 하자 영역을 검출하는 단계는,
    상기 검출기가 상기 하자 영역에서 검출된 균열의 진행방향, 균열의 크기 및 균열의 깊이를 추정하여 위험도를 판단하는 단계를 더 포함하는 건물 외벽 하자 검출 방법.
  6. 촬영장치로부터 건물 외벽에 대한 영상을 수신하는 수신장치;
    전처리 모델 및 검출 모델을 저장하는 저장장치; 및
    상기 전처리 모델에 상기 영상을 입력하여 상기 영상에 포함된 창문 영역을 마스킹하고, 상기 검출 모델에 상기 영상을 입력하여 상기 창문 영역을 제외한 나머지 영역에서 적어도 하나의 하자 영역을 검출하는 처리장치;를 포함하는 건물 외벽 하자 검출 장치.
  7. 제 6 항에 있어서,
    상기 전처리 모델은 상기 영상에서 창문이 존재하는 것으로 추정되는 영역에 바운딩 박스를 설정하고 상기 바운딩 박스를 마스킹하는 건물 외벽 하자 검출 장치.
  8. 제 6 항에 있어서,
    상기 처리장치는 미리 입력된 설정값에 따라 상기 창문 영역을 모자이크, 블러(Blur) 및 단일 색상 평면 중 하나를 이용하여 가리는 건물 외벽 하자 검출 장치.
  9. 제 6 항에 있어서,
    상기 처리장치는 상기 하자 영역에 포함된 균열의 진행방향, 균열의 크기 및 균열의 깊이를 추정하여 위험도를 판단하는 건물 외벽 하자 검출 장치.
KR1020210043052A 2021-04-02 2021-04-02 사생활 침해를 방지하는 건물 외벽 하자 검출 방법 및 장치 KR20220137236A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210043052A KR20220137236A (ko) 2021-04-02 2021-04-02 사생활 침해를 방지하는 건물 외벽 하자 검출 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210043052A KR20220137236A (ko) 2021-04-02 2021-04-02 사생활 침해를 방지하는 건물 외벽 하자 검출 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20220137236A true KR20220137236A (ko) 2022-10-12

Family

ID=83597841

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210043052A KR20220137236A (ko) 2021-04-02 2021-04-02 사생활 침해를 방지하는 건물 외벽 하자 검출 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20220137236A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116778348A (zh) * 2023-08-28 2023-09-19 广东中科慧据科技有限公司 基于机器视觉的外墙脱落监测方法、装置、设备及介质
CN117949466A (zh) * 2024-03-26 2024-04-30 中建国际工程有限公司 一种建筑外墙裂缝检测无人机

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120109954A (ko) 2011-03-25 2012-10-09 풍림산업 주식회사 건물 외벽 하자 모니터링 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120109954A (ko) 2011-03-25 2012-10-09 풍림산업 주식회사 건물 외벽 하자 모니터링 장치

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116778348A (zh) * 2023-08-28 2023-09-19 广东中科慧据科技有限公司 基于机器视觉的外墙脱落监测方法、装置、设备及介质
CN116778348B (zh) * 2023-08-28 2023-12-01 广东中科慧据科技有限公司 基于机器视觉的外墙脱落监测方法、装置、设备及介质
CN117949466A (zh) * 2024-03-26 2024-04-30 中建国际工程有限公司 一种建筑外墙裂缝检测无人机

Similar Documents

Publication Publication Date Title
KR20220137236A (ko) 사생활 침해를 방지하는 건물 외벽 하자 검출 방법 및 장치
US10706633B2 (en) Augmented reality systems and methods for vehicle inspection
CN109002786B (zh) 人脸检测方法、设备及计算机可读存储介质
CN106372601A (zh) 一种基于红外可见双目图像的活体检测方法及装置
IL275535B1 (en) Analysis of a captured image to determine a test result
TWI635462B (zh) 一種評估影像品質之方法
US20180336397A1 (en) Method for detecting a live face for access to an electronic device
TWI478107B (zh) 票閘控制裝置及方法
CN110259514B (zh) 危险区域人员预警方法、存储介质、电子设备和预警系统
KR102559586B1 (ko) 인공지능을 이용한 구조물 외관 점검 시스템 및 방법
KR20210053509A (ko) 드론을 이용한 건축물 하자검사 시스템.
CN115620192A (zh) 一种高空作业安全绳穿戴检测的方法和装置
CN111402185B (zh) 一种图像检测方法及装置
KR102420856B1 (ko) 이미지를 이용한 3차원 객체의 존재 판독 방법 및 그 장치
KR102347854B1 (ko) 마커를 이용한 영상 인식 기반의 용접 상태 분류 장치 및 방법
KR102299250B1 (ko) 복합 영상 데이터를 이용한 입출력 인원 계수 장치 및 방법
KR20220137237A (ko) 사생활 침해를 방지하는 건물 외벽 하자 검출 방법 및 장치
CN111062415B (zh) 基于对比差异的目标对象图像提取方法、系统及存储介质
CN110441315B (zh) 电子部件测试设备和方法
JP2022070648A (ja) 情報処理装置および情報処理方法
JP7187830B2 (ja) 画像処理プログラム、画像処理装置、及び画像処理方法
KR102524868B1 (ko) 복장 인식을 이용하는 출입 관리 방법, 장치 및 시스템
CN108710843B (zh) 用于考勤的面部检测方法和装置
US9444999B2 (en) Feature detection in image capture
CN111935480B (zh) 一种用于图像获取装置的检测方法及相关装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X601 Decision of rejection after re-examination