KR102638306B1 - 설명가능한 인공지능 기반 건축물 외관 상태 평가 방법 및 장치 - Google Patents
설명가능한 인공지능 기반 건축물 외관 상태 평가 방법 및 장치 Download PDFInfo
- Publication number
- KR102638306B1 KR102638306B1 KR1020220153523A KR20220153523A KR102638306B1 KR 102638306 B1 KR102638306 B1 KR 102638306B1 KR 1020220153523 A KR1020220153523 A KR 1020220153523A KR 20220153523 A KR20220153523 A KR 20220153523A KR 102638306 B1 KR102638306 B1 KR 102638306B1
- Authority
- KR
- South Korea
- Prior art keywords
- damage
- image
- condition evaluation
- building
- exterior
- Prior art date
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 122
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 32
- 238000003058 natural language processing Methods 0.000 claims abstract description 15
- 238000000034 method Methods 0.000 claims description 33
- 238000001514 detection method Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 3
- 238000011002 quantification Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 16
- 238000004891 communication Methods 0.000 abstract description 3
- 238000012800 visualization Methods 0.000 description 11
- 238000012545 processing Methods 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 8
- 230000032798 delamination Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- BQCADISMDOOEFD-UHFFFAOYSA-N Silver Chemical compound [Ag] BQCADISMDOOEFD-UHFFFAOYSA-N 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000013210 evaluation model Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8854—Grading and classifying of flaws
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8854—Grading and classifying of flaws
- G01N2021/888—Marking defects
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2201/00—Features of devices classified in G01N21/00
- G01N2201/12—Circuits of general importance; Signal processing
- G01N2201/129—Using chemometrical methods
- G01N2201/1296—Using chemometrical methods using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Pathology (AREA)
- Artificial Intelligence (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Immunology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Quality & Reliability (AREA)
- Health & Medical Sciences (AREA)
- Analytical Chemistry (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
본 기술은 설명가능한 인공지능 기반 건축물 외관 상태 평가 방법, 및 장치에 관한 것이다. 본 기술의 설명가능한 인공지능 기반 건축물 외관 상태 평가 방법은, 프로세서로 구현되는 설명가능한 인공지능 기반 건축물 외관 상태 평가 방법으로서, 건축물 콘크리트 표면 손상에 대한 설명 문장 DB를 구축하는 단계; 평가 대상인 건축물 외관에 대한 2D 이미지를 입력받고, 상기 입력된 2D 이미지로부터 손상 부위를 검출하는 단계; 상기 검출된 손상 부위에 대해 픽셀단위 손상 발생량을 도출하고 상기 평가 대상인 건축물 외관의 스케일로 정량화하는 단계; 상기 DB에서 상기 검출된 손상 부위에 대응하는 설명 문장을 상기 정량화된 손상 발생량과 조합하여 자연어 처리를 수행함으로써 외관 상태 평가 문장을 생성하는 단계; 및 상기 외관 상태 평가 문장을 상기 정량화된 손상 발생량으로부터 정해지는 건축물 안전 등급과 함께 하나의 화면을 구성하는 GUI 객체들로 표시하는 디스플레이를 통해 사용자에게 제공하는 단계;를 포함한다. 본 기술은 인공지능을 신뢰할 수 있는 근거를 마련함으로써, 최종 점검자와 소통할 수 있는 창구 역할의 평가 시스템을 제공할 수 있다.
Description
본 발명은 설명가능한 인공지능 기반 건축물 외관 상태 평가 방법 및 장치에 관한 것으로, 보다 구체적으로는 건축물 외관 상태 평가 방법 및 장치를 설명가능한 인공지능 기반으로 구현한 기술에 관한 것이다.
인공지능(AI) 기술의 발전에 따라, 입력 이미지를 인간의 사고방식과 같이 인식하고 분류해내는 기술이 다양한 분야로 확대되고 있다. 건축물 외관 상태를 평가하는 분야도 그 중 하나이다.
한편, 인공지능은 기계 학습으로 데이터를 학습하여 입력 데이터에 대한 판단 결과를 제공하지만, 판단 결과에 대한 근거나 입출력 데이터의 인과관계를 설명하기 힘들다는 단점이 있다. 이른 바, '블랙박스' 문제이다. 특히, 심층 기계 학습의 경우 객체 인식, 자연어 처리, 의사 결정 등의 영역에서 높은 수준의 성능을 보여 의료, 로봇, 금융 등 다양한 분야에서 사용되고 있으나 복잡한 인공 신경망 구조로 결과에 대한 해석이 어려운 특징이 있다. 이러한 특징은 예측의 정확성 측면에서는 높은 수준의 성능을 보여줄 수 있으나 도출 결과에 대한 투명성, 신뢰성, 공정성 등을 보장할 수 없다.
건축물 외관 상태 평가시에도 이러한 블랙박스 문제로 인하여 분석 결과에 대한 원인을 찾아내기가 어렵다. 즉, 인공지능을 통해 외관 분석 결과를 도출 시 오판에 의한 문제점 발생 시, 이를 점검자에게 정확한 정보를 제공하기 어렵다는 문제점이 존재한다.
본 발명의 실시예는 설명가능한 인공지능(eXplainable Artificial Intelligence, XAI)을 이용한 건축물 외관 상태 평가 시스템으로서, 드론 및 영상 장치를 통해 수집한 건축물 외관 손상 DB와 영상분석 분야의 핵심기술인 eXpainable AI 기술을 접목하여 건축물 외관 상태 평가에 설명력을 더함으로써 안전점검의 신뢰성을 강화하고, 이를 바탕으로 점검자에게 인공지능 평가 결과에 대한 근거를 제공할 수 있는 기능을 갖춘 시스템을 제공한다.
한편, 본 발명의 명시되지 않은 또 다른 목적들은 하기의 상세한 설명 및 그 효과로부터 용이하게 추론할 수 있는 범위 내에서 추가적으로 고려될 것이다.
일 실시예에 따른 프로세서로 구현되는 설명가능한 인공지능 기반 건축물 외관 상태 평가 방법으로서, 건축물 콘크리트 표면 손상에 대한 설명 문장 DB를 구축하는 단계; 평가 대상인 건축물 외관에 대한 2D 이미지를 입력받고, 상기 입력된 2D 이미지로부터 손상 부위를 검출하는 단계; 상기 검출된 손상 부위에 대해 픽셀단위 손상 발생량을 도출하고 상기 평가 대상인 건축물 외관의 스케일로 정량화하는 단계; 상기 DB에서 상기 검출된 손상 부위에 대응하는 설명 문장을 상기 정량화된 손상 발생량과 조합하여 자연어 처리를 수행함으로써 외관 상태 평가 문장을 생성하는 단계; 및 상기 외관 상태 평가 문장을 상기 정량화된 손상 발생량으로부터 정해지는 건축물 안전 등급과 함께 하나의 화면을 구성하는 GUI 객체들로 표시하는 디스플레이를 통해 사용자에게 제공하는 단계;를 포함할 수 있다.
상기 검출하는 단계 이후에, 상기 검출된 손상 부위를 시각화하는 단계로서, 상기 입력된 2D 이미지의 적어도 일부 영역을 포함하는 확대 이미지를 생성하는 단계; 및 상기 확대 이미지에 대해 상기 검출된 손상 부위를 관심영역으로 포함하는 수정 이미지를 생성하는 단계;를 포함할 수 있다.
상기 정량화하는 단계는 상기 검출된 손상 부위를 손상의 종류별로 구별하고, 상기 픽셀단위 손상 발생량을 상기 손상의 종류별로 도출하고 이를 정량화할 수 있다.
상기 시각화하는 단계는, 상기 도출된 픽셀단위 손상 발생량을 상기 확대 이미지에 대해 소정의 영역으로 표시하는 외관 상태 평가 이미지를 생성하는 단계;를 포함하며, 상기 외관 상태 평가 이미지는 상기 디스플레이를 통해 상기 하나의 화면을 구성하는 GUI 객체로서 더 표시될 수 있다.
상기 시각화하는 단계는, 상기 검출된 손상 부위를 상기 손상의 종류별로 상기 확대 이미지를 생성하는 단계, 상기 수정 이미지를 생성하는 단계 및 상기 외관 상태 평가 이미지를 생성하는 단계를 수행하고, 상기 디스플레이는 상기 검출된 손상 부위를 상기 손상의 종류별로 상기 하나의 화면에 서로 다른 GUI 서브 객체들로 표시함으로써, 이들 중 제1 GUI 서브 객체 선택시, 제1 종류의 손상에 대한 상기 외관 상태 평가 문장 및 상기 외관 상태 평가 이미지가 표시되고, 이들 중 제2 GUI 서브 객체 선택시, 제2 종류의 손상에 대한 상기 외관 상태 평가 문장 및 상기 외관 상태 평가 이미지가 표시될 수 있다.
또한 일 실시예에 따른 상기 방법을 수행하기 위한 명령어를 포함하는 하나 이상의 컴퓨터 프로그램을 저장한 컴퓨터 판독 가능 기록 매체가 제공될 수 있다.
또한 일 실시예에 따른 설명가능한 인공지능 기반 건축물 외관 상태 평가 장치로서, 건축물 콘크리트 표면 손상에 대한 설명 문장 DB를 저장하는 메모리; 평가 대상인 건축물 외관에 대한 2D 이미지를 입력받는 이미지 획득부; 상기 입력된 2D 이미지로부터 손상 부위를 검출하며, 상기 검출된 손상 부위에 대해 픽셀단위 손상 발생량을 도출하고 상기 평가 대상인 건축물 외관의 스케일로 정량화하며, 상기 DB에서 상기 검출된 손상 부위에 대응하는 설명 문장을 상기 정량화된 손상 발생량과 조합하여 자연어 처리를 수행함으로써 외관 상태 평가 문장을 생성하는 프로세서; 및 상기 외관 상태 평가 문장을 상기 정량화된 손상 발생량으로부터 정해지는 건축물 안전 등급과 함께 하나의 화면을 구성하는 GUI 객체들로 표시하는 디스플레이;를 포함할 수 있다.
본 기술은 인공지능 기반 외관상태평가 시스템에 설명가능한 인공지능을 겹합하여 보다 신뢰성있는 결과물을 도출하고, 이를 설명가능한 형태로 점검자에게 정보를 제공할 수 있다.
또한 본 기술은 인공지능을 신뢰할 수 있는 근거를 마련함으로써, 최종 점검자와 소통할 수 있는 창구 역할의 시스템을 제공할 수 있다.
또한 본 기술은 불투명한 인공지능의 의사결정 과정을 설명적으로 개선하는 시스템을 제공할 수 있다.
또한 본 기술은 스마트한 시설물 관리를 위한 무인·원격 상태 정보 수집 및 평가 기술로서, 시설물의 안전성 확보를 위한 딥러닝 기반 건축물 외관 손상 상태 평가 모델을 제공할 수 있다.
또한 본 기술은 기존 기술 수준의 차원을 넘어 기술개발을 선도하고 연구개발 성과와 산업 간 연결고리를 강화할 수 있는 중요한 원천 기술을 제공할 수 있다.
도 1은 일 실시예에 따른 설명가능한 인공지능 기반 건축물 외관 상태 평가 방법의 전체적인 흐름을 도시하는 도면이다.
도 2는 일 실시예에 따른 건축물 콘크리트 표면 손상의 종류와, 건축물에 대한 입력 이미지를 획득하는 과정의 구현 예를 도시하는 도면이다.
도 3은 일 실시예에 따른 시각화하는 단계의 전체적인 흐름을 도시하는 도면이다.
도 4는 일 실시예에 따른 시각화하는 단계를 통해 생성된 확대 이미지 및 수정 이미지를 도시하는 도면이다.
도 5는 일 실시예에 따른 픽셀단위 손상 발생량 도출 과정을 개략적으로 도시하는 도면이다.
도 6은 일 실시예에 따른 디스플레이를 통해 사용자에게 상술한 과정들을 통해 도출된 결과를 여러 GUI 객체들로 표시하는 구현 예를 도시하는 도면이다.
도 7은 일 실시예에 따른 외관 상태 평가 장치의 하드웨어 구현의 예를 도시한 도시하는 도면이다.
첨부된 도면은 본 발명의 기술사상에 대한 이해를 위하여 참조로서 예시된 것임을 밝히며, 그것에 의해 본 발명의 권리범위가 제한되지는 아니한다.
도 2는 일 실시예에 따른 건축물 콘크리트 표면 손상의 종류와, 건축물에 대한 입력 이미지를 획득하는 과정의 구현 예를 도시하는 도면이다.
도 3은 일 실시예에 따른 시각화하는 단계의 전체적인 흐름을 도시하는 도면이다.
도 4는 일 실시예에 따른 시각화하는 단계를 통해 생성된 확대 이미지 및 수정 이미지를 도시하는 도면이다.
도 5는 일 실시예에 따른 픽셀단위 손상 발생량 도출 과정을 개략적으로 도시하는 도면이다.
도 6은 일 실시예에 따른 디스플레이를 통해 사용자에게 상술한 과정들을 통해 도출된 결과를 여러 GUI 객체들로 표시하는 구현 예를 도시하는 도면이다.
도 7은 일 실시예에 따른 외관 상태 평가 장치의 하드웨어 구현의 예를 도시한 도시하는 도면이다.
첨부된 도면은 본 발명의 기술사상에 대한 이해를 위하여 참조로서 예시된 것임을 밝히며, 그것에 의해 본 발명의 권리범위가 제한되지는 아니한다.
실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 구현될 수 있다. 따라서, 실제 구현되는 형태는 개시된 특정 실시예로만 한정되는 것이 아니며, 본 명세서의 범위는 실시예들로 설명한 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 실시예들을 첨부된 도면들을 참조하여 상세하게 설명한다. 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고, 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 일 실시예에 따른 설명가능한 인공지능 기반 건축물 외관 상태 평가 방법의 전체적인 흐름을 도시한다. 그리고, 도 2는 일 실시예에 따른 건축물 콘크리트 표면 손상의 종류와, 건축물에 대한 입력 이미지를 획득하는 과정의 구현 예를 도시한다.
도 1을 참조하면, 설명가능한 인공지능 기반 건축물 외관 상태 평가 방법(이하, 간단히 '외관 상태 평가 방법'이라 함)은 설명 문장 DB를 구축하는 단계(S110), 손상 부위를 검출하는 단계(S120), 픽셀단위 손상 발생량을 도출하고 건축물 외관의 스케일로 정량화하는 단계(S130), 외관 상태 평가 문장을 생성하는 단계(S140) 및 사용자에게 제공하는 단계(S150)를 포함한다.
단계(S110)에서 설명가능한 인공지능 기반 건축물 외관 상태 평가 장치(이하, 간단히 '외관 상태 평가 장치'라 함)는 건축물 콘크리트 표면 손상에 대한 설명 문장 DB를 구축한다.
도 2에 도시된 바와 같이, 건축물에 대한 콘크리트 표면 손상의 종류는 은 균열, 박리, 박락, 누수, 철근노출 등 다양할 수 있고, 이러한 각각의 손상에 대해 사용자가 입력한 설명 문장으로서 '이것은 박락이다', '이것은 박리이다' 등을 DB로 구축할 수 있다.
DB화되는 손상의 종류별 설명 문장은 반드시 사용자가 입력한 것에 한정되지 않으며, 외관 상태 평가 장치는 건축물 콘크리트 표면 손상에 대한 다양한 설명 문장을 기계학습할 수도 있다. 기계학습에는 알려진 인공 신경망(Neural Network) 기술이 적용될 수 있다. 인공 신경망은, DNN(Deep Neural Network), RNN(Recurrent Neural Network), BRDNN(Bidirectional Recurrent Deep Neural Network), MLP(Multilayer Perceptron), CNN(Convolutional Neural Network)와 같은 방식의 네트워크 모델들을 포함할 수 있으나, 이에 한정되지 않는다.
또한 DB화되는 손상의 종류별 설명 문장은 학습 데이터인 표면 손상 이미지에 포함된 텍스트 부분이 있다면 이를 문자 인식 알고리즘을 통해 인식하고 손상에 관한 설명 문장을 추출하는 방식으로 입력받을 수도 있다. 이에 한정되지 않고 다양한 방식으로 건축물 콘크리트 표면에 발생하는 손상과 이에 대한 설명 문장간의 관계를 DB로 구축할 수 있다.
단계(S120)에서 외관 상태 평가 장치는 평가 대상인 건축물 외관에 대한 2D 이미지를 입력받고, 입력된 2D 이미지(즉, 입력 이미지)로부터 손상 부위를 검출한다. 손상 부위 검출 결과는 해당 2D 이미지에 포함된 손상의 위치, 손상의 종류 등에 관한 정보를 포함할 수 있다.
2D 이미지는 사용자에 의해 입력될 수 있다. 2D 이미지의 획득 경로는 도 2에 도시된 바와 같이, 드론(UAV)과 같은 영상 장치를 통해 획득된 것일 수 있으며 획득된 경로에 본 발명이 한정되지 않는다. 본 발명에서 2D 이미지라는 용어는 사용자에게 접근이 용이한 이미지의 종류를 한정하기 위한 것일 뿐, 3D 이미지라고 해서 본 단계에 적용되지 않는 것은 아니며, 다양한 형태로 입력받게 되는 입력 데이터를 2D 이미지로 변환한 이후에 본 단계(S120)에 적용될 수도 있다.
외관 상태 평가 장치는 손상 부위 검출을 위해 인공지능 검출 알고리즘을 이용할 수 있다. 인공지능 검출 알고리즘은 입력 이미지로부터 건축물 콘트리트 표면 손상 부위를 인식하고 검출해내기 위해 동작한다.
손상 부위 검출의 정확성을 높이기 위해, 외관 상태 평가 장치는 건축물 콘크리트 표면 손상을 기계학습할 수 있다. 건축물 콘크리트 표면 손상 이미지에 관한 훈련 데이터를 학습한 인공 신경망 모델은, 입력 데이터가 가지는 패턴에 따라 분류하거나 군집화할 수 있으며, 이로써 입력 이미지에서 콘크리트 표면 손상 부위를 더욱 정확하게 인식하고 검출할 수 있다. 일례로, Region-based CNN 기반 물체 자동 감지 알고리즘을 이용하면, 입력 이미지에서(input image) 영역을 추출하고(extract region proposlas) 그에 대해 워프 과정(warped region)을 거친 뒤 CNN 피처를 계산하여(compute CNN features) 그러한 영역을 분류함으로써(classify regions), 손상 부위 검출의 정확성 및 효율성을 높일 수 있다. 입력 이미지로부터 특정 객체를 인식하기 위해 알려진 객체 인식 알고리즘을 적용할 수도 있음은 물론이다.
한편, 단계(S120)에서 검출된 손상 부위 과정을 사용자에게 시각화 자료로 제공하기 위해, 단계(S120) 이후에, 단계(S120)에서 검출된 손상 부위를 시각화하는 단계가 수행될 수 있다. 도 3은 일 실시예에 따른 시각화하는 단계의 전체적인 흐름을 도시한다. 시각화하는 단계는, 확대 이미지를 생성하는 단계(S132)와, 수정 이미지를 생성하는 단계(S134)를 포함할 수 있다. 이는 후술하는 바와 같이, 사용자에게 설명가능한 인공지능 기반의 평가 방법을 제공하기 위한 기반이 된다.
확대 이미지를 생성하는 단계(S122)에서 외관 상태 평가 장치는 입력된 2D 이미지의 적어도 일부 영역을 포함하는 확대 이미지(EI, 미도시)를 생성한다. 확대 이미지는 입력 이미지를 여러 개의 분할 영역으로 나누고 이들 중 어느 하나의 영역에 대한 이미지일 수 있다. 이러한 확대 이미지는 사용자를 위한 시각화 자료로 활용될 뿐, 상술한 손상 부위 검출 과정이 수행되는 것은 2D 이미지이면 된다.
확대 이미지(EI)는 고해상도의 입력 이미지에서 상술한 손상 부위 검출 과정을 통해 검출된 손상 부위를 확대해서 잘라낸 이미지로 생각해도 좋다. 확대 이미지의 해상도는 후술하는 바와 같이 사용자에게 설명가능한 인공지능 기반의 평가 방법을 시각화한 자료의 기초가 되는 바, 사용자가 육안으로 콘크리트 표면 손상을 확인할 수 있을 정도의 해상도와 이미지 크기를 갖는 것이 바람직하다.
생성된 확대 이미지는 후속 단계(S124)에 제공된다.
수정 이미지를 생성하는 단계(S124)에서 외관 상태 평가 장치는 이전 단계(S122)에서 생성된 확대 이미지에 대해 상술한 손상 부위 검출 과정을 통해 검출된 손상 부위를 관심영역(ROI)으로 포함하는 수정 이미지(RI, 도 4)를 생성할 수 있다. 수정 이미지(RI)에 관심영역(ROI)이 표시되는 것은 설명가능한 인공지능 기반의 평가 방법을 시각화한 자료로서 제공한다. 즉, 관심영역 표시 없이도 외관 상태 평가 장치에서 손상 부위 검출은 가능하지만, 사용자에게 손상 부위 검출 과정을 보여주기 위해서 이와 같은 수정 이미지를 생성하는 것이다. 도 4에 도시된 바와 같이, 관심영역(ROI)은 콘크리트 표면 손상 부위에 대해 크기나 모양 등 매우 직관적인 정보를 사용자에게 제공한다.
생성된 수정 이미지는 후속 단계(S136)에 제공될 수 있다.
도 3에 도시된 바와 같이, 시각화하는 단계는 상술한 확대 이미지를 이용하여 외관 상태 평가 이미지를 생성하는 단계(S136)를 더 포함할 수 있다. 이에 대해서는 후술한다.
단계(S130)에서 외관 상태 평가 장치는 상술한 단계(S120)에서 검출된 손상 부위에 대해 픽셀단위 손상 발생량을 도출하고, 평가 대상인 건축물 외관의 스케일로 정량화한다.
먼저 도 5에 일 실시예에 따른 픽셀단위 손상 발생량 도출 과정이 개략적으로 도시된다. 도면에서는 설명의 편의를 위해 검출된 손상 부위 중 일부 영역에 대한 확대도에서 픽셀단위로 손상 발생량 도출 과정을 도시한다. 즉, 입력 이미지 중 일부 영역에 대한 확대도에서 픽셀단위 손상 발생량 도출 과정이 도시된다. 도면에 도시된 바와 같이, 개별 픽셀에 대해 손상 발생을 확률(p(xij)로서 계산하고, 일정 확률(0.75 초과)을 만족하는 픽셀에 대해 손상인 것으로 판단하며, 그리고 손상인 것으로 판단된 픽셀들의 개수를 해당 영역에 대해 모두 산출함으로써 픽셀단위 손상 발생량을 도출할 수 있다. 예를 들어, 도면에 도시된 예에서, 총 361개(=가로19*세로19)의 픽셀에 대한 픽셀 스코어 계산 결과 그 중 157개의 픽셀이 일정 확률을 만족함으로써 손상인 것으로 판단되는 경우, 해당 영역에 대해 픽셀단위 손상 발생량은 157/361일 수 있다. 나아가, 전체 입력 이미지에 대해서 픽셀단위 손상 발생량이 합산될 수 있다. 즉, 도 5는 전체 입력 이미지에서 일부 영역에 대한 확대도이므로, 나머지 영역에 대해서도 픽셀단위 손상 발생량을 도출하여 합산할 수 있다.
이어서, 도출된 픽셀단위 손상 발생량을 기초로 평가 대상인 건축물 외관의 스케일로 정량화한다. 이는 이미지 스케일에서 실제 건축물 스케일로 전환하는 과정이다. 이를 위해, 해당 이미지에서 픽셀당 실제 건축물 외관에서의 길이에 대한 비율이 주어질 수 있다. 이러한 비율은 사용자로부터 입력받을 수 있다. 일례로, 1픽셀이 약 0,01m의 실제 건축물 외관의 길이라는 입력을 사용자로부터 받을 수 있다. 그러면, 이러한 비율을 기초로 외관 상태 평가 장치는 앞서 도출된 픽셀단위 손상 발생량을 평가 대상인 건축물 외관의 스케일로 정량화할 수 있다. 예를 들어, 도면에 도시된 예에서, 픽셀단위 손상 발생량은 361픽셀(=19픽셀*19픽셀)에서 157픽셀이고, 이를 비율에 따라 전환하게 되면, 0.0361m2(=0.19m*0.19m)에서 157/361에 해당하는 0.0157m2가 정량화된 손상 발생량일 수 있다. 나아가, 전체 입력 이미지에 대해서도 정량화된 손상 발생량이 합산될 수 있다. 일례로 도 5에 도시된 바와 같은 일부 영역이 전체 입력 이미지에서 가로864개*세로486개를 차지하는 경우라면, 419,904개 영역 각각에 대해 도출된 픽셀단위 손상 발생량 및 그에 대한 정량화된 손상 발생량이 합산될 수 있다. 예시된 개수에 본 발명이 한정되지 않는다.
상술한 비율은 사용자에 의해 입력되는 방식에 한정되지는 않으며, 입력받은 2D 이미지 자체가 축적 정보를 포함하고 있는 경우(드론과 같은 영상 장치에 촬상시 삼각측량법 등에 의해 축적 정보를 이미지 정보와 함께 생성하는 기능을 포함하는 것을 생각하면 된다) 이 축적 정보를 이용하여 바로 픽셀단위 손상 발생량이 실제 건축물 외관의 스케일로 정량화될 수 있다. 또는 2D 이미지에 상술한 비율의 산출을 위한 기준이 되는 물체가 촬상되고, 이 기준 물체의 실제 크기와 이미지 내에서 차지하는 픽셀 개수를 기초로 상술한 비율을 도출하는 알고리즘이 적용될 수도 있다. 제시된 예시에 한정되지 않으며, 입력 이미지 스케일을 실제 스케일로 변환하는 다양한 알고리즘이 적용될 수 있다.
한편, 상술한 시각화하는 단계는 이러한 픽셀단위 손상 발생량을 이용하여 외관 상태 평가 이미지를 생성하는 단계(S136)를 포함할 수 있다. 즉, 외관 상태 평가 이미지를 생성하는 단계(S136)에서 외관 상태 평가 장치는 단계(S130)에서 도출된 픽셀단위 손상 발생량을 단계(S132)에서 생성된 확대 이미지에 대해 소정의 영역(IR, 도 6 참조)으로 표시하는 외관 상태 평가 이미지를 생성한다. 도 6에 도시된 바와 같이, 검출된 손상 부위가 이미지 내에서 바운더리로 표시될 수 있다. 바운더리는 일정 확률을 만족하는 픽셀들의 군집에 대한 최외곽 픽셀들이 선으로 이어진 것일 수 있다. 외관 상태 평가 이미지는 상술한 외관 상태 평가 문장에 대응하는 것으로서, 사용자에게 일 실시예에 따라 검출된 손상 부위를 시각화 자료로 제공하기 위함이다. 사용자가 육안으로 콘크리트 표면 손상의 크기나 모양을 그에 대한 섬령 문장과 함께 직접 확인할 수 있도록 함으로써 매우 직관적인 정보를 사용자에게 제공할 수 있다. 이는 이른 바 인공지능의 블랙박스 문제를 해소할 수 있다. 즉, 일 실시예에 따르면, 검출된 손상 부위가 관심영역으로 표시되는 수정 이미지로 시각화되고(RI, 도 4 참조), 평가 문장으로 시각화되며(GUI2, 도 6 참조), 또한 픽셀단위 손상 발생량에 기초한 바운더리로 표시되는 외관 상태 평가 이미지(GUI3, 도 6 참조)로 시각화됨으로써 인공지능의 판단 과정을 사용자에게 보여줄 수 있다. 이때, 관심영역 시각화는 외관 상태 평가 장치의 손상 검출의 과정면에서 사용자에게 근거를 보여주는 것이고, 평가 문장은 외관 상태 평가 장치의 손상 인식의 과정면에서 사용자에게 근거를 보여주는 것이며, 평가 이미지는 외관 상태 평가 장치의 손상 면적 산출의 과정면에서 사용자에게 근거를 보여주는 것이기 때문이다.
한편, 단계(S130)는 단계(S120)에서 검출된 손상 부위를 손상의 종류별(균열, 박리, 박막, 누수, 철근노출 등과 같이)로 구별하고, 상술한 픽셀단위 손상 발생량을 손상의 종류별로 도출하고 이를 정량화할 수 있다. 이로써 종류별로 누적 집계될 수 있다.
단계(S140)에서 외관 상태 평가 장치는 단계(S110)에서 구축된 DB에서 상술한 단계(S120)를 통해 검출된 손상 부위에 대응하는 설명 문장을 상술한 단계(S130)에서 얻은 정량화된 손상 발생량과 조합하여 자연어 처리를 수행함으로써 외관 상태 평가 문장을 생성한다.
먼저, 외관 상태 평가 장치는 단계(S120)에서 검출된 손상 부위를 단계(S110)에서 구축된 DB에서의 표면 손상의 종류-설명 문장간의 대응 관계에 대입함으로써, 외관 상태 평가 장치는 검출된 손상 부위에 관한 설명 문장을 얻을 수 있다. 예를 들어, 검출된 손상 부위가 박락인 경우 DB에서 '이것은 박락이다'라는 설명 문장을 얻을 수 있다. 또는 검출된 손상 부위가 박리인 경우 DB에서 '이것은 박리이다'라는 설명 문장을 얻을 수 있다.
다음으로, 외관 상태 평가 장치는 위와 같이 얻은 설명 문장에 상술한 단계(S130)에서 얻은 정량화된 손상 발생량과 조합하여 자연어 처리를 수행함으로써 외관 상태 평가 문장을 생성한다. 예를 들어, 0.010325m2이 정량화된 손상 발생량이고 설명 문장이 '이것은 박락이다'인 경우 이들을 서로 조합하여 자연어 처리를 수행함으로써 외관 상태 평가 문장은 '이것은 박락이며 0.010325m2 면적이 손상되었다'를 생성할 수 있다. 다른 예로, 2.28m2이 정량화된 손상 발생량이고 설명 문장이 '이것은 박리이다'인 경우 이들을 서로 조합하여 자연어 처리를 수행함으로써 외관 상태 평가 문장은 '이것은 박리이며 2.28m2 면적이 손상되었다'를 생성할 수 있다. 상술한 예시에 본 발명이 한정되지 않으며, 자연어 처리에 따라 다양한 외관 상태 평가 문장이 생성될 수 있다.
단계(S150)에서 외관 상태 평가 장치는 단계(S140)에서 생성된 외관 상태 평가 문장을, 단계(S130)의 정량화된 손상 발생량으로부터 정해지는 건축물 안전 등급과 함께 하나의 화면을 구성하는 GUI 객체들로 표시하는 디스플레이를 통해 사용자에게 제공한다.
도 6은 일 실시예에 따른 디스플레이를 통해 사용자에게 상술한 과정들을 통해 도출된 결과를 여러 GUI(그래픽 사용자 인터페이스) 객체들로 표시하는 구현 예를 도시한다. 도 6에 도시된 바와 같이, 디스플레이에 의해 표시하는 하나의 화면에는 제1 GUI 객체(GUI1), 제2 GUI 객체(GUI2), 제3 GUI 객체(GUI3), 제1 GUI 서브 객체(S_GUIa), 제2 GUI 서브 객체(S_GUIb), 제3 GUI 서브 객체(S_GUIc), 제4 GUI 서브 객체(S_GUId)가 표시될 수 있다.
제1 GUI 객체(GUI1)는 단계(130)에서 정량화된 손상 발생량으로부터 정해지는 건축물 안전 등급을 디스플레이에 나타내기 위한 것이다. 이를 위해 안전 등급을 부여하는 단계(미도시)가 수행될 수 있다. 안전 등급을 부여하는 단계에서는 손상의 종류별로 도출 및 정량화된 픽셀단위 손상 발생량을 근거로 건축물 안전 등급을 부여할 수 있다. 예를 들어, 평가 대상이 되는 건축물에 대한 입력 이미지로부터 손상 부위로서 박락 및 박리가 검출되었고, 박락에 대해 도출 및 정량화된 픽셀단위 손상 발생량과, 박리에 대해 도출 및 정량화된 픽셀단위 손상 발생량의 합이 일정 기준을 넘어서는 경우에는 건축물 안전 등급으로서 B등급을 부여할 수 있다(등급별 기준은 건축물별로 다양하게 설정될 수 있다). 외관 상태 평가 장치는 안전 등급을 부여하는 단계(미도시)를 통해 결정된 건축물 안전 등급이 디스플레이에 제1 GUI 객체로 표시되도록 할 수 있다.
제2 GUI 객체(GUI2)는 단계(S140)에서 생성된 외관 상태 평가 문장을 디스플레이에 나타내기 위한 것이다. 도면에서는 외관 상태 평가 문장으로서, "이것은 박리이며, 2.28m2 면적이 손상되었음."이라는 문구가 도시된다.
제3 GUI 객체(GUI3)는 시각화하는 단계에서 생성된 외관 상태 평가 이미지를 디스플레이에 나타내기 위한 것이다. 도면에서는 박리로 검출된 손상 부위에 대해 확대 이미지에서 픽셀단위 손상 발생량을 소정의 영역(IR)으로 표시한 외관 상태 평가 이미지가 도시된다. 이때, 소정의 영역(IR)에 관한 추가 정보로서 손상의 종류(delamination), 손상의 면적(2.28m2) 등이 더욱 표시될 수 있다.
제1 내지 제3 GUI 서브 객체들(S_GUIa, S_GUIb, S_GUIc)은 단계(S130)에서 검출된 손상 부위를 손상의 종류별로 사용자가 선택해서 볼 수 있도록 디스플레이에 나타내기 위한 것이다. 상술한 제1 내지 제3 GUI 객체와 마찬가지로 하나의 화면에 표시될 수 있다. 도면에 도시된 바와 같이, 디스플레이는 검출된 손상 부위를 손상의 종류별로 하나의 화면에 서로 다른 GUI 서브 객체들로 표시함으로써, 이들 중 사용자가 제1 GUI 서브 객체 선택시, 제1 종류(예를 들어 박락)의 손상에 대한 외관 상태 평가 문장 및 외관 상태 평가 이미지가 표시되고, 이들 중 제2 GUI 서브 객체 선택시, 제2 종류(예를 들어 박리)의 손상에 대한 외관 상태 평가 문장 및 외관 상태 평가 이미지가 표시되며, 이들 중 제3 GUI 서브 객체 선택시, 제3 종류(예를 들어 균열)의 손상에 대한 외관 상태 평가 문장 및 외관 상태 평가 이미지가 표시되도록 할 수 있다.
도 7은 일 실시예에 따른 외관 상태 평가 장치의 하드웨어 구현의 예를 도시한 도면이다. 일 실시예에 따른 외관 상태 평가 장치(1000)는 이미지 획득부(1010), 프로세서(1020), 메모리(1030), 및 디스플레이(1040)를 포함할 수 있다.
이미지 획득부(1010)는 입력 이미지를 획득할 수 있다. 이미지 획득부(1010)는 입력 이미지를 캡쳐하는 이미지 센서 및 입력 이미지를 수신하는 통신부나 단말 중 적어도 하나를 포함할 수 있다.
프로세서(1020)는 메모리(1030)에 저장된 뉴럴 네트워크 모델을 이용하여 입력 이미지로부터 손상 부위를 검출하거나, 확대 이미지, 수정 이미지 및 외관 상태 평가 이미지를 생성할 수 있다. 프로세서(1020)는 메모리(1030)에 저장된 뉴럴 네트워크 모델을 이용하여 자연어 처리를 수행함으로써 외관 상태 평가 문장을 생성할 수 있다. 다만, 프로세서(1020)의 동작을 이로 한정하는 것은 아니고, 도 1 내지 도 6에서 설명된 동작들을 수행할 수도 있다.
메모리(1030)는 뉴럴 네트워크 모델, 자연어 처리 알고리즘 등을 저장할 수 있다. 메모리(1030)는 일 실시예에 따른 외관 상태 평가 방법을 수행하기 위해 요구되는 데이터를 임시적으로 또는 영구적으로 저장할 수 있다. 예를 들어, 메모리(1030)는 입력 이미지, 확대 이미지, 수정 이미지, 외관 상태 평가 이미지, 출력 이미지, 및/또는 설명 문장 DB도 저장할 수 있다.
디스플레이(1040)는 생성된 외관 상태 평가 문장 및 외관 상태 평가 이미지를 표시할 수 있다. 디스플레이(1040)는 건축물 안전 등급 및/또는 손상의 종류별로 외관 상태 평가 문장 및 외관 상태 평가 이미지를 표시하도록 하는 손상의 종류별 서브 객체들도 시각화할 수 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 저장할 수 있으며 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
위에서 설명한 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 또는 복수의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 이를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
EI : 확대 이미지
RI : 수정 이미지
GUI1 : 제1 GUI 객체
GUI2 : 제2 GUI 객체, 외관 상태 평가 문장
GUI3 : 제3 GUI 객체, 외관 상태 평가 이미지
S_GUIa : 제1 GUI 서브 객체
S_GUIb : 제2 GUI 서브 객체
S_GUIc : 제3 GUI 서브 객체
IR : 소정의 영역
1000 : 외관 상태 평가 장치
1010 : 이미지 획득부
1020 : 프로세서
1030 : 메모리
1040 : 디스플레이
RI : 수정 이미지
GUI1 : 제1 GUI 객체
GUI2 : 제2 GUI 객체, 외관 상태 평가 문장
GUI3 : 제3 GUI 객체, 외관 상태 평가 이미지
S_GUIa : 제1 GUI 서브 객체
S_GUIb : 제2 GUI 서브 객체
S_GUIc : 제3 GUI 서브 객체
IR : 소정의 영역
1000 : 외관 상태 평가 장치
1010 : 이미지 획득부
1020 : 프로세서
1030 : 메모리
1040 : 디스플레이
Claims (7)
- 프로세서로 구현되는 설명가능한 인공지능 기반 건축물 외관 상태 평가 방법으로서,
건축물 콘크리트 표면 손상에 대한 설명 문장 DB를 구축하는 단계;
평가 대상인 건축물 외관에 대한 2D 이미지를 입력받고, 상기 입력된 2D 이미지로부터 손상 부위를 검출하는 단계;
상기 검출된 손상 부위에 대해 픽셀단위 손상 발생량을 도출하고 상기 평가 대상인 건축물 외관의 스케일로 정량화하는 단계;
상기 DB에서 상기 검출된 손상 부위에 대응하는 설명 문장을 상기 정량화된 손상 발생량과 조합하여 자연어 처리를 수행함으로써 외관 상태 평가 문장을 생성하는 단계; 및
상기 외관 상태 평가 문장을 상기 정량화된 손상 발생량으로부터 정해지는 건축물 안전 등급과 함께 하나의 화면을 구성하는 GUI 객체들로 표시하는 디스플레이를 통해 사용자에게 제공하는 단계;를 포함하되,
상기 검출하는 단계 이후에, 상기 검출된 손상 부위를 시각화하는 단계로서,
상기 입력된 2D 이미지의 적어도 일부 영역을 포함하는 확대 이미지를 생성하는 단계; 및
상기 확대 이미지에 대해 상기 검출된 손상 부위를 관심영역으로 포함하는 수정 이미지를 생성하는 단계;를 포함하며,
상기 시각화하는 단계는, 상기 도출된 픽셀단위 손상 발생량을 상기 확대 이미지에 대해 소정의 영역으로 표시하는 외관 상태 평가 이미지를 생성하는 단계;를 포함하며,
상기 외관 상태 평가 이미지는 상기 디스플레이를 통해 상기 하나의 화면을 구성하는 GUI 객체로서 더 표시되되,
상기 소정의 영역은 상기 검출된 손상 부위가 상기 확대 이미지 내에서 바운더리로 표시되는 것으로서 일정 확률을 만족하는 픽셀들의 군집에 대한 최외곽 픽셀들이 선으로 이어진 것이며,
상기 정량화하는 단계는
상기 검출된 손상 부위를 손상의 종류별로 구별하고, 상기 픽셀단위 손상 발생량을 상기 손상의 종류별로 도출하고 이를 정량화하며,
상기 외관 상태 평가 문장을 생성하는 단계는
상기 검출된 손상 부위를 상기 DB에서의 표면 손상의 종류-설명 문장간의 대응 관계에 대입함으로써, 상기 검출된 손상 부위에 대응하는 설명 문장을 얻는 과정과,
상기 얻은 설명 문장에 상기 손상의 종류별 정량화된 손상 발생량과 조합하여 자연어 처리를 수행함으로써 상기 외관 상태 평가 문장을 생성하는 과정을 포함하는, 건축물 외관 상태 평가 방법. - 삭제
- 삭제
- 삭제
- 제1항에 있어서,
상기 시각화하는 단계는, 상기 검출된 손상 부위를 상기 손상의 종류별로 상기 확대 이미지를 생성하는 단계, 상기 수정 이미지를 생성하는 단계 및 상기 외관 상태 평가 이미지를 생성하는 단계를 수행하고,
상기 디스플레이는 상기 검출된 손상 부위를 상기 손상의 종류별로 상기 하나의 화면에 서로 다른 GUI 서브 객체들로 표시함으로써, 이들 중 제1 GUI 서브 객체 선택시, 제1 종류의 손상에 대한 상기 외관 상태 평가 문장 및 상기 외관 상태 평가 이미지가 표시되고, 이들 중 제2 GUI 서브 객체 선택시, 제2 종류의 손상에 대한 상기 외관 상태 평가 문장 및 상기 외관 상태 평가 이미지가 표시되는, 건축물 외관 상태 평가 방법. - 제1항, 및 제5항 중 어느 한 항의 설명가능한 인공지능 기반 건축물 외관 상태 평가 방법을 수행하기 위한 명령어를 포함하는 하나 이상의 컴퓨터 프로그램을 저장한 컴퓨터 판독 가능 기록 매체.
- 설명가능한 인공지능 기반 건축물 외관 상태 평가 장치로서,
건축물 콘크리트 표면 손상에 대한 설명 문장 DB를 저장하는 메모리;
평가 대상인 건축물 외관에 대한 2D 이미지를 입력받는 이미지 획득부;
상기 입력된 2D 이미지로부터 손상 부위를 검출하며, 상기 검출된 손상 부위에 대해 픽셀단위 손상 발생량을 도출하고 상기 평가 대상인 건축물 외관의 스케일로 정량화하며, 상기 DB에서 상기 검출된 손상 부위에 대응하는 설명 문장을 상기 정량화된 손상 발생량과 조합하여 자연어 처리를 수행함으로써 외관 상태 평가 문장을 생성하는 프로세서; 및
상기 외관 상태 평가 문장을 상기 정량화된 손상 발생량으로부터 정해지는 건축물 안전 등급과 함께 하나의 화면을 구성하는 GUI 객체들로 표시하는 디스플레이;를 포함하되,
상기 검출 이후에, 상기 검출된 손상 부위를 시각화하기 위해,
상기 입력된 2D 이미지의 적어도 일부 영역을 포함하는 확대 이미지를 생성하고,
상기 확대 이미지에 대해 상기 검출된 손상 부위를 관심영역으로 포함하는 수정 이미지를 생성하며,
상기 도출된 픽셀단위 손상 발생량을 상기 확대 이미지에 대해 소정의 영역으로 표시하는 외관 상태 평가 이미지를 생성하며,
상기 외관 상태 평가 이미지는 상기 디스플레이를 통해 상기 하나의 화면을 구성하는 GUI 객체로서 더 표시되되,
상기 소정의 영역은 상기 검출된 손상 부위가 상기 확대 이미지 내에서 바운더리로 표시되는 것으로서 일정 확률을 만족하는 픽셀들의 군집에 대한 최외곽 픽셀들이 선으로 이어진 것이며,
상기 정량화하는 단계는
상기 검출된 손상 부위를 손상의 종류별로 구별하고, 상기 픽셀단위 손상 발생량을 상기 손상의 종류별로 도출하고 이를 정량화하며,
상기 외관 상태 평가 문장을 생성하는 단계는
상기 검출된 손상 부위를 상기 DB에서의 표면 손상의 종류-설명 문장간의 대응 관계에 대입함으로써, 상기 검출된 손상 부위에 대응하는 설명 문장을 얻는 과정과,
상기 얻은 설명 문장에 상기 손상의 종류별 정량화된 손상 발생량과 조합하여 자연어 처리를 수행함으로써 상기 외관 상태 평가 문장을 생성하는 과정을 포함하는, 건축물 외관 상태 평가 장치.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220012199 | 2022-01-27 | ||
| KR20220012199 | 2022-01-27 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230116665A KR20230116665A (ko) | 2023-08-04 |
| KR102638306B1 true KR102638306B1 (ko) | 2024-02-20 |
Family
ID=87568742
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220153523A KR102638306B1 (ko) | 2022-01-27 | 2022-11-16 | 설명가능한 인공지능 기반 건축물 외관 상태 평가 방법 및 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102638306B1 (ko) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102008175B1 (ko) | 2019-01-31 | 2019-08-07 | (주)다음기술단 | 점검 및 진단용 드론을 이용한 댐 손상점검 방법 |
| KR102007761B1 (ko) | 2018-10-29 | 2019-10-21 | 정윤진 | 시설물 유지관리 보수공법 추천 시스템 및 방법 |
| KR102227756B1 (ko) * | 2020-12-07 | 2021-03-15 | 박봉진 | 구조물 손상판단 서비스 시스템 및 서비스 제공방법 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102616464B1 (ko) * | 2018-09-11 | 2023-12-21 | 고려대학교 산학협력단 | 무인비행체와 측정장치를 이용한 구조체의 안전점검 및 유지관리 시스템과 이를 이용한 방법 |
| KR102321249B1 (ko) * | 2019-12-17 | 2021-11-03 | 국토안전관리원 | 인공지능 기반의 시설물 외관 분석 방법 |
-
2022
- 2022-11-16 KR KR1020220153523A patent/KR102638306B1/ko active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102007761B1 (ko) | 2018-10-29 | 2019-10-21 | 정윤진 | 시설물 유지관리 보수공법 추천 시스템 및 방법 |
| KR102008175B1 (ko) | 2019-01-31 | 2019-08-07 | (주)다음기술단 | 점검 및 진단용 드론을 이용한 댐 손상점검 방법 |
| KR102227756B1 (ko) * | 2020-12-07 | 2021-03-15 | 박봉진 | 구조물 손상판단 서비스 시스템 및 서비스 제공방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20230116665A (ko) | 2023-08-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108921159B (zh) | 用于检测安全帽的佩戴情况的方法和装置 | |
| CN107545262B (zh) | 一种在自然场景图像中检测文本的方法及装置 | |
| CN109117876B (zh) | 一种稠密小目标检测模型构建方法、模型及检测方法 | |
| CN111080645B (zh) | 基于生成式对抗网络的遥感图像半监督语义分割方法 | |
| CN109478239B (zh) | 检测图像中的对象的方法和对象检测系统 | |
| CN113903009B (zh) | 一种基于改进YOLOv3网络的铁路异物检测方法与系统 | |
| US10783643B1 (en) | Segmentation-based damage detection | |
| CN110059646B (zh) | 训练动作规划模型的方法及目标搜索方法 | |
| US11881015B2 (en) | High-precision identification method and system for substations | |
| CN113111817A (zh) | 语义分割的人脸完整度度量方法、系统、设备及存储介质 | |
| CN110751641A (zh) | 锚栓信息检测的方法及存储介质 | |
| CN116824335A (zh) | 一种基于YOLOv5改进算法的火灾预警方法及系统 | |
| CN111368634B (zh) | 基于神经网络的人头检测方法、系统及存储介质 | |
| CN112861998A (zh) | 神经网络模型构建方法、安全通道异常监测方法及系统 | |
| CN116128883A (zh) | 一种光伏板数量统计方法、装置、电子设备及存储介质 | |
| CN107609465A (zh) | 一种用于人脸检测的多尺度检测方法 | |
| KR102132077B1 (ko) | 설비 데이터의 이상 정도 평가 방법 | |
| CN113537026B (zh) | 建筑平面图中的图元检测方法、装置、设备及介质 | |
| CN112784494B (zh) | 假阳性识别模型的训练方法、目标识别方法及装置 | |
| KR102638306B1 (ko) | 설명가능한 인공지능 기반 건축물 외관 상태 평가 방법 및 장치 | |
| CN115294176B (zh) | 一种双光多模型长时间目标跟踪方法、系统及存储介质 | |
| CN116630352A (zh) | 一种基于双向级联像素差分网络的岩心测量方法及装置 | |
| CN116797814A (zh) | 智慧工地安全管理系统 | |
| CN112308061B (zh) | 一种车牌字符识别方法及装置 | |
| CN114972732A (zh) | 一种烟火检测方法、装置、设备及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| GRNT | Written decision to grant | ||
| X701 | Decision to grant (after re-examination) |