KR102465284B1 - 모바일 단말 기반의 구조물 균열 검출 방법, 장치 및 시스템 - Google Patents

Abstract

본 발명은 모바일 단말 기반의 구조물 균열 검출 방법, 장치 및 시스템에 관한 것이다.
보다 상세하게는 장치에 의하여 수행되는, 모바일 단말 기반의 구조물 균열 검출 방법은 사용자단말로부터 상기 구조물의 특정 벽체의 구조물이미지를 수신하는 단계, 상기 사용자단말로부터 상기 구조물이미지의 좌표별로 매핑된 거리값정보를 수신하는 단계, 상기 구조물이미지와 상기 거리값정보를 기반으로 제1 균열정보를 생성하는 단계, 인공지능모듈을 통하여, 상기 구조물이미지를 기반으로 균열이미지를 추출하고, 상기 균열이미지에 상응하는 제2 균열정보를 생성하는 단계, 상기 제1 균열정보 및 상기 제2 균열정보를 기반으로 제3 균열정보를 생성하는 단계, 상기 제3 균열정보를 기반으로 균열의 좌표와 상기 구조물이미지와 매핑하는 단계를 포함할 수 있다.

Description

모바일 단말 기반의 구조물 균열 검출 방법, 장치 및 시스템{METHOD, DEVICE AND SYSTEM FOR DETECTING STRUCTURE CRACK BASED ON MOBILE TERMINAL}

본 발명은 모바일 단말 기반의 구조물 균열 검출 방법에 관한 것이다. 보다 상세하게는 이미지촬영과 거리측정이 가능한 모바일 단말만으로 건물 및 구조물 등에 발생된 균열을 측정 및 검출할 수 있는 기술에 관한 것이다.

본 명세서에서 달리 표시되지 않는 한, 이 섹션에 설명되는 내용들은 이 출원의 청구항들에 대한 종래 기술이 아니며, 이 섹션에 포함된다고 하여 종래 기술이라고 인정되는 것은 아니다.

최근 건물의 부실공사로 인한 피해가 이슈화되고 있다. 이에 건물이나 구조물의 부실여부 즉, 균열을 측정하고 검출하는 기술에 대한 요구가 늘어나고 있다.

다만, 종래에는 기술력의 부족으로 인해 LiDAR 장치, LiDAR 센서의 크기 및 중량이 개인이 소지 및/또는 구비하기에는 대형 또는 중형에 가까웠고, 이로 인해 개인이 이러한 장비를 소지 및/또는 이용하여 자신의 집의 균열상태를 파악하기에는 어려움이 있었다. 이에 본 발명은 사용자의 스마트폰과 같은 모바일 단말로 균열을 측정할 수 있는 기술을 제안하고자 한다.

국내공개특허 10-2018-0121044 A (2018.11.07) 국내공개특허 10-2009-0112352 A (2009.10.28) 국내공개특허 10-2016-0105088 A (2016.09.06)

본 발명의 일 실시예는 모바일 단말로 간편하게 구조물의 균열을 검출하는 것이다.

또한, 본 발명의 일 실시예는 거리측정에 따른 1수단과 이미지분석에 따른 2수단을 함께 적용하여 균열 검출의 정확성을 향상시키고자 하는 것이다.

본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

상술한 목적을 달성하기 위하여, 장치에 의하여 수행되는 본 발명의 일 실시예에 따른 모바일 단말 기반의 구조물 균열 검출 방법은 사용자단말로부터 상기 구조물의 특정 벽체의 구조물이미지를 수신하는 단계, 상기 사용자단말로부터 상기 구조물이미지의 좌표별로 매핑된 거리값정보를 수신하는 단계, 상기 구조물이미지와 상기 거리값정보를 기반으로 제1 균열정보를 생성하는 단계, 인공지능모듈을 통하여, 상기 구조물이미지를 기반으로 균열이미지를 추출하고, 상기 균열이미지에 상응하는 제2 균열정보를 생성하는 단계, 상기 제1 균열정보 및 상기 제2 균열정보를 기반으로 제3 균열정보를 생성하는 단계, 상기 제3 균열정보를 기반으로 균열의 좌표와 상기 구조물이미지와 매핑하는 단계를 포함할 수 있다.

이 때, 상기 제1 균열정보를 생성하는 단계는, 상기 구조물이미지의 좌표별 거리값정보의 평균거리값을 산출하는 단계, 상기 평균거리값에서 기설정된 제1 오차범위를 벗어나는 거리값을 가진 제1 균열좌표를 추출하는 단계 및 상기 제1 균열좌표를 기반으로 상기 제1 균열정보를 생성하는 단계를 포함할 수 있다.

이 때, 상기 제2 균열정보를 생성하는 단계는, 상기 구조물이미지를 기설정된 크기로 분할하여 복수개의 분석이미지를 생성하는 단계 및 인공지능모듈을 통하여, 상기 분석이미지에서 균열로 추정되는 위치에 상응하는 제2 균열좌표를 기반으로 상기 제2 균열정보를 생성하는 단계를 포함할 수 있다.

이 때, 상기 제3 균열정보를 생성하는 단계는, 인공지능모듈을 통하여 거리값에 의한 균열 검출 정확도에 상응하는 제1 가중치를 산출하는 단계, 인공지능모듈을 통하여 이미지분석에 의한 균열 검출 정확도에 상응하는 제2 가중치를 산출하는 단계, 상기 제1 균열좌표 및 상기 제2 균열좌표의 합집합정보를 도출하고, 상기 제1 가중치 및 상기 제2 가중치를 기반으로 상기 합집합정보에 포함되는 각각의 균열에 대한 균열정확도를 산출하는 단계 및 상기 균열정확도가 기설정된 임계정확도를 초과하는 균열을 추출하여, 해당 균열에 상응하는 제3 균열좌표를 포함하는 상기 제3 균열정보를 생성하는 단계를 포함할 수 있다.

이 때, 상기 제1 균열좌표를 추출하는 단계는, 상기 평균거리값에서 기설정된 제1 오차범위를 벗어나는 복수개의 균열들에 대응하는 제1 임시좌표를 추출하는 단계, 상기 제1 임시좌표와 기설정된 제1 인접거리 내에 위치하는 제1 임시좌표들을 연결하여 제2 임시좌표를 생성하는 단계, 상기 사용자단말과 상기 벽체와의 거리에 기반하여, 상기 제2 임시좌표에 대응하는 균열길이를 산출하는 단계, 상기 사용자단말과 상기 벽체와의 거리에 기반하여, 상기 제2 임시좌표에 대응하는 균열폭을 산출하는 단계, 상기 균열길이가 기설정된 임계길이를 초과하고, 상기 균열폭이 기설정된 임계폭을 초과하는 경우, 상기 제2 임시좌표는 균열로 판단하는 단계, 상기 균열길이가 상기 임계길이를 초과하고, 상기 균열폭이 상기 임계폭 이하인 경우, 상기 제2 임시좌표를 균열전단계로 판단하고, 상기 제2 임시좌표 인근에 기설정된 제2 인접거리 내에 위치하는 다른 제2 임시좌표의 수가 기설정된 임계균열수를 초과하는 경우 상기 제2 임시좌표는 균열로 판단하는 단계, 상기 균열길이가 상기 임계길이 이하이고, 상기 균열폭이 상기 임계폭을 초과하는 경우, 상기 제2 임시좌표를 균열전단계로 판단하고, 상기 제2 임시좌표 인근에 상기 제2 인접거리 내에 위치하는 다른 제2 임시좌표의 수가 기설정된 임계균열수를 초과하는 경우 상기 제2 임시좌표는 균열로 판단하는 단계, 상기 균열길이가 상기 임계길이 이하이고, 상기 균열폭이 상기 임계폭 이하인 경우, 상기 제2 임시좌표는 균열이 아닌 것으로 판단하는 단계 및 균열로 판단된 상기 제2 임시좌표를 기반으로 상기 제1 균열좌표를 생성하는 단계를 포함할 수 있다.

이와 같이 본 발명의 일 실시예에 따르면, 모바일 단말로 간편하게 구조물의 균열을 검출할 수 있다.

또한, 본 발명의 일 실시예에 따르면, 거리측정에 따른 1수단과 이미지분석에 따른 2수단을 함께 적용하여 균열 검출의 정확성을 향상시킬 수 있다.

본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 발명의 특정한 바람직한 실시예들의 상기에서 설명한 바와 같은 또한 다른 측면들과, 특징들 및 이득들은 첨부 도면들과 함께 처리되는 하기의 설명으로부터 보다 명백하게 될 것이다.
도 1은 본 발명의 일 실시예에 따른 모바일 단말 기반의 구조물 균열 검출 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 모바일 단말 기반의 구조물 균열 검출 방법의 흐름도이다.
도 3은 본 발명의 일 실시예에 따라 거리값을 통하여 균열을 검출하는 개념도이다.
도 4는 본 발명의 일 실시예에 따라 거리값에 따라 군집을 형성하여 균열을 검출하는 예시를 나타내는 개념도이다.
도 5는 본 발명의 일 실시예에 따라 인공지능모듈을 통하여 이미지를 분할하여 분석하는 예시를 나타내는 개념도이다.
도 6은 본 발명의 일 실시예에 따라 제1 균열정보 및 제2 균열정보의 합집합정보에 대한 개념도이다.
도 7은 본 발명의 일 실시예에 따른 장치의 블록도이다.
상기 도면들을 통해, 유사 참조 번호들은 동일한 혹은 유사한 엘리먼트들과, 특징들 및 구조들을 도시하기 위해 사용된다는 것에 유의해야만 한다.

이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

실시예를 설명함에 있어서 본 발명이 속하는 기술 분야에 익히 알려져 있고 본 발명과 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 발명의 요지를 흐리지 않고 더욱 명확히 전달하기 위함이다.

마찬가지 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 개략적으로 도시되었다. 또한, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. 각 도면에서 동일한 또는 대응하는 구성요소에는 동일한 참조 번호를 부여하였다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

이때, 처리 흐름도 도면들의 각 블록과 흐름도 도면들의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수 있음을 이해할 수 있을 것이다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도 블록(들)에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 흐름도 블록(들)에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도 블록(들)에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.

또한, 각 블록은 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실행 예들에서는 블록들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.

이 때, 본 실시 예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field-Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.

본 발명의 실시예들을 구체적으로 설명함에 있어서, 특정 시스템의 예를 주된 대상으로 할 것이지만, 본 명세서에서 청구하고자 하는 주요한 요지는 유사한 기술적 배경을 가지는 여타의 통신 시스템 및 서비스에도 본 명세서에 개시된 범위를 크게 벗어나지 아니하는 범위에서 적용 가능하며, 이는 당해 기술분야에서 숙련된 기술적 지식을 가진 자의 판단으로 가능할 것이다.

이하에서 도면을 참조하여 모바일 단말 기반의 구조물 균열 검출 방법, 장치 및 시스템에 대하여 설명하도록 한다.

도 1은 본 발명의 일 실시예에 따른 모바일 단말 기반의 구조물 균열 검출 시스템의 구성도이다.

본 발명의 일 실시예에 따른 모바일 단말 기반의 구조물 균열 검출 시스템은, 구조물의 이미지를 촬영하고 거리값을 측정하는 사용자단말(200); 및 상기 사용자단말(200)로부터 전달받은 이미지와 거리값을 기반으로 해당 구조물의 균열을 검출하는 장치(100); 를 포함할 수 있다.

이 때, 장치(100)는 통상의 컴퓨터가 가지는 연산 기능, 저장/참조 기능, 입출력 기능 및 제어 기능을 전부 또는 일부 수행하도록 구성될 수 있다. 장치(100)는 추론 기능을 수행하는 적어도 하나 이상의 인공지능모듈; 을 구비할 수 있다.

이 때, 사용자단말(200)은 통신 가능한 데스크탑 컴퓨터(desktop computer), 랩탑 컴퓨터(laptop computer), 노트북(notebook), 스마트폰(smart phone), 태블릿 PC(tablet PC), 모바일폰(mobile phone), 스마트 워치(smart watch), 스마트 글래스(smart glass), e-book 리더기, PMP(portable multimedia player), 휴대용 게임기, 네비게이션(navigation) 장치, 디지털 카메라(digital camera), DMB(digital multimedia broadcasting) 재생기, 디지털 음성 녹음기(digital audio recorder), 디지털 음성 재생기(digital audio player), 디지털 동영상 녹화기(digital video recorder), 디지털 동영상 재생기(digital video player), PDA(Personal Digital Assistant) 등을 포함할 수 있다.

또한, 상기 사용자단말(200)은, 상기 사용자단말(200)과 대상체와의 거리를 측정할 수 있는 거리측정 센서; 를 포함할 수 있다.

거리측정센서(210)는 ToF(Time of Flight) 센서일 수 있다. ToF 센서로는 적외선, 레이저, 자외선, 초음파 센서를 포함할 수 있다. 각각의 파장이 발산된 후 대상체에 반사되어 돌아오는 시간을 기반으로 거리를 측정하는 방식으로 동작한다.

이 때, 장치(100)는 후술하는 모바일 단말 기반의 구조물 균열 측정 방법을 수행함으로써 본 발명의 목적을 달성할 수 있으며, 상세한 동작은 모바일 단말 기반의 구조물 균열 측정 방법을 통해 자세하게 설명하도록 한다.

도 2는 본 발명의 일 실시예에 따른 모바일 단말 기반의 구조물 균열 검출 방법의 흐름도이다.

도 2을 참조하면, 본 발명의 일 실시예에 따라 장치(100)에 의하여 수행되는, 모바일 단말 기반의 구조물 균열 검출 방법은 사용자단말(200)로부터 상기 구조물의 특정 벽체의 구조물이미지를 수신할 수 있다(S201).

이 때, 사용자단말(200)은 상술한 바와 같이 스마트폰과 같이 카메라를 포함하는 모바일 단말일 수 있다. 상기 구조물이미지는 균열이 의심되는 위치를 카메라로 촬영한 이미지로써, 사용자가 임의의 위치 및 각도에 따라 여러장 촬영될 수도 있다.

또한, 본 발명의 일 실시예에 따라 장치(100)에 의하여 수행되는, 모바일 단말 기반의 구조물 균열 검출 방법은 상기 사용자단말(200)로부터 상기 구조물이미지의 좌표별로 매핑된 거리값정보를 수신할 수 있다(S203).

이때, 상기 사용자단말(200)은 구조물의 특정 벽체와의 거리를 측정할 수 있는 거리측정센서(210)를 포함할 수 있다. 일 예로, 거리측정센서(210)는 ToF센서를 포함할 수 있다. 다른 예로, 거리측정센서(210)는 자외선, 적외선, 레이저, 초음파 센서, 마이크로웨이브센서, 광센서 중 적어도 어느 하나 이상을 더 포함할 수도 있다.

이 때, 구조물이미지의 촬영과 거리측정센서(210)의 측정은 동시간대에 이루어질 수 있으며, 이 때, 구조물이미지와 거리측정센서(210)에 의하여 측정된 거리값정보는 상기 구조물이미지의 좌표별로 매핑될 수 있다. 이를 통하여, 후술하는 바와 같이 거리값의 변화가 커지는 곳의 이미지를 추출할 수 있다.

또한, 본 발명의 일 실시예에 따라 장치(100)에 의하여 수행되는, 모바일 단말 기반의 구조물 균열 검출 방법은 상기 구조물이미지와 상기 거리값정보를 기반으로 제1 균열정보를 생성할 수 있다(S205). 균열이란 벽체의 갈라짐을 의미하는 것으로써, 갈라짐에 따라 벽체 외부면과 높이가 상이해진다. 이를 통해, 사용자단말(200)과 벽체 외부면과의 거리보다 더 멀어지는 경우 균열로 추정할 수 있다. 이와 관련된 보다 상세한 내용은 도 3 및 도 4를 참조하여 후술하도록 한다.

또한, 본 발명의 일 실시예에 따라 장치(100)에 의하여 수행되는, 모바일 단말 기반의 구조물 균열 검출 방법은 인공지능모듈을 통하여, 상기 구조물이미지를 기반으로 균열이미지를 추출하고, 상기 균열이미지에 상응하는 제2 균열정보를 생성할 수 있다(S207).

이 때, 상기 인공지능모듈은 머신러닝의 한 분야인 딥러닝(Deep Learning) 기법을 이용하여, 상기 구조물이미지에서 균열로 추정되는 균열이미지를 추출할 수 있는 기계학습모델을 생성할 수 있다.

또한, 인공지능모듈은 딥러닝을 통하여 상기 함수에서의 복수 개의 입력들의 가중치(weight)를 학습을 통하여 산출할 수 있다. 또한, 이러한 학습을 위하여 활용되는 인공지능망 모델로는 RNN(Recurrent Neural Network), DNN(Deep Neural Network) 및 DRNN(Dynamic Recurrent Neural Network) 등 다양한 모델들을 활용할 수 있을 것이다.

여기서 RNN은 현재의 데이터와 과거의 데이터를 동시에 고려하는 딥러닝 기법으로서, 순환 신경망(RNN)은 인공 신경망을 구성하는 유닛 사이의 연결이 방향성 사이클(directed cycle)을 구성하는 신경망을 나타낸다. 나아가, 순환 신경망(RNN)을 구성할 수 있는 구조에는 다양한 방식이 사용될 수 있는데, 예컨대, 완전순환망(Fully Recurrent Network), 홉필드망(Hopfield Network), 엘만망(Elman Network), ESN(Echo state network), LSTM(Long short term memory network), 양방향(Bi-directional) RNN, CTRNN(Continuous-time RNN), 계층적 RNN, 2차 RNN 등이 대표적인 예이다. 또한, 순환 신경망(RNN)을 학습시키기 위한 방법으로서, 경사 하강법, Hessian Free Optimization, Global Optimization Method 등의 방식이 사용될 수 있다.

또한, 인공지능망 모델 중 이미지분석에 효과적인 ResNet 및 VGGNet 중 적어도 어느 하나 이상의 알고리즘을 혼합하여 사용할 수 있다. 균열이미지분석과 관련하여 도 5를 참조하여 후술하도록 한다.

또한, 본 발명의 일 실시예에 따라 장치(100)에 의하여 수행되는, 모바일 단말 기반의 구조물 균열 검출 방법은 상기 제1 균열정보 및 상기 제2 균열정보를 기반으로 제3 균열정보를 생성할 수 있다(S209). 이는 거리측정에 따른 균열측정과 이미지분석에 따른 균열측정 결과를 취합하여 보다 정확성 높게 균열을 검출하기 위함이다. 이와 관련해서는 도 6을 참조하여 보다 상세하게 후술하도록 한다.

또한, 본 발명의 일 실시예에 따라 장치(100)에 의하여 수행되는, 모바일 단말 기반의 구조물 균열 검출 방법은 상기 제3 균열정보를 기반으로 균열의 좌표와 상기 구조물이미지와 매핑할 수 있다(S211).

이는 최종적으로 사용자에게 해당 구조물이미지에서 어느 부분이 균열위치인지 시각적으로 알려주기 위함이다.

또한 본 발명의 일 실시예에 따른 장치(100)는 다음과 같은 특징을 더 포함할 수 있다.

예를 들면, 장치(100)는, 학습용 데이터를 수집할 수 있다. 다양한 실시예들에 따르면, 학습용 데이터는 복수의 벽면 정면 이미지들, 복수의 벽면 비정면 이미지들, 벽면 균열에 대한 복수의 벽면 균열 이미지들과 벽면 균열과 혼동 가능성이 있는 후보들에 대한 이미지들을 포함할 수 있다. 예를 들어, 벽면 균열과 혼동 가능성이 있는 후보들은 벽면 상의 음각 장식 및 벽면 상의 이음부를 포함할 수 있다.

다양한 실시예들에 따르면, 복수의 정면 이미지들과 복수의 벽면 비정면 이미지들에 기초하여, 벽면의 정면도와 벽면의 정면도가 아닌 것이 구별되도록 학습될 수 있다. 다양한 실시예들에 따르면, 벽면 균열에 대한 복수의 벽면 균열 이미지들과 벽면 균열과 혼동 가능성이 있는 후보들에 대한 이미지들에 기초하여, 벽면 균열이 식별되는 정확도가 높아지도록 학습될 수 있다.

다양한 실시예들에 따르면, 장치(100)는, 학습용 데이터에 기초하여 학습 데이터를 획득할 수 있다. 예를 들어, 학습 데이터는 학습용 데이터를 AI 엔진에 학습을 위하여 입력시킬 수 있도록 전 처리/변환된 것일 수 있다. 예를 들어, 학습 데이터는 훈련용 데이터 및 테스트용 데이터를 포함할 수 있다.

예를 들어, 장치(100)는, 학습 데이터를 훈련용 데이터 및 테스트용 데이터로 분류할 수 있다. 예를 들어, 훈련용 데이터는 모델을 학습시키는데 활용되고, 테스트용 데이터는 학습된 AI 엔진을 검증 및 업데이트 하는데 활용될 수 있다.

예를 들어, 장치(100)는, 훈련용 데이터에 기초하여 AI 엔진을 학습시킬 수 있다. 예를 들어, AI 엔진은 인공 지능 알고리즘을 기반으로 학습될 수 있는 인공 지능 엔진일 수 있다. 예를 들어, 인공 지능 엔진은 CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 또는 심층 Q-네트워크 (Deep Q-Networks) 등이 있으나, 이에 한정되는 것은 아니다. 예를 들어, 이러한 학습 방법으로 획득된 미리 설정된 균열 분석 모델은 균열 분석에 있어서, RES(직선 중심 객체 검색), VGG(원형 중심 객체 검색)을 적용할 수 있으나, 이에 제한되는 것은 아니다.

다양한 실시예들에 따르면, 장치(100)는 학습된 모델에 기초하여 테스트용 데이터에 대한 가공 데이터를 획득할 수 있다.

다양한 실시예들에 따르면, 장치(100)는 가공 데이터에 대한 피드백 정보를 획득할 수 있다.

예를 들어, 피드백 정보는, 장치(100) 관리자로부터 입력될 수 있다.

또 다른 예시로, 피드백 정보는, 해당 가공 데이터에 대하여 미리 가공된 학습 데이터가 있는 경우, 장치(100)는 해당 미리 가공된 학습 데이터와 가공 데이터를 비교하고, 그 비교 결과에 기초하여 피드백 정보를 생성할 수도 있다. 예를 들어, 학습 데이터에는 데이터의 가공 전 및 가공 후 버전이 포함될 수 있으며, 장치(100)는 가공 전 데이터를 학습된 모델에 기초하여 가공하여 가공 데이터를 생성하고, 가공 데이터와 학습 데이터에 포함된 가공 후 버전을 비교하여 그 비교 결과에 기초하여 피드백을 획득할 수도 있다.

다양한 실시예들에 따르면, 장치(100)는, 피드백에 기초하여 학습된 모델을 업데이트할 수 있다.

예를 들어, 장치(100)는 피드백에 기초하여 학습된 모델의 특성 (예를 들어, CNN의 특성) 을 수정하고, 수정된 모델에 기초하여 테스트용 데이터를 가공하고, 다시 피드백을 획득하여 업데이트 하는 과정을 반복할 수 있다.

다양한 실시예들에 따르면, 장치(100)는 반복 횟수가 미리 설정된 임계값 (예를 들어, 7-9회)에 도달하면, 동작을 종료하고 학습된 AI 엔진을 추천 모델로서 획득할 수 있다.

제1 절차에서, 장치(100)는, 학습용 데이터를 처리함에 기초하여 획득된 훈련용 데이터 및 테스트용 데이터 중 훈련용 데이터에 기초하여 AI 엔진을 학습시킬 수 있다.

다양한 실시예들에 따르면, 제2 절차에서, 장치(100)는, 테스트용 데이터가 학습된 AI 엔진으로 입력됨에 대한 응답으로 출력되는 가공 데이터에 대한 피드백 정보를 획득할 수 있다.

다양한 실시예들에 따르면, 제3 절차에서, 장치(100)는, 피드백 정보에 기초하여 AI 엔진을 업데이트할 수 있다.

다양한 실시예들에 따르면, 제4 절차에서, 장치(100)는, 상기 제1 절치 내지 상기 제4 절차가 반복된 횟수를 미리 설정된 임계값(N_TH) 과 비교할 수 있다. 예를 들어, 상기 제1 절차 내지 상기 제4 절차의 반복 횟수에 대응되는 카운트 값이 설정될 수 있다. 예를 들어, 카운트 값의 초기값은 0 일 수 있다. 예를 들어, 상기 제1 절차 내지 상기 제4 절차가 1 회 반복될 때 마다, 카운트 값이 1 증가될 수 있다. 예를 들어, 장치(100)는, 이러한 카운트 값을 미리 설정된 임계값(N_TH) 과 비교할 수 있다.

다양한 실시예들에 따르면, 장치(100)는, 반복된 횟수가 미리 설정된 임계값과 일치하지 않으면 (즉, 반복된 횟수가 미리 설정된 임계값 미만이면), 상기 제1 절차로 돌아가, 상기 제1 절차 내지 상기 제4 절차를 재수행할 수 있다.

다양한 실시예들에 따르면, 장치(100)는, 반복된 횟수가 미리 설정된 임계값과 일치하면, 절차(프로세스)를 종료할 수 있다.

도 3은 본 발명의 일 실시예에 따라 거리값을 통하여 균열을 검출하는 개념도이다.

도 3을 참조하면, 본 발명의 일 실시예에 따른 모바일 단말 기반의 구조물 균열 검출 방법의 상기 제1 균열정보를 생성하는 단계는 상기 구조물이미지의 좌표별 거리값정보의 평균거리값을 산출하고, 상기 평균거리값에서 기설정된 제1 오차범위를 벗어나는 거리값을 가진 제1 균열좌표를 추출하여, 상기 제1 균열좌표를 기반으로 상기 제1 균열정보를 생성할 수 있다.

도 3에는 거리측정센서(210)가 사용자단말(200)의 전면에 위치하는 것으로 도시되었으나, 이는 먼거리에서 벽체를 촬영하는 경우, 동일선상에 있는 것으로 볼 수 있기 때문에 이해를 돕기위하여 도 3과 같이 도시하였다.

도 3을 보면 균열로 보이는 위치는 벽체 내부로 파여있어, 사용자단말(200)과의 거리가 가장 멀다고 할 수 있다. 따라서, 거리측정센서(210)를 통해 각 위치별로 추출된(분해능) 상기 거리값정보의 평균거리값을 산출하여 기준값을 정하고, 평균거리값보다 기설정된 제1 오차범위를 벗어나는 거리값을 가진 위치를 제1 균열좌표로 추출할 수 있고, 이를 통해, 제1 균열정보를 생성할 수 있다.

이 때, 상기 제1 균열정보는 상기 제1 균열좌표와 해당 좌표에 대한 상기 구조물이미지를 포함할 수 있다.

다만, 단순히 거리값이 멀다는 이유만으로 균열로 추정하는 것은 다소 부정확할 수 있다. 이는 벽체에 의도적인 홈일 수도 있기 때문이다. 따라서, 보다 정확하게 제1 균열정보를 생성할 수 있는 구성이 필요하며, 이와 관련하여 도 4를 참조하여 후술하도록 한다.

도 4는 본 발명의 일 실시예에 따라 거리값에 따라 군집을 형성하여 균열을 검출하는 예시를 나타내는 개념도이다.

도 4를 참조하면, 본 발명의 일 실시예에 따른 모바일 단말 기반의 구조물 균열 검출 방법의 상기 제1 균열좌표를 추출하는 단계는, 먼저 상기 평균거리값에서 기설정된 제1 오차범위를 벗어나는 복수개의 균열들에 대응하는 제1 임시좌표(301)를 추출할 수 있다. 이는 1차적으로 균열로 볼 수 없는 흠집을 노이즈로 제거하기 위함이다.

또한, 상기 제1 균열좌표를 추출하는 단계는, 상기 제1 임시좌표(301)와 기설정된 제1 인접거리 내에 위치하는 제1 임시좌표(301)들을 연결하여 제2 임시좌표(303)를 생성할 수 있다. 이는 하나의 포인트로 이루어진 제1 임시좌표(301)만으로는 균열로 판단하기 어렵기 때문에, 하나의 균열로 파악할 수 있을 만큼의 인접거리를 상기 제1 인접거리로 설정하고, 상기 제1 인접거리 내에 위치하는 제1 임시좌표(301)들을 묶어 하나의 군집을 제2 임시좌표(303)로 생성하여 이를 균열인지 여부에 대하여 재확인하기 위함이다.

또한, 상기 제1 균열좌표를 추출하는 단계는, 상기 사용자단말(200)과 상기 벽체와의 거리에 기반하여, 상기 제2 임시좌표(303)에 대응하는 균열길이(311)를 산출할 수 있다. 이 때, 상기 균열길이(311)는 상기 제2 임시좌표(303)에서 서로 방향이 다른 제1 임시좌표(301)들의 거리 중 가장 먼 길이일 수 있다.

또한, 상기 제1 균열좌표를 추출하는 단계는, 상기 사용자단말(200)과 상기 벽체와의 거리에 기반하여, 상기 제2 임시좌표(303)에 대응하는 균열폭(313)을 산출할 수 있다. 이 때, 상기 균열폭(313)은 상기 균열길이(311)와 수직하는 제1 임시좌표(301)들의 거리 중 가장 먼 길이일 수 있다.

이 때, 상기 균열길이(311)와 상기 균열폭(313)이 일정 기준을 벗어나는 경우 균열일 가능성이 높다는 것을 알 수 있다. 따라서, 상기 균열길이(311)와 상기 균열폭(313)을 일정 기준과 비교하여 해당 제2 임시좌표(303)가 균열인지 아닌지를 파악할 수 있다.

보다 상세하게 살펴보면, 상기 균열길이(311)가 기설정된 임계길이를 초과하고, 상기 균열폭(313)이 기설정된 임계폭을 초과하는 경우, 상기 제2 임시좌표(303)는 균열로 판단할 수 있고, 상기 균열길이(311)가 상기 임계길이 이하이고, 상기 균열폭(313)이 상기 임계폭 이하인 경우, 상기 제2 임시좌표(303)는 균열이 아닌 것으로 판단할 수 있다.

다만, 이외에 상기 균열길이(311) 및 상기 균열폭(313) 중 어느 하나만 상기 임계길이 또는 상기 임계폭을 초과하는 경우에는 단순히 균열이 아니라고 판단할 수 없다. 그 이유는 이미 1차적으로 거리값을 통하여 제1 임시좌표(301)로 걸러냈기 때문에 단순히 무의미하다고 제거할 수는 없기 때문이다.

따라서, 상기 균열길이(311)가 상기 임계길이를 초과하고, 상기 균열폭(313)이 상기 임계폭 이하인 경우, 또는 상기 균열길이(311)가 상기 임계길이 이하이고, 상기 균열폭(313)이 상기 임계폭을 초과하는 경우, 상기 제2 임시좌표(303)를 균열전단계로 판단할 수 있다.

이 때, 상기 제2 임시좌표(303)와 인접한 또다른 제2 임시좌표(303)가 다수 있는 경우에는 균열의 가능성이 매우 높은 것이므로 인접한 다른 제2 임시좌표(303)의 수도 함께 고려함이 바람직하다.

이를 위하여, 상기 제2 임시좌표(303)가 균열전단계로 판단되는 경우, 상기 제2 임시좌표(303) 인근에 기설정된 제2 인접거리(315) 내에 위치하는 다른 제2 임시좌표(303)의 수가 기설정된 임계균열수를 초과하는 경우 상기 제2 임시좌표(303)는 균열로 판단할 수 있다.

이 때, 상기 제2 인접거리(315)는 상기 제1 인접거리보다 길게 설정될 수 있다.

또한, 상기 제1 균열좌표를 추출하는 단계는, 균열로 판단된 상기 제2 임시좌표(303)를 기반으로 상기 제1 균열좌표를 생성할 수 있다.

도 5는 본 발명의 일 실시예에 따라 인공지능모듈을 통하여 이미지를 분할하여 분석하는 예시를 나타내는 개념도이다.

도 5를 참조하면, 상기 제2 균열정보를 생성하는 단계는, 상기 구조물이미지를 기설정된 크기로 분할하여 복수개의 분석이미지를 생성할 수 있다. 이는, 균열 여부의 검출 정확도를 향상시키기 위함이다.

또한, 상기 제2 균열정보를 생성하는 단계는, 인공지능모듈을 통하여, 상기 분석이미지에서 균열로 추정되는 위치에 상응하는 제2 균열좌표를 기반으로 상기 제2 균열정보를 생성할 수 있다.

이 때, 상기 인공지능모듈은 상술한 바와 같이 ResNET 및 VGGNet 중 적어도 어느 하나 이상을 조합하여 사용할 수 있다.

도 6은 본 발명의 일 실시예에 따라 제1 균열정보 및 제2 균열정보의 합집합정보에 대한 개념도이다.

상기 제1 균열정보는 거리센서를 통한 거리값정보를 기반으로 산출된 균열에 관한 것이고, 상기 제2 균열정보는 인공지능모듈을 통하여 이미지 분석을 통해 산출된 균열에 관한 것이다. 따라서, 두 결과가 일치하지 않을 수 있고, 두 결과를 취합한다면 균열 검출의 정확도를 보다 향상시킬 수 있을 것이다.

이를 위하여, 상기 제3 균열정보를 생성하는 단계는, 인공지능모듈을 통하여 거리값에 의한 균열 검출 정확도에 상응하는 제1 가중치를 산출할 수 있다. 상기 제1 가중치는 기존 거리값에 의해 도출된 제1 균열정보가 실제 균열인지 여부를 기반으로 생성된 가중치에 관한 것이다.

또한, 상기 제3 균열정보를 생성하는 단계는, 인공지능모듈을 통하여 이미지분석에 의한 균열 검출 정확도에 상응하는 제2 가중치를 산출할 수 있다. 상기 제2 가중치는 기존 이미지분석에 의해 도출된 제2 균열정보가 실제 균열인지 여부를 기반으로 생성된 가중치에 관한 것이다.

또한, 상기 제3 균열정보를 생성하는 단계는, 상기 제1 균열좌표 및 상기 제2 균열좌표의 합집합정보를 도출하고, 상기 제1 가중치 및 상기 제2 가중치를 기반으로 상기 합집합정보에 포함되는 각각의 균열에 대한 균열정확도를 산출할 수 있다.

제1 균열정보 및 상기 제2 균열정보에 의하여 도출된 균열이 서로 동일하지 않을 수 있기 때문에, 각각의 균열정보를 취합하여 합집합형태의 상기 합집합정보를 생성할 수 있다.

이를 통해, 각각 도출된 균열좌표는 (1) 제1 균열정보에만 포함된 균열좌표, (2) 제2 균열정보에만 포함된 균열좌표, (3) 제1 균열정보 및 제2 균열정보에 모두 포함된 균열좌표 및 (4) 제1 균열정보 및 제2 균열정보에 모두 포함되지 않은 균열좌표 중 하나일 수 있다.

이 때, (4)는 현재 균열도 검출되지 않은 상황이므로 이를 제외하고 설명한다.

이 때, 도 6에 도시된 바와 같이, (1) 제1 균열정보에만 포함된 균열좌표인 경우, 상기 제1 가중치를 반영하여 아래 수학식 1에 의하여 균열정확도를 산출할 수 있다.

이 때, accuracy case1은 제1 균열정보에만 포함된 균열좌표인 경우의 균열정확도를 의미하고, w1는 상기 제1 가중치를 의미할 수 있다.

또한, (2) 제2 균열정보에만 포함된 균열좌표인 경우, 상기 제2 가중치를 반영하여 아래 수학식 2에 의하여 균열정확도를 산출할 수 있다.

이 때, accuracy case2은 제2 균열정보에만 포함된 균열좌표인 경우의 균열정확도를 의미하고, w2는 상기 제2 가중치를 의미할 수 있다.

또한, (3) 제1 균열정보와 제2 균열정보에 모두 포함된 균열좌표인 경우에는 균열일 가능성이 매우 높은 것이므로 상기 제1 가중치 및 상기 제2 가중치를 모두 반영하여 아래 수학시 3에 의하여 균열정확도를 산출할 수 있다.

이 때, accuracy case3은 제1 균열정보 및 제2 균열정보에 모두 포함된 균열좌표인 경우의 균열정확도를 의미하고, w1는 상기 제1 가중치를 의미하고, w2는 상기 제2 가중치를 의미할 수 있다.

또한, 상기 제3 균열정보를 생성하는 단계는, 상기 균열정확도가 기설정된 임계정확도를 초과하는 균열을 추출하여, 해당 균열에 상응하는 제3 균열좌표를 포함하는 상기 제3 균열정보를 생성할 수 있다.

이 때, 상기 임계정확도는 마지막으로 상기 균열정확도를 검증하는 과정으로써, 상기 제1 가중치 및 상기 제2 가중치를 정확성을 재검토할 수 있다. 예를 들어, 제2 균열정보에 포함되어 있다고 하더라도, 학습데이터가 부족하여 인공지능모듈이 충분히 학습되어 있지 않다면 상기 제2 가중치는 낮게 산출될 수밖에 없다. 따라서, 상기 제2 가중치가 높게 산출될 때까지는 상기 제2 균열정보에 포함되었다는 이유만으로 균열이라고 단정짓기 어려운 점을 반영한 것이다.

도 7은 본 발명의 일 실시예에 따른 장치(100)의 블록도이다.

일 실시예에 따른 장치(100)는 프로세서(110) 및 메모리(120)를 포함한다. 프로세서는 도 1 및 도 6을 통하여 전술한 적어도 하나의 방법을 수행할 수 있다. 메모리(120)는 상술한 방법과 관련된 정보를 저장하거나 상술한 방법이 구현된 프로그램을 저장할 수 있다. 메모리(120)는 휘발성 메모리 또는 비휘발성 메모리일 수 있다.

프로세서(110)는 프로그램을 실행하고, 장치(100)를 제어할 수 있다. 프로세서(110)에 의하여 실행되는 프로그램의 코드는 메모리(120)에 저장될 수 있다. 장치(100)는 입출력 장치(도면 미 표시)를 통하여 외부 장치(예를 들어, 퍼스널 컴퓨터 또는 네트워크)에 연결되고, 데이터를 교환할 수 있다.

다양한 실시예들에 따르면, 장치(100)에 의하여 수행되는 방법이 제공될 수 있다.

다양한 실시예들에 따르면, 상기 방법은: 구조물에 포함된 복수의 벽면들 중 특정 벽면에 대한 제1 이미지와 관련된 정보를 획득; 및 미리 설정된 균열 분석 모델에 상기 제1 이미지를 포함하는 입력 정보가 입력됨에 대한 응답으로 획득되는 출력 정보에 기초하여 상기 특정 벽면에 포함된 하나 이상의 균열에 대한 하나 이상의 분석 결과를 포함하는 분석 정보를 획득; 하는 것을 포함할 수 있다.

다양한 실시예들에 따르면, 상기 입력 정보가 입력됨에 따라, 상기 제1 이미지에 기초하여 미리 설정된 크기를 갖는 복수의 서브 이미지들이 상기 미리 설정된 균열 분석 모델에 의하여 획득될 수 있다.

다양한 실시예들에 따르면, 상기 제1 이미지와 관련된 정보는 상기 특정 벽면의 위치에 대한 위치 정보를 포함할 수 있다.

다양한 실시예들에 따르면, 상기 분석 정보는, 상기 구조물과 관련된 제2 이미지 중 하나 이상 내에서의 상기 위치 정보에 기초하여 식별되는 상기 특정 벽면에 대응되는 위치 좌표와 상기 하나 이상의 분석 결과가 매핑된 정보를 포함할 수 있다.

다양한 실시예들에 따르면, 상기 하나 이상의 분석 결과는, 상기 하나 이상의 균열 각각의 길이에 대한 정보와 상기 하나 이상의 균열 각각의 두께에 대한 정보를 포함할 수 있다.

다양한 실시예들에 따르면, 상기 하나 이상의 균열 각각의 길이는, 상기 미리 설정된 균열 분석 모델에 의하여: 상기 복수의 서브 이미지들 각각에 포함된 균열 이미지와 특정 벽면 이미지가 구분됨; 상기 균열 이미지는 상기 하나 이상의 균열 중 적어도 일부와 관련됨; 상기 특정 벽면 이미지는 상기 특정 벽면의 적어도 일부와 관련됨; 상기 균열 이미지로부터 상기 하나 이상의 균열 중 적어도 일부에 대한 복수의 균열 픽셀들이 획득됨; 상기 복수의 균열 픽셀들 중에서 상기 하나 이상의 균열 중 적어도 일부의 길이를 획득하기 위한 복수의 서브 균열 픽셀들이 획득됨; 상기 복수의 서브 균열 픽셀들 중에서, 상기 하나 이상의 균열의 제1 시작 지점에 대응되는 제1 시작 픽셀과 상기 하나 이상의 균열의 제1 종료 지점에 대응되는 제1 종료 픽셀이 식별됨; 및 상기 제1 시작 픽셀부터 상기 제1 종료 픽셀까지 순차적으로 상기 복수의 서브 균열 픽셀들이 추적됨에 기초하여 상기 하나 이상의 균열 중 적어도 일부의 길이가 산출됨; 에 기초하여 획득될 수 있다.

다양한 실시예들에 따르면, 상기 하나 이상의 균열 각각의 두께는, 상기 미리 설정된 균열 분석 모델에 의하여: 상기 복수의 서브 균열 픽셀들 각각에 대응되는 복수의 후보 두께들 중 최대값으로 획득될 수 있다.

다양한 실시예들에 따르면, 상기 복수의 후보 두께들은, 상기 미리 설정된 균열 분석 모델에 의하여: 상기 복수의 서브 균열 픽셀들 중 특정 서브 균열 픽셀(Pn) 을 끝점으로 하고 상기 특정 서브 균열 픽셀(Pn) 직전의 제1 서브 균열 픽셀(Pn-1) 을 시작점으로 하는 제1 벡터와 상기 특정 서브 균열 픽셀(Pn) 을 시작점으로 하고 상기 특정 서브 균열 픽셀(Pn) 직후의 제2 서브 균열 픽셀 (Pn+1) 을 끝점으로 하는 제2 벡터 간의 차이인, 상기 특정 서브 균열 픽셀(Pn) 에서의 법선 벡터가 획득됨; 상기 법선 벡터의 방향을 따라 상기 복수의 서브 균열 픽셀들 중 적어도 일부가 추적됨에 기초하여, 상기 하나 이상의 균열의 제2 시작 지점에 대응되는 제2 시작 픽셀과 상기 하나 이상의 균열의 제1 종료 지점에 대응되는 제2 종료 픽셀이 식별됨; 및 상기 제2 시작 픽셀과 상기 제2 종료 픽셀 가의 간격에 기초하여 상기 특정 서브 균열 픽셀(Pn) 에 대응되는 후보 두께가 산출됨; 에 기초하여 획득되고, n 은 자연수일 수 있다.

다양한 실시예들에 따르면, 상기 미리 설정된 균열 분석 모델은, 상기 미리 설정된 균열 분석 모델의 획득을 위한 AI (artificial intelligence) 엔진에 기계 학습 (machine learning) 이 적용됨에 기초하여 미리 설정될 수 있다.

다양한 실시예들에 따르면, 상기 기계 학습은: - (a) 상기 미리 설정된 균열 분석 모델을 위한 훈련용 데이터에 기초하여 상기 AI 엔진을 학습; - (b) 학습된 AI 엔진의 검증을 위한 테스트용 데이터가 상기 AI 엔진으로 입력됨에 대한 응답으로 출력되는 가공 데이터에 대한 피드백 정보를 획득; - (c) 상기 피드백 정보에 기초하여 상기 AI 엔진을 업데이트; 및 - (d) 상기 (a) 내지 (c) 가 반복되되, 상기 (a) 내지 (c) 가 반복될 때 마다 초기값 0 인 카운트 값이 1 씩 증가되고, 상기 카운트 값이 미리 설정된 카운트 임계값과 일치됨에 기초하여 종료; 됨에 기초하여 수행될 수 있다.

다양한 실시예들에 따르면, 상기 훈련용 데이터와 상기 테스트용 데이터는, 상기 미리 설정된 균열 분석 모델을 위한 학습용 데이터에 기초하여 획득될 수 있다.

다양한 실시예들에 따르면, 상기 학습용 데이터는: 복수의 벽면 정면 이미지들, 복수의 벽면 비정면 이미지들, 벽면 균열에 대한 복수의 벽면 균열 이미지들과 상기 벽면 균열과 혼동 가능성이 있는 후보들에 대한 이미지들을 포함할 수 있다.

다양한 실시예들에 따르면, 상기 벽면 균열과 혼동 가능성이 있는 후보들은: 벽면 상의 음각 장식 및 벽면 상의 이음부를 포함할 수 있다.

다양한 실시예들에 따르면, 상기 제2 이미지는 상기 구조물에 포함된 복수의 층 (floor) 들에 대한 복수의 구조 이미지들을 포함할 수 있다.

다양한 실시예들에 따르면, 상기 위치 정보는, 상기 복수의 층들 중 상기 특정 벽면이 포함된 층에 대한 정보를 포함할 수 있다.

다양한 실시예들에 따르면, 상기 특정 벽면이 포함된 층에 대한 정보에 기초하여 상기 복수의 구조 이미지들 중 상기 특정 벽면이 포함된 층의 구조 이미지가 식별될 수 있다.

다양한 실시예들에 따르면, 상기 특정 벽면이 포함된 층의 구조 이미지와 상기 특정 벽면에 대응되는 위치 좌표와 상기 하나 이상의 분석 결과가 매핑될 수 있다.

다양한 실시예들에 따르면, 상기 위치 좌표는, 상기 특정 벽면이 포함된 층의 구조 이미지 상의 상기 특정 벽면의 위치에 대한 미리 설정된 기준 좌표계에 기초한 2 차원 좌표일 수 있다.

다양한 실시예들에 따르면, 상기 제1 이미지의 표면에 수직한 제1 법선과 상기 제1 이미지로부터 획득되는 상기 특정 벽면에 수직한 제2 법선 간의 각도가 미리 설정된 임계치 이하임에 기초하여: 상기 복수의 서브 이미지들은, 상기 제1 이미지가 상기 미리 설정된 크기로 분할 (segmentation) 된 것일 수 있다.

다양한 실시예들에 따르면, 상기 제1 법선과 상기 제2 법선 간의 각도가 상기 미리 설정된 임계치 초과임에 기초하여: 상기 미리 설정된 균열 분석 모델에 의하여, 상기 제1 법선과 상기 제2 법선 간의 각도가 상기 미리 설정된 임계치 이하가 되도록 상기 제1 이미지가 보정되고, 상기 복수의 서브 이미지들은, 상기 미리 설정된 균열 분석 모델에 의하여 보정된 상기 제1 이미지가 상기 미리 설정된 크기로 분할된 것일 수 있다.

다양한 실시예들에 따르면, 장치(100)는: 메모리 (memory); 및 상기 메모리와 연결된 하나 이상의 프로세서 (processor) 를 포함할 수 있다.

상기 하나 이상의 프로세서는: 구조물에 포함된 복수의 벽면들 중 특정 벽면에 대한 제1 이미지와 관련된 정보를 획득; 및 미리 설정된 균열 분석 모델에 상기 제1 이미지를 포함하는 입력 정보가 입력됨에 대한 응답으로 획득되는 출력 정보에 기초하여 상기 특정 벽면에 포함된 하나 이상의 균열에 대한 하나 이상의 분석 결과를 포함하는 분석 정보를 획득; 하도록 설정될 수 있다.

상기 입력 정보가 입력됨에 따라, 상기 제1 이미지에 기초하여 미리 설정된 크기를 갖는 복수의 서브 이미지들이 상기 미리 설정된 균열 분석 모델에 의하여 획득될 수 있다.

상기 제1 이미지와 관련된 정보는 상기 특정 벽면의 위치에 대한 위치 정보를 포함할 수 있다.

상기 분석 정보는, 상기 구조물과 관련된 제2 이미지 중 하나 이상 내에서의 상기 위치 정보에 기초하여 식별되는 상기 특정 벽면에 대응되는 위치 좌표와 상기 하나 이상의 분석 결과가 매핑된 정보를 포함할 수 있다.

상기 하나 이상의 분석 결과는, 상기 하나 이상의 균열 각각의 길이에 대한 정보와 상기 하나 이상의 균열 각각의 두께에 대한 정보를 포함할 수 있다.

상기 하나 이상의 균열 각각의 길이는, 상기 미리 설정된 균열 분석 모델에 의하여: 상기 복수의 서브 이미지들 각각에 포함된 균열 이미지와 특정 벽면 이미지가 구분됨; 상기 균열 이미지는 상기 하나 이상의 균열 중 적어도 일부와 관련됨; 상기 특정 벽면 이미지는 상기 특정 벽면의 적어도 일부와 관련됨; 상기 균열 이미지로부터 상기 하나 이상의 균열 중 적어도 일부에 대한 복수의 균열 픽셀들이 획득됨; 상기 복수의 균열 픽셀들 중에서 상기 하나 이상의 균열 중 적어도 일부의 길이를 획득하기 위한 복수의 서브 균열 픽셀들이 획득됨; 상기 복수의 서브 균열 픽셀들 중에서, 상기 하나 이상의 균열의 제1 시작 지점에 대응되는 제1 시작 픽셀과 상기 하나 이상의 균열의 제1 종료 지점에 대응되는 제1 종료 픽셀이 식별됨; 및 상기 제1 시작 픽셀부터 상기 제1 종료 픽셀까지 순차적으로 상기 복수의 서브 균열 픽셀들이 추적됨에 기초하여 상기 하나 이상의 균열 중 적어도 일부의 길이가 산출됨; 에 기초하여 획득될 수 있다.

상기 하나 이상의 균열 각각의 두께는, 상기 미리 설정된 균열 분석 모델에 의하여: 상기 복수의 서브 균열 픽셀들 각각에 대응되는 복수의 후보 두께들 중 최대값으로 획득될 수 있다.

상기 복수의 후보 두께들은, 상기 미리 설정된 균열 분석 모델에 의하여: 상기 복수의 서브 균열 픽셀들 중 특정 서브 균열 픽셀(Pn) 을 끝점으로 하고 상기 특정 서브 균열 픽셀(Pn) 직전의 제1 서브 균열 픽셀(Pn-1) 을 시작점으로 하는 제1 벡터와 상기 특정 서브 균열 픽셀(Pn) 을 시작점으로 하고 상기 특정 서브 균열 픽셀(Pn) 직후의 제2 서브 균열 픽셀 (Pn+1) 을 끝점으로 하는 제2 벡터 간의 차이인, 상기 특정 서브 균열 픽셀(Pn) 에서의 법선 벡터가 획득됨; 상기 법선 벡터의 방향을 따라 상기 복수의 서브 균열 픽셀들 중 적어도 일부가 추적됨에 기초하여, 상기 하나 이상의 균열의 제2 시작 지점에 대응되는 제2 시작 픽셀과 상기 하나 이상의 균열의 제1 종료 지점에 대응되는 제2 종료 픽셀이 식별됨; 및 상기 제2 시작 픽셀과 상기 제2 종료 픽셀 가의 간격에 기초하여 상기 특정 서브 균열 픽셀(Pn) 에 대응되는 후보 두께가 산출됨; 에 기초하여 획득되고, n 은 자연수일 수 있다.

상기 미리 설정된 균열 분석 모델은, 상기 미리 설정된 균열 분석 모델의 획득을 위한 AI (artificial intelligence) 엔진에 기계 학습 (machine learning) 이 적용됨에 기초하여 미리 설정될 수 있다.

상기 기계 학습은: - (a) 상기 미리 설정된 균열 분석 모델을 위한 훈련용 데이터에 기초하여 상기 AI 엔진을 학습; - (b) 학습된 AI 엔진의 검증을 위한 테스트용 데이터가 상기 AI 엔진으로 입력됨에 대한 응답으로 출력되는 가공 데이터에 대한 피드백 정보를 획득; - (c) 상기 피드백 정보에 기초하여 상기 AI 엔진을 업데이트; 및 - (d) 상기 (a) 내지 (c) 가 반복되되, 상기 (a) 내지 (c) 가 반복될 때 마다 초기값 0 인 카운트 값이 1 씩 증가되고, 상기 카운트 값이 미리 설정된 카운트 임계값과 일치됨에 기초하여 종료; 됨에 기초하여 수행될 수 있다.

상기 훈련용 데이터와 상기 테스트용 데이터는, 상기 미리 설정된 균열 분석 모델을 위한 학습용 데이터에 기초하여 획득될 수 있다.

상기 학습용 데이터는: 복수의 벽면 정면 이미지들, 복수의 벽면 비정면 이미지들, 벽면 균열에 대한 복수의 벽면 균열 이미지들과 상기 벽면 균열과 혼동 가능성이 있는 후보들에 대한 이미지들을 포함할 수 있다.

상기 벽면 균열과 혼동 가능성이 있는 후보들은: 벽면 상의 음각 장식 및 벽면 상의 이음부를 포함할 수 있다.

상기 제2 이미지는 상기 구조물에 포함된 복수의 층 (floor) 들에 대한 복수의 구조 이미지들을 포함할 수 있다.

상기 위치 정보는, 상기 복수의 층들 중 상기 특정 벽면이 포함된 층에 대한 정보를 포함할 수 있다.

상기 특정 벽면이 포함된 층에 대한 정보에 기초하여 상기 복수의 구조 이미지들 중 상기 특정 벽면이 포함된 층의 구조 이미지가 식별될 수 있다.

상기 특정 벽면이 포함된 층의 구조 이미지와 상기 특정 벽면에 대응되는 위치 좌표와 상기 하나 이상의 분석 결과가 매핑될 수 있다.

상기 위치 좌표는, 상기 특정 벽면이 포함된 층의 구조 이미지 상의 상기 특정 벽면의 위치에 대한 미리 설정된 기준 좌표계에 기초한 2 차원 좌표일 수 있다.

상기 제1 이미지의 표면에 수직한 제1 법선과 상기 제1 이미지로부터 획득되는 상기 특정 벽면에 수직한 제2 법선 간의 각도가 미리 설정된 임계치 이하임에 기초하여: 상기 복수의 서브 이미지들은, 상기 제1 이미지가 상기 미리 설정된 크기로 분할 (segmentation) 된 것일 수 있다.

상기 제1 법선과 상기 제2 법선 간의 각도가 상기 미리 설정된 임계치 초과임에 기초하여: 상기 미리 설정된 균열 분석 모델에 의하여, 상기 제1 법선과 상기 제2 법선 간의 각도가 상기 미리 설정된 임계치 이하가 되도록 상기 제1 이미지가 보정되고, 상기 복수의 서브 이미지들은, 상기 미리 설정된 균열 분석 모델에 의하여 보정된 상기 제1 이미지가 상기 미리 설정된 크기로 분할된 것일 수 있다.

하나 이상의 프로세서 (processor) 가 동작을 수행하도록 하는 하나 이상의 인스트럭션 (instruction)을 저장하는 비-휘발성 (non-transitory) 프로세서-판독 가능 매체 (processor-readable medium) 가 제공될 수 있다.

상기 동작은: 구조물에 포함된 복수의 벽면들 중 특정 벽면에 대한 제1 이미지와 관련된 정보를 획득; 및 미리 설정된 균열 분석 모델에 상기 제1 이미지를 포함하는 입력 정보가 입력됨에 대한 응답으로 획득되는 출력 정보에 기초하여 상기 특정 벽면에 포함된 하나 이상의 균열에 대한 하나 이상의 분석 결과를 포함하는 분석 정보를 획득; 하는 것을 포함할 수 있다.

상기 입력 정보가 입력됨에 따라, 상기 제1 이미지에 기초하여 미리 설정된 크기를 갖는 복수의 서브 이미지들이 상기 미리 설정된 균열 분석 모델에 의하여 획득될 수 있다.

상기 제1 이미지와 관련된 정보는 상기 특정 벽면의 위치에 대한 위치 정보를 포함할 수 있다.

상기 분석 정보는, 상기 구조물과 관련된 제2 이미지 중 하나 이상 내에서의 상기 위치 정보에 기초하여 식별되는 상기 특정 벽면에 대응되는 위치 좌표와 상기 하나 이상의 분석 결과가 매핑된 정보를 포함할 수 있다.

또한 본 발명의 일 실시예는, 장치(100)에 의하여 수행되는, 모바일단말 기반의 구조물 안전정보 제공 및 관리 방법은, 사용자단말로부터 구조물의 도면을 포함하는 구조물정보를 수신하는 단계, 상기 도면을 기설정된 면적단위의 구역으로 구분하는 단계, 상기 사용자단말로부터 사용자가 점검하고자 하는 구역의 위치정보를 수신하는 단계, 상기 사용자단말로부터 상기 위치정보에 대응하는 구역의 구역안전도 평가를 위한 안전기초정보를 수신하여 상기 구역안전도를 평가하는 단계, 상기 도면 및 상기 구역안전도를 기반으로 상기 구조물의 전체안전도를 평가하는 단계 및 상기 도면, 상기 구역안전도 및 상기 전체안전도를 기반으로 상기 구조물에 대응하는 안전진단기초보고서를 생성하는 단계를 포함할 수 있다.

이 때, 상기 안전기초정보는, 상기 구역의 특정 벽체의 구조물이미지, 상기 구조물이미지의 좌표별로 매핑된 거리값정보, 상기 벽체의 바닥과의 기울기정보, 상기 벽체의 강도조사결과정보, 상기 벽체의 철근배근조사결과정보, 상기 벽체의 부재제원조사결과정보 및 상기 벽체의 탄산화조사결과정보를 포함할 수 있다.

이 때, 상기 구역안전도를 평가하는 단계는, 상기 구조물이미지 및 상기 거리값정보를 기반으로 균열안전도결과정보를 생성하는 단계, 상기 균열안전도결과정보, 상기 기울기정보, 상기 강도조사결과정보, 상기 철근배근조사결과정보, 상기 부재제원조사결과정보 및 상기 탄산화조사결과정보를 포함하는 전체결과정보를 동일한 범위를 갖도록 정규화하여 정규화정보를 생성하는 단계, 인공지능모듈을 통하여 상기 전체결과정보의 각 요소와 구조물 붕괴위험과의 상관관계를 도출하고, 상기 상관관계를 기반으로 각 요소별로 위험가중치를 산출하는 단계 및 상기 정규화정보 및 상기 위험가중치를 기반으로 상기 구역안전도를 산출하는 단계를 포함할 수 있다.

이 때, 상기 전체안전도를 평가하는 단계는, 상기 구역안전도가 기설정된 임계안전도 이하인 위험구역과 상기 임계안전도를 초과하는 안전구역을 구분하는 단계, 상기 위험구역 중에서 임의로 선택된 특정위험구역을 중심으로 기설정된 위험임계거리 내에 위치하는 인접위험구역을 추출하는 단계, 상기 특정위험구역을 중심으로 기설정된 위험임계거리 내에 위치하는 인접안전구역을 추출하는 단계, 상기 인접위험구역과 상기 인접안전구역의 비율을 기반으로 위험비율을 산출하는 단계, 상기 위험비율이 기설정된 임계위험비율을 초과하는 위험구역군을 추출하는 단계, 상기 위험구역군의 수가 기설정된 임계위험구역군수를 초과하는 경우, 상기 전체안전도를 위험한 것으로 평가하는 단계 및 상기 위험구역군의 수가 상기 임계위험구역군수 이하인 경우, 상기 전체안전도를 안전한 것으로 평가하는 단계를 포함할 수 있다.

이 때, 상기 안전진단기초보고서를 생성하는 단계는, 상기 도면에 상기 구역안전도, 상기 위험구역, 상기 안전구역 및 상기 위험구역군을 매핑하여 상호 식별되는 표식으로 표시하고, 상기 구역별 안전여부 및 상기 구조물의 상기 전체안전도를 포함하는 상기 안전진단기초보고서를 생성할 수 있다.

이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.

Claims (5)

1. 모바일 단말 기반의 구조물 균열 검출 방법을 위한 장치에 있어서,
   프로세서(processor); 및
   메모리(memory); 를 포함하고,
   상기 구조물의 특정 벽체의 구조물이미지를 사용자단말로부터 수신하고,
   상기 사용자단말로부터 상기 구조물이미지의 좌표별로 매핑된 거리값정보를 수신하고,
   상기 구조물이미지와 상기 거리값정보를 기반으로 제1 균열정보를 생성하고,
   인공지능모듈을 통하여, 상기 구조물이미지를 기반으로 균열이미지를 추출하고,
   상기 균열이미지에 상응하는 제2 균열정보를 생성하고,
   상기 제1 균열정보 및 상기 제2 균열정보를 기반으로 제3 균열정보를 생성하고,
   상기 제3 균열정보를 기반으로 균열의 좌표와 상기 구조물이미지와 매핑하고,
   상기 구조물이미지의 좌표별 거리값정보의 평균거리값을 산출하고,
   상기 평균거리값에서 기설정된 제1 오차범위를 벗어나는 거리값을 가진 제1 균열좌표를 추출하고,
   상기 제1 균열좌표를 기반으로 상기 제1 균열정보를 생성하고,
   상기 프로세서는:
   상기 구조물이미지를 기설정된 크기로 분할하여 복수개의 분석이미지를 생성하고,
   인공지능모듈을 통하여, 상기 분석이미지에서 균열로 추정되는 위치에 상응하는 제2 균열좌표를 기반으로 상기 제2 균열정보를 생성하고,
   인공지능모듈을 통하여 거리값에 의한 균열 검출 정확도에 상응하는 제1 가중치를 산출하고,
   인공지능모듈을 통하여 이미지분석에 의한 균열 검출 정확도에 상응하는 제2 가중치를 산출하고,
   상기 제1 균열좌표 및 상기 제2 균열좌표의 합집합정보를 도출하고,
   상기 제1 가중치 및 상기 제2 가중치를 기반으로 상기 합집합정보에 포함되는 각각의 균열에 대한 균열정확도를 산출하고,
   상기 균열정확도가 기설정된 임계정확도를 초과하는 균열을 추출하여, 해당 균열에 상응하는 제3 균열좌표를 포함하는 상기 제3 균열정보를 생성하는, 장치.
2. 삭제
3. 삭제
4. 삭제
5. 삭제

Images