KR102158799B1

KR102158799B1 - 심층신경망 모델을 이용한 건물 식별 방법, 컴퓨터 프로그램 및 장치

Info

Publication number: KR102158799B1
Application number: KR1020200054063A
Authority: KR
Inventors: 임태호; 고학림; 이효찬
Original assignee: 호서대학교 산학협력단
Priority date: 2020-05-06
Filing date: 2020-05-06
Publication date: 2020-09-22

Abstract

본 발명은 심층신경망을 이용한 건물 식별 방법, 컴퓨터 프로그램 및 장치에 관한 것으로서, 더욱 상세하게는 복잡한 도시 환경에서 건물 외형을 영상 분석을 통해 인식하기 위하여, 건물의 특징이 되는 부분을 다수 추출하고, 심층신경망 모델을 이용하여 이와 같이 추출된 부분의 인식을 통해 특정 건물임을 식별해내는 방법, 컴퓨터 프로그램 및 장치에 관한 것이다.
본 발명에 의하면, 외부 환경의 잡음 등의 환경 변화에 강인한 다수의 특징 이미지를 해당 건물의 데이터 세트로 구성하여 심층신경망 모델로 학습시키고, 인식된 특징 이미지들의 조합을 입력으로 한 심층신경망 모델에 의해 건물을 더욱 정확하게 식별해내는 방법, 컴퓨터 프로그램 및 장치를 제공한다.

Description

심층신경망 모델을 이용한 건물 식별 방법, 컴퓨터 프로그램 및 장치{Method, computer program and apparatus for recognition of building by using deep neural network model}

본 발명은 심층신경망을 이용한 건물 식별 방법, 컴퓨터 프로그램 및 장치에 관한 것으로서, 더욱 상세하게는 복잡한 도시 환경에서 건물 외형을 영상 분석을 통해 식별하기 위하여, 건물의 특징이 되는 부분을 다수 추출하고, 심층신경망 모델을 이용하여 이와 같이 추출된 부분의 인식을 통해 특정 건물임을 식별해내는 방법, 컴퓨터 프로그램 및 장치에 관한 것이다.

건물 인식 기술은 무인 지능형 로봇을 활용하여 공공 장소에서 길 안내 가이드로 활용될 수 있는데, 로봇이 안내할 때 도시 환경에서 GPS 정보만을 활용한다면 최종 목적지에 도착하기까지는 목표 건물을 구분하는 것이 불가능하다. GPS 정보는 현재의 위치만 제공하기 때문이다. 반면 영상 분석을 통한 건물 인식 기술을 활용하면 위치 정보를 알지 못하는 상황에서도 주변 환경을 인지하면서 목적지에 접근하는 것이 쉽게 가능하다.

전통적인 컴퓨터 비전 기술의 건물 인식 방법은 사람이 직접 알고리즘을 설계하는데, 이 경우 경험적, 실험적 임계치를 설정하기 때문에 유사 건물들을 쉽게 혼동할 수 있어 실제 환경에 적용하기 어려운 문제점이 있다. 건물 주변의 환경이 변화되면 사람이 설계한 알고리즘의 의도대로 정확하게 동작하지 않는 단점이 존재하기 때문이다.

심층신경망 모델의 인식율은 학습 데이터 세트에 의존되므로 건물 외형에 나타날 수 있는 다양한 데이터 세트를 구축하면 변화에 강인하기 때문에 비교적 쉽게 인식할 수 있다. 그러나 도심속의 건물들은 대체적으로 유사한 패턴의 외형을 가지고 있어 건물 데이터 세트가 제대로 구성되지 않으면 다양한 변화가 일어나는 도시 환경에서 건물을 오인식 하는 문제점이 있다. 따라서 도심의 복잡한 환경에서의 건물 인식을 효율적으로 향상시키는 시스템 구조와 학습 데이터 세트 구성방법이 매우 중요하게 된다.

KR

10-2015-0172509

A

KR

10-2016-0111049

A

본 발명은 이와 같은 문제점을 해결하기 위해 창안된 것으로서, 외부 환경의 잡음 등의 환경 변화에 강인한 다수의 특징 이미지를 해당 건물의 데이터 세트로 구성하여 심층신경망 모델로 학습시키고, 인식된 특징 이미지들의 조합을 입력으로 한 심층신경망 모델에 의해 건물을 더욱 정확하게 식별해내는 방법, 컴퓨터 프로그램 및 장치를 제공하는데 그 목적이 있다.

이와 같은 목적을 달성하기 위하여 본 발명에 따른 건물 식별을 위한 심층신경망 모델의 학습 방법은, (a) 촬영된 건물 이미지에 대하여 건물 특징부 추출을 위한 전처리를 수행하는 단계; (b) 상기 단계(a)의 전처리를 통해 추출된 건물 특징부를 학습 데이터로 하여, 건물 이미지에서 건물 특징부를 검출하기 위한 심층신경망 모델(이하 '건물 특징부 검출 심층신경망 모델'이라 한다)의 학습을 수행하는 단계; (c) 상기 단계(b)의 학습을 통하여 건물 특징부 검출 심층신경망 모델을 형성하는 단계; (d) 상기 단계(a)의 전처리를 통해 추출된 건물 특징부를 학습 데이터로 하여, 건물 특징부로부터 건물을 식별해내기 위한 심층신경망 모델(이하 '건물 식별 심층신경망 모델'이라 한다)의 학습을 수행하는 단계; 및, (e) 상기 단계(d)의 학습을 통하여 건물 식별 심층신경망 모델을 형성하는 단계를 포함하고, 상기 단계(a)는, (a1) 촬영된 건물의 이미지를, 정면에서 보이는 이미지로 보정하는 전처리를 수행하는 단계; 및, (a2) 상기 보정된 이미지로부터, 해당 건물의 건물 특징부를 추출하는 단계를 포함하며, 상기 단계(a2)는, (a21) 상기 보정된 이미지로부터, 코너점을 검출하는 단계; (a22) 검출된 코너점이 밀집되어 있는 부분을 후보군으로 설정하는 단계; 및, (a23) 후보군에서, 중간의 세로 방향선을 기준으로, 반복적이면서 대칭 이미지에 서로 존재하는 데이터를 건물 특징부로서 추출하는 단계를 포함한다.

삭제

상기 단계(a2) 이후, (a3) 상기 단계(a2)에서 추출된 건물 특징부에 대하여, 크기 변화, 각도 회전을 포함하는 데이터 부풀리기(data augmentation)를 수행하는 단계를 더 포함하고, 상기 단계(b)에서 학습 데이터로 사용하는 건물 특징부는, 상기 단계(a3)에서 데이터 부풀리기에 의해 생성된 데이터일 수 있다.

상기 단계(c)의 건물 특징부 검출 심층신경망 모델은, YOLO(You Only Look Once) 모델로 형성될 수 있다.

상기 단계(d)에서, 건물 식별을 위한 심층신경망 모델에 학습에 사용되는 건물 특징부는, 하나 이상의 건물 특징부 데이터 세트로 구성될 수 있다.

상기 단계(e)의 건물 식별 심층신경망 모델은, 멀티레이어 CNN(multi-layer convolutional neural network) 모델로 형성될 수 있다.

본 발명의 다른 측면에 따르면, 건물 식별을 위한 심층신경망 모델을 학습시키기 위한 컴퓨터 프로그램은, 비일시적 저장 매체에 저장되며, 프로세서에 의하여, (a) 촬영된 건물 이미지에 대하여 건물 특징부 추출을 위한 전처리를 수행하는 단계; (b) 상기 단계(a)의 전처리를 통해 추출된 건물 특징부를 학습 데이터로하여, 건물 이미지에서 건물 특징부를 검출하기 위한 심층신경망 모델(이하 '건물 특징부 검출 심층신경망 모델'이라 한다)의 학습을 수행하는 단계; (c) 상기 단계(b)의 학습을 통하여 건물 특징부 검출 심층 신경망 모델을 형성하는 단계; (d) 상기 단계(a)의 전처리를 통해 추출된 건물 특징부를 학습 데이터로하여, 건물 특징부로부터 건물을 식별해내기 위한 심층신경망 모델(이하 '건물 식별 심층신경망 모델'이라 한다)의 학습을 수행하는 단계; 및, (e) 상기 단계(d)의 학습을 통하여 건물 식별 심층신경망 모델을 형성하는 단계가 실행되도록 하는 명령을 포함하고, 상기 단계(a)는, (a1) 촬영된 건물의 이미지를, 정면에서 보이는 이미지로 보정하는 전처리를 수행하는 단계; 및, (a2) 상기 보정된 이미지로부터, 해당 건물의 건물 특징부를 추출하는 단계를 포함하며, 상기 단계(a2)는, (a21) 상기 보정된 이미지로부터, 코너점을 검출하는 단계; (a22) 검출된 코너점이 밀집되어 있는 부분을 후보군으로 설정하는 단계; 및, (a23) 후보군에서, 중간의 세로 방향선을 기준으로, 반복적이면서 대칭 이미지에 서로 존재하는 데이터를 건물 특징부로서 추출하는 단계를 포함한다.

본 발명의 또 다른 측면에 따르면, 건물 식별을 위한 심층신경망 모델의 학습장치는, 적어도 하나의 프로세서; 및 컴퓨터로 실행가능한 명령을 저장하는 적어도 하나의 메모리를 포함하되, 상기 적어도 하나의 메모리에 저장된 상기 컴퓨터로 실행가능한 명령은, 상기 적어도 하나의 프로세서에 의하여, (a) 촬영된 건물 이미지에 대하여 건물 특징부 추출을 위한 전처리를 수행하는 단계; (b) 상기 단계(a)의 전처리를 통해 추출된 건물 특징부를 학습 데이터로하여, 건물 이미지에서 건물 특징부를 검출하기 위한 심층신경망 모델(이하 '건물 특징부 검출 심층신경망 모델'이라 한다)의 학습을 수행하는 단계; (c) 상기 단계(b)의 학습을 통하여 건물 특징부 검출 심층 신경망 모델을 형성하는 단계; (d) 상기 단계(a)의 전처리를 통해 추출된 건물 특징부를 학습 데이터로하여, 건물 특징부로부터 건물을 식별해내기 위한 심층신경망 모델(이하 '건물 식별 심층신경망 모델'이라 한다)의 학습을 수행하는 단계; 및, (e) 상기 단계(d)의 학습을 통하여 건물 식별 심층신경망 모델을 형성하는 단계가 실행되도록 하고, 상기 단계(a)는, (a1) 촬영된 건물의 이미지를, 정면에서 보이는 이미지로 보정하는 전처리를 수행하는 단계; 및, (a2) 상기 보정된 이미지로부터, 해당 건물의 건물 특징부를 추출하는 단계를 포함하며, 상기 단계(a2)는, (a21) 상기 보정된 이미지로부터, 코너점을 검출하는 단계; (a22) 검출된 코너점이 밀집되어 있는 부분을 후보군으로 설정하는 단계; 및, (a23) 후보군에서, 중간의 세로 방향선을 기준으로, 반복적이면서 대칭 이미지에 서로 존재하는 데이터를 건물 특징부로서 추출하는 단계를 포함한다.

본 발명에 의하면, 외부 환경의 잡음 등의 환경 변화에 강인한 다수의 특징 이미지를 해당 건물의 데이터 세트로 구성하여 심층신경망 모델로 학습시키고, 인식된 특징 이미지들의 조합을 입력으로 한 심층신경망 모델에 의해 건물을 더욱 정확하게 식별해내는 방법, 컴퓨터 프로그램 및 장치를 제공하는 효과가 있다.

도 1은 심층신경망 모델을 이용한 건물 식별 방법을 수행하는 전체 프로세스를 나타내는 순서도.
도 2는 건물 영상에서 특징 부분 데이터를 추출하는 전처리 프로세스를 도시한 도면.
도 3은 건물의 특징을 나타내는 이미지 데이터의 실시예를 도시한 도면.
도 4는 건물의 각 특징부 데이터에서 데이터 부풀리기의 실시예를 도시한 도면.
도 5는 건물 특징부 검출 심층신경망 모델을 이용하여 건물에서 검출한 건물 특징부를 입력하여 해당 건물을 식별하는 제1 실시예로서의 심층신경망 모델의 모식도.
도 6은 건물 특징부 검출 심층신경망 모델을 이용하여 건물에서 검출한 건물 특징부를 입력하여 해당 건물을 식별하는 제2 실시예로서의 심층신경망 모델의 모식도.
도 7은 심층신경망 모델을 이용한 건물 식별 장치의 구성을 나타내는 도면.

이하 첨부된 도면을 참조로 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.

도 1은 심층신경망 모델을 이용한 건물 식별 방법을 수행하는 전체 프로세스를 나타내는 순서도이다.

도 1에서 단계 S110 내지 S150은 건물 식별을 위한 심층신경망 모델을 학습에 의해 형성하는 과정을 나타내며, 단계 S210 내지 S240은 이와 같이 형성된 심층신경망 모델을 이용하여 건물을 식별하는 과정을 나타낸다.

단계 S110 내지 S150의 학습을 통한 건물 식별을 위한 심층신경망 모델의 형성 및 이렇게 형성된 심층신경망 모델의 사용(단계 S210 내지 S240)은, 서버에서 수행될 수도 있고, 모바일 단말에서 수행될 수도 있다.

먼저 건물 식별을 위한 심층신경망 모델의 학습 과정을 살펴본다.

본 발명의 건물 식별을 위한 심층신경망 모델에는 크게 2 종류의 모델을 사용한다. 즉,

1) 건물의 일부를 나타내는 이미지로서 해당 건물의 특징을 가장 잘 나타내는 이미지 데이터들인 건물 특징부를, 해당 건물 이미지의 입력으로부터 검출해내는 모델(S130) 및,

2) 건물 특징부의 입력으로부터 해당 건물을 식별해내는 모델(S150)

이다.

전술한 1)의 건물 특징부 검출 심층신경망 모델의 학습을 위해서는, 먼저 해당 건물로부터 그 건물의 특징부를 추출해내기 위한 영상 전처리(S110)가 필요하다. 이와 같은 영상 전처리의 수행 방법에 대하여는 도 2 내지 도 4를 참조하여 상세히 후술한다.

즉, 영상 전처리(S110)에서는 건물을 촬영한 이미지로부터 그 건물의 특징을 가장 잘 나타내는 몇개의 건물 부분 이미지 데이터의 추출을 수행한다. 이와 같이 추출된 데이터를 '건물 특징부'라 하며, 도 3에 그와 같이 추출된 건물 특징부(10)가 도시되어 있다. 또한 도 4에 도시된 바와 같이, 추출된 건물 특징부(10)로부터 데이터 부풀리기(data augmentation)를 통해 학습 데이터를 더욱 증가(11,12,13,14)시킬 수 있는데, 이와 같이 증가된 데이터 역시 건물 특징부(10)에 포함되는 것으로 한다. 다만, 이러한 데이터 부풀리기는 수행할 수도 있고, 수행하지 않을 수도 있으며, 이는 도 2를 참조하여 상세히 후술한다.

이후, 건물 이미지로부터 추출되고, 또한 필요에 따라서는 부풀리기된 건물 특징부(10)의 각 이미지들, 즉, 제1 특징부(11), 제2 특징부(12), 제3 특징부(13), 제4 특징부(14)에 대하여 학습을 수행한다(S120). 이와 같은 학습에 의해서 형성되는 심층신경망 모델(S130)을 '건물 특징부 검출 심층신경망 모델'이라 할 때, 건물 특징부 검출 심층신경망 모델에서는, 촬영된 건물 이미지를 입력하였을 때, 출력으로서 이러한 건물 이미지로부터 제1 특징부(11), 제2 특징부(12), 제3 특징부(13), 제4 특징부(14)를 각각 별개로 검출해낼 수 있다.

이러한 건물 특징부 검출 신경망 모델(S130)로는, YOLO(You Only Look Once) 모델을 사용할 수 있다. YOLO는 이미지 내의 bounding box와 class probability를 single regression problem으로 간주하여, 이미지를 한 번 보는 것으로 객체의 종류와 위치를 추측한다. 즉, single convolutional network를 통해 multiple bounding box에 대한 class probablility를 계산하는 방식이다. YOLO의 장점은, 간단한 처리과정으로 속도가 매우 빠르며, 이미지 전체를 한 번에 바라보는 방식으로 class에 대한 맥락적 이해도가 높아서 낮은 backgound 에러(False-Positive)를 보인다.

즉, YOLO를 사용할 경우, 해당 건물의 영상으로부터 각 특징부(11,12,13,14)를 매우 빠르게 검출해낼 수 있는 장점이 있다.

다음으로, 전술한 2)의 건물 식별 심층신경망 모델의 학습(S140)을 위해서는, 건물 특징부 데이터가 필요하다. 즉, 해당 건물에서 추출(S110)해낸 4개의 데이터, 즉, 제1 특징부(11), 제2 특징부(12), 제3 특징부(13), 제4 특징부(14)를 하나의 세트로 입력하고, 그에 대한 출력은 해당 건물이 나오는 것으로 학습을 수행하는 것이다. 물론 여기서도 학습을 위해 입력되는 데이터는 도 4와 같이 부풀리기 된 데이터(11,12,13,14)일 수도 있으나, 경우에 따라서는 부풀리기를 수행하지 않을 수도 있다. 이러한 건물 식별 심층신경망 모델(S150)은, 멀티레이어 CNN(multi-layer convolutional neural network)을 사용할 수 있는데, 이에 대하여는 도 5 및 도 6을 참조하여 후술한다.

지금까지 설명한 바와 같이 형성된 건물 특징부 검출 심층신경망 모델(S130) 및 건물 식별 심층신경망 모델(S150)을 통한 건물 식별 프로세스는 다음과 같이 이루어진다.

건물 특징부 검출 심층신경망 모델에는 촬영된 건물 이미지가 입력된다(S210). 이때 입력되는 이미지는 도 2(e)와 같이 warping 처리 되어 정면으로 세워진 이미지일 수도 있고, 도 2(h)에서 추출된 특징 부분들을 조합하여 새로 조합한(cropping) 이미지인 도 2(i)의 이미지일 수도 있다. 이를 위해서는, 촬영된 건물 이미지에 대하여, 도 2(a) 내지 도 2(e)의 전처리를 수행하거나, 또는 도 2(a) 내지 도 2(i)의 전처리를 수행하여야 한다.

그러나, 이와 같은 전처리를 하지 않고 촬영된 원 이미지(도 2(a)) 그대로를 건물 특징부 검출 심층신경망 모델의 입력으로 사용할 수도 있다. 이 경우는 학습 전처리 단계(S110)에서 이미 해당 건물의 특징부인 제1 특징부(11), 제2 특징부(12), 제3 특징부(13), 제4 특징부(14) 각각에 대하여 데이터 부풀리기(도 4 참조)를 통해 크기 변화, 각도 회전 등에 의해 다양한 학습이 이루어진 상태이어야 한다. 즉, 이와 같이 각 건물 특징부마다 다양한 크기, 각도로 학습이 된 모델이어서, 도 2(e),(i) 등과 같이 정면으로 세워진 이미지가 필수적인 것은 아니기 때문이다.

즉, 만약 모델 학습시 전처리 단계(S110)에서 이와 같은 데이터 부풀리기(도 4 참조)를 수행하지 않고, 정면에서 본 건물 특징부(11,12,13,14, 도 3 참조)들만으로 모델을 학습시킨 경우라면, 단계 S210의 영상 입력 전에, 건물 이미지에 대하여 전술한 바와 같이 도 2(a) 내지 도 2(e)의 전처리를 수행하거나, 또는 도 2(a) 내지 도 2(i)의 전처리를 수행하여야 한다.

이와 같은 건물 이미지의 입력을 통하여 건물 특징부 검출 심층신경망 모델에서는, 제1 특징부(11), 제2 특징부(12), 제3 특징부(13), 제4 특징부(14) 각각을 검출해낸다(S220). 이후 이와 같이 검출된 4개의 이미지인 제1 특징부(11), 제2 특징부(12), 제3 특징부(13), 제4 특징부(14)는 건물 식별 심층신경망 모델에 입력되고, 그 출력으로서 해당 건물이라는 식별결과가 나오게 된다(S240). 이러한 건물 식별 심층신경망 모델로는 멀티 레이어 CNN(multi-layer convolutional neural network)이 사용될 수 있는데, 이에 대하여는 도 5 및 도 6을 참조하여 후술하기로 한다.

건물 식별 심층신경망 모델의 입력으로 사용되는 건물 특징부 데이터는 반드시 4개로 구성되어야 하는 것은 아니며 다양한 개수가 가능하다.

도 2는 건물 영상에서 특징 부분 데이터를 추출하는 전처리 프로세스를 도시한 도면이다.

도 2는 건물 이미지의 배경 부분을 제거하기 위한 전처리 방법이다. 먼저 도 2(a)와 같은 입력 이미지를 받아 경계선을 추출하고(도 2(b)), 검출된 경계선을 통해 건물의 지붕과 옆면을 배경과 분리한다(도 2(c)). 이 경우 일 실시예로서 직선 검출 알고리즘인 Hough Transform 알고리즘을 활용하여 직선 성분을 통해 이미지에서 관심 영역을 확보할 수 있으며(도 2(c)), 직선 검출을 위해 다른 알고리즘을 사용할 수도 있다. 도 2(c)에서 건물 이미지를 배경으로부터 더욱 정확하게 분리하기 위해 검출된 직선이 교차하는 점을 구하고(도 2(d)), 이를 통해 이미지를 Warping 하게 되면 이미지가 정면으로 보여지게 되어(도 2(e)), 특징점을 쉽게 추출할 수 있다.

도 2(e)의 Warping이 된 이미지에서 코너 점을 추출하기 위해 이미지를 회색조로 변환하고(도 2(f)), 코너 점을 추출한다(도 2(g)). 이와 같이 코너 점을 추출하기 위해, 일 실시예로서 Harris Corner Detection 알고리즘을 사용할 수 있으나 이에 한정되지는 않는다. 건물의 세부적인 부분을 관심영역으로 추출하기 위해 코너 점이 밀집되어 있는 부분을 후보군으로 설정하고(도 2(h)), 후보군에 해당하는 이미지를 잘라서 새로 조합된 이미지를 생성할 수 있다(도 2(i)). 생성된 이미지는 신경망 네트워크 입력부 이미지로 활용될 수 있다. 도 2(h)에서 후보군으로 설정되어 추출된 데이터는 도 3에서 후술하는 바와 같이, 건물 특징부 데이터(11,12,13,14, 도 3 참조)로 사용된다.

도 1을 참조하여 설명한 심층신경망 모델 학습 과정(S110 내지 S150)에서 건물 특징부 추출을 위한 전처리(S110)에서는, 이와 같은 도 2(a) 내지 도 2(h), 또는 도2(a)내지 도2(i)를 통한 건물 특징부 데이터 추출이 반드시 이루어지게 된다.

또한 도 1을 참조하여 설명한 바와 같이, 심층신경망 모델을 이용한 건물 식별 과정(S210 내지 S240)에서는, 전처리(미도시)가 수행될 수도 있고, 또는 전처리 없이, 촬영된 건물 이미지가 그대로 건물 영상으로 모델에 입력(S210) 될 수도 있다. 즉, 건물 특징부 검출 모델 학습을 위한 데이터 전처리(S110)에서 도 4에 도시된 바와 같은 건물 특징부에 대한 크기 변화, 회전 등에 의한 데이터 부풀리기를 수행한 후, 이에 대하여 건물 특징부 검출 심층신경망 모델의 학습(S120) 및 모델 형성(S130)이 이루어졌다면, 전처리 없이, 촬영된 건물 이미지가 그대로 건물 영상으로 모델에 입력(S210)한다. 그러나, 이러한 데이터 부풀리기 없이, 도 3에 나타난 바와 같은 정면에서 바라본 건물 특징부 데이터(11,12,13,14)만으로 건물 특징부 검출 모델 학습을 위한 데이터 전처리(S110)가 이루어진 후 학습이 수행되었다면, 건물 식별 프로세스(S210 내지 S240)에서 최초 건물 특징부 검출 신경망 모델에 입력(S210)될 건물 이미지에 대하여는, 입력에 앞서 먼저 도 2(a) 내지 도 2(e)의 전처리를 수행하거나, 또는 도 2(a) 내지 도 2(i)의 전처리를 수행하여, 촬영된 건물 이미지를 정면에서 보는 이미지로 보정하여야 하는 것이다.

도 3은 건물의 특징을 나타내는 이미지 데이터의 실시예를 도시한 도면이다.

도 3은 건물 이미지를 특화된 데이터 세트로 구성하기 위한 방법이다. 대부분의 건물은 대칭적, 반복적인 구조로 설계되도록 건축양식으로 정해져 있다. 따라서 외형 또한 대칭적, 반복적인 구조를 가지는 특성을 가지고 있다. 이러한 특징을 이용하여 건물이 좌우 대칭을 이루는 기준선인 이미지 중간 부분의 세로 방향선을 기준으로, 반복적이면서 대칭 이미지에 서로 존재하는 데이터(10)를 추출하여 학습데이터로 활용한다. 이러한 건물 특징부 데이터(10)는 도 2(h)에서 후보군으로 설정되어 추출된 데이터이다.

즉, 건물의 전체 이미지로 학습하지 않고, 건물의 조각난 이미지들 중에 이와 같이 창문이나 벽재와 같이 건물들을 구분하는 대칭적이면서 특징적인 이미지(10)로 학습한다. 이러한 이미지 세트(10)는 건물 간의 차별성을 강조하므로 인식률을 향상시킨다. 또 하나의 장점은 창문이나 벽재의 반복성 때문에 학습되는 창문과 벽재 이미지는 부분 이미지이지만 건물의 전체 이미지에서는 반복적으로 인식되기 때문에 인식률을 향상시킨다.

건물의 전체 이미지를 학습하면 외부적인 환경의 잡음, 즉 건물을 가리는 나무나 현수막 등에 의해 건물 인식률이 저하된다. 반면, 도 3의 이미지(10)들과 같이 건물의 특징을 잘 나타내는 부분 이미지로 학습하면 이를 이용하여 전체 건물 식별시 외부 잡음에 영향을 많이 받지 않아 건물 인식률이 향상된다.

이러한 건물 특징부 데이터(10)는 해당 건물의 특징을 가장 잘 나타내는 이미지 데이터로 사용하게 되며, 이하에서는 이와 같은 건물의 특징을 나타내는 이미지 데이터(10)를 '건물 특징부(10)'라 칭하기로 한다.

도 4는 건물의 각 특징부 데이터에서 데이터 부풀리기의 실시예를 도시한 도면이다.

도 4는 도 3에서 건물에 특화된 건물 특징부(10)에 대하여, 디지털 영상 처리 기술인 데이터 부풀리기(data augmentation)를 통해 도면과 같이 이미지의 회전 및 크기를 다양하게 변형하여 학습을 진행한다. 즉, 각 데이터 세트(11,12,13,14)들은, 도 3에서의 건물 특징부(10)의 각 이미지들을 회전하거나 크기를 변화시키는 등의 부풀리기를 통해 학습을 위한 데이터를 증가시킨 것이며, 이와 같이 증가된 데이터에 의해 학습된 가중치는 입력 영상의 품질이 좋지 않더라도 기존보다 인식율을 더욱 강화할 수 있게 되는 장점이 있다. 이러한 방식으로 증가된 이미지 데이터들 역시 '건물 특징부'에 포함되는 데이터이다.

도 5는 건물 특징부 검출 심층신경망 모델을 이용하여 건물에서 검출한 건물 특징부를 입력하여 해당 건물을 식별하는 제1 실시예로서의 심층신경망 모델의 모식도이다.

도 5는 멀티 레이어 CNN(multi-layer convolutional neural network)을 사용한 경우의 실시예이다. 즉, 입력으로는 건물 특징부 검출 심층신경망 모델이 건물 이미지로부터 검출해낸 제1 특징부(11), 제2 특징부(12), 제3 특징부(13), 제4 특징부(14)의 4개의 건물 특징부가 입력된다. 전술한 바와 같이 반드시 4개로 구성되어야 하는 것은 아니며, 설계에 따라 다양한 개수로 구성하는 것이 가능하다.

4개의 입력으로 구성한 경우, 예를 들어 특정 건물에서 검출한 특징부 데이터가 3개에 불과한 경우, 하나의 입력은 'NULL' 등으로 처리할 수 있으며, 특정 건물에서 검출한 특징부 데이터가 4개를 초과할 경우는 4개만을 선택하여 입력할 수 있다.

입력된 제1 특징부(11), 제2 특징부(12), 제3 특징부(13), 제4 특징부(14) 데이터는 각각 크기 조정(resize) 과정(21)을 거쳐 컨벌루션 레이어(convolution layer)(22)를 통과하고, 차원 감소(dimension reduction)(23)를 거쳐 데이터의 플래튼(flatten) 및 문자열연결(concatenation)(24)을 거쳐 모든 노드가 연결된 fc(fully connected) 레이어(25)로 연결되고, 이로부터 해당 건물인지에 대한 결과(26)가 출력된다. 이러한 출력은 그 건물인지 아닌지에 대한 확률값으로 나올 수 있다.

도 6은 건물 특징부 검출 심층신경망 모델을 이용하여 건물에서 검출한 특징 부분 데이터를 입력하여 해당 건물을 식별하는 제2 실시예로서의 심층신경망 모델의 모식도이다.

도 5와 비교하여 출력(27) 부분이 다수의 값이 출력되도록 구성되어 있다. 즉, 도 6의 실시예에서는 5개의 출력이 나오도록 구성된 경우인데, 이것은 제1 건물일 확률, 제2 건물일 확률, ... , 제5 건물일 확률이 출력되는 경우이다.

도 7은 심층신경망 모델을 이용한 건물 식별 장치(100)의 구성을 나타내는 도면이다.

도 1 내지 도 6을 참조하여 심층신경망 모델을 이용한 건물 식별 방법에 대하여는 상세히 설명한 바 있으므로, 도 7을 참조하여서는 그러한 기능을 수행하기 위한 심층신경망 모델을 이용한 건물 식별 장치(100)의 구성요소를 중심으로 간략히 정리하여 설명하기로 한다.

심층신경망 모델을 이용한 건물 식별 장치(100)는, 사용자가 휴대하고 다니는 모바일 단말, 즉, 스마트폰, 태블릿 PC 등 다양한 스마트 기기일 수도 있고, 또는 서버일 수도 있다.

도 7을 참조하면, 심층신경망 모델을 이용한 건물 식별 장치(100)는, 프로세서(110), 프로그램과 데이터를 저장하는 비휘발성 저장부(120), 실행 중인 프로그램들을 저장하는 휘발성 메모리(130), 네트워크 상에서 연동된 다른 기기(300)와 통신을 수행하기 위한 통신부(140), 이들 장치 사이의 내부 통신 통로인 버스 등으로 이루어져 있다. 실행 중인 프로그램으로는, 장치 드라이버, 운영체계(Operating System), 및 다양한 어플리케이션이 있을 수 있다. 도시되지는 않았지만, 전력제공부를 포함한다.

심층신경망 모델을 이용한 건물 식별 장치(100)에서는, 심층신경망 모델을 이용한 건물 식별 어플리케이션(230)이 동작한다. 심층신경망 모델을 이용한 건물 식별 어플리케이션(230)은 건물 식별을 위한 심층신경망 모델, 즉, 도 1에서 설명한 바와 같은 건물 특징부 검출 심층신경망 모델 및 건물 식별 심층신경망 모델의 형성을 위한 학습을 수행(S110 내지 S150)하는 어플리케이션을 포함할 수 있고, 이러한 심층신경망 모델들을 이용하여, 입력된 건물 영상으로부터 해당 건물의 식별 결과를 출력(S210 내지 S240)하는 어플리케이션을 포함할 수 있다.

즉, 도 7의 심층신경망 모델을 이용한 건물 식별 장치(100)는, 사용자가 휴대하고 다니는 모바일 단말, 즉, 스마트폰, 태블릿 PC 등 다양한 스마트 기기로서 이와 같은 심층신경망 모델 학습 어플리케이션(S110 내지 S150) 및 그러한 심층신경망 모델을 이용한 건물 식별 어플리케이션(S210 내지 S240)을 심층신경망 모델을 이용한 건물 식별 어플리케이션(230)에 모두 포함할 수도 있고, 또는 도 7의 심층신경망 모델을 이용한 건물 식별 장치(100)는, 네트워크 상의 서버로서 심층신경망 모델 학습 어플리케이션(S110 내지 S150) 및 그러한 심층신경망 모델을 이용한 건물 식별 어플리케이션(S210 내지 S240)을 심층신경망 모델을 이용한 건물 식별 어플리케이션(230)에 모두 포함할 수도 있는 것이다.

또는 경우에 따라서는 서버에 심층신경망 모델 학습 어플리케이션(S110 내지 S150)이 구비되고, 모바일 단말에는 그러한 심층신경망 모델을 이용한 건물 식별 어플리케이션(S210 내지 S240)을 구비하여, 모바일 단말은 서버에서 형성한 심층신경망 모델을 사용하여 건물 식별 기능을 수행할 수도 있다. 이 경우에는 도 7의 심층신경망 모델을 이용한 건물 식별 장치(100)는 모바일 단말이고 네트워크 연동 기기(300)는 서버일 수 있는데, 통신부(140)는 서버(300)로부터, 학습에 의해 형성된 심층신경망 모델(S210 내지 S240)을 수신받아, 심층신경망 모델을 이용한 건물 식별 어플리케이션(230)에서 건물 식별 수행을 위해 사용할 수 있다.

한편 심층신경망 모델을 이용한 건물 식별 장치(100)가 모바일 단말인 경우에는, 모바일 단말에 장착된 카메라(30)로부터 식별할 건물 이미지를 수신할 수 있다.

또한 위의 경우들에서, 도 1 및 도 2를 참조하여 전술한 바와 같이, 심층신경망 모델 형성을 위한 학습단계(S110 내지 S150)에서의 전처리 과정(S110) 중 일부 또는 전부는, 건물 식별 단계(S210 내지 S240)에서 건물 영상 입력(S210)을 위한 전처리 과정(미도시)으로 사용될 수도 있다.

10: 건물 특징부
11, 12, 13, 14: 건물 특징부
100: 심층신경망 모델을 이용한 건물 식별장치

Claims

삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
건물 식별을 위한 심층신경망 모델의 학습 방법으로서,
(a) 촬영된 건물 이미지에 대하여 건물 특징부 추출을 위한 전처리를 수행하는 단계;
(b) 상기 단계(a)의 전처리를 통해 추출된 건물 특징부를 학습 데이터로 하여, 건물 이미지에서 건물 특징부를 검출하기 위한 심층신경망 모델(이하 '건물 특징부 검출 심층신경망 모델'이라 한다)의 학습을 수행하는 단계;
(c) 상기 단계(b)의 학습을 통하여 건물 특징부 검출 심층신경망 모델을 형성하는 단계;
(d) 상기 단계(a)의 전처리를 통해 추출된 건물 특징부를 학습 데이터로 하여, 건물 특징부로부터 건물을 식별해내기 위한 심층신경망 모델(이하 '건물 식별 심층신경망 모델'이라 한다)의 학습을 수행하는 단계; 및,
(e) 상기 단계(d)의 학습을 통하여 건물 식별 심층신경망 모델을 형성하는 단계
를 포함하고,
상기 단계(a)는,
(a1) 촬영된 건물의 이미지를, 정면에서 보이는 이미지로 보정하는 전처리를 수행하는 단계; 및,
(a2) 상기 보정된 이미지로부터, 해당 건물의 건물 특징부를 추출하는 단계
를 포함하며,
상기 단계(a2)는,
(a21) 상기 보정된 이미지로부터, 코너점을 검출하는 단계;
(a22) 검출된 코너점이 밀집되어 있는 부분을 후보군으로 설정하는 단계; 및,
(a23) 후보군에서, 중간의 세로 방향선을 기준으로, 반복적이면서 대칭 이미지에 서로 존재하는 데이터를 건물 특징부로서 추출하는 단계
를 포함하는,
건물 식별을 위한 심층신경망 모델의 학습 방법.
삭제
삭제
청구항 11에 있어서,
상기 단계(a2) 이후,
(a3) 상기 단계(a2)에서 추출된 건물 특징부에 대하여, 크기 변화, 각도 회전을 포함하는 데이터 부풀리기(data augmentation)를 수행하는 단계
를 더 포함하고,
상기 단계(b)에서 학습 데이터로 사용하는 건물 특징부는, 상기 단계(a3)에서 데이터 부풀리기에 의해 생성된 데이터인 것
을 특징으로 하는 건물 식별을 위한 심층신경망 모델의 학습 방법.
청구항 11에 있어서,
상기 단계(c)의 건물 특징부 검출 심층신경망 모델은,
YOLO(You Only Look Once) 모델로 형성되는 것
을 특징으로 하는 건물 식별을 위한 심층신경망 모델의 학습 방법.
청구항 11에 있어서,
상기 단계(d)에서, 건물 식별을 위한 심층신경망 모델에 학습에 사용되는 건물 특징부는,
하나 이상의 건물 특징부 데이터 세트로 구성되는 것
을 특징으로 하는 건물 식별을 위한 심층신경망 모델의 학습 방법.
청구항 11에 있어서,
상기 단계(e)의 건물 식별 심층신경망 모델은,
멀티레이어 CNN(multi-layer convolutional neural network) 모델로 형성되는 것
을 특징으로 하는 건물 식별을 위한 심층신경망 모델의 학습 방법.
건물 식별을 위한 심층신경망 모델을 학습시키기 위한 컴퓨터 프로그램으로서,
비일시적 저장 매체에 저장되며, 프로세서에 의하여,
(a) 촬영된 건물 이미지에 대하여 건물 특징부 추출을 위한 전처리를 수행하는 단계;
(b) 상기 단계(a)의 전처리를 통해 추출된 건물 특징부를 학습 데이터로하여, 건물 이미지에서 건물 특징부를 검출하기 위한 심층신경망 모델(이하 '건물 특징부 검출 심층신경망 모델'이라 한다)의 학습을 수행하는 단계;
(c) 상기 단계(b)의 학습을 통하여 건물 특징부 검출 심층 신경망 모델을 형성하는 단계;
(d) 상기 단계(a)의 전처리를 통해 추출된 건물 특징부를 학습 데이터로하여, 건물 특징부로부터 건물을 식별해내기 위한 심층신경망 모델(이하 '건물 식별 심층신경망 모델'이라 한다)의 학습을 수행하는 단계; 및,
(e) 상기 단계(d)의 학습을 통하여 건물 식별 심층신경망 모델을 형성하는 단계
가 실행되도록 하는 명령을 포함하고,
상기 단계(a)는,
(a1) 촬영된 건물의 이미지를, 정면에서 보이는 이미지로 보정하는 전처리를 수행하는 단계; 및,
(a2) 상기 보정된 이미지로부터, 해당 건물의 건물 특징부를 추출하는 단계
를 포함하며,
상기 단계(a2)는,
(a21) 상기 보정된 이미지로부터, 코너점을 검출하는 단계;
(a22) 검출된 코너점이 밀집되어 있는 부분을 후보군으로 설정하는 단계; 및,
(a23) 후보군에서, 중간의 세로 방향선을 기준으로, 반복적이면서 대칭 이미지에 서로 존재하는 데이터를 건물 특징부로서 추출하는 단계
를 포함하는,
건물 식별을 위한 심층신경망 모델을 학습시키기 위한, 비일시적 저장 매체에 저장된 컴퓨터 프로그램.
건물 식별을 위한 심층신경망 모델의 학습장치로서,
적어도 하나의 프로세서; 및
컴퓨터로 실행가능한 명령을 저장하는 적어도 하나의 메모리를 포함하되,
상기 적어도 하나의 메모리에 저장된 상기 컴퓨터로 실행가능한 명령은, 상기 적어도 하나의 프로세서에 의하여,
(a) 촬영된 건물 이미지에 대하여 건물 특징부 추출을 위한 전처리를 수행하는 단계;
(b) 상기 단계(a)의 전처리를 통해 추출된 건물 특징부를 학습 데이터로하여, 건물 이미지에서 건물 특징부를 검출하기 위한 심층신경망 모델(이하 '건물 특징부 검출 심층신경망 모델'이라 한다)의 학습을 수행하는 단계;
(c) 상기 단계(b)의 학습을 통하여 건물 특징부 검출 심층 신경망 모델을 형성하는 단계;
(d) 상기 단계(a)의 전처리를 통해 추출된 건물 특징부를 학습 데이터로하여, 건물 특징부로부터 건물을 식별해내기 위한 심층신경망 모델(이하 '건물 식별 심층신경망 모델'이라 한다)의 학습을 수행하는 단계; 및,
(e) 상기 단계(d)의 학습을 통하여 건물 식별 심층신경망 모델을 형성하는 단계
가 실행되도록 하고,
상기 단계(a)는,
(a1) 촬영된 건물의 이미지를, 정면에서 보이는 이미지로 보정하는 전처리를 수행하는 단계; 및,
(a2) 상기 보정된 이미지로부터, 해당 건물의 건물 특징부를 추출하는 단계
를 포함하며,
상기 단계(a2)는,
(a21) 상기 보정된 이미지로부터, 코너점을 검출하는 단계;
(a22) 검출된 코너점이 밀집되어 있는 부분을 후보군으로 설정하는 단계; 및,
(a23) 후보군에서, 중간의 세로 방향선을 기준으로, 반복적이면서 대칭 이미지에 서로 존재하는 데이터를 건물 특징부로서 추출하는 단계
를 포함하는,
건물 식별을 위한 심층신경망 모델의 학습장치.