KR102260056B1 - 머신러닝에 기반하여 건축물의 공간 상태 정보를 판별하는 방법 및 이를 이용한 공간 상태 정보 판별 서버 - Google Patents

머신러닝에 기반하여 건축물의 공간 상태 정보를 판별하는 방법 및 이를 이용한 공간 상태 정보 판별 서버 Download PDF

Info

Publication number
KR102260056B1
KR102260056B1 KR1020210011083A KR20210011083A KR102260056B1 KR 102260056 B1 KR102260056 B1 KR 102260056B1 KR 1020210011083 A KR1020210011083 A KR 1020210011083A KR 20210011083 A KR20210011083 A KR 20210011083A KR 102260056 B1 KR102260056 B1 KR 102260056B1
Authority
KR
South Korea
Prior art keywords
spatial
layer
state information
image
live
Prior art date
Application number
KR1020210011083A
Other languages
English (en)
Inventor
이기상
류성호
Original Assignee
주식회사 씨엠엑스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 씨엠엑스 filed Critical 주식회사 씨엠엑스
Priority to KR1020210011083A priority Critical patent/KR102260056B1/ko
Application granted granted Critical
Publication of KR102260056B1 publication Critical patent/KR102260056B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/08—Construction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06K9/481—
    • G06K9/627—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computer Hardware Design (AREA)
  • Biomedical Technology (AREA)
  • General Business, Economics & Management (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Tourism & Hospitality (AREA)
  • Computer Graphics (AREA)
  • Strategic Management (AREA)
  • Primary Health Care (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

머신러닝에 기반하여 건축물의 공간 상태 정보를 판별하는 방법에 있어서, (a) 사용자 단말로부터 건축물의 공간을 나타내는 실사영상 이미지가 획득되면, 공간 상태 정보 판별 서버가, 상기 실사영상 이미지를 피처 추출 블록에 입력시킴으로써 상기 피처 추출 블록으로 하여금 상기 실사영상 이미지를 분석하여 상기 실사영상 이미지 상의 피처를 추출하여 피처 벡터를 출력하도록 하는 단계; 및 (b) 상기 공간 상태 정보 판별 서버가, 상기 피처 벡터를 공간 상태 분류 블록으로 입력하여 상기 공간 상태 분류 블록으로 하여금 상기 피처 벡터를 신경망 연산하도록 하여 상기 실사영상 이미지 상에서의 상기 건축물의 공간 상태 정보를 출력하도록 하며, 상기 공간 상태 정보를 상기 사용자 단말로 전송하여 줌으로써 상기 사용자 단말로 하여금 상기 공간 상태 정보를 디스플레이하도록 지원하는 단계;를 포함하는 방법 및 이를 이용한 공간 상태 정보 판별 서버가 개시된다.

Description

머신러닝에 기반하여 건축물의 공간 상태 정보를 판별하는 방법 및 이를 이용한 공간 상태 정보 판별 서버{METHOD AND SERVER FOR DIFFERENTIATING SPACE STATE INFORMATION OF STRUCTURE BASED ON MACHINE LEARNING}
본 발명은 머신러닝에 기반하여 건축물의 공간 상태 정보를 판별하는 방법 및 이를 이용한 공간 상태 정보 판별 서버에 관한 것이다.
종래에는 건축물에 적용된 공종, 안전 수칙 준수 여부 및 결함 또는 하자 발생 여부 등을 확인하기 위해서, 전문가가 일일이 건설 현장의 수많은 개별 공간들을 직접 찾아가서 검측 과정 등을 거쳐야 했으므로, 건설 현장 또는 유지관리 대상 건축물에 투입되는 인력들이 과도하게 많아지는 문제점이 존재하였다.
또한, 건설 현장 관리 어플리케이션을 이용하여 건설 현장을 통합관리 하는 방법이 한국등록특허 10-1829169에 개시되어 있으나, 이와 같은 방안에는, 기존에 저장된 공종 진행 현황, 안전 수칙 준수 여부 및 결함 또는 하자 발생 여부만을 확인할 수 있을 뿐이므로 실시간으로 상기 항목들을 확인하기 어려운 문제점이 여전히 존재한다.
따라서, 상기 문제점들을 해결하기 위한 개선 방안이 요구되는 실정이다.
KR 10-1829169 B1
본 발명은 상술한 문제점을 모두 해결하는 것을 그 목적으로 한다.
또한, 본 발명은 건설 현장 관계자 또는 유지관리 대상 건축물 관계자들의 주관적 기준을 근거로 공종 현황, 안전 수칙 준수 여부 및 결함 또는 하자 발생 여부 등이 잘못 판단되지 않도록, 데이터에 기반하여 객관적으로 공간 상태 정보를 판별하는 것을 다른 목적으로 한다.
또한, 본 발명은 적은 인력으로도 건설 현장 또는 유지관리 대상 건축물에 관한 대량의 업무를 처리할 수 있도록 하는 것을 또 다른 목적으로 한다.
또한, 본 발명은 관련 인력 및 업무 단계를 최소화함으로써 건설 현장 또는 유지관리 대상 건축물에 투입되는 비용을 절감하는 것을 또 다른 목적으로 한다.
또한, 본 발명은 관련 지식을 습득하지 않은 누구든지 공종 현황, 안전 수칙 준수 여부 및 결함 또는 하자 발생 여부 등을 구체적으로 확인할 수 있도록 하는 것을 또 다른 목적으로 한다.
또한, 본 발명은 건설 현장 또는 유지관리 대상 건축물에서 관계자로 하여금 구조물에 접촉하지 않고도 공종 현황을 파악할 수 있도록 하여 관계자의 안전을 증대하는 것을 또 다른 목적으로 한다.
상기한 바와 같은 본 발명의 목적을 달성하고, 후술하는 본 발명의 특징적인 효과를 실현하기 위한, 본 발명의 특징적인 구성은 하기와 같다.
본 발명의 일 태양에 따르면, 머신러닝에 기반하여 건축물의 공간 상태 정보를 판별하는 방법에 있어서, (a) 사용자 단말로부터 건축물의 공간을 나타내는 실사영상 이미지가 획득되면, 공간 상태 정보 판별 서버가, 상기 실사영상 이미지를 피처 추출 블록에 입력시킴으로써 상기 피처 추출 블록으로 하여금 상기 실사영상 이미지를 분석하여 상기 실사영상 이미지 상의 피처를 추출하여 피처 벡터를 출력하도록 하는 단계; 및 (b) 상기 공간 상태 정보 판별 서버가, 상기 피처 벡터를 공간 상태 분류 블록으로 입력하여 상기 공간 상태 분류 블록으로 하여금 상기 피처 벡터를 신경망 연산하도록 하여 상기 실사영상 이미지 상에서의 상기 건축물의 공간 상태 정보를 출력하도록 하며, 상기 공간 상태 정보를 상기 사용자 단말로 전송하여 줌으로써 상기 사용자 단말로 하여금 상기 공간 상태 정보를 디스플레이하도록 지원하는 단계;를 포함하는 방법이 개시된다.
일례로서, 상기 공간 상태 분류 블록은 FC 레이어(Fully Connected layer)를 포함하며, 상기 (b) 단계에서, 상기 공간 상태 정보 판별 서버는, 상기 피처 벡터를 상기 FC 레이어로 입력하여 상기 FC 레이어로 하여금 상기 피처 벡터를 신경망 연산하도록 함으로써, 기설정된 공종 클래스들 중 상기 실사영상 이미지 상에서의 상기 건축물의 상기 공간에 대응되는 특정 공종 클래스를 판별하도록 한 후, 상기 특정 공종 클래스에 대응되는 상기 공간 상태 정보를 출력하도록 하는 것을 특징으로 하는 방법이 개시된다.
일례로서, 상기 피처 추출 블록은 컨볼루션 레이어(convolution layer), RPN(Region Proposal Network), 풀링 레이어(pooling layer)를 포함하고, 상기 공간 상태 분류 블록은 FC 레이어를 포함하며, 상기 (a) 단계에서, 상기 공간 상태 정보 판별 서버는, 상기 실사영상 이미지를 상기 컨볼루션 레이어에 입력시킴으로써 상기 컨볼루션 레이어로 하여금 상기 실사영상 이미지를 적어도 한 번 컨볼루션 연산하도록 하여 상기 실사영상 이미지에 대응되는 공간 피처 맵(feature map)을 출력하도록 하며, 상기 공간 피처 맵을 상기 RPN으로 입력하여 상기 RPN으로 하여금 상기 공간 피처 맵 상에서 작업자가 있는 영역에 대응되는 프로포잘 박스(proposal box)들을 출력하도록 하며, 상기 풀링 레이어로 하여금 상기 프로포잘 박스들에 각각 대응되는 상기 공간 피처 맵 상의 영역들을 풀링하여 풀링된 피처 맵들에 대응되는 상기 피처 벡터를 출력하도록 하고, 상기 (b) 단계에서, 상기 공간 상태 정보 판별 서버는, 상기 피처 벡터를 상기 FC 레이어로 입력하여 상기 FC 레이어로 하여금 상기 작업자가 착용한 안전 장비를 확인하도록 하여 상기 작업자가 안전 상태에 있는지 여부를 판단하도록 한 후 상기 안전 상태에 대응되는 상기 공간 상태 정보를 출력하도록 하는 것을 특징으로 하는 방법이 개시된다.
일례로서, 상기 컨볼루션 레이어 및 상기 FC 레이어는 학습 데이터가 이용되어 각각 임의의 공간 피처 맵과 임의의 공간 상태 정보를 출력하도록 학습된 상태이며, 학습용 영상 이미지 - 상기 학습용 영상 이미지는 임의의 공간을 촬영한 영상 이미지임 - 가 획득되면, 학습 장치에 의해, (i) 상기 학습용 영상 이미지가 상기 컨볼루션 레이어로 입력됨으로써 상기 컨볼루션 레이어로 하여금 상기 학습용 영상 이미지가 적어도 한 번 컨볼루션 연산되도록 하여 상기 학습용 영상 이미지에 대응되는 학습용 공간 피처 맵이 출력되도록 하고, (ii) 상기 학습용 공간 피처 맵이 상기 RPN으로 입력되어 상기 RPN으로 하여금 상기 학습용 공간 피처 맵 상에서 학습용 작업자가 있는 영역에 대응되는 학습용 프로포잘 박스들이 출력되도록 하며, 상기 풀링 레이어로 하여금 상기 학습용 프로포잘 박스들에 각각 대응되는 상기 학습용 공간 피처 맵 상의 영역들이 풀링되어 학습용 풀링된 피처 맵들이 출력되도록 하고, 상기 학습용 풀링된 피처 맵들이 학습용 피처 벡터로 변환된 후, 상기 학습용 피처 벡터가 상기 FC 레이어로 입력되어 상기 FC 레이어로 하여금 상기 학습용 작업자가 착용한 안전 장비가 확인되도록 하여 상기 학습용 작업자가 안전 상태에 있는지 여부가 판단되도록 한 후 상기 안전 상태에 대응되는 학습용 공간 상태 정보가 출력되도록 하고, (iii) 로스(loss) 레이어로 하여금 상기 학습용 공간 상태 정보와 이에 대응되는 GT(Ground Truth)가 참조되도록 하여 로스가 생성되도록 하며, 상기 로스를 이용한 백프로퍼게이션(back propagation) 프로세스에 의해 상기 FC 레이어 및 상기 컨볼루션 레이어의 파라미터들 중 적어도 하나의 파라미터가 학습된 상태인 것을 특징으로 하는 방법이 개시된다.
일례로서, 상기 피처 추출 블록은 컨볼루션 레이어, RPN, 풀링 레이어를 포함하고, 상기 공간 상태 분류 블록은 FC 레이어를 포함하며, 상기 (a) 단계에서, 상기 공간 상태 정보 판별 서버는, 상기 실사영상 이미지를 상기 컨볼루션 레이어에 입력시킴으로써 상기 컨볼루션 레이어로 하여금 상기 실사영상 이미지를 적어도 한 번 컨볼루션 연산하도록 하여 상기 실사영상 이미지에 대응되는 공간 피처 맵을 출력하도록 하며, 상기 공간 피처 맵을 상기 RPN으로 입력하여 상기 RPN으로 하여금 상기 공간 피처 맵 상에서 결함 또는 하자가 있는 것으로 판단되는 영역에 대응되는 프로포잘 박스들을 출력하도록 하며, 상기 풀링 레이어로 하여금 상기 프로포잘 박스들에 각각 대응되는 상기 공간 피처 맵 상의 영역들을 풀링하여 풀링된 피처 맵들에 대응되는 상기 피처 벡터를 출력하도록 하고, 상기 (b) 단계에서, 상기 공간 상태 정보 판별 서버는, 상기 피처 벡터를 상기 FC 레이어로 입력하여 상기 FC 레이어로 하여금 상기 공간에 상기 결함 또는 상기 하자가 실제로 존재하는지 여부를 판단하도록 하고, 상기 결함 또는 상기 하자가 실제로 존재하는 경우, 상기 결함 또는 상기 하자의 종류를 분류하도록 한 후 상기 결함 또는 상기 하자의 종류에 대응되는 상기 공간 상태 정보를 출력하도록 하는 것을 특징으로 하는 방법이 개시된다.
일례로서, 상기 피처 추출 블록은 컨볼루션 레이어, RPN, 풀링 레이어를 포함하고, 상기 공간 상태 분류 블록은 제1 FC 레이어 및 제2 FC 레이어를 포함하며, 상기 (a) 단계에서, 상기 공간 상태 정보 판별 서버는, 상기 실사영상 이미지를 상기 컨볼루션 레이어에 입력시킴으로써 상기 컨볼루션 레이어로 하여금 상기 실사영상 이미지를 적어도 한 번 컨볼루션 연산하도록 하여 상기 실사영상 이미지에 대응되는 공간 피처 맵을 출력하도록 하며, 상기 공간 피처 맵을 상기 RPN으로 입력하여 상기 RPN으로 하여금 상기 공간 피처 맵 상에서 작업자가 있는 영역에 대응되는 프로포잘 박스들을 출력하도록 하며, 상기 풀링 레이어로 하여금 상기 프로포잘 박스들에 각각 대응되는 상기 공간 피처 맵 상의 영역들을 풀링하여 풀링된 피처 맵들에 대응되는 제1 피처 벡터를 출력하도록 하고, 상기 (b) 단계에서, 상기 공간 상태 정보 판별 서버는, (i) 상기 컨볼루션 레이어로부터 출력되는 상기 공간 피처 맵에 대응되는 제2 피처 벡터를 제1 FC 레이어로 입력하여 상기 제1 FC 레이어로 하여금 상기 제2 피처 벡터를 신경망 연산하도록 함으로써, 기설정된 공종 클래스들 중 상기 실사영상 이미지 상에서의 상기 건축물의 상기 공간에 대응되는 특정 공종 클래스를 판별하도록 한 후, 상기 특정 공종 클래스에 대응되는 특정 공종 정보를 출력하도록 하며, (ii) 상기 제1 피처 벡터를 상기 제2 FC 레이어로 입력하여 상기 제2 FC 레이어로 하여금 상기 작업자가 착용한 안전 장비를 확인하여 특정 안전 장비 착용 상태 정보를 출력하도록 하며, (iii) 상기 제1 FC 레이어로부터 출력된 상기 특정 공종 정보에 대응되어 설정된 기준 안전 장비 착용 상태 정보와 상기 제2 FC 레이어로부터 출력된 상기 특정 안전 장비 착용 상태 정보를 참조하여 상기 작업자가 상기 특정 공종 정보에 대응되는 안전 장비를 착용하였는지를 나타내는 작업자 안전 상태 정보를 생성하고, 상기 작업자 안전 상태 정보를 상기 사용자 단말로 전송하여 줌으로써 상기 사용자 단말로 하여금 상기 작업자 안전 상태 정보를 디스플레이하도록 지원하는 것을 특징으로 하는 방법이 개시된다.
일례로서, 상기 컨볼루션 레이어, 상기 제1 FC 레이어 및 상기 제2 FC 레이어는 학습 데이터가 이용되어 각각 임의의 공간 피처 맵과 임의의 공간 상태 정보를 출력하도록 학습된 상태이며, 학습용 영상 이미지 - 상기 학습용 영상 이미지는 임의의 공간을 촬영한 영상 이미지임 - 가 획득되면, 학습 장치에 의해, (i) 상기 학습용 영상 이미지가 상기 컨볼루션 레이어로 입력됨으로써 상기 컨볼루션 레이어로 하여금 상기 학습용 영상 이미지가 적어도 한 번 컨볼루션 연산되도록 하여 상기 학습용 영상 이미지에 대응되는 학습용 공간 피처맵이 출력되도록 하고, 상기 학습용 공간 피처 맵이 상기 RPN으로 입력되어 상기 RPN으로 하여금 상기 학습용 공간 피처 맵 상에서 학습용 작업자가 있는 영역에 대응되는 학습용 프로포잘 박스들이 출력되도록 하며, 상기 풀링 레이어로 하여금 상기 학습용 프로포잘 박스들에 각각 대응되는 상기 학습용 공간 피처 맵 상의 영역들이 풀링되어 학습용 풀링된 피처 맵들에 대응되는 학습용 제1 피처 벡터가 출력되도록 하고 (ii-1) 상기 컨볼루션 레이어로부터 출력되는 상기 학습용 공간 피처맵에 대응되는 학습용 제2 피처 벡터가 상기 제1 FC 레이어로 입력되어 상기 제1 FC 레이어로 하여금 상기 학습용 제2 피처 벡터가 신경망 연산되도록 함으로써, 기설정된 공종 클래스들 중 상기 학습용 영상 이미지 상에서의 상기 건축물의 상기 공간에 대응되는 특정 공종 클래스가 판별되도록 한 후, 상기 특정 공종 클래스에 대응되는 학습용 특정 공종 정보가 출력되도록 하며, (ii-2) 상기 학습용 제1 피처 벡터가 상기 제2 FC 레이어로 입력되어 상기 제2 FC 레이어로 하여금 상기 학습용 작업자가 착용한 안전 장비가 확인되도록 하여 학습용 특정 안전 장비 착용 상태 정보가 출력되도록 하고, (iii-1) 로스(loss) 레이어로 하여금 상기 학습용 특정 공종 정보와 이에 대응되는 제1 GT(Ground Truth)가 참조되도록 하여 제1 로스가 생성되도록 하며, (iii-2) 상기 로스(loss) 레이어로 하여금 상기 학습용 특정 안전 장비 착용 상태 정보와 이에 대응되는 제2 GT(Ground Truth)가 참조되도록 하여 제2 로스가 생성되도록 하며, 상기 제1 로스 및 상기 제2 로스를 이용한 백프로퍼게이션(back propagation) 프로세스에 의해 상기 제1 FC 레이어, 상기 제2 FC 레이어 및 상기 컨볼루션 레이어의 파라미터들 중 적어도 하나의 파라미터가 학습된 상태인 것을 특징으로 하는 방법이 개시된다.
일례로서, 상기 건축물의 동, 호, 층 및 실 중 적어도 하나에 의하여 특정되는 상기 건축물 내 개별 공간들에 관한 정보인 공간 정보들이 획득된 상태에서, 상기 (b) 단계에서, 상기 공간 상태 정보 판별 서버가, 상기 사용자 단말이 위치하고 있는 위치 정보를 참조하여 상기 공간 정보들 중, 상기 사용자 단말이 위치하는 특정 공간 정보를 확인하고, 상기 특정 공간 정보를 상기 사용자 단말로 전송하여, 상기 사용자 단말로 하여금 상기 공간 상태 정보 및 상기 특정 공간 정보를 디스플레이하도록 지원하는 것을 특징으로 하는 방법이 개시된다.
일례로서, 상기 (b) 단계에서, 상기 공간 상태 정보 판별 서버가, 상기 공간 상태 정보를 타 사용자 단말에 전송하여 줌으로써 상기 타 사용자 단말로 하여금 상기 공간 상태 정보를 디스플레이하도록 지원하는 것을 특징으로 하는 방법이 개시된다.
일례로서, 상기 (b) 단계에서, 상기 공간 상태 정보 판별 서버가, 상기 공간 상태 정보 및 상기 실사영상 이미지를 상기 타 사용자 단말로 전송하고, (c) 상기 타 사용자 단말로부터 상기 실사영상 이미지의 임의의 영역 중 특정 영역에 대한 지시 정보가 획득되면, 상기 공간 상태 정보 판별 서버가, 상기 지시 정보를 상기 사용자 단말로 전송하여 줌으로써 상기 사용자 단말로 하여금 상기 지시 정보에 대응되는 마크업을 렌더링하도록 하고, 상기 마크업을 상기 실사영상 이미지의 상기 특정 영역에 디스플레이하도록 지원하는 단계;를 더 포함하는 것을 특징으로 하는 방법이 개시된다.
본 발명의 다른 태양에 따르면, 머신러닝에 기반하여 건축물의 공간 상태 정보를 판별하는 방법에 있어서, 인스트럭션들을 저장하는 적어도 하나의 메모리; 및 상기 인스트럭션들을 실행하기 위해 구성된 적어도 하나의 프로세서를 포함하되, 상기 프로세서는, (1) 사용자 단말로부터 건축물의 공간을 나타내는 실사영상 이미지가 획득되면, 상기 실사영상 이미지를 피처 추출 블록에 입력시킴으로써 상기 피처 추출 블록으로 하여금 상기 실사영상 이미지를 분석하여 상기 실사영상 이미지 상의 피처를 추출하여 피처 벡터를 출력하도록 하는 프로세스; 및 (2) 상기 피처 벡터를 공간 상태 분류 블록으로 입력하여 상기 공간 상태 분류 블록으로 하여금 상기 피처 벡터를 신경망 연산하도록 하여 상기 실사영상 이미지 상에서의 상기 건축물의 공간 상태 정보를 출력하도록 하며, 상기 공간 상태 정보를 상기 사용자 단말로 전송하여 줌으로써 상기 사용자 단말로 하여금 상기 공간 상태 정보를 디스플레이하도록 지원하는 프로세스를 수행하는 상기 인스트럭션들을 실행하는 공간 상태 정보 판별 서버가 개시된다.
일례로서, 상기 공간 상태 분류 블록은 FC 레이어(Fully Connected layer)를 포함하며, 상기 프로세서는, 상기 (2) 프로세스에서, 상기 피처 벡터를 상기 FC 레이어로 입력하여 상기 FC 레이어로 하여금 상기 피처 벡터를 신경망 연산하도록 함으로써, 기설정된 공종 클래스들 중 상기 실사영상 이미지 상에서의 상기 건축물의 상기 공간에 대응되는 특정 공종 클래스를 판별하도록 한 후, 상기 특정 공종 클래스에 대응되는 상기 공간 상태 정보를 출력하도록 하는 것을 특징으로 하는 공간 상태 정보 판별 서버가 개시된다.
일례로서, 상기 피처 추출 블록은 컨볼루션 레이어(convolution layer), RPN(Region Proposal Network), 풀링 레이어(pooling layer)를 포함하고, 상기 공간 상태 분류 블록은 FC 레이어를 포함하며, 상기 프로세서는, 상기 (1) 프로세스에서, 상기 실사영상 이미지를 상기 컨볼루션 레이어에 입력시킴으로써 상기 컨볼루션 레이어로 하여금 상기 실사영상 이미지를 적어도 한 번 컨볼루션 연산하도록 하여 상기 실사영상 이미지에 대응되는 공간 피처 맵(feature map)을 출력하도록 하며, 상기 공간 피처 맵을 상기 RPN으로 입력하여 상기 RPN으로 하여금 상기 공간 피처 맵 상에서 작업자가 있는 영역에 대응되는 프로포잘 박스(proposal box)들을 출력하도록 하며, 상기 풀링 레이어로 하여금 상기 프로포잘 박스들에 각각 대응되는 상기 공간 피처 맵 상의 영역들을 풀링하여 풀링된 피처 맵들에 대응되는 상기 피처 벡터를 출력하도록 하고, 상기 (2) 프로세스에서, 상기 피처 벡터를 상기 FC 레이어로 입력하여 상기 FC 레이어로 하여금 상기 작업자가 착용한 안전 장비를 확인하도록 하여 상기 작업자가 안전 상태에 있는지 여부를 판단하도록 한 후 상기 안전 상태에 대응되는 상기 공간 상태 정보를 출력하도록 하는 것을 특징으로 하는 공간 상태 정보 판별 서버가 개시된다.
일례로서, 상기 컨볼루션 레이어 및 상기 FC 레이어는 학습 데이터가 이용되어 각각 임의의 공간 피처 맵과 임의의 공간 상태 정보를 출력하도록 학습된 상태이며, 학습용 영상 이미지 - 상기 학습용 영상 이미지는 임의의 공간을 촬영한 영상 이미지임 - 가 획득되면, 학습 장치에 의해, (i) 상기 학습용 영상 이미지가 상기 컨볼루션 레이어로 입력됨으로써 상기 컨볼루션 레이어로 하여금 상기 학습용 영상 이미지가 적어도 한 번 컨볼루션 연산되도록 하여 상기 학습용 영상 이미지에 대응되는 학습용 공간 피처 맵이 출력되도록 하고, (ii) 상기 학습용 공간 피처 맵이 상기 RPN으로 입력되어 상기 RPN으로 하여금 상기 학습용 공간 피처 맵 상에서 학습용 작업자가 있는 영역에 대응되는 학습용 프로포잘 박스들이 출력되도록 하며, 상기 풀링 레이어로 하여금 상기 학습용 프로포잘 박스들에 각각 대응되는 상기 학습용 공간 피처 맵 상의 영역들이 풀링되어 학습용 풀링된 피처 맵들이 출력되도록 하고, 상기 학습용 풀링된 피처 맵들이 학습용 피처 벡터로 변환된 후, 상기 학습용 피처 벡터가 상기 FC 레이어로 입력되어 상기 FC 레이어로 하여금 상기 학습용 작업자가 착용한 안전 장비가 확인되도록 하여 상기 학습용 작업자가 안전 상태에 있는지 여부가 판단되도록 한 후 상기 안전 상태에 대응되는 학습용 공간 상태 정보가 출력되도록 하고, (iii) 로스(loss) 레이어로 하여금 상기 학습용 공간 상태 정보와 이에 대응되는 GT(Ground Truth)가 참조되도록 하여 로스가 생성되도록 하며, 상기 로스를 이용한 백프로퍼게이션(back propagation) 프로세스에 의해 상기 FC 레이어 및 상기 컨볼루션 레이어의 파라미터들 중 적어도 하나의 파라미터가 학습된 상태인 것을 특징으로 하는 공간 상태 정보 판별 서버가 개시된다.
일례로서, 상기 피처 추출 블록은 컨볼루션 레이어, RPN, 풀링 레이어를 포함하고, 상기 공간 상태 분류 블록은 FC 레이어를 포함하며, 상기 프로세서는, 상기 (1) 프로세스에서, 상기 실사영상 이미지를 상기 컨볼루션 레이어에 입력시킴으로써 상기 컨볼루션 레이어로 하여금 상기 실사영상 이미지를 적어도 한 번 컨볼루션 연산하도록 하여 상기 실사영상 이미지에 대응되는 공간 피처 맵을 출력하도록 하며, 상기 공간 피처 맵을 상기 RPN으로 입력하여 상기 RPN으로 하여금 상기 공간 피처 맵 상에서 결함 또는 하자가 있는 것으로 판단되는 영역에 대응되는 프로포잘 박스들을 출력하도록 하며, 상기 풀링 레이어로 하여금 상기 프로포잘 박스들에 각각 대응되는 상기 공간 피처 맵 상의 영역들을 풀링하여 풀링된 피처 맵들에 대응되는 상기 피처 벡터를 출력하도록 하고, 상기 (2) 프로세스에서, 상기 피처 벡터를 상기 FC 레이어로 입력하여 상기 FC 레이어로 하여금 상기 공간에 상기 결함 또는 상기 하자가 실제로 존재하는지 여부를 판단하도록 하고, 상기 결함 또는 상기 하자가 실제로 존재하는 경우, 상기 결함 또는 상기 하자의 종류를 분류하도록 한 후 상기 결함 또는 상기 하자의 종류에 대응되는 상기 공간 상태 정보를 출력하도록 하는 것을 특징으로 하는 공간 상태 정보 판별 서버가 개시된다.
일례로서, 상기 피처 추출 블록은 컨볼루션 레이어, RPN, 풀링 레이어를 포함하고, 상기 공간 상태 분류 블록은 제1 FC 레이어 및 제2 FC 레이어를 포함하며, 상기 프로세서는, 상기 (1) 프로세스에서, 상기 실사영상 이미지를 상기 컨볼루션 레이어에 입력시킴으로써 상기 컨볼루션 레이어로 하여금 상기 실사영상 이미지를 적어도 한 번 컨볼루션 연산하도록 하여 상기 실사영상 이미지에 대응되는 공간 피처 맵을 출력하도록 하며, 상기 공간 피처 맵을 상기 RPN으로 입력하여 상기 RPN으로 하여금 상기 공간 피처 맵 상에서 작업자가 있는 영역에 대응되는 프로포잘 박스들을 출력하도록 하며, 상기 풀링 레이어로 하여금 상기 프로포잘 박스들에 각각 대응되는 상기 공간 피처 맵 상의 영역들을 풀링하여 풀링된 피처 맵들에 대응되는 제1 피처 벡터를 출력하도록 하고, 상기 (2) 프로세스에서, (i) 상기 컨볼루션 레이어로부터 출력되는 상기 공간 피처 맵에 대응되는 제2 피처 벡터를 제1 FC 레이어로 입력하여 상기 제1 FC 레이어로 하여금 상기 제2 피처 벡터를 신경망 연산하도록 함으로써, 기설정된 공종 클래스들 중 상기 실사영상 이미지 상에서의 상기 건축물의 상기 공간에 대응되는 특정 공종 클래스를 판별하도록 한 후, 상기 특정 공종 클래스에 대응되는 특정 공종 정보를 출력하도록 하며, (ii) 상기 제1 피처 벡터를 상기 제2 FC 레이어로 입력하여 상기 제2 FC 레이어로 하여금 상기 작업자가 착용한 안전 장비를 확인하여 특정 안전 장비 착용 상태 정보를 출력하도록 하며, (iii) 상기 제1 FC 레이어로부터 출력된 상기 특정 공종 정보에 대응되어 설정된 기준 안전 장비 착용 상태 정보와 상기 제2 FC 레이어로부터 출력된 상기 특정 안전 장비 착용 상태 정보를 참조하여 상기 작업자가 상기 특정 공종 정보에 대응되는 안전 장비를 착용하였는지를 나타내는 작업자 안전 상태 정보를 생성하고, 상기 작업자 안전 상태 정보를 상기 사용자 단말로 전송하여 줌으로써 상기 사용자 단말로 하여금 상기 작업자 안전 상태 정보를 디스플레이하도록 지원하는 것을 특징으로 하는 공간 상태 정보 판별 서버가 개시된다.
일례로서, 상기 컨볼루션 레이어, 상기 제1 FC 레이어 및 상기 제2 FC 레이어는 학습 데이터가 이용되어 각각 임의의 공간 피처 맵과 임의의 공간 상태 정보를 출력하도록 학습된 상태이며, 학습용 영상 이미지 - 상기 학습용 영상 이미지는 임의의 공간을 촬영한 영상 이미지임 - 가 획득되면, 학습 장치에 의해, (i) 상기 학습용 영상 이미지가 상기 컨볼루션 레이어로 입력됨으로써 상기 컨볼루션 레이어로 하여금 상기 학습용 영상 이미지가 적어도 한 번 컨볼루션 연산되도록 하여 상기 학습용 영상 이미지에 대응되는 학습용 공간 피처맵이 출력되도록 하고, 상기 학습용 공간 피처 맵이 상기 RPN으로 입력되어 상기 RPN으로 하여금 상기 학습용 공간 피처 맵 상에서 학습용 작업자가 있는 영역에 대응되는 학습용 프로포잘 박스들이 출력되도록 하며, 상기 풀링 레이어로 하여금 상기 학습용 프로포잘 박스들에 각각 대응되는 상기 학습용 공간 피처 맵 상의 영역들이 풀링되어 학습용 풀링된 피처 맵들에 대응되는 학습용 제1 피처 벡터가 출력되도록 하고 (ii-1) 상기 컨볼루션 레이어로부터 출력되는 상기 학습용 공간 피처맵에 대응되는 학습용 제2 피처 벡터가 상기 제1 FC 레이어로 입력되어 상기 제1 FC 레이어로 하여금 상기 학습용 제2 피처 벡터가 신경망 연산되도록 함으로써, 기설정된 공종 클래스들 중 상기 학습용 영상 이미지 상에서의 상기 건축물의 상기 공간에 대응되는 특정 공종 클래스가 판별되도록 한 후, 상기 특정 공종 클래스에 대응되는 학습용 특정 공종 정보가 출력되도록 하며, (ii-2) 상기 학습용 제1 피처 벡터가 상기 제2 FC 레이어로 입력되어 상기 제2 FC 레이어로 하여금 상기 학습용 작업자가 착용한 안전 장비가 확인되도록 하여 학습용 특정 안전 장비 착용 상태 정보가 출력되도록 하고, (iii-1) 로스(loss) 레이어로 하여금 상기 학습용 특정 공종 정보와 이에 대응되는 제1 GT(Ground Truth)가 참조되도록 하여 제1 로스가 생성되도록 하며, (iii-2) 상기 로스(loss) 레이어로 하여금 상기 학습용 특정 안전 장비 착용 상태 정보와 이에 대응되는 제2 GT(Ground Truth)가 참조되도록 하여 제2 로스가 생성되도록 하며, 상기 제1 로스 및 상기 제2 로스를 이용한 백프로퍼게이션(back propagation) 프로세스에 의해 상기 제1 FC 레이어, 상기 제2 FC 레이어 및 상기 컨볼루션 레이어의 파라미터들 중 적어도 하나의 파라미터가 학습된 상태인 것을 특징으로 하는 공간 상태 정보 판별 서버가 개시된다.
일례로서, 상기 건축물의 동, 호, 층 및 실 중 적어도 하나에 의하여 특정되는 상기 건축물 내 개별 공간들에 관한 정보인 공간 정보들이 획득된 상태에서, 상기 프로세서는, 상기 (2) 프로세스에서, 상기 사용자 단말이 위치하고 있는 위치 정보를 참조하여 상기 공간 정보들 중, 상기 사용자 단말이 위치하는 특정 공간 정보를 확인하고, 상기 특정 공간 정보를 상기 사용자 단말로 전송하여, 상기 사용자 단말로 하여금 상기 공간 상태 정보 및 상기 특정 공간 정보를 디스플레이하도록 지원하는 것을 특징으로 하는 공간 상태 정보 판별 서버가 개시된다.
일례로서, 상기 프로세서는, 상기 (2) 프로세스에서, 상기 공간 상태 정보를 타 사용자 단말에 전송하여 줌으로써 상기 타 사용자 단말로 하여금 상기 공간 상태 정보를 디스플레이하도록 지원하는 것을 특징으로 하는 공간 상태 정보 판별 서버가 개시된다.
일례로서, 상기 프로세서는, 상기 (2) 프로세스에서, 상기 공간 상태 정보 및 상기 실사영상 이미지를 상기 타 사용자 단말로 전송하고, (3) 상기 타 사용자 단말로부터 상기 실사영상 이미지의 임의의 영역 중 특정 영역에 대한 지시 정보가 획득되면, 상기 공간 상태 정보 판별 서버가, 상기 지시 정보를 상기 사용자 단말로 전송하여 줌으로써 상기 사용자 단말로 하여금 상기 지시 정보에 대응되는 마크업을 렌더링하도록 하고, 상기 마크업을 상기 실사영상 이미지의 상기 특정 영역에 디스플레이하도록 지원하는 프로세스;를 더 포함하는 것을 특징으로 하는 공간 상태 정보 판별 서버가 개시된다.
이 외에도, 본 발명의 방법을 실행하기 위한 컴퓨터 프로그램을 기록하기 위한 컴퓨터 판독 가능한 기록 매체가 더 제공된다.
본 발명은 건설 현장 관계자 또는 유지관리 대상 건축물 관계자들의 주관적 기준을 근거로 공종 현황, 안전 수칙 준수 여부 및 결함 또는 하자 발생 여부 등이 잘못 판단되지 않도록, 데이터에 기반하여 객관적으로 공간 상태 정보를 판별하는 효과가 있다.
또한, 본 발명은 적은 인력으로도 건설 현장 또는 유지관리 대상 건축물에 관한 대량의 업무를 처리할 수 있도록 하는 효과가 있다.
또한, 본 발명은 관련 인력 및 업무 단계를 최소화함으로써 건설 현장 또는 유지관리 대상 건축물에 투입되는 비용을 절감하는 효과가 있다.
또한, 본 발명은 관련 지식을 습득하지 않은 누구든지 공종 현황, 안전 수칙 준수 여부 및 결함 또는 하자 발생 여부 등을 구체적으로 확인할 수 있도록 하는 효과가 있다.
또한, 본 발명은 건설 현장 또는 유지관리 대상 건축물에서 관계자로 하여금 구조물에 접촉하지 않고도 공종 현황을 파악할 수 있도록 하여 관계자의 안전을 증대하는 효과가 있다.
본 발명의 실시예의 설명에 이용되기 위하여 첨부된 아래 도면들은 본 발명의 실시예들 중 단지 일부일 뿐이며, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자(이하 "통상의 기술자")에게 있어서는 발명적 작업이 이루어짐 없이 이 도면들에 기초하여 다른 도면들이 얻어질 수 있다.
도 1은 본 발명의 일 실시예에 따라 머신러닝에 기반하여 건축물의 공간 상태 정보를 판별하기 위한 공간 상태 정보 판별 서버, 사용자 단말 및 타 사용자 단말을 개략적으로 도시한 것이고,
도 2는 본 발명의 일 실시예에 따라 건축물의 공간 상태 정보를 판별하는 과정을 개략적으로 도시한 것이고,
도 3은 본 발명의 일 실시예에 따라 특정 공종 클래스를 판별하는 모습을 개략적으로 도시한 것이고,
도 4는 본 발명의 일 실시예에 따라 안전 상태를 판별하는 모습을 개략적으로 도시한 것이고,
도 5는 본 발명의 일 실시예에 따라 결함 또는 하자 존재 여부 및 종류를 판별하는 모습을 개략적으로 도시한 것이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명의 목적들, 기술적 해법들 및 장점들을 분명하게 하기 위하여 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 통상의 기술자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다.
또한, 본 발명의 상세한 설명 및 청구항들에 걸쳐, "포함하다"라는 단어 및 그것의 변형은 다른 기술적 특징들, 부가물들, 구성요소들 또는 단계들을 제외하는 것으로 의도된 것이 아니다. 통상의 기술자에게 본 발명의 다른 목적들, 장점들 및 특성들이 일부는 본 설명서로부터, 그리고 일부는 본 발명의 실시로부터 드러날 것이다. 아래의 예시 및 도면은 실례로서 제공되며, 본 발명을 한정하는 것으로 의도된 것이 아니다.
더욱이 본 발명은 본 명세서에 표시된 실시예들의 모든 가능한 조합들을 망라한다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따라 머신러닝에 기반하여 건축물의 공간 상태 정보를 판별하는 공간 상태 정보 판별 서버(100), 사용자 단말(200) 및 타 사용자 단말(300)을 개략적으로 도시한 것으로, 도 1을 참조하면, 공간 상태 정보 판별 서버(100)는 머신러닝에 기반하여 건축물의 공간 상태 정보를 판별하기 위한 인스트럭션들을 저장하는 메모리(110)와 메모리(110)에 저장된 인스트럭션들에 대응하여 머신러닝에 기반하여 건축물의 공간 상태 정보를 판별하는 동작을 수행하는 프로세서(120)를 포함할 수 있다.
구체적으로, 공간 상태 정보 판별 서버(100)는 전형적으로 컴퓨팅 장치(예컨대, 컴퓨터 프로세서, 메모리, 스토리지, 입력 장치 및 출력 장치, 기타 기존의 컴퓨팅 장치의 구성요소들을 포함할 수 있는 장치; 라우터, 스위치 등과 같은 전자 통신 장치; 네트워크 부착 스토리지(NAS) 및 스토리지 영역 네트워크(SAN)와 같은 전자 정보 스토리지 시스템)와 컴퓨터 소프트웨어(즉, 컴퓨팅 장치로 하여금 특정의 방식으로 기능하게 하는 인스트럭션들)의 조합을 이용하여 원하는 시스템 성능을 달성하는 것일 수 있다.
또한, 컴퓨팅 장치의 프로세서는 MPU(Micro Processing Unit) 또는 CPU(Central Processing Unit), 캐쉬 메모리(Cache Memory), 데이터 버스(Data Bus) 등의 하드웨어 구성을 포함할 수 있다. 또한, 컴퓨팅 장치는 운영체제, 특정 목적을 수행하는 애플리케이션의 소프트웨어 구성을 더 포함할 수도 있다.
그러나, 컴퓨팅 장치가 본 발명을 실시하기 위한 미디엄, 프로세서 및 메모리가 통합된 형태인 integrated 프로세서를 포함하는 경우를 배제하는 것은 아니다.
한편, 사용자 단말(200) 및 타 사용자 단말(300) 각각은 건축물의 공간 상태 정보를 디스플레이하기 위한 인스트럭션들을 저장하는 각각의 메모리(210, 310)와 각각의 메모리(210, 310)에 저장된 인스트럭션들에 대응하여 건축물의 공간 상태 정보를 디스플레이하는 동작을 수행하는 각각의 프로세서(220, 320)를 포함할 수 있다.
구체적으로, 사용자 단말(200) 및 타 사용자 단말(300) 각각은 전형적으로 컴퓨팅 장치(예컨대, 컴퓨터 프로세서, 메모리, 스토리지, 입력 장치 및 출력 장치, 기타 기존의 컴퓨팅 장치의 구성요소들을 포함할 수 있는 장치; 라우터, 스위치 등과 같은 전자 통신 장치; 네트워크 부착 스토리지(NAS) 및 스토리지 영역 네트워크(SAN)와 같은 전자 정보 스토리지 시스템)와 컴퓨터 소프트웨어(즉, 컴퓨팅 장치로 하여금 특정의 방식으로 기능하게 하는 인스트럭션들)의 조합을 이용하여 원하는 시스템 성능을 달성하는 것일 수 있다.
또한, 컴퓨팅 장치의 프로세서는 MPU(Micro Processing Unit) 또는 CPU(Central Processing Unit), 캐쉬 메모리(Cache Memory), 데이터 버스(Data Bus) 등의 하드웨어 구성을 포함할 수 있다. 또한, 컴퓨팅 장치는 운영체제, 특정 목적을 수행하는 애플리케이션의 소프트웨어 구성을 더 포함할 수도 있다.
그러나, 컴퓨팅 장치가 본 발명을 실시하기 위한 미디엄, 프로세서 및 메모리가 통합된 형태인 integrated 프로세서를 포함하는 경우를 배제하는 것은 아니다.
이와 같이 구성된 본 발명의 일 실시예에 따른 공간 상태 정보 판별 서버(100), 사용자 단말(200) 및 타 사용자 단말(300)을 이용하여 머신러닝에 기반하여 건축물의 공간 상태 정보를 판별하는 방법에 대해 설명하면 다음과 같다.
참고로, 도 2에서 도시하는 컨볼루션 레이어(410), RPN(420), 풀링 레이어(430), 제1 FC 레이어(510) 및 제2 FC 레이어(520)는 공간 상태 정보 판별 서버(100)에 포함될 수 있으나, 이에 한정되는 것은 아니며, 별도의 독립된 장치로 구성될 수도 있다. 또한, 제1 FC 레이어(510) 및 제2 FC 레이어(520)는 분류기(classifier)를 통해 클래시피케이션 스코어를 획득할 수 있으나, 이에 한정되는 것은 아니며, 가령, 리그레서(regressor)를 통해 리그레션 정보를 추가적으로 획득할 수도 있다. 이에 대한 자세한 설명은 후술한다.
공간 상태 정보를 출력하고 이를 사용자 단말(200)에 디스플레이하도록 지원하는 전체적인 프로세스를 설명하면, 사용자 단말(200)로부터 건축물의 공간을 나타내는 실사영상 이미지가 획득되면, 공간 상태 정보 판별 서버(100)가, 실사영상 이미지를 피처 추출 블록(400)에 입력시킴으로써 상기 피처 추출 블록(400)으로 하여금 상기 실사영상 이미지를 분석하여 상기 실사영상 이미지 상의 피처를 추출하여 피처 벡터를 출력하도록 할 수 있다.
여기서, 공간 상태 정보는, 건축물의 공간 내 특정 부위에 적용되는 공종에 관한 정보, 건축물의 공간 내에서 작업하는 작업자의 안전 상태에 관한 정보, 건축물의 공간 내 특정 부위에 발생한 결함 또는 하자에 관한 정보 등을 포함할 수 있다.
그리고, 공간 상태 정보 판별 서버(100)가, 피처 벡터를 공간 상태 분류 블록(500)으로 입력하여 상기 공간 상태 분류 블록(500)으로 하여금 피처 벡터를 신경망 연산하도록 하여 실사영상 이미지 상에서의 건축물의 공간 상태 정보를 출력하도록 하며, 공간 상태 정보를 사용자 단말(200)로 전송하여 줌으로써 사용자 단말(200)로 하여금 공간 상태 정보를 디스플레이하도록 지원할 수 있다.
먼저, 건축물의 공간 내 특정 부위에 적용되는 공종에 관한 공간 상태 정보를 출력하는 경우에 대해 도 2를 참조하여 구체적으로 설명한다.
구체적으로, 공간 상태 분류 블록(500)이 FC 레이어(Fully Connected layer)를 포함할 때, 공간 상태 정보 판별 서버(100)는, 피처 벡터를 FC 레이어로 입력하여 FC 레이어로 하여금 피처 벡터를 신경망 연산하도록 함으로써, 기설정된 공종 클래스들 중 실사영상 이미지 상에서의 건축물의 공간에 대응되는 특정 공종 클래스를 판별하도록 한 후, 특정 공종 클래스에 대응되는 공간 상태 정보를 출력하도록 할 수 있다. 여기서, 기설정된 공종 클래스들은 건설 현장 또는 유지관리 대상 건축물에 적용될 수 있는 모든 공종들을 포함할 수 있다.
일례로, 도 3에서는, 조적 공사에 대응되는 공간 상태 정보가 사용자 단말(200)로 전송되어, 실사영상 이미지에 나타나는 공종이 조적 공사인 것으로 사용자 단말(200)의 하단부에 디스플레이되는 모습을 도시하고 있다.
다음으로, 건축물의 공간 내에서 작업하는 작업자의 안전 상태에 관한 공간 상태 정보를 출력하는 경우에 대해 다시 도 2를 참조하여 구체적인 과정을 설명한다.
구체적으로, 피처 추출 블록(400)은 컨볼루션 레이어(convolution layer), RPN(Region Proposal Network), 풀링 레이어(pooling layer)를 포함하고, 공간 상태 분류 블록(500)은 FC 레이어를 포함할 때, 공간 상태 정보 판별 서버(100)는, 실사영상 이미지를 컨볼루션 레이어(410)에 입력시킴으로써 컨볼루션 레이어(410)로 하여금 실사영상 이미지를 적어도 한번 컨볼루션 연산하도록 하여 실사영상 이미지에 대응되는 공간 피처 맵(feature map)을 출력하도록 하며, 컨볼루션 레이어(410)로부터 출력된 공간 피처 맵을 RPN(420)으로 입력하여 RPN(420)으로 하여금 공간 피처 맵 상에서 작업자가 있는 영역에 대응되는 프로포잘 박스(proposal box)들을 출력하도록 하며, 풀링 레이어(430)로 하여금 프로포잘 박스들에 각각 대응되는 공간 피처 맵 상의 영역들을 풀링하여 풀링된 피처 맵들에 대응되는 피처 벡터를 출력하도록 할 수 있다.
그리고 공간 상태 정보 판별 서버(100)는, 피처 벡터를 FC 레이어로 입력하여 FC 레이어로 하여금 작업자가 착용한 안전 장비를 확인하도록 하여 작업자가 안전 상태에 있는지 여부를 판단하도록 한 후 안전 상태에 대응되는 공간 상태 정보를 출력하도록 할 수 있다.
일례로, 건설 현장에서 작업자가 안전화를 신었으나 안전모를 착용하고 있지 않은 상태를 나타내는 실사영상 이미지가 획득되는 경우에 대해 설명하기로 한다. 즉, 공간 상태 정보 판별 서버(100)는, FC 레이어로 하여금 해당 작업자가 착용한 안전 장비들을 확인하도록 함으로써 작업자가 현재 안전모를 착용하고 있지 않음을 판단하도록 할 수 있다, 그리고, 작업자의 안전 상태에 대응되는 공간 상태 정보가 출력되어 해당 공간 상태 정보가 사용자 단말(200)로 전송되면, 도 4에서 도시하는 바와 같이, 실사영상 이미지에 나타나는 작업자가 현재 안전모를 착용하고 있지 않은 것으로 사용자 단말(200)에 디스플레이될 수 있다.
또한, 공간 상태 정보 판별 서버(100)는, 작업자가 현재 안전모를 착용하고 있는지 여부뿐만 아니라, 도 4처럼 해당 작업자에 대응되는 바운딩 박스도 함께 사용자 단말(200)에 디스플레이되도록 지원할 수 있다.
또한, 위에서는 공간 상태 정보에 대응되는 안전 상태로서 작업자의 현재 안전 장비 착용 상태를 예를 들어 설명하였으나, 이에 한정되는 것은 아니며, 건설 현장 또는 유지관리 대상 건축물에서 높은 확률로 발생할 수 있는 안전 사고의 발생 가능성에 대응되는 공간 상태 정보가 디스플레이 될 수 있다.
일례로, 건설 현장에 승강기 설치 작업이 진행 중이고, 각 층에는 아직 승강기 도어가 설치되지 않은 경우에, 승강기 도어가 설치되지 않은 모습이 촬영된 실사영상 이미지가 획득되면, 공간 상태 정보 판별 서버(100)는, 위에서 설명한 신경망 연산 과정 등을 거쳐, FC 레이어로 하여금 추락 안전 사고 발생 가능성을 나타내는 공간 상태 정보를 출력하도록 할 수 있으며, 해당 공간 상태 정보를 사용자 단말(200)로 전송하여 줌으로써 사용자 단말(200)로 하여금 추락 안전 사고가 발생할 수 있음을 경고하는 알림창을 디스플레이하도록 지원할 수도 있다.
한편, 컨볼루션 레이어(410) 및 제2 FC 레이어(520)는 학습 데이터가 이용되어 각각 임의의 공간 피처 맵과 임의의 공간 상태 정보를 출력하도록 학습된 상태이며, 학습용 영상 이미지 - 학습용 영상 이미지는 임의의 공간을 촬영한 영상 이미지임 - 가 획득되면, 학습 장치에 의해, (i) 학습용 영상 이미지가 컨볼루션 레이어(410)로 입력됨으로써 컨볼루션 레이어(410)로 하여금 학습용 영상 이미지가 적어도 한 번 컨볼루션 연산되도록 하여 학습용 영상 이미지에 대응되는 학습용 공간 피처 맵이 출력되도록 하고, (ii) 학습용 공간 피처 맵이 RPN(420)으로 입력되어 RPN(420)으로 하여금 학습용 공간 피처 맵 상에서 학습용 작업자가 있는 영역에 대응되는 학습용 프로포잘 박스들이 출력되도록 하며, 풀링 레이어(430)로 하여금 학습용 프로포잘 박스들에 각각 대응되는 학습용 공간 피처 맵 상의 영역들이 풀링되어 학습용 풀링된 피처 맵들이 출력되도록 하고, 학습용 풀링된 피처 맵들이 학습용 피처 벡터로 변환된 후, 학습용 피처 벡터가 FC 레이어로 입력되어 FC 레이어로 하여금 학습용 작업자가 착용한 안전 장비가 확인되도록 하여 학습용 작업자가 안전 상태에 있는지 여부가 판단되도록 한 후 안전 상태에 대응되는 학습용 공간 상태 정보가 출력되도록 하고, (iii) 로스(loss) 레이어로 하여금 학습용 공간 상태 정보와 이에 대응되는 GT(Ground Truth)가 참조되도록 하여 로스가 생성되도록 하며, 로스를 이용한 백프로퍼게이션(back propagation) 프로세스에 의해 FC 레이어 및 컨볼루션 레이어(410)의 파라미터들 중 적어도 하나의 파라미터가 학습된 상태일 수 있다.
다음으로, 건축물의 공간 내 특정 부위에 발생한 결함 또는 하자에 관한 공간 상태 정보를 출력하는 경우에 대해 다시 도 2를 참조하여 구체적인 과정을 설명한다.
구체적으로, 피처 추출 블록(400)은 컨볼루션 레이어(410), RPN(420), 풀링 레이어(430)를 포함하고, 공간 상태 분류 블록(500)은 FC 레이어를 포함할 때, 공간 상태 정보 판별 서버(100)는, 실사영상 이미지를 컨볼루션 레이어(410)에 입력시킴으로써 컨볼루션 레이어(410)로 하여금 실사영상 이미지를 적어도 한 번 컨볼루션 연산하도록 하여 실사영상 이미지에 대응되는 공간 피처 맵을 출력하도록 하며, 공간 피처 맵을 RPN(420)으로 입력하여 RPN(420)으로 하여금 공간 피처 맵 상에서 결함 또는 하자가 있는 것으로 판단되는 영역에 대응되는 프로포잘 박스들을 출력하도록 하며, 풀링 레이어(430)로 하여금 프로포잘 박스들에 각각 대응되는 공간 피처 맵 상의 영역들을 풀링하여 풀링된 피처 맵들에 대응되는 피처 벡터를 출력하도록 할 수 있다.
그리고 공간 상태 정보 판별 서버(100)는, 피처 벡터를 FC 레이어로 입력하여 FC 레이어로 하여금 공간에 결함 또는 하자가 실제로 존재하는지 여부를 판단하도록 하고, 결함 또는 하자가 실제로 존재하는 경우, 결함 또는 하자의 종류를 분류하도록 한 후 결함 또는 하자의 종류에 대응되는 공간 상태 정보를 출력하도록 할 수 있다.
일례로, 유지관리 대상 건축물내 특정 공간의 천장에 누수 하자가 발생한 모습을 담은 실사영상 이미지가 획득되는 경우에 대해 설명하기로 한다.
이때, 공간 상태 정보 판별 서버(100)는, 해당 실사영상 이미지를 분석함으로써 실제로 결함 또는 하자가 존재하는지 여부를 판단하고 결함 또는 하자의 종류만이 사용자 단말(200)을 통해 디스플레이되도록 할 수 있다. 그러나, 이에 한정되는 것은 아니며, 결함 또는 하자의 발생 위치도 결함 또는 하자의 종류와 함께 디스플레이되도록 할 수 있다.
즉, 공간 상태 정보 판별 서버(100)가, 누수 하자가 발생한 모습을 담은 실사영상 이미지를 위에서 설명한 이미지 프로세싱 과정을 통해 분석하여 클래시피케이션 스코어들 및 리그레션 정보를 산출하도록 할 수 있다. 그리고, 클래시피케이션 스코어들이 참조되어 하자의 종류가 누수 하자인 것으로 결정되고, 리그레션 정보가 참조되어 실사영상 이미지 상에서의 누수 하자 발생 위치가 결정되어 누수 하자에 대응되는 공간 상태 정보가 출력되고, 누수 하자에 대응되는 공간 상태 정보가 사용자 단말(200)로 전송되면, 도 5에서 도시하는 바와 같이, 공간 상태 정보 판별 서버(100)가, 실사 영상 이미지 상에서 관찰되는 하자의 종류는 누수 하자이며 하자의 발생 위치는 이미지 상의 소정의 위치에 해당하는 것으로 사용자 단말(200)에 디스플레이되도록 지원할 수 있다.
한편, 공간 상태 정보 판별 서버(100)는, 특정 공종에 관한 정보 및 작업자의 안전 장비 착용 상태 정보를 참조하여, 현재 작업자가 특정 공종에 부합하는 안전 장비를 착용하였는지 여부를 판단할 수 있다.
즉, 피처 추출 블록(400)은 컨볼루션 레이어(410), RPN(420), 풀링 레이어(430)를 포함하고, 상기 공간 상태 분류 블록(500)은 제1 FC 레이어(510) 및 제2 FC 레이어(520)를 포함할 때, 공간 상태 정보 판별 서버(100)는, 실사영상 이미지를 컨볼루션 레이어(410)에 입력시킴으로써 컨볼루션 레이어(410)로 하여금 실사영상 이미지를 적어도 한 번 컨볼루션 연산하도록 하여 실사영상 이미지에 대응되는 공간 피처 맵을 출력하도록 하며, 공간 피처 맵을 RPN(420)으로 입력하여 RPN(420)으로 하여금 공간 피처 맵 상에서 작업자가 있는 영역에 대응되는 프로포잘 박스들을 출력하도록 하며, 풀링 레이어(430)로 하여금 프로포잘 박스들에 각각 대응되는 공간 피처 맵 상의 영역들을 풀링하여 풀링된 피처 맵들에 대응되는 제1 피처 벡터를 출력하도록 할 수 있다.
그리고, 공간 상태 정보 판별 서버(100)는, (i) 컨볼루션 레이어(410)로부터 출력되는 공간 피처 맵에 대응되는 제2 피처 벡터를 제1 FC 레이어(510)로 입력하여 제1 FC 레이어(510)로 하여금 제2 피처 벡터를 신경망 연산하도록 함으로써, 기설정된 공종 클래스들 중 실사영상 이미지 상에서의 건축물의 공간에 대응되는 특정 공종 클래스를 판별하도록 한 후, 특정 공종 클래스에 대응되는 특정 공종 정보를 출력하도록 하며, (ii) 제1 피처 벡터를 제2 FC 레이어(520)로 입력하여 제2 FC 레이어(520)로 하여금 작업자가 착용한 안전 장비를 확인하여 특정 안전 장비 착용 상태 정보를 출력하도록 하며, (iii) 제1 FC 레이어(510)로부터 출력된 특정 공종 정보에 대응되어 설정된 기준 안전 장비 착용 상태 정보와 제2 FC 레이어(520)로부터 출력된 특정 안전 장비 착용 상태 정보를 참조하여 작업자가 특정 공종 정보에 대응되는 안전 장비를 착용하였는지를 나타내는 작업자 안전 상태 정보를 생성하고, 작업자 안전 상태 정보를 사용자 단말(200)로 전송하여 줌으로써 사용자 단말(200)로 하여금 작업자 안전 상태 정보를 디스플레이하도록 지원할 수 있다.
일례로, 건축물의 바닥에 에폭시를 시공하기 위해서는 작업자들이 방독 마스크를 착용해야 하는 것으로 기준 안전 장비 착용 상태 정보가 설정될 수 있다.
위와 같은 상황에서, 에폭시를 시공하는 작업자들이 방독 마스크를 착용하지 않은 모습이 촬영된 실사영상 이미지가 획득되면, 공간 상태 정보 판별 서버(100)는, 상술한 이미지 분석 프로세싱을 수행함으로써, (i) 에폭시 시공 작업에 대응되는 특정 공종 정보 및 작업자들이 현재 안전 장비를 착용한 상태를 나타내는 특정 안전 장비 착용 상태 정보가 출력되도록 하고, (ii) 특정 공종 정보를 참조하여 에폭시 시공 작업에 대응되어 설정된 기준 안전 장비 착용 상태 정보를 확인하고, (iii) 기준 안전 장비 착용 상태 정보와 특정 안전 장비 착용 상태 정보를 비교하여 해당 작업자들이 방독 마스크를 착용하고 있지 않음을 나타내는 작업자 안전 상태 정보를 생성할 수 있다.
이에 따라, 작업자들의 안전 장비 착용 상태를 일률적으로 판단하지 않고, 특정 공종별로 안전 장비 착용 상태를 판단할 수 있게 된다.
여기서, 컨볼루션 레이어(410), 제1 FC 레이어(510) 및 제2 FC 레이어(520)는 학습 데이터가 이용되어 각각 임의의 공간 피처 맵과 임의의 공간 상태 정보를 출력하도록 학습된 상태이며, 학습용 영상 이미지 - 학습용 영상 이미지는 임의의 공간을 촬영한 영상 이미지임 - 가 획득되면, 학습 장치에 의해, (i) 학습용 영상 이미지가 컨볼루션 레이어(410)로 입력됨으로써 컨볼루션 레이어(410)로 하여금 학습용 영상 이미지가 적어도 한 번 컨볼루션 연산되도록 하여 학습용 영상 이미지에 대응되는 학습용 공간 피처 맵이 출력되도록 하고, 학습용 공간 피처 맵이 RPN(420)으로 입력되어 RPN(420)으로 하여금 학습용 공간 피처 맵 상에서 학습용 작업자가 있는 영역에 대응되는 학습용 프로포잘 박스들이 출력되도록 하며, 풀링 레이어(430)로 하여금 학습용 프로포잘 박스들에 각각 대응되는 학습용 공간 피처 맵 상의 영역들이 풀링되어 학습용 풀링된 피처 맵들에 대응되는 학습용 제1 피처 벡터가 출력되도록 하고 (ii-1) 컨볼루션 레이어(410)로부터 출력되는 학습용 공간 피처맵에 대응되는 학습용 제2 피처 벡터가 제1 FC 레이어(510)로 입력되어 제1 FC 레이어(510)로 하여금 학습용 제2 피처 벡터가 신경망 연산되도록 함으로써, 기설정된 공종 클래스들 중 학습용 영상 이미지 상에서의 건축물의 공간에 대응되는 특정 공종 클래스가 판별되도록 한 후, 특정 공종 클래스에 대응되는 학습용 특정 공종 정보가 출력되도록 하며, (ii-2) 학습용 제1 피처 벡터가 제2 FC 레이어(520)로 입력되어 제2 FC 레이어(520)로 하여금 학습용 작업자가 착용한 안전 장비가 확인되도록 하여 학습용 특정 안전 장비 착용 상태 정보가 출력되도록 하고, (iii-1) 로스(loss) 레이어로 하여금 학습용 특정 공종 정보와 이에 대응되는 제1 GT(Ground Truth)가 참조되도록 하여 제1 로스가 생성되도록 하며, (iii-2) 로스(loss) 레이어로 하여금 학습용 특정 안전 장비 착용 상태 정보와 이에 대응되는 제2 GT(Ground Truth)가 참조되도록 하여 제2 로스가 생성되도록 하며, 제1 로스 및 제2 로스를 이용한 백프로퍼게이션(back propagation) 프로세스에 의해 제1 FC 레이어(510), 제2 FC 레이어(520) 및 컨볼루션 레이어(410)의 파라미터들 중 적어도 하나의 파라미터가 학습된 상태일 수 있다.
한편, 도 3 내지 도 5의 상단부에 도시된 바와 같이, 사용자 단말(200)이 위치하는 특정 공간 정보가 추가적으로 디스플레이될 수도 있다.
즉, 건축물의 동, 호, 층 및 실 중 적어도 하나에 의하여 특정되는 건축물 내 개별 공간들에 관한 정보인 공간 정보들이 획득된 상태에서, 공간 상태 정보 판별 서버(100)가, 사용자 단말(200)이 위치하고 있는 위치 정보를 참조하여 공간 정보들 중, 사용자 단말(200)이 위치하는 특정 공간 정보를 확인하고, 특정 공간 정보를 사용자 단말(200)로 전송하여, 사용자 단말(200)로 하여금 공종, 안전 상태, 결함 또는 하자 등에 관한 공간 상태 정보뿐만 아니라 특정 공간 정보도 함께 디스플레이하도록 지원할 수 있다. 이를 통해, 복잡한 구조의 건축물이라고 하더라도, 특정 공종, 특정 작업자, 특정 결함 또는 하자 등이 어디에 위치하는지를 정확히 파악할 수 있게 된다.
한편, 공간 상태 정보 판별 서버(100)가, 공간 상태 정보를 타 사용자 단말(300)에 전송하여 줌으로써 타 사용자 단말(300)로 하여금 공간 상태 정보를 디스플레이하도록 지원할 수 있다.
여기서, 타 사용자란, 건설 현장이나 유지관리 대상 건축물에서 작업하는 작업자 외에도 작업자에 대해 일련의 작업을 지시하는 지시자, 감리자 등을 포함할 수 있다.
그리고, 공간 상태 정보 판별 서버(100)는, 공간 상태 정보뿐만 아니라 실사영상 이미지도 타 사용자 단말(300)로 전송할 수 있으며, 타 사용자 단말(300)로부터 실사영상 이미지의 임의의 영역 중 특정 영역에 대한 지시 정보가 획득되면, 지시 정보를 사용자 단말(200)로 전송하여 줌으로써 사용자 단말(200)로 하여금 지시 정보에 대응되는 마크업을 렌더링하도록 하고, 마크업을 실사영상 이미지의 특정 영역에 디스플레이하도록 지원할 수 있다.
이처럼, 마크업 디스플레이를 통해, 결함 또는 하자가 발생한 부적합한 시공 상태에 대한 보완 작업 이행 지시, 공종별 작업 순서에 관한 지시 등이 이루어질 수 있다.
또한, 이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (10)

  1. 머신러닝에 기반하여 건축물의 공간 상태 정보를 판별하는 방법에 있어서,
    (a) 사용자 단말로부터 건축물의 공간을 나타내는 실사영상 이미지가 획득되면, 공간 상태 정보 판별 서버가, 상기 실사영상 이미지를 피처 추출 블록에 입력시킴으로써 상기 피처 추출 블록으로 하여금 상기 실사영상 이미지를 분석하여 상기 실사영상 이미지 상의 피처를 추출하여 피처 벡터를 출력하도록 하는 단계; 및
    (b) 상기 공간 상태 정보 판별 서버가, 상기 피처 벡터를 공간 상태 분류 블록으로 입력하여 상기 공간 상태 분류 블록으로 하여금 상기 피처 벡터를 신경망 연산하도록 하여 상기 실사영상 이미지 상에서의 상기 건축물의 공간 상태 정보를 출력하도록 하며, 상기 공간 상태 정보를 상기 사용자 단말로 전송하여 줌으로써 상기 사용자 단말로 하여금 상기 공간 상태 정보를 디스플레이하도록 지원하는 단계;
    를 포함하되,
    상기 피처 추출 블록은 컨볼루션 레이어(convolution layer), RPN(Region Proposal Network), 풀링 레이어(pooling layer)를 포함하고,
    상기 공간 상태 분류 블록은 FC 레이어(Fully Connected layer)를 포함하며,
    상기 공간 상태 정보 판별 서버는, (I) 상기 (b) 단계에서, 상기 피처 벡터를 상기 FC 레이어로 입력하여 상기 FC 레이어로 하여금 상기 피처 벡터를 신경망 연산하도록 함으로써, 기설정된 공종 클래스들 중 상기 실사영상 이미지 상에서의 상기 건축물의 상기 공간에 대응되는 특정 공종 클래스를 판별하도록 한 후, 상기 특정 공종 클래스에 대응되는 상기 공간 상태 정보를 출력하도록 하는 서브 프로세스, (II) 상기 (a) 단계에서, 상기 실사영상 이미지를 상기 컨볼루션 레이어에 입력시킴으로써 상기 컨볼루션 레이어로 하여금 상기 실사영상 이미지를 적어도 한 번 컨볼루션 연산하도록 하여 상기 실사영상 이미지에 대응되는 공간 피처 맵(feature map)을 출력하도록 하며, 상기 공간 피처 맵을 상기 RPN으로 입력하여 상기 RPN으로 하여금 상기 공간 피처 맵 상에서 작업자가 있는 영역에 대응되는 프로포잘 박스(proposal box)들을 출력하도록 하며, 상기 풀링 레이어로 하여금 상기 프로포잘 박스들에 각각 대응되는 상기 공간 피처 맵 상의 영역들을 풀링하여 풀링된 피처 맵들에 대응되는 상기 피처 벡터를 출력하도록 하고, 상기 (b) 단계에서, 상기 피처 벡터를 상기 FC 레이어로 입력하여 상기 FC 레이어로 하여금 상기 작업자가 착용한 안전 장비를 확인하도록 하여 상기 작업자가 안전 상태에 있는지 여부를 판단하도록 한 후 상기 안전 상태에 대응되는 상기 공간 상태 정보를 출력하도록 하는 서브 프로세스, 및 (III) 상기 (a) 단계에서, 상기 실사영상 이미지를 상기 컨볼루션 레이어에 입력시킴으로써 상기 컨볼루션 레이어로 하여금 상기 실사영상 이미지를 적어도 한 번 컨볼루션 연산하도록 하여 상기 실사영상 이미지에 대응되는 공간 피처 맵을 출력하도록 하며, 상기 공간 피처 맵을 상기 RPN으로 입력하여 상기 RPN으로 하여금 상기 공간 피처 맵 상에서 결함 또는 하자가 있는 것으로 판단되는 영역에 대응되는 프로포잘 박스들을 출력하도록 하며, 상기 풀링 레이어로 하여금 상기 프로포잘 박스들에 각각 대응되는 상기 공간 피처 맵 상의 영역들을 풀링하여 풀링된 피처 맵들에 대응되는 상기 피처 벡터를 출력하도록 하고, 상기 (b) 단계에서, 상기 피처 벡터를 상기 FC 레이어로 입력하여 상기 FC 레이어로 하여금 상기 공간에 상기 결함 또는 상기 하자가 실제로 존재하는지 여부를 판단하도록 하고, 상기 결함 또는 상기 하자가 실제로 존재하는 경우, 상기 결함 또는 상기 하자의 종류를 분류하도록 한 후 상기 결함 또는 상기 하자의 종류에 대응되는 상기 공간 상태 정보를 출력하도록 하는 서브 프로세스 중 적어도 일부를 수행하는 것을 특징으로 하는 방법.
  2. 제1항에 있어서,
    상기 컨볼루션 레이어 및 상기 FC 레이어는 학습 데이터가 이용되어 각각 임의의 공간 피처 맵과 임의의 공간 상태 정보를 출력하도록 학습된 상태이며,
    학습용 영상 이미지 - 상기 학습용 영상 이미지는 임의의 공간을 촬영한 영상 이미지임 - 가 획득되면, 학습 장치에 의해, (i) 상기 학습용 영상 이미지가 상기 컨볼루션 레이어로 입력됨으로써 상기 컨볼루션 레이어로 하여금 상기 학습용 영상 이미지가 적어도 한 번 컨볼루션 연산되도록 하여 상기 학습용 영상 이미지에 대응되는 학습용 공간 피처 맵이 출력되도록 하고, (ii) 상기 학습용 공간 피처 맵이 상기 RPN으로 입력되어 상기 RPN으로 하여금 상기 학습용 공간 피처 맵 상에서 학습용 작업자가 있는 영역에 대응되는 학습용 프로포잘 박스들이 출력되도록 하며, 상기 풀링 레이어로 하여금 상기 학습용 프로포잘 박스들에 각각 대응되는 상기 학습용 공간 피처 맵 상의 영역들이 풀링되어 학습용 풀링된 피처 맵들이 출력되도록 하고, 상기 학습용 풀링된 피처 맵들이 학습용 피처 벡터로 변환된 후, 상기 학습용 피처 벡터가 상기 FC 레이어로 입력되어 상기 FC 레이어로 하여금 상기 학습용 작업자가 착용한 안전 장비가 확인되도록 하여 상기 학습용 작업자가 안전 상태에 있는지 여부가 판단되도록 한 후 상기 안전 상태에 대응되는 학습용 공간 상태 정보가 출력되도록 하고, (iii) 로스(loss) 레이어로 하여금 상기 학습용 공간 상태 정보와 이에 대응되는 GT(Ground Truth)가 참조되도록 하여 로스가 생성되도록 하며, 상기 로스를 이용한 백프로퍼게이션(back propagation) 프로세스에 의해 상기 FC 레이어 및 상기 컨볼루션 레이어의 파라미터들 중 적어도 하나의 파라미터가 학습된 상태인 것을 특징으로 하는 방법.
  3. 제1항에 있어서,
    상기 건축물의 동, 호, 층 및 실 중 적어도 하나에 의하여 특정되는 상기 건축물 내 개별 공간들에 관한 정보인 공간 정보들이 획득된 상태에서,
    상기 (b) 단계에서,
    상기 공간 상태 정보 판별 서버가, 상기 사용자 단말이 위치하고 있는 위치 정보를 참조하여 상기 공간 정보들 중, 상기 사용자 단말이 위치하는 특정 공간 정보를 확인하고, 상기 특정 공간 정보를 상기 사용자 단말로 전송하여, 상기 사용자 단말로 하여금 상기 공간 상태 정보 및 상기 특정 공간 정보를 디스플레이하도록 지원하는 것을 특징으로 하는 방법.
  4. 제1항에 있어서,
    상기 (b) 단계에서,
    상기 공간 상태 정보 판별 서버가, 상기 공간 상태 정보를 타 사용자 단말에 전송하여 줌으로써 상기 타 사용자 단말로 하여금 상기 공간 상태 정보를 디스플레이하도록 지원하는 것을 특징으로 하는 방법.
  5. 제4항에 있어서,
    상기 (b) 단계에서,
    상기 공간 상태 정보 판별 서버가, 상기 공간 상태 정보 및 상기 실사영상 이미지를 상기 타 사용자 단말로 전송하고,
    (c) 상기 타 사용자 단말로부터 상기 실사영상 이미지의 임의의 영역 중 특정 영역에 대한 지시 정보가 획득되면, 상기 공간 상태 정보 판별 서버가, 상기 지시 정보를 상기 사용자 단말로 전송하여 줌으로써 상기 사용자 단말로 하여금 상기 지시 정보에 대응되는 마크업을 렌더링하도록 하고, 상기 마크업을 상기 실사영상 이미지의 상기 특정 영역에 디스플레이하도록 지원하는 단계;
    를 더 포함하는 것을 특징으로 하는 방법.
  6. 머신러닝에 기반하여 건축물의 공간 상태 정보를 판별하는 공간 상태 정보 판별 서버에 있어서,
    인스트럭션들을 저장하는 적어도 하나의 메모리; 및
    상기 인스트럭션들을 실행하기 위해 구성된 적어도 하나의 프로세서를 포함하되,
    상기 프로세서는, (1) 사용자 단말로부터 건축물의 공간을 나타내는 실사영상 이미지가 획득되면, 상기 실사영상 이미지를 피처 추출 블록에 입력시킴으로써 상기 피처 추출 블록으로 하여금 상기 실사영상 이미지를 분석하여 상기 실사영상 이미지 상의 피처를 추출하여 피처 벡터를 출력하도록 하는 프로세스; 및 (2) 상기 피처 벡터를 공간 상태 분류 블록으로 입력하여 상기 공간 상태 분류 블록으로 하여금 상기 피처 벡터를 신경망 연산하도록 하여 상기 실사영상 이미지 상에서의 상기 건축물의 공간 상태 정보를 출력하도록 하며, 상기 공간 상태 정보를 상기 사용자 단말로 전송하여 줌으로써 상기 사용자 단말로 하여금 상기 공간 상태 정보를 디스플레이하도록 지원하는 프로세스를 수행하는 상기 인스트럭션들을 실행하되,
    상기 피처 추출 블록은 컨볼루션 레이어(convolution layer), RPN(Region Proposal Network), 풀링 레이어(pooling layer)를 포함하고,
    상기 공간 상태 분류 블록은 FC 레이어(Fully Connected layer)를 포함하며,
    상기 프로세서는, (I) 상기 (2) 프로세스에서, 상기 피처 벡터를 상기 FC 레이어로 입력하여 상기 FC 레이어로 하여금 상기 피처 벡터를 신경망 연산하도록 함으로써, 기설정된 공종 클래스들 중 상기 실사영상 이미지 상에서의 상기 건축물의 상기 공간에 대응되는 특정 공종 클래스를 판별하도록 한 후, 상기 특정 공종 클래스에 대응되는 상기 공간 상태 정보를 출력하도록 하는 서브 프로세스, (II) 상기 (1) 프로세스에서, 상기 실사영상 이미지를 상기 컨볼루션 레이어에 입력시킴으로써 상기 컨볼루션 레이어로 하여금 상기 실사영상 이미지를 적어도 한 번 컨볼루션 연산하도록 하여 상기 실사영상 이미지에 대응되는 공간 피처 맵(feature map)을 출력하도록 하며, 상기 공간 피처 맵을 상기 RPN으로 입력하여 상기 RPN으로 하여금 상기 공간 피처 맵 상에서 작업자가 있는 영역에 대응되는 프로포잘 박스(proposal box)들을 출력하도록 하며, 상기 풀링 레이어로 하여금 상기 프로포잘 박스들에 각각 대응되는 상기 공간 피처 맵 상의 영역들을 풀링하여 풀링된 피처 맵들에 대응되는 상기 피처 벡터를 출력하도록 하고, 상기 (2) 프로세스에서, 상기 피처 벡터를 상기 FC 레이어로 입력하여 상기 FC 레이어로 하여금 상기 작업자가 착용한 안전 장비를 확인하도록 하여 상기 작업자가 안전 상태에 있는지 여부를 판단하도록 한 후 상기 안전 상태에 대응되는 상기 공간 상태 정보를 출력하도록 하는 서브 프로세스, 및 (III) 상기 (1) 프로세스에서, 상기 실사영상 이미지를 상기 컨볼루션 레이어에 입력시킴으로써 상기 컨볼루션 레이어로 하여금 상기 실사영상 이미지를 적어도 한 번 컨볼루션 연산하도록 하여 상기 실사영상 이미지에 대응되는 공간 피처 맵을 출력하도록 하며, 상기 공간 피처 맵을 상기 RPN으로 입력하여 상기 RPN으로 하여금 상기 공간 피처 맵 상에서 결함 또는 하자가 있는 것으로 판단되는 영역에 대응되는 프로포잘 박스들을 출력하도록 하며, 상기 풀링 레이어로 하여금 상기 프로포잘 박스들에 각각 대응되는 상기 공간 피처 맵 상의 영역들을 풀링하여 풀링된 피처 맵들에 대응되는 상기 피처 벡터를 출력하도록 하고, 상기 (2) 프로세스에서, 상기 피처 벡터를 상기 FC 레이어로 입력하여 상기 FC 레이어로 하여금 상기 공간에 상기 결함 또는 상기 하자가 실제로 존재하는지 여부를 판단하도록 하고, 상기 결함 또는 상기 하자가 실제로 존재하는 경우, 상기 결함 또는 상기 하자의 종류를 분류하도록 한 후 상기 상기 결함 또는 상기 하자의 종류에 대응되는 상기 공간 상태 정보를 출력하도록 하는 서브 프로세스 중 적어도 일부를 수행하는 것을 특징으로 하는 공간 상태 정보 판별 서버.
  7. 제6항에 있어서,
    상기 컨볼루션 레이어 및 상기 FC 레이어는 학습 데이터가 이용되어 각각 임의의 공간 피처 맵과 임의의 공간 상태 정보를 출력하도록 학습된 상태이며,
    학습용 영상 이미지 - 상기 학습용 영상 이미지는 임의의 공간을 촬영한 영상 이미지임 - 가 획득되면, 학습 장치에 의해, (i) 상기 학습용 영상 이미지가 상기 컨볼루션 레이어로 입력됨으로써 상기 컨볼루션 레이어로 하여금 상기 학습용 영상 이미지가 적어도 한 번 컨볼루션 연산되도록 하여 상기 학습용 영상 이미지에 대응되는 학습용 공간 피처 맵이 출력되도록 하고, (ii) 상기 학습용 공간 피처 맵이 상기 RPN으로 입력되어 상기 RPN으로 하여금 상기 학습용 공간 피처 맵 상에서 학습용 작업자가 있는 영역에 대응되는 학습용 프로포잘 박스들이 출력되도록 하며, 상기 풀링 레이어로 하여금 상기 학습용 프로포잘 박스들에 각각 대응되는 상기 학습용 공간 피처 맵 상의 영역들이 풀링되어 학습용 풀링된 피처 맵들이 출력되도록 하고, 상기 학습용 풀링된 피처 맵들이 학습용 피처 벡터로 변환된 후, 상기 학습용 피처 벡터가 상기 FC 레이어로 입력되어 상기 FC 레이어로 하여금 상기 학습용 작업자가 착용한 안전 장비가 확인되도록 하여 상기 학습용 작업자가 안전 상태에 있는지 여부가 판단되도록 한 후 상기 안전 상태에 대응되는 학습용 공간 상태 정보가 출력되도록 하고, (iii) 로스(loss) 레이어로 하여금 상기 학습용 공간 상태 정보와 이에 대응되는 GT(Ground Truth)가 참조되도록 하여 로스가 생성되도록 하며, 상기 로스를 이용한 백프로퍼게이션(back propagation) 프로세스에 의해 상기 FC 레이어 및 상기 컨볼루션 레이어의 파라미터들 중 적어도 하나의 파라미터가 학습된 상태인 것을 특징으로 하는 공간 상태 정보 판별 서버.
  8. 제6항에 있어서,
    상기 건축물의 동, 호, 층 및 실 중 적어도 하나에 의하여 특정되는 상기 건축물 내 개별 공간들에 관한 정보인 공간 정보들이 획득된 상태에서,
    상기 프로세서는,
    상기 (2) 프로세스에서,
    상기 사용자 단말이 위치하고 있는 위치 정보를 참조하여 상기 공간 정보들 중, 상기 사용자 단말이 위치하는 특정 공간 정보를 확인하고, 상기 특정 공간 정보를 상기 사용자 단말로 전송하여, 상기 사용자 단말로 하여금 상기 공간 상태 정보 및 상기 특정 공간 정보를 디스플레이하도록 지원하는 것을 특징으로 하는 공간 상태 정보 판별 서버.
  9. 제6항에 있어서,
    상기 프로세서는,
    상기 (2) 프로세스에서,
    상기 공간 상태 정보를 타 사용자 단말에 전송하여 줌으로써 상기 타 사용자 단말로 하여금 상기 공간 상태 정보를 디스플레이하도록 지원하는 것을 특징으로 하는 공간 상태 정보 판별 서버.
  10. 제9항에 있어서,
    상기 프로세서는,
    상기 (2) 프로세스에서,
    상기 공간 상태 정보 및 상기 실사영상 이미지를 상기 타 사용자 단말로 전송하고,
    (3) 상기 타 사용자 단말로부터 상기 실사영상 이미지의 임의의 영역 중 특정 영역에 대한 지시 정보가 획득되면, 상기 공간 상태 정보 판별 서버가, 상기 지시 정보를 상기 사용자 단말로 전송하여 줌으로써 상기 사용자 단말로 하여금 상기 지시 정보에 대응되는 마크업을 렌더링하도록 하고, 상기 마크업을 상기 실사영상 이미지의 상기 특정 영역에 디스플레이하도록 지원하는 프로세스;
    를 더 포함하는 것을 특징으로 하는 공간 상태 정보 판별 서버.
KR1020210011083A 2020-02-12 2021-01-26 머신러닝에 기반하여 건축물의 공간 상태 정보를 판별하는 방법 및 이를 이용한 공간 상태 정보 판별 서버 KR102260056B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210011083A KR102260056B1 (ko) 2020-02-12 2021-01-26 머신러닝에 기반하여 건축물의 공간 상태 정보를 판별하는 방법 및 이를 이용한 공간 상태 정보 판별 서버

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200017273A KR102210614B1 (ko) 2020-02-12 2020-02-12 머신러닝에 기반하여 건축물의 공간 상태 정보를 판별하는 방법 및 이를 이용한 공간 상태 정보 판별 서버
KR1020210011083A KR102260056B1 (ko) 2020-02-12 2021-01-26 머신러닝에 기반하여 건축물의 공간 상태 정보를 판별하는 방법 및 이를 이용한 공간 상태 정보 판별 서버

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020200017273A Division KR102210614B1 (ko) 2020-02-12 2020-02-12 머신러닝에 기반하여 건축물의 공간 상태 정보를 판별하는 방법 및 이를 이용한 공간 상태 정보 판별 서버

Publications (1)

Publication Number Publication Date
KR102260056B1 true KR102260056B1 (ko) 2021-06-03

Family

ID=74572495

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020200017273A KR102210614B1 (ko) 2020-02-12 2020-02-12 머신러닝에 기반하여 건축물의 공간 상태 정보를 판별하는 방법 및 이를 이용한 공간 상태 정보 판별 서버
KR1020210011083A KR102260056B1 (ko) 2020-02-12 2021-01-26 머신러닝에 기반하여 건축물의 공간 상태 정보를 판별하는 방법 및 이를 이용한 공간 상태 정보 판별 서버

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020200017273A KR102210614B1 (ko) 2020-02-12 2020-02-12 머신러닝에 기반하여 건축물의 공간 상태 정보를 판별하는 방법 및 이를 이용한 공간 상태 정보 판별 서버

Country Status (1)

Country Link
KR (2) KR102210614B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220156432A (ko) 2021-05-18 2022-11-25 디엘이앤씨 주식회사 딥러닝을 활용한 사진 기반 건축공사 하자 검출 시스템

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102469530B1 (ko) * 2021-02-16 2022-11-21 충북대학교 산학협력단 딥러닝 기반 교량 구성요소 자동 분류 방법 및 시스템
KR102376290B1 (ko) 2021-05-24 2022-03-18 김재황 증강현실 기반 하자 관리 시스템

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070096409A (ko) * 2006-03-24 2007-10-02 주식회사 네이블텍 재해 방지 시스템 및 방법
KR101715001B1 (ko) * 2015-12-30 2017-03-23 연세대학교 산학협력단 웨어러블 기기를 이용한 건설현장의 안전평가 표시 시스템 및 그 방법
KR101829169B1 (ko) 2017-06-02 2018-02-19 신태용 건축 건설 현장관리 어플리케이션을 이용한 통합관리 서비스 시스템 및 제공방법, 이를 실행하기 위하여 매체에 저장된 건축 건설 현장관리 어플리케이션
KR101830121B1 (ko) * 2017-05-22 2018-03-30 주식회사 씨엠엑스건축사사무소 시공 상태 점검 및 관리 서비스 제공 방법, 이를 이용한 서비스 제공 서버 및 사용자 단말
KR20190048810A (ko) * 2017-10-31 2019-05-09 에스케이텔레콤 주식회사 증강현실용 컨텐츠 제공 장치 및 방법
KR102048377B1 (ko) * 2019-04-23 2019-11-25 고정석 스프레드 시트 타입의 공정 데이터를 이용하여 공정을 관리하는 방법, 이를 이용한 공정 관리 서버 및 특정 작업자 단말

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070096409A (ko) * 2006-03-24 2007-10-02 주식회사 네이블텍 재해 방지 시스템 및 방법
KR101715001B1 (ko) * 2015-12-30 2017-03-23 연세대학교 산학협력단 웨어러블 기기를 이용한 건설현장의 안전평가 표시 시스템 및 그 방법
KR101830121B1 (ko) * 2017-05-22 2018-03-30 주식회사 씨엠엑스건축사사무소 시공 상태 점검 및 관리 서비스 제공 방법, 이를 이용한 서비스 제공 서버 및 사용자 단말
KR101829169B1 (ko) 2017-06-02 2018-02-19 신태용 건축 건설 현장관리 어플리케이션을 이용한 통합관리 서비스 시스템 및 제공방법, 이를 실행하기 위하여 매체에 저장된 건축 건설 현장관리 어플리케이션
KR20190048810A (ko) * 2017-10-31 2019-05-09 에스케이텔레콤 주식회사 증강현실용 컨텐츠 제공 장치 및 방법
KR102048377B1 (ko) * 2019-04-23 2019-11-25 고정석 스프레드 시트 타입의 공정 데이터를 이용하여 공정을 관리하는 방법, 이를 이용한 공정 관리 서버 및 특정 작업자 단말

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220156432A (ko) 2021-05-18 2022-11-25 디엘이앤씨 주식회사 딥러닝을 활용한 사진 기반 건축공사 하자 검출 시스템

Also Published As

Publication number Publication date
KR102210614B1 (ko) 2021-02-03

Similar Documents

Publication Publication Date Title
KR102260056B1 (ko) 머신러닝에 기반하여 건축물의 공간 상태 정보를 판별하는 방법 및 이를 이용한 공간 상태 정보 판별 서버
US10901727B2 (en) Monitoring code sensitivity to cause software build breaks during software project development
CN105551549B (zh) 一种核电设备运行状况在线监测方法及系统
US10303824B2 (en) Apparatus and method for simulation of dismantling operation of nuclear facility
CN108628286A (zh) 机台维修系统与方法
EP3693312A1 (en) Elevator system component analysis
US20160291577A1 (en) Work support device and work support method
US10185612B2 (en) Analyzing the availability of a system
US10769855B2 (en) Personnel movement simulation and control
CN114997754B (zh) 基于云模型及熵权法的应急预案分析方法及装置
CN110697072A (zh) 航空设备维护系统
CN113256269A (zh) 一种基于bim、云计算及大数据技术的工程管理系统
CN112906441B (zh) 用于通信行业查勘维护的图像识别系统及方法
KR20200050573A (ko) 무인비행장치를 이용한 거대구조물 안전진단 방법, 이를 수행하기 위한 장치 및 기록매체
JP2002073876A (ja) 遊技店分析システム
CN113313304A (zh) 一种基于大数据决策树的电网事故异常分析方法及系统
KR20170123389A (ko) 원자력발전소의 인적오류확률 산출 시스템 및 그 방법
CN116167545A (zh) 一种bim智慧工地管理平台系统及方法
CN117094660A (zh) 一种基于数字孪生技术的施工监控方法及系统
JP2020177370A (ja) 混雑解析装置及び混雑解析方法
KR20200124400A (ko) 수행시간 기반의 원전 운전원 신뢰도 평가 장치 및 그 방법
CN110675604A (zh) 安全生产智能预警系统及方法
KR102635901B1 (ko) Ai 로봇을 이용한 건설 현장의 위험 객체 인식 시스템 및 그 방법
KR102538688B1 (ko) 리스크 평가 기반 사고 예측 안전관리 장치 및 방법
CN116385975B (zh) 一种基于目标检测的配电房安全监控系统及方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant