KR102260969B1 - 딥러닝 알고리즘을 이용한 건축 정보 모델의 객체 유형 정보 인식 장치 및 방법 - Google Patents

딥러닝 알고리즘을 이용한 건축 정보 모델의 객체 유형 정보 인식 장치 및 방법 Download PDF

Info

Publication number
KR102260969B1
KR102260969B1 KR1020190125987A KR20190125987A KR102260969B1 KR 102260969 B1 KR102260969 B1 KR 102260969B1 KR 1020190125987 A KR1020190125987 A KR 1020190125987A KR 20190125987 A KR20190125987 A KR 20190125987A KR 102260969 B1 KR102260969 B1 KR 102260969B1
Authority
KR
South Korea
Prior art keywords
object type
type information
information
image data
model
Prior art date
Application number
KR1020190125987A
Other languages
English (en)
Other versions
KR20210043160A (ko
Inventor
이진국
김진성
송재열
이상훈
김구택
강경준
김인한
최중식
Original Assignee
연세대학교 산학협력단
(주)코스펙이노랩
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단, (주)코스펙이노랩, 경희대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020190125987A priority Critical patent/KR102260969B1/ko
Publication of KR20210043160A publication Critical patent/KR20210043160A/ko
Application granted granted Critical
Publication of KR102260969B1 publication Critical patent/KR102260969B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • G06K9/00624—
    • G06K9/00208—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

본 발명에 따르면, 건축 정보 모델(BIM) 데이터 내에 객체 정보가 없이 형상정보만으로 저장되어있는 미인식 건축객체를 찾아 해당 객체의 올바른 건축객체 유형 정보를 자동으로 인식하는 딥러닝 알고리즘을 이용한 건축 정보 모델의 객체 유형 정보 인식 장치 및 방법이 개시된다.

Description

딥러닝 알고리즘을 이용한 건축 정보 모델의 객체 유형 정보 인식 장치 및 방법 {Apparatus and Method for Recognizing Object Type Information of Building Information Model using Deep Learning Algorithm}
본 발명은 객체 유형 정보 인식 장치 및 방법에 관한 것으로, 특히 딥러닝 알고리즘을 이용한 건축 정보 모델의 객체 유형 정보 인식 장치 및 방법에 관한 것이다.
건물 정보 모델링 (BIM: Building Information Modeling) 기술은 건축물의 전생애주기에 걸쳐 다양한 건물정보를 생성하고 활용하여 설계, 엔지니어링, 시공, 유지관리 등 건설산업 전반에서의 효율성을 향상시키고 있는 기술이다. 이러한 BIM은 건물과 그 구성요소에 대한 3차원 시각정보뿐만 아니라 다양한 속성 정보를 포함할 수 있으며, 이러한 건물 정보는 컴퓨터 환경에서 해석되어 다양한 응용이 가능하다. 대표적인 응용 기술로는 건축물 설계품질 자동 검토, 물량 산출, 시공성 검토, 건물 에너지 시뮬레이션 등이 있다.
전술한 BIM응용 기술 중에서 BIM기반의 건축물 설계품질 자동 검토 기술은 건축설계 안에 대한 인허가 법규, 디자인 가이드 등 설계요구사항을 정량적이고 자동화된 방식으로 검토하는 기술이다. 이를 통해 기존의 건축가 및 건축법규관련 전문가들에 의해 수작업으로 진행되어 많은 시간과 인력이 소요되던 설계품질검토 업무를 보완하여 보다 효율적이고 신속하며 정확한 수행을 가능하게 한다.
그러나 실제 BIM 설계 안을 대상으로 하는 실질적인 과정에서 정확한 검토 실행이 이루어지지 않는 문제가 발생하는 경우가 많다. 이러한 문제의 원인 중 하나로 BIM 모델이 검토에 요구되는 데이터를 가지고 있지 않거나 제대로 정의되어있지 않는 BIM 데이터의 품질 문제가 있다.
본 발명은 딥러닝 알고리즘을 이용한 건축 정보 모델의 객체 유형 정보 인식 장치 및 방법으로 BIM 데이터 내에 객체 정보가 없이 형상정보만으로 저장되어있는 미인식(未認識) 건축객체를 찾아 해당 객체의 올바른 건축객체 유형 정보를 자동으로 인식하는데 그 목적이 있다.
또한, 건축 객체 유형 추론 모델을 이용하여 실제 IFC내 존재하는 미인식 객체의 유형정보를 검토하고 보완 하는데 또 다른 목적이 있다.
본 발명의 명시되지 않은 또 다른 목적들은 하기의 상세한 설명 및 그 효과로부터 용이하게 추론할 수 있는 범위 내에서 추가적으로 고려될 수 있다.
상기 과제를 해결하기 위해, 본 발명의 일 실시예에 따른 객체 유형 정보 인식 장치는, 하나 이상의 인스트럭션을 저장하는 메모리, 상기 메모리에 저장된 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고, 상기 프로세서는, 미리 정해진 규칙에 따라 건물의 형상을 나타내는 건축 정보 모델에 포함된 다수의 구조물들 별로 객체 유형 정보를 판단하는 객체 유형 정보 판단부 및 상기 다수의 구조물들 중 상기 객체 유형 정보를 판단하지 못한 미인식 구조물에 대하여 기 마련된 객체 유형 추론 모델을 이용하여, 상기 미인식 구조물의 객체 유형 정보를 추론하는 객체 유형 추론부를 포함한다.
여기서, 상기 객체 유형 정보 판단부는, 기 저장된 구조물 각각에 대한 렌더링 객체들을 저장한 데이터베이스에, 상기 객체 유형 추론 모델을 이용하여 상기 건축 정보 모델에 포함된 객체 유형 정보를 인식하고자 하는 하나의 대상 구조물에 매칭되는 렌더링 객체가 있는지 여부를 판단하고, 매칭되는 렌더링 객체가 없는 경우 상기 대상 구조물을 미인식 구조물로 인식한다.
여기서, 상기 객체 유형 정보는, 상기 구조물에 대한 객체명, 객체 종류, 객체 분류 코드, 객체 제원 및 객체 설치 정보로 이루어진 군으로부터 선택되는 하나 이상을 포함한다.
여기서, 상기 프로세서는, 상기 건축 정보 모델을 기반으로 상기 건축 정보 모델에 포함된 구조물로서 객체 유형 정보를 인식하고자 하는 구조물을 선택하는 구조물 분류부 및 상기 선택된 하나의 구조물에 대해 시점을 변화하며 시점별로 렌더링 이미지 데이터를 생성하는 이미지 데이터 생성부를 더 포함한다.
여기서, 상기 객체 유형 정보 판단부는, 생성된 상기 렌더링 이미지 데이터를 객체 이미지 데이터베이스에 저장된 객체 이미지 리스트와 비교하여, 상기 객체 이미지 리스트에서 상기 렌더링 이미지 데이터와 일치하는 객체를 검색하는 객체 검색부 및 상기 객체 이미지 데이터 베이스에 저장된 상기 렌더링 이미지 데이터와 일치하는 객체의 객체 유형 정보를 확인하는 객체 유형 정보 확인부를 포함한다.
여기서, 상기 객체 유형 정보 추론부는, 상기 다수의 구조물들 중 상기 객체 유형 정보를 판단하지 못한 미인식 구조물에 대한 렌더링 이미지 데이터를 입력 받는 이미지 데이터 입력부, 상기 객체 유형 추론 모델을 이용하여 상기 미인식 구조물에 대한 렌더링 이미지 데이터에 포함된 상기 미인식 구조물의 객체 종류를 인식하는 객체 종류 인식부 및 인식한 상기 객체 종류에 따른 객체 유형 정보를 분석하여 추론하는 객체 유형 정보 추론부를 포함한다.
여기서, 상기 프로세서는, 상기 객체 이미지 데이터베이스에 상기 미인식 구조물의 렌더링 이미지 데이터와 상기 객체 유형 정보를 함께 저장하는 업데이트부를 더 포함한다.
여기서, 상기 객체 유형 추론 모델은, 복수의 레이어로 구성되되, 상기 복수의 레이어 각각의 파라미터는, 객체 종류 인식에 이용되는 적어도 하나의 렌더링 이미지 데이터의 선택 및 상기 선택된 적어도 하나의 렌더링 이미지 데이터의 조합을 위한 기준을 학습한 결과에 기초하여 결정된다.
본 발명의 일 실시예에 따른 객체 유형 정보 인식 방법은, 프로세서가, 미리 정해진 규칙에 따라 건물의 형상을 나타내는 건축 정보 모델에 포함된 다수의 구조물들 별로 객체 유형 정보를 판단하는 단계 및 상기 다수의 구조물들 중 상기 객체 유형 정보를 판단하지 못한 미인식 구조물에 대하여 기 마련된 객체 유형 추론 모델을 이용하여, 상기 미인식 구조물의 객체 유형 정보를 추론하는 단계를 포함한다.
여기서, 상기 프로세서가 기 마련된 객체 유형 추론 모델을 이용하여 상기 다수의 구조물들에 대한 상기 객체 유형 정보를 인식하는 것은, 상기 프로세서가 기 저장된 구조물 각각에 대한 렌더링 객체들을 저장한 데이터베이스에, 상기 객체 유형 추론 모델을 이용하여 상기 건축 정보 모델에 포함된 객체 유형 정보를 인식하고자 하는 하나의 대상 구조물에 매칭되는 렌더링 객체가 있는지 여부를 판단하고, 매칭되는 렌더링 객체가 없는 경우 상기 대상 구조물을 미인식 구조물로 인식한다.
여기서, 상기 객체 유형 정보는, 상기 구조물에 대한 객체명, 객체 종류, 객체 분류 코드, 객체 제원 및 객체 설치 정보로 이루어진 군으로부터 선택되는 하나 이상을 포함한다.
여기서, 상기 건축 정보 모델에 포함된 구조물의 객체 유형 정보를 판단하는 것에 앞서, 상기 건축 정보 모델을 기반으로 상기 건축 정보 모델에 포함된 구조물로서 객체 유형 정보를 인식하고자 하는 구조물을 선택하는 단계 및 상기 선택된 하나의 구조물에 대해 시점을 변화하며 시점별로 렌더링 이미지 데이터를 생성하는 단계를 더 포함하며, 상기 프로세서는 상기 렌더링 이미지 데이터를 이용하여 상기 구조물의 객체 유형 정보를 판단한다.
여기서, 상기 건축 정보 모델에 포함된 다수의 구조물들 별로 객체 유형 정보를 판단하는 단계는, 생성된 상기 렌더링 이미지 데이터를 객체 이미지 데이터베이스에 저장된 객체 이미지 리스트와 비교하여, 상기 객체 이미지 리스트에서 상기 렌더링 이미지 데이터와 일치하는 객체를 검색하는 단계 및 상기 객체 이미지 데이터 베이스에 저장된 상기 렌더링 이미지 데이터와 일치하는 객체의 객체 유형 정보를 확인하는 단계를 포함한다.
여기서, 상기 미인식 구조물의 객체 유형 정보를 추론하는 단계는, 상기 다수의 구조물들 중 상기 객체 유형 정보를 판단하지 못한 미인식 구조물에 대한 렌더링 이미지 데이터를 입력 받는 단계, 상기 객체 유형 추론 모델을 이용하여 상기 미인식 구조물에 대한 렌더링 이미지 데이터에 포함된 상기 미인식 구조물의 객체 종류를 인식하는 단계 및 인식한 상기 객체 종류에 따른 객체 유형 정보를 추론하는 단계를 포함한다.
여기서, 상기 미인식 구조물의 객체 유형 정보를 추론하는 단계 이후, 상기 객체 이미지 데이터베이스에 상기 미인식 구조물의 렌더링 이미지 데이터와 상기 객체 유형 정보를 함께 저장하는 단계를 더 포함한다.
여기서, 상기 객체 유형 추론 모델은, 복수의 레이어로 구성되되, 상기 복수의 레이어 각각의 파라미터는, 객체 종류 인식에 이용되는 적어도 하나의 렌더링 이미지 데이터의 선택 및 상기 선택된 적어도 하나의 렌더링 이미지 데이터의 조합을 위한 기준을 학습한 결과에 기초하여 결정된다.
본 실시예의 다른 측면에 의하면, 객체 유형 정보 인식 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
이상에서 설명한 바와 같이 본 발명의 실시예들에 의하면, BIM 데이터 내에 객체 정보가 없이 형상정보만으로 저장되어있는 미인식 (未認識) 건축객체를 찾아 해당 객체의 올바른 건축객체 유형 정보를 자동으로 인식할 수 있다.
또한, 건축 객체 유형 추론 모델을 이용하여 실제 IFC내 존재하는 미인식 객체의 유형정보를 검토하고 보완할 수 있다.
여기에서 명시적으로 언급되지 않은 효과라 하더라도, 본 발명의 기술적 특징에 의해 기대되는 이하의 명세서에서 기재된 효과 및 그 잠정적인 효과는 본 발명의 명세서에 기재된 것과 같이 취급된다.
도 1은 본 발명의 일 실시예에 따른 객체 유형 정보 인식 장치의 블록도이다.
도 2는 본 발명의 일 실시예에 따른 객체 유형 정보 인식 장치의 프로세서를 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 객체 유형 정보 인식 장치의 객체 유형 정보 인식부의 블록도이다.
도 4는 본 발명의 일 실시예에 따른 객체 유형 정보 인식 장치의 딥러닝 학습부의 블록도이다.
도 5는 본 발명의 일 실시예에 따른 객체 유형 정보 인식 장치의 객체 유형 정보 판단부의 블록도이다.
도 6은 본 발명의 일 실시예에 따른 객체 유형 정보 인식 장치의 객체 유형 정보 추론부의 블록도이다.
도 7 내지 도 9는 본 발명의 일 실시예에 따른 딥러닝 알고리즘을 이용한 건축 정보 모델의 객체 유형 정보 인식 방법을 나타낸 흐름도이다.
도 10은 본 발명의 일 실시예에 따른 객체 유형 정보 인식 장치 및 방법에 사용되는 건축 정보 모델을 예로 들어 도시한 것이다.
도 11은 본 발명의 일 실시예에 따른 객체 유형 정보 인식 장치 및 방법에 사용되는 다수의 구조물들을 예로 들어 도시한 것이다.
도 12는 본 발명의 일 실시예에 따른 객체 유형 정보 인식 장치 및 방법에 사용되는 렌더링 이미지 데이터들을 예로 들어 도시한 것이다.
도 13은 본 발명의 일 실시예에 따른 객체 유형 정보 인식 장치 및 방법에 사용되는 객체 이미지 데이터베이스를 예로 들어 도시한 것이다.
도 14는 본 발명의 일 실시예에 따른 객체 유형 정보 인식 장치 및 방법에서 객체 유형 추론 모델을 이용하여, 미인식 구조물의 객체 유형 정보를 추론하는 방법을 설명하기 위한 도면이다.
도 15는 본 발명의 일 실시예에 따른 객체 유형 정보 인식 장치 및 방법에서 객체 유형 정보를 판단한 경우를 예로 들어 도시한 것이다.
도 16은 본 발명의 일 실시예에 따른 객체 유형 정보 인식 장치 및 방법에서 객체 유형 정보를 미인식한 경우를 예로 들어 도시한 것이다.
도 17은 본 발명의 일 실시예에 따른 객체 유형 정보 인식 장치 및 방법에서 객체 유형 정보를 최종 인식한 경우를 예로 들어 도시한 것이다.
이하, 본 발명에 관련된 딥러닝 알고리즘을 이용한 건축 정보 모델의 객체 유형 정보 인식 장치 및 방법에 대하여 도면을 참조하여 보다 상세하게 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다.
이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
본 발명은 딥러닝 알고리즘을 이용한 건축 정보 모델의 객체 유형 정보 인식 장치 및 방법에 관한 것이다.
도 1은 본 발명의 일 실시예에 따른 객체 유형 정보 인식 장치의 블록도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 객체 유형 정보 인식 장치(1)는 프로세서(10), 메모리(20), 입력부(30), 출력부(40)를 포함한다.
본 발명의 일 실시예에 따른 객체 유형 정보 인식 장치(1)는 IFC기반의 건축물의 설계품질검토 자동화의 핵심 요소 장치 중 하나로서 IFC 포맷의 BIM 객체의 속성 정보를 인식할 수 있는 장치이다.
객체 유형 정보 인식 장치(1)는 딥러닝 기반의 이미지 인식 기술과 IFC 3차원 렌더링 이미지 생성 기술을 활용하여 건축 객체의 유형 정보를 자동으로 인식할 수 있으며, 이를 통하여 유형 정보가 입력되지 않은 미인식 객체의 유형 정보를 보완할 수 있다. 또한, IFC기반의 설계품질검토 자동화 소프트웨어와 연동가능하며, 설계품질검토 실행 전 BIM 데이터 품질 향상을 통해 검토의 정확도와 신뢰도 향상에 기여할 수 있다.
메모리(20)는 프로세서(10)의 처리 및 제어를 위한 프로그램들(하나 이상의 인스트럭션들)을 저장할 수 있다.
메모리(20)에 저장된 프로그램들은 기능에 따라 복수 개의 모듈들로 구분될 수 있으며, 후술할 객체 유형 정보 인식부가 소프트웨어 모듈로 구성될 수 있다.
프로세서(10)는 메모리(20)에 저장된 하나 이상의 인스트럭션을 실행하며, 구체적으로, 3차원의 건축 정보 모델을 획득하고, 상기 건축 정보 모델에 포함된 다수의 구조물들 별로 객체 유형 정보를 판단하며, 상기 다수의 구조물들 중 상기 객체 유형 정보를 판단하지 못한 미인식 구조물에 대하여 기 마련된 객체 유형 추론 모델을 이용하여, 상기 미인식 구조물의 객체 유형 정보를 추론한다.
여기서, 객체 유형 정보는, 객체명, 객체 종류, 객체 분류 코드, 객체 제원 및 객체 설치 정보를 포함하는 정보이다.
본 발명의 일 실시예에 따른 객체 유형 정보 인식 장치(1)는 BIM 데이터 내에 객체 정보가 없이 형상정보만으로 저장되어있는 미인식(未認識) 건축객체를 찾아 해당 객체의 올바른 건축객체 유형 정보를 자동으로 인식할 수 있으며, 이를 수행하는 소프트웨어 장치로 구현된다.
수년간의 관련 연구의 결과 통해 설계품질검토 소프트웨어(Rule-checking software)들이 개발되어 활용될 수 있게 되었으나, 실제 BIM 설계 안을 대상으로 하는 실질적인 과정에서 정확한 검토 실행이 이루어지지 않는 문제가 발생하는 경우가 많다. 이러한 문제의 원인 중 하나로 BIM 모델이 검토에 요구되는 데이터를 가지고 있지 않거나 제대로 정의되어있지 않는 BIM 데이터의 품질 문제가 있으며, 이러한 품질 문제는 1)데이터의 구조적 정확성 문제 (Syntax problem) 2)BIM 데이터의 타당성 문제 (Semantic problem) 3)요구 데이터의 포함 여부 문제로 구분될 수 있다.
이러한 문제는 일반적으로 BIM기반 설계과정에서 설계사의 실수나 누락으로 발생할 수 있지만, BIM 데이터를 표준 포맷으로 변환하는 과정에서 발생할 수도 있다. BIM 소프트웨어는 각 개발 및 관리의 주체가 상이하여 서로 다른 데이터 포맷을 가지고 있어 BIM 데이터 교환 표준 포맷으로 IFC(Industry Foundation Classes, ISO 16739)가 변환하는 과정이 필요한데, 이러한 과정에서 기술적 오류가 발생할 수 있다.
종래의 기술은 2) BIM데이터의 타당성 문제에 적용하는데 있어서 한계가 존재한다. 특히, IFC의 변환 과정에서 흔히 발생하는 문제 중 객체에 대한 정보 없이 형상정보(3차원 지오메트리 데이터)만으로 저장되어있는 미인식 건축객체에 대한 타당한 객체 유형 정보에 검토와 보완은 기존의 접근으로 해결하기 어려운 중요한 해결과제로 남아있다. 이러한 과정은 건축물에 정보의 타당성 검증은 건축적인 지식이 필요한 작업으로서, 설계사에게 추가적인 업무 부담을 주는 또 다른 문제를 야기하고 있다. 따라서 BIM 데이터의 오류 여부나 정보의 유무만을 검토하는 기존의 소극적 방법을 넘어서, 필요한 정보를 추론하고 보완할 수 있는 적극적 검토 방법이 필요하다고 볼 수 있다.
본 발명의 일 실시예에 따른 객체 유형 정보 인식 장치(1)는 IFC 데이터 내 존재하는 형상 정보만을 가진 객체의 올바른 유형정보를 추론하고 보완할 수 있으며, 딥러닝 방식의 알고리즘을 적용하여 향후 학습 데이터의 확장을 통해 보다 쉽게 인식 가능한 대상을 확장할 수 있다. 또한, 객체 2D 렌더링 기능이 탑재된 BIM 소프트웨어에 연계 될 수 있도록 개별 장치로 고안된다.
또한, 입력부(30)는 사용자가 객체 유형 정보 인식 장치를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 입력부(30)는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다.
출력부(40)는 객체 인식에 관한 정보를 표시할 수 있다. 예를 들어, 출력부(40)는 프로세서(10)로부터 획득된 객체 유형 정보 인식 결과를 표시할 수 있다.
도 2는 본 발명의 일 실시예에 따른 객체 유형 정보 인식 장치의 프로세서를 설명하기 위한 도면이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 객체 유형 정보 인식 장치(1)의 프로세서(10)는 객체 유형 정보 인식부(11), 딥러닝 학습부(12)를 포함한다.
객체 유형 정보 인식부(11)는 객체 유형 정보 인식을 실행하며, 딥러닝 학습부(12)는 객체 유형 추론 모델을 학습시킨다.
본 발명의 일 실시예에 따른 객체 유형 정보 인식 장치(1)는 기 마련된 객체 유형 추론 모델을 이용하는 것으로써 객체 유형 정보 인식부(11)만으로 구성되고, 딥러닝 학습부(12)는 별도로 구성되는 것도 가능하다.
객체 유형 정보 인식부(11)는 IFC포맷 기반의 BIM 데이터 내 유형정보를 가지고 있지 못한 미인식 객체의 유형정보를 자동으로 추론하며, CNN기반의 딥러닝 알고리즘을 활용하여 BIM 데이터를 인식하고 보완한다.
또한, 딥러닝 학습부(12)는 IFC포맷 기반의 BIM 건축 객체의 2D 이미지를 생성하여, 데이터베이스화 하고 이를 CNN기반의 딥러닝 형 이미지 분류 학습 알고리즘에 적용할 수 있다.
딥러닝 학습부(12)는 IFC포맷의 BIM 객체 2D 이미지 생성 모듈을 통해 구축된 객체 이미지 DB와 CNN기반 객체 이미지 분류모델 학습모듈을 포함한다.
객체 유형 정보 인식부(11)는 IFC포맷의 BIM 데이터 내 존재하는 미인식, 오인식된 객체를 검색하는 모듈, 객체 이미지 분류모델 학습 모듈의 결과를 활용하여 IFC 객체의 유형정보를 추론하는 모듈, 추론된 값을 바탕으로 IFC 객체의 정보를 검토하고 보완하는 모듈을 포함한다.
도 3은 본 발명의 일 실시예에 따른 객체 유형 정보 인식 장치의 객체 유형 정보 인식부의 블록도이다.
본 발명의 일 실시예에 따른 객체 유형 정보 인식 장치의 객체 유형 정보 인식부는 다양한 BIM 저작도구에서 생성된 IFC포맷의 BIM 데이터에 존재하는 미인식 객체를 찾아내고, CNN기반의 딥러닝 이미지 인식 알고리즘 적용된 학습의 결과물을 활용하여, BIM 객체 유형정보추론모듈을 통해 올바른 객체유형정보를 추론하고 보완한다.
BIM 저작도구에서 생성된 IFC포맷의 BIM 데이터에는 유형 정보 등이 올바르게 입력되어있지 않은 미인식 객체를 포함하는 경우가 많다. 이러한 미인식 객체의 존재로 인하여 실제 IFC 기반 건축물의 설계품질 자동검토 등의 응용 소프트웨어의 실행 시 검토 절차가 수행되지 못하거나, 실행 결과에 대한 신뢰도 하락에 영향을 미친다. 이러한 과제를 해결하기 위하여 기존에는 건축가, BIM 모델 전문가 등이 수작업으로 검토를 진행하였으나, 해당 과정에서 인력, 시간 등의 적지 않은 비용이 소요되었다. 본 발명의 일 실시예에 따른 객체 유형 정보 인식 장치의 객체 유형 정보 인식부는 BIM 데이터 검토의 효율화 및 자동화를 구현할 수 있다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 객체 유형 정보 인식 장치(1)의 객체 유형 정보 인식부(11)는 건축 정보 모델 획득부(100), 구조물 분류부(200), 이미지 데이터 생성부(300), 객체 유형 정보 판단부(500), 객체 유형 정보 추론부(600), 업데이트부(700)를 포함한다.
하나 이상의 인스트럭션을 실행함으로써, 건축 정보 모델 획득부(100)는 3차원의 건축 정보 모델을 획득한다.
구조물 분류부(200)는 획득한 상기 3차원의 건축 정보 모델을 기반으로 상기 건축 정보 모델에 포함된 다수의 구조물들을 하나의 구조물로 각각 분류한다.
이미지 데이터 생성부(300)는 분류된 상기 하나의 구조물에 대해 시점을 변화하며 각도별로 렌더링 이미지 데이터를 생성한다.
IFC포맷의 이미지 데이터 생성부(300)는 IFC포맷 기반의 BIM 객체에 대한 3차원 렌더링이 가능한 소프트웨어 상에서 선택된 혹은 모든 객체에 대한 각각의 이미지를 생성 할 수 있으며, 이미지에는 해당되는 단일 객체만이 표현될 수 있다. 이때, 이미지 파일의 포맷은 JPG 혹은 PNG 일 수 있다.
생성된 JPG 혹은 PNG 포맷의 이미지 파일은 객체의 유형에 따라 분류되어 객체 이미지 DB에 저장, 관리된다.
이때, 객체 유형의 예시로는 건축물 기본 객체인 기둥(column), 계단(stairt), 바닥(slab), 벽(wall), 창문(window), 문(door) 등, 주거건물 거실 공간의 대표 객체인 거실장(tv stand), 소파(sofa), 탁자(table) 등, 욕실 공간의 대표 객체인 대변기(toilet), 소변기(urinal), 세면대(water stand), 욕조(Bath tub), 부엌 공간의 대표 객체인 싱크대(sink), 조리대(worktop), 찬장(kitchen cabinet) 등, 침실 공간의 대표 객체인 침대(bed), 옷장(Closet), 책장(Bookcase), 책상(desk), 의자(chair) 등이 있을 수 있다.
객체 유형 정보 판단부(500)는 건축 정보 모델에 포함된 다수의 구조물들 별로 객체 유형 정보를 판단한다.
구체적으로, 기 저장된 구조물 각각에 대한 렌더링 객체들을 저장한 데이터베이스에, 상기 객체 유형 추론 모델을 이용하여 상기 건축 정보 모델에 포함된 객체 유형 정보를 인식하고자 하는 하나의 대상 구조물에 매칭되는 렌더링 객체가 있는지 여부를 판단하고, 매칭되는 렌더링 객체가 없는 경우 상기 대상 구조물을 미인식 구조물로 인식한다.
객체 유형 정보 추론부(600)는 상기 다수의 구조물들 중 상기 객체 유형 정보를 판단하지 못한 미인식 구조물에 대하여 기 마련된 객체 유형 추론 모델을 이용하여, 상기 미인식 구조물의 객체 유형 정보를 추론한다.
여기서, 객체 유형 추론 모델은, 복수의 레이어로 구성되되, 상기 복수의 레이어 각각의 파라미터는, 객체 종류 인식에 이용되는 적어도 하나의 렌더링 이미지 데이터의 선택 및 상기 선택된 적어도 하나의 렌더링 이미지 데이터의 조합을 위한 기준을 학습한 결과에 기초하여 결정된다.
업데이트부(700)는 상기 미인식 구조물의 객체 유형 정보를 추론하는 단계 이후, 상기 객체 이미지 데이터베이스에 상기 미인식 구조물의 렌더링 이미지 데이터와 상기 객체 유형 정보를 함께 저장한다.
도 4는 본 발명의 일 실시예에 따른 객체 유형 정보 인식 장치의 딥러닝 학습부의 블록도이다.
도 4를 참조하면, 본 발명의 일 실시예에 따른 객체 유형 정보 인식 장치(1)의 딥러닝 학습부(12)는 트레이닝 데이터 입력부(410), 전처리부(420), 학습 데이터 선택부(430), 모델 학습부(440), 모델 평가부(450)를 포함한다.
딥러닝 학습부(12)는 렌더링 이미지 데이터를 트레이닝 이미지 데이터로 제공 받아, 합성곱 신경망(Convolutional Neural Network, CNN)을 기반으로 상기 렌더링 이미지 데이터에서 미리 정의된 객체 종류들에 대한 프레임들을 추출하고, 상기 추출된 프레임들에 대한 객체 유형 특징을 학습하여 객체 유형 추론 모델을 생성한다.
트레이닝 데이터 입력부(410)는 렌더링 이미지 데이터를 트레이닝 이미지 데이터로 제공받는다.
예를 들어, 트레이닝 데이터 입력부(410)는 객체의 이미지 데이터, 객체의 움직임 및 위치 등에 관한 각도별로 다양하게 마련되는 렌더링 이미지 데이터를 트레이닝 이미지 데이터로 획득할 수 있다.
전처리부(420)는 이미지 특성 정보 추출 또는 객체 인식을 위한 학습에 제공된 렌더링 이미지 데이터가 이용될 수 있도록 전처리 할 수 있다. 전처리부(420)는 후술할 모델 학습부(440)가 학습을 위하여 획득된 적어도 하나의 렌더링 이미지 데이터를 이용할 수 있도록 기 설정된 포맷으로 가공할 수 있다.
학습 데이터 선택부(430)는 전처리된 데이터 중에서 학습에 필요한 렌더링 이미지 데이터를 선택할 수 있다. 선택된 렌더링 이미지 데이터는 모델 학습부(440)에 제공될 수 있다.
모델 학습부(440)는 객체 유형 추론 모델 내의 복수의 레이어에서 이미지 데이터 및 변환된 2차원의 렌더링 이미지 데이터로부터 어떠한 정보를 이용하여 객체를 인식하는지에 대한 기준을 학습할 수 있다. 예를 들어, 모델 학습부 (440)는 객체의 인식을 위하여 객체 유형 추론 모델에 포함된 복수의 레이어 중 어떤 레이어에 변환된 센서 데이터를 적용해야 하는지에 대한 제1 기준을 학습할 수도 있다. 여기에서, 제1 기준은, 객체 유형 정보 인식 장치가 객체 유형 추론 모델을 이용하여, 객체를 인식하는데 이용되는 이미지 데이터 또는 변환된 2차원의 데이터의 종류 및 개수, 결합 연산의 종류 및 수준 등을 포함할 수 있다.
또한, 모델 학습부(440)는, 예를 들어, 학습에 따라 인식된 객체가 올바른 지에 대한 피드백을 이용하는 강화 학습(reinforcement learning)을 통하여, 데이터 인식을 위한 객체 유형 추론 모델을 학습시킬 수 있다.
또한, 객체 유형 추론 모델의 학습이 완료되면, 모델 학습부(440)는 객체 유형 추론 모델을 저장할 수 있다. 이 경우, 모델 학습부(440)는 객체 유형 추론 모델을 객체 유형 정보 인식 장치의 메모리에 저장할 수 있다. 이에 따라, 객체 유형 정보 추론부(600)는 객체 유형 추론 모델을 이용하여 객체 유형 정보 추론 과정을 수행할 수 있다. 또한, 객체 유형 추론 모델을 객체 유형 정보 인식 장치와 유선 또는 무선 네트워크로 연결되는 서버의 메모리에 저장할 수도 있다.
모델 평가부(450)는 객체 유형 추론 모델에 평가 데이터를 입력하고, 평가 데이터로부터 출력되는 인식 결과가 소정 기준을 만족하지 못하는 경우, 모델 학습부(440)로 하여금 다시 학습하도록 할 수 있다. 이 경우, 평가 데이터는 객체 유형 추론 모델을 평가하기 위한 기 설정된 데이터일 수 있다. 여기에서, 평가 데이터는 객체 유형 추론 모델을 기반으로 인식된 객체의 카테고리와 실제의 객체의 카테고리 간의 일치 비율 등을 포함할 수 있다.
도 5는 본 발명의 일 실시예에 따른 객체 유형 정보 인식 장치의 객체 유형 정보 판단부의 블록도이다.
도 5를 참조하면, 본 발명의 일 실시예에 따른 객체 유형 정보 인식 장치(1)의 객체 유형 정보 판단부(500)는 객체 검색부(510), 객체 유형 정보 확인부(520)를 포함한다.
객체 유형 정보 판단부(500)는 건축 정보 모델에 포함된 다수의 구조물들 별로 객체 유형 정보를 판단한다.
객체 검색부(510)는 생성된 상기 렌더링 이미지 데이터를 객체 이미지 데이터베이스에 저장된 객체 이미지 리스트와 비교하여, 상기 객체 이미지 리스트에서 상기 렌더링 이미지 데이터와 일치하는 객체를 검색한다.
구체적으로, IFC포맷의 BIM데이터 파일의 파싱을 통해 모든 객체 중에서 엔터티 정보로 ifcbuildingelementproxy를 가지고 있는 객체를 선별해 낼 수 있다.
이후, 선별된 미인식 객체에 대하여 2D 이미지 생성 모듈을 통해 각각의 2D 이미지가 생성되고 캐시데이터로 저장된다.
2D 이미지는 미리 생성된 후 객체 선별의 과정을 수행할 수 있으며, 미인식 객체만 별도로 생성되는 것도 가능하다.
객체 유형 정보 확인부(520)는 상기 객체 이미지 데이터 베이스에 저장된 상기 렌더링 이미지 데이터와 일치하는 객체의 객체 유형 정보를 확인한다.
도 6은 본 발명의 일 실시예에 따른 객체 유형 정보 인식 장치의 객체 유형 정보 추론부의 블록도이다.
도 6을 참조하면, 본 발명의 일 실시예에 따른 객체 유형 정보 인식 장치(1)의 객체 유형 정보 추론부(600)는 이미지 데이터 입력부(610), 객체 종류 인식부(620), 객체 유형 정보 분석부(630)를 포함한다.
객체 유형 정보 추론부(600)는 상기 다수의 구조물들 중 상기 객체 유형 정보를 판단하지 못한 미인식 구조물에 대하여 기 마련된 객체 유형 추론 모델을 이용하여, 상기 미인식 구조물의 객체 유형 정보를 추론한다.
이미지 데이터 입력부(610)는 상기 다수의 구조물들 중 상기 객체 유형 정보를 판단하지 못한 미인식 구조물에 대한 렌더링 이미지 데이터를 입력 받는다.
객체 종류 인식부(620)는 상기 객체 유형 추론 모델을 이용하여 상기 미인식 구조물에 대한 렌더링 이미지 데이터에 포함된 상기 미인식 구조물의 객체 종류를 인식한다.
객체 유형 정보 분석부(630)는 인식한 상기 객체 종류에 따른 객체 유형 정보를 분석하여 추론한다.
객체 유형 정보 추론부(600)는 이미지 데이터를 활용하여 상기 미인식 객체의 2D 이미지에 대한 유형 정보를 추론할 수 있다. 이때 추론 결과는 유형 정보와 그 신뢰도(0에서부터 1.0)으로 표현될 수 있다.
도 7 내지 도 9는 본 발명의 일 실시예에 따른 딥러닝 알고리즘을 이용한 건축 정보 모델의 객체 유형 정보 인식 방법을 나타낸 흐름도이다.
도 7을 참조하면, 본 발명의 일 실시예에 따른 딥러닝 알고리즘을 이용한 건축 정보 모델의 객체 유형 정보 인식 방법은 메모리에 저장된 하나 이상의 인스트럭션을 실행하는 프로세서가 3차원의 건축 정보 모델을 획득하는 단계(S100)에서 시작한다.
단계 S200에서 획득한 상기 3차원의 건축 정보 모델을 기반으로 상기 건축 정보 모델에 포함된 다수의 구조물들을 하나의 구조물로 각각 분류한다.
단계 S300에서 분류된 상기 하나의 구조물에 대해 시점을 변화하며 각도별로 렌더링 이미지 데이터를 생성한다.
단계 S500에서 상기 건축 정보 모델에 포함된 다수의 구조물들 별로 객체 유형 정보를 판단한다.
객체 유형 정보를 판단하지 못할 경우, 단계 S600에서 상기 다수의 구조물들 중 상기 객체 유형 정보를 판단하지 못한 미인식 구조물에 대하여 기 마련된 객체 유형 추론 모델을 이용하여, 상기 미인식 구조물의 객체 유형 정보를 추론한다.
여기서, 상기 객체 유형 정보는, 객체명, 객체 종류, 객체 분류 코드, 객체 제원 및 객체 설치 정보를 포함하는 정보이다.
도 8을 참조하면, 상기 건축 정보 모델에 포함된 다수의 구조물들 별로 객체 유형 정보를 판단하는 단계(S500)는,
단계 S510에서 생성된 상기 렌더링 이미지 데이터를 객체 이미지 데이터베이스에 저장된 객체 이미지 리스트와 비교하여, 상기 객체 이미지 리스트에서 상기 렌더링 이미지 데이터와 일치하는 객체를 검색한다.
단계 S520에서 상기 객체 이미지 데이터 베이스에 저장된 상기 렌더링 이미지 데이터와 일치하는 객체의 객체 유형 정보를 확인한다.
도 9를 참조하면, 상기 미인식 구조물의 객체 유형 정보를 추론하는 단계(S600)는,
단계 S610에서 상기 다수의 구조물들 중 상기 객체 유형 정보를 판단하지 못한 미인식 구조물에 대한 렌더링 이미지 데이터를 입력 받는다.
단계 S620에서 상기 객체 유형 추론 모델을 이용하여 상기 미인식 구조물에 대한 렌더링 이미지 데이터에 포함된 상기 미인식 구조물의 객체 종류를 인식한다.
단계 S630에서 인식한 상기 객체 종류에 따른 객체 유형 정보를 추론한다.
도 10은 본 발명의 일 실시예에 따른 객체 유형 정보 인식 장치 및 방법에 사용되는 건축 정보 모델을 예로 들어 도시한 것이다.
건축 정보 모델(110)은 3차원 정보모델을 기반으로 시설물의 생애주기에 걸쳐 발생하는 모든 정보를 통합하여 활용이 가능하도록 시설물의 형상, 속성 등을 정보로 표현한 디지털 모형을 뜻한다. BIM 기술의 활용으로 기존의 2차원 도면 환경에서는 달성이 어려웠던 기획, 설계, 시공, 유지관리 단계의 사업정보 통합관리를 통해, 설계 품질 및 생산성 향상, 시공오차 최소화, 체계적 유지관리 등이 이루어질 수 있다.
대부분의 BIM용 프로그램들은 국제 표준 데이터 모델인 IFC(Industry Foundation Classes) 데이터를 읽고 저장하는 기능을 지원한다. BIM의 장점은 설계, 엔지니어링 및 관리시스템의 개발 및 통합을 통한 정보의 재활용 및 공유, 설계, 엔지니어링, 시공시스템 연계를 통한 기간단축, 재작업이나 실수로 인한 손실감소, 통합적 공학시스템, 전문가 시스템, 지식 개발 시스템(knowledge-based system)을 통한 건축물 설계 및 시공방법의 최적화 등이 있다.
도 11은 본 발명의 일 실시예에 따른 객체 유형 정보 인식 장치 및 방법에 사용되는 다수의 구조물들을 예로 들어 도시한 것이다.
구조물 분류부(200)에서 IFC 포맷의 BIM 건축물 모델에 존재하는 객체에 대한 개별 이미지들(210, 220, 230, 240)이 생성되어 학습 및 추론에 활용된다. 이때 해당되는 객체 유형은 기본 건축 객체 유형 일부와 주거건물의 실별 객체 유형 일부 등 21가지일 수 있다. 이때 생성되는 이미지는 다른 객체는 존재하지 않으며, 흰 배경에 해당 객체만 가득 찬 형태의 일 수 있다.
도 12는 본 발명의 일 실시예에 따른 객체 유형 정보 인식 장치 및 방법에 사용되는 렌더링 이미지 데이터들을 예로 들어 도시한 것이다.
이미지 데이터 생성부(300)는 분류된 상기 하나의 구조물에 대해 시점을 변화하며 각도별로 렌더링 이미지 데이터(301)를 생성한다.
IFC포맷의 이미지 데이터 생성부(300)는 IFC포맷 기반의 BIM 객체에 대한 3차원 렌더링이 가능한 소프트웨어 상에서 선택된 혹은 모든 객체에 대한 각각의 이미지를 생성 할 수 있으며, 이미지에는 해당되는 단일 객체만이 표현될 수 있다.
하나의 객체는 수평 및 수직각도가 변경되어 객체의 형상적 특징이 잘 드러날 수 있는 다양한 시점의 이미지로 생성될 수 있다. 이때 이미지는 객체의 정면에서부터 후면까지 수평 45도로 회전하여 5가지 시점과 정면에서 윗면으로 35도씩 회전하여 0, 35, 70도 등 3가지 시점으로 조합되어 객체 당 15장의 이미지를 포함할 수 있다. 이미지 데이터는 448 x 448 픽셀크기이며, RGB 값을 가지는 png 포맷일 수 있다.　
생성된 JPG 혹은 PNG 포맷의 이미지 파일은 객체의 유형에 따라 분류되어 객체 이미지 DB에 저장, 관리된다.
도 13은 본 발명의 일 실시예에 따른 객체 유형 정보 인식 장치 및 방법에 사용되는 객체 이미지 데이터베이스를 예로 들어 도시한 것이다.
생성된 JPG 혹은 PNG 포맷의 이미지 파일(302)은 객체의 유형에 따라 분류되어 객체 이미지 DB에 저장, 관리된다.
이때, 객체 유형의 예시로는 건축물 기본 객체인 기둥(column), 계단(stairt), 바닥(slab), 벽(wall), 창문(window), 문(door) 등, 주거건물 거실 공간의 대표 객체인 거실장(tv stand), 소파(sofa), 탁자(table) 등, 욕실 공간의 대표 객체인 대변기(toilet), 소변기(urinal), 세면대(water stand), 욕조(Bath tub), 부엌 공간의 대표 객체인 싱크대(sink), 조리대(worktop), 찬장(kitchen cabinet) 등, 침실 공간의 대표 객체인 침대(bed), 옷장(Closet), 책장(Bookcase), 책상(desk), 의자(chair) 등이 있을 수 있다.
도 14는 본 발명의 일 실시예에 따른 객체 유형 정보 인식 장치 및 방법에서 객체 유형 추론 모델을 이용하여, 미인식 구조물의 객체 유형 정보를 추론하는 방법을 설명하기 위한 도면이다.
이미지 데이터 입력부(610)는 상기 다수의 구조물들 중 상기 객체 유형 정보를 판단하지 못한 미인식 구조물에 대한 렌더링 이미지 데이터(611)를 입력 받는다.
본 발명의 일 실시예에서는 의자 이미지를 예로 들어 도시하였으나, 다양한 구조물의 이미지로 사용이 가능하다.
객체 종류 인식부(620)는 상기 객체 유형 추론 모델(621)을 이용하여 상기 미인식 구조물에 대한 렌더링 이미지 데이터에 포함된 상기 미인식 구조물의 객체 종류를 인식한다.
도 14에서는 객체 종류 인식 결과(622)를 의자로 도출하였다.
객체 유형 정보 분석부(630)는 인식한 상기 객체 종류에 따른 객체 유형 정보를 분석하여 추론한다.
예를 들어, 의자로 객체 종류를 도출한 경우, 의자에 따른 객체명을 등받이 의자로, 객체 종류를 나무 의자로, 객체 분류 코드를 chair를 포함한 문자의 코드로, 객체 제원을 의자의 가로, 세로, 높이 측정값으로, 객체 설치 정보를 설치 연, 월, 일을 포함한 정보로 렌더링 이미지를 분석하여 추론할 수 있다.
딥러닝 학습부는 유형에 따라 분류된 객체 이미지 데이터베이스를 학습 데이터로 CNN기반의 딥러닝 알고리즘에 적용하여 새로운 이미지에 대한 유형 정보를 추론할 수 있는 컴퓨터 파일을 생성 할 수 있다. 이때 활용하는 딥러닝 알고리즘은 Yolo형 알고리즘일 수 있으며, 그 결과물은 yolo.cfg와 yolo.weights, ifc.names 일 수 있다.
참고로, Yolo형 알고리즘은 인공지능 기계학습 기반의 이미지 인식 도구로서, 하나의 이미지 데이터에 대한 객체의 위치 추청(bounding box)과 유형 추론 문제(class proability)를 하나의 회귀문제(regression problem) 간주하며, 이 문제를 해결하기 위하여 합성곱신경망(CNN: Convolutional Neural Networks)를 활용한다. 이러한 특징으로 R-CNN 계열의 선행된 이미지 분류 알고리즘 보다 빠른 속도와 유사한 정확도 성능을 보여주는 장점이 있지만, 작은 객체에 대해서는 비교적 낮은 정확도를 보이는 단점이 보고되고 있다. 그러나 전술한 바와 같이 본 발명에서 다루는 이미지에서는 단일한 객체가 충분히 크게 표현되어 yolo형 알고리즘 적용에 적합할 수 있다.
본 발명의 일 실시예에 따른 객체 유형 정보 인식 장치의 객체 유형 추론 모델은 IFC포맷의 BIM 건물 모델은 건물의 규모에 따라 다르지만, 일반적으로 수천개의 구성 객체로 이루어져 있기 때문에 검토 시 속도를 고려하여 Yolo 모델이 적절하다고 볼 수 있다. 또한, 흰 바탕에 해당 객체만 확대되어 생성되는 이미지를 학습 및 검토에 활용하였기 때문에,　상기 해당 모델의 단점이 보완 될 수 있어 본 개발 장치의 인식 모델로 활용되었다. 입력데이터는 png, jpg, bmp 등 다양한 포맷일 수 있다. 이때 입력 이미지는 448 x 448 픽셀크기에 RGB값을 포함할 수 있다.
도 15는 본 발명의 일 실시예에 따른 객체 유형 정보 인식 장치 및 방법에서 객체 유형 정보를 판단한 경우를 예로 들어 도시한 것이고, 도 16은 본 발명의 일 실시예에 따른 객체 유형 정보 인식 장치 및 방법에서 객체 유형 정보를 미인식한 경우를 예로 들어 도시한 것이다.
도 15 및 도 16은 IFC포맷 기반의 BIM 객체에 대한 3차원 렌더링이 가능한 소프트웨어 상에서 표현되는 건축객체의 렌더링 결과를 나타낸 것이며, 미인식 객체의 일례로 문 객체가 올바르게 인식된 객체와 미인식된 객체를 도시하고 있다.
도 15에 나타난 바와 같이, 올바르게 인식된 객체(511)는 ifcdoor의 정보(512)를 가지고 있으며 이를 통해 컴퓨터는 해당 객체를 문으로 인식할 수 있다. 또한, 별도의 객체 유형 정보창(521)을 통해 확인할 수 있으며, 상기 객체 유형 정보는, 상기 구조물에 대한 객체명, 객체 종류, 객체 분류 코드, 객체 제원 및 객체 설치 정보로 이루어진 군(522)으로부터 선택되는 하나 이상을 포함할 수 있다.
그러나 도 16에 나타난 바와 같이, 문 객체임이 분명하더라도 올바르게 인식되지 못한 객체(531)는 ifcbuildingelementproxy라는 정보(532)를 가고 있으며, 이로 인해 컴퓨터는 해당 객체를 문으로 인식할 수 없다.
또한, 별도의 객체 유형 정보(541)에서 상기 구조물에 대한 객체명, 객체 종류, 객체 분류 코드, 객체 제원 및 객체 설치 정보로 이루어진 정보(542)가 정확히 나타나지 않는다.
도 17은 본 발명의 일 실시예에 따른 객체 유형 정보 인식 장치 및 방법에서 객체 유형 정보를 최종 인식한 경우를 예로 들어 도시한 것이다.
업데이트부(700)는 객체 유형 정보 추론부(600)의 결과를 입력 받아 대상 객체의 유형정보를 검토하고, 추론된 유형정보 값을 객체의 속성에 자동으로 입력할 수 있다. 입력된 정보는 추후 건축물 설계품질 자동검토 등 응용 소프트웨어에서 활용되어 보다 정확하고 신뢰할 수 있는 검토 결과를 도출하는데 도움을 줄 수 있다.
도 17에서는 미인식된 객체들의 유형정보 추론모듈의 결과와 그 내용을 기반으로 보완된 객체의 결과를 도시하고 있다.
본 발명의 일 실시예에 따른 객체 유형 정보 인식 장치는 IFC 포맷기반의 BIM 데이터 설계 안 모델에 존재하는 미인식 객체(551)에 대한 유형정보를 자동으로 추론하고 보완할 수 있기 때문에, 기존에 수작업으로 이루어지던 객체 정보 검토를 효율화 하고 자동화하여 시간, 인력, 비용 등의 절감하는데 도움을 줄 수 있다.
도 17에 나타난 바와 같이, 미인식 객체의 유형 정보 추론 목록(552)에서 보완 결과(553)를 확인할 수 있으며, 보완 결과 목록(711)에서 보완 결과(712)가 업데이트 됨을 확인할 수 있다. 보완결과는 형상과 신뢰도 값을 통해 확인할 수 있다.
또한, BIM 기반의 설계품질검토 자동화 등 응용 소프트웨어에 연동되어 각 검토 결과의 정확도와 신뢰도를 향상에 도움을 줄 수 있다.
또한, 딥러닝 기반 학습 방식을 통하여, 추후 인식의 대상과 유형을 보다 쉽게 확장 할 수 있다.
또한, 본 장치는 특정 소프트웨어에 종속될 필요 없이 2D 렌더링 기능이 포함된 소프트웨어에서 쉽게 확장 적용될 수 있는 확장성을 내포하고 있다.
또한, 딥러닝 알고리즘을 이용한 건축 정보 모델의 객체 유형 정보 인식 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
이러한 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(Floptical disk)와 같은 자기-광매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상의 설명은 본 발명의 일 실시예에 불과할 뿐, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현할 수 있을 것이다. 따라서 본 발명의 범위는 전술한 실시예에 한정되지 않고 특허 청구 범위에 기재된 내용과 동등한 범위 내에 있는 다양한 실시 형태가 포함되도록 해석되어야 할 것이다.

Claims (17)

  1. 하나 이상의 인스트럭션을 저장하는 메모리;
    상기 메모리에 저장된 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고,
    상기 프로세서는,
    미리 정해진 규칙에 따라 건물의 형상을 나타내는 건축 정보 모델을 기반으로 상기 건축 정보 모델에 포함된 구조물로서 객체 유형 정보를 인식하고자 하는 구조물을 선택하는 동작을 수행하고,
    상기 선택된 하나의 구조물에 대해 시점을 변화하며 시점별로 렌더링 이미지 데이터를 생성하는 동작을 수행하며,
    상기 건축 정보 모델에 포함된 다수의 구조물들 별로 객체 유형 정보를 판단하는 동작을 수행하고,
    상기 다수의 구조물들 중 상기 객체 유형 정보를 판단하지 못한 미인식 구조물에 대하여 기 마련된 객체 유형 추론 모델을 이용하여, 상기 미인식 구조물의 객체 유형 정보를 추론하는 동작을 수행하며,
    상기 객체 유형 정보 판단 동작은,
    생성된 상기 렌더링 이미지 데이터를 객체 이미지 데이터베이스에 저장된 객체 이미지 리스트와 비교하여, 상기 객체 이미지 리스트에서 상기 렌더링 이미지 데이터와 일치하는 객체를 검색하고, 상기 객체 이미지 데이터베이스에 저장된 상기 렌더링 이미지 데이터와 일치하는 객체의 객체 유형 정보를 확인하는 것으로 이루어지고,
    상기 객체 유형 정보 추론 동작은,
    상기 다수의 구조물들 중 상기 객체 유형 정보를 판단하지 못한 미인식 구조물에 대한 렌더링 이미지 데이터를 입력 받고, 상기 객체 유형 추론 모델을 이용하여 상기 미인식 구조물에 대한 렌더링 이미지 데이터에 포함된 상기 미인식 구조물의 객체 종류를 인식하며, 인식한 상기 객체 종류에 따른 객체 유형 정보를 분석하여 추론하는 것으로 이루어지는,
    것을 특징으로 하는 객체 유형 정보 인식 장치.
  2. 제1항에 있어서,
    상기 객체 유형 정보 판단 동작은,
    기 저장된 구조물 각각에 대한 렌더링 객체들을 저장한 데이터베이스에, 상기 객체 유형 추론 모델을 이용하여 상기 건축 정보 모델에 포함된 객체 유형 정보를 인식하고자 하는 하나의 대상 구조물에 매칭되는 렌더링 객체가 있는지 여부를 판단하고, 매칭되는 렌더링 객체가 없는 경우 상기 대상 구조물을 미인식 구조물로 인식하는 것으로 이루어지는,
    것을 특징으로 하는 객체 유형 정보 인식 장치.
  3. 제1항에 있어서,
    상기 객체 유형 정보는,
    상기 구조물에 대한 객체명, 객체 종류, 객체 분류 코드, 객체 제원 및 객체 설치 정보로 이루어진 군으로부터 선택되는 하나 이상을 포함하는 것을 특징으로 하는 객체 유형 정보 인식 장치.
  4. 삭제
  5. 삭제
  6. 삭제
  7. 제1항에 있어서,
    상기 프로세서는,
    상기 객체 이미지 데이터베이스에 상기 미인식 구조물의 렌더링 이미지 데이터와 상기 객체 유형 정보를 함께 저장하는 동작을 더 수행하는,
    것을 특징으로 하는 객체 유형 정보 인식 장치.
  8. 제1항에 있어서,
    상기 객체 유형 추론 모델은,
    복수의 레이어로 구성되되, 상기 복수의 레이어 각각의 파라미터는, 객체 종류 인식에 이용되는 적어도 하나의 렌더링 이미지 데이터의 선택 및 상기 선택된 적어도 하나의 렌더링 이미지 데이터의 조합을 위한 기준을 학습한 결과에 기초하여 결정되는 것을 특징으로 하는 객체 유형 정보 인식 장치.
  9. 프로세서가,
    미리 정해진 규칙에 따라 건물의 형상을 나타내는 건축 정보 모델을 기반으로 상기 건축 정보 모델에 포함된 구조물로서 객체 유형 정보를 인식하고자 하는 구조물을 선택하는 단계;
    상기 선택된 하나의 구조물에 대해 시점을 변화하며 시점별로 렌더링 이미지 데이터를 생성하는 단계;
    상기 건축 정보 모델에 포함된 다수의 구조물들 별로 객체 유형 정보를 판단하는 단계; 및
    상기 다수의 구조물들 중 상기 객체 유형 정보를 판단하지 못한 미인식 구조물에 대하여 기 마련된 객체 유형 추론 모델을 이용하여, 상기 미인식 구조물의 객체 유형 정보를 추론하는 단계;를 수행하며,
    상기 프로세서는,
    상기 렌더링 이미지 데이터를 이용하여 상기 구조물의 객체 유형 정보를 판단하고,
    상기 건축 정보 모델에 포함된 다수의 구조물들 별로 객체 유형 정보를 판단하는 단계는,
    생성된 상기 렌더링 이미지 데이터를 객체 이미지 데이터베이스에 저장된 객체 이미지 리스트와 비교하여, 상기 객체 이미지 리스트에서 상기 렌더링 이미지 데이터와 일치하는 객체를 검색하는 단계; 및 상기 객체 이미지 데이터 베이스에 저장된 상기 렌더링 이미지 데이터와 일치하는 객체의 객체 유형 정보를 확인하는 단계;를 포함하며,
    상기 미인식 구조물의 객체 유형 정보를 추론하는 단계는,
    상기 다수의 구조물들 중 상기 객체 유형 정보를 판단하지 못한 미인식 구조물에 대한 렌더링 이미지 데이터를 입력 받는 단계; 상기 객체 유형 추론 모델을 이용하여 상기 미인식 구조물에 대한 렌더링 이미지 데이터에 포함된 상기 미인식 구조물의 객체 종류를 인식하는 단계; 및 인식한 상기 객체 종류에 따른 객체 유형 정보를 추론하는 단계;를 포함하는,
    것을 특징으로 하는 객체 유형 정보 인식 방법.
  10. 제9항에 있어서,
    상기 프로세서가 기 마련된 객체 유형 추론 모델을 이용하여 상기 다수의 구조물들에 대한 상기 객체 유형 정보를 인식하는 것은,
    상기 프로세서가 기 저장된 구조물 각각에 대한 렌더링 객체들을 저장한 데이터베이스에, 상기 객체 유형 추론 모델을 이용하여 상기 건축 정보 모델에 포함된 객체 유형 정보를 인식하고자 하는 하나의 대상 구조물에 매칭되는 렌더링 객체가 있는지 여부를 판단하고, 매칭되는 렌더링 객체가 없는 경우 상기 대상 구조물을 미인식 구조물로 인식하는 것을 특징으로 하는 객체 유형 정보 인식 방법.
  11. 제9항에 있어서,
    상기 객체 유형 정보는,
    상기 구조물에 대한 객체명, 객체 종류, 객체 분류 코드, 객체 제원 및 객체 설치 정보로 이루어진 군으로부터 선택되는 하나 이상을 포함하는 것을 특징으로 하는 객체 유형 정보 인식 방법.
  12. 삭제
  13. 삭제
  14. 삭제
  15. 제9항에 있어서,
    상기 프로세서가,
    상기 미인식 구조물의 객체 유형 정보를 추론하는 단계 이후, 상기 객체 이미지 데이터베이스에 상기 미인식 구조물의 렌더링 이미지 데이터와 상기 객체 유형 정보를 함께 저장하는 단계;를 더 수행하는 것을 특징으로 하는 객체 유형 정보 인식 방법.
  16. 제9항에 있어서,
    상기 객체 유형 추론 모델은,
    복수의 레이어로 구성되되, 상기 복수의 레이어 각각의 파라미터는, 객체 종류 인식에 이용되는 적어도 하나의 렌더링 이미지 데이터의 선택 및 상기 선택된 적어도 하나의 렌더링 이미지 데이터의 조합을 위한 기준을 학습한 결과에 기초하여 결정되는 것을 특징으로 하는 객체 유형 정보 인식 방법.
  17. 제9항 내지 제11항, 제15항, 제16항 중 어느 하나의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
KR1020190125987A 2019-10-11 2019-10-11 딥러닝 알고리즘을 이용한 건축 정보 모델의 객체 유형 정보 인식 장치 및 방법 KR102260969B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190125987A KR102260969B1 (ko) 2019-10-11 2019-10-11 딥러닝 알고리즘을 이용한 건축 정보 모델의 객체 유형 정보 인식 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190125987A KR102260969B1 (ko) 2019-10-11 2019-10-11 딥러닝 알고리즘을 이용한 건축 정보 모델의 객체 유형 정보 인식 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20210043160A KR20210043160A (ko) 2021-04-21
KR102260969B1 true KR102260969B1 (ko) 2021-06-04

Family

ID=75743990

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190125987A KR102260969B1 (ko) 2019-10-11 2019-10-11 딥러닝 알고리즘을 이용한 건축 정보 모델의 객체 유형 정보 인식 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102260969B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113377880B (zh) * 2021-05-14 2024-01-16 华仁建设集团有限公司 一种基于bim的建筑模型自动匹配方法及系统
KR102602708B1 (ko) * 2021-11-03 2023-11-15 현대엔지니어링 주식회사 딥 러닝을 활용한 배관 서포트 간섭 분류 시스템 및 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101471603B1 (ko) * 2012-07-27 2014-12-24 광운대학교 산학협력단 Ｉｆｃ 파일을 이용한 에너지 분석 장치 및 방법
KR102415503B1 (ko) * 2015-08-21 2022-07-01 삼성전자주식회사 분류기 학습 방법 및 객체 검출 방법

Also Published As

Publication number Publication date
KR20210043160A (ko) 2021-04-21

Similar Documents

Publication Publication Date Title
US11875090B2 (en) Building information design synthesis (BIDS)
Bloch et al. Comparing machine learning and rule-based inferencing for semantic enrichment of BIM models
Jiang et al. Multi-ontology fusion and rule development to facilitate automated code compliance checking using BIM and rule-based reasoning
KR102204337B1 (ko) 직관적인 단계별 선택을 이용한 건축물의 실시간 간편견적 서비스 제공 방법
US8843352B2 (en) System and methods facilitating interfacing with a structure design and development process
EP3996055A1 (en) Machine learning techniques for extracting floorplan elements from architectural drawings
KR102260969B1 (ko) 딥러닝 알고리즘을 이용한 건축 정보 모델의 객체 유형 정보 인식 장치 및 방법
CN116882038B (zh) 一种基于bim技术的机电施工方法及系统
US10818082B2 (en) Method and system for parametrically creating an optimal three dimensional building structure
CN112541600A (zh) 一种基于知识图谱的辅助维修决策方法
Hmida et al. Knowledge base approach for 3d objects detection in point clouds using 3d processing and specialists knowledge
CN113987199A (zh) 一种规范自动解译的bim智能审图方法、系统和介质
Jiang et al. Semantic enrichment for BIM: Enabling technologies and applications
KR102535054B1 (ko) 패치기반의 딥러닝 알고리즘을 통한 실내도면 이미지에서의 실내공간정보 자동추출방법 및 그 장치
CN114972659A (zh) 一种二维图纸转换三维模型用于图纸审查的方法及系统
Urbieta et al. Generating BIM model from structural and architectural plans using Artificial Intelligence
JP7341581B1 (ja) 建築図面作成支援システム
Wang et al. CBIM: A graph-based approach to enhance interoperability using semantic enrichment
Kim et al. Approach to auto-recognition of design elements for the intelligent management of interior pictures
Majzoub et al. Investigating the adaptability and implementation of computational design methods in concept design taking plasterboard opportunities for dimensional coordination and waste reduction as a case study
Pan et al. Sequential design command prediction using BIM event logs
CN117151247B (zh) 机器学习任务建模的方法、装置、计算机设备和存储介质
Lin et al. Spatial topology retrieval: A visual approach for encoding and indexing spatial topology in an architectural design case library
CN117632098B (zh) 一种基于aigc的建筑智能设计系统
Mohamed Assem A GIS-BASED AUTOMATED ARCHITECTURAL SPATIAL ANALYSIS AND REPRESENTATION IN THE CONCEPTUAL DESIGN PHASE

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant