KR20240045730A - 3차원 모델 기반의 평면도 생성 방법 및 그를 위한 시스템 - Google Patents
3차원 모델 기반의 평면도 생성 방법 및 그를 위한 시스템 Download PDFInfo
- Publication number
- KR20240045730A KR20240045730A KR1020220125395A KR20220125395A KR20240045730A KR 20240045730 A KR20240045730 A KR 20240045730A KR 1020220125395 A KR1020220125395 A KR 1020220125395A KR 20220125395 A KR20220125395 A KR 20220125395A KR 20240045730 A KR20240045730 A KR 20240045730A
- Authority
- KR
- South Korea
- Prior art keywords
- plane
- model
- floor plan
- risk
- plane group
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000010276 construction Methods 0.000 claims abstract description 33
- 238000009434 installation Methods 0.000 claims abstract description 24
- 238000012544 monitoring process Methods 0.000 claims abstract description 4
- 238000012545 processing Methods 0.000 claims description 5
- 238000007726 management method Methods 0.000 description 65
- 238000001514 detection method Methods 0.000 description 47
- 238000010586 diagram Methods 0.000 description 14
- 230000015654 memory Effects 0.000 description 13
- 238000004088 simulation Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 9
- 239000000463 material Substances 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000004035 construction material Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009415 formwork Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/20—Drawing from basic elements, e.g. lines or circles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Architecture (AREA)
- Geometry (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Alarm Systems (AREA)
Abstract
본 발명의 일 기술적 측면에 따른 3차원 모델 기반의 평면도 생성 방법은, 복수의 카메라와 연동하여 위험 관리를 제공하는 서버에서 수행되는 3차원 모델 기반의 평면도 생성 방법으로서, 특정 건설 공간에 대한 3D (3Dimension) 모델을 확인하는 단계, 카메라의 촬영 범위를 설정하고, 상기 카메라의 촬영 범위를 기초로 상기 특정 건설 공간에 대한 3D 모델의 관리 영역-상기 관리 영역은 위험상황의 발생을 모니터링하는 대상 영역임-이 커버되도록 복수의 카메라의 설치 위치인 복수의 카메라 포지션을 결정하는 단계 및 복수의 카메라 포지션에 위치한 복수의 카메라로부터 각각 촬영 영상을 획득하고, 획득된 복수의 촬영 영상에 대하여 영상 인식을 기반으로 객체에 대한 시계열 추적 데이터 셋을 설정하고, 설정된 상기 시계열 추적 데이터 셋을 기초로 상기 특정 건설 공간의 관리 영역에 대한 위험 상황 발생 여부를 판단하는 단계를 포함할 수 있다.
Description
본 발명은 3차원 모델 기반의 평면도 생성 방법 및 그를 위한 시스템에 관한 것이다.
근래에 들어서는 실제 공간에 대응되는 온라인 상의 가상 공간을 제공받음으로써, 사용자가 직접 실제 공간에 방문하지 않고서도 실제 공간에 있는 듯한 체험이 가능한 가상공간 구현기술이 개발되고 있다.
이러한 현실공간 기반의 가상 기술은 디지털 트윈 또는 메타버스(metaverse) 구현을 위한 기술로서, 다양한 개발이 이루어지고 있다.
이러한 가상공간을 구현하기 위해서는, 구현하고자 하는 실제 공간을 대상으로 소정의 스캐닝, 즉, 촬영된 이미지를 획득하고, 이를 기초로 입체적인 가상 이미지인 3차원 가상 모델을 생성하여 가상 공간을 제공하는 기술이 개발되고 있다.
이러한 3차원 가상 모델은 실내 공간 내부의 여러 지점에서 촬영된 데이터를 기초로 생성될 수 있다. 이러한 경우, 3차원 가상 모델을 구성하기 위해서, 실내 공간의 여러 지점에서 취득된 색상 및 거리 데이터들을 수집하고, 이를 기반으로 3차원 가상 모델을 생성하는 기술들이 개발되고 있다.
그러나, 이러한 3차원 가상 모델은 실제 스캐닝 데이터에서 발생하는 측정 오류를 가지고 있으며, 따라서 이러한 오류 데이터에 의한 부정확성이 존재하게 된다. 그에 따라, 이러한 3차원 가상 모델의 활용에 어려움이 따르는 한계가 있다.
본 출원의 일 기술적 측면은 상기한 종래 기술의 문제점을 해결하기 위한 것으로, 본 출원에 개시되는 일 실시예에 따르면, 실내의 여러 지점에서 생성된 복수의 이미지 중에서 3D 모델의 페이스에 적합한 이미지를 효과적으로 선택하는 것을 목적으로 한다.
본 출원에 개시되는 일 실시예에 따르면, 실내의 여러 다른 지점 간의 상이한 촬영 조건에 의하여 발생하는 칼라 불균형을 보다 정확하게 보상하는 것을 목적으로 한다.
본 출원의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 출원의 일 기술적 측면은 3차원 가상모델 생성을 위한 텍스처링 방법을 제안한다. 상기 3차원 가상모델 생성을 위한 텍스처링 방법은, 실내 공간의 복수의 촬영 지점에서 각각 생성되는 복수의 데이터 셋-상기 데이터 셋은 색상 이미지, 깊이 이미지 및 각 지점의 위치 정보를 포함함-을 기초로 3차원 가상모델을 생성하는 컴퓨팅 장치에서 수행 가능한 방법으로서, 상기 실내 공간의 복수의 촬영 지점에서 각각 생성된 복수의 데이터 셋을 기초로 3차원 메쉬 모델을 생성하는 단계, 상기 3차원 메쉬 모델에 포함된 복수의 페이스 중 제1 페이스를 선택하고, 상기 제1 페이스와 연관된 복수의 색상 이미지 중에서 상기 제1 페이스에 적합한 어느 하나의 제1 색상 이미지를 선택하는 단계, 선택된 어느 하나의 제1 색상 이미지에서 상기 제1 페이스에 대응되는 로컬 영역을 선택하여 상기 제1 페이스에 매핑하여 텍스처링을 수행하는 단계 및 상기 3차원 메쉬 모델에 포함된 복수의 페이스 중에서 상기 제1 페이스를 제외한 나머지 페이스들에 대해서도 색상 이미지의 선택 과정 및 텍스처링 과정을 수행하여 제1 3D 모델을 생성하는 단계를 포함할 수 있다.
본 출원의 다른 일 기술적 측면은 컴퓨팅 장치를 제안한다. 상기 컴퓨팅 장치는, 하나 이상의 인스트럭션을 저장하는 메모리 및 상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써, 상기 실내 공간의 복수의 촬영 지점에서 각각 생성된 복수의 데이터 셋-상기 데이터 셋은 색상 이미지, 깊이 이미지 및 각 지점의 위치 정보를 포함함-을 기초로 3차원 메쉬 모델을 생성하고, 상기 3차원 메쉬 모델에 포함된 복수의 페이스 중 제1 페이스를 선택하고, 상기 제1 페이스와 연관된 복수의 색상 이미지 중에서 상기 제1 페이스에 적합한 어느 하나의 제1 색상 이미지를 선택하고, 선택된 어느 하나의 제1 색상 이미지에서 상기 제1 페이스에 대응되는 로컬 영역을 선택하여 상기 제1 페이스에 매핑하여 텍스처링을 수행하고, 상기 3차원 메쉬 모델에 포함된 복수의 페이스 중에서 상기 제1 페이스를 제외한 나머지 페이스들에 대해서도 색상 이미지의 선택 과정 및 텍스처링 과정을 수행하여 제1 3D 모델을 생성할 수 있다.
본 출원의 다른 일 기술적 측면은 저장 매체를 제안한다. 상기 저장 매체는, 컴퓨터 판독 가능한 인스트럭션들(instructions)을 저장하고 있는 저장 매체이다. 상기 인스트럭션들은, 컴퓨팅 장치에 의해 실행될 때, 상기 컴퓨팅 장치로 하여금, 상기 실내 공간의 복수의 촬영 지점에서 각각 생성된 복수의 데이터 셋-상기 데이터 셋은 색상 이미지, 깊이 이미지 및 각 지점의 위치 정보를 포함함-을 기초로 3차원 메쉬 모델을 생성하는 동작, 상기 3차원 메쉬 모델에 포함된 복수의 페이스 중 제1 페이스를 선택하고, 상기 제1 페이스와 연관된 복수의 색상 이미지 중에서 상기 제1 페이스에 적합한 어느 하나의 제1 색상 이미지를 선택하는 동작, 선택된 어느 하나의 제1 색상 이미지에서 상기 제1 페이스에 대응되는 로컬 영역을 선택하여 상기 제1 페이스에 매핑하여 텍스처링을 수행하는 동작 및 상기 3차원 메쉬 모델에 포함된 복수의 페이스 중에서 상기 제1 페이스를 제외한 나머지 페이스들에 대해서도 색상 이미지의 선택 과정 및 텍스처링 과정을 수행하여 제1 3D 모델을 생성하는 동작을 수행하도록 할 수 있다.
상기한 과제의 해결 수단은, 본 출원의 특징을 모두 열거한 것은 아니다. 본 출원의 과제 해결을 위한 다양한 수단들은 이하의 상세한 설명의 구체적인 실시형태를 참조하여 보다 상세하게 이해될 수 있을 것이다.
본 발명의 일 실시형태에 따르면, 건설 현장에 대응되는 3D 모델을 구성하고 3D 공간의 관리 영역을 커버할 수 있는 복수의 카메라 포지션을 설정함으로써, 건설 현장의 위험 영역을 전체적으로 커버할 수 있는 3차원 모델 기반의 평면도 생성 방법 및 그를 위한 시스템을 제공할 수 있는 효과가 있다.
또한, 본 발명의 일 실시형태에 따르면, 복수의 카메라에서 촬영된 복수의 영상에 대하여 영상 인식을 기반으로 객체를 식별하고, 식별된 객체에 대해 시계열적인 추적 데이터 셋을 설정함으로서 이를 기반으로 보다 정확하게 위험 상황을 판단하고 위험 요소를 인덱스화 할 수 있는 3차원 모델 기반의 평면도 생성 방법 및 그를 위한 시스템을 제공할 수 있는 효과가 있다.
또한, 본 발명의 일 실시형태에 따르면, 판단된 위험 상황에 따라 3D 공간을 위험도에 따라 차등적으로 구분하고, 위험도가 높은 공간에 대하여 카메라 기능 강화를 제공하도록 함으로써, 위험 상황이 유발되는 공간에 대하여 보다 밀접하고 강화된 위험 관리를 제공할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 3차원 가상모델 생성 시스템의 일 예를 설명하는 도면이다.
도 2는 본 발명의 일 실시예에 따른 위험관리 시스템의 관리 서버의 예시적인 컴퓨팅 운영 환경을 설명하는 도면이다.
도 3은 본 발명의 일 실시예에 따른 위험관리 시스템의 관리 서버의 예를 설명하는 블록 구성도이다.
도 4는 본 발명의 일 실시예에 따른 공간 할당 기반의 위험관리 방법을 설명하는 순서도이다.
도 5는 본 발명의 일 실시예에 따른 3D 모델 생성 방법을 설명하는 순서도이다.
도 6은 본 발명의 일 실시예에 따른 카메라 포지션 결정 방법을 설명하는 순서도이다.
도 7은 도 6의 일 실시예에 따른 카메라 포지션의 일 예를 도시하는 도면이다.
도 8은 도 6의 일 실시예에 따른 최적화 알고리즘의 일 예를 도시하는 도면이다.
도 9은 도 3에 도시된 관리서버의 3D 공간 할당부의 일 실시예를 설명하는 블록 구성도이다.
도 10는 도 9에 도시된 3D 공간 할당부에 따른 카메라 포지션 결정 방법을 설명하는 순서도이다.
도 11은 도 9 및 도 10의 일 실시예에 따른 카메라 포지션의 일 예를 도시하는 도면이다.
도 12은 도 3에 도시된 관리서버의 객체 탐지부 및 위험상황 판단부의 일 실시예를 설명하는 블록 구성도이다.
도 13는 도 12에 도시된 위험상황 판단부에서 수행되는 위험상황 판단 방법의 일 예를 설명하는 순서도이다.
도 2는 본 발명의 일 실시예에 따른 위험관리 시스템의 관리 서버의 예시적인 컴퓨팅 운영 환경을 설명하는 도면이다.
도 3은 본 발명의 일 실시예에 따른 위험관리 시스템의 관리 서버의 예를 설명하는 블록 구성도이다.
도 4는 본 발명의 일 실시예에 따른 공간 할당 기반의 위험관리 방법을 설명하는 순서도이다.
도 5는 본 발명의 일 실시예에 따른 3D 모델 생성 방법을 설명하는 순서도이다.
도 6은 본 발명의 일 실시예에 따른 카메라 포지션 결정 방법을 설명하는 순서도이다.
도 7은 도 6의 일 실시예에 따른 카메라 포지션의 일 예를 도시하는 도면이다.
도 8은 도 6의 일 실시예에 따른 최적화 알고리즘의 일 예를 도시하는 도면이다.
도 9은 도 3에 도시된 관리서버의 3D 공간 할당부의 일 실시예를 설명하는 블록 구성도이다.
도 10는 도 9에 도시된 3D 공간 할당부에 따른 카메라 포지션 결정 방법을 설명하는 순서도이다.
도 11은 도 9 및 도 10의 일 실시예에 따른 카메라 포지션의 일 예를 도시하는 도면이다.
도 12은 도 3에 도시된 관리서버의 객체 탐지부 및 위험상황 판단부의 일 실시예를 설명하는 블록 구성도이다.
도 13는 도 12에 도시된 위험상황 판단부에서 수행되는 위험상황 판단 방법의 일 예를 설명하는 순서도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 형태들을 설명한다.
그러나, 본 발명의 실시형태는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명하는 실시 형태로 한정되는 것은 아니다. 또한, 본 발명의 실시형태는 당해 기술분야에서 평균적인 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위해서 제공되는 것이다.
즉, 전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용된다.
또한, 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서 상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
또한, 이하에서 본 발명에 따른 시스템을 설명하기 위하여 다양한 구성요소 및 그의 하부 구성요소에 대하여 설명하고 있다. 이러한 구성요소 및 그의 하부 구성요소들은, 하드웨어, 소프트웨어 또는 이들의 조합 등 다양한 형태로서 구현될 수 있다. 예컨대, 각 요소들은 해당 기능을 수행하기 위한 전자적 구성으로 구현되거나, 또는 전자적 시스템에서 구동 가능한 소프트웨어 자체이거나 그러한 소프트웨어의 일 기능적인 요소로 구현될 수 있다. 또는, 전자적 구성과 그에 대응되는 구동 소프트웨어로 구현될 수 있다.
본 명세서에 설명된 다양한 기법은 하드웨어 또는 소프트웨어와 함께 구현되거나, 적합한 경우에 이들 모두의 조합과 함께 구현될 수 있다. 본 명세서에 사용된 바와 같은 "부(Unit)", "서버(Server)" 및 "시스템(System)" 등의 용어는 마찬가지로 컴퓨터 관련 엔티티(Entity), 즉 하드웨어, 하드웨어 및 소프트웨어의 조합, 소프트웨어 또는 실행 시의 소프트웨어와 등가로 취급할 수 있다. 또한, 본 발명의 시스템에서 실행되는 각 기능은 모듈단위로 구성될 수 있고, 하나의 물리적 메모리에 기록되거나, 둘 이상의 메모리 및 기록매체 사이에 분산되어 기록될 수 있다.
본 출원의 다양한 실시 예들은 기기(machine)-예를 들어, 사용자 단말(100)이나 컴퓨팅 장치(300)-에 의해 읽을 수 있는 저장 매체(storage medium)에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예를 들어, 프로그램)로서 구현될 수 있다. 예를 들면, 프로세서(301)는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 장치가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 실재(tangible)하는 장치이고, 신호(signal)(예를 들어, 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
본 발명의 실시형태를 설명하기 위하여 다양한 순서도가 개시되고 있으나, 이는 각 단계의 설명의 편의를 위한 것으로, 반드시 순서도의 순서에 따라 각 단계가 수행되는 것은 아니다. 즉, 순서도에서의 각 단계는, 서로 동시에 수행되거나, 순서도에 따른 순서대로 수행되거나, 또는 순서도에서의 순서와 반대의 순서로도 수행될 수 있다.
도 1은 본 발명의 일 실시예에 따른 3차원 가상모델 생성 시스템의 일 예를 설명하는 도면이다.
도 1을 참조하면, 3차원 가상모델 생성 시스템은 복수의 카메라(100) 및 관리 서버(300)를 포함한다. 실시예에 따라 관리 서버(300)로부터 안전 상황을 전파받는 관리자 단말(500)을 더 포함할 수 있다. 복수의 카메라(100), 관리 서버(300) 및 관리자 단말(500)은 네트워크를 통해 연결될 수 있다.
관리자 단말(500)은 관리자의 컴퓨팅 단말을 의미하며, PC, 노트북 등의 컴퓨터 외에도 스마트폰, 태블릿 PC 등의 휴대 단말을 포괄하며, 연산 및 통신이 가능한 다양한 전자기기가 이에 해당될 수 있다.
복수의 카메라(100)는 특정한 건설 공간(1)에 설치되어, 해당 공간에 대한 촬영 영상을 취득하여 관리 서버(300)에 제공한다. 관리 서버(300)는 영상 분석 기술을 기반으로 복수의 카메라(100)에서 제공되는 촬영 영상에서 위험 상황이 발생하였는지 판단한다. 관리 서버(300)는 위험 상황이 발생된 것으로 판단되면 이를 관리자 단말(500)에 알릴 수 있다.
여기에서, 복수의 카메라(100)의 설치 위치 및 촬영 범위가 건설 공간(1)을 적절하게 커버하는 것이 중요하다. 이는, 카메라는 촬영 범위의 한계가 있으므로, 복수의 카메라의 배치에 따라 건설 공간(1)의 미촬영 지대(촬영 사각)이 없도록 설정하는 것이 중요하다. 이를 위하여, 관리 서버(300)는 건설 공간(1)에 대한 3D 모델을 이용하여 복수의 카메라(100)의 적절한 설치 위치-즉, 카메라 포지션-을 계산하여 도출할 수 있다.
관리 서버(300)는 영상 분석 기술을 기반으로 복수의 카메라(100)에서 제공되는 촬영 영상에서 위험 상황이 발생하였는지 판단한다. 관리 서버(300)는 영상 인식 기술을 기반으로, 촬영 영상에서 위험 상황의 판단이 되는 주요 객체(이하, '관찰 객체'라 칭함)를 식별하고, 이러한 객체 인식을 기반으로 위험 상황을 판단한다.
일 예로, 관리 서버(300)는 객체 자체에 대한 분석으로서 비 시계열적 특징을 기반을 하는 위험 상황 판단을 수행할 수 있다. 예컨대, 사람 객체가 안전 장구를 착용하였는지 등을 분석할 수 있다.
다른 예로, 관리 서버(300)는 객체에 대하여 시계열적으로 연관되는 데이터 셋(이하, '시계열 추적 데이터 셋'이라 칭함)을 생성하고 이를 기초로 시계열적인 객체의 연관성을 기초로 하는 위험 상황 판단을 수행할 수 있다. 예컨대, 사람 객체가 추락 위험 지역으로의 접근 여부 등을 분석할 수 있다.
이러한 공간 할당 기반의 위험관리 기능은 관리 서버(300)에 의하여 수행되므로, 이하에서는 도 2 내지 도 15를 참조하여, 관리 서버(300) 및 그에 의하여 제공되는 3차원 모델 기반의 평면도 생성 방법에 대하여 보다 상세히 설명한다.
도 2는 관리 서버(300)의 실시예들이 구현될 수 있는 적합한 컴퓨팅 환경의 일반적이고 단순화된 설명을 제공하기 위한 것으로, 도 2를 참조하면, 관리 서버(300)의 일 예로서 컴퓨팅 장치가 도시된다.
컴퓨팅 장치는 적어도 프로세싱 유닛(303)과 시스템 메모리(301)를 포함할 수 있다.
컴퓨팅 장치는 프로그램을 실행할 때 협조하는 복수의 프로세싱 유닛을 포함할 수도 있다. 컴퓨팅 장치의 정확한 구성 및 유형에 의존하여, 시스템 메모리(301)는 휘발성(예컨대, 램(RAM)), 비휘발성(예컨대, 롬(ROM), 플래시 메모리 등) 또는 이들의 조합일 수 있다. 시스템 메모리(301)는 플랫폼의 동작을 제어하기 위한 적합한 운영체제(302)를 포함하는데, 예컨대 마이크로소프트사로부터의 WINDOWS 운영체제나 리눅스 등의 것일 수 있다. 시스템 메모리(301)는 프로그램 모듈, 애플리케이션 등의 같은 하나 이상의 소프트웨어 애플리케이션을 포함할 수도 있다.
컴퓨팅 장치는 자기 디스크, 광학적 디스크, 또는 테이프와 같은 추가적인 데이터 저장 장치(304)를 포함할 수 있다. 이러한 추가적 저장소는 이동식 저장소 및/또는 고정식 저장소 일 수 있다. 컴퓨터 판독가능 저장 매체는 컴퓨터 판독가능 인스트럭션, 데이터 구조, 프로그램 모듈, 또는 기타 데이터와 같은 저장정보를 위한 임의의 방법이나 기법으로 구현되는 휘발성 및 비휘발성, 이동식 및 고정식 매체를 포함할 수 있다. 시스템 메모리(301), 저장소(304)는 모두 컴퓨터 판독가능 저장 매체의 예시일 뿐이다. 컴퓨터 판독가능 저장 매체는 램(RAM), 롬(ROM), EEPROM, 플래시 메모리 또는 다른 메모리 기법, CD-ROM, DVD 또는 다른 광학적 저장소, 자기 테이프, 자기 디스크 저장소 또는 다른 자기적 저장 장치, 또는 원하는 정보를 저장하고 컴퓨팅 장치(300)에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있는데, 이에 한정되는 것은 아니다.
컴퓨팅 장치의 입력 장치(305), 예컨대 키보드, 마우스, 펜, 음성 입력 장치, 터치 입력 장치, 및 비교 가능한 입력 장치를 포함할 수 있다. 출력 장치(306)는, 예컨대 디스플레이, 스피커, 프린터, 및 다른 유형의 출력 장치가 포함될 수도 있다. 이들 장치는 본 기술분야에서 널리 알려진 것이므로 자세한 설명은 생략한다.
컴퓨팅 장치는 예컨대 분산 컴퓨팅 환경에서의 네트워크, 예컨대, 유무선 네트워크, 위성 링크, 셀룰러 링크, 근거리 네트워크 및 비교가능한 메커니즘을 통해 장치가 다른 장치들과 통신하도록 허용하는 통신 장치(307)를 포함할 수도 있다. 통신 장치(307)는 통신 매체의 한가지 예시이며, 통신 매체는 그 안에 컴퓨터 판독 가능 인스트럭션, 데이터 구조, 프로그램 모듈, 또는 다른 데이터를 포함할 수 있다. 예시적으로, 통신 매체는 유선 네트워크나 직접 유선 접속과 같은 유선 매체, 및 음향, RF, 적외선 및 다른 무선 매체와 같은 무선 매체를 포함하는데, 이에 한정되는 것은 아니다.
관리 서버(300)는 이러한 컴퓨팅 환경에서 구현되는 기능적 구성으로 설명될 수 있다. 이에 대해서는, 도 3을 참조하여 설명한다.
도 3는 본 발명의 일 실시예에 따른 관리 서버의 내부 구조를 설명하기 위한 블록도이고, 도 4는 본 발명의 일 실시예에 따른 공간 할당 기반의 위험관리 방법을 설명하는 순서도이다.
도 3 및 도 4를 참조하여 설명하면, 관리 서버(300)는 3D 모델 생성부(310), 3D 공간 할당부(320), 객체 탐지부(330), 위험상황 판단부(340) 및 상황 전파부(350)를 포함할 수 있다.
3D 모델 생성부(310)는 위험상황 모니터링의 대상이 되는 특정 건설 공간에 대한 3D 모델을 생성, 저장, 갱신 등을 수행하여 관리할 수 있다.
일 예로, 3D 모델 생성부(310)는 특정 건설 공간에 대한 3D 모델을 제공받아 저장할 수 있다.
일 예로, 3D 모델 생성부(310)는 특정 건설 공간에 대한 2D 데이터(예컨대, 2D 설계도)를 기초로 특정 공간에 대한 3D 모델을 생성할 수 있다(S410). 예컨대, 3D 모델 생성부(310)는 특정 건설 공간에 대한 2D 데이터와, 해당 특정 공간에 대한 깊이 데이터(예컨대, 뎁스 스캐닝 데이터)를 제공받고, 이를 기반으로 해당 특정 공간에 대한 3D 모델을 생성할 수 있다. 이에 대해서는 도 5를 참조하여 후술한다.
3D 공간 할당부(320)는 특정 건설 공간을 각각의 카메라의 촬영 범위가 커버 가능하게 공간을 할당하도록 복수의 카메라의 위치를 결정할 수 있다(S420).
3D 공간 할당부(320)는 카메라의 촬영 범위를 설정할 수 있다. 예컨대, 카메라의 종류에 따라 각 카메라의 촬영 범위를 설정할 수 있다. 또는 관리자의 입력에 따라 각 카메라의 촬영 범위를 설정할 수 있다.
3D 공간 할당부(320)는 설정된 카메라의 촬영 범위를 기초로, 특정 건설 공간이 커버되도록 복수의 카메라의 설치 위치인 복수의 카메라 포지션을 결정할 수 있다.
일 실시예에서, 3D 공간 할당부(320)는 특정 건설 공간에 대한 3D 모델을 기초로, 특정 건설 공간을 관리 영역과 비 관리 영역으로 구분 식별할 수 있다. 예컨대, 관리 영역은 위험상황의 발생을 모니터링하는 대상 영역이고, 비 관리 영역은 관리 영역을 제외한 영역이다. 일 예로, 관리 영역은 위험상황 판단부(340)에서 제공하는 특정 건설 공간에 대한 위험도 구분 정보에 따라 설정될 수 있다. 위험상황 판단부(340)는 일정 기간 이상동안 수행된 위험 상황 판단 결과를 기초로, 특정 건설 공간을 위험도에 따라 차등적으로 구분할 수 있고, 3D 공간 할당부(320)는 이러한 차등적인 위험도를 기초로 위험도가 일정 이상(예컨대, 위험도가 존재하거나 그 이상인) 공간들을 관리 영역으로 설정할 수 있다. 이와 같이, 3D 공간 할당부(320)의 관리 영역은 위험상황 판단부(340)의 판단 결과가 피드백되어 재 설정될 수 있으며, 이는 특정 건설 공간의 실제적인 위험 상황에 맞추어 관리 영역을 보다 정확하게 반영할 수 있는 효과를 가지게 된다.
객체 탐지부(330)는 복수의 카메라 포지션에 위치한 복수의 카메라로부터 각각 촬영 영상을 획득하고, 획득된 복수의 촬영 영상에 대하여 영상 인식을 기반으로 관찰 객체를 식별할 수 있다.
일 예로, 객체 탐지부(330)는 딥 러닝 기반의 객체 탐지 기법을 이용하여 관찰 객체를 식별할 수 있다. 관찰 객체는 사전에 설정된 종류로 특정될 수 있고, 각 관찰 객체의 종류별로 각각 개별적으로 학습된 딥 러닝 모듈을 사용할 수 있다. 이러한 딥 러닝 모듈에는 CNN, DCNN, R-CNN, Fast R-CNN, Mask R-CNN 등 다양한 방식이 적용될 수 있다.
위험상황 판단부(340)는 객체 탐지부(330)에서 제공되는 관찰 객체에 대한 정보 및 촬영 영상을 기초로 위험 상황이 발생하였는지 여부를 판단할 수 있다(S430).
일 예로, 위험상황 판단부(340)는 객체 자체에 대한 분석으로서 비 시계열적 특징을 기반을 하는 위험 상황 판단을 수행할 수 있다. 예컨대, 사람 객체가 안전 장구를 착용하였는지 등을 분석할 수 있다.
일 예로, 위험상황 판단부(340)는 객체에 대하여 시계열적으로 연관되는 데이터 셋(이하, '시계열 추적 데이터 셋'이라 칭함)을 생성하고, 시계열 추적 데이터 셋을 기초로 시계열적인 객체의 연관성을 기초로 하는 위험 상황 판단을 수행할 수 있다. 예컨대, 사람 객체가 추락 위험 지역으로의 접근 여부 등을 분석할 수 있다.
일 예로, 위험상황 판단부(340)는 비 시계열적 특징을 기반으로 하는 위험 상황 판단과, 시계열 추적 데이터 셋을 기초로 시계열적인 객체의 연관성을 기초로 하는 위험 상황 판단을 조합하여 수행할 수 있다.
이러한 위험상황 판단부(340)의 다양한 실시예에 대해서는 도 12 내지 도 15를 참조하여 이하에서 후술한다.
상황 전파부(350)는 위험상황 판단부(340)에서 위험 상황이 발생한 것으로 판단하면, 해당 위험 상황을 전파할 수 있다(S440). 예컨대, 상황 전파부(350)는 위험 상황에 대응되는 전파 대상을 확인하고, 확인된 전파 대상에게 해당 위험 상황에 대한 내용을 전파할 수 있다.
이상에서 설명한 관리 서버(300)의 각 구성요소인 3D 모델 생성부(310) 내지 상황 전파부(350)는 관리 서버의 기능을 설명하기 위한 것으로, 실제 구현에 있어서는 개별적인 소프트웨어, 소프트웨어의 각 기능이나 모듈, 또는 전용 하드웨어로 구현 등과 같이 다양하게 구현될 수 있다.
도 5는 본 발명의 일 실시예에 따른 3D 모델 생성 방법을 설명하는 순서도이다. 도 5에 도시된 일 실시예는 특정 건설 공간에 대하여 스캐닝을 수행하고, 관리서버(300), 즉, 3D 모델 생성부(310)가 그에 의한 스캐닝 데이터를 기초로 특정 건설 공간에 대하여 3D 모델을 생성하는 경우에 대한 것이다.
이러한 실시예에서, 위험관리 시스템은 스캐너를 더 포함할 수 있다. 스캐너는 특정 건설 공간에 실측을 위하여 사용될 수 있으며, 예컨대, 관리자는 특정 건설 공간의 여러 촬영 지점에서 스캐너를 이용하여 360도 뎁스 스캐닝을 수행할 수 있다(S511).
스캐너(200)는 각각의 촬영 지점에 대한 정보 및 각 촬영 지점에서 생성된 360도 뎁스 데이터를 포함하는 스캐닝 데이터 셋을 생성할 수 있다. 스캐너(200)는 생성한 스캐닝 데이터 셋을 관리 서버에 제공할 수 있다(S512).
관리 서버(300)는, 특정 건설 공간에 대한 스캐닝 데이터 셋을 수신하고, 스캐닝 셋을 기초로 특정 실내 공간에 대한 기초 3D 모델을 생성할 수 있다(S513).
예컨대, 관리 서버(300)는, 상기 복수의 촬영 지점을 통합 좌표계에 반영할 수 있다. 이러한 통합 좌표계를 통하여 복수의 촬영 지점을 하나의 절대 좌표계에 반영할 수 있다. 이후, 관리 서버(300)는, 복수의 360도 뎁스 데이터를 통합 좌표계의 각 촬영 지점에 투영하여 포인트 클라우드를 생성하고, 생성된 포인트 클라우드에 대하여 텍스처링을 수행하여 기초 3D 모델을 생성할 수 있다.
관리 서버(300)는, 특정 실내 공간에 대한 2D 데이터, 예컨대, 2차원 도면을 기초로, 기초 3D 모델을 보정하여 특정 실내 공간에 대한 3D 모델, 즉, 최종 3D 모델을 생성할 수 있다(S522).
관리 서버(300)는, 3D 모델에 대하여 관리 영역을 설정할 수 있다.
일 실시예로, 관리 서버(300)는, 모든 3D 모델의 영역을 관리 영역으로 설정할 수 있다. 이후, 안전 사고 감지 이력을 기초로, 3D 모델에서 위험 관리가 보다 높게 요구되는 영역을 식별하여 관리 영역으로서 재 설정할 수 있다(S523). 예컨대, 사람 객체가 일정 이상 존재하는 영역, 자재 객체가 존재하는 영역, 장비 객체가 구동되는 영역, 위험 상황이 발생한 영역을 식별하고, 이들을 관리 영역으로서 재 설정할 수 있다(S523).
이하에서는 도 6 내지 도 11을 참조하여 관리서버의 3D 공간 할당부의 실시예들에 대하여 설명한다.
도 6은 본 발명의 일 실시예에 따른 카메라 포지션 결정 방법을 설명하는 순서도이다. 도 6에 도시된 카메라 포지션 결정 방법은 3D 공간 할당부(320)에 의하여 수행되며, 3D 공간 할당부(320)는 3차원 공간에 대하여 폐색 영역을 검출하고 이를 기초로 카메라의 배치를 최적화한다.
3D 공간 할당부(320)는, 3D 모델 생성부(310)로부터 특정 건설 공간에 대한 3D 모델 및 그의 관리 영역 정보를 수신하여 확인할 수 있다(S610). 관리 영역이 3D 모델의 전체에 해당하는 경우, 관리 영역 정보는 생략될 수 있다.
3D 공간 할당부(320)는, 복수의 카메라 각각에 대하여, 카메라의 촬영 범위로서 피라미드 모양의 시야 절두체를 설정할 수 있다(S620).
3D 공간 할당부(320)는, 복수의 시야 절두체가 3D 모델의 관리 영역에서 폐색영역을 생성하지 않도록 하는 복수의 카메라 포지션 시나리오를 생성할 수 있다(S630).
3D 공간 할당부(320)는, 복수의 카메라 포지션 시나리오에 대한 효율 평가를 기초로 적어도 하나의 카메라 포지션 시나리오를 선택하고, 선택된 적어도 하나의 카메라 포지션 시나리오를 카메라 포지션으로서 결정할 수 있다(S640).
예컨대, 도 8의 알고리즘 1은 폐색 영역을 검측하는 알고리즘이고, 알고리즘 2는 최적화 알고리즘의 일 예이다. 도 7은 도 8의 알고리즘에 따라 가로 10m*세로 10m*높이 5m의 가상 공간에 대하여 폐색 영역이 없이 8개의 카메라가 배치되는 카메라 포지션이 결정된 예를 도시하고 있다.
도 9은 도 3에 도시된 관리서버의 3D 공간 할당부의 일 실시예를 설명하는 블록 구성도이고, 도 10는 도 9에 도시된 3D 공간 할당부에 따른 카메라 포지션 결정 방법을 설명하는 순서도이다. 도 9 및 도 10에 도시된 일 실시예에서는, 3D 모델의 BIM 정보를 이용하여 최적 카메라 포지션을 결정하는 일 실시예에 관한 것이다.
도 9 및 도 10을 참조하면, 3D 공간 할당부(320)는 비주얼 셀 설정모듈(321), 카메라 설치영역 결정모듈(322), 설치 시나리오 설정모듈(323) 및 시뮬레이션 모듈(324)를 포함할 수 있다.
비주얼 셀 설정모듈(321)은 3D BMI 모델 및 카메라 정보를 입력받고, 3D 모델의 관리 영역을 기 설정된 그리드 단위로 분할하여 복수의 비주얼 셀로 구분하여 설정할 수 있다(S910).
여기에서, 3D BMI 모델은 3D 모델 및 BIM(Building Information Modeling) 정보를 포함하며, BIM(Building Information Modeling) 정보는 카메라 설치 가능 정보를 포함한다.
카메라 설치영역 결정모듈(322)은 BIM 정보를 이용하여 3D 모델에서 카메라 설치 가능 영역을 식별하여 설정할 수 있다(S920). 예컨대, BIM 정보는 기하학적 구속조건, 물리적 장애물, 천장과 바닥의 높이 등에 대한 정보를 포함할 수 있으며, 카메라 설치영역 결정모듈(322)은 카메라 설치가 가능한 벽이나 천장 등 카메라 설치가 가능한 오브젝트를 카메라 설치 가능 영역으로서 설정할 수 있다.
설치 시나리오 설정모듈(323)은 카메라의 설치 개수 정보 및 카메라의 타입 정보를 포함하는 설치 시나리오를 설정할 수 있다(S930). 카메라 타입 정보는 카메라의 촬영 각도(시야 범위)에 대한 정보를 포함할 수 있다.
설치 시나리오 설정모듈(323)은 카메라 설치 가능 영역 및 설치 시나리오를 기초로 복수의 설치 시뮬레이션을 생성할 수 있고(S940), 시뮬레이션 모듈(324)은 복수의 설치 시뮬레이션을 대상으로 비주얼 셀 커버 평가를 수행하고, 비주얼 셀 커버 평가를 기초로 선별된 적어도 하나의 설치 시뮬레이션을 최적 설치 시뮬레이션으로서 설정할 수 있다(S950).
도 11은 도 9 및 도 10의 일 실시예에 따른 카메라 포지션 시뮬레이션의 6가지 예를 도시하며, 설치 시나리오 설정모듈(323)에 의해 각각 카메라를 4개, 4개, 3개, 2개, 2개, 3개를 포함하는 6개의 시뮬레이션(solution) 이 도출되었음을 알 수 있다. 시뮬레이션 모듈(324)은 이러한 각각의 시뮬레이션에 대하여 커버리지(coverage)와 총 비용(total cost) 2가지를 평가 요소로 서정하고, 이를 기초로 평가를 수행할 수 있다.
이하에서는 도 12 내지 도 15를 참조하여 관리서버의 객체 탐지부 및 위험상황 판단부의 실시예들에 대하여 설명한다.
도 12은 도 3에 도시된 관리서버의 객체 탐지부 및 위험상황 판단부의 일 실시예를 설명하는 블록 구성도이고, 도 13는 도 12에 도시된 위험상황 판단부에서 수행되는 위험상황 판단 방법의 일 예를 설명하는 순서도이다.
도 12 및 도 13을 참조하면, 객체 탐지부(330)는 사람 객체 식별모듈(331), 장비 객체 식별모듈(332), 자재 객체 식별모듈(333) 및 가시설 객체 식별모듈(334)을 포함할 수 있다.
객체 탐지부(330)는 카메라 포지션에 설치된 복수의 카메들로부터 각각 촬영 이미지를 제공받고, 제공받은 이미지에서 관찰 객체를 식별하여 인식할 수 있다. 사람 객체 식별모듈(331)은 촬영 이미지에서 관찰 객체로서 사람 객체를 식별하고, 장비 객체 식별모듈(332)은 촬영 이미지에서 관찰 객체로서 중장비, 경장비 등의 장비 객체를 식별할 수 있다. 자재 객체 식별모듈(333)은 촬영 이미지에서 관찰 객체로서 건설 자재를 식별할 수 있고, 가시설 객체 식별모듈(334)은 관찰 객체로서 건설 현장에서의 거푸집 등의 가시설을 식별할 수 있다.
이러한 객체 탐지부(330)의 각 구성요소는 딥 러닝 기반의 학습을 기초로 각각 관찰 객체를 식별할 수 있으며, 이를 위하여 식별 대상이 되는 각각의 객체에 대한 대량의 학습 데이터를 기초로 학습이 수행된 학습 모델을 포함할 수 있다. 즉, 사람 객체 식별모듈(331)은 건설 현장 등에서의 다양한 사람 객체가 포함된 복수의 이미지에 대하여 학습하고, 장비 객체 식별모듈(332)은 장비 객체가 포함된 복수의 이미지에 대하여, 자재 객체 식별모듈(333)은 자재 객체가 포함된 복수의 이미지에 대하여, 가시설 객체 식별모듈(334)은 가시설 객체가 포함된 복수의 이미지에 대하여 사전 학습된 학습 모델을 포함하고, 이를 기반으로 객체를 식별할 수 있다.
위험상황 판단부(340)는 객체 탐지부(330)에서 탐지된 객체를 기반으로 위험 상황이 발생하였는지 판단할 수 있다.
위험상황 판단부(340)는 객체기반 위험탐지 모듈(341), 위치추적 기반 위험탐지 모듈(342) 및 위험상황 판단모듈(344)를 포함할 수 있다.
객체기반 위험탐지 모듈(341)은 관찰 객체 자체에 대하여, 비 시계열적 특징을 기반으로 위험 상황 요건을 만족하는지 판단할 수 있다(S1210). 예컨대, 객체기반 위험탐지 모듈(341)은 특정 장면, 즉, 비 시계열적인 정지된 촬상 이미지 자체에 대한 분석을 기초로 위험 여부를 판단할 수 있다.
예컨대, 객체기반 위험탐지 모듈(341)은 관찰 객체인 사람 객체에서 헬멧 객체가 착용되었는지 판단하여, 위험 상황 요건에 해당하는지 판단할 수 있다.
위치추적 기반 위험탐지 모듈(342)은 관찰 객체에 대한 시계열적 특징을 기반으로 위험 상황 요건에 해당하는지 판단할 수 있다.
위치추적 기반 위험탐지 모듈(342)은 관찰 객체에 대한 시계열적 특징을 가지는 시계열 추적 데이터 셋을 설정하고, 시계열 추적 데이터 셋을 기초로 시계열적 특징 요건을 가지는 위험 상황 요건을 만족하는지 판단할 수 있다.
예컨대, 위치추적 기반 위험탐지 모듈(342)은, 장비 객체, 자재 객체 및 가시설 객체를 기초로 위험 위치를 설정할 수 있다(S1220). 이후, 위치추적 기반 위험탐지 모듈(342)은, 사람 객체 중에서 위험 위치와 인접한 사람 객체-이를 유의 사람 객체라 칭함-를 식별하고, 유의 사람 객체에 대하여 시계열 추적 데이터 셋을 생성할 수 있다. 위치추적 기반 위험탐지 모듈(342)은, 각각의 시계열 추적 데이터 셋에서 위험 시나리오에 해당하는 상황이 발생하는지 판단할 수 있다(S1230). 예컨대, 사람이 중장비 객체에 일정 이상 가까이 접근하는 경우 등이 위험 시나리오에 설정되어 있을 수 있고, 위치추적 기반 위험탐지 모듈(342)은 이러한 위험 시나리오에 해당하는 상황이 발생하는지 판단할 수 있다.
위험상황 판단모듈(344)은 객체기반 위험탐지 모듈(341)의 탐지 결과 및 위치추적 기반 위험탐지 모듈(342)의 탐지 결과를 입력받고, 탐지 결과에 따른 위험 상황의 발생 정보를 생성할 수 있다(S1240). 위험상황 판단모듈(344)은 생성된 위험 상황에 대한 메타 정보를 포함하는 발생 정보를 생성할 수 있으며, 이러한 메타 정보에는 위험 상황 정보, 위험 위치 정보, 위험 영역에 대한 정보를 포함할 수 있다. 이러한 메타 정보는 3D 공간 할당부에 제공되어 3D 공간 재할당에 활용될 수 있다.
도 14은 도 3에 도시된 관리서버의 객체 탐지부 및 위험상황 판단부의 다른 일 실시예를 설명하는 블록 구성도이고, 도 15는 도 14에 도시된 위험상황 판단부에서 수행되는 위험상황 판단 방법의 일 예를 설명하는 순서도이다. 도 14에서 위험상황 판단부(340)는 도 12의 실시예에서 동작 기반 위험탐지 모듈(343)을 더 포함하는 실시예에 관한 것이다.
객체기반 위험탐지 모듈(341)은 관찰 객체 자체에 대하여, 비 시계열적 특징을 기반으로 위험 상황 요건을 만족하는지 판단할 수 있고(S1410), 위치추적 기반 위험탐지 모듈(342)은, 장비 객체, 자재 객체 및 가시설 객체를 기초로 위험 위치를 설정하고(S1420), 사람 객체 중에서 유의 사람 객체를 식별하고, 유의 사람 객체에 대하여 시계열 추적 데이터 셋을 생성할 수 있다. 위치추적 기반 위험탐지 모듈(342)은, 각각의 시계열 추적 데이터 셋에서 위험 시나리오에 해당하는 상황이 발생하는지 판단할 수 있다(S1430). 이러한 내용은 도 12 내지 도 13을 참조하여 상술한 바로부터 쉽게 이해할 수 있다.
동작 기반 위험탐지 모듈(343)은 사람 객체의 동작을 분석하여 동작 위험 시나리오에 해당하는 상황이 발생하는지 판단할 수 있다(S1440). 동작 기반 위험탐지 모듈(343)은 사람 객체 자체에 대하여 시계열적 추적 데이터 셋을 생성하고, 시계열적 추적 데이터 셋에서의 사람 객체의 동작 변화를 분석하여 동작 위험 시나리오에 해당하는 상황이 발생하는지 판단할 수 있다. 예컨대, 연속되는 사람의 동작이 서 있는 자세에서 쓰러지는 자세로 변화하는 경우, 동작 기반 위험탐지 모듈(343)은 해당 사람 객체에 대해 쓰러짐 동작 위험 시나리오에 해당됨을 판독하고 위험탐지를 수행할 수 있다.
위험상황 판단모듈(344)은 객체기반 위험탐지 모듈(341), 위치추적 기반 위험탐지 모듈(342) 및 동작 기반 위험탐지 모듈(343)로부터 각각 탐지 결과를 입력받고, 탐지 결과에 따른 위험 상황의 발생 정보를 생성할 수 있다(S1240). 위험상황 판단모듈(344)은 생성된 위험 상황에 대한 메타 정보를 포함하는 발생 정보를 생성할 수 있으며, 이러한 메타 정보에는 위험 상황 정보, 위험 위치 정보, 위험 영역에 대한 정보를 포함할 수 있다. 이러한 메타 정보는 3D 공간 할당부에 제공되어 3D 공간 재할당에 활용될 수 있다.
이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고 후술하는 특허청구범위에 의해 한정되며, 본 발명의 구성은 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 그 구성을 다양하게 변경 및 개조할 수 있다는 것을 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 쉽게 알 수 있다.
100 : 카메라
200 : 스캐너
300 : 관리 서버 500 : 관리자 단말
301 : 메모리 302 : 운영체제
303 : 프로세싱 유닛 304 : 저장장치
305 : 입력장치 306 : 출력장치
307 : 통신장치
310 : 3D 모델 생성부 320 : 3D 공간 할당부
330 : 객체 탐지부 340 : 위험상황 판단부
350 : 상황 전파부
321 : 비주얼 셀 설정모듈 322 : 카메라 설치영역 설정모듈
323 : 설치 시나리오 설정모듈 324 : 시뮬레이션 모듈
331 : 사람 객체 식별모듈 332 : 장비 객체 식별모듈
333 : 자재 객체 식별모듈 334 : 가시설 객체 식별모듈
341 : 객체기반 위험탐지 모듈 342 : 위치추적 기반 위험탐지 모듈
343 : 동작기반 위험탐지 모듈 344 : 위험상황 판단모듈
300 : 관리 서버 500 : 관리자 단말
301 : 메모리 302 : 운영체제
303 : 프로세싱 유닛 304 : 저장장치
305 : 입력장치 306 : 출력장치
307 : 통신장치
310 : 3D 모델 생성부 320 : 3D 공간 할당부
330 : 객체 탐지부 340 : 위험상황 판단부
350 : 상황 전파부
321 : 비주얼 셀 설정모듈 322 : 카메라 설치영역 설정모듈
323 : 설치 시나리오 설정모듈 324 : 시뮬레이션 모듈
331 : 사람 객체 식별모듈 332 : 장비 객체 식별모듈
333 : 자재 객체 식별모듈 334 : 가시설 객체 식별모듈
341 : 객체기반 위험탐지 모듈 342 : 위치추적 기반 위험탐지 모듈
343 : 동작기반 위험탐지 모듈 344 : 위험상황 판단모듈
Claims (9)
- 실내 공간의 복수의 촬영 지점에서 각각 생성되는 복수의 데이터 셋-데이터 셋은 색상 이미지 및 뎁스 이미지를 포함함-을 기초로 3차원 가상 모델을 생성하는 컴퓨팅 장치에서 수행되는 방법으로서,
상기 복수의 촬영 지점을 3차원 좌표계에 투영하는 단계;
상기 복수의 데이터 셋에 포함된 색상 이미지에서 벽면을 식별하고, 식별된 벽면을 기초로 뎁스 이미지를 가공하는 단계;
상기 3차원 좌표계에 투영된 복수의 촬영 지점을 기준으로, 각각의 촬영 지점에 연관된 색상 이미지 및 가공된 뎁스 이미지를 반영하여 3차원 가상 모델을 생성하는 단계; 및
상기 3차원 가상 모델을 기초로, 2차원 평면도를 생성하는 단계; 를 포함하는,
3차원 모델 기반의 평면도 생성 방법.
- 제1항에 있어서, 상기 식별된 벽면을 기초로 뎁스 이미지를 가공하는 단계는,
색상 이미지에서 식별된 벽면과 대응되는 영역에 대한 제1 뎁스 정보를 선택하는 단계;
색상 이미지에서 벽면 외의 이미지 요소를 식별하는 단계; 및
상기 벽면 외의 이미지 요소에 대응되는 제2 뎁스 정보를, 상기 제1 뎁스 정보를 기초로 재 설정하는 단계; 를 포함하는,
3차원 모델 기반의 평면도 생성 방법.
- 제1항에 있어서, 상기 실내 공간의 내벽면에 해당하는 제1 평면 그룹 또는 그 외 평면에 해당하는 제2 평면 그룹 중 어느 하나로 구분하는 단계는,
상기 복수의 평면 중에서 기초 평면을 식별하는 단계;
상기 복수의 평면의 나머지 평면 각각에 대해, 상기 기초 평면과의 기하학적 관계를 기초로 상기 제1 평면 그룹 또는 상기 제2 평면 그룹 중 어느 하나로 구분하는 단계; 를 포함하는,
3차원 모델 기반의 평면도 생성 방법.
- 제3항에 있어서,
상기 기초 평면은 상기 실내 공간의 바닥면에 대응하는 평면인,
3차원 모델 기반의 평면도 생성 방법.
- 제3항에 있어서, 상기 제1 평면 그룹 또는 상기 제2 평면 그룹 중 어느 하나로 구분하는 단계는,
상기 나머지 평면 중에서 어느 하나의 평면을 선택하는 단계;
상기 어느 하나의 평면이 상기 기초 평면에 대해 연속적이고 또한 기 설정된 각도 관계에 해당하면, 상기 어느 하나의 평면을 상기 제1 평면 그룹으로 설정하는 단계; 및
상기 어느 하나의 평면이 상기 제1 평면 그룹에 속하는 어느 평면에 대해 연속적이고 또한 기 설정된 각도 관계에 해당하면, 상기 어느 하나의 평면을 상기 제1 평면 그룹으로 설정하는 단계; 를 포함하는,
3차원 모델 기반의 평면도 생성 방법.
- 제3항에 있어서, 상기 제1 평면 그룹 또는 상기 제2 평면 그룹 중 어느 하나로 구분하는 단계는,
상기 나머지 평면 중에서 어느 하나의 평면을 선택하는 단계;
상기 어느 하나의 평면이 상기 기초 평면에 대해 연속적이고 또한 기 설정된 각도 관계에 해당하면, 상기 어느 하나의 평면을 상기 제1 평면 그룹으로 설정하는 단계; 및
상기 어느 하나의 평면이 상기 제1 평면 그룹에 속하는 어느 평면에 대해 연속적이고 또한 기 설정된 각도 관계에 해당하면, 상기 어느 하나의 평면을 상기 제1 평면 그룹으로 설정하는 단계; 를 포함하는,
제5항에 있어서, 상기 제1 평면 그룹 또는 상기 제2 평면 그룹 중 어느 하나로 구분하는 단계는,
상기 어느 하나의 평면이 상기 기초 평면에 대해 수직 관계에 해당하지 않으면, 상기 제2 평면 그룹으로 설정하는 단계; 를 더 포함하는,
3차원 모델 기반의 평면도 생성 방법.
- 제3항에 있어서, 상기 제1 평면 그룹 또는 상기 제2 평면 그룹 중 어느 하나로 구분하는 단계는,
상기 나머지 평면 중에서 어느 하나의 평면을 선택하는 단계;
상기 나머지 평면들 각각에 대하여 법선 벡터를 계산하는 단계;
법선 벡터가 상기 기초 평면에 대해 수평 관계에 해당되는 평면을 상기 제1 평면 그룹으로 설정하는 단계; 및
법선 벡터가 상기 기초 평면에 대해 수평 관계에 해당되지 않는 평면을 상기 제2 평면 그룹으로 설정하는 단계; 를 포함하는,
3차원 모델 기반의 평면도 생성 방법.
- 3차원 모델 기반의 평면도 생성 방법.
- 컴퓨터 판독 가능한 인스트럭션들(instructions)을 저장하고 있는 저장 매체에 있어서,
상기 인스트럭션들은, 컴퓨팅 장치에 의해 실행될 때, 상기 컴퓨팅 장치로 하여금,
특정 건설 공간에 대한 3D (3Dimension) 모델을 확인하는 동작;
카메라의 촬영 범위를 설정하고, 상기 카메라의 촬영 범위를 기초로 상기 특정 건설 공간에 대한 3D 모델의 관리 영역-상기 관리 영역은 위험상황의 발생을 모니터링하는 대상 영역임-이 커버되도록 복수의 카메라의 설치 위치인 복수의 카메라 포지션을 결정하는 동작; 및
복수의 카메라 포지션에 위치한 복수의 카메라로부터 각각 촬영 영상을 획득하고, 획득된 복수의 촬영 영상에 대하여 영상 인식을 기반으로 객체에 대한 시계열 추적 데이터 셋을 설정하고, 설정된 상기 시계열 추적 데이터 셋을 기초로 상기 특정 건설 공간의 관리 영역에 대한 위험 상황 발생 여부를 판단하는 동작; 을 수행하도록 하는,
저장 매체.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020220125395A KR20240045730A (ko) | 2022-09-30 | 2022-09-30 | 3차원 모델 기반의 평면도 생성 방법 및 그를 위한 시스템 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020220125395A KR20240045730A (ko) | 2022-09-30 | 2022-09-30 | 3차원 모델 기반의 평면도 생성 방법 및 그를 위한 시스템 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20240045730A true KR20240045730A (ko) | 2024-04-08 |
Family
ID=90715251
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020220125395A KR20240045730A (ko) | 2022-09-30 | 2022-09-30 | 3차원 모델 기반의 평면도 생성 방법 및 그를 위한 시스템 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20240045730A (ko) |
-
2022
- 2022-09-30 KR KR1020220125395A patent/KR20240045730A/ko unknown
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11043026B1 (en) | Systems and methods for processing 2D/3D data for structures of interest in a scene and wireframes generated therefrom | |
Chen et al. | A BIM-based location aware AR collaborative framework for facility maintenance management. | |
US11816907B2 (en) | Systems and methods for extracting information about objects from scene information | |
Xia et al. | Automated semantic segmentation of bridge point cloud based on local descriptor and machine learning | |
Bassier et al. | Automated classification of heritage buildings for as-built BIM using machine learning techniques | |
JP6221390B2 (ja) | 画像処理装置、プログラム、および画像処理方法 | |
CN112634340A (zh) | 基于点云数据确定bim模型的方法、装置、设备和介质 | |
Li et al. | 3D model-based scan planning for space frame structures considering site conditions | |
US20240202381A1 (en) | Customizable reinforcement learning of column placement in structural design | |
Albahri et al. | Simulation-based optimization of surveillance camera types, number, and placement in buildings using BIM | |
Li et al. | Geometrical model based scan planning approach for the classification of rebar diameters | |
Levine et al. | Development of a building information model-guided post-earthquake building inspection framework using 3D synthetic environments | |
Awadallah et al. | Automated multiclass structural damage detection and quantification using augmented reality | |
CN117350974A (zh) | 一种工程质量确定方法、装置、设备和介质 | |
Zhao et al. | Optimal visual sensor planning | |
Yoon et al. | UAV-based automated 3D modeling framework using deep learning for building energy modeling | |
KR20240045730A (ko) | 3차원 모델 기반의 평면도 생성 방법 및 그를 위한 시스템 | |
CN116861543A (zh) | 基于bim模型的脚手架力学分析方法及系统 | |
Achakir et al. | Non-Model-Based approach for complete digitization by TLS or mobile scanner | |
Fan et al. | Enhancing situational awareness with adaptive firefighting drones: leveraging diverse media types and classifiers | |
Zhao et al. | Optimal Visual Sensor Network Configuration. | |
KR102087076B1 (ko) | 무인기 항공 측량시 폐색 영역 발생에 대한 예측 시스템 및 이를 이용한 무인기의 최적 항공 경로 결정 방법 | |
Ergen et al. | Blockage assessment of buildings during emergency using multiple types of sensors | |
Jang et al. | Precast concrete project image dataset for deep learning object detection | |
Capocchiano et al. | An original algorithm for BIM generation from indoor survey point clouds |