KR102420856B1

KR102420856B1 - 이미지를 이용한 3차원 객체의 존재 판독 방법 및 그 장치

Info

Publication number: KR102420856B1
Application number: KR1020210052127A
Authority: KR
Inventors: 배석훈; 박준영
Original assignee: 주식회사 큐픽스
Priority date: 2021-04-22
Filing date: 2021-04-22
Publication date: 2022-07-14
Also published as: KR20220145752A; US20220343661A1

Abstract

본 발명은 이미지를 이용한 3차원 객체의 존재 판독 방법 및 그 장치에 관한 것으로서, 더욱 상세하게는 2차원 이미지들을 사용하여 3차원 객체가 그 이미지들에 존재하는지 여부를 판독하기 위한 이미지를 이용한 3차원 객체의 존재 판독 방법 및 그 장치에 관한 것이다.
본 발명의 이미지를 이용한 3차원 객체의 존재 판독 방법 및 그 장치는 2차원 이미지들을 사용하여 공간 내에 3차원 객체의 존재 여부를 정확하고 빠르게 판독함으로써 생산성을 향상시키는 효과가 있다.

Description

이미지를 이용한 3차원 객체의 존재 판독 방법 및 그 장치{Method and Device for Examining the Existence of 3D Objects Using Images}

본 발명은 이미지를 이용한 3차원 객체의 존재 판독 방법 및 그 장치에 관한 것으로서, 더욱 상세하게는 2차원 이미지들을 사용하여 3차원 객체가 그 이미지들에 존재하는지 여부를 판독하기 위한 이미지를 이용한 3차원 객체의 존재 판독 방법 및 그 장치에 관한 것이다.

공간 내에 존재하는 3차원 물체(객체)의 존재 여부나 그 물체가 정해진 위치에 있는지 여부를 파악하는 일은 여러 기술 분야에 수요가 존재한다.

예를 들어, 건축 분야에서는 건축 공사의 진행 상황을 파악하기 위하여 이와 같은 업무가 다양하게 필요하다. 건축 프로젝트가 설계 대로 진행되고 있는지 여부 및 설계를 기준으로 어느 정도 실제 공사가 진행되었는지 여부를 수시로 파악할 필요가 있다.

이와 같은 공사의 진행 상태를 파악하는 것은 건축 프로젝트의 관리 척도이며, 하청 업체의 공사 대금을 청구 및 정산하거나 공사 결과를 확인하기 위해서 필수적인 절차이며 수시로 발생하는 업무이다. 종래에는 사람이 공사 현장을 방문하여 육안으로 설계 도면과 비교하고 실제 측정 또는 측량에 의해 도면과 비교하는 방법으로 이와 같은 업무를 처리하였다. 이러한 업무를 사람이 직접 수행하는 것은 많은 시간과 노력을 필요로 하고 높은 비용이 소요된다. 따라서 이와 같이 설계 도면과 실제 시공 상태를 비교하여 시공의 진행 상태를 파악하는 업무를 자동으로 수행할 수 있다면, 많은 시간과 노력 및 비용을 절감할 수 있다.

최근에는 건축물의 설계, 시공 및 관리가 모두 3차원 BIM(Building Information Model)을 중심으로 이루어지면서 획기적으로 생산성과 효율을 향상시키고 있다. 이로 인해 신축 건물의 경우에는 3차원 BIM을 설계 단계부터 도입하는 비율이 점차 높아지고 있다. 또한 스마트 시티와 같은 도시 전체의 디지털 모델을 기반으로 한 도시 운영 효율성 제고 시스템에도 BIM은 기본적인 건축물 표현 데이터베이스로 활용된다.

따라서, 이와 같은 BIM과 같은 시스템에 적용하여 현장에서 촬영한 사진과 3차원 BIM 모델을 비교함으로써 특정 3차원 모델(객체)가 촬영된 사진에 존재하는지 여부를 자동으로 파악할 수 있다면, 많은 시간과 비용을 절감하고 생산성을 향상시킬 수 있다.

본 발명은 상술한 바와 같은 필요성을 해결하기 위하여 안출된 것으로서, 사진 이미지들을 이용하여 특정 3차원 모델이 사진 이미지에 존재하는지 여부를 정확하고 빠르게 판독할 수 있는 이미지를 이용한 3차원 객체의 존재 판독 방법 및 그 장치를 제공하는 것을 목적으로 한다.

상술한 바와 같은 목적을 해결하기 위한 본 발명의 이미지를 이용한 3차원 객체의 존재 판독 방법은, (a) 이미지 수신 모듈이 복수의 사진 이미지들을 수신하고, 상기 복수의 사진 이미지들 각각의 위치와 방향과 투영 중심점을 획득하는 단계; (b) 객체 수신 모듈이 검사 대상 객체의 3차원 모델을 수신하는 단계; (c) 상기 객체 수신 모듈이 상기 검사 대상 객체의 좌표와 방향을 객체 좌표와 객체 방향으로서 수신하는 단계; (d) 공간 배치 모듈이 상기 복수의 사진 이미지들을 그 위치와 방향에 맞추어 3차원 공간에 배치하고 상기 검사 대상 객체의 3차원 모델을 상기 객체 좌표와 객체 방향에 따라 3차원 공간에 배치하는 단계; (e) 투영 모듈이 상기 (d) 단계에 의해 배치된 상기 복수의 사진 이미지들을 각각 상기 (d) 단계에 의해 배치된 상기 검사 대상 객체의 3차원 모델 표면에 투영하여 검사 투영 이미지들을 생성하는 단계; (f) 유사 판단 모듈이 상기 (e) 단계에서 생성된 상기 검사 투영 이미지들 사이의 유사성 여부를 검사하는 단계; 및 (g) 상기 (f) 단계에서 상기 유사 판단 모듈이 검사한 결과 상기 검사 투영 이미지들이 서로 유사한 것으로 판단된 경우, 객체 검사 모듈이 상기 사진 이미지들에 상기 검사 대상 객체가 존재하는 것으로 판단하는 단계;를 포함하는 점에 특징이 있다.

또한, 본 발명의 이미지를 이용한 3차원 객체의 존재 판독 장치는, 복수의 사진 이미지들을 수신하고, 상기 복수의 사진 이미지들 각각의 위치와 방향과 투영 중심점을 획득하는 이미지 수신 모듈; 검사 대상 객체의 3차원 모델을 수신하고 상기 검사 대상 객체의 좌표와 방향을 객체 좌표와 객체 방향으로서 수신하는 객체 수신 모듈; 상기 복수의 사진 이미지들을 그 위치와 방향에 맞추어 3차원 공간에 배치하고 상기 검사 대상 객체의 3차원 모델을 상기 객체 좌표와 객체 방향에 맞추어 3차원 공간에 배치하는 공간 배치 모듈; 상기 공간 배치 모듈에 의해 배치된 상기 복수의 사진 이미지들을 각각 상기 공간 배치 모듈에 의해 배치된 상기 검사 대상 객체의 3차원 모델 표면에 투영하여 검사 투영 이미지들을 생성하는 투영 모듈; 상기 투영 모듈에 의해 생성된 상기 검사 투영 이미지들 사이의 유사성 여부를 검사하는 유사 판단 모듈; 및 상기 유사 판단 모듈이 검사한 결과 상기 검사 투영 이미지들이 서로 유사한 것으로 판단된 경우, 상기 사진 이미지들에 상기 검사 대상 객체가 존재하는 것으로 판단하는 객체 검사 모듈;을 포함하는 점에 특징이 있다.

본 발명의 이미지를 이용한 3차원 객체의 존재 판독 방법 및 그 장치는 2차원 이미지들을 사용하여 공간 내에 3차원 객체의 존재 여부를 정확하고 빠르게 판독함으로써 생산성을 향상시키는 효과가 있다.

도 1은 본 발명의 일실시예에 따른 이미지를 이용한 3차원 객체의 존재 판독 장치의 블록도이다.
도 2는 도 1에 도시된 이미지를 이용한 3차원 객체의 존재 판독 장치를 이용하여 본 발명에 따른 이미지를 이용한 3차원 객체의 존재 판독 방법을 실시하는 과정을 설명하기 위한 순서도이다.
도 3 및 도 4는 도 1 및 도 2의 이미지를 이용한 3차원 객체의 존재 판독 방법 및 이미지를 이용한 3차원 객체의 존재 판독 장치를 설명하기 위한 도면이다.

이하에서는 첨부된 도면을 참조하여, 본 발명의 일실시예에 따른 이미지를 이용한 3차원 객체의 존재 판독 방법 및 그 장치에 대해 설명한다.

도 1은 본 발명의 일실시예에 따른 이미지를 이용한 3차원 객체의 존재 판독 장치의 블록도이다.

본 발명의 이미지를 이용한 3차원 객체의 존재 판독 방법 및 그 장치는 카메라에 의해 촬영하거나 다른 다양한 방법으로 얻은 2차원 사진 이미지에 검사 대상 객체가 존재하는지 여부를 자동으로 판독하기 위한 것이다.

도 1을 참조하면 본 실시예의 이미지를 이용한 3차원 객체의 존재 판독 장치는 이미지 수신 모듈(100)과 객체 수신 모듈(200)과 공간 배치 모듈(300)과 투영 모듈(400) 등을 포함하여 이루어진다.

이미지 수신 모듈(100)은 복수의 사진 이미지들을 수신한다. 이미지 수신 모듈(100)은 이와 같은 복수의 사진 이미지들 각각의 위치와 방향과 투영 중심점을 획득한다.

이미지 수신 모듈(100)은 복수의 사진 이미지들을 수신할 때 각 사진 이미지들에 대응하는 위치와 방향과 투영 중심점을 함께 수신할 수도 있고, 사진 이미지들을 분석하여 각각의 사진 이미지들의 위치와 방향과 투영 중심점을 계산할 수도 있다.

예를 들어, 이미지 수신 모듈(100)은 컴퓨터 비전이나 SfM(Structure from Motion) 방법을 이용하여 각 사진 이미지들의 3차원 공간 상의 위치와 방향과 투영 중심점을 계산할 수 있다. SfM 방법은 사진의 이미지만을 분석하여 각 사진 촬영 당시의 카메라의 3차원 좌표와 방향을 계산하는 기술이다. 이때 이미지 수신 모듈(100)은 사진 이미지들을 촬영한 디지털 카메라의 투영 중심점과 투영면 사이의 상대적 위치와 투영면(CMOS 이미지 센서, CCD 이미지 센서 등)의 크기와 같은 카메라 고유 파라미터(Camera Intrinsic Parameter)를 사용하여 각 사진 이미지들의 위치와 방향과 투영 중심점을 계산하게 된다.

이미지 수신 모듈(100)은 사진 이미지 촬영 당시의 관성 측정 센서, 가속도 센서 등의 센서 측정 값을 함께 이용하여 사진 이미지들의 위치와 방향을 계산할 수도 있다. 카메라에 의해 이미지 촬영을 할 때, 관성 측정 센서(IMU; Inertial Measurement Unit), 가속도 센서, 지자기 센서, 각변위 센서 등의 다양한 종류의 센서에 의해 측정된 값 또는 시간의 흐름에 따른 측정 값을 변화량을 이용하여 카메라의 위치와 방향을 계산할 수 있다. 예컨대, 가속도를 두번 적분하면 변위의 변화량를 계산할 수 있으므로, 이와 같은 방법으로 계산된 값을 이용하여 더욱 정확하게 또는 더욱 신속하게 카메라의 위치와 방향을 계산할 수 있다. 이와 같은 카메라의 위치와 방향을 이용하면 3차원 공간 상에서의 사진 이미지의 위치와 방향을 획득하는 것이 가능하다.

상술한 바와 같은 컴퓨터 비전 또는 SfM 방법과 각종 센서의 측정값을 복합적으로 사용하여 이미지 수신 모듈(100)이 사진 이미지들의 위치와 방향을 계산하는 것도 가능하다.

경우에 따라서는, 이미지 수신 모듈(100)은 상술한 바와 같은 방법으로 별도의 구성에 의해 사진 이미지들의 위치와 방향을 계산한 값을 사진 이미지들을 수신할 때 같이 수신하여 사용할 수도 있다.

상술한 방법 이외에 Visual Odometry, SLAM(Simultaneous Localization and Mapping), Machine Learning 과 같은 다른 다양한 방법이 사진 이미지들의 위치와 방향을 계산하기 위하여 사용될 수 있다.

또한, 이미지 수신 모듈(100)은 3차원 스캔 데이터와 사진 이미지들을 정렬하는 방식이나 3차원 스캔 데이터에서 2차원 이미지 형태의 사진 이미지들을 추출하는 방식으로 사진 이미지들의 위치와 방향을 획득할 수도 있다.

한편, 이미지 수신 모듈(100)이 수신하는 사진 이미지들은 디지털 카메라에 의해 촬영된 것들일 수도 있고 동영상의 이미지 프레임이 될 수도 있다.

객체 수신 모듈(200)은, 이미지 수신 모듈(100)이 수신한 사진 이미지들 상에 존재하는지 여부를 확인하고자 하는 검사 대상 객체의 3차원 모델과 그 검사 대상 객체의 3차원 공간 상의 좌표와 방향을 수신한다. 이하에서 검사 대상 객체의 좌표와 방향은 각각 객체 좌표와 객체 방향이라 칭하여 설명하기로 한다.

이와 같은 검사 대상 객체의 3차원 모델은 다양한 방법으로 마련되어 객체 수신 모듈(200)에 입력될 수 있다. 예를 들어, Revit, ArchiCAD, SketchUp, Inventor, SolidWorks 등과 같은 3차원 저작 소프트웨어를 사용하여 모델링된 3차원 모델을 객체 수신 모듈(200)이 수신할 수 있다. 경우에 따라서는 2차원 도면에서 3차원 모델로 변환된 형태나 3차원 스캐너에 의해 획득한 형태의 3차원 모델을 객체 수신 모듈(200)이 수신할 수도 있다.

객체 수신 모듈(200)은 이와 같이 검사 대상 객체의 3차원 모델을 수신하면서 그 검사 대상 객체가 3차원 공간 상에 존재하는지 여부를 확인하고자 하는 위치와 방향을 각각 객체 좌표와 객체 방향으로서 수신한다. 이와 같은 객체 좌표와 객체 방향은 사용자가 입력 장치를 사용하여 입력한 값을 객체 수신 모듈(200)이 수신할 수도 있고, 검사 대상 객체에 대한 정보가 저장된 데이터베이스로부터 객체 수신 모듈(200)이 수신할 수도 있다.

공간 배치 모듈(300)은 사진 이미지들(P1, P2)과 검사 대상 객체(O)를 3차원 공간에 배치한다. 공간 배치 모듈(300)은 도 3에 도시한 것과 같이 이미지 수신 모듈(100)이 수신한 사진 이미지들(P1, P2)을 그 위치와 방향에 맞추어 3차원 공간에 배치한다. 또한, 공간 배치 모듈(300)은 검사 대상 객체의 3차원 모델(O)도 객체 좌표와 객체 방향에 맞추어 3차원 공간에 배치한다.

투영 모듈(400)은 공간 배치 모듈(300)에 의해 배치된 사진 이미지들(P1, P2)을 각각 공간 배치 모듈(300)에 의해 배치된 검사 대상 객체(O)의 3차원 모델 표면에 투영하여 검사 투영 이미지들(T1, T2)을 생성한다. 투영 모듈(400)은 사진 이미지들(P1, P2)의 모든 화소들에 대해 카메라의 투영 중심점(M1, M2)에서 각 화소의 위치로 투사하여 검사 대상 객체(O)의 표면(surface)에 투영된 검사 투영 이미지들(T1, T2)을 생성한다. 투영 모듈(400)은 각각의 사진 이미지들(P1, P2)에 대해 이와 같은 과정을 거쳐서 각 사진 이미지들(P1, P2)마다 검사 대상 객체(O)에 대해 투영된 검사 투영 이미지들(T1, T2)을 생성한다. 도 4는 기둥 형태의 검사 대상 객체(O)에 대해 생성된 검사 투영 이미지들(T1, T2)을 각각 사진 이미지들(P1, P2)에 점선으로 표시한 것이다.

유사 판단 모듈(500)은 투영 모듈(400)이 생성한 검사 투영 이미지들(T1, T2) 사이의 유사성(image similarity) 여부를 검사한다. 이와 같은 검사 투영 이미지들(T1, T2) 사이의 유사성 여부를 판단하는 방법은 공지된 다양한 방법이 사용될 수 있다. 예를 들어 컴퓨터 비전, deep learning 방식, CNN(Convolutional Neural Network) 방식 등을 사용하여 검사 투영 이미지들 사이의 유사성 여부를 판단할 수 있다. 유사 판단 모듈(500)은 유사성 계산 결과 값이 미리 설정된 기준 값이나 임계치를 초과하는 경우 검사 투영 이미지들(T1, T2)이 서로 유사한 것으로 판단한다.

객체 검사 모듈(600)은, 유사 판단 모듈(500)이 검사한 결과 검사 투영 이미지들(T1, T2)이 서로 유사한 것으로 판단된 경우, 사진 이미지들(P1, P2)에 상기 검사 대상 객체(O)가 존재하는 것으로 판단한다. 검사 투영 이미지들(T1, T2)이 서로 유사하다는 것은 검사 대상 객체(O)가 실체 촬영된 공간의 객체 좌표에 객체 방향으로 존재한다는 것을 의미한다. 실제 검사 대상 객체(O)가 객체 좌표 및 객체 방향에서 촬영된 경우 검사 투영 이미지에는 실제 검사 대상 객체(O)의 모습이 존재하게 된다. 서로 다른 위치와 방향에서 촬영된 사진 이미지들(P1, P2)이라 하더라도 동일한 검사 대상 객체(O)를 포함한 장면을 촬영하여 얻어진 검사 투영 이미지들(T1, T2) 사이에는 유사성이 존재하게 된다. 따라서, 유사 판단 모듈(500)에 의해 검사 투영 이미지들(T1, T2)을 검사하면 유사성이 있는 것으로 판독된다. 실제 검사 대상 객체(O)가 존재한 상태로 사진 이미지들(P1, P2)에 촬영되었다 하더라도, 각 사진 이미지가 촬영된 위치와 방향에 따라 검사 투영 이미지들 사이의 유사성에는 차이가 있을 수 있으나, 유사 판단 모듈(500)은 이와 같은 사진 이미지들(P1, P2)의 위치와 방향을 고려하여 상술한 유사성 판단 연산을 수행할 수 있다.

만약, 사진 이미지들에 의해 촬영된 공간에 검사 대상 객체(O)가 존재하지 않는다면, 투영 모듈(400)에 의해 생성된 검사 투영 이미지들에는 검사 대상 객체와 무관한 전혀 다른 객체(뒷 배경의 벽이나 기타 다른 객체의 모습)가 포함된다. 서로 다른 위치와 방향에서 촬영된 사진 이미지들로부터 얻어진 검사 투영 이미지들에는 전혀 다른 객체의 외관이나 형상이 포함될 수밖에 없다. 따라서, 검사 대상 객체가 존재하지 않는 상태의 검사 투영 이미지들은 서로 유사하지 않게 된다. 결과적으로 객체 검사 모듈(600)은 검사 대상 객체가 존재하지 않는 것으로 판단하게 된다.

이하, 상술한 바와 같이 구성된 이미지를 이용한 3차원 객체의 존재 판독 장치를 사용하여 본 발명에 따른 이미지를 이용한 3차원 객체의 존재 판독 방법의 일례를 실시하는 과정을 도 2를 참조하여 설명한다.

먼저, 이미지 수신 모듈(100)이 복수의 사진 이미지들을 수신하고, 그 사진 이미지들 각각의 위치와 방향과 투영 중심점을 획득한다((a) 단계; S100). 상술한 바와 같이 사진 이미지들의 위치와 방향과 투영 중심점은 사진 이미지들을 사용하여 계산할 수도 있고 미리 계산되거나 정해진 값을 이미지 수신 모듈(100)이 수신할 수도 있다.

이미지 수신 모듈(100)과 별도로 객체 수신 모듈(200)은 검사 대상 객체의 3차원 모델을 수신한다((b) 단계; S210). 또한 객체 수신 모듈(200)은 검사 대상 객체의 좌표와 방향에 해당하는 객체 좌표와 객체 방향을 수신한다((c) 단계; S220).

상술한 바와 같이 검사 대상 객체의 3차원 모델은 3차원 저작 도구에 의해 모델링된 것일 수도 있고 3차원 스캐너를 사용하거나 2차원 이미지들을 이미지 프로세싱하여 획득된 것일 수도 있다. 객체 좌표와 객체 방향은 검사 대상 객체가 실제 촬영된 공간 내에 위치하는지 확인하고자 하는 위치와 방향이다. 검사 대상 객체가 촬영된 공간의 객체 좌표에 객체 방향으로 배치된 상태였다면, 상술한 바와 같은 사진 이미지들에 검사 대상 객체의 외관과 형상이 주변 구성과 함께 포함되어 표시된다.

공간 배치 모듈(300)은 이와 같이 준비된 사진 이미지들(P1, P2)과 검사 대상 객체(O)에 3차원 모델을 이용하여 3차원 공간에 사진 이미지들(P1, P2)과 검사 대상 객체(O)를 배치한다((d) 단계; S300).

이와 같은 상태를 개략적으로 도시하면 도 3과 같은 상태가 된다. 도 3은 건물 내의 3차원 공간에 기둥 형태의 검사 대상 객체(O)가 배치된 상태를 도시한 것이다. 또한, 이와 같은 상태에서 검사 대상 객체(O)와 그 주위를 촬영한 2개의 사진 이미지(P1, P2)와 그 사진 이미지들(P1, P2)이 촬영된 투영 중심점(M1, M2)을 같이 도시하였다. 공간 배치 모듈(300)은 이미지 수신 모듈(100)이 획득한 각 사진 이미지들(P1, P2)의 위치와 방향에 맞추어 사진 이미지들(P1, P2)을 3차원 공간에 배치한다. 또한 공간 배치 모듈(300)은 검사 대상 객체(O)의 3차원 모델도 객체 좌표와 객체 방향으로 3차원 공간에 배치한다.

이와 같은 상태에서 투영 모듈(400)은 사진 이미지들(P1, P2)을 각각 검사 대상 객체(O)의 표면에 투영하여 검사 투영 이미지들을 생성한다((e) 단계; S400). 상술한 바와 같이 투영 모듈(400)은 사진 이미지들(P1, P2)의 모든 화소들에 대해 카메라의 투영 중심점(M1, M2)에서 각 화소의 위치로 투사하여 검사 대상 객체(O)의 표면(surface)에 투영된 검사 투영 이미지들을 생성한다. 투영 모듈(400)은 각각의 사진 이미지들(P1, P2)에 대해 이와 같은 과정을 거쳐서 각 사진 이미지들(P1, P2)마다 검사 대상 객체(O)에 대해 투영된 검사 투영 이미지들을 생성한다. 도 4는 각 사진 이미지들(P1, P2)에 검사 대상 객체(O)에 대한 검사 투영 이미지들(T1, T2)의 영역을 표시하여 도시한 것이다.

유사 판단 모듈(500)은 투영 모듈(400)이 생성한 검사 투영 이미지들(T1, T2) 사이의 유사성(image similarity) 여부를 검사한다((f) 단계; S500). 유사 판단 모듈(500)은 검사 투영 이미지들(T1, T2) 사이의 유사성 여부를 판단하기 위하여 컴퓨터 비전 방식, deep learning 방식, CNN(Convolutional Neural Network) 방식 등의 다양한 방법을 사용할 수 있다.

유사 판단 모듈(500)은 유사성 계산 결과 값이 미리 설정된 기준 값이나 임계치를 초과하는 경우 검사 투영 이미지들(T1, T2)이 서로 유사한 것으로 판단한다.

객체 검사 모듈(600)은 유사 판단 모듈(500)의 판단 결과를 바탕으로 검사 대상 객체(O)가 사진 이미지들(P1, P2)에 존재하는지 여부를 판단한다((g) 단계; S600).

검사 대상 객체(O)가 존재하여 사진 이미지들(P1, P2)에 촬영되었다면 동일한 검사 대상 객체(O)를 촬영하여 얻어진 검사 투영 이미지들(T1, T2)은 서로 유사할 것이므로, 객체 검사 모듈(600)은 검사 투영 이미지들(T1, T2)이 유사한 경우 검사 대상 객체(O)가 존재하는 것으로 판단한다.

촬영 당시 검사 대상 객체(O)가 존재하지 않았다면, 사진 이미지들을 검사 대상 객체(O)의 3차원 모델에 투영하여도 검사 대상 객체(O)와는 전혀 무관한 이미지가 검사 투영 이미지로 생성될 것이다. 특히, 서로 다른 방향과 각도에서 촬영된 사진 이미지의 경우 전혀 다른 대상이 검사 투영 이미지로 생성된다. 예를 들어, 테이블 위의 기둥이 검사 대상 객체(O)인 경우 검사 대상 객체(O)가 존재하지 않으면, 검사 투영 이미지들에는 각각 다른 배경(벽, 문, 가구 등)의 이미지가 포함된다. 따라서, 유사 판단 모듈(500)의 유사성 판단 결과는 극히 비유사한 것으로 나오게 된다. 이와 같은 원리에 따라 객체 검사 모듈(600)은 검사 대상 객체(O)가 존재하지 않는 것으로 판단한다.

본 발명은 상술한 바와 같은 방법으로 공간 내에 검사 대상 객체의 존재 여부를 쉽고 빠르게 자동으로 판독할 수 있다.

이와 같은 본 발명의 이미지를 이용한 3차원 객체의 존재 판독 방법 및 그 장치는 건축 프로젝트의 공사의 진척 상태를 파악하는 용도로 효과적으로 사용될 수 있다. 공사의 관리 감독자가 현장을 방문하여 육안으로 설계도면과 비교할 필요 없이, 현장의 사진 촬영만으로 시스템에 의해 공사의 진척 비율을 파악할 수 있다. 공사 현장의 사진을 촬영하여 사진 이미지들로 입력하고 건축 설계 모델 데이터를 검사 대상 객체로 입력하여 판독함으로써 공사의 진척 상태를 쉽게 파악하는 것이 가능하다. 이와 같은 본 발명은 건축 프로젝트의 실제 진행률을 확인하거나 진행 상태에 따른 하청 업체의 월비용 청구 및 정산을 위한 척도로 효과적으로 사용될 수 있다.

또한, 본 발명의 이미지를 이용한 3차원 객체의 존재 판독 방법 및 그 장치는 간단한 사진 촬영이나 비디오 동영상 촬영 데이터만을 이용함으로써, 건물이나 공간의 변화 상태를 쉽게 파악하는 용도로 사용될 수 있다. 예를 들어 건물이나 장비의 파손이나 변형 여부를 본 발명을 이용하여 쉽게 파악함으로써 다양한 건물이나 제품의 유지 보수의 용도로 사용하는 것이 가능하다.

이상, 본 발명에 대해 바람직한 예를 들어 설명하였으나, 본 발명의 범위가 앞에서 설명하고 도시한 형태로 한정되는 것은 아니다.

예를 들어, 앞에서 사진 촬영에 의해 얻어진 사진 이미지를 이미지 수신 모듈(100)이 수신하여 사용하는 것으로 설명하였으나, 비디오 촬영에 의해 얻어진 동영상 이미지 프레임이나 기타 다양한 2차원 이미지가 본 발명에서 사용하는 사진 이미지로 사용될 수 있다.

또한, 수신된 사진 이미지들 중 검사 대상 객체의 위치가 포함된 공간에 대한 사진 이미지인지 여부를 먼저 판독하여 선별하는 단계를 부가하여 본 발명을 실시하는 것도 가능하다. 이 경우 검사 대상 객체의 위치를 포함하는 사진 이미지들만을 사용하여 검사 대상 객체의 존재 여부를 판독하게 된다.

또한, 검사 투영 이미지들 사이의 유사성을 판독하는 방법은 앞에서 예로 들어 설명한 컴퓨터 비전 방식, 딥러닝(deep learning) 방식, CNN(Convolutional Neural Network) 방식 이외에 다른 다양한 방식이 사용될 수도 있다.

또한, 경우에 따라서는 사진 이미지들 중에서 촬영된 각도의 차이가 크지 않고 소정 각도 범위 이내의 사진 이미지들만을 선별하는 과정을 먼저 실시한 후 선별된 사진 이미지들에 대해서만, 검사 대상 객체의 존재 여부를 확인하는 방법으로 본 발명을 실시하는 것도 가능하다.

또한, 본 발명은 최소 2장의 사진 이미지가 있으면 실시 가능하고 경우에 따라서는 3장 이상의 사진 이미지들을 사용하여 검사 대상 객체의 존재 여부를 검사하는 용도로 사용하는 것도 가능하다.

100: 이미지 수신 모듈 200: 객체 수신 모듈
300: 공간 배치 모듈 400: 투영 모듈
500: 유사 판단 모듈 600: 객체 검사 모듈
P1, P2: 사진 이미지 M1, M2: 투영 중심점
T1, T2: 검사 투영 이미지 O: 검사 대상 객체

Claims

(a) 이미지 수신 모듈이 복수의 사진 이미지들을 수신하고, 상기 복수의 사진 이미지들 각각의 위치와 방향과 투영 중심점을 획득하는 단계;
(b) 객체 수신 모듈이 검사 대상 객체의 3차원 모델을 수신하는 단계;
(c) 상기 객체 수신 모듈이 상기 검사 대상 객체의 좌표와 방향을 객체 좌표와 객체 방향으로서 수신하는 단계;
(d) 공간 배치 모듈이 상기 복수의 사진 이미지들을 그 위치와 방향에 맞추어 3차원 공간에 배치하고 상기 검사 대상 객체의 3차원 모델을 상기 객체 좌표와 객체 방향에 따라 3차원 공간에 배치하는 단계;
(e) 투영 모듈이 상기 (d) 단계에 의해 배치된 상기 복수의 사진 이미지들을 각각 상기 (d) 단계에 의해 배치된 상기 검사 대상 객체의 3차원 모델 표면에 투영하여 검사 투영 이미지들을 생성하는 단계;
(f) 유사 판단 모듈이 상기 (e) 단계에서 생성된 상기 검사 투영 이미지들 사이의 유사성 여부를 검사하는 단계; 및
(g) 상기 (f) 단계에서 상기 유사 판단 모듈이 검사한 결과 상기 검사 투영 이미지들이 서로 유사한 것으로 판단된 경우, 객체 검사 모듈이 상기 사진 이미지들에 상기 검사 대상 객체가 존재하는 것으로 판단하는 단계;를 포함하는 이미지를 이용한 3차원 객체의 존재 판독 방법
제1항에 있어서,
상기 (a) 단계는,
상기 이미지 수신 모듈이 상기 복수의 사진 이미지들을 수신한 후 컴퓨터 비전과 SfM(Structure from Motion) 중 어느 하나의 방법을 이용하여 상기 복수의 사진 이미지들의 위치와 방향과 투영 중심점을 계산하는 방법으로 상기 복수의 사진 이미지들의 위치와 방향을 획득하는 이미지를 이용한 3차원 객체의 존재 판독 방법.
제1항에 있어서,
상기 (a) 단계는, 상기 이미지 수신 모듈이 상기 복수의 사진 이미지들을 수신한 후 상기 복수의 사진 이미지들 촬영시에 함께 저장된 관성 측정 센서(IMU; Inertial Measurement Unit)의 측정값을 이용하여 상기 복수의 사진 이미지들의 위치와 방향을 계산하는 방법으로 상기 복수의 사진 이미지들의 위치와 방향과 투영 중심점을 획득하는 이미지를 이용한 3차원 객체의 존재 판독 방법.
제1항에 있어서,
상기 (a) 단계는, 상기 이미지 수신 모듈이 상기 복수의 사진 이미지들을 수신하면서 각 사진 이미지에 대응하는 위치와 방향과 투영 중심점도 함께 수신하는 이미지를 이용한 3차원 객체의 존재 판독 방법.
제1항 내지 제4항 중 어느 한 항에 있어서,
상기 (f) 단계에서, 상기 유사 판단 모듈은, 컴퓨터 비전 방식과 딥러닝 방식 중 어느 하나의 방법으로 상기 검사 투영 이미지들 사이의 유사성 여부를 검사하는 이미지를 이용한 3차원 객체의 존재 판독 방법.
복수의 사진 이미지들을 수신하고, 상기 복수의 사진 이미지들 각각의 위치와 방향과 투영 중심점을 획득하는 이미지 수신 모듈;
검사 대상 객체의 3차원 모델을 수신하고 상기 검사 대상 객체의 좌표와 방향을 객체 좌표와 객체 방향으로서 수신하는 객체 수신 모듈;
상기 복수의 사진 이미지들을 그 위치와 방향에 맞추어 3차원 공간에 배치하고 상기 검사 대상 객체의 3차원 모델을 상기 객체 좌표와 객체 방향에 맞추어 3차원 공간에 배치하는 공간 배치 모듈;
상기 공간 배치 모듈에 의해 배치된 상기 복수의 사진 이미지들을 각각 상기 공간 배치 모듈에 의해 배치된 상기 검사 대상 객체의 3차원 모델 표면에 투영하여 검사 투영 이미지들을 생성하는 투영 모듈;
상기 투영 모듈에 의해 생성된 상기 검사 투영 이미지들 사이의 유사성 여부를 검사하는 유사 판단 모듈; 및
상기 유사 판단 모듈이 검사한 결과 상기 검사 투영 이미지들이 서로 유사한 것으로 판단된 경우, 상기 사진 이미지들에 상기 검사 대상 객체가 존재하는 것으로 판단하는 객체 검사 모듈;을 포함하는 이미지를 이용한 3차원 객체의 존재 판독 장치.
제6항에 있어서,
상기 이미지 수신 모듈은, 상기 복수의 사진 이미지들을 수신한 후 컴퓨터 비전과 SfM(Structure from Motion) 중 어느 하나의 방법을 이용하여 상기 복수의 사진 이미지들의 위치와 방향과 투영 중심점을 계산하는 방법으로 상기 복수의 사진 이미지들의 위치와 방향을 획득하는 이미지를 이용한 3차원 객체의 존재 판독 장치.
제6항에 있어서,
상기 이미지 수신 모듈은, 상기 복수의 사진 이미지들을 수신한 후 상기 복수의 사진 이미지들 촬영시에 함께 저장된 관성 측정 센서(IMU; Inertial Measurement Unit)의 측정값을 이용하여 상기 복수의 사진 이미지들의 위치와 방향과 투영 중심점을 계산하는 방법으로 상기 복수의 사진 이미지들의 위치와 방향을 획득하는 이미지를 이용한 3차원 객체의 존재 판독 장치.
제6항에 있어서,
상기 이미지 수신 모듈은, 상기 복수의 사진 이미지들을 수신하면서 각 사진 이미지에 대응하는 위치와 방향과 투영 중심점도 함께 수신하는 이미지를 이용한 3차원 객체의 존재 판독 장치.
제6항 내지 제9항 중 어느 한 항에 있어서,
상기 유사 판단 모듈은, 컴퓨터 비전 방식과 딥러닝 방식 중 어느 하나의 방법으로 상기 검사 투영 이미지들 사이의 유사성 여부를 검사하는 이미지를 이용한 3차원 객체의 존재 판독 장치.