KR102080702B1

KR102080702B1 - 영상이미지 정보 클라우드 기반의 3d 실내공간 이미지 자동 생성시스템과 생성방법

Info

Publication number: KR102080702B1
Application number: KR1020180058214A
Authority: KR
Inventors: 박병엽; 박재연; 최기열
Original assignee: (주)신한항업
Priority date: 2018-05-23
Filing date: 2018-05-23
Publication date: 2020-02-24
Also published as: KR20190133373A

Abstract

본 발명은 3차원 실내공간 이미지를 자동으로 생성하여 저장하고 검색 및 활용을 가능하게 하는 영상이미지 정보 클라우드 기반의 3D 실내공간 이미지 자동 생성시스템과 생성방법에 관한 것으로, 하나 이상의 카메라 장치가 실내공간을 촬영하여 수집한 기준이미지 및 영상이미지와 SIFT 디스크립터(Descriptor) 데이터를 저장하는 수집정보DB; 상기 카메라 장치의 촬영각에 따라 실내공간을 촬영해서 기준이미지를 수집하고, 상기 카메라 장치가 실내공간을 재촬영해서 수집한 영상이미지를 기준이미지에 맞춰 세팅하여 수집정보DB에 저장하는 이미지 수집모듈; 상기 영상이미지를 분석하고 SIFT 알고리즘에 따라 영상이미지 내에 구간별로 SIFT 디스크립터 데이터를 설정해서 수집정보DB에 저장하며, 서로 이웃하는 영상이미지에서 서로 공유하는 상기 SIFT 디스크립터 데이터를 기준으로 다수의 영상이미지를 매칭해서 실내공간 이미지를 생성하고 수집정보DB에 저장하는 영상정합 처리모듈; 상기 영상정합 처리모듈의 프로세싱 상황을 모니터링하는 모니터링 모듈;을 갖춘 실내공간정보 관리서버, 및, 상기 수집정보DB를 검색해서 필요 정보를 검색하는 검색모듈; 상기 이미지 수집모듈 및 영상정합 처리모듈과 모니터링 모듈의 실행을 제어하는 데이터 처리모듈; 상기 데이터 처리모듈의 제어상황 출력과 제어정보 입력을 위한 대시보드를 실행하는 공간영상 편집모듈;을 갖춘 영상 컨트롤 장치를 포함하는 것이다.

Description

영상이미지 정보 클라우드 기반의 3D 실내공간 이미지 자동 생성시스템과 생성방법{AUTO PRODUCTING SYSTEM AND METHOD FOR 3D INTERIOR SPACE IMAGE BASED ON THE INFORMATION OF REFLRCTION IMAGE CLOUD}

본 발명은 3차원 실내공간 이미지를 자동으로 생성하여 저장하고 검색 및 활용을 가능하게 하는 영상이미지 정보 클라우드 기반의 3D 실내공간 이미지 자동 생성시스템과 생성방법에 관한 것이다.

일반 부동산 중계 사이트는 물론 기타 실내 구조와 형태 등을 제공하는 각종 서비스와 전문 기업 및 기관 등(이하 '서비스 제공자')은, 실내 구조와 형태 등을 확인할 수 있도록 해당 실내를 사진으로 직접 촬영해서 단순 촬영이미지로 이용자에게 제공하거나, 건축물의 CAD 도면 등을 이용하여 2차원 또는 3차원 화면을 구성하고 사용자에게 제공했다.

그런데, 전술한 방식으로 CAD 방식으로 실내 구조 데이터를 구축하려면 건축물의 설계와 관련한 CAD 도면 등의 부가 자료를 반드시 이용해야 하므로, CAD 도면을 보유하고 있지 않은 건축물에 대한 실내 구조 데이터 생성은 어려움이 있었다. 더욱이, CAD 도면은 건축물의 실내 구조 뿐만 아니라 건축물에 내설된 각종 배관과 배선 등의 세부내용을 포함하고 있기 때문에, 정작 건물주가 외부에는 쉽게 공개하지 않는다는 제한이 있었다. 따라서 CAD 방식으로 실내 구조 데이터를 구축하는 것은 사실상 어려움이었다.

따라서 종래에는 일반 서비스 제공자가 CAD 방식이 아닌 2D 형식의 평면이미지를 작성해서 도 1의 (a)도면과 같이 이용자에게 제공했다. 하지만, 상기 종래 기술은 실제 내부 환경과 실내 공간 형태 등을 이용자가 직시하여 확인 및 파악할 수 없으므로, 실제 내부 환경을 구체적으로 확인 및 파악하기 위해서는 대상 건축물의 실내 공간으로 방문할 수밖에 없는 한계가 있었다.

이러한 문제를 해소하기 위해서 종래에는 일반 서비스 제공자가 CAD 방식 및 2D 이미지 방식이 아닌, 도 1의 (b)도면과 같이 실제 실내 공간을 촬영해서 실내 이미지를 수집하고 이용자에게 제공했다. 그런데, 촬영을 통한 실내 이미지는 촬영자인 서비스 제공자의 주관적인 결정에 따라 제한된 실내 구간만을 이용자에게 제공하므로, 이용자는 실내 공간 전체를 확인할 수 없었고, 이용자가 원하는 실내 구간도 임의로 선택해서 파악할 수 없다는 한계가 있었다.

이를 보완하기 위해서 종래에는 공개특허공보 제10-2013-0123041호(이하 '종래 기술')는 라이다 장치를 이용해서 실내를 직접 스캔하는 기술을 제안했다.

그러나, 종래 기술은 작업자가 라이다 장치를 단순히 이동시키면서 스캔을 하고, 종래 라이다 기술을 활용해서 이미지를 편집하는 기술만 있을 뿐, 라이다 장치에 대한 구체적인 설명이 없고, 스캔 방법 또한 전혀 명시되지 않았다

더욱이, 종래 기술에서 활용되는 라이다 장치는 상대적으로 고가의 장비이므로, 서비스 제공자가 이를 임대하거나 구매함에 있어 경제적 부담이 있었고, 라이다 장치는 실내 공간을 이동하면서 지점별로 스캔작업을 진행하여 라이다 장치의 현재 위치를 일일이 파악해야 하므로 사용상의 불편과 수고 또한 적지 않았다.

선행기술문헌 1. 특허공개번호 제10-2013-0123041호(2013.11.12 공개)

이에 본 발명은 상기의 문제를 해소하기 위해 발명된 것으로, 3차원 실내 공간 이미지를 저렴하면서도 손쉽게 생성해서 데이터화할 수 있고, 이용자는 가상 공간과 같이 자신이 확인을 원하는 실내 구간을 특정해서 확대 또는 파악할 수 있으며, 이미지정보를 클라우드 방식을 기반으로 저장 관리해서 서비스 제공자는 물론 이용자도 자신이 필요한 이미지정보를 손쉽게 검색해서 이용자에게 제공할 수 있게 하는 영상이미지 정보 클라우드 기반의 3D 실내공간 이미지 자동 생성시스템과 생성방법의 제공을 해결하고자 하는 과제로 한다.

상기의 과제를 달성하기 위하여 본 발명은,

하나 이상의 카메라 장치가 실내공간을 촬영하여 수집한 기준이미지 및 영상이미지와 SIFT 디스크립터(Descriptor) 데이터를 저장하는 수집정보DB; 상기 카메라 장치의 촬영각에 따라 실내공간을 촬영해서 기준이미지를 수집하고, 상기 카메라 장치가 실내공간을 재촬영해서 수집한 영상이미지를 기준이미지에 맞춰 세팅하여 수집정보DB에 저장하는 이미지 수집모듈; 상기 영상이미지를 분석하고 SIFT 알고리즘에 따라 영상이미지 내에 구간별로 SIFT 디스크립터 데이터를 설정해서 수집정보DB에 저장하며, 서로 이웃하는 영상이미지에서 서로 공유하는 상기 SIFT 디스크립터 데이터를 기준으로 다수의 영상이미지를 매칭해서 실내공간 이미지를 생성하고 수집정보DB에 저장하는 영상정합 처리모듈; 상기 영상정합 처리모듈의 프로세싱 상황을 모니터링하는 모니터링 모듈;을 갖춘 실내공간정보 관리서버, 및

상기 수집정보DB를 검색해서 필요 정보를 검색하는 검색모듈; 상기 이미지 수집모듈 및 영상정합 처리모듈과 모니터링 모듈의 실행을 제어하는 데이터 처리모듈; 상기 데이터 처리모듈의 제어상황 출력과 제어정보 입력을 위한 대시보드를 실행하는 공간영상 편집모듈;을 갖춘 영상 컨트롤 장치,

를 포함하는 영상이미지 정보 클라우드 기반의 3D 실내공간 이미지 자동 생성시스템이다.

상기의 다른 기술적 과제를 달성하기 위하여 본 발명은,

실내공간에 하나 이상 설치된 카메라가 다양한 촬영각으로 상기 실내공간을 촬영하는 단계와, 이미지 수집모듈이 상기 카메라가 촬영하여 수집한 기준이미지를 수집정보DB에 저장하는 단계로 구성된 기준이미지 수집 단계;

상기 카메라가 실내공간을 기준이미지 수집 단계에서의 해당 촬영각에 따라 촬영해서 영상이미지를 수집하는 영상이미지 수집 단계;

상기 영상이미지 수집 단계에서 수집한 영상이미지를 영상정합 처리모듈이 기준이미지와 비교하는 단계와, 상기 영상이미지가 해당 기준이미지와 불일치한 것으로 확인되면 불일치한 영상이미지의 촬영각 정보를 상기 영상정합 처리모듈이 기준이미지의 촬영각에 맞춰 보정하는 영상이미지 보정 단계;

상기 영상정합 처리모듈이 영상이미지를 분석하고 SIFT 알고리즘에 따라 영상이미지 내에 구간별로 SIFT 디스크립터 데이터를 설정해서 수집정보DB에 저장하는 단계와, 상기 영상정합 처리모듈이 서로 이웃하는 영상이미지에서 서로 공유하는 상기 SIFT 디스크립터 데이터를 기준으로 영상이미지를 매칭해서 실내공간 이미지를 생성하는 단계로 구성된 영상이미지 정합 단계; 및

상기 실내공간 이미지를 포맷팅해서 수집정보DB에 저장하는 결과파일 포맷팅 단계;

를 포함하는 영상이미지 정보 클라우드 기반의 3D 실내공간 이미지 자동 생성방법이다.

상기의 본 발명은, 3차원 실내 공간 이미지를 저렴하면서도 손쉽게 생성해서 데이터화할 수 있고, 이용자는 가상 공간과 같이 자신이 확인을 원하는 실내 구간을 특정해서 확대 또는 파악할 수 있으며, 이미지정보를 클라우드 방식을 기반으로 저장 관리해서 서비스 제공자는 물론 이용자도 자신이 필요한 이미지정보를 손쉽게 검색해서 이용자에게 제공할 수 있는 효과가 있다.

도 1은 종래 실내공간 이미지 생성시스템이 생성한 실내공간 이미지이고,
도 2는 본 발명에 따른 실내공간 이미지 생성시스템의 일실시 예를 도시한 블록도이고,
도 3은 본 발명에 따른 실내공간에 설치되는 카메라 장치의 일실시 예를 도시한 사시도이고,
도 4는 도 3의 카메라 장치를 구성하는 구성요소의 일실시 예를 도시한 블록도이고,
도 5는 본 발명에 따른 실내공간 이미지 생성방법을 순차 도시한 플로차트이고,
도 6은 본 발명에 따른 실내공간 이미지 생성방법의 실시를 위해 실내공간 내에 설치된 카메라의 배치 모습을 개략적으로 도시한 평면도이고,
도 7은 본 발명에 따른 실내공간 이미지 생성방법의 실시를 위해 실내공간에 설치된 기준대의 설치 모습을 개략적으로 도시한 측면도이고,
도 8은 상기 카메라 장치의 촬영각에 따른 실내공간 및 기준대의 위치 변화모습을 개략적으로 도시한 도면이고,
도 9는 상기 촬영각에 따른 실내공간의 교차 구간을 확인해서 정합 대상 영상이미지를 분류하는 모습을 개략적으로 도시한 도면이고,
도 10은 본 발명에 따른 실내공간 이미지 생성방법에 따라 정합된 영상이미지를 실내공간 이미지로 생성하는 모습을 개략적으로 도시한 도면이고,
도 11은 본 발명에 따른 실내공간 이미지 생성방법에 따라 정합되어 완성된 실내공간 이미지의 일예를 보인 이미지이다.

상술한 본 발명의 특징 및 효과는 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 분명해질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 출원에서 사용한 용어는 단지 특정한 실시 예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다.

이하, 본 발명을 구체적인 내용이 첨부된 도면에 의거하여 상세히 설명한다.

도 2는 본 발명에 따른 실내공간 이미지 생성시스템의 일실시 예를 도시한 블록도이다.

본 실시의 실내공간 이미지 생성시스템은, 하나 이상의 카메라 장치(300)를 실내공간(S)에 설치해서 3D 실내공간 이미지를 생성하고 관련 정보를 클라우딩하는 실내공간정보 관리서버(100)와, 실내공간정보 관리서버(100)와 연결되어서 작업자의 조작에 따른 제어신호에 따라 실내공간정보 관리서버(100)의 클라우딩 정보가 처리되도록 하는 영상 컨트롤 장치(200, 200')를 포함한다.

실내공간정보 관리서버(100)는, 카메라 장치(300)와 기타 센서(500)로부터 수집한 데이터를 기초로 실내공간 이미지를 생성하고 저장 및 관리하므로, 상기 실내공간 이미지를 제작하는 작업자의 영상 컨트롤 장치(200, 200')와는 물론, 완성된 실내공간 이미지를 검색해서 활용할 수 있도록 이용자의 단말기(400)와 통신할 수 있다. 참고로, 이용자의 단말기(400)는 실내공간정보 관리서버(100)와 온라인 네트워크 통신으로 접속하고, 작업자의 영상 컨트롤 장치(200, 200'; 이하 '200'으로 통칭함)는 실내공간정보 관리서버(100)와 직접 연결되거나, 이용자의 단말기(400)와 같이 온라인 네트워크 통신으로 접속할 수 있다.

참고로, 본 실시의 실내공간정보 관리서버(100)는, 수집정보DB(110)에 저장된 데이터들의 검색과 출력을 위한 웹페이지를 생성 및 실행하는 웹페이지 처리모듈(160)을 더 포함하므로, 접속과 사용이 용이한 하나의 웹사이트를 구축할 수 있고, 이를 통해 작업자의 컨트롤 장치(200, 200')는 물론 이용자의 단말기(400)도 통신모듈(170)을 매개로 온라인 네트워크 통신으로 접속할 수 있다.

본 실시의 실내공간정보 관리서버(100)는, 실내공간에 하나 이상 설치된 카메라 장치(300)가 촬영하여 수집한 기준이미지와 영상이미지와 SIFT 디스크립터(Descriptor) 데이터를 저장하는 수집정보DB(110); 카메라 장치(300)의 위치별 촬영각에 따른 실내공간(S, S'; 도 5 참조)의 기준이미지를 수집하고, 실내공간(S, S')의 재촬영으로 수집한 영상이미지의 촬영지점을 기준이미지에 맞춰 세팅하여 수집정보DB(110)에 저장하는 이미지 수집모듈(130); 상기 영상이미지를 분석하고 SIFT 알고리즘에 따라 영상이미지 내에 구간별로 SIFT 디스크립터 데이터를 설정해서 수집정보DB(110)에 저장하며, 서로 이웃하는 영상이미지의 교차구간을 상기 SIFT 디스크립터 데이터를 기초로 매칭해서 실내공간 이미지를 생성하고 수집정보DB(110)에 저장하는 영상정합 처리모듈(140); 영상정합 처리모듈(140)의 프로세싱 상황을 모니터링하는 모니터링 모듈(150);을 구성한다.

한편, 본 실시의 영상 컨트롤 장치(200)는, 수집정보DB(110)를 검색해서 필요 정보를 검색하는 검색모듈(210); 상기 이미지 수집모듈(130) 및 영상정합 처리모듈(140)과 모니터링 모듈(150)의 실행을 제어하는 데이터 처리모듈(220); 데이터 처리모듈(220)의 제어상황 출력과 제어정보 입력을 위한 대시보드를 실행하는 공간영상 편집모듈(230);을 구성한다.

참고로, 모니터링 모듈(150)은, 영상정합 처리모듈(140)의 프로세싱 상황을 실시간으로 체크해서 데이터 처리모듈(220)에 발신하므로, 작업자는 공간영상 편집모듈(230)의 대시보드에 따라 영상이미지 정합 과정과 처리 상화를 파악하고 이를 제어할 수 있게 한다.

이상 설명한 실내공간정보 관리서버(100)와 영상 컨트롤 장치(200)의 연동 형태와 프로세싱 과정 등은 이하에서 좀 더 상세히 설명한다.

도 3은 본 발명에 따른 실내공간에 설치되는 카메라 장치의 일실시 예를 도시한 사시도이고, 도 4는 도 3의 카메라 장치를 구성하는 구성요소의 일실시 예를 도시한 블록도이다.

본 실시의 카메라 장치(300)는 실내공간(S, S')에서 지정된 위치에 설치되이서 실내공간(S, S')을 촬영한다. 이때 카메라 장치(300)는 실내공간(S, S')을 모두 촬영해서 이미지를 수집할 수 있어야 하므로, 실내공간(S, S')에 다수 개가 설치되는 것이 바람직하며, 설치 위치는 실내공간 이미지에 포함되는 실내공간(S, S')의 바닥면을 촬영할 수 있도록 실내공간(S, S')의 상부에 설치되는 것이 바람직하다.

한편, 카메라 장치(300)는 설치 위치에서 다양한 촬영각으로 실내공간(S, S')을 촬영할 수 있어야 하며, 이를 위해 본 실시의 카메라 장치(300)는, 카메라(310)와, 카메라(310)를 회전 가능하게 지지하는 제1행거(320)와, 제1행거(320)에서 카메라(310)가 회전하도록 구동하는 제1구동모터(330)와, 제1행거(320)를 회전 가능하게 지지하는 제2행거(340)와, 제2행거(340)에서 제1행거(320)가 회전하도록 구동하는 제2구동모터(350)와, 카메라(310)와 제1행거(320)의 회전각을 각각 센싱하는 회전각센서(360)를 포함한다.

카메라 장치(300)의 카메라(310)와 제1구동모터(330)와 제2구동모터(350)와 회전각센서(360)는 작업자의 조작을 위한 버튼 등의 조작수단이 각각 구성된다. 그러나 다수의 카메라 장치(300)가 실내 공간(S, S')에 설치된 상태이므로, 작업자는 카메라 장치(300)가 설치된 지점별로 직접 이동해서 카메라(310)와 제1구동모터(330)와 제2구동모터(350)와 회전각센서(360)의 조작수단을 일일이 조작해야 한다. 따라서 카메라 장치(300)는 원격에서도 작업자가 카메라(310)와 제1구동모터(330)와 제2구동모터(350)와 회전각센서(360)를 조작할 수 있도록, 카메라(310)와 제1구동모터(330)와 제2구동모터(350)와 회전각센서(360) 중 선택된 하나 이상의 동작 제어를 위해서 조작신호에 따라 해당하는 제어신호를 발신하는 리모컨(380)을 더 포함할 수 있다.

여기서 카메라 장치(300)의 카메라(310)와 제1구동모터(330)와 제2구동모터(350)와 회전각센서(360)는, 통신모듈(370)을 통해 리모컨(380)으로부터 동작신호를 수신하면, 각자 세팅된 프로세스에 따라 동작해서 카메라(310)가 초기 위치에 배치되도록 하고, 지정된 촬영각으로 순차 이동하면서 기준이미지 및 영상이미지를 스트리밍으로 촬영해 수집한다. 결국, 다수의 카메라 장치(300)는 리모컨(380)의 동작신호에 따라 구동하면서 실내공간(S, S')을 촬영한다.

본 실시의 카메라 장치(300)에서 제1행거(320)는 카메라(310)가 상하로 회전하도록 설치되었고, 제2행거(340)는 제1행거(320)가 수평 회전하도록 설치되었으나, 이와는 반대로 제1행거가 카메라(310)를 수평 회전하도록 설치되고, 제2행거가 상기 제1행거를 상하로 회전하도록 설치될 수 있다.

결국, 카메라 장치(300)는 다양한 촬영각으로 실내공간(S, S')을 촬영하며 기준이미지와 영상이미지를 수집할 수 있다.

미설명된 도면부호 '351'는 제2구동모터(350)를 실내공간(S, S')의 천장 또는 벽면에 설치하기 위한 '브래킷'이다.

도 5는 본 발명에 따른 실내공간 이미지 생성방법을 순차 도시한 플로차트이고, 도 6은 본 발명에 따른 실내공간 이미지 생성방법의 실시를 위해 실내공간 내에 설치된 카메라의 배치 모습을 개략적으로 도시한 평면도이고, 도 7은 본 발명에 따른 실내공간 이미지 생성방법의 실시를 위해 실내공간에 설치된 기준대의 설치 모습을 개략적으로 도시한 측면도이고, 도 8은 상기 카메라 장치의 촬영각에 따른 실내공간 및 기준대의 위치 변화모습을 개략적으로 도시한 도면이다.

이하에서는 본 발명의 실내공간 이미지 생성방법의 동작 과정을 위의 도면을 참조하여 설명한다.

S10; 기준 이미지 수집 단계

실내공간(S, S')에 하나 이상 설치된 카메라(310)가 다양한 촬영각으로 실내공간(S, S')을 촬영하는 단계와, 카메라(310)가 촬영하여 수집한 기준이미지를 수집정보DB(110)에 저장하는 단계로 구성된다.

본 실시에 실내공간(S, S')은 하나의 격벽(P)을 기준으로 두 개로 분리된다. 이렇게 분리된 실내공간(S, S')은 도 6과 같이 4각의 평면 공간을 구성하고, 실내공간(S, S') 각각의 코너에는 4대의 카메라(310a 내지 310h)가 설치된다.

또한 본 실시의 도 7과 같이 카메라(310a, 310d)는 실내공간(S)의 천장에 배치되어서, 실내공간(S)의 바닥면과 측벽 모두를 효율적으로 촬영할 수 있도록 했다. 도면에서 도시하고 있지는 않으나, 격벽(P)에 의해 분리된 다른 실내공간(S')에도 해당 카메라(310e 내지 310h)가 설치되어서 실내공간(S')의 바닥면과 측벽 모두를 효율적으로 촬영할 수 있도록 했다.

참고로, 카메라(310)와 벽면 간에 고정은 팬틸트(Pan/Tilt) 방식의 고정수단에 의해 이루어지며, 이를 통해 카메라(310)는 다양한 촬영각으로 실내공간(S, S')을 촬영할 수 있다.

카메라(310)를 고정하는 팬틸트의 구조는 전술한 바 있으므로 여기서는 그 설명을 생략한다.

계속해서, 본 실시의 실내공간 이미지 생성방법은 이미지 수집모듈(130)이 카메라(310)가 촬영한 이미지 내에 특정 대상을 타겟으로 잡아서 기준이미지로 분류할 수 있다. 그러나, 실내공간(S, S')에 대한 카메라(310)의 촬영각과 기타 위치 등을 파악하기 위해서, 기준이미지의 본 실시는 실내공간(S, S')의 바닥면에 기준점(SP)을 잡고, 기준점(SP)에 기준대(B)를 설치한다. 여기서 기준대(B)의 높이(H)는 사전에 측정해서 기준정보에 포함시키고, 카메라(310)와 기준대(B) 간의 수평거리(D) 또한 상기 기준정보에 포함시킨다. 참고로, 본 실시는 기준점(SP)의 위치를 영상이미지 정합을 고려해서 다수의 카메라(310)와 동일한 수평거리가 되는 위치에 배치했으나, 이에 한정하는 것은 아니다.

전술한 대로 기준대(B)의 설치와 기타 기준정보가 모두 수집되면, 카메라(310)는 다양한 촬영각으로 이동하면서 스트리밍 방식으로 실내공간(S, S')을 연속 촬영하고, 이미지 수집모듈(130)은 도 8과 같은 실내공간의 촬영 이미지인 수집이미지를 생성한다.

도 8에서 확인할 수 있듯이 상기 수집이미지는 카메라(310)의 촬영각에 따라 실내공간(S)과 기준대(B)의 위치가 달라지고, 아울러 높이도 달라진다. 따라서 기준이미지에 위치하는 기준대(B)의 위치와 높이(H)에 따라 카메라(310)의 촬영각을 확인하고 이를 기준값으로 세팅한다.

더 나아가 센싱값 처리모듈(150)은, 카메라(310)의 촬영각을 따라 이동하며 임의의 타겟과의 거리를 측정하는 센서(500)로부터 거리측정정보를 수집하고, 수집정보DB(110)에 저장된 해당 기준이미지와 영상이미지 별로 링크되도록 포맷팅해서 상기 수집정보DB(110)에 저장한다. 즉, 이미지 수집모듈(130)이 수집한 기준이미지에서 임의의 타겟을 지정하고, 상기 타겟과 해당 카메라(310) 간에 거리측정정보를 센서(500)를 통해 수집해서 기준이미지에 링크되도록 포맷팅하는 것이다. 이는 후술하는 SIFT 알고리즘을 적용할 때 활용된다.

S20; 영상이미지 수집 단계

카메라(131)가 실내공간(S, S')을 기준이미지 수집 단계(S10)에서의 해당 촬영각에 따라 촬영해서 영상이미지를 수집한다. 이때, 기준대(B)는 실내공간(S, S')에서 철거된 상태이고, 카메라(131)는 실내공간(S, S')만을 기준이미지 수집 단계에서 진행된 촬영각에 따라 정확히 촬영한다.

이미지 수집모듈(130)은 카메라(310)가 촬영한 영상이미지를 수집정보DB(110)에 저장한다.

S30; 영상이미지 보정 단계

영상정합 처리모듈(140)은 영상이미지 수집 단계(S20)에서 수집한 영상이미지를 기준이미지와 비교하는 단계와, 상기 영상이미지가 해당 기준이미지와 불일치한 것으로 확인되면 영상정합 처리모듈(140)은 불일치한 영상이미지의 촬영각 정보를 기준이미지의 촬영각에 맞춰 보정한다.

이를 좀 더 구체적으로 설명하면, 카메라(310)는 수집이미지와 영상이미지를 동일한 촬영각으로 촬영해 수집하므로, 상기 수집이미지와 영상이미지는 실내공간(S, S')에서 동일한 구간을 촬영해야 한다. 하지만, 카메라(310)를 지지하는 팬틸트의 일 구성인 제1행거(320)와 제2행거(340)와 제1구동모터(330)와 제2구동모터(350)는 구동 과정에서 오차가 발생할 수 있다. 따라서 동일한 촬영각으로 촬영이 이루어져도 실제 촬영된 수집이미지와 영상이미지는 다소 차이가 발생한다.

따라서 영상정합 처리모듈(140)은 동일한 촬영각의 수집이미지와 영상이미지를 서로 비교해서 오차 여부를 파악하고, 오차가 확인되면 해당 영상이미지의 촬영격 정보를 수집이미지의 촬영각 정보로 조정한다.

영상정합 처리모듈(140)은 보정이 완료된 영상이미지를 수집정보DB(110)에 저장한다.

도 9는 상기 촬영각에 따른 실내공간의 교차 구간을 확인해서 정합 대상 영상이미지를 분류하는 모습을 개략적으로 도시한 도면이고, 도 10은 본 발명에 따른 실내공간 이미지 생성방법에 따라 정합된 영상이미지를 실내공간 이미지로 생성하는 모습을 개략적으로 도시한 도면이고, 도 11은 본 발명에 따른 실내공간 이미지 생성방법에 따라 정합되어 완성된 실내공간 이미지의 일예를 보인 이미지이다.

S40; 영상이미지 정합 단계

영상정합 처리모듈(140)이 영상이미지를 분석하고 SIFT 알고리즘에 따라 영상이미지 내에 구간별로 SIFT 디스크립터 데이터를 설정해서 수집정보DB(110)에 저장하는 단계와, 영상정합 처리모듈(140)이 서로 이웃하는 영상이미지의 교차구간을 상기 SIFT 디스크립터 데이터를 기초로 매칭해서 실내공간 이미지를 생성하는 단계로 구성된다.

영상정합에 대해 좀 더 구체적으로 설명하면, 다수의 카메라(310)가 도 9의 (a)도면 및 (b)도면과 같이 다양한 촬영각으로 실내공간(S, S')을 촬영하므로, 데이터 처리모듈(220)의 제어에 따라 영상정합 처리모듈(140)은 수많은 영상이미지1,2에서 특정 구간(R1, R1', R2, R2')만을 선출하여 이웃하는 영상이미지1,2끼리 연결하는 프로세싱을 진행해야 한다.

이를 위해 영상정합 처리모듈(140)은 해당 촬영각이 링크된 영상이미지1,2를 분석해서, 서로 이웃하는 촬영각에서 기준이 되는 구간을 찾아 연결하며 정합하는 기능이 요구된다. 이러한 정합을 위해서는 영상이미지1,2에 정합 기준이 될 수 있는 특정 타겟이 필요하고, 영상정합 처리모듈(140)은 상기 특정 타겟의 이미지를 확인해서 영상이미지1,2들을 서로 정합하고 편집한다.

본 실시의 영상정합 처리모듈(140)은 SIFT 알고리즘을 기반으로 영상이미지1,2를 분석해서 특정 타겟을 분류하고 설정한다.

상기 SIFT 알고리즘의 SIFT는 Scale-Invariant Feature Transform의 약자로, 다수의 영상이미지를 서로 정합하기 위한 기본 솔루션이다. 영상정합 처리모듈(140)은 상기 SIFT 알고리즘에 따라 타겟이 될 수 있는 구간(R1, R1', R2, R2')에서 Extreme a localization 과정인 3D Interpolation을 통해 특징점의 위치 픽셀값과 거리측정정보 등을 기초로 파악한다.

본 실시에서 타겟은 실내공간의 벽면(W1, W2)에 붙은 액자의 일부 또는 전체와 주변 영역일 수도 있고, 장식장에 진열된 인테리어 장식품의 일부 또는 전체와 주변 영역일 수도 있으며, 기타 전자 제품 등 독특한 외형을 갖는 물체의 일부 또는 전체와 주변 영역일 수 있다.

계속해서, 영상정합 처리모듈(140)은 상기 물체의 이미지에서 국소적으로 튀는 부분을 찾는다(Scale-space extrema detection). 즉, 영상이미지1,2에서 특징적인 부분(도드라지게 나타나는 부분)을 찾는 것인데, 상기 부분이 물체의 특징점으로 분류된다.

계속해서 영상정합 처리모듈(140)은 앞서 확인된 특징점들 중에서 신뢰도 있는 최종 특징점인 키 포인트를 선별한다. 이를 위해 영상정합 처리모듈(140)은 해당 특징점들의 픽셀값(Intensity), 상기 특징점들 중 물체의 코너에 해당하는 위치나 크기 등을 기준으로 최종 특징점을 우선 선별해서 해당 영상이미지1,2의 키 포인트로 설정한다.

계속해서, 영상정합 처리모듈(140)은 상기 키 포인트의 주변 영역에 대해 경사도를 구해서, 전체적으로 볼 때 상기 주변 영역의 픽셀값들이 가리키는 방향을 구한다. 즉, 상기 키 포인트로 설정된 특징점은 해당 물체 이미지의 코너에 해당하므로, 상기 특징점의 주변에는 하나 이상의 변 이미지가 포함되고, 상기 변 이미지의 픽셀값들은 해당 키 포인트의 픽셀을 향해 형성되는 것이다.

이후, 영상정합 처리모듈(140)은 상기 주변 영역의 구성 픽셀 방향이 0도가 되도록 회전해서, 상기 주변 영역에 해당하는 부분을 SIFT 디스크립터 데이터로 설정하고 수집정보DB(110)에 저장한다. 이를 통해 영상이미지1,2에는 하나 이상의 SIFT 디스크립터 데이터가 구성된다. 따라서 촬영각에 따라 영상이미지1,2 모습에 변화가 있더라도 영상정합 처리모듈(140)은 SIFT 디스크립터 데이터로 설정된 상기 주변 영역에 대해 동일한 구간으로 인식하게 된다.

참고로, SIFT 디스크립터 데이터는 키 포인트의 주변 영역의 픽셀값들이 포함되고, 상기 키 포인트를 기준으로 주변 영역의 픽셀값들의 방향정보에 기반한 히스토그램 정보도 포함된다. 그러므로, 상기 SIFT 디스크립터 데이터는 영상정합 처리모듈(140)이, 도 9의 (c)도면과 같이 촬영각에 따라 변경된 영상이미지1,2에서 동일한 구간(RC1, RC2)을 나타내는 타겟을 식별하고, 서로 이웃하는 영상이미지1,2를 정확히 정합할 수 있도록 한다. 일반적으로 SIFT 알고리즘에서 추천되는 Histogram Dimension은 128-dimension이므로, 카메라(310)의 촬영가에 상관 없이 동일한 구간(RC1, RC2)을 포함하는 영상이미지1,2는, 영상정합 처리모듈(140)에 의해 상기 동일한 구간(RC1, RC2)을 정확히 추출해서, 도 9의 (c)도면과 같이 서로 이웃하는 영상이미지1,2에서 서로 공유하는 상기 SIFT 디스크립터 데이터를 기초로 영상이미지1,2를 매칭하고, 도 10과 같이 해당하는 영상이미지1,2 내에 벽면(W1, W2) 또는 기타 필요한 구간들을 서로 조합해서 실내공간 이미지(F)를 생성한다.

도 11은 본 발명에 따른 실내공간 이미지 생성방법에 따라 정합되어 완성된 실내공간 이미지의 일예를 보인 이미지로서, 전술한 방법에 따른 영상이미지 조합 등을 통해 3차원의 실내공간 이미지로 완성되었다.

본 발명의 다른 실시 예는 영상정합 처리모듈(140)이 영상이미지 정합 과정에서 완성될 실내공간 이미지의 기존 템플릿 데이터를 활용할 수 있다. 이를 위해 본 실시의 실내공간정보 관리서버(100)는, 동일 실내 공간에 대한 기존 영상이미지와 템플릿 데이터를 저장하는 기존정보DB(120)를 더 포함하고; 영상정합 처리모듈(140)은, 해당 실내공간에 대한 기존 영상이미지 여부를 검색모듈(210)의 제어에 따라 기존정보DB(120)에서 검색해서 해당 템플릿 데이터를 기반으로 SIFT 알고리즘에 따라 신규 영상이미지의 매칭 프로세싱을 실행한다.

즉, 기존에 동일한 실내공간의 실내공간 이미지가 존재한다면, 영상정합 처리모듈(140)은 해당 실내공간 이미지의 기존 템플릿 데이터를 기존정보DB(120)에서 검색하고, 상기 템플릿 데이터를 기초로 해서 영상이미지에 대한 조합을 보다 손쉽게 할 수 있는 것이다. 여기서 상기 템플릿 데이터는 측벽의 크기와 실내공간 구조 등의 정보를 포함하므로, 영상정합 처리모듈(140)은 상기 템플릿 데이터의 구성 정보를 기반으로 영상이미지들에서 측벽의 크기를 편집하고 서로 정합해서 업데이트된 실내공간 이미지를 완성할 수 있다.

S50; 결과파일 포맷팅 단계, S60; 실내공간 이미지 출력 단계

영상정합 처리모듈(140)은 전술한 과정에 따라 생성된 실내공간 이미지(F)를 포맷팅해서 수집정보DB(110)에 저장한다.

포맷팅은 영상이미지가 모두 정합되어 완성된 실내공간 이미지(F)를 서로 연결해서 지정된 포맷으로 변환하며, 이를 통해서 도 11과 같이 출력되는 실내공간 이미지(F)를 작업자가 영상 컨트롤 장치(200, 200') 또는 이용자의 단말기(400)를 수단으로 검색하고 출력시킬 수 있다.

참고로, 실내공간 이미지(F)를 포맷팅하여 하나의 독립된 데이터로 생성 및 저장할 때, 해당 실내공간(S, S')의 환경 정보를 함께 링크해서 이용자에게 제공할 수 있다. 일반적으로, 본 실시의 실내공간 이미지 생성 기술은 이용자에게 특정 실내공간(S, S')의 모습을 이미지로 제공하는데 그 목적이 있으므로, 단순히 실내공간(S, S')의 모습 뿐만 아니라 실내공간(S, S')의 환경 정보도 제공할 필요가 있다.

따라서 실내공간(S, S')의 온도와 습도와 기타 소음 상태 등을 파악할 수 있는 센서(500)를 더 구성하고, 실내공간정보 관리서버(100)는, 실내공간(S, S')의 각종 환경 정보를 센싱하는 센서(500)로부터 센싱정보를 수집해 포맷팅해서 수집정보DB(110)에 저장하는 센싱값 처리모듈(150)을 더 포함한다.

물론, 영상정합 처리모듈(140)은 영상이미지 정합으로 생성된 실내공간 이미지(F)에 해당 센싱정보를 링크해서, 작업자 또는 이용자가 실내공간 이미지(F)를 검색해 출력하면, 상기 센싱정보 역시 함께 검색되어 이용자에게 제공되도록 한다.

앞서 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시 예들을 참조해 설명했지만, 해당 기술분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술될 특허청구범위에 기재된 본 발명의 사상 및 기술영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

100; 실내공간정보 관리서버 200, 200'; 영상 컨트롤 장치
300; 카메라 장치 310; 카메라
320; 제1홀더 330; 제1구동모터
340; 제2홀더 350; 제2구동모터
B; 기준대 D; 수평거리
F; 실내공간 이미지 H; 높이
R1, R2; 구간 RC1, RC2; 동일한 구간
W1, W2; 벽면

Claims

실내공간 곳곳에 팬틸트 방식으로 설치된 다수의 카메라 장치가 실내공간을 촬영하여 수집한 기준이미지 및 영상이미지와 SIFT 디스크립터(Descriptor) 데이터를 저장하는 수집정보DB; 상기 카메라 장치의 촬영각에 따라 실내공간을 촬영해서 기준이미지를 수집하고, 상기 카메라 장치가 실내공간을 재촬영해서 수집한 영상이미지를 기준이미지에 맞춰 세팅하여 수집정보DB에 저장하는 이미지 수집모듈; 상기 영상이미지를 분석하고 SIFT 알고리즘에 따라 영상이미지 내에 구간별로 SIFT 디스크립터 데이터를 설정해서 수집정보DB에 저장하며, 서로 이웃하는 영상이미지에서 서로 공유하는 상기 SIFT 디스크립터 데이터를 기준으로 다수의 영상이미지를 매칭해서 실내공간 이미지를 생성하고 수집정보DB에 저장하는 영상정합 처리모듈; 상기 영상정합 처리모듈의 프로세싱 상황을 모니터링하는 모니터링 모듈;을 갖추되, 상기 기준이미지는 바닥면의 기준점에 기준대가 설치된 실내공간을 카메라 장치가 촬영해서 수집한 것이고, 상기 영상이미지는 기준대가 철거된 실내공간을 카메라 장치가 촬영해서 수집한 것이며, 상기 기준이미지 내 기준대의 위치와 높이에 따라 촬영각을 세팅하는 실내공간정보 관리서버, 및
상기 수집정보DB에서 정보를 검색하는 검색모듈; 상기 이미지 수집모듈 및 영상정합 처리모듈과 모니터링 모듈의 실행을 제어하는 데이터 처리모듈; 상기 데이터 처리모듈의 제어상황 출력과 제어정보 입력을 위한 대시보드를 실행하는 공간영상 편집모듈;을 갖춘 영상 컨트롤 장치를 포함하고,
상기 영상정합 처리모듈은, 상기 영상이미지와 기준이미지를 비교해서 해당 기준이미지와 불일치하면, 상기 영상이미지의 촬영각 정보를 기준이미지의 촬영각에 맞춰 보정하되,
상기 실내공간정보 관리서버는, 상기 카메라의 촬영각을 따라 이동하며 임의의 타겟과의 거리를 측정하는 센서로부터 거리측정정보를 수집하고, 해당하는 기준이미지와 영상이미지 별로 링크되도록 포맷팅해서 상기 수집정보DB에 저장하는 센싱값 처리모듈을 더 포함하고,
상기 영상정합 처리모듈은, 상기 카메라의 위치별 촬영각에 따른 실내공간의 영상이미지의 촬영각을 거리측정정보를 기준으로 해당하는 기준이미지의 촬영각에 맞춰 보정 세팅하는 것;
을 특징으로 하는 영상이미지 정보 클라우드 기반의 3D 실내공간 이미지 자동 생성시스템.
제 1 항에 있어서,
상기 실내공간정보 관리서버는, 상기 실내공간의 각종 환경 정보를 센싱하는 센서로부터 센싱정보를 수집해 포맷팅해서 수집정보DB에 저장하는 센싱값 처리모듈을 더 포함하고;
상기 영상정합 처리모듈은, 영상이미지 정합으로 생성된 상기 실내공간 이미지에 해당하는 센싱정보를 링크하는 것;
을 특징으로 하는 영상이미지 정보 클라우드 기반의 3D 실내공간 이미지 자동 생성시스템.
제 1 항에 있어서,
상기 카메라 장치는, 카메라와, 상기 카메라를 회전 가능하게 지지하는 제1행거와, 상기 제1행거에서 카메라가 회전하도록 구동하는 제1구동모터와, 상기 제1행거를 회전 가능하게 지지하는 제2행거와, 상기 제2행거에서 제1행거가 회전하도록 구동하는 제2구동모터와, 상기 카메라와 제1행거의 회전각을 각각 센싱하는 회전각센서를 포함한 것;
을 특징으로 하는 영상이미지 정보 클라우드 기반의 3D 실내공간 이미지 자동 생성시스템.
제 3 항에 있어서,
상기 카메라 장치는, 상기 카메라와 제1구동모터와 제2구동모터와 회전각센서 중 선택된 하나 이상의 동작 제어를 위해서 조작신호에 따라 해당하는 제어신호를 발신하는 리모컨을 더 포함하는 것;
을 특징으로 하는 영상이미지 정보 클라우드 기반의 3D 실내공간 이미지 자동 생성시스템.
제 1 항에 있어서,
상기 실내공간정보 관리서버는, 상기 수집정보DB에 저장된 데이터들의 검색과 출력을 위한 웹페이지를 생성 및 실행하는 웹페이지 처리모듈을 더 포함하고;
상기 컨트롤 장치는 실내공간정보 관리서버와 온라인 네트워크 통신 체계에 따라 통신하는 것;
을 특징으로 하는 영상이미지 정보 클라우드 기반의 3D 실내공간 이미지 자동 생성시스템.
제 1 항에 있어서,
상기 실내공간정보 관리서버는, 동일 실내 공간에 대한 기존 영상이미지와 템플릿 데이터를 저장하는 기존정보DB를 더 포함하고;
상기 영상정합 처리모듈은, 해당 실내공간에 대한 기존 영상이미지 여부를 상기 기존정보DB에서 검색하고, 검색된 상기 기존 영상이미지의 템플릿 데이터를 기반으로 SIFT 알고리즘에 따라 신규 영상이미지의 매칭 프로세싱을 실행하는 것;
을 특징으로 하는 영상이미지 정보 클라우드 기반의 3D 실내공간 이미지 자동 생성시스템.
삭제
기준대가 바닥면에 설치된 실내공간을 실내공간 곳곳에 팬틸트 방식으로 설치된 다수의 카메라 장치가 다양한 촬영각으로 촬영하되 센서가 임의의 타겟과의 거리를 측정해서 제1거리측정정보를 수집하는 단계와, 이미지 수집모듈이 상기 카메라 장치가 촬영하여 수집한 기준이미지를 수집정보DB에 저장하는 단계와, 상기 기준이미지 내 기준대의 위치와 높이에 따라 촬영각을 세팅하는 단계로 구성된 기준이미지 수집 단계;
상기 카메라 장치가 기준대가 철거된 실내공간을 촬영해서 촬영각별로 영상이미지를 수집하는 단계와, 상기 센서가 상기 타겟과의 거리를 측정해서 제2거리측정정보를 수집하는 단계로 구성된 영상이미지 수집 단계;
상기 영상이미지 수집 단계에서 수집한 영상이미지를 영상정합 처리모듈이 기준이미지와 비교하는 단계와, 상기 영상이미지가 해당 기준이미지와 불일치한 것으로 확인되면 영상정합 처리모듈은 영상이미지의 촬영각 정보를 제1거리측정정보 및 제2거리측정정보를 기준으로 해당하는 기준이미지의 촬영각에 맞춰 보정하는 단계로 구성된 영상이미지 보정 단계;
상기 영상정합 처리모듈이 영상이미지를 분석하고 SIFT 알고리즘에 따라 영상이미지 내에 구간별로 SIFT 디스크립터 데이터를 설정해서 수집정보DB에 저장하는 단계와, 상기 영상정합 처리모듈이 서로 이웃하는 영상이미지에서 서로 공유하는 상기 SIFT 디스크립터 데이터를 기준으로 영상이미지를 매칭해서 실내공간 이미지를 생성하는 단계로 구성된 영상이미지 정합 단계; 및
상기 실내공간 이미지를 포맷팅해서 수집정보DB에 저장하는 결과파일 포맷팅 단계;
를 포함하는 것을 특징으로 하는 영상이미지 정보 클라우드 기반의 3D 실내공간 이미지 자동 생성방법.