KR20210064115A

KR20210064115A - 촬영을 기반으로 하는 3d 모델링 시스템 및 방법, 자동 3d 모델링 장치 및 방법

Info

Publication number: KR20210064115A
Application number: KR1020207037080A
Authority: KR
Inventors: 밍 조우; 중정 시앙; 페이 차이
Original assignee: 상 하이 이워 인포메이션 테크놀로지 컴퍼니 리미티드
Priority date: 2019-08-23
Filing date: 2020-05-15
Publication date: 2021-06-02
Also published as: WO2021036353A1; CN110505463A; CN110769240A; CN110769240B; KR102580961B1

Abstract

본 발명에서는 촬영을 기반으로 하는 3D 모델링 시스템 및 방법, 자동 3D 모델링 장치 및 방법을 제공하는 바, 여기에는 S1) 이동 장치와 카메라를 동일한 촬영 프레임 상에 고정하며; S2) 프레임을 이동하는 과정에 여러 장의 카메라 또는 이동 장치의 포지셔닝용 이미지를 취득하고, 각 촬영점의 위치와 방향을 취득하여, 통일적인 좌표계를 사용하는 로드맵을 형성하며; S3) 상기 이동 장치 상 또는 원격 서버단에서 각 촬영점에서의 3D 모델링용 이미지를 기반으로 3D 모델링을 진행하며; S4) 각 촬영점의 3D 모델을 S2에서 취득한 위치와 방향에 따라, 통일적으로 동일한 3차원 좌표계 내에 놓고, 다수의 촬영점의 3D 모델 간의 결합 부위에 대하여 접합 처리를 진행하여 다수의 촬영점이 포함된 전체 3D 모델을 형성하는 것이 포함된다. 본 발명은 여러 가지 촬영 장치를 지원하고, 자동적으로 정확하게 각 촬영점의 상대적 위치와 카메라의 렌즈 방향을 기록하며, 자동으로 내부에서 만유할 수 있는 3D 모델 및 2D 평면도를 생성할 수 있다.

Description

촬영을 기반으로 하는 3D 모델링 시스템 및 방법, 자동 3D 모델링 장치 및 방법

본 출원은 출원번호가 201910784772.1, 출원일자가 2019년 08월 23일인 중국 특허 출원을 바탕으로 제출하는 것이고, 또한 중국 특허 출원의 우선권을 요구하며, 해당 중국 특허 출원의 모든 내용은 인용을 통하여 본 출원에 결합되어 졌다.

본 발명은 3D 모델링 시스템 및 방법에 관한 것으로서, 특히 촬영을 기반으로 하는 3D 모델링 시스템 및 방법, 자동 3D 모델링 장치 및 방법에 관한 것이다.

본 발명에서 해결하고자 하는 기술적 과제로는 촬영을 기반으로 하는 3차원 공간 모델링 방안으로서, 단일 공간 또는 다중 공간의 3D 모델링 및/또는 2D 평면도 생성에 사용될 수 있다.

종래에 촬영을 기반으로 하는 3D 모델링 방법에 주요하게 하기와 같은 두 가지가 존재하지만, 모두 뚜렷한 결함을 갖고 있다.

방법a) 심도 정보를 식별할 수 있는 카메라를 사용하여 직접 3D 모델을 생성한다. 이러한 방법은 더욱 복잡한 하드웨어에 의존하기 때문에, 더욱 높은 장치 원가를 요구하고, 흔히 전문 촬영사의 조작이 필요하여 보급이 불리하며;

방법b) 촬영점 거리가 비교적 가까운 한 지점에서 두 장의 사진을 촬영하고, 바람직하게는 센티미터 레벨과 데시미터 레벨로 이격되고 또한 연속 매칭과 포지셔닝을 진행하며, 그 후 MVS(Multi View Stereo, https://github.com/cdcseacave/openMVS 참조)를 사용하여 모델링을 진행하는 바, 장점은 전반 과정이 전자동이고 인공 간섭이 필요 없지만, 결함도 뚜렷하다.

결함1: 계산량이 비교적 크고, 이동 장치 등 계산 자원이 제한적인 장치 상에서 모델링하기 쉽지 않으며, 일반적으로 서버(클라우드/PC)로 업로드하여야 하고, 더욱 막강한 계산 능력으로 모델링 알고리즘을 작동시켜야 하며;

결함2: 구체적으로 얼마나 이격되어 촬영하여야 하는지 규범을 제시할 수 없는 바, 만일 지나치게 조밀하면 번거롭고 시간을 많이 할애하며; 만일 보이는대로 진행하고 감각만 믿는다면 모델링에 실패할 수 있고, 촬영 시 사용자에게 주의를 줄 수 없다.

그리고, 종래에 또한 촬영을 기반으로 3차원 공간 씬을 재구성하는 방법을 제공한 적이 있지만, 이러한 방법에서는 기본상 모두 3D 모델링용의 이미지를 기반으로 3D 모델을 자동 생성할 수 없고, 대량의 인공 조작이 개입되어 각 공간의 3D 모델을 수정하여야 한다. 그리고, 다수 공간 각각의 3D 모델에 대하여 자동 접합 처리를 진행할 수 없고, 인공으로 각 공간의 3D 모델을 관찰하고 또한 그 공통점을 찾아낸 후, 수동으로 접합을 진행하여야 하여, 시간과 정력이 할애된다.

종래 방법의 상기 결함 중의 하나 또는 다수를 극복하기 위하여, 본 발명에서는 창의적인 방법을 사용하였는 바, 즉 딥러닝과 이미지 처리 방법을 사용하여 단일 촬영점 모델링을 진행하여, 이동 장치와 같은 제한적인 계산 능력 하에서 작동할 수 있을 뿐 아니라, 또한 관련 데이터를 클라우드 서버에 업로드하여 작동할 수도 있다. 그리고, 이동 장치를 이용하여 실시간 모델링을 진행하는 상황 하에서, 실시간성을 향상시키기 위하여, 단지 룸 윤곽에 대하여 모델링하고 가구, 장식품 등 물체 모델을 복원시키지 않으며; 촬영점 포지셔닝 시스템을 구성하는 것을 통하여, 다수의 촬영점의 모델을 위치와 방향에 따라 동일한 좌표계에 넣으며; 다수의 촬영점의 독립 모델에 대하여 최적화 처리를 진행하고, 결합 부분에 대하여 잘 처리하여 전체 3D 모델, 2D 평면도를 생성한다.

본 발명에서 지원하는 촬영 방식은 다양한 바, 핸드폰 어안 렌즈, 파노라마 카메라, 어안 렌즈가 구비된 카메라, 일반 핸드폰과 일반 디지털 카메라 등이 포함되나 이에 제한되지 않는다.

일반 사진(정의): 일반 디지털 카메라(일반 DSLR 카메라, ILDC, Point&Shoot 카메라 등), 파노라마 카메라, 어안 렌즈가 구비된 카메라, 일반 핸드폰과 웹캠이 채집한 사진이다. 양안 시각과 달리, 일반 사진은 동일한 촬영점에서 촬영한 두 장의 사진을 통하여 3차원 정보를 복원할 수 없다. 일반 사진을 하기 사진이라 약칭한다.

파노라마 카메라를 사용할 때, 일반적으로 취득하는 것은 파노라마 이미지이다. 일부 컴퓨터 시각, 이미지 알고리즘, 예를 들면 직선 탐지에서는 파노라마 이미지를 변형되지 않는 이미지로 전환시켜야 한다. 하기 사용하는 사진과 이미지의 서술은 파노라마 사진과 전환을 거친 변형되지 않는 이미지가 포함된다.

본 발명에서는 촬영을 기반으로 하는 3D 모델링 시스템 및 방법, 자동 3D 모델링 장치 및 방법을 제공하는 바, 여러 가지 촬영 장치를 지원하고, 또한 취득한 각 촬영점의 상대적 위치와 카메라의 렌즈 촬영 방향 정보를 기반으로, 자동으로 각 촬영점의 3D 모델을 접합시켜 전체 3D 모델을 생성할 수 있다. 본 발명에서는 또한 2D 평면도를 생성할 수 있다.

구체적으로 말하면, 본 발명에서 제공하는 촬영을 기반으로 하는 3D 모델링 시스템에는, 다수의 공간에 대하여 각각 해당 공간의 제1 이미지를 촬영하는 촬영 유닛; 각각 상기 촬영 유닛이 각 상기 공간에 대하여 촬영한 상기 제1 이미지를 기반으로, 각 상기 공간의 3D 모델을 생성하는 3D 모델 생성 유닛; 상기 촬영 유닛이 각 공간의 제1 이미지 촬영 시의 위치와 촬영 방향 정보를 취득하는 촬영 위치 취득 유닛; 상기 위치와 촬영 방향 정보를 기반으로, 상기 각 공간의 3D 모델을 동일한 3차원 좌표계 내에서 접합 처리를 진행하여, 상기 각 공간을 포함하는 전체 3D 모델을 형성하는 3D 모델 접합 유닛이 포함된다.

나아가, 상기 촬영 유닛이 상기 각 공간 간에 이동하는 과정에 여러 장의 제2 이미지를 촬영하며, 상기 촬영 위치 취득 유닛이 상기 여러 장의 제2 이미지를 통하여 특징점 매칭을 진행하여, 각 촬영점의 상대적 위치 이동과 촬영 방향 정보를 취득하는 바, 예를 들면 모든 촬영점을 포함하는 동일한 좌표계 내의 로드맵을 형성하여, 상기 촬영 유닛이 상기 처한 공간에 대하여 제1 이미지를 촬영 때의 위치와 촬영 방향 정보를 취득할 수 있다.

나아가, 상기 촬영 유닛이 포지셔닝 센서와 방향 센서를 구비하며; 상기 촬영 위치 취득 유닛이 상기 촬영 유닛이 처한 공간에 대하여 제1 이미지를 촬영할 때 제공하는 포지셔닝 정보와 방향 정보를 기반으로, 상기 촬영 유닛이 상기 처한 공간에 대하여 제1 이미지를 촬영 때의 위치와 촬영 방향 정보를 취득한다.

나아가, 상기 촬영 유닛이 상기 각 공간 간에 이동하는 과정에 여러 장의 제2 이미지를 촬영하며; 상기 촬영 유닛이 포지셔닝 센서와 방향 센서를 구비하며; 상기 촬영 위치 취득 유닛이 상기 촬영 유닛이 촬영한 여러 장의 제2 이미지 중의 가까운 촬영점 이미지를 통하여 특징점 매칭을 진행하여, 각 촬영점의 상대적 위치 이동과 촬영 방향 정보를 취득하는 바, 예를 들면 모든 촬영점을 포함하는 동일한 좌표계 내의 로드맵을 형성하고, 또한 상기 촬영 유닛이 처한 공간에 대하여 제1 이미지를 촬영할 때의 포지셔닝 정보와 방향 정보를 통하여 로드맵에 대하여 교정을 진행하여, 상기 촬영 유닛이 상기 처한 공간에 대하여 제1 이미지를 촬영 때의 위치와 촬영 방향 정보를 취득한다.

나아가, 상기 촬영 위치 취득 유닛이 또한 상기 촬영 유닛에 구비된 위치 이동 센서, 예를 들면 가속도 센서, 속도 센서가 제공하는 위치 이동 정보, 예를 들면 가속도 정보와 이동 속도 정보를 통하여, 상기 상대적 위치 이동 즉 로드맵과 촬영 방향 정보에 대하여 교정을 진행한다.

나아가, 상기 3D 모델 접합 유닛이 상기 촬영 위치 취득 유닛이 취득한 각 룸 촬영 시의 상기 위치와 촬영 방향 정보에 의하여, 예를 들면 하나의 전환 매트릭스를 이용하여, 단일 룸의 상기 3D 모델의 국부 좌표를 글로벌의 세계 좌표로 전환하여 모든 촬영점의 전체 3D 모델을 취득한다.

나아가, 단일 룸의 상기 3D 모델의 국부 좌표를 글로벌의 세계 좌표로 전환하는 것에는, 상기 촬영 유닛이 예정된 거리 이동하도록 하고, 상기 촬영 위치 취득 유닛이 상기 예정된 거리의 두 개의 단점의 좌표를 취득하며, 상기 두 개의 단점의 조표의 차이와 상기 예정된 거리의 비례값이 바로 상기 국부 조표와 상기 서계 좌표의 비례값이며; 또는 상기 촬영 위치 취득 유닛이 식별한 특징점을 이용하여, 상기 공간의 저면 또는 상부면이 소재하는 평면의 높이와 상기 촬영 유닛의 높이의 비례값을 추정하면, 바로 상기 국부 조표와 상기 서계 좌표의 비례값인 것이 포함된다.

나아가, 상기 촬영 유닛이 첫번째 촬영점의 촬영을 진행하기 전, 또는 후속 촬영의 이동 과정에서, 예정된 거리 이동하여 예정된 수량의 상기 특징점을 취득한다.

나아가, 상기 촬영 유닛에 양안 렌즈가 구비되고, 동일한 촬영점에서 해당 양안 렌즈가 각각 상기 제1 이미지를 촬영하며; 상기 3D 모델 생성 유닛이 상기 양안 렌즈가 각각 촬영한 상기 제1 이미지에 대하여 이미지 비교를 진행하는 것을 통하여 대응되는 픽셀을 결정하고, 또한 각 상기 대응되는 픽셀의 심도 정보를 취득하여 상기 3D 모델을 생성한다.

나아가, 상기 3D 모델 생성 유닛이 딥러닝 기술을 통하여, 상기 제1 이미지 중 각 픽셀의 심도를 예측하고, 상기 각 픽셀의 법선 방향을 계산 또는 직접 상기 딥러닝 기술을 이용하여 예측하여, 각 상기 공간의 3D 모델을 생성한다.

나아가, 상기 촬영 유닛은 카메라 및/또는 촬영 기능이 구비된 이동 장치, 예를 들면 핸드폰으로 구현되며; 상기 3D 모델 생성 유닛은 상기 핸드폰으로 구현되거나 또는 원격 서버로 구현되고, 상기 원격 서버로 구현된 상황 하에서, 이는 네트워크를 통하여 상기 카메라 및/또는 상기 촬영 기능이 구비된 이동 장치가 촬영 및 송신하는 제1 이미지를 수신하고, 각 상기 공간의 3D 모델을 생성하며; 상기 촬영 위치 취득 유닛은 상기 카메라 또는 상기 핸드폰으로 구현되며; 상기 3D 모델 접합 유닛은 상기 핸드폰으로 구현되거나 또는 원격 서버로 구현되고, 상기 원격 서버로 구현된 상황 하에서, 이는 네트워크를 통하여 상기 촬영 위치 취득 유닛이 송신하는 각 공간의 상기 위치와 촬영 방향 정보를 수신하고, 해당 위치와 촬영 방향 정보를 기반으로 상기 접합 처리를 완성하며, 또한 생성된 상기 전체 3D 모델을 상기 핸드폰 또는 기타 장치로 송신한다.

나아가, 상기 촬영 유닛을 구현하는 카메라와 촬영 기능이 구비된 핸드폰은 동일한 촬영 프레임 상에 고정되며; 상기 프레임을 이동하는 과정에서, 여러 장의 상기 카메라 또는 상기 촬영 기능이 구비된 핸드폰이 촬영하는 제2 이미지를 취득하여, 상기 카메라 또는 상기 촬영 기능이 구비된 핸드폰이 소재하는 공간에 대하여 제1 이미지를 촬영할 때의 위치와 촬영 방향 정보를 취득한다.

나아가, 상기 카메라 또는 상기 촬영 기능이 구비된 핸드폰의 포지셔닝 시스템을 기반으로, 상기 카메라 또는 상기 촬영 기능이 구비된 핸드폰이 촬영한 제2 이미지를 사용하여, 가까운 촬영점의 제2 이미지를 통하여 특징점 매칭을 진행하여 각 촬영점의 상대적 위치 이동과 촬영 방향 정보를 취득하여, 각 촬영점의 상대적 위치와 방향을 제공한다.

나아가, 상기 촬영 유닛이 첫번째 상기 공간에 대하여 상기 제1 이미지를 촬영하기 전, 또는 후속 촬영의 이동 과정에서, 하기 방식의 한 가지 또는 여러 가지를 통하여 상기 카메라의 렌즈와 상기 핸드폰의 촬영 방향의 협각을 취득하는 바,

여기에서, 카메라의 렌즈의 촬영 방향은 일반적인 파노라마 카메라의 전후 두 개의 어안 렌즈 중의 한 렌즈의 방향을 가리킬 수 있으며; 또는 하나의 렌즈를 회전시켜 여러 장의 사진을 촬영하는 파노라마 렌즈의 첫번째 사진을 촬영할 때의 렌즈의 방향을 가리킬 수 있다.

(1) 동시에 상기 핸드폰을 기반으로 하는 포지셔닝 시스템과 상기 카메라를 기반으로 하는 포지셔닝 시스템을 작동시키고, 또한 상기 프레임을 일정한 거리 이동시키며, 이때 두 시스템이 각각 하나의 위치 이동 벡터를 제공하며, 두 벡터의 협각이 바로 상기 카메라의 렌즈와 상기 핸드폰의 촬영 방향의 협각이며;

(2) 수동으로 상기 카메라의 미리보기 이미지 또는 촬영한 이미지를 회전시키는 것을 통하여, 상기 핸드폰 촬영 방향과 일치한 각도를 지정하며;

(3) 이미지 식별 알고리즘을 통하여 상기 핸드폰과 상기 카메라의 미리보기 이미지 또는 촬영한 이미지를 매칭시켜 상기 협각을 찾아내며;

(4) 추가의 표지를 사용하는 것을 통하여, 프레임 상에 포함시켜 눈금을 추가하고 상기 핸드폰의 설치 방향과 고정된 협각을 형성하며, 그 후 상기 카메라의 미리보기 이미지 또는 이미지 중에서 해당 표지를 식별하여 상기 카메라의 렌즈와 상기 핸드폰의 촬영 방향의 협각을 계산하며;

(5) 상기 프레임 상에 슬롯을 구비하는 것을 통하여, 상기 카메라와 상기 핸드폰(이동 장치)이 기지의 고정된 협각을 형성하도록 확보한다.

나아가, 상기 공간은 룸이며; 상기 제1 이미지는 상기 룸의 실내 이미지이며; 상기 3D 모델 생성 유닛이 딥러닝 기술을 기반으로, 상기 제1 이미지 중의 바닥, 천장, 벽 중의 적어도 하나의 이미지를 식별하며, 또한 이미지 처리 기술을 기반으로 식별된 이미지에 대하여 분할을 진행하고, 각 블럭은 근사하게 하나의 평면으로 간주하며, 바닥과 천장의 이미지 블럭이 수평 평면에 위치하게 하고, 벽의 이미지 블럭이 수직 평면에 위치하게 하며, 각 평면 방정식의 해를 구하는 것을 통하여 상기 3D 모델을 생성하며; 그 중에서, 상기 제1 이미지 중에서 교차되는 두 개의 평면에 대하여, 산출된 교차선과 실제 관찰된 교차선의 오차가 가장 작도록 한다.

나아가, 상기 3D모델 생성 유닛은 또한 컴퓨터 시각 기술을 이용하여 상기 실내 이미지 중의 코너를 식별하고, 또한 코너를 연결시켜 룸의 대략적인 모델을 생성한다.

나아가, 상기 3D 모델 접합 유닛이 상기 다수의 룸 각자의 3D 모델에 대하여 통일적인 교정을 진행하는 바, 통계의 방법을 사용하여 모든 룸의 벽선 방향에 대하여 통일적인 교정을 진행하여, 모든 룸의 일정한 편차 범위 내의 벽선이 평행되도록 하는 것이 포함되며; 상기 3D 모델 접합 유닛이 상기 각 룸의 3D 모델에 대하여 접합 처리를 진행할 때, 중첩된 부분 및/또는 출현된 공동에 대하여 수정을 진행한다.

나아가, 촬영을 기반으로 하는 3D 모델링 시스템에는 또한 하기 방식으로 2D 평면도를 생성하는 2D 평면도 생성 유닛이 포함되며; 생성된 상기 3D 모델의 각 면을 바닥에 수직되는 평면으로 투영시키고, 이러한 투영을 하나의 다각형으로 합병시키며; 취득한 상기 다각형에 대하여 교정과 간략화를 진행하는 바, 하기 적어도 한 가지 방식이 포함되는 바, 즉 (1) 단지 상기 다각형의 주요 정점만 보류하고, 작은 요철을 삭제하며; (2) 컴퓨터 시각 기술을 이용하여 이미지 중의 직선을 탐지하고, 나아가 벽의 방향을 결정하며, 또한 벽의 방향과 근사하게 평행 또는 수직되는 변을 모두 대응되는 방향으로 수정하며; 상기 촬영 위치 취득 유닛이 취득한 각 공간의 상기 위치와 촬영 방향 정보를 기반으로, 생성된 상기 각 룸의 2D 평면도를 동일한 2차원 좌표계 내에서 접합 처리를 진행하여, 상기 각 룸 각자의 2D 평면도로 접합 구성된 전체 2D 평면도를 형성하며; 문 및/또는 창문의 위치를 식별 및 표시하는 바, 딥러닝의 방법을 사용하여, 상기 실내 이미지 상에서 문 및/또는 창문의 위치를 식별하거나, 또는 상기 촬영 유닛이 동일한 집에 속하는 다수의 룸에 대하여 각각 상기 제1 이미지를 촬영할 때의 이동 궤적과 해당 룸 윤곽의 교차점에 의하여 문의 위치를 결정한다.

나아가, 상기 2D 평면도 생성 유닛이 상기 다수의 룸 각자의 2D 평면도에 대하여 통일적인 교정을 진행하는 바, 통계의 방법을 사용하여 모든 룸의 벽선 방향에 대하여 통일적인 교정을 진행하여, 모든 룸의 일정한 편차 범위 내의 벽선이 평행되도록 하는 것이 포함되며; 상기 2D 평면도 생성 유닛이 상기 각 룸의 2D 평면도에 대하여 접합 처리를 진행할 때, 중첩된 부분 및/또는 출현된 공동에 대하여 수정을 진행한다.

나아가, 촬영을 기반으로 하는 3D 모델링 시스템에는 또한 하기 방식으로 2D 평면도를 생성하는 2D 평면도 생성 유닛이 포함되며; 상기 3D 모델 접합 유닛이 생성한 상기 3D 모델의 각 면을 바닥에 수직되는 평면으로 투영시키고, 이러한 투영을 하나의 다각형으로 합병시키며; 취득한 상기 다각형에 대하여 교정과 간략화를 진행하는 바, 하기 적어도 한 가지 방식이 포함되는 바, 즉 (1) 단지 상기 다각형의 주요 정점만 보류하고, 작은 요철을 삭제하며; (2) 컴퓨터 시각 기술을 이용하여 이미지 중의 직선을 탐지하고, 나아가 벽의 방향을 결정하며, 또한 벽의 방향과 근사하게 평행 또는 수직되는 변을 모두 대응되는 방향으로 수정하며; 문 및/또는 창문의 위치를 식별 및 표시하는 바, 딥러닝의 방법을 사용하여, 상기 실내 이미지 상에서 문 및/또는 창문의 위치를 식별하거나, 또는 상기 촬영 유닛이 동일한 집에 속하는 다수의 룸에 대하여 각각 상기 제1 이미지를 촬영할 때의 이동 궤적과 해당 룸 윤곽의 교차점에 의하여 문의 위치를 결정한다.

그리고, 본 발명에서는 또한 자동 3D 모델링 장치를 제공하는 바, 모델링 객체에 포함된 다수의 공간 각자의 제1 이미지를 기반으로, 각각 각 상기 공간의 3D 모델을 생성하는 3D 모델 생성 유닛; 상기 다수의 공간 각자의 상기 제1 이미지가 촬영될 때의 위치와 촬영 방향 정보를 기반으로, 상기 3D 모델 생성 유닛에서 생성된 상기 각 공간의 3D 모델을 동일한 3차원 좌표계 내에서 접합 처리를 진행하여, 상기 각 공간 각자의 3D 모델로 접합 구성된 전체 3D 모델을 형성하는 3D 모델 접합 유닛이 포함된다.

그리고, 본 발명에서는 또한 자동 3D 모델링 방법을 제공하는 바, 모델링 객체에 포함된 다수의 공간 각자의 제1 이미지를 기반으로, 각각 각 상기 공간의 3D 모델을 생성하는 3D 모델 생성 단계; 상기 다수의 공간 각자의 상기 제1 이미지가 촬영될 때의 위치와 촬영 방향 정보를 기반으로, 상기 3D 모델 생성 단계에서 생성된 상기 각 공간의 3D 모델을 동일한 3차원 좌표계 내에서 접합 처리를 진행하여, 상기 각 공간 각자의 3D 모델로 접합 구성된 전체 3D 모델을 형성하는 3D 모델 접합 단계가 포함된다.

그리고, 본 발명에서는 또한 촬영을 기반으로 하는 3D 모델링 방법을 제공하고, 하기 단계가 포함되는 바, 즉 S1) 촬영 기능이 구비된 이동 장치와 카메라를 동일한 촬영 프레임 상에 고정하며; S2) 프레임을 이동하는 과정에 여러 장의 카메라 또는 이동 장치의 제2 이미지를 취득하고, 상기 카메라 또는 이동 장치의 센서를 결합시켜 각 촬영점의 위치와 촬영 방향을 취득하여, 통일적인 좌표계를 사용하는 로드맵을 형성하며; S3) 상기 이동 장치 상 또는 원격 서버단에서 각 촬영점에서 촬영한 제1 이미지를 기반으로 3D 모델링을 진행하며; S4) 각 촬영점의 상기 3D 모델을 S2에서 취득한 위치와 촬영 방향에 따라, 통일적으로 동일한 3차원 좌표계 내에 놓고, 다수의 촬영점의 3D 모델 간의 결합 부위에 대하여 접합 처리를 진행하여 다수의 촬영점이 포함된 전체 3D 모델을 형성하는 것이다.

나아가, 상기 S2 단계는 상기 이동 장치 또는 카메라의 포지셔닝 시스템을 기반으로, 상기 이동 장치 또는 카메라가 촬영한 제2 이미지를 사용하여, 가까운 촬영점의 제2 이미지를 통하여 특징점 매칭을 진행하여 촬영점의 상대적 위치 이동과 촬영 방향 정보를 찾아내어, 모든 촬영점을 포함하는 동일한 좌표계 내의 상기 로드맵을 형성하고, 또한 각 촬영점의 위치와 방향을 제공한다.

나아가, 상기 S2 단계에는 또한 상기 이동 장치 또는 카메라의 센서를 통하여 이동의 가속도, 속도와 방향을 포함하는 정보를 취득하여, 상기 로드맵에 대하여 교정을 진행하는 것이 포함된다.

나아가, 상기 S2 단계에는 또한 상기 카메라의 렌즈와 상기 이동 장치의 촬영 방향의 협각을 취득하는 것이 포함되는 바, 즉 초기화 단계에 동시에 상기 이동 장치를 기반으로 하는 포지셔닝 시스템과 상기 카메라를 기반으로 하는 포지셔닝 시스템을 작동시키고, 또한 프레임을 일정한 거리 이동시키며, 이때 두 시스템이 각각 하나의 위치 이동 벡터를 제공하며, 두 벡터의 협각이 바로 상기 카메라의 렌즈와 상기 이동 장치의 촬영 방향의 협각이며; 또는 수동으로 상기 카메라의 미리보기 이미지 또는 촬영한 이미지를 회전시키는 것을 통하여, 상기 이동 장치 촬영 방향과 일치한 각도를 지정하며; 또는 이미지 식별 알고리즘을 통하여 상기 이동 장치와 상기 카메라의 미리보기 이미지 또는 촬영한 이미지를 매칭시켜 상기 협각을 찾아내며; 또는 추가의 표지를 사용하는 것을 통하여, 프레임 상에 포함시켜 눈금을 추가하고 상기 이동 장치의 설치 방향과 고정된 협각을 형성하며, 그 후 상기 카메라의 미리보기 이미지 또는 이미지 중에서 해당 표지를 식별하여 상기 카메라의 렌즈와 상기 이동 장치의 촬영 방향의 협각을 계산하는 것이 포함된다.

나아가, 상기 S3 단계에는 하기가 포함되는 바, 즉 S31) 딥러닝 기술을 기반으로, 이미지 중의 바닥, 천장, 벽 중의 적어도 하나의 이미지를 식별하며; S32) 이미지 처리 기술을 기반으로 식별된 이미지에 대하여 분할을 진행하고, 각 블럭은 근사하게 하나의 평면으로 간주하며, 바닥과 천장의 이미지 블럭이 수평 평면에 위치하게 하고, 벽의 이미지 블럭이 수직 평면에 위치하게 하며, 각 평면 방정식의 해를 구하여 상기 3D 모델을 생성하며; 상기 이미지 중에서 교차되는 두 개의 평면에 대하여, 이 두 개의 평면의 하나의 교차선을 제약 조건으로 하여, 산출된 교차선과 실제 관찰된 교차선의 오차가 가장 작도록 하는 것이다.

나아가, 상기 S3 단계에는 또한 실내 이미지에 대하여, 컴퓨터 시각 기술을 이용하여 이미지 중의 코너를 식별하고, 또한 코너를 연결시키면 룸의 대략적인 모델인 것이 포함된다.

나아가, 상기 S4 단계에는 하기가 포함되는 바, 즉 S41) 각 촬영점의 위치와 촬영 방향에 의하여, 단일 촬영점의 3D 모델의 국부 좌표를 글로벌의 세계 좌표로 전환하여 모든 촬영점의 전체 3D 모델을 취득하며; S42) 다수의 촬영점의 3D 모델에 대하여 통일적인 교정을 진행하는 바, 통계의 방법을 사용하여 모든 쵤영점의 벽선 방향에 대하여 통일적인 교정을 진행하여, 모든 룸의 일정한 편차 범위 내의 벽선이 평행되도록 하는 것이 포함되며; S43) 각 촬영점의 3D 모델에 대하여 접합 처리를 진행할 때, 그 중첩된 부분 및/또는 출현된 공동에 대하여 수정을 진행하는 것이다.

본 발명은 종래 기술에 비하여, 하기 유익한 효과의 한 가지 또는 여러 가지를 구현할 수 있는 바, 즉 여러 가지 촬영 장치를 지원하며; 3D 모델링 및 접합 등 작업이 이동 단치 등 계산 능력이 제한적인 장치에서 작동할 수 있는 뿐 아니라, 또한 원격 서버단에서 진행할 수 있으며; 취득한 각 촬영점의 상대적 위치와 카메라의 렌즈 촬영 방향 정보를 기반으로, 자동으로 각 촬영점의 3D 모델을 접합시켜 전체 3D 모델을 생성할 수 있으며; 또한 수요에 의하여 2D 평면도를 생성할 수 있다. 본 발명은 모델링 성공률이 높으며; 각 룸이 단지 한 그룹의 이미지만 촬영하고 또한 파노라마 이미지를 합성하는 것을 지원하는 바, 효율이 높고, 사용자 체험이 훌륭하며; 모델링 효율이 높은 바, 촬영 과정에 실시간으로 모델링할 수 있을 뿐 아니라, 또한 원격 서버단에서 정확하게 모델링할 수도 있으며; 위지윅(WYSIWYG, what you see is what you get)이고, 사용자가 실시간 모델링 효과를 참조하여 촬영점 위치를 선택할 수 있어, 촬영이 누락되는 것을 방지하며; 모델링은 가구 등 간섭물을 포함하지 않을 수 있어, 정확한 평면도를 생성하는데 유리하다.

도 1은 본 발명이 응용할 수 있는 한 예시적 시스템 구조도.
도 2는 본 발명의 촬영을 기반으로 하는 3D 모델링 시스템의 일 실시예의 구조도.
도 3은 본 발명의 촬영을 기반으로 하는 3D 모델링 시스템의 다른 일 실시예의 구조도.
도 4는 본 발명의 촬영을 기반으로 하는 3D 모델링 방법의 일 실시예의 흐름도.
도 5는 본 발명의 자동 3D 모델링 장치의 일 실시예의 구조도.
도 6은 본 발명의 자동 3D 모델링 장치의 다른 일 실시예의 구조도.
도 7은 본 발명의 자동 3D 모델링 방법의 일 실시예의 흐름도.
도 8은 본 발명의 전자 장치의 일 실시예의 구조도.
도면을 결합하고 또한 하기 구체적인 실시방식을 참조하면, 본 발명의 각 실시예의 상기 및 기타 특징, 장점 및 방면은 더욱 뚜렷해질 것이다. 도면 중에서, 동일하거나 유사한 참조 부호는 동일하거나 유사한 요소를 표시한다. 도면은 예시적인 것이고, 원본과 요소는 비례에 따라 드려진 것이 아닐 수 있다.

별도의 정의가 있지 않는 한, 본 명세서 사용된 모든 기술 및 과학 용어는 본 발명 당업계의 기술자들이 통상적으로 이해하고 있는 뜻과 같으며; 본 명세서 중의 본 출원의 설명에 사용된 용어는 구체적인 실시예를 기술하기 위한 것이지 본 발명을 제한하는 것이 아니며; 본 발명의 명세서 및 특허청구범위 및 상기 도면 중의 용어 “포함하다”와 “구비하다” 및 이들의 어떠한 변형은 비배타적인 포함을 포함하는 것이다. 본 발명의 명세서와 특허청구범위 또는 상기 도면 중의 용어 “제1”, 제2” 등은 서로 다른 대상을 구분하기 위한 것이고, 특정 순서를 설명하기 위한 것이 아니다.

본문에 언급된 “실시예”는 실시예를 참조하여 설명하는 특정된 특징, 구조 또는 특성이 본 발명의 적어도 하나의 실시예에 포함될 수 있음을 뜻한다. 본 명세서 중의 각 위치에 해당 어구가 나타나는 것은 모두 동일한 실시예를 가리키는 것이 아니며, 또한 기타 실시예와 상호 배척되는 독립적인 또는 예비 실시예도 아니다. 당업계 기술자들이 명시적으로 묵시적으로 이해할 것은 본문에 설명된 실시예는 기타 실시예와 결합될 수 있다는 것이다.

당업계 기술자들이 본 발명의 방안을 더욱 잘 이해하도록 하기 위하여, 아래 도면과 실시예를 참조하여 본 출원에 대하여 더욱 상세한 설명을 진행하도록 한다.

[시스템 구조]

우선, 본 발명의 일 실시예의 시스템의 구조를 설명하도록 한다. 도 1에 도시된 바와 같이, 시스템 구조(100)에는 이동 장치(101, 102, 103, 104), 네트워크(105)와 서버(106)가 포함될 수 있다. 네트워크(105)는 단말 장치(101, 102, 103, 104)와 서버(106) 간에 통신 링크를 제공하는 매체이다.

본 실시예에서, 도 1에 도시된 이동 장치(101, 102, 103 또는 104)는 네트워크(105)를 통하여 여러 가지 정보의 전송을 진행할 수 있다. 네트워크(105)에는 여러 가지 연결 유형이 포함될 수 있는 바, 예를 들면 유선, 무선 통신 링크 또는 광섬유 케이블 등이 있다. 지적하여야 할 바로는, 상기 무선 연결 방식에는 3G/4G/5G 연결, Wi-Fi 연결, 블루투스 연결, WiMAX 연결, Zigbee 연결, 근거리 통신망(“LAN”), 광역망(“WAN”), 인터넷워크(예를 들면, 인터넷)와 단대단 네트워크(예를 들면, ad hoc 단대단 네트워크) 및 기타 종래 기지의 또는 향후 개발될 네트워크 연결 방식이 포함된다. 네트워크(105)는 예를 들면 HTTP(Hyper Text Transfer Protocol, 하이퍼텍스트 전송 프로토콜) 등 임의의 현재 기지의 또는 향후 개발될 네트워크 프로토콜을 이용하여 통신을 진행할 수 있고, 또한 임의의 형식 또는 매체의 디지털 데이터 통신(예를 들면, 통신 네트워크)와 상호 연결될 수 있다.

사용자는 이동 장치(101, 102, 103, 104)를 사용하여 네트워크(105)를 통하여 서버(106)와 상호작용하여 메시지 등을 수신 또는 송신할 수 있다. 이동 장치(101, 102, 103 또는 104) 상에는 여러 가지 고객단 응용이 설치되어 있을 수 있는 바, 예를 들면 라이브 비디오와 플레이 유형 응용, 웹페이지 브라우저 응용, 쇼핑 유형 응용, 검색 유형 응용, 인스턴트 메시지 툴, 메일박스 고객단, 쇼셜 플랫폼 소프트웨어 등이다.

이동 장치(101, 102, 103 또는 104)는 터치스크린이 구비되며 및/또는 웹페이지 브라우징을 지원하는 여러 가지 전자 장치일 수 있고, 또한 촬영 기능이 구비되는 바, 스마트폰, 태블릿 PC, 전자 도서 리더, MP3(Moving Picture Experts Group Audio Layer 3) 플레이어, MP4(Moving Picture Experts Group Audio Layer 4) 플레이어, 헤드 마운티드 디스플레이 장치, 노트북 컴퓨터, 디지털 방송 수신기, PDA(개인용 정보 단말기), PMP(휴대용 멀티미디어 플레이어), 차량용 단말 등의 이동 장치 및 예를 들면 디지털 TV, 데스크톱 컴퓨터 등이 포함되나 이에 제한되지 않는다.

서버(106)는 여러 가지 서비스를 제공하는 서버일 수 있는 바, 예를 들면 이동 장치(101, 102, 103 또는 104) 상에서 3D 모델링을 진행하는데 지원을 제공하는 백그라운드 서버이다.

도 1 중의 이동 장치, 네트워크와 서버의 수량은 단지 예시적인 것을 이해할 것이다. 실제 수요에 의하여, 임의의 수량의 이동 장치, 네트워크와 서버를 구비할 수 있다.

여기에서, 이동 장치는 독립적으로 또는 기타 전자 단말 장치 예를 들면 카메라와 동일한 프레임(예를 들면 삼각대)에 고정되는 것을 통하여, 안드로이드 시스템 중의 응용을 배합 작동시켜 본 발명의 실시예의 방법을 구현할 수 있고, 또한 기타 운영시스템 중의 응용, 예를 들면 iOS 시스템, Windows 시스템, HarmonyOS 등의 응용을 작동시켜 본 발명의 실시예의 방법을 구현할 수 있다.

[촬영을 기반으로 하는 3D 모델링 시스템]

도 2는 본 발명의 촬영을 기반으로 하는 3D 모델링 시스템의 일 실시예의 구조도이다. 도 2에 도시된 바와 같이, 해당 실시예 중의 촬영을 기반으로 하는 3D 모델링 시스템에는, 다수의 공간에 대하여 각각 해당 공간의 제1 이미지를 촬영하는 촬영 유닛(201); - 여기에서 제1 이미지는 예를 들면 3D 모델링용 이미지일 수 있는 바, 예를 들면 일반 사진, 파노라마 사진, 처리를 거친 파노라마 사진(예를 들면 변형 제거 등)이 포함될 수 있다. 해당 촬영 유닛(201)은 이동 장치 중의 촬영 모듈로 구현될 수 있다.

여기에서, 촬영 유닛(201)이 각 공간 간에 이동하는 과정에 여러 장의 제2 이미지를 촬영하는 바, 여기에서의 제2 이미지는 예를 들면 포지셔닝용 이미지일 수 있고, 일반 사진, 파노라마 사진, 처리를 거친 파노라마 사진(예를 들면 변형 제거 등)이 포함될 수 있다. 여기에서, 제1 이미지와 제2 이미지는 동일한 이미지일 수 있는 바, 일부 동일한 이미지일 수도 있고, 다른 이미지일 수도 있으며, 또한 제한하지 않는다. 여기에서의 포지셔닝용 이미지는 또한 촬영 유닛(201)이 촬영한 사진, 미리보기 이미지, 비디오 프레임 등일 수 있으며, 저장될 수도 있고, 또한 저장되지 않고 단지 특징점의 식별 및 매칭에만 사용될 수도 있다.

여기에서, 촬영 유닛(201)에는 예를 들면 포지셔닝 센서와 방향 센서가 구비되어, 소재하는 공간에 대하여 3D 모델링용 이미지를 촬영할 때의 포지셔닝 정보와 방향 정보를 취득할 수 있고, 여기에서, 포지셔닝 센서는 예를 들면 가속도 센서, 자이로스코프, 선형 가속도 센서, 회전 벡터 센서, 중력 센서 등 중의 하나 또는 다수일 수 있으며; 방향 센서는 예를 들면 방향 센서, 자력 센서 등 중의 하나 또는 다수일 수 있다. -

각각 촬영 유닛(201)이 각 공간에 대하여 촬영한 3D 모델링용 이미지를 기반으로, 각 공간의 3D 모델을 생성하는 3D 모델 생성 유닛(202);

하나 또는 다수의 실시예에서, 촬영 유닛(201)에 양안 렌즈가 구비되고, 동일한 촬영점에서 해당 양안 렌즈가 3D 모델링용 이미지를 촬영하며; 그렇다면 3D 모델 생성 유닛(202)이 해당 양안 렌즈가 각각 촬영한 3D 모델링용 이미지에 대하여 이미지 비교를 진행하는 것을 통하여 대응되는 픽셀을 결정하고, 또한 각 대응되는 픽셀의 심도 정보를 취득하여 3D 모델을 생성한다.

하나 또는 다수의 실시예에서, 예를 들면, 3D 모델 생성 유닛(202)이 또한 딥러닝 기술을 통하여, 3D 모델링용 이미지 중 각 또는 일부 픽셀의 심도를 예측하고, 각 또는 일부 픽셀의 법선 방향을 계산 또는 직접 상기 딥러닝 기술을 이용하여 예측하여, 각 공간의 3D 모델을 생성할 수 있음은 물론이다.

여기에서, 하나 또는 다수의 실시예에서, 딥러닝 기술을 통하여 3D 모델링용 이미지 중 각 픽셀의 심도를 예측하거나 또는 각 픽셀의 법선 방향을 예측하는 방법은 예를 들면 단일 실내 360° 이미지 중에서 밀집 심도와 표면 법선 및 평면 경계의 훈련 평면을 예측하여 콘볼루션 신경망을 감지하는 방법(예를 들면 Pano Popups: Indoor 3D Reconstruction with a Plane-Aware Network을 참조할 수 있음); 또는 대규모 3차원 데이터 집합을 사용하여 단대단의 방식으로 360° 이미지에서 심도를 예측하는 방법(예를 들면 OmniDepth: Dense Depth Estimation for Indoors Spherical Panoramas를 참조할 수 있음)일 수 있다. -

촬영 유닛(201)이 각 공간의 3D 모델링용 이미지 촬영 시의 위치와 촬영 방향 정보를 취득하고, 또한 렌즈의 초점 거리, 렌즈의 스캔 구역 및 기타 이미지 내용의 촬영에 영향을 미칠 수 있는 파라미터, 예를 들면 초점 거리, 광각 또는 망원경 렌즈 구비 등 이미지 내용 특징에 영향을 미칠 수 있는 일그러짐 또는 이미지 내용 특징에 영향을 미칠 수 있는 상대적 치수를 취득할 수 있음은 물론인 촬영 위치 취득 유닛(203);

여기에서, 촬영 위치 취득 유닛(203)이 예를 들면 촬영 유닛(201)이 촬영한 여러 장의 포지셔닝용 이미지 중의 가까운 촬영점 이미지를 통하여 특징점 매칭을 진행하여, 각 촬영점의 상대적 위치 이동과 촬영 방향 정보를 취득하는 바, 예를 들면 모든 촬영점을 포함하는 동일한 좌표계 내의 로드맵을 형성하여, 촬영 유닛(201)이 상기 처한 공간에 대하여 3D 모델링용 이미지를 촬영 때의 위치와 촬영 방향 정보를 취득할 수 있다.

여기에서, 촬영 위치 취득 유닛(203)이 또한 예를 들면 촬영 유닛(201)이 처한 공간에 대하여 3D 모델링 이미지를 촬영할 때 제공하는 포지셔닝 정보와 방향 정보를 기반으로, 촬영 유닛(201)이 상기 처한 공간에 대하여 3D 모델링용 이미지를 촬영 때의 위치와 촬영 방향 정보를 취득할 수 있다.

여기에서, 촬영 위치 취득 유닛(203)이 또한 촬영 유닛(201)에 구비된 예를 들면 가속도 센서, 속도 센서 등 및 자이로스코프, 기압 센서 또는 기타 동작 센서를 포함하는 센서가 제공하는 위치 이동 정보, 예를 들면 가속도 정보와 이동 속도 정보 또는 기타 동작/운동 정보 등을 통하여, 상대적 위치 이동 즉 로드맵과 촬영 방향 정보에 대하여 교정을 진행한다. -

촬영 위치 취득 유닛(203)이 취득한 각 공간의 위치와 촬영 방향 정보를 기반으로, 3D 모델 생성 유닛(202) 생성한 각 공간의 3D 모델을 동일한 3차원 좌표계 내에서 접합 처리를 진행하여, 각 공간 각자의 3D 모델로 접합 구성된 전체 3D 모델을 형성하는 3D 모델 접합 유닛(204)이 포함된다.

여기에서, 3D 모델 접합 유닛(204)이 또한 촬영 위치 취득 유닛(203)이 취득한 각 룸 촬영 시의 위치와 촬영 방향 정보에 의하여, 예를 들면 하나의 전환 매트릭스를 이용하여, 단일 룸의 3D 모델의 국부 좌표를 글로벌의 세계 좌표로 전환하여 모든 촬영점의 전체 3D 모델을 취득할 수 있다.

여기에서, 단일 룸의 3D 모델의 국부 좌표를 글로벌의 세계 좌표로 전환하는 것에는, 촬영 유닛(201)이 예정된 거리 이동하도록 하고, 촬영 위치 취득 유닛(203)이 예정된 거리(예를 들면 1미터)의 두 개의 단점의 좌표를 취득하며, 두 개의 단점의 조표의 차이와 예정된 거리의 비례값이 바로 국부 조표와 서계 좌표의 비례값이며; 또는 촬영 위치 취득 유닛(203)이 식별한 특징점을 이용하여, 해당 공간의 저면 또는 상부면이 소재하는 평면의 높이와 촬영 유닛(201)의 높이의 비례값을 추정하면, 바로 국부 조표와 서계 좌표의 비례값인 것이 포함되며, 그 중에서, 촬영 유닛(201)이 첫번째 촬영점의 촬영을 진행하기 전, 또는 후속 촬영의 이동 과정에서, 예정된 거리 이동하여 예정된 수량의 특징점을 취득한다.

여기에서, 해당 공간의 저면 또는 상부면이 소재하는 평면의 높이와 촬영 유닛(201)의 높이의 비례값을 추정하는 방법은, 예를 들면 촬영점을 수직으로 저면에 투영시키고, 이어 (저면 상에서) 특징점을 연결하는 바, 이 세 개 점이 하나의 삼각형을 형성하는 것이다. 투영선이 L1이고, 촬영점으로부터 특징점까지의 연결선이 L2이며, 투영점으로부터 특징점까지의 연결선이 L3이라고 가정하며; L1과 L2 간의 협각은 이미 알고 있으며(파노라마 이미지의 특성에 의하여), L3의 길치 및 위 협각에 의하여 삼각 함수를 사용하여 L1을 산출하고, 이어 실제의 카메라 높이에 의하여 비례자를 산출할 수 있다.

여기에서, 예정된 거리는 예정된 수량의 특징점을 취득할 수 있는 충분한 거리를 만족시켜야 한다.

구체적으로 말하면, 하나 또는 다수의 실시예에서, 예를 들면 촬영 유닛(201)은 단지 카메라 또는 핸드폰 카메라만 사용하며, 취득한 좌표가 모두 상대값이기 때문에, 반드시 좌표를 절대값으로 전환시켜야 한다. 다시 말하면 이미지 비교의 알고리즘은 일반적으로 정확한 비례자를 갖고 있지 않고, 좌표는 상대적이고 구체적인 치수가 없다. 이는 서로 다른 이미지로 산출한 위치 이동, 비례자가 통일적이지 못하고, 엇갈리는 문제를 초래한다. 상기 좌표를 전환하는 방법의 구체적인 구현은 하기와 같을 수 있다.

a) 사용자가 지정된 거리(예를 들면 1미터)를 이동하게 하고, 해당 이동 거리의 두 개의 단점의 좌표를 취득하면, 두 개의 단점의 좌표의 차이와 이동 거리의 비례값이 바로 국부 좌표와 서계 좌표의 좌표 비례값이며;

b) 시스템이 식별한 특징점을 이용하여, 예를 들면 룸 바닥 또는 천장이 소재하는 평면을 추정한다. 좌표계 중 수직 방향의 좌표축을 z축이라고 가정하면, 해당 평면의 방정식은 z = a이며; 촬영 유닛(201)의 높이를 이미 알고 있고(또는 촬영 유닛(201)으로부터 천장의 높이를 이미 알고 있고), h이기 때문에, a/h가 바로 국부 좌표와 세계 좌표의 비례값이다. 여기에서, a를 추정하려면 동일한 평면(지면 또는 천장) 상의 일정한 수량의 특징점을 찾아내야 하기 때문에, 구현 과정에서 초기화 과정을 구비할 수 있는 바, 즉 충분한 한 구간의 거리(예를 들면 2미터)를 이동하여야만 비로서 서로 다른 환경에서 모두 충분하게 많은 특징점을 누적할 수 있다. 해당 초기화 과정은 첫번째 촬영점 전에 위치시킬 수 있는 바, 만일 초기화에 실패하면 재차 진행할 수 있고, 후속 촬영에 영향을 미치지 않으며; 또한 초기화 과정을 후속 촬영점 간의 이동 과정에 위치시킬 수 있다.

해당 실시예에서, 촬영 유닛(201)은 예를 들면 카메라 및/또는 촬영 기능이 구비된 핸드폰으로 구현할 수 있으며;

하나 또는 다수의 실시예에서, 예를 들면 촬영 유닛(201)을 구현하는 카메라와 촬영 기능이 구비된 핸드폰은 동일한 촬영 프레임 상에 고정되며; 프레임을 이동하는 과정에서, 여러 장의 카메라 또는 촬영 기능이 구비된 핸드폰이 촬영하는 포지셔닝용 이미지를 취득하여, 카메라 또는 촬영 기능이 구비된 핸드폰이 소재하는 공간에 대하여 3D 모델링용 이미지를 촬영할 때의 위치와 촬영 방향 정보를 취득할 수 있다.

여기에서, 또한 카메라 또는 상기 촬영 기능이 구비된 핸드폰의 포지셔닝 시스템을 기반으로, 카메라 또는 촬영 기능이 구비된 핸드폰이 촬영한 포지셔닝용 이미지를 사용하여, 가까운 촬영점의 포지셔닝 이미지를 통하여 특징점 매칭을 진행하여 각 촬영점의 상대적 위치 이동과 촬영 방향 정보를 취득하여, 각 촬영점의 상대적 위치와 방향을 제공할 수 있다.

하나 또는 다수의 실시예에서, 촬영점의 위치, 방향과 로드맵은 핸드폰을 통하여 취득한다. 핸드폰은 회전 나사를 통하여 프레임 상에 고정될 수 있기 때문에, 매번 카메라와 핸드폰을 설치하는 협각은 다를 수 있다(하지만 한 룸을 촬영하는 과정 중의 협각은 불변함). 단일 룸의 3D 모델은 이 협각을 회전시키고, 다시 핸드폰이 취득한 위치와 촬영 방향에 의하여 글로벌 좌표에 넣어 전체 3D 모델을 형성하여야 한다.

여기에서, 촬영 유닛(201)이 첫번째 공간에 대하여 3D 모델링용 이미지를 촬영하기 전, 또는 후속 촬영의 이동 과정에서, 하기 방식의 한 가지 또는 여러 가지를 통하여 카메라의 렌즈와 핸드폰의 촬영 방향의 협각을 취득할 수 있는 바,

(1) 동시에 핸드폰을 기반으로 하는 포지셔닝 시스템과 카메라를 기반으로 하는 포지셔닝 시스템을 작동시키고, 또한 프레임을 일정한 거리 이동시키며, 이때 두 시스템이 각각 하나의 위치 이동 벡터를 제공하며, 두 벡터의 협각이 바로 카메라의 렌즈와 핸드폰의 촬영 방향의 협각이며;

(2) 수동으로 카메라의 미리보기 이미지 또는 촬영한 이미지를 회전시키는 것을 통하여, 핸드폰 촬영 방향과 일치한 각도를 지정하며;

(3) 이미지 식별 알고리즘을 통하여 상기 핸드폰과 상기 카메라의 미리보기 이미지 또는 촬영한 이미지를 매칭시켜 상기 협각을 찾아내며, 여기에서, 협각을 찾아내는 것을 구현하는 방법은 적어도 하기 방식 중의 하나를 포함할 수 있는 바, 즉

핸드폰과 카메라 두 개의 장치가 채집한 이미지 중의 특징값을 계산하는 바, 예를 들면 크기 불변 특징 변환(Scale-invariant feature transform, SIFT)을 통하여 매칭된 특징값에 의하여 두 개의 이미지 중의 위치 차이에 의하여, 두 개의 렌즈 촬영 방향의 협각을 계산하며; 또는

두 개의 렌즈가 채집한 비디오 스트림을 사용하여 각각 비주얼 위치 측정 및 동시 맵핑(Visual Simultaneous Localization And Mapping, VSLAM)을 구성하는 바, 두 시스템 내 카메라의 위치 이동의 협각이 바로 렌즈 촬영 방향의 협각이며;

(4) 추가의 표지를 사용하는 것을 통하여, 프레임 상에 포함시켜 눈금을 추가하고 핸드폰의 설치 방향과 고정된 협각을 형성하며, 그 후 카메라의 미리보기 이미지 또는 이미지 중에서 해당 표지를 식별하여 카메라의 렌즈와 핸드폰의 촬영 방향의 협각을 계산하며;

여기에서, 촬영점의 위치, 방향과 로드맵은 또한 카메라 이미지로부터 산출할 수 있음은 물론이고, 이러한 상황 하에서, 3D 모델을 계산하는 것이 카메라와 핸드폰의 협각에 의거하지 않기 때문에, 핸드폰은 프레임 상에 교정할 필요가 없다.

여기에서, 만일 카메라도 방향 센서를 구비한다면, 직접 카메라와 핸드폰의 방향을 취득하는 것을 통하여 협각을 계산할 수 있다.

3D 모델 생성 유닛(202)은 핸드폰으로 구현되거나 또는 원격 서버로 구현되고, 원격 서버로 구현된 상황 하에서, 이는 네트워크를 통하여 카메라 및/또는 촬영 기능이 구비된 핸드폰이 촬영 및 송신하는 3D 모델링용 이미지, 포지셔닝용 이미지 및/또는 동작 센서가 취득하는 정보를 수신하고, 각 공간의 3D 모델을 생성하며;

촬영 위치 취득 유닛(203)은 예를 들면 카메라 또는 이동 장치로 구현되며;

3D 모델 접합 유닛(204)은 예를 들면 핸드폰으로 구현되거나 또는 원격 서버로 구현되고, 상기 원격 서버로 구현된 상황 하에서, 이는 네트워크를 통하여 촬영 위치 취득 유닛(203)이 송신하는 각 공간의 상기 위치와 촬영 방향 정보를 수신하고, 해당 위치와 촬영 방향 정보를 기반으로 접합 처리를 진행하며, 또한 생성된 전체 3D 모델을 핸드폰 또는 기타 장치로 송신한다. 도 3은 본 발명의 촬영을 기반으로 하는 3D 모델링 시스템의 다른 일 실시예의 구조도이다. 도 3에 도시된 바와 같이, 해당 실시예의 촬영을 기반으로 하는 3D 모델링 시스템에서, 촬영을 기반으로 하는 3D 모델링 공간은 예를 들면 룸이며; 3D 모델링용 이미지는 예를 들면 해당 룸의 실내 이미지이며,

다수의 룸에 대하여 각각 해당 룸의 3D 모델링용 이미지를 촬영하는 촬영 유닛(301);

- 여기에서, 촬영 유닛(301)이 각 룸 간에 이동하는 과정에 여러 장의 포지셔닝용 이미지를 촬영한다.

여기에서, 촬영 유닛(301)에는 예를 들면 포지셔닝 센서와 방향 센서가 구비되어, 소재하는 룸에 대하여 3D 모델링용 이미지를 촬영할 때의 포지셔닝 정보와 방향 정보를 취득할 수 있다. -

각각 촬영 유닛(301)이 각 룸에 대하여 촬영한 3D 모델링용 이미지를 기반으로, 각 룸의 3D 모델을 생성하는 3D 모델 생성 유닛(302);

여기에서, 3D 모델 생성 유닛(302)이 딥러닝 기술을 기반으로, 3D 모델링용 이미지 중의 바닥, 천장, 벽 중의 적어도 하나의 이미지를 식별하며, 또한 이미지 처리 기술을 기반으로 식별된 이미지에 대하여 분할을 진행하고, 각 블럭은 근사하게 하나의 평면으로 간주하며, 바닥과 천장의 이미지 블럭이 수평 평면에 위치하게 하고, 벽의 이미지 블럭이 수직 평면에 위치하게 하며, 각 평면 방정식의 해를 구하는 것을 통하여 3D 모델을 생성하며; 그 중에서, 3D 모델링용 이미지 중에서 교차되는 두 개의 평면에 대하여, 산출된 교차선과 실제 관찰된 교차선의 오차가 가장 작도록 한다.

여기에서, 3D모델 생성 유닛(302)은 또한 컴퓨터 시각 기술을 이용하여 실내 이미지 중의 코너를 식별하고, 또한 코너를 연결시켜 룸의 대략적인 모델을 생성한다.

여기에서, 하나 또는 다수의 실시예에서, 이미지 중의 코너를 식별하는 방법은 예를 들면 특징점 탐지와 기술 자체 모니터링 훈련 프레임(예를 들면 SuperPoint: Self-Supervised Interest Point Detection and Description을 참조할 수 있음)을 사용하고, 이어 코너를 연결하여 룸의 대략적인 모델을 형성하여, 동일한 3차원 공간 중에 빈번하게 나타나는 객체, 예를 들면 코너 간의 기하학적 관계를 포착하는 것을 구현할 수 있다. -

촬영 유닛(301)이 각 룸의 3D 모델링용 이미지 촬영 시의 위치와 촬영 방향 정보를 취득하는 촬영 위치 취득 유닛(303);

- 여기에서, 촬영 위치 취득 유닛(303)이 예를 들면 촬영 유닛(301)이 촬영한 여러 장의 포지셔닝용 이미지 중의 가까운 촬영점 이미지를 통하여 특징점 매칭을 진행하여, 각 촬영점의 상대적 위치 이동과 촬영 방향 정보를 취득하는 바, 예를 들면 모든 촬영점을 포함하는 동일한 좌표계 내의 로드맵을 형성하여, 촬영 유닛(301)이 상기 처한 룸에 대하여 3D 모델링용 이미지를 촬영 때의 위치와 촬영 방향 정보를 취득할 수 있다.

여기에서, 촬영 위치 취득 유닛(303)이 또한 예를 들면 촬영 유닛(301)이 처한 룸에 대하여 3D 모델링 이미지를 촬영할 때 제공하는 포지셔닝 정보와 방향 정보를 기반으로, 촬영 유닛(301)이 상기 처한 룸에 대하여 3D 모델링용 이미지를 촬영 때의 위치와 촬영 방향 정보를 취득할 수 있다.

여기에서, 촬영 위치 취득 유닛(303)이 또한 촬영 유닛(301)에 구비된 가속도 센서, 속도 센서가 제공하는 가속도 정보와 이동 속도 정보를 통하여, 로드맵에 대하여 교정을 진행한다.-

촬영 위치 취득 유닛(303)이 취득한 각 룸의 위치와 촬영 방향 정보를 기반으로, 3D 모델 생성 유닛(302) 생성한 각 룸의 3D 모델을 동일한 3차원 좌표계 내에서 접합 처리를 진행하여, 각 룸 각자의 3D 모델로 접합 구성된 전체 3D 모델을 형성하는 3D 모델 접합 유닛(304)이 포함된다.

여기에서, 3D 모델 접합 유닛(304)이 또한 촬영 위치 취득 유닛(303)이 취득한 각 룸 촬영 시의 위치와 촬영 방향 정보에 의하여, 예를 들면 하나의 전환 매트릭스를 이용하여, 단일 룸의 3D 모델의 국부 좌표를 글로벌의 세계 좌표로 전환하여 모든 촬영점의 전체 3D 모델을 취득할 수 있다.

여기에서, 3D 모델 접합 유닛(304)은 또한 다수의 룸 각자의 3D 모델에 대하여 통일적인 교정을 진행할 수 있는 바, 통계의 방법을 사용하여 모든 룸의 벽선 방향에 대하여 통일적인 교정을 진행하는 것이 포함되고, 그 중에서, 실내 씬에 있어서, 대부분 상황 하에서 각 룸의 벽은 평행과 수직의 관계를 만족시키고, 각 룸 벽선 방향의 평균값 또는 중간값을 찾아내거나, 또는 RANSAC(Random Sample Consensus, 무작위 샘플 일치성) 등 알고리즘을 사용하여 가장 가능한 벽선 방향을 찾아내고, 오차가 일정한 범위 내인 룸을 통일적인 방향으로 조정하여, 모든 룸의 일정한 편차 범위 내의 벽선이 평행되게 하며;

여기에서, 3D 모델 접합 유닛(304)이 또한 각 룸의 3D 모델에 대하여 접합 처리를 진행할 때, 중첩된 부분 및/또는 출현된 공동에 대하여 수정을 진행하는 바, 여기에서, 수정의 방식에는 적어도 하기 방식 중의 하나가 포함되는 바, 즉

룸의 위치가 정확하나 윤곽 식별에 오차가 존재한다고 가정하면, 중복 부분에 대하여 절단을 진행하고 또한 공동 부분을 메워 보충하며;

룸의 윤곽 식별이 비교적 정확하나 위치에 오차가 존재한다고 가정하면, 각 룸의 위치를 이동하여 최대한 중첩과 공동을 제거한다.

실제 사용 과정에서 또한 두 가지 방법을 결합시켜 반복적으로 번갈아 진행하여 진실한 상황에 근접할 수 있음은 물론이다.

2D 평면도 생성 유닛(305)는 하기 방식으로 2D 평면도를 생성하는 바,

1. 생성된 3D 모델의 각 면을 바닥에 수직되는 평면으로 투영시키고, 이러한 투영을 하나의 다각형으로 합병시키며;

2. 취득한 다각형에 대하여 교정과 간략화를 진행하는 바, 예를 들면 하기 방식이 포함될 수 있는 바, 즉

(1) 단지 상기 다각형의 주요 정점만 보류하고, 작은 요철을 삭제하는 바, 예를 들면 벽의 표준 두께(예를 들면 12cm 또는 24cm)보다 작은 요철을 삭제할 수 있으며;

(2) 컴퓨터 시각 기술을 이용하여 이미지 중의 직선을 탐지하고, 나아가 벽의 방향을 결정하며, 또한 벽의 방향과 근사하게 평행 또는 수직되는 변을 모두 대응되는 방향으로 수정하며;

취득한 다각형에 대하여 교정과 간략화를 진행하는 방식은 또한 기타 방식일 수 있음은 물론이며, 제한을 하지 않으며;

3. 촬영 위치 취득 유닛(303)이 취득한 각 룸의 위치와 촬영 방향 정보를 기반으로, 생성된 각 룸의 2D 평면도를 동일한 2차원 좌표계 내에서 접합 처리를 진행하여, 각 룸 각자의 2D 평면도로 접합 구성된 전체 2D 평면도를 형성하며;

4. 문 및/또는 창문의 위치를 식별 및 표시하는 바, 딥러닝의 방법을 사용하여, 실내 이미지 상에서 문 및/또는 창문의 위치를 식별하거나, 또는 촬영 유닛(301)이 동일한 집에 속하는 다수의 룸에 대하여 각각 3D 모델링용 이미지를 촬영할 때의 이동 궤적과 해당 룸 윤곽의 교차점에 의하여 문의 위치를 결정한다.

여기에서, 하나 또는 다수의 실시예에서, 딥러닝의 방법을 사용하여, 실내 이미지 상에서 문 및/또는 창문의 위치를 식별하는 방법은, 예를 들면 단일 단계의 관건점 탐지 모델을 통하여, 한 쌍의 관건점이 아닌 세 개의 관건점을 통하여 각 목표물, 예를 들면 문 및/또는 창문의 탐지하여 정확율과 리턴율을 향상시킬 수 있다.

여기에서, 2D 평면도 생성 유닛(305)이 또한 다수의 룸 각자의 2D 평면도에 대하여 통일적인 교정을 진행할 수 있는 바, 통계의 방법을 사용하여 모든 룸의 벽선 방향에 대하여 통일적인 교정을 진행하여, 모든 룸의 일정한 편차 범위 내의 벽선이 평행되도록 하는 것이 포함되며, 여기에서, 통일적인 교정 방법은 상기와 같을 수 있으며, 상세한 설명을 생략하도록 하며;

여기에서, 2D 평면도 생성 유닛(305)이 또한 각 룸의 2D 평면도에 대하여 접합 처리를 진행할 때, 중첩된 부분 및/또는 출현된 공동에 대하여 수정을 진행할 수 있다.

여기에서, 2D 평면도 생성 유닛은 또한 하기 방식으로 2D 평면도를 생성할 수 있는 바,

1. 3D 모델 접합 유닛(304)이 생성한 3D 모델의 각 면을 바닥에 수직되는 평면으로 투영시키고, 이러한 투영을 하나의 다각형으로 합병시키며;

(1) 단지 다각형의 주요 정점만 보류하고, 작은 요철을 삭제하며;

3. 문 및/또는 창문의 위치를 식별 및 표시하는 바, 딥러닝의 방법을 사용하여, 실내 이미지 상에서 문 및/또는 창문의 위치를 식별하거나, 또는 촬영 유닛(301)이 동일한 집에 속하는 다수의 룸에 대하여 각각 3D 모델링용 이미지를 촬영할 때의 이동 궤적과 해당 룸 윤곽의 교차점에 의하여 문의 위치를 결정한다.

[촬영을 기반으로 하는 3D 모델링 방법]

도 4는 본 발명의 촬영을 기반으로 하는 3D 모델링 방법의 흐름도이다.

도 4에 도시된 바와 같이, 촬영을 기반으로 하는 3D 모델링 방법에는 하기 단계가 포함되는 바, 즉

S1) 촬영 기능이 구비된 이동 장치(핸드폰, 태블릿 PC 등 포함)와 카메라(파노라마, 어안과 일반 디지털 카메라 포함)를 동일한 촬영 프레임(삼각대 포함) 상에 고정한다.

S2) 프레임을 이동하는 과정에 여러 장의 카메라 또는 이동 장치의 포지셔닝용 이미지를 취득하고, 이미지 처리 알고리즘을 통하여, 카메라 또는 이동 장치의 센서를 결합시켜 각 촬영점의 위치와 촬영 방향을 취득하여, 통일적인 좌표계를 사용하는 로드맵을 형성한다.

여기에서, S2 단계는 이동 장치 또는 카메라의 포지셔닝 시스템을 기반으로, 이동 장치 또는 카메라가 촬영한 포지셔닝용 이미지를 사용하여, 가까운 촬영점의 포지셔닝용 이미지를 통하여 특징점 매칭을 진행하여 촬영점의 상대적 위치 이동과 촬영 방향 정보를 찾아내어, 모든 촬영점을 포함하는 동일한 좌표계 내의 상기 로드맵을 형성하고, 또한 각 촬영점의 위치와 방향을 제공한다.

여기에서, S2 단계에는 또한 이동 장치 또는 카메라의 센서를 통하여 이동의 가속도, 속도와 방향을 포함하는 정보를 취득하여, 상기 로드맵에 대하여 교정을 진행하는 것이 포함된다.

여기에서, S2 단계에는 또한 카메라의 렌즈와 이동 장치의 촬영 방향의 협각을 취득하는 것이 포함되는 바, 즉 초기화 단계에 동시에 이동 장치를 기반으로 하는 포지셔닝 시스템과 카메라를 기반으로 하는 포지셔닝 시스템을 작동시키고, 또한 프레임을 일정한 거리 이동시키며, 이때 두 시스템이 각각 하나의 위치 이동 벡터를 제공하며, 두 벡터의 협각이 바로 카메라의 렌즈와 이동 장치의 촬영 방향의 협각이며; 또는 수동으로 카메라와 이동 장치를 일치한 각도로 향하도록 조정하는 바, 예를 들면 카메라의 미리보기 이미지 또는 촬영한 이미지를 회전시켜, 이동 장치 촬영 방향과 일치한 각도를 지정하며; 또는 이미지 식별 알고리즘을 통하여 이동 장치와 카메라의 미리보기 이미지 또는 촬영한 이미지를 매칭시켜 협각을 찾아내며; 또는 추가의 표지를 사용하는 것을 통하여, 프레임 상에 포함시켜 눈금을 추가하고 이동 장치의 설치 방향과 고정된 협각을 형성하며, 그 후 카메라의 미리보기 이미지 또는 이미지 중에서 해당 표지를 식별하여 카메라의 렌즈와 이동 장치의 촬영 방향의 협각을 계산하는 것이 포함된다.

S3) 이동 장치 상 또는 원격 서버단에서 각 촬영점에서 촬영한 3D 모델링용 이미지를 기반으로, 딥러닝 알고리즘 또는 기타 방법을 통하여 3D 모델링을 진행하여, 각 촬영점의 3D 모델 및/또는 2D 평면도를 취득한다.

여기에서, S3 단계에는,

S31) 딥러닝 기술을 기반으로, 이미지 중의 바닥, 천장, 벽 중의 적어도 하나의 이미지를 식별하며;

S32) 이미지 처리 기술을 기반으로 식별된 이미지에 대하여 분할을 진행하고, 각 블럭은 근사하게 하나의 평면으로 간주하며, 바닥과 천장의 이미지 블럭이 수평 평면에 위치하게 하고, 벽의 이미지 블럭이 수직 평면에 위치하게 하며, 각 평면 방정식의 해를 구하여 3D 모델을 생성하며; 상기 이미지 중에서 교차되는 두 개의 평면에 대하여, 이 두 개의 평면의 하나의 교차선을 제약 조건으로 하여, 산출된 교차선과 실제 관찰된 교차선의 오차가 가장 작도록 하는 것이 포함된다.

여기에서, S3 단계에는 또한 실내 이미지에 대하여, 컴퓨터 시각 기술을 이용하여 이미지 중의 코너를 식별하고, 또한 코너를 연결시키면 룸의 대략적인 모델인 것이 포함된다. 여기에서, 하나 또는 다수의 실시예에서, 이미지 중의 코너를 식별하는 방법은 예를 들면 특징점 탐지와 기술 자체 모니터링 훈련 프레임(예를 들면 SuperPoint: Self-Supervised Interest Point Detection and Description을 참조할 수 있음)을 사용하고, 이어 코너를 연결하여 룸의 대략적인 모델을 형성하여, 동일한 3차원 공간 중에 빈번하게 나타나는 객체, 예를 들면 코너 간의 기하학적 관계를 포착하는 것을 구현할 수 있다.

S4) 각 촬영점의 3D 모델을 S2에서 취득한 위치와 촬영 방향에 따라, 통일적으로 동일한 3차원 좌표계 내에 놓고, 다수의 촬영점의 3D 모델 간의 결합 부위에 대하여 접합 처리를 진행하여 다수의 촬영점의 전체 3D 모델 및/또는 2D 평면도를 형성하는 바, 모든 룸의 방향에 대하여 통일적인 교정을 진행하고 또한 중복과 공동 상황에 대하여 최적화 처리를 진행한다. 정상적인 집의 대부분 룸은 평행되는 벽으로 구성되고, 단일 촬영점으로 형성되는 룸 모델 중의 원래 평행되는 벽이 일정한 편차(비평행)가 존재하며; 다수의 룸의 벽의 방향을 고려하는 것을 통하여 주요한 방향을 찾아내고, 또한 이에 의하여 모든 룸의 벽의 방향을 조정하다.

여기에서, S4 단계에는,

S41) 각 촬영점의 위치와 촬영 방향에 의하여, 예를 들면 하나의 전환 매트릭스를 이용하여 단일 촬영점의 3D 모델의 국부 좌표를 글로벌의 세계 좌표로 전환하여 모든 촬영점의 전체 3D 모델을 취득하며;

S42) 다수의 촬영점의 3D 모델에 대하여 통일적인 교정을 진행하는 바, 통계의 방법을 사용하여 모든 쵤영점의 벽선 방향에 대하여 통일적인 교정을 진행하여, 모든 룸의 일정한 편차 범위 내의 벽선이 평행되도록 하는 것이 포함되며;

S43) 각 촬영점의 3D 모델에 대하여 접합 처리를 진행할 때, 그 중첩된 부분 및/또는 출현된 공동에 대하여 수정을 진행한다.

S5) 이동 장치 상에서 자동으로 파노라마 만유 효과를 생성한다.

아래, 촬영을 기반으로 하는 3D 모델링 시스템을 참조하여 본 실시예의 촬영을 기반으로 하는 3D 모델링 방법의 응용을 설명하도록 한다.

ㄱ. 하드웨어 시스템

본 실시예에서는 핸드폰과 카메라를 모두 하나의 프레임(예를 들면 삼각대 등 포함) 상에 고정시킨다.

ㄴ. 시스템 초기화

본 발명에서는 하기 두 가지 방법 중의 하나를 사용하여 각 촬영점의 촬영 위치와 카메라의 촬영 방향을 취득하는 바,

방법1) 핸드폰의 포지셔닝 시스템을 기반으로, 즉 핸드폰의 이미지(사진, 비디오 또는 미리보기 이미지)를 사용하여, 가까운 촬영점 이미지를 통하여 특징점 매칭을 진행하여 촬영점의 위치 이동을 찾아내고, 또한 바람직하게는 이동 장치의 센서(자이로스코프(Gyroscope), 가속도계(Accelerometer), 지남침(Compass) 등 포함)를 사용하여 교정을 진행하여, 로드맵을 생성하고 또한 촬영점의 위치와 방향을 제공하며;

방법2) 카메라의 포지셔닝 시스템을 기반으로, 즉 카메라의 이미지(사진, 비디오 또는 미리보기 이미지)를 사용하여, 가까운 촬영점 이미지를 통하여 특징점 매칭을 진행하여 촬영점의 위치 이동을 찾아내고, 바람직하게는 센티미터 레벨과 데시미터 레벨 이격되고 또한 연속적으로 매칭과 포지셔닝을 진행하며, 또한 바람직하게는 카메라의 센서(자이로스코프(Gyroscope), 가속도계(Accelerometer), 지남침(Compass) 등 포함)를 사용하여 교정을 진행하여, 로드맵을 생성하고 또한 촬영점의 위치와 방향을 제공한다.

두 가지 방법의 비교: 방법1은 핸드폰 시스템을 기반으로 하며, 핸드폰에 여러 가지 센서가 구비되기 때문에, 일반적으로 비교적 정확한 절대 좌표 정보를 제공할 수 있고, 촬영점 간의 절대 거리를 측정할 수 있지만, 사용 전에 추가의 초기화 과정이 필요하다.

방법2는 카메라에 일반적으로 완벽한 센서가 구비되지 않기 때문에, 단지 촬영 위치의 상대적인 좌표만 제공할 수 있지만, 추가의 초기화 과정을 필요로 하여 경로와 단일 촬영점 3D 모델의 좌표축을 정렬시킬 필요가 없으며, 그리고, 만일 촬영 경로에 루프백이 존재하면, 방법2가 제공하는 좌표 오차가 비교적 작다.

방법1을 사용할 때, 핸드폰이 제공하는 좌표는 핸드폰 자체의 좌표계(일반적으로 하나의 축이 지면과 수직되는 방향을 가리키고, 다른 두 축이 각각 전후와 좌우 방향을 가리킴)를 기반으로 한 것이고, 파노라마 사진을 기반으로 생성한 3D 모델의 좌표계는 카메라의 좌표계를 기반으로 한 것이며, 양자의 좌표축이 중첩되지 않고, 이 문제를 해결하기 위하여, 시스템에 대하여 수동 또는 자동 초기화를 진행하여야 하고, 수동 또는 자동의 방법을 사용할 수 있는 바,

수동: 사용자가 추가의 측정 툴을 사용하거나 또는 프레임 등 장치 상에 눈금을 추가하고, 수동으로 카메라 렌즈와 핸드폰 촬영 방향의 협각을 입력하며;

자동: 초기화 단계에 동시에 방법1과 방법2를 작동시키고, 또한 장치를 일정한 거리 이동시키는 바, 바람직하게는 1-3미터이며, 이때 두 시스템이 각각 하나의 시스템의 위치 이동 벡터를 제공할 수 있고, 두 벡터의 협각이 바로 카메라 렌즈와 핸드폰의 촬영 방향의 협각이다.

ㄷ. 촬영점 위치와 촬영 방향의 결정

상기 시스템이 작동하기 시작한 후, 촬영자가 소재하는 위치와 촬영 방향 정보를 제공할 수 있다.

ㄹ. 단일 촬영점 3D 모델 생성

전통적으로, 촬영을 기반으로 하는 모델링 방법에 하기와 같은 두 가지가 존재하지만, 모두 뚜렷한 결함을 갖고 있다.

전통적인 방법a) 심도 정보를 식별할 수 있는 카메라를 사용하여 직접 3D 모델을 생성한다. 이러한 방법은 더욱 복잡한 하드웨어에 의존하기 때문에, 더욱 높은 장치 원가를 요구하고, 흔히 전문 촬영사의 조작이 필요하여 보급이 불리하며;

전통적인 방법b) 촬영점 거리가 비교적 가까운 한 지점에서 두 장의 사진을 촬영하고, 바람직하게는 센티미터 레벨과 데시미터 레벨로 이격되고 또한 연속 매칭과 포지셔닝을 진행하며, 그 후 MVS(Multi View Stereo, 예를 들면 https://github.com/cdcseacave/openMVS 참조할 수 있음)를 사용하여 모델링을 진행하는 바, 장점은 전반 과정이 전자동이고 인공 간섭이 필요없지만, 결함도 뚜렷하다.

결함1: 계산량이 비교적 크고, 이동 장치 상에서 실시간으로 모델링할 수 없으며, 일반적으로 서버(클라우드/PC)로 업로드하여, 더욱 막강한 계산 능력으로 모델링 알고리즘을 작동시켜야 하며;

상기 결함을 극복하기 위하여, 본 발명에서는 창의적인 방법을 사용하였는 바, 실시간성을 향상시키고, 위지윅의 효과를 이루기 위하여, 일반적으로 단지 룸 윤곽(벽체 위치)에 대해서만 모델링하고, 가구, 장식품 등 부속 물체의 모델을 복원시키지 않는다. 즉

i. 딥러닝 기술을 기반으로 이미지 중의 바닥, 천장, 벽과 지붕 등 부분을 식별하는 바, 이러한 부분이 소재하는 평면은 법선 방향에서 (바닥, 천장)을 결정하지 않으면, 법선이 수평면(벽) 상에 위치하며;

ii. 이미지 처리 기술을 기반으로, 이미지에 대하여 분할을 진행하는 바, 각 블럭은 근사하게 하나의 평면으로 간주할 수 있다. 바닥 부분의 블럭에 있어서, 평면 방정식은 이미 알고 있는 것이다. y축이 수직으로 위로 향한다고 가정하면, 바닥 부분의 방정식은 y+1 = 0이다. 벽 부분에 있어서, 평면 방적식은 Ax+Cz+D=0이고, 천장 부분은 y+D = 0이며, 기타 부분은 Ax+By+Cz+D = 0이고, 3D 모델을 생성하는 과정은 바로 각 평면 방정식의 해를 구하는 과정이다. 이미지 중에서 교차되는 두 개의 평면에 있어서, 이미지 중에 하나의 교차선이 존재하고, 이를 제한 조건으로 상기 방정식의 해를 구하는 과정은 하나의 최소화 문제로 변할 수 있고, 교차되는 두 개의 평면에 대하여, 산출된 교차선과 실제 관찰된 교차선의 오차가 가장 작도록 하며;

iii. 또한 기타 방법을 사용하여 씬에 대하여 모델링을 진행할 수 있다. 예를 들면 실내에서, 컴퓨터 시각 기술을 이용하고 딥러닝을 결합시켜 이미지 중의 코너를 식별하고, 코너를 연결시키면 룸의 대략적인 모델이다. 여기에서, 하나 또는 다수의 실시예에서, 이미지 중의 코너를 식별하는 방법은 예를 들면 특징점 탐지와 기술 자체 모니터링 훈련 프레임(예를 들면 SuperPoint: Self-Supervised Interest Point Detection and Description을 참조할 수 있음)을 사용하고, 이어 코너를 연결하여 룸의 대략적인 모델을 형성하여, 동일한 3차원 공간 중에 빈번하게 나타나는 객체, 예를 들면 코너 간의 기하학적 관계를 포착하는 것을 구현할 수 있다.

iv. 2D 편면도 생성, 각 촬영점의 3D 모델을 취득한 후, 나아가 평면도를 생성할 수 있는 바, 특히 실내 씬의 응용에 있어서, 많은 경우 평면도가 필요하다. 방법으로는 하기와 같다.

1. 3D 모델의 각 면을 2D 조감도 평면 상에 투영하며;

2. 이러한 투영을 합병시켜 하나의 큰 다각형을 형성하며;

3. 취득한 다각형에 대하여 교정과 간략화를 진행하는 바, 예를 들면 하기 방식이 포함될 수 있는 바, 즉

a) 취득한 다각형은 일반적으로 점의 수량이 비교적 많은 바, 다각형에 대하여 간략화를 진행하여, 단지 2D 평면도 상의 다각형의 정점만 보류하고 작은 요철을 삭제할 수 있으며;

b) 실내 씬에 대하여, 컴퓨터 시각 기술을 이용하여 이미지 중의 직선을 탐지하고, 나아가 벽의 방향을 결정하며, 벽의 방향과 근사하게 평행 또는 수직되는 변을 모두 대응되는 방향으로 수정할 수 있다.

4. 문 및/또는 창문의 식별 실내 씬에 대하여, 2D 평면도 상에서 문 및/또는 창문에 대하여 표시를 진행할 수 있는 바, 하기 두 가지 방법을 사용할 수 있다.

a) 직접 딥러닝의 방법을 사용하여, 파노라마 이미지 상에서 문 및/또는 창문의 위치와 크기를 식별하며;

여기에서, 하나 또는 다수의 실시예에서, 딥러닝의 방법을 사용하여, 실내 이미지 상에서 문 및/또는 창문의 위치와 크기를 식별하는 방법은, 예를 들면 단일 단계의 관건점 탐지 모델을 통하여, 한 쌍의 관건점이 아닌 세 개의 관건점을 통하여 각 목표물, 예를 들면 문 및/또는 창문의 위치와 크기를 탐지하여 정확율과 리턴율을 향상시킬 수 있다.

b) 핸드폰 또는 카메라를 기반으로 하는 포지셔닝 시스템은 각 촬영점의 위치와 촬영 방향을 제공할 뿐 아니라, 또한 전체 촬영 과정 중 카메라의 이동 궤적을 구비하기 때문에, 이 경로와 룸 자체의 윤곽의 교차점은 필연코 문의 위치이다.

ㅁ. 다수의 촬영점 3D 모델 및 2D 평면도 생성

a) 4 단계에서 각 촬영점의 3D 모델 생성을 해결하였고, 취득한 3D 모델 좌표는 모두 촬영점에 대한 상대 좌표이다. 이러한 모델을 결합시켜 완전한 3D 모델과 2D 평면도를 생성하기 위하여, 우선, 이미 각 촬영점의 위치와 촬영 방향을 알리 때문에, 예를 들면 하나의 전환 매트릭스를 이용하여, 단일 모델의 국부 좌표를 글로벌의 세계 좌표로 전환할 수 있다.

b) 이 기초 상에서, 진일보로 모델과 평면도에 대하여 교정을 진행할 수 있다.

i. 단일 촬영점의 모델을 직선을 사용하였기 때문에, 교정을 진행하면 일반적으로 오차가 존재하고, 다수의 점을 촬영한 후, 통계의 방법을 사용하여 모든 촬영점에 대하여 통일적인 교정을 진행할 수 있는 바, 예를 들면, RANSEC(Random Sample Consensus) 등 방법을 사용하여 가장 합리한 교정 직선을 찾아내어, 모든 룸의 일정한 편차 범위 내의 벽선이 평행되도록 하고, 작은 편차 각도가 나타나는 것을 방지하며;

ii. 모델링의 오차로 인하여, 다수의 촬영점의 3D 모델과 2D 평면도를 한데 놓으면 중첩, 공동 등 상황이 발생하며, 자동으로 중첩된 부분을 제거하고, 2D 평면도 상에서 공동에 대하여 메워 보충할 수 있다.

ㅂ. 적시적 전시

상기 과정은 완전히 핸드폰 상에서 자동으로 진행할 수 있고, 완성 후, 전시 소프트웨어를 사용하여 핸드폰 상에서 적시적으로 전시, 만유 등을 진행하고, 또한 클라우드단에 업로드하여 다른 사람에게 공유할 수 있다.

ㅅ. 인공 편집

포지셔닝 시스템, 단일 촬영점 3D 모델링 알고리즘 및 다수의 촬영점 3D 모델/2D 평면도 최적화 각 과정에 모두 오차가 존재할 수 있기 때문에, 더욱 고정밀도의 모델을 얻기 위하여, 본 발명에서는 사용자가 수동으로 촬영의 결과에 대하여 편집을 진행하는 것을 허용하며, 수동 편집은 소프트웨어를 기반으로 하는 심사와 편집 툴을 사용할 수 있다.

[자동 3D 모델링 장치]

도 5는 본 발명의 자동 3D 모델링 장치의 일 실시예의 구조도이며; 도 5에 도시된 바와 같이,

모델링 객체에 포함된 다수의 공간 각자의 3D 모델링용 이미지를 기반으로, 각각 각 공간의 3D 모델을 생성하는 3D 모델 생성 유닛(501);

다수의 공간 각자의 3D 모델링용 이미지가 촬영될 때의 위치와 촬영 방향 정보를 기반으로, 3D 모델 생성 유닛(501)에서 생성된 각 공간의 3D 모델을 동일한 3차원 좌표계 내에서 접합 처리를 진행하여, 각 공간 각자의 3D 모델로 접합 구성된 전체 3D 모델을 형성하는 3D 모델 접합 유닛(502)이 포함된다.

여기에서, 3D 모델 접합 유닛(502)이 또한 위치와 촬영 방향 정보에 의하여, 예를 들면 하나의 전환 매트릭스를 이용하여, 단일 공간의 상기 3D 모델의 국부 좌표를 글로벌의 세계 좌표로 전환하여 모든 공간의 전체 3D 모델을 취득할 수 있다.

도 6은 본 발명의 자동 3D 모델링 장치의 다른 일 실시예의 구조도이며; 해당 실시예에서, 자동 3D 모델링 공간은 예를 들면 룸이며; 3D 모델링용 이미지는 예를 들면 상기 룸의 실내 이미지이다.

도 6에 도시된 바와 같이, 해당 실시예에는, 모델링 객체에 포함된 다수의 룸 각자의 3D 모델링용 이미지를 기반으로, 각각 각 룸의 3D 모델을 생성하는 3D 모델 생성 유닛(601);

여기에서, 3D 모델 생성 유닛(601)이 딥러닝 기술을 기반으로, 3D 모델링용 이미지 중의 바닥, 천장, 벽 중의 적어도 하나의 이미지를 식별하며, 또한 이미지 처리 기술을 기반으로 식별된 이미지에 대하여 분할을 진행하고, 각 블럭은 근사하게 하나의 평면으로 간주하며, 바닥과 천장의 이미지 블럭이 수평 평면에 위치하게 하고, 벽의 이미지 블럭이 수직 평면에 위치하게 하며, 각 평면 방정식의 해를 구하는 것을 통하여 상기 3D 모델을 생성하며; 그 중에서, 3D 모델링용 이미지 중에서 교차되는 두 개의 평면에 대하여, 산출된 교차선과 실제 관찰된 교차선의 오차가 가장 작도록 하며;

여기에서, 3D모델 생성 유닛(601)은 또한 컴퓨터 시각 기술을 이용하여 실내 이미지 중의 코너를 식별하고, 또한 코너를 연결시켜 룸의 대략적인 모델을 생성한다. 여기에서, 하나 또는 다수의 실시예에서, 이미지 중의 코너를 식별하는 방법은 예를 들면 특징점 탐지와 기술 자체 모니터링 훈련 프레임(예를 들면 SuperPoint: Self-Supervised Interest Point Detection and Description을 참조할 수 있음)을 사용하고, 이어 코너를 연결하여 룸의 대략적인 모델을 형성하여, 동일한 3차원 공간 중에 빈번하게 나타나는 객체, 예를 들면 코너 간의 기하학적 관계를 포착하는 것을 구현할 수 있다. -

다수의 룸 각자의 3D 모델링용 이미지가 촬영될 때의 위치와 촬영 방향 정보를 기반으로, 3D 모델 생성 유닛(601)에서 생성된 각 룸의 3D 모델을 동일한 3차원 좌표계 내에서 접합 처리를 진행하여, 각 룸 각자의 3D 모델로 접합 구성된 전체 3D 모델을 형성하는 3D 모델 접합 유닛(602)이 포함된다.

여기에서, 3D 모델 접합 유닛(602)이 또한 위치와 촬영 방향 정보에 의하여, 예를 들면 하나의 전환 매트릭스를 이용하여, 단일 룸의 3D 모델의 국부 좌표를 글로벌의 세계 좌표로 전환하여 모든 룸의 전체 3D 모델을 취득할 수 있다.

여기에서, 3D 모델 접합 유닛(602)이 또한 다수의 룸 각자의 3D 모델에 대하여 통일적인 교정을 진행하는 바, 통계의 방법을 사용하여 모든 룸의 벽선 방향에 대하여 통일적인 교정을 진행하여, 모든 룸의 일정한 편차 범위 내의 벽선이 평행되도록 하는 것이 포함되며;

여기에서, 3D 모델 접합 유닛(602)이 또한 각 룸의 3D 모델에 대하여 접합 처리를 진행할 때, 중첩된 부분 및/또는 출현된 공동에 대하여 수정을 진행할 수 있다.

2D 평면도 생성 유닛(603)는 하기 방식으로 2D 평면도를 생성하는 바,

(1) 단지 상기 다각형의 주요 정점만 보류하고, 작은 요철을 삭제하며;

3. 위치와 촬영 방향 정보를 기반으로, 생성된 각 룸의 2D 평면도를 동일한 2차원 좌표계 내에서 접합 처리를 진행하여, 각 룸 각자의 2D 평면도로 접합 구성된 전체 2D 평면도를 형성하며;

4. 문 및/또는 창문의 위치를 식별 및 표시하는 바, 딥러닝의 방법을 사용하여, 실내 이미지 상에서 문 및/또는 창문의 위치를 식별하거나, 또는 동일한 집에 속하는 다수의 룸에 대하여 각각 3D 모델링용 이미지를 촬영할 때의 취득한 이동 궤적과 해당 룸 윤곽의 교차점에 의하여 문의 위치를 결정한다.

여기에서, 2D 평면도 생성 유닛(603)이 또한 다수의 룸 각자의 2D 평면도에 대하여 통일적인 교정을 진행하는 바, 통계의 방법을 사용하여 모든 룸의 벽선 방향에 대하여 통일적인 교정을 진행하여, 모든 룸의 일정한 편차 범위 내의 벽선이 평행되도록 하는 것이 포함되며;

여기에서, 2D 평면도 생성 유닛(603)이 또한 각 룸의 2D 평면도에 대하여 접합 처리를 진행할 때, 중첩된 부분 및/또는 출현된 공동에 대하여 수정을 진행할 수 있다.

여기에서, 2D 평면도 생성 유닛(603)은 또한 하기 방식으로 2D 평면도를 생성할 수 있는 바,

1. 3D 모델 접합 유닛(602)이 생성한 3D 모델의 각 면을 바닥에 수직되는 평면으로 투영시키고, 이러한 투영을 하나의 다각형으로 합병시키며;

2. 취득한 상기 다각형에 대하여 교정과 간략화를 진행하는 바, 예를 들면 하기 방식이 포함될 수 있는 바, 즉

3. 문 및/또는 창문의 위치를 식별 및 표시하는 바, 딥러닝의 방법을 사용하여, 실내 이미지 상에서 문 및/또는 창문의 위치를 식별하거나, 또는 동일한 집에 속하는 다수의 룸에 대하여 각각 상기 3D 모델링용 이미지를 촬영할 때의 이동 궤적과 해당 룸 윤곽의 교차점에 의하여 문의 위치를 결정한다. 구체적인 방법은 예를 들면 상기의 단일 단계의 관건점 탐지 모델을 통하여 완성할 수 있는 바, 여기에서는 상세한 설명을 생략하도록 한다.

[자동 3D 모델링 방법]

도 7은 본 발명의 자동 3D 모델링 방법의 일 실시예의 흐름도이며; 도 7에 도시된 바와 같이,

모델링 객체에 포함된 다수의 공간 각자의 3D 모델링용 이미지를 기반으로, 각각 각 공간의 3D 모델을 생성하는 3D 모델 생성 단계(S71);

본 실시예에서, 자동 3D 모델링 공간은 예를 들면 룸이며; 3D 모델링용 이미지는 예를 들면 상기 룸의 실내 이미지이다.

3D 모델 생성 단계(S71)에서, 딥러닝 기술을 기반으로, 3D 모델링용 이미지 중의 바닥, 천장, 벽 중의 적어도 하나의 이미지를 식별하며, 또한 이미지 처리 기술을 기반으로 식별된 이미지에 대하여 분할을 진행하고, 각 블럭은 근사하게 하나의 평면으로 간주하며, 바닥과 천장의 이미지 블럭이 수평 평면에 위치하게 하고, 벽의 이미지 블럭이 수직 평면에 위치하게 하며, 각 평면 방정식의 해를 구하는 것을 통하여 3D 모델을 생성하며; 그 중에서, 3D 모델링용 이미지 중에서 교차되는 두 개의 평면에 대하여, 산출된 교차선과 실제 관찰된 교차선의 오차가 가장 작도록 하며;

3D모델 생성 단계(S71)에서 또한 컴퓨터 시각 기술을 이용하여 실내 이미지 중의 코너를 식별하고, 또한 코너를 연결시켜 룸의 대략적인 모델을 생성한다. 여기에서, 하나 또는 다수의 실시예에서, 이미지 중의 코너를 식별하는 방법은 예를 들면 특징점 탐지와 기술 자체 모니터링 훈련 프레임(예를 들면 SuperPoint: Self-Supervised Interest Point Detection and Description을 참조할 수 있음)을 사용하고, 이어 코너를 연결하여 룸의 대략적인 모델을 형성하여, 동일한 3차원 공간 중에 빈번하게 나타나는 객체, 예를 들면 코너 간의 기하학적 관계를 포착하는 것을 구현할 수 있다. -

다수의 룸 각자의 3D 모델링용 이미지가 촬영될 때의 위치와 촬영 방향 정보를 기반으로, 3D 모델 생성 단계(S71)에서 생성된 각 룸의 3D 모델을 동일한 3차원 좌표계 내에서 접합 처리를 진행하여, 각 룸 각자의 3D 모델로 접합 구성된 전체 3D 모델을 형성하는 3D 모델 접합 단계(S72);

여기에서, 3D 모델 접합 단계(S72)에서, 또한 위치와 촬영 방향 정보에 의하여, 예를 들면 하나의 전환 매트릭스를 이용하여, 단일 공간의 3D 모델의 국부 좌표를 글로벌의 세계 좌표로 전환하여 모든 공간의 전체 3D 모델을 취득할 수 있다.

하기 방식으로 2D 평면도를 생성하는 2D 평면도 생성 단계(S73)가 포함되며;

여기에서, 취득한 다각형에 대하여 교정과 간략화를 진행하는 방식은 또한 기타 방식일 수 있음은 물론이며, 제한을 하지 않으며;

4. 문 및/또는 창문의 위치를 식별 및 표시하는 바, 딥러닝의 방법을 사용하여, 실내 이미지 상에서 문 및/또는 창문의 위치를 식별하거나, 또는 동일한 집에 속하는 다수의 룸에 대하여 각각 3D 모델링용 이미지를 촬영할 때의 취득한 이동 궤적과 해당 룸 윤곽의 교차점에 의하여 문의 위치를 결정한다. 구체적인 방법은 예를 들면 상기의 단일 단계의 관건점 탐지 모델을 통하여 완성할 수 있는 바, 여기에서는 상세한 설명을 생략하도록 한다.

여기에서, 2D 평면도 생성 단계(S73)은 또한 다수의 룸 각자의 2D 평면도에 대하여 통일적인 교정을 진행하는 바, 통계의 방법을 사용하여 모든 룸의 벽선 방향에 대하여 통일적인 교정을 진행하여, 모든 룸의 일정한 편차 범위 내의 벽선이 평행되도록 하는 것이 포함되며;

여기에서, 2D 평면도 생성 단계(S73)는 또한 각 룸의 2D 평면도에 대하여 접합 처리를 진행할 때, 중첩된 부분 및/또는 출현된 공동에 대하여 수정을 진행할 수 있다.

여기에서, 2D 평면도 생성 단계(S73)는 또한 하기 방식으로 2D 평면도를 생성할 수 있는 바,

1. 3D 모델 접합 단계(S72)가 생성한 3D 모델의 각 면을 바닥에 수직되는 평면으로 투영시키고, 이러한 투영을 하나의 다각형으로 합병시키며;

3. 문 및/또는 창문의 위치를 식별 및 표시하는 바, 딥러닝의 방법을 사용하여, 실내 이미지 상에서 문 및/또는 창문의 위치를 식별하거나, 또는 동일한 집에 속하는 다수의 룸에 대하여 각각 3D 모델링용 이미지를 촬영할 때의 이동 궤적과 해당 룸 윤곽의 교차점에 의하여 문의 위치를 결정한다. 구체적인 방법은 예를 들면 상기의 단일 단계의 관건점 탐지 모델을 통하여 완성할 수 있는 바, 여기에서는 상세한 설명을 생략하도록 한다.

[전자 장치]

아래 도 8을 참조하는 바, 이는 본 발명의 실시예를 구현하기 적합한 전자 장치(예를 들면 도 1 중의 이동 장치 또는 서버)(800)의 구조도를 도시하고 있다. 본 발명의 실시예 중의 전자 장치는 상기 시스템 중의 여러 가지 이동 장치일 수 있고, 또한 바람직하게는 촬영 기능이 구비되어, 독립적으로 또는 기타 전자 단말 장치 예를 들면 카메라와 동일한 프레임(예를 들면 삼각대)에 고정되는 것을 통하여, 여러 가지 유형의 이동 조작 시스템 중의 응용 소프트웨어를 배합 작동시켜 본 발명의 실시예의 방법을 구현할 수 있다. 도 8에 도시된 전자 장치는 단지 하나의 예시일 뿐, 본 발명의 실시예의 기능과 사용 범위에 대하여 아무런 제한도 하지 않는다.

도 8에 도시된 바와 같이, 전자 장치(800)에는 전자 장치의 전체 조작을 제어하기 위한 처리 장치(예를 들면 중앙처리장치, 이미지 프로세서 등)(801)가 포함될 수 있다. 처리 장치에는 하나 또는 다수의 프로세서가 포함되어 명령을 실행하여, 상기 방법의 전부 일부 단계를 완성한다. 그리고, 처리 장치(801)에는 또한 하나 또는 다수의 모듈이 포함되어, 기타 장치 또는 모듈 간의 상호작용을 처리할 수 있다.

저장 장치(802)는 여러 가지 유형의 데이터를 저장하는 바, 저장 장치(802)에는 여러 가지 유형의 컴퓨터 판독가능 매체 또는 이들의 조합이 포함될 수 있는 바, 예를 들면 전기, 자기, 빛, 전자기, 적외선, 또는 반도체의 시스템, 장치 또는 소자, 또는 상기의 임의의 조합일 수 있으나 이에 제한되지 않는다. 컴퓨터 판독가능 저장 매체의 더욱 구체적인 예시에는, 하나 또는 다수의 도선이 구비된 전기 연결, 휴대식 컴퓨터 자기 디스크, 하드웨어, 무작위 접속 메모리(RAM), 읽기전용 메모리(ROM), 전기 프로그래머블 읽기전용 메모리(EPROM), 광섬유, 휴대식 콤팩 디스크 롬(CD-ROM), 광 기억장치 소자, 자기 기억장치 소자, 또는 상기 임의의 적합 조합이 포함될 수 있으나 이에 제한되지 않는다. 본 발명에서, 컴퓨터 판독가능 저장 매체는 임의의 프로그램이 포함 또는 저장된 유형 매체일 수 있고, 해당 프로그램은 명령 실행 시스템, 장치 또는 소자에 의하여 사용되거나 또는 이와 결합 사용될 수 있다.

센서 장치(803)는 규정된 피측정 정보를 감지하고 또한 일정한 규칙에 따라 사용가능한 출력 신호로 전환시키는 바, 하나 또는 다수의 센서가 포함될 수 있다. 예를 들면,여기에는 가속도 센서, 자이로스코프 센서, 자기 센서, 압력 센서 또는 온도 센서 등이 포함되어, 전자 장치의 온/오프 상태, 상대적 포지셔닝, 가속/감속, 온도, 습도와 광선 등의 변화를 탐지할 수 있다.

처리 장치(801), 저장 장치(802) 및 센서 장치(803)는 버스(804)를 통하여 서로 연결된다. 입력/출력(I/O) 인터페이스(805)도 버스(804)에 연결된다.

멀티미디어 장치(806)에는 터치스크린, 터치패드, 키보드, 마우스, 카메라, 마이크 등의 입력 장치가 포함되어 사용자로부터의 입력 신호를 수신할 수 있고, 여러 가지 입력 장치는 상기 센서 장치(803)의 여러 가지 센서와 배합하여 예를 들면 제스처 조작 입력, 이미지 식별 입력, 거리 탐지 입력 등을 완성할 수 있으며; 멀티미디어 장치(806)에는 또한 예를 들면 액정 디스플레이(LCD), 스피커, 바이브레이터 등 입력 장치가 포함될 수 있다.

전원 장치(807)는 전자 장치 중의 여러 가지 장치를 위하여 전력을 제공하고, 전원 관리 시스템, 하나 또는 다수의 전원 및 기타 장치를 위하여 전력 분배하는 모듈이 포함될 수 있다.

통신 장치(808)는 전자 장치(800)와 기타 장치가 무선 또는 유선 통신을 진행하게 하여 데이터를 교환할 수 있다.

상기 각 장치는 모두 I/O 인터페이스(805)에 연결되어 전자 장치(800)의 응용을 구현할 수 있다.

도 8에서 여러 장치가 구비된 전자 장치(800)를 도시하였지만, 모든 도시된 장치를 실시 또는 구비하여야 하는 것이 아닌 것을 이해할 것이다. 대체가능하게 더욱 많거나 더욱 적은 장치를 실시 또는 구비할 수 있다.

특히 본 발명의 실시예에 의하면, 위에서 흐름도를 참조하여 설명한 과정은 컴퓨터 소프트웨어 프로그램으로 구현될 수 있다. 예를 들면, 본 발명의 실시예에는 컴퓨터 프로그램 제품이 포함되는 바, 여기에는 비휘발성 컴퓨터 판독가능 매체 상에 베어링된 컴퓨터 프로그램이 포함되고, 해당 컴퓨터 프로그램에는 흐름도에 도시된 방법을 실행하는 프로그램 코드가 포함된다. 이러한 실시예에서, 해당 컴퓨터 프로그램은 통신 장치를 통하여 네트워크 상에서 다운로드되고 설치되거나, 또는 저장 장치로부터 설치될 수 있다. 해당 컴퓨터 프로그램이 처리 장치에 의하여 실행될 때, 본 발명의 실시예의 방법 중에 한정된 상기 기능을 실행한다.

본 발명의 전후 문맥에서, 기계 판독가능 매체는 유형의 매체일 수 있고, 여기에는 명령 실행 시스템, 장치 또는 설비에 제공되어 사용되거나 또는 명령 실행 시스템, 장치 또는 설비와 결합 사용되는 프로그램이 포함 또는 저장될 수 있다.

설명하여야 할 바로는, 본 발명의 상기 컴퓨터 판독가능 매체는 컴퓨터 판독가능 신호 매체 또는 컴퓨터 판독가능 매체 또는 상기 양자의 임의의 조합일 수 있다. 본 발명에서, 컴퓨터 판독가능한 신호 매체에는 기저대역 중 또는 캐리어의 일부분으로 전파되는 데이터 신호가 포함될 수 있고, 그 중에는 컴퓨터 판독가능한 프로그램 코드가 베어링된다. 이러한 전파 신호는 여러 가지 형식을 사용할 수 있는 바, 전자기 신호, 광 신호 또는 상기 임의의 적합한 조합이 포함되나 이에 제한되지 않는다. 컴퓨터 판독가능한 신호 매체는 또한 컴퓨터 판독가능 저장 매체 외의 임의의 컴퓨터 판독가능 매체일 수 있으며, 해당 컴퓨터 판독가능 신호 매체는 명령 실행 시스템, 장치 또는 소자가 사용하거나 또는 이와 결합 사용되는 프로그램을 송신, 전파 또는 전송할 수 있다. 컴퓨터 판독가능 매체 상에 포함된 프로그램 코드는 임의의 적합한 매체를 사용하여 전송할 수 있는 바, 전력선, 광케이블, RF(무선) 등 또는 상기의 임의의 적합한 조합이 포함되나 이에 제한되지 않는다.

상기 컴퓨터 판독가능 매체는 상기 전자 장치에 포함된 것일 수 있으며; 또한 단독으로 존재하고, 해당 전자 장치에 조립되지 않은 것일 수 있다.

한 가지 또는 여러 가지 프로그램 설계 언어 또는 그 조합에 의하여 본 발명의 조작을 실행하기 위한 컴퓨터 프로그램 코드를 코딩할 수 있는 바, 상기 프로그램 설계 언어에는 예를 들면 Java, Smalltalk, C++ 등 객체 지항의 프로그램 설계 언어가 포함되고, 또한 예를 들면 C 언어 또는 유사한 프로그램 설계 언어를 포함하는 일반적인 과정식 로그램 설계 언어가 포함되나 이에 제한되지 않는다. 프로그램 코드는 완전히 사용자 컴퓨터 상에서 실행되거나, 일부 사용자 컴퓨터 상에서 실행되거나, 하나의 독립적인 소프트웨어 패킷으로서 실행되거나, 일부는 사용자 컴퓨터 상에서 실행되고 일부는 원격 컴퓨터 상에서 실행되거나, 또는 완전히 원격 컴퓨터 또는 서버 상에서 실행될 수 있다. 원격 컴퓨터와 관련된 상황에서, 원격 컴퓨터는 임의의 종류의 네트워크를 통하여 사용자 컴퓨터에 연결되거나, 또는 외부 컴퓨터()에 연결될 수 있다(예를 들면 인터넷 서비스 제공자를 이용하여 인터넷을 통하여 연결함).

도면 중의 흐름도와 블럭도는 본 발명의 여러 가지 실시예에 따른 시스템, 방법과 컴퓨터 프로그램 제품의 구현가능한 시스템 구조, 기능과 조작을 도시하였다. 이로부터 흐름도 또는 블럭도 중의 각 박스는 하나의 모듈, 프로그램 세그먼트 또는 코드의 일부분을 대표할 수 있고, 해당 모듈, 프로그램 세그먼트 또는 코드의 일부분에는 하나 또는 다수의 규정된 논리 기능을 구현하는 실행가능한 명령이 포함된다. 유의하여야 할 바로는, 일부 대체가능한 구현에서, 박스에 표시된 기능은 또한 도면에 표시된 것과 다른 순서로 발생할 수도 있다. 예를 들면, 두 개의 연결되게 표시된 박스는 실제상에는 기본상 병행되게 실행될 수 있고, 이들은 때로는 반대의 순서로 실행될 있는 바, 이는 관련된 기능에 의하여 결정된다. 또한 유의하여야 할 바로는, 블럭도 및/또는 흐름도 중의 각 박스 및 블럭도 및/또는 흐름도 중의 박스의 조합은 규정된 기능 또는 조작을 실행하는 전문적인, 하드웨어를 기반으로 하는 시스템을 사용하여 구현되거나, 또는 전용 하드웨어와 컴퓨터 명령의 조합으로 구현될 수 있다.

본 발명의 실시예에 기술된 유닛은 소프트웨어의 방식으로 구현될 수도 있고, 또한 하드웨어의 방식으로 구현될 수도 있다. 그 중에서, 유닛의 명칭은 어떤 상황 하에서 해당 유닛 자체를 제한하지 않는다.

본문에서 상술한 기능은 적어도 일부분이 하나 또는 다수의 하드웨어 논리 부품으로 실행될 수 있다. 예를 들면, 비제한적으로, 사용가능한 예시적인 하드웨어 논리 부품에는 필드 프로그래머블 게이트 어레이(FPGA), 응용 주문형 집적 회로(ASIC), 전용 표준 제품(ASSP), 단일 칩 시스템(SOC), 복합 프로그램 가능 논리 소자(CPLD) 등이 포함된다.

상기 내용은 단지 본 발명의 바람직한 실시예 및 이용된 기술 원리이다. 당업계의 기술자들은 본 발명에 언급된 공개 범위는 상기 기술적 특징의 특정 조합으로 완성된 기술방안에 제한되지 않고, 아울러 상기 공개 구상을 벗어나지 않는 상황 하에서, 상기 기술적 특징 또는 그 동등한 특징으로 임의로 조합 형성된 기타 기술방안이 포함되는 것을 이해할 것이다. 예를 들면 상기 특징과 본 발명에 공개된(하지만 제한되지 않음) 유사한 기능을 구비하는 기술적 특징이 상호 대체되어 형성되는 기술방안이다.

그리고, 특정 순서를 사용하여 각 조작을 기술하기는 하였지만, 이는 이러한 조작이 기술된 특정 순서 또는 순차적인 순서로 실행될 것을 요구하는 것으로 이해해서는 안된다. 일정 조건 하에서, 멀티태스크와 병행 처리가 유리할 수 있다. 마찬가지로, 상기 논술에 일부 구체적인 구현 세부 사항이 포함되기는 하지만, 이러한 것은 본 발명의 범위를 제한하는 것으로 해석되어서는 안된다. 단독의 실시예의 전후 문맥에 기술된 일부 특징은 조합적으로 단일 실시예에 구현될 수 있다. 반대로, 단일 실시예의 전후 문맥에 기술된 여러 가지 특징도 단독으로 또는 임의의 적합한 하유 조합의 방식으로 다수의 실시예에서 구현될 수 있다.

이미 구조 특정 및/또는 방법 논리 동작에 특정된 언어로 본 주제를 기술하기는 하였지만, 첨부된 특허청구범위에 한정된 주제는 상기 기술된 특정된 특징 또는 동작에 제한되지 않는 것을 이해할 것이다. 반대로, 위에 기술된 특정된 특징과 동작은 단지 특허청구범위를 구현하는 예시적 형식일 뿐이다.

Claims

촬영을 기반으로 하는 3D 모델링 시스템에 있어서,
다수의 공간에 대하여 각각 해당 공간의 제1 이미지를 촬영하는 촬영 유닛;
각각 상기 촬영 유닛이 각 상기 공간에 대하여 촬영한 상기 제1 이미지를 기반으로, 각 상기 공간의 3D 모델을 생성하는 3D 모델 생성 유닛;
상기 촬영 유닛이 각 공간의 제1 이미지 촬영 시의 위치와 촬영 방향 정보를 취득하는 촬영 위치 취득 유닛;
상기 위치와 촬영 방향 정보를 기반으로, 상기 각 공간의 3D 모델을 동일한 3차원 좌표계 내에서 접합 처리를 진행하여, 상기 각 공간을 포함하는 전체 3D 모델을 형성하는 3D 모델 접합 유닛; 이 포함되는 것을 특징으로 하는 촬영을 기반으로 하는 3D 모델링 시스템.
제1항에 있어서,
상기 촬영 유닛이 상기 각 공간 간에 이동하는 과정에 여러 장의 제2 이미지를 촬영하며,
상기 촬영 위치 취득 유닛이 상기 여러 장의 제2 이미지를 통하여 특징점 매칭을 진행하여, 각 촬영점의 상대적 위치 이동과 촬영 방향 정보를 취득하는 것을 특징으로 하는 촬영을 기반으로 하는 3D 모델링 시스템.
제1항에 있어서,
상기 촬영 유닛이 포지셔닝 센서와 방향 센서를 구비하며;
상기 촬영 위치 취득 유닛이 상기 촬영 유닛이 처한 공간에 대하여 제1 이미지를 촬영할 때 제공하는 포지셔닝 정보와 방향 정보를 기반으로, 상기 촬영 유닛이 상기 처한 공간에 대하여 제1 이미지를 촬영 때의 위치와 촬영 방향 정보를 취득하는 것을 특징으로 하는 촬영을 기반으로 하는 3D 모델링 시스템.
제1항에 있어서,
상기 촬영 유닛이 상기 각 공간 간에 이동하는 과정에 여러 장의 제2 이미지를 촬영하며;
상기 촬영 유닛이 포지셔닝 센서와 방향 센서를 구비하며;
상기 촬영 위치 취득 유닛이 상기 여러 장의 제2 이미지를 통하여 특징점 매칭을 진행하여, 각 촬영점의 상대적 위치 이동과 촬영 방향 정보를 취득하고, 또한 상기 촬영 유닛이 처한 공간에 대하여 제1 이미지를 촬영할 때의 포지셔닝 정보와 방향 정보를 통하여 상기 상대적 위치 이동과 촬영 방향 정보에 대하여 교정을 진행하여, 상기 촬영 유닛이 상기 처한 공간에 대하여 제1 이미지를 촬영 때의 위치와 촬영 방향 정보를 취득하는 것을 특징으로 하는 촬영을 기반으로 하는 3D 모델링 시스템.
제4항에 있어서,
상기 촬영 위치 취득 유닛이 위치 이동 센서가 취득한 위치 이동 정보를 기반으로, 상기 상대적 위치 이동과 촬영 방향 정보에 대하여 교정을 진행하는 것을 특징으로 하는 촬영을 기반으로 하는 3D 모델링 시스템.
제1항에 있어서,
상기 3D 모델 접합 유닛이 상기 촬영 위치 취득 유닛이 취득한 각 공간 촬영 시의 상기 위치와 촬영 방향 정보에 의하여, 단일 공간의 상기 3D 모델의 국부 좌표를 글로벌의 세계 좌표로 전환하여 상기 다수의 공간의 전체 3D 모델을 취득하는 것을 특징으로 하는 촬영을 기반으로 하는 3D 모델링 시스템.
제6항에 있어서,
상기 단일 공간의 상기 3D 모델의 국부 좌표를 글로벌의 세계 좌표로 전환하는 것에는,
상기 촬영 유닛이 예정된 거리를 이동하도록 하고,
상기 촬영 위치 취득 유닛이 상기 예정된 거리의 두 개의 단점의 위치 정보를 취득하며,
상기 두 개의 단점의 위치의 차이와 상기 예정된 거리를 비교하여 상기 국부 좌표와 상기 세계 좌표의 비례값을 취득하는 것이 포함되는 것을 특징으로 하는 촬영을 기반으로 하는 3D 모델링 시스템.
제6항에 있어서,
상기 단일 공간의 상기 3D 모델의 국부 좌표를 글로벌의 세계 좌표로 전환하는 것에는,
상기 촬영 위치 취득 유닛이 상기 제1 이미지 상에서 특징점을 식별하고,
식별된 상기 특징점을 기반으로, 상기 공간의 저면 또는 상부면이 소재하는 평면의 높이를 추정하며,
상기 공간의 저면 또는 상부면이 소재하는 평면의 높이와 상기 촬영 유닛의 높이를 비교하여 상기 국부 좌표와 상기 세계 좌표의 비례값을 취득하는 것이 포함되는 것을 특징으로 하는 촬영을 기반으로 하는 3D 모델링 시스템.
제8항에 있어서,
상기 촬영 유닛이 첫번째 촬영점의 촬영을 진행하기 전, 또는 후속 촬영의 이동 과정에서, 예정된 거리 이동하여 예정된 수량의 상기 특징점을 취득하는 것을 특징으로 하는 촬영을 기반으로 하는 3D 모델링 시스템.
제1항에 있어서,
상기 촬영 유닛에 양안 렌즈가 구비되고, 동일한 촬영점에서 해당 양안 렌즈가 각각 상기 제1 이미지를 촬영하며;
상기 3D 모델 생성 유닛이 상기 양안 렌즈가 각각 촬영한 상기 제1 이미지에 대하여 이미지 비교를 진행하는 것을 통하여 대응되는 픽셀을 결정하고, 또한 각 상기 대응되는 픽셀의 심도 정보를 취득하여 상기 3D 모델을 생성하는 것을 특징으로 하는 촬영을 기반으로 하는 3D 모델링 시스템.
제1항에 있어서,
상기 3D 모델 생성 유닛이 딥러닝 기술을 통하여, 상기 제1 이미지 중 각 픽셀의 심도를 예측하고, 상기 각 픽셀의 법선 방향을 계산 또는 직접 상기 딥러닝 기술을 이용하여 예측하는 것을 특징으로 하는 촬영을 기반으로 하는 3D 모델링 시스템.
제1항 내지 제11항의 어느 한 항에 있어서,
상기 촬영 유닛은 카메라 및/또는 촬영 기능이 구비된 이동 장치로 구현되며;
상기 3D 모델 생성 유닛은 상기 이동 장치로 구현되거나 또는 원격 서버로 구현되고, 상기 원격 서버로 구현된 상황 하에서, 이는 네트워크를 통하여 상기 카메라 및/또는 상기 촬영 기능이 구비된 이동 장치가 촬영 및 송신하는 제1 이미지를 수신하고, 각 상기 공간의 3D 모델을 생성하며;
상기 촬영 위치 취득 유닛은 상기 카메라 또는 상기 이동 장치로 구현되며;
상기 3D 모델 접합 유닛은 상기 이동 장치로 구현되거나 또는 원격 서버로 구현되고, 상기 원격 서버로 구현된 상황 하에서, 이는 네트워크를 통하여 상기 촬영 위치 취득 유닛이 송신하는 각 공간의 상기 위치와 촬영 방향 정보를 수신하고, 해당 위치와 촬영 방향 정보를 기반으로 상기 접합 처리를 진행하며, 또한 생성된 상기 전체 3D 모델을 상기 이동 장치 또는 기타 장치로 송신하는 것을 특징으로 하는 촬영을 기반으로 하는 3D 모델링 시스템.
제12항에 있어서,
상기 촬영 유닛을 구현하는 카메라와 촬영 기능이 구비된 이동 장치는 동일한 촬영 프레임 상에 고정되며;
상기 프레임을 이동하는 과정에서, 여러 장의 상기 카메라 또는 상기 촬영 기능이 구비된 이동 장치가 촬영하는 제2 이미지를 취득하여, 상기 카메라 또는 상기 촬영 기능이 구비된 이동 장치가 소재하는 공간에 대하여 제1 이미지를 촬영할 때의 위치와 촬영 방향 정보를 취득하는 것을 특징으로 하는 촬영을 기반으로 하는 3D 모델링 시스템.
제13항에 있어서,
상기 카메라 또는 상기 촬영 기능이 구비된 이동 장치의 포지셔닝 시스템을 기반으로, 상기 카메라 또는 상기 촬영 기능이 구비된 이동 장치가 촬영한 제2 이미지를 사용하여, 가까운 촬영점의 제2 이미지를 통하여 특징점 매칭을 진행하여 각 촬영점의 상대적 위치 이동과 촬영 방향 정보를 취득하여, 각 촬영점의 상대적 위치와 방향을 제공하는 것을 특징으로 하는 촬영을 기반으로 하는 3D 모델링 시스템.
제13항에 있어서,
상기 촬영 유닛이 첫번째 상기 공간에 대하여 상기 제1 이미지를 촬영하기 전, 또는 후속 촬영의 이동 과정에서, 하기 방식의 한 가지 또는 여러 가지를 통하여 상기 카메라의 렌즈와 상기 이동 장치의 촬영 방향의 협각을 취득하는 것이 더 포함되는 바, 즉
(1) 동시에 상기 이동 장치를 기반으로 하는 포지셔닝 시스템과 상기 카메라를 기반으로 하는 포지셔닝 시스템을 작동시키고, 또한 상기 프레임을 일정한 거리 이동시키며, 이때 두 시스템이 각각 하나의 위치 이동 벡터를 제공하며, 두 벡터의 협각이 바로 상기 카메라의 렌즈와 상기 이동 장치의 촬영 방향의 협각이며;
(2) 수동으로 상기 카메라의 미리보기 이미지 또는 촬영한 이미지를 회전시키는 것을 통하여, 상기 이동 장치 촬영 방향과 일치한 각도를 지정하며;
(3) 이미지 식별 알고리즘을 통하여 상기 이동 장치와 상기 카메라의 미리보기 이미지 또는 촬영한 이미지를 매칭시켜 상기 협각을 찾아내며;
(4) 추가의 표지를 사용하는 것을 통하여, 프레임 상에 포함시켜 눈금을 추가하고 상기 이동 장치의 설치 방향과 고정된 협각을 형성하며, 그 후 상기 카메라의 미리보기 이미지 또는 이미지 중에서 해당 표지를 식별하여 상기 카메라의 렌즈와 상기 이동 장치의 촬영 방향의 협각을 계산하며;
(5) 상기 프레임 상에 슬롯을 구비하는 것을 통하여, 상기 카메라와 상기 이동 장치가 기지의 고정된 협각을 형성하도록 확보하는 것인 것을 특징으로 하는 촬영을 기반으로 하는 3D 모델링 시스템.
제1항에 있어서,
상기 공간은 룸이며;
상기 제1 이미지는 상기 룸의 실내 이미지이며;
상기 3D 모델 생성 유닛이 딥러닝 기술을 기반으로, 상기 제1 이미지 중의 바닥, 천장, 벽 중의 적어도 하나의 이미지를 식별하며, 또한 이미지 처리 기술을 기반으로 식별된 이미지에 대하여 분할을 진행하고, 각 블럭은 근사하게 하나의 평면으로 간주하며, 바닥과 천장의 이미지 블럭이 수평 평면에 위치하게 하고, 벽의 이미지 블럭이 수직 평면에 위치하게 하며, 각 평면 방정식의 해를 구하는 것을 통하여 상기 3D 모델을 생성하며; 그 중에서, 상기 제1 이미지 중에서 교차되는 두 개의 평면에 대하여, 산출된 교차선과 실제 관찰된 교차선의 오차가 가장 작도록 하는 것을 특징으로 하는 촬영을 기반으로 하는 3D 모델링 시스템.
제16항에 있어서,
상기 3D모델 생성 유닛은 또한 컴퓨터 시각 기술을 이용하여 상기 실내 이미지 중의 코너를 식별하고, 또한 코너를 연결시켜 룸의 대략적인 모델을 생성하는 것을 특징으로 하는 촬영을 기반으로 하는 3D 모델링 시스템.
제16항에 있어서,
상기 3D 모델 접합 유닛이 상기 다수의 룸 각자의 3D 모델에 대하여 통일적인 교정을 진행하는 바, 통계의 방법을 사용하여 모든 룸의 벽선 방향에 대하여 통일적인 교정을 진행하여, 모든 룸의 일정한 편차 범위 내의 벽선이 평행되도록 하는 것이 포함되며;
상기 3D 모델 접합 유닛이 상기 각 룸의 3D 모델에 대하여 접합 처리를 진행할 때, 중첩된 부분 및/또는 출현된 공동에 대하여 수정을 진행하는 것을 특징으로 하는 촬영을 기반으로 하는 3D 모델링 시스템.
제16항에 있어서,
하기 방식으로 2D 평면도를 생성하는 2D 평면도 생성 유닛이 더 포함되며;
생성된 상기 3D 모델의 각 면을 바닥에 수직되는 평면으로 투영시키고, 이러한 투영을 하나의 다각형으로 합병시키며;
취득한 상기 다각형에 대하여 교정과 간략화를 진행하는 바, 하기 적어도 한 가지 방식이 포함되는 바, 즉
(1) 단지 상기 다각형의 주요 정점만 보류하고, 작은 요철을 삭제하며;
(2) 컴퓨터 시각 기술을 이용하여 이미지 중의 직선을 탐지하고, 나아가 벽의 방향을 결정하며, 또한 벽의 방향과 근사하게 평행 또는 수직되는 변을 모두 대응되는 방향으로 수정하며;
상기 촬영 위치 취득 유닛이 취득한 각 공간의 상기 위치와 촬영 방향 정보를 기반으로, 생성된 상기 각 룸의 2D 평면도를 동일한 2차원 좌표계 내에서 접합 처리를 진행하여, 상기 각 룸 각자의 2D 평면도로 접합 구성된 전체 2D 평면도를 형성하며;
문 및/또는 창문의 위치를 식별 및 표시하는 바, 딥러닝의 방법을 사용하여, 상기 실내 이미지 상에서 문 및/또는 창문의 위치를 식별하거나, 또는 상기 촬영 유닛이 동일한 집에 속하는 다수의 룸에 대하여 각각 상기 제1 이미지를 촬영할 때의 이동 궤적과 해당 룸 윤곽의 교차점에 의하여 문의 위치를 결정하는 것을 특징으로 하는 촬영을 기반으로 하는 3D 모델링 시스템.
제19항에 있어서,
상기 2D 평면도 생성 유닛이 상기 다수의 룸 각자의 2D 평면도에 대하여 통일적인 교정을 진행하는 바, 통계의 방법을 사용하여 모든 룸의 벽선 방향에 대하여 통일적인 교정을 진행하여, 모든 룸의 일정한 편차 범위 내의 벽선이 평행되도록 하는 것이 포함되며;
상기 2D 평면도 생성 유닛이 상기 각 룸의 2D 평면도에 대하여 접합 처리를 진행할 때, 중첩된 부분 및/또는 출현된 공동에 대하여 수정을 진행하는 것을 특징으로 하는 촬영을 기반으로 하는 3D 모델링 시스템.
제16항에 있어서,
하기 방식으로 2D 평면도를 생성하는 2D 평면도 생성 유닛이 더 포함되며;
상기 3D 모델 접합 유닛이 생성한 상기 3D 모델의 각 면을 바닥에 수직되는 평면으로 투영시키고, 이러한 투영을 하나의 다각형으로 합병시키며;
취득한 상기 다각형에 대하여 교정과 간략화를 진행하는 바, 하기 적어도 한 가지 방식이 포함되는 바, 즉
(1) 단지 상기 다각형의 주요 정점만 보류하고, 작은 요철을 삭제하며;
(2) 컴퓨터 시각 기술을 이용하여 이미지 중의 직선을 탐지하고, 나아가 벽의 방향을 결정하며, 또한 벽의 방향과 근사하게 평행 또는 수직되는 변을 모두 대응되는 방향으로 수정하며;
문 및/또는 창문의 위치를 식별 및 표시하는 바, 딥러닝의 방법을 사용하여, 상기 실내 이미지 상에서 문 및/또는 창문의 위치를 식별하거나, 또는 상기 촬영 유닛이 동일한 집에 속하는 다수의 룸에 대하여 각각 상기 제1 이미지를 촬영할 때의 이동 궤적과 해당 룸 윤곽의 교차점에 의하여 문의 위치를 결정하는 것을 특징으로 하는 촬영을 기반으로 하는 3D 모델링 시스템.
자동 3D 모델링 장치에 있어서,
모델링 객체에 포함된 다수의 공간 각자의 제1 이미지를 기반으로, 각각 각 상기 공간의 3D 모델을 생성하는 3D 모델 생성 유닛;
상기 다수의 공간 각자의 상기 제1 이미지가 촬영될 때의 위치와 촬영 방향 정보를 기반으로, 상기 3D 모델 생성 유닛에서 생성된 상기 각 공간의 3D 모델을 동일한 3차원 좌표계 내에서 접합 처리를 진행하여, 상기 각 공간 각자의 3D 모델로 접합 구성된 전체 3D 모델을 형성하는 3D 모델 접합 유닛이 포함되는 것을 특징으로 하는 자동 3D 모델링 장치.
제22항에 있어서,
상기 3D 모델 접합 유닛이 상기 위치와 촬영 방향 정보에 의하여, 단일 공간의 상기 3D 모델의 국부 좌표를 글로벌의 세계 좌표로 전환하여 모든 공간의 전체 3D 모델을 취득하는 것을 특징으로 하는 자동 3D 모델링 장치.
제22항 또는 제23항에 있어서,
상기 공간은 룸이며;
상기 제1 이미지는 상기 룸의 실내 이미지이며;
상기 3D 모델 생성 유닛이 딥러닝 기술을 기반으로, 상기 제1 이미지 중의 바닥, 천장, 벽 중의 적어도 하나의 이미지를 식별하며, 또한 이미지 처리 기술을 기반으로 식별된 이미지에 대하여 분할을 진행하고, 각 블럭은 근사하게 하나의 평면으로 간주하며, 바닥과 천장의 이미지 블럭이 수평 평면에 위치하게 하고, 벽의 이미지 블럭이 수직 평면에 위치하게 하며, 각 평면 방정식의 해를 구하는 것을 통하여 상기 3D 모델을 생성하며; 그 중에서, 상기 제1 이미지 중에서 교차되는 두 개의 평면에 대하여, 산출된 교차선과 실제 관찰된 교차선의 오차가 가장 작도록 하며;
상기 3D모델 생성 유닛은 또한 컴퓨터 시각 기술을 이용하여 상기 실내 이미지 중의 코너를 식별하고, 또한 코너를 연결시켜 룸의 대략적인 모델을 생성하는 것을 특징으로 하는 자동 3D 모델링 장치.
제24항에 있어서,
상기 3D 모델 접합 유닛이 상기 다수의 룸 각자의 3D 모델에 대하여 통일적인 교정을 진행하는 바, 통계의 방법을 사용하여 모든 룸의 벽선 방향에 대하여 통일적인 교정을 진행하여, 모든 룸의 일정한 편차 범위 내의 벽선이 평행되도록 하는 것이 포함되며;
상기 3D 모델 접합 유닛이 상기 각 룸의 3D 모델에 대하여 접합 처리를 진행할 때, 중첩된 부분 및/또는 출현된 공동에 대하여 수정을 진행하는 것을 특징으로 하는 자동 3D 모델링 장치.
제24항에 있어서, 또한
하기 방식으로 2D 평면도를 생성하는 2D 평면도 생성 유닛이 포함되는 바 즉,
생성된 상기 3D 모델의 각 면을 바닥에 수직되는 평면으로 투영시키고, 이러한 투영을 하나의 다각형으로 합병시키며;
취득한 상기 다각형에 대하여 교정과 간략화를 진행하는 바, 하기 적어도 한 가지 방식이 포함되는 바, 즉
(1) 단지 상기 다각형의 주요 정점만 보류하고, 작은 요철을 삭제하며;
(2) 컴퓨터 시각 기술을 이용하여 이미지 중의 직선을 탐지하고, 나아가 벽의 방향을 결정하며, 또한 벽의 방향과 근사하게 평행 또는 수직되는 변을 모두 대응되는 방향으로 수정하며;
상기 위치와 촬영 방향 정보를 기반으로, 생성된 상기 각 룸의 2D 평면도를 동일한 2차원 좌표계 내에서 접합 처리를 진행하여, 상기 각 룸 각자의 2D 평면도로 접합 구성된 전체 2D 평면도를 형성하며;
문 및/또는 창문의 위치를 식별 및 표시하는 바, 딥러닝의 방법을 사용하여, 상기 실내 이미지 상에서 문 및/또는 창문의 위치를 식별하거나, 또는 동일한 집에 속하는 다수의 룸에 대하여 각각 상기 제1 이미지를 촬영할 때 취득한 이동 궤적과 해당 룸 윤곽의 교차점에 의하여 문의 위치를 결정하는 것인 것을 특징으로 하는 자동 3D 모델링 장치.
제26항에 있어서,
상기 2D 평면도 생성 유닛이 상기 다수의 룸 각자의 2D 평면도에 대하여 통일적인 교정을 진행하는 바, 통계의 방법을 사용하여 모든 룸의 벽선 방향에 대하여 통일적인 교정을 진행하여, 모든 룸의 일정한 편차 범위 내의 벽선이 평행되도록 하는 것이 포함되며;
상기 2D 평면도 생성 유닛이 상기 각 룸의 2D 평면도에 대하여 접합 처리를 진행할 때, 중첩된 부분 및/또는 출현된 공동에 대하여 수정을 진행하는 것을 특징으로 하는 자동 3D 모델링 장치.
제24항에 있어서, 또한
하기 방식으로 2D 평면도를 생성하는 2D 평면도 생성 유닛이 포함되는 바 즉,
상기 3D 모델 접합 유닛이 생성한 상기 3D 모델의 각 면을 바닥에 수직되는 평면으로 투영시키고, 이러한 투영을 하나의 다각형으로 합병시키며;
취득한 상기 다각형에 대하여 교정과 간략화를 진행하는 바, 하기 적어도 한 가지 방식이 포함되는 바, 즉
(1) 단지 상기 다각형의 주요 정점만 보류하고, 작은 요철을 삭제하며;
(2) 컴퓨터 시각 기술을 이용하여 이미지 중의 직선을 탐지하고, 나아가 벽의 방향을 결정하며, 또한 벽의 방향과 근사하게 평행 또는 수직되는 변을 모두 대응되는 방향으로 수정하며;
문 및/또는 창문의 위치를 식별 및 표시하는 바, 딥러닝의 방법을 사용하여, 상기 실내 이미지 상에서 문 및/또는 창문의 위치를 식별하거나, 또는 동일한 집에 속하는 다수의 룸에 대하여 각각 상기 제1 이미지를 촬영할 때의 이동 궤적과 해당 룸 윤곽의 교차점에 의하여 문의 위치를 결정하는 것인 것을 특징으로 하는 자동 3D 모델링 장치.
자동 3D 모델링 방법에 있어서,
모델링 객체에 포함된 다수의 공간 각자의 제1 이미지를 기반으로, 각각 각 상기 공간의 3D 모델을 생성하는 3D 모델 생성 단계;
상기 다수의 공간 각자의 상기 제1 이미지가 촬영될 때의 위치와 촬영 방향 정보를 기반으로, 상기 3D 모델 생성 단계에서 생성된 상기 각 공간의 3D 모델을 동일한 3차원 좌표계 내에서 접합 처리를 진행하여, 상기 각 공간 각자의 3D 모델로 접합 구성된 전체 3D 모델을 형성하는 3D 모델 접합 단계; 가 포함되는 것을 특징으로 하는 자동 3D 모델링 방법.
제29항에 있어서,
상기 3D 모델 접합 단계에서, 상기 위치와 촬영 방향 정보에 의하여, 단일 공간의 상기 3D 모델의 국부 좌표를 글로벌의 세계 좌표로 전환하여 모든 공간의 전체 3D 모델을 취득하는 것을 특징으로 하는 자동 3D 모델링 방법.
제29 또는 제30항에 있어서,
상기 공간은 룸이며;
상기 제1 이미지는 상기 룸의 실내 이미지이며;
상기 3D 모델 생성 단계에서, 딥러닝 기술을 기반으로, 상기 제1 이미지 중의 바닥, 천장, 벽 중의 적어도 하나의 이미지를 식별하며, 또한 이미지 처리 기술을 기반으로 식별된 이미지에 대하여 분할을 진행하고, 각 블럭은 근사하게 하나의 평면으로 간주하며, 바닥과 천장의 이미지 블럭이 수평 평면에 위치하게 하고, 벽의 이미지 블럭이 수직 평면에 위치하게 하며, 각 평면 방정식의 해를 구하는 것을 통하여 상기 3D 모델을 생성하며; 그 중에서, 상기 제1 이미지 중에서 교차되는 두 개의 평면에 대하여, 산출된 교차선과 실제 관찰된 교차선의 오차가 가장 작도록 하며;
상기 3D모델 생성 단계에서 또한 컴퓨터 시각 기술을 이용하여 상기 실내 이미지 중의 코너를 식별하고, 또한 코너를 연결시켜 룸의 대략적인 모델을 생성하는 것을 특징으로 하는 자동 3D 모델링 방법.
제31항에 있어서,
하기 방식으로 2D 평면도를 생성하는 2D 평면도 생성 단계가 더 포함되며;
생성된 상기 3D 모델의 각 면을 바닥에 수직되는 평면으로 투영시키고, 이러한 투영을 하나의 다각형으로 합병시키며;
취득한 상기 다각형에 대하여 교정과 간략화를 진행하는 바, 하기 적어도 한 가지 방식이 포함되는 바, 즉
(1) 단지 상기 다각형의 주요 정점만 보류하고, 작은 요철을 삭제하며;
(2) 컴퓨터 시각 기술을 이용하여 이미지 중의 직선을 탐지하고, 나아가 벽의 방향을 결정하며, 또한 벽의 방향과 근사하게 평행 또는 수직되는 변을 모두 대응되는 방향으로 수정하며;
상기 위치와 촬영 방향 정보를 기반으로, 생성된 상기 각 룸의 2D 평면도를 동일한 2차원 좌표계 내에서 접합 처리를 진행하여, 상기 각 룸 각자의 2D 평면도로 접합 구성된 전체 2D 평면도를 형성하며;
문 및/또는 창문의 위치를 식별 및 표시하는 바, 딥러닝의 방법을 사용하여, 상기 실내 이미지 상에서 문 및/또는 창문의 위치를 식별하거나, 또는 동일한 집에 속하는 다수의 룸에 대하여 각각 상기 제1 이미지를 촬영할 때 취득한 이동 궤적과 해당 룸 윤곽의 교차점에 의하여 문의 위치를 결정하는 것을 특징으로 하는 자동 3D 모델링 방법.
제32항에 있어서,
상기 2D 평면도 생성 단계에서 상기 다수의 룸 각자의 2D 평면도에 대하여 통일적인 교정을 진행하는 바, 통계의 방법을 사용하여 모든 룸의 벽선 방향에 대하여 통일적인 교정을 진행하여, 모든 룸의 일정한 편차 범위 내의 벽선이 평행되도록 하는 것이 포함되며;
상기 2D 평면도 생성 단계에서, 상기 각 룸의 2D 평면도에 대하여 접합 처리를 진행할 때, 중첩된 부분 및/또는 출현된 공동에 대하여 수정을 진행하는 것을 특징으로 하는 자동 3D 모델링 방법.
제31항에 있어서,
하기 방식으로 2D 평면도를 생성하는 2D 평면도 생성 단계가 더 포함되며;
상기 3D 모델 접합 단계에서 생성한 상기 3D 모델의 각 면을 바닥에 수직되는 평면으로 투영시키고, 이러한 투영을 하나의 다각형으로 합병시키며;
취득한 상기 다각형에 대하여 교정과 간략화를 진행하는 바, 하기 적어도 한 가지 방식이 포함되는 바, 즉
(1) 단지 상기 다각형의 주요 정점만 보류하고, 작은 요철을 삭제하며;
(2) 컴퓨터 시각 기술을 이용하여 이미지 중의 직선을 탐지하고, 나아가 벽의 방향을 결정하며, 또한 벽의 방향과 근사하게 평행 또는 수직되는 변을 모두 대응되는 방향으로 수정하며;
문 및/또는 창문의 위치를 식별 및 표시하는 바, 딥러닝의 방법을 사용하여, 상기 실내 이미지 상에서 문 및/또는 창문의 위치를 식별하거나, 또는 동일한 집에 속하는 다수의 룸에 대하여 각각 상기 제1 이미지를 촬영할 때의 이동 궤적과 해당 룸 윤곽의 교차점에 의하여 문의 위치를 결정하는 것을 특징으로 하는 자동 3D 모델링 방법.
촬영을 기반으로 하는 3D 모델링 방법에 있어서, 하기 단계가 포함되는 바,
S1) 촬영 기능이 구비된 이동 장치와 카메라를 동일한 촬영 프레임 상에 고정하며;
S2) 프레임을 이동하는 과정에 여러 장의 카메라 또는 이동 장치의 제2 이미지를 취득하고, 상기 카메라 또는 이동 장치의 센서를 결합시켜 각 촬영점의 위치와 촬영 방향을 취득하여, 통일적인 좌표계를 사용하는 로드맵을 형성하며;
S3) 상기 이동 장치 상 또는 원격 서버단에서 각 촬영점에서 촬영한 제1 이미지를 기반으로 3D 모델링을 진행하며;
S4) 각 촬영점의 상기 3D 모델을 S2에서 취득한 위치와 촬영 방향에 따라, 통일적으로 동일한 3차원 좌표계 내에 놓고, 다수의 촬영점의 3D 모델 간의 결합 부위에 대하여 접합 처리를 진행하여 다수의 촬영점이 포함된 전체 3D 모델을 형성하는 것인 것을 특징으로 하는 촬영을 기반으로 하는 3D 모델링 방법.
제35항에 있어서,
상기 S2 단계는 상기 이동 장치 또는 카메라의 포지셔닝 시스템을 기반으로, 상기 이동 장치 또는 카메라가 촬영한 제2 이미지를 사용하여, 가까운 촬영점의 제2 이미지를 통하여 특징점 매칭을 진행하여 촬영점의 상대적 위치 이동과 촬영 방향 정보를 찾아내어, 모든 촬영점을 포함하는 동일한 좌표계 내의 상기 로드맵을 형성하고, 또한 각 촬영점의 위치와 방향을 제공하는 것을 특징으로 하는 촬영을 기반으로 하는 3D 모델링 방법.
제35항 또는 제36항에 있어서,
상기 S2 단계에는 또한 상기 이동 장치 또는 카메라의 센서를 통하여 이동의 가속도, 속도와 방향을 포함하는 정보를 취득하여, 상기 로드맵에 대하여 교정을 진행하는 것이 포함되는 것을 특징으로 하는 촬영을 기반으로 하는 3D 모델링 방법.
제36항에 있어서,
상기 S2 단계에는 또한 상기 카메라의 렌즈와 상기 이동 장치의 촬영 방향의 협각을 취득하는 것이 포함되는 바, 즉 초기화 단계에 동시에 상기 이동 장치를 기반으로 하는 포지셔닝 시스템과 상기 카메라를 기반으로 하는 포지셔닝 시스템을 작동시키고, 또한 프레임을 일정한 거리 이동시키며, 이때 두 시스템이 각각 하나의 위치 이동 벡터를 제공하며, 두 벡터의 협각이 바로 상기 카메라의 렌즈와 상기 이동 장치의 촬영 방향의 협각이며; 또는 수동으로 상기 카메라의 미리보기 이미지 또는 촬영한 이미지를 회전시키는 것을 통하여, 상기 이동 장치 촬영 방향과 일치한 각도를 지정하며; 또는 이미지 식별 알고리즘을 통하여 상기 이동 장치와 상기 카메라의 미리보기 이미지 또는 촬영한 이미지를 매칭시켜 상기 협각을 찾아내며; 또는 추가의 표지를 사용하는 것을 통하여, 프레임 상에 포함시켜 눈금을 추가하고 상기 이동 장치의 설치 방향과 고정된 협각을 형성하며, 그 후 상기 카메라의 미리보기 이미지 또는 이미지 중에서 해당 표지를 식별하여 상기 카메라의 렌즈와 상기 이동 장치의 촬영 방향의 협각을 계산하는 것이 포함되는 것을 특징으로 하는 촬영을 기반으로 하는 3D 모델링 방법.
제35항에 있어서, 상기 S3 단계에는 하기가 포함되는 바,
S31) 딥러닝 기술을 기반으로, 이미지 중의 바닥, 천장, 벽 중의 적어도 하나의 이미지를 식별하며;
S32) 이미지 처리 기술을 기반으로 식별된 이미지에 대하여 분할을 진행하고, 각 블럭은 근사하게 하나의 평면으로 간주하며, 바닥과 천장의 이미지 블럭이 수평 평면에 위치하게 하고, 벽의 이미지 블럭이 수직 평면에 위치하게 하며, 각 평면 방정식의 해를 구하여 상기 3D 모델을 생성하며; 상기 이미지 중에서 교차되는 두 개의 평면에 대하여, 이 두 개의 평면의 하나의 교차선을 제약 조건으로 하여, 산출된 교차선과 실제 관찰된 교차선의 오차가 가장 작도록 하는 것을 특징으로 하는 촬영을 기반으로 하는 3D 모델링 방법.
제35항에 있어서,
상기 S3 단계에는 또한 실내 이미지에 대하여, 컴퓨터 시각 기술을 이용하여 이미지 중의 코너를 식별하고, 또한 코너를 연결시키면 룸의 대략적인 모델인 것이 포함되는 것을 특징으로 하는 촬영을 기반으로 하는 3D 모델링 방법.
제35항에 있어서, 상기 S4 단계에는 하기가 포함되는 바,
S41) 각 촬영점의 위치와 촬영 방향에 의하여, 단일 촬영점의 3D 모델의 국부 좌표를 글로벌의 세계 좌표로 전환하여 모든 촬영점의 전체 3D 모델을 취득하며;
S42) 다수의 촬영점의 3D 모델에 대하여 통일적인 교정을 진행하는 바, 통계의 방법을 사용하여 모든 쵤영점의 벽선 방향에 대하여 통일적인 교정을 진행하여, 모든 룸의 일정한 편차 범위 내의 벽선이 평행되도록 하는 것이 포함되며;
S43) 각 촬영점의 3D 모델에 대하여 접합 처리를 진행할 때, 그 중첩된 부분 및/또는 출현된 공동에 대하여 수정을 진행하는 것을 특징으로 하는 촬영을 기반으로 하는 3D 모델링 방법.