KR102224691B1 - 건축물 이미지를 생성하는 장치 및 방법 - Google Patents

건축물 이미지를 생성하는 장치 및 방법 Download PDF

Info

Publication number
KR102224691B1
KR102224691B1 KR1020200174169A KR20200174169A KR102224691B1 KR 102224691 B1 KR102224691 B1 KR 102224691B1 KR 1020200174169 A KR1020200174169 A KR 1020200174169A KR 20200174169 A KR20200174169 A KR 20200174169A KR 102224691 B1 KR102224691 B1 KR 102224691B1
Authority
KR
South Korea
Prior art keywords
data
image data
building
image
probability map
Prior art date
Application number
KR1020200174169A
Other languages
English (en)
Inventor
한상국
Original Assignee
한상국
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한상국 filed Critical 한상국
Priority to KR1020200174169A priority Critical patent/KR102224691B1/ko
Application granted granted Critical
Publication of KR102224691B1 publication Critical patent/KR102224691B1/ko
Priority to PCT/KR2021/018884 priority patent/WO2022131720A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G06T3/0093—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Computer Graphics (AREA)
  • Tourism & Hospitality (AREA)
  • Human Resources & Organizations (AREA)
  • General Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Architecture (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명의 일 실시 예에 따른, 건축물 이미지를 생성하는 장치 및 방법은, 무선 통신부; 다수의 재질 데이터들을 저장하는 데이터베이스; 및 상기 무선 통신부를 통해 휴대 단말기로부터 영상 데이터 및 건축물 재질 식별자를 수신하며, 미리 지정된 제1가중치 데이터를 이용하여 상기 영상 데이터에서 재질을 적용하는 대상을 분리하여 개연성 맵을 생성하고, 상기 영상 데이터에서 에지를 검출하여 에지 맵을 생성하며, 상기 개연성 맵과 상기 에지 맵과 미리 지정된 제2가중치 데이터를 이용하여 상기 영상 데이터에서 상기 재질을 적용하는 대상을 명확하게 분리하여 개선된 개연성 맵을 생성하고, 상기 재질 데이터들과 상기 개선된 개연성 맵과 상기 건축물 재질 식별자를 이용하여 상기 영상 데이터에 상기 휴대 단말기의 사용자가 원하는 재질과 원근을 적용하여 건축물 실사 데이터를 생성하며, 상기 무선 통신부를 통해 상기 건축물 실사 데이터를 상기 휴대 단말기로 전송하는 제어부를 포함한다.

Description

건축물 이미지를 생성하는 장치 및 방법{Apparatus and method for generating structure image}
본 발명은 이미지를 생성하는 것에 관한 것으로, 특히, 건축물 이미지를 생성하는 장치 및 방법에 관한 것이다.
삶의 질을 중요시하는 가치가 현 세대에 급부상함에 따라 사람이 일하거나 휴식을 취하는 공간(예를 들면, 주거 공간 또는 상업 공간)에 대한 인테리어(interior)의 관심이 높아지고 있다.
이러한 관심을 충족하기 위해, 사용자가 원하는 건축물의 이미지를 가상으로 생성하여 표시하는 기술이 출현하게 되었다.
한편, 건축물의 이미지를 생성하는 기술에는 두 가지 방식이 존재한다. 첫 번째 방식은 3차원 프로그램(예를 들면, Sketchup 또는 3Dmax 등)을 이용하여 건축물에 대한 3차원 모델링을 구현하여 건축물 이미지를 생성하는 방식이다. 두 번째 방식은 실제 건축물에 다중 레이저를 주사하여 건축물 이미지를 생성하는 방식이다.
그러나 첫 번째 방식은 사용자가 직접 3차원 모델링을 구현해야 하는 문제점과 3차원 모델링에 GPU(Graphics Processing Unit)를 사용하기 때문에 각 사용자의 하드웨어 환경에 따라 건축물을 실사화하기 위한 시간의 편차가 크다는 문제점이 있었다. 그리고 두 번째 방식은 건축물에 다중 레이저를 주사하기 때문에 건축물 이지를 생성하는 비용이 비쌀 뿐만 아니라 레이저 주사 시간과 재구성 시간이 매우 길다는 문제점이 있었다.
따라서, 이러한 문제점을 해결하기 위한 방안의 필요성이 대두하였다.
본 발명의 일 실시 예는 사용자의 하드웨어 환경에 상관없이 일정한 시간에 건축물 이미지를 생성하는 장치 및 방법을 제공한다.
그리고 본 발명의 일 실시 예는 저비용 및 짧은 시간에 건축물 이미지를 생성하는 장치 및 방법을 제공한다.
본 발명의 일 실시 예에 따른, 건축물 이미지를 생성하는 장치는, 무선 통신부; 다수의 재질 데이터들을 저장하는 데이터베이스; 및 상기 무선 통신부를 통해 휴대 단말기로부터 영상 데이터 및 건축물 재질 식별자를 수신하며, 미리 지정된 제1가중치 데이터를 이용하여 상기 영상 데이터에서 재질을 적용하는 대상을 분리하여 개연성 맵을 생성하고, 상기 영상 데이터에서 에지를 검출하여 에지 맵을 생성하며, 상기 개연성 맵과 상기 에지 맵과 미리 지정된 제2가중치 데이터를 이용하여 상기 영상 데이터에서 상기 재질을 적용하는 대상을 명확하게 분리하여 개선된 개연성 맵을 생성하고, 상기 재질 데이터들과 상기 개선된 개연성 맵과 상기 건축물 재질 식별자를 이용하여 상기 영상 데이터에 상기 휴대 단말기의 사용자가 원하는 재질과 원근을 적용하여 건축물 실사 데이터를 생성하며, 상기 무선 통신부를 통해 상기 건축물 실사 데이터를 상기 휴대 단말기로 전송하는 제어부를 포함한다.
본 발명의 일 실시 예에 따른, 건축물 이미지를 생성하는 방법은, 제어부가, 무선 통신부를 통해 휴대 단말기로부터 영상 데이터 및 건축물 재질 식별자를 수신하는 과정; 상기 제어부가, 미리 지정된 제1가중치 데이터를 이용하여 상기 영상 데이터에서 재질을 적용하는 대상을 분리하여 개연성 맵을 생성하는 과정; 상기 제어부가, 상기 영상 데이터에서 에지를 검출하여 에지 맵을 생성하는 과정; 상기 제어부가, 상기 개연성 맵과 상기 에지 맵과 미리 지정된 제2가중치 데이터를 이용하여 상기 영상 데이터에서 상기 재질을 적용하는 대상을 명확하게 분리하여 개선된 개연성 맵을 생성하는 과정; 상기 제어부가, 상기 재질 데이터들과 상기 개선된 개연성 맵과 상기 건축물 재질 식별자를 이용하여 상기 영상 데이터에 상기 휴대 단말기의 사용자가 원하는 재질과 원근을 적용하여 건축물 실사 데이터를 생성하는 과정; 및 상기 제어부가, 상기 무선 통신부를 통해 상기 건축물 실사 데이터를 상기 휴대 단말기로 전송하는 과정을 포함한다.
본 발명의 일 실시 예는 사용자의 하드웨어 환경에 상관없이 일정한 시간에 건축물 이미지를 생성할 수 있다.
그리고 본 발명의 일 실시 예는 저비용 및 짧은 시간에 건축물 이미지를 생성할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 이미지 생성 시스템의 블록 구성도이다.
도 2는 본 발명의 일 실시 예에 따른 이미지 서버의 블록 구성도이다.
도 3은 본 발명의 일 실시 예에 따른 제어부의 블록 구성도이다.
도 4는 본 발명의 일 실시 예에 따른 제어부가 영상 데이터에 수직 소실선을 형성한 도면이다.
도 5는 본 발명의 일 실시 예에 따른 제어부가 수직 소실선에 따라 영상 데이터를 분할한 도면이다.
도 6은 본 발명의 일 실시 예에 따른 제어부가 영상 데이터에 원근을 적용한 도면이다.
도 7은 본 발명의 일 실시 예에 따른 이미지 서버가 건축물 이미지를 전송하는 흐름도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명의 실시 예에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당하는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 발명의 실시 예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 발명된 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 실시 예들을 설명함에서 관련된 공지 기술에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명의 실시 예에서 '모듈' 혹은 '부'는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 '모듈' 혹은 복수 의'부'는 특정한 하드웨어로 구현될 필요가 있는 '모듈' 혹은 '부'를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
본 발명의 실시 예에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시 예에 대하여 본 발명가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 발명의 실시 예에서 휴대 단말기는 임의의 장치일 수 있으며, 휴대 단말기는 휴대 단말기, 이동 단말기, 통신 단말기, 휴대용 통신 단말기, 휴대용 이동 단말기 등으로 칭할 수 있다.
예를 들어, 휴대 단말기는 스마트폰, 휴대폰, TV, 디스플레이 장치, 차량용 헤드 유닛, 노트북 컴퓨터, 랩톱 컴퓨터, 태블릿(Tablet) 컴퓨터, PMP(Personal Media Player), PDA(Personal Digital Assistants) 등 일수 있다. 휴대 단말기는 무선 통신 기능을 갖는 포켓 사이즈의 휴대용 통신 단말로서 구현될 수 있다. 또한, 휴대 단말기는 플렉서블 장치 또는 플렉서블 디스플레이 장치일 수 있다.
본 발명의 일 실시 예는, 객체 인식 및 변환에 대한 인공지능 알고리즘을 이용하여 영상 데이터에서 건축물의 주요 내외부 공간과 구조를 인식하여 분류하며, 영상 데이터에 사용자에 의해 선택된 건축물 내외장재를 적용한 후, 실사화한다.
도 1은 본 발명의 일 실시 예에 따른 이미지 생성 시스템의 블록 구성도이다.
도 1을 참조하면, 이미지 생성 시스템은 이미지 서버(101)와 네트워크(103)와 휴대 단말기(105)를 포함한다.
각 구성요소를 살펴보면, 네트워크(103)는 이미지 서버(101)와 휴대 단말기(105) 사이를 연결하며, 인터넷망, 유선통신망, 이동통신망, 방송망 또는 광대역 망(Broadband Convergence Network)이 될 수 있다. 예를 들면, 이동통신망은 휴대용 단말기를 이용하여 이동하면서 정보를 교환할 수 있도록 설치한 정보 통신망일 수 있다. 예를 들면, 이동통신망은 3세대, 4세대 또는 5세대 이동통신망이나 이들을 통합한 이동통신망일 수 있다.
예를 들면, 광대역 망은 인터넷망, 유선통신망, 이동통신망, 방송망 등을 하나로 통합한 통합 네트워크일 수 있다. 예를 들면, 광대역 망은 새로운 네트워크를 설치하지 않고 기존 광동축 혼합 망이나 초고속 인터넷망을 그대로 이용하면서 교환 장치나 전송 장치, 단말 장치를 업그레이드해 광대역 망 가입자들이 100Mbps 속도로 인터넷과 통신, 방송망을 융합한 서비스를 받을 수 있도록 할 수 있다.
휴대 단말기(105)는 영상 애플리케이션을 이용하여 이미지 서버(101)로 영상 데이터를 전송한다. 예를 들면, 영상 애플리케이션은 휴대 단말기(105)의 카메라를 통해 생성된 영상 데이터(예를 들면, 사진 또는 동영상)나 외부 장치로부터 수신된 영상 데이터를 이미지 서버(101)로 전송하기 위한 애플리케이션일 수 있다. 예를 들면, 영상 데이터는 건축물 이미지를 포함할 수 있다. 그리고 휴대 단말기(105)는 영상 애플리케이션을 이용하여 이미지 서버(101)로부터 건축물을 실사화한 건축물 실사 데이터를 수신한다.
이미지 서버(101)는 영상 애플리케이션을 이용하여 휴대 단말기(105)로부터 영상 데이터를 수신하고, 객체 인식 및 변환에 대한 인공지능 알고리즘을 기반으로 수신된 영상 데이터에 포함된 건축물의 주요 내/외부 공간 및 구조 부분을 인식하여 분류한다. 그리고 이미지 서버(101)는 학습 데이터와 사용자에 의해 선택된 건축물 내외장재를 기반으로 건축물의 주요 내/외부 공간 및 구조 부분을 실사화하여 건축물 실사 데이터를 생성한다. 그리고 이미지 서버(101)는 생성된 건축물 실사 데이터를 영상 애플리케이션을 이용하여 휴대 단말기(105)로 전송한다.
이러한 구성을 통해, 본 발명의 일 실시 예는 사용자의 하드웨어 환경에 상관없이 일정한 시간에 건축물 이미지를 생성할 수 있다. 그리고 본 발명의 일 실시 예는 저비용 및 짧은 시간에 건축물 이미지를 생성할 수 있다.
이제부터, 도 2를 참조하여, 이미지 서버(101)를 자세히 설명하고자 한다.
도 2는 본 발명의 일 실시 예에 따른 이미지 서버(101)의 블록 구성도이다.
도 2를 참조하면, 이미지 서버(101)는 제어부(201)와 데이터베이스(203)와 무선 통신부(205)를 포함한다.
각 구성요소를 살펴보면, 데이터베이스(203)는 이미지 서버(101)에서 제공하는 다양한 기능을 수행하기 위한 데이터 및 프로그램을 저장하며, 컴퓨터가 읽을 수 있는 기록매체(Computer Readable Media)를 포함할 수 있다. 예를 들면, 기록매체는 플래시 메모리, 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등을 포함할 수 있다. 예를 들면, 데이터베이스(203)는 건축물의 내외장재에 대한 각종 재질을 나타내는 다수의 재질 데이터들을 저장할 수 있다. 예를 들면, 데이터베이스(203)는 다수의 재질들과 다수의 제품들에 대한 형상을 포함하는 다수의 이미지 데이터들과 다수의 가격 및 제조사 정보들을 저장할 수 있다.
무선 통신부(205)는 외부 장치로부터 데이터를 수신하고, 외부 장치로 데이터를 송신할 수 있다. 예를 들면, 무선 통신부(205)는 휴대 단말기(105)로부터 영상 데이터를 수신할 수 있다. 예를 들면, 무선 통신부(205)는 휴대 단말기(105)로 건축물 실사 데이터를 송신할 수 있다.
제어부(201)는 데이터베이스(205)에 저장된 각종 프로그램을 이용하여 이미지 서버(101)의 전반적인 동작을 제어할 수 있다.
예를 들면, 제어부(201)는 무선 통신부(205)를 통해 휴대 단말기(105)로부터 영상 데이터를 수신하고, 수신된 영상 데이터에서 재질을 적용하는 대상(예를 들면, 바닥, 벽 및 천장 등)을 추출하여 개연성 맵(Probability Map)을 생성할 수 있다. 그리고 제어부(201)는 수신된 영상 데이터에서 에지를 검출하여 에지 맵(Edge Map)을 생성할 수 있다. 그리고 제어부(201)는 수신된 영상 데이터, 개연성 맵 및 에지 맵을 이용하여 개선된 개연성 맵을 생성할 수 있다. 그리고 제어부(201)는 수신된 영상 데이터, 개선된 개연성 맵 및 데이터베이스(203)에 저장된 재질 데이터들 중에서 사용자에 의해 선택된 재질 데이터를 이용하여 건축물 실사 데이터를 생성할 수 있다. 그리고 제어부(201)는 무선 통신부(205)를 통해 휴대 단말기(105)로 생성된 건축물 실사 데이터를 전송할 수 있다.
이제부터 도 3을 참조하여, 제어부(201)를 자세히 설명하고자 한다.
도 3은 본 발명의 일 실시 예에 따른 제어부(201)의 블록 구성도이다.
도 3을 참조하면, 제어부(201)는 인공 신경망 세그먼테이션부(301)와 재질 원근 적용부(303)를 포함한다.
인공 신경망 세그먼테이션부(301)는 세그먼테이션 모델부(305)와 에지 검출부(307)와 개선 모델부(309)를 포함한다.
각 구성요소를 살펴보면, 세그먼테이션 모델부(305)는 수신된 영상 데이터에서 재질을 적용하는 대상(예를 들면, 바닥, 벽 및 천장 등)을 추출하여 개연성 맵을 생성한다. 그리고 세그먼테이션 모델부(305)는 생성된 개연성 맵을 개선 모델부(309)로 출력한다.
예를 들면, 세그먼테이션 모델부(305)는 제1딥러닝 알고리즘을 이용하여 재질을 적용하는 대상에 대한 샘플 데이터를 학습함으로써 바닥, 벽, 천장 등의 분리를 위한 제1가중치 데이터를 생성할 수 있다. 예를 들면, 제1딥러닝 알고리즘은 신경망 종류로서 HRNet과 C1을 사용할 수 있으나, 이에 한정되지 않을 수 있다. 예를 들면, HRNet과 C1(Encoding과 Decoding)의 조합은 이미지 세그먼테이션의 정확도와 속도 면에서 최적화된 인공 신경망일 수 있다. 예를 들면, 세그먼테이션 모델부(305)는 샘플 데이터 이외에 사용자에 의해 입력된 데이터를 학습하여 제1가중치 데이터를 변경할 수 있다. 그리고 세그먼테이션 모델부(305)는 제1가중치 데이터를 이용하여 영상 데이터에서 재질을 적용하는 대상을 분리하여 개연성 맵을 생성할 수 있다. 예를 들면, 개연성 맵은 0부터 255 사이의 값을 가지는 흑백 이미지이며, 1개의 채널을 가질 수 있다.
에지 검출부(307)는 에지 검출 알고리즘을 이용하여 수신된 영상 데이터에서 에지를 검출하여 에지 맵을 생성하고, 생성된 에지 맵을 개선 모델부(309)로 출력한다. 예를 들면, 에지 검출 알고리즘은 Canny 에지 검출 알고리즘일 수 있다.
개선 모델부(309)는 세그먼테이션 모델부(305)로부터 개연성 맵을 입력받고, 에지 검출부(307)로부터 에지 맵을 입력받는다. 그리고 개선 모델부(309)는 입력된 개연성 맵과 입력된 에지 맵을 이용하여 수신된 영상 데이터에서 재질을 적용하는 대상을 명확하게 분리하여 개선된 개연성 맵을 생성한다. 그리고 개선 모델부(309)는 생성된 개선된 개연성 맵을 재질 원근 적용부(303)로 출력한다.
예를 들면, 개선 모델부(309)는 제2딥러닝 알고리즘을 이용하여 재질을 적용하는 대상에 대한 샘플 데이터를 학습함으로써 바닥, 벽 및 천장 등의 분리를 위한 제2가중치 데이터를 생성할 수 있다. 예를 들면, 제2딥러닝 알고리즘은 신경망 종류로서 UNet을 사용할 수 있으나, 이에 한정되지 않을 수 있다. 예를 들면, UNet은 원본 이미지의 특징이 소실되는 것을 방지할 수 있다. 예를 들면, 개선 모델부(309)는 샘플 데이터 이외에 사용자에 의해 입력된 데이터를 학습하여 제2가중치 데이터를 변경할 수 있다. 그리고 개선 모델부(309)는 제2가중치 데이터와 개연성 맵과 에지 맵을 이용하여 수신된 영상 데이터에서 재질을 적용하는 대상을 명확하게 분리하여 개선된 개연성 맵을 생성할 수 있다. 예를 들면, 개선 모델부(309)는 에지 맵을 이용하여 영상 데이터에 포함된 객체들 사이를 좀 더 명확하게 구분할 수 있다.
재질 원근 적용부(303)는 원근 적용부(311)와 전송부(313)를 포함한다.
각 구성요소를 살펴보면, 원근 적용부(311)는 인공 신경망 세그먼테이션부(301)로부터 개선된 개연성 맵을 입력받는다. 그리고 원근 적용부(311)는 수신된 영상 데이터와 입력된 개선된 개연성 맵과 사용자에 의해 선택된 재질 데이터를 이용하여 건축물을 실사화함으로써 건축물 실사 데이터를 생성한다. 그리고 원근 적용부(311)는 생성된 건축물 실사 데이터를 전송부(313)로 출력한다.
예를 들면, 원근 적용부(311)는 개선된 개연성 맵을 기반으로 영상 데이터에 복수의 수직 소실선들을 형성할 수 있다. 예를 들면, 수직 소실선들 각각은 원근을 적용하기 위해 재질을 적용하는 대상을 구분하는 기준선일 수 있다. 예를 들면, 원근 적용부(311)는 도 4의 401 이미지와 같이, 공간을 구분하는 건축물인 벽들 사이에 복수의 수직 소실선들을 형성할 수 있다. 그리고 원근 적용부(311)는 형성된 수직 소실선들을 기준으로 수신된 영상 데이터를 분할하여 복수의 영상 데이터들을 생성할 수 있다. 예를 들면, 원근 적용부(311)는 도 5의 501 이미지와 같이, 수신된 영상 데이터를 3개로 분할할 수 있다.
그리고 원근 적용부(311)는 복수의 영상 데이터들에 사용자에 의해 선택된 재질 데이터를 적용하여 복수의 건축물 영상 데이터들을 생성할 수 있다. 예를 들면, 원근 적용부(311)는 도 5의 503 이미지와 같이, 영상 데이터들에 재질 데이터를 적용하여 복수의 건축물 영상 데이터들을 생성할 수 있다. 이때, 영상 데이터와 함께 재질 데이터 식별자가 휴대 단말기(105)로부터 수신되면, 원근 적용부(311)는 데이터베이스(203)에 미리 저장된 다수의 재질 데이터들 중에서 수신된 재질 데이터 식별자에 대응하는 재질 데이터를 검출하고, 건축물 영상 데이터에 검출된 재질 데이터를 적용할 수 있다. 예를 들면, 재질 데이터 식별자는 휴대 단말기(105)의 사용자가 원하는 재질을 나타내는 식별자를 나타낼 수 있다.
그리고 원근 적용부(311)는 분할된 영상 데이터들에 수평 소실선을 형성하고, 형성된 수평 소실선을 기준으로 와핑 포인트(Warping Point)를 조사할 수 있다. 예를 들면, 와핑 포인트는 복수의 영상 데이터들에서 왜곡이 발생된 점을 나타낼 수 있다. 그리고 원근 적용부(311)는 조사된 와핑 포인트를 기반으로 분할된 영상 데이터들과 분할된 건축물 영상 데이터들에 원근을 적용할 수 있다. 그리고 원근 적용부(311)는 개선된 개연성 맵을 이용하여 원근이 적용된 영상 데이터들을 합성하여 영상 실사 데이터를 생성할 수 있다. 예를 들면, 원근 적용부(311)는 도 6의 601 이미지와 같이, 원근이 적용된 3개의 영상 데이터들을 합성하여 영상 실사 데이터를 생성할 수 있다. 그리고 원근 적용부(311)는 개선된 개연성 맵을 이용하여 원근이 적용된 건축물 영상 데이터들을 합성하여 건축물 실사 데이터를 생성할 수 있다. 예를 들면, 원근 적용부(311)는 도 6의 603 이미지와 같이, 원근이 적용된 3개의 건축물 영상 데이터들을 합성하여 건축물 실사 데이터를 생성할 수 있다.
이때, 원근 적용부(311)는 다음과 같은 수학식 1을 이용하여 원근이 적용된 영상 데이터들 또는 건축물 영상 데이터들을 합성할 수 있다.
Figure 112020135267314-pat00001
Figure 112020135267314-pat00002
예를 들면, S1은 1차 합성 이미지를 나타내며, S2는 최종 합성 이미지를 나타낼 수 있다. Pm은 개연성 맵을 나타내며, R은 재질 데이터를 나타내고, I는 수신된 영상 데이터를 나타낼 수 있다.
전송부(313)은 원근 적용부(311)로부터 건축물 실사 데이터를 입력받고, 무선 통신부(205)를 통해 입력된 건축물 실사 데이터를 휴대 단말기(105)로 전송한다.
도 7은 본 발명의 일 실시 예에 따른 이미지 서버(101)가 건축물 이미지를 전송하는 흐름도이다.
도 7을 참조하면, 이미지 서버(101)의 제어부(201)는, 701 단계에서, 무선 통신부(205)를 통해 휴대 단말기(105)로부터 영상 데이터와 건축물 재질 식별자를 수신한다. 예를 들면, 휴대 단말기(105)는 영상 애플리케이션을 이용하여 건축물 재질 식별자와 영상 데이터를 이미지 서버(101)로 전송할 수 있다.
703 단계에서, 제어부(201)는 수신된 영상 데이터에서 재질을 적용하는 대상(예를 들면, 바닥, 벽 및 천장 등)을 추출하여 개연성 맵을 생성한다.
예를 들면, 제어부(201)는 제1딥러닝 알고리즘을 이용하여 재질을 적용하는 대상에 대한 샘플 데이터를 학습함으로써 바닥, 벽, 천장 등의 분리를 위한 제1가중치 데이터를 생성할 수 있다. 예를 들면, 제1딥러닝 알고리즘은 신경망 종류로서 HRNet과 C1을 사용할 수 있으나, 이에 한정되지 않을 수 있다. 예를 들면, 제어부(201)는 샘플 데이터 이외에 사용자에 의해 입력된 데이터를 학습하여 제1가중치 데이터를 변경할 수 있다. 그리고 제어부(201)는 제1가중치 데이터를 이용하여 영상 데이터에서 재질을 적용하는 대상을 분리하여 개연성 맵을 생성할 수 있다.
705 단계에서, 제어부(201)는 에지 검출 알고리즘을 이용하여 수신된 영상 데이터에서 에지를 검출하여 에지 맵을 생성한다. 예를 들면, 에지 검출 알고리즘은 Canny 에지 검출 알고리즘일 수 있다.
707 단계에서, 제어부(201)는 개연성 맵과 에지 맵을 이용하여 수신된 영상 데이터에서 재질을 적용하는 대상을 명확하게 분리하여 개선된 개연성 맵을 생성한다.
예를 들면, 제어부(201)는 제2딥러닝 알고리즘을 이용하여 재질을 적용하는 대상에 대한 샘플 데이터를 학습함으로써 바닥, 벽 및 천장 등의 분리를 위한 제2가중치 데이터를 생성할 수 있다. 예를 들면, 제2딥러닝 알고리즘은 신경망 종류로서 UNet을 사용할 수 있으나, 이에 한정되지 않을 수 있다. 예를 들면, 제어부(201)는 샘플 데이터 이외에 사용자에 의해 입력된 데이터를 학습하여 제2가중치 데이터를 변경할 수 있다. 그리고 제어부(201)는 제2가중치 데이터와 개연성 맵과 에지 맵을 이용하여 수신된 영상 데이터에서 재질을 적용하는 대상을 명확하게 분리하여 개선된 개연성 맵을 생성할 수 있다.
709 단계에서, 제어부(201)는 수신된 영상 데이터와 개선된 개연성 맵과 건축물 재질 식별자를 이용하여 건축물을 실사화함으로써 건축물 실사 데이터를 생성한다.
예를 들면, 제어부(201)는 개선된 개연성 맵을 기반으로 영상 데이터에 복수의 수직 소실선들을 형성할 수 있다. 예를 들면, 원근 적용부(311)는 도 4의 401 이미지와 같이, 공간을 구분하는 건축물인 벽들 사이에 복수의 수직 소실선들을 형성할 수 있다. 그리고 제어부(201)는 형성된 수직 소실선들을 기준으로 수신된 영상 데이터를 분할하여 복수의 영상 데이터들을 생성할 수 있다. 예를 들면, 제어부(201)는 도 5의 501 이미지와 같이, 수신된 영상 데이터를 3개로 분할할 수 있다.
그리고 제어부(201)는 데이터베이스(203)에 미리 저장된 다수의 재질 데이터들 중에서 수신된 재질 데이터 식별자에 대응하는 재질 데이터를 검출하고, 복수의 영상 데이터들에 검출된 재질 데이터를 적용하여 복수의 건축물 영상 데이터들을 생성할 수 있다. 예를 들면, 제어부(201)는 도 5의 503 이미지와 같이, 영상 데이터들에 재질 데이터를 적용하여 복수의 건축물 영상 데이터들을 생성할 수 있다.
그리고 제어부(201)는 분할된 영상 데이터들에 수평 소실선을 형성하고, 형성된 수평 소실선을 기준으로 와핑 포인트를 조사할 수 있다. 그리고 제어부(201)는 조사된 와핑 포인트를 기반으로 분할된 영상 데이터들과 분할된 건축물 영상 데이터들에 원근을 적용할 수 있다. 그리고 제어부(201)는 개선된 개연성 맵을 이용하여 원근이 적용된 영상 데이터들을 합성하여 영상 실사 데이터를 생성할 수 있다. 예를 들면, 제어부(201)는 도 6의 601 이미지와 같이, 원근이 적용된 3개의 영상 데이터들을 합성하여 영상 실사 데이터를 생성할 수 있다.
그리고 제어부(201)는 개선된 개연성 맵을 이용하여 원근이 적용된 건축물 영상 데이터들을 합성하여 건축물 실사 데이터를 생성할 수 있다. 예를 들면, 제어부(201)는 도 6의 603 이미지와 같이, 원근이 적용된 3개의 건축물 영상 데이터들을 합성하여 건축물 실사 데이터를 생성할 수 있다. 이때, 제어부(201)는 수학식 1을 이용하여 원근이 적용된 영상 데이터들 또는 건축물 영상 데이터들을 합성할 수 있다.
711 단계에서, 제어부(201)는 무선 통신부(205)를 통해 생성된 건축물 실사 데이터를 휴대 단말기(105)로 전송한다. 예를 들면, 휴대 단말기(105)는 영상 애플리케이션을 이용하여 이미지 서버(101)로부터 건축물 실사 데이터를 수신하고, 수신된 건축물 실사 데이터를 표시할 수 있다.
이러한 과정을 통해, 본 발명의 일 실시 예는 사용자의 하드웨어 환경에 상관없이 일정한 시간에 건축물 이미지를 생성할 수 있다. 그리고 본 발명의 일 실시 예는 저비용 및 짧은 시간에 건축물 이미지를 생성할 수 있다.
이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.
101: 이미지 서버 103: 네트워크
105: 휴대 단말기
201: 제어부 203: 데이터베이스
205: 무선 통신부
301: 인공 신경망 세그먼테이션부 303: 재질 원근 적용부
305: 세크먼테이션 모델부 307: 에지 검출부
309: 개선 모델부 311: 원근 적용부
313: 전송부

Claims (10)

  1. 무선 통신부;
    다수의 재질 데이터들을 저장하는 데이터베이스; 및
    상기 무선 통신부를 통해 휴대 단말기로부터 영상 데이터 및 건축물 재질 식별자를 수신하며, 미리 지정된 제1가중치 데이터를 이용하여 상기 영상 데이터에서 재질을 적용하는 대상을 분리하여 개연성 맵을 생성하고, 상기 영상 데이터에서 에지를 검출하여 에지 맵을 생성하며, 상기 개연성 맵과 상기 에지 맵과 미리 지정된 제2가중치 데이터를 이용하여 상기 영상 데이터에서 상기 재질을 적용하는 대상을 명확하게 분리하여 개선된 개연성 맵을 생성하고, 상기 재질 데이터들과 상기 개선된 개연성 맵과 상기 건축물 재질 식별자를 이용하여 상기 영상 데이터에 상기 휴대 단말기의 사용자가 원하는 재질과 원근을 적용하여 건축물 실사 데이터를 생성하며, 상기 무선 통신부를 통해 상기 건축물 실사 데이터를 상기 휴대 단말기로 전송하는 제어부를 포함하며,
    상기 제어부는, 상기 개선된 개연성 맵을 기반으로 상기 영상 데이터에 복수의 수직 소실선들을 형성하며, 상기 수직 소실선들에 따라 상기 영상 데이터를 분할하고, 상기 재질 데이터들 중에서 상기 건축물 재질 식별자에 대응하는 재질 데이터를 선택하며, 상기 분할된 영상 데이터들에 상기 재질 데이터를 적용하고, 상기 재질이 적용된 영상 데이터들 각각에 수평 소실선을 형성하며, 상기 수평 소실선을 기준으로 적어도 하나의 와핑 포인트를 결정하고, 상기 와핑 포인트를 기반으로 상기 재질이 적용된 영상 데이터들에 원근을 적용하며, 상기 개선된 개연성 맵을 기반으로 상기 원근이 적용된 영상 데이터들을 합성하여 상기 건축물 실사 데이터를 생성하는 것을 특징으로 하는 건축물 이미지를 생성하는 장치.
  2. 제1항에 있어서,
    상기 제1가중치 데이터는, 제1딥러닝 알고리즘을 이용하여 재질을 적용하는 대상에 대한 샘플 데이터를 학습하여 생성되는 것을 특징으로 하는 건축물 이미지를 생성하는 장치.
  3. 제1항에 있어서,
    상기 제2가중치 데이터는, 제2딥러닝 알고리즘을 이용하여 재질을 적용하는 대상에 대한 샘플 데이터를 학습하여 생성되는 것을 특징으로 하는 건축물 이미지를 생성하는 장치.
  4. 삭제
  5. 제1항에 있어서,
    상기 영상 데이터는, 사진 또는 동영상 데이터인 것을 특징으로 하는 건축물 이미지를 생성하는 장치.
  6. 제어부가, 무선 통신부를 통해 휴대 단말기로부터 영상 데이터 및 건축물 재질 식별자를 수신하는 과정;
    상기 제어부가, 미리 지정된 제1가중치 데이터를 이용하여 상기 영상 데이터에서 재질을 적용하는 대상을 분리하여 개연성 맵을 생성하는 과정;
    상기 제어부가, 상기 영상 데이터에서 에지를 검출하여 에지 맵을 생성하는 과정;
    상기 제어부가, 상기 개연성 맵과 상기 에지 맵과 미리 지정된 제2가중치 데이터를 이용하여 상기 영상 데이터에서 상기 재질을 적용하는 대상을 명확하게 분리하여 개선된 개연성 맵을 생성하는 과정;
    상기 제어부가, 다수의 재질 데이터들과 상기 개선된 개연성 맵과 상기 건축물 재질 식별자를 이용하여 상기 영상 데이터에 상기 휴대 단말기의 사용자가 원하는 재질과 원근을 적용하여 건축물 실사 데이터를 생성하는 과정; 및
    상기 제어부가, 상기 무선 통신부를 통해 상기 건축물 실사 데이터를 상기 휴대 단말기로 전송하는 과정을 포함하며,
    상기 건축물 실사 데이터를 생성하는 과정은,
    상기 개선된 개연성 맵을 기반으로 상기 영상 데이터에 복수의 수직 소실선들을 형성하고, 상기 수직 소실선들에 따라 상기 영상 데이터를 분할하는 과정;
    상기 재질 데이터들 중에서 상기 건축물 재질 식별자에 대응하는 재질 데이터를 선택하고, 상기 분할된 영상 데이터들에 상기 재질 데이터를 적용하는 과정;
    상기 재질이 적용된 영상 데이터들 각각에 수평 소실선을 형성하며, 상기 수평 소실선을 기준으로 적어도 하나의 와핑 포인트를 결정하고, 상기 와핑 포인트를 기반으로 상기 재질이 적용된 영상 데이터들에 원근을 적용하는 과정; 및
    상기 개선된 개연성 맵을 기반으로 상기 원근이 적용된 영상 데이터들을 합성하여 상기 건축물 실사 데이터를 생성하는 과정을 포함하는 것을 특징으로 하는 건축물 이미지를 생성하는 방법.
  7. 제6항에 있어서,
    상기 제1가중치 데이터는, 제1딥러닝 알고리즘을 이용하여 재질을 적용하는 대상에 대한 샘플 데이터를 학습하여 생성되는 것을 특징으로 하는 건축물 이미지를 생성하는 방법.
  8. 제6항에 있어서,
    상기 제2가중치 데이터는, 제2딥러닝 알고리즘을 이용하여 재질을 적용하는 대상에 대한 샘플 데이터를 학습하여 생성되는 것을 특징으로 하는 건축물 이미지를 생성하는 방법.
  9. 삭제
  10. 제6항에 있어서,
    상기 영상 데이터는, 사진 또는 동영상 데이터인 것을 특징으로 하는 건축물 이미지를 생성하는 방법.
KR1020200174169A 2020-12-14 2020-12-14 건축물 이미지를 생성하는 장치 및 방법 KR102224691B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200174169A KR102224691B1 (ko) 2020-12-14 2020-12-14 건축물 이미지를 생성하는 장치 및 방법
PCT/KR2021/018884 WO2022131720A1 (ko) 2020-12-14 2021-12-13 건축물 이미지를 생성하는 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200174169A KR102224691B1 (ko) 2020-12-14 2020-12-14 건축물 이미지를 생성하는 장치 및 방법

Publications (1)

Publication Number Publication Date
KR102224691B1 true KR102224691B1 (ko) 2021-03-09

Family

ID=75179716

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200174169A KR102224691B1 (ko) 2020-12-14 2020-12-14 건축물 이미지를 생성하는 장치 및 방법

Country Status (2)

Country Link
KR (1) KR102224691B1 (ko)
WO (1) WO2022131720A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022131720A1 (ko) * 2020-12-14 2022-06-23 딥빌드 주식회사 건축물 이미지를 생성하는 장치 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190065933A (ko) * 2017-12-04 2019-06-12 주식회사 양파 공간 인식에 기반한 인테리어 플랫폼 제공 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102224691B1 (ko) * 2020-12-14 2021-03-09 한상국 건축물 이미지를 생성하는 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190065933A (ko) * 2017-12-04 2019-06-12 주식회사 양파 공간 인식에 기반한 인테리어 플랫폼 제공 방법

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Cheng et al. Fusionnet: Edge aware deep convolutional networks for semantic segmentation of remote sensing harbor images. IEEE J-STARS, 2017년 12월, pp. 5769-5783. *
Kaptan. Image segmentation and texture mapping on pillows using fully convolutional neural networks. Bahcesehir University master’s thesis, 2018년 1월, pp. 1-53. *
Sultana et al. Deep Matting for AR Based Interior Design. Springer IW-FCV. 2020년 2월, pp. 31-42. *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022131720A1 (ko) * 2020-12-14 2022-06-23 딥빌드 주식회사 건축물 이미지를 생성하는 장치 및 방법

Also Published As

Publication number Publication date
WO2022131720A1 (ko) 2022-06-23

Similar Documents

Publication Publication Date Title
US11978245B2 (en) Method and apparatus for generating image
US10726304B2 (en) Refining synthetic data with a generative adversarial network using auxiliary inputs
CN107609506B (zh) 用于生成图像的方法和装置
CN111476871B (zh) 用于生成视频的方法和装置
US10417529B2 (en) Learning combinations of homogenous feature arrangements
CN111654746B (zh) 视频的插帧方法、装置、电子设备和存储介质
US20090257730A1 (en) Video server, video client device and video processing method thereof
US11908241B2 (en) Method for correction of the eyes image using machine learning and method for machine learning
CN110490959B (zh) 三维图像处理方法及装置、虚拟形象生成方法以及电子设备
CN110059623B (zh) 用于生成信息的方法和装置
CN113015978B (zh) 处理图像以定位新颖对象
CN108597034B (zh) 用于生成信息的方法和装置
WO2020190547A1 (en) Intelligent video presentation system
KR102224691B1 (ko) 건축물 이미지를 생성하는 장치 및 방법
CN115205925A (zh) 表情系数确定方法、装置、电子设备及存储介质
CN116194951A (zh) 用于基于立体视觉的3d对象检测与分割的方法和装置
CN107622241A (zh) 用于移动设备的显示方法和装置
CN111369690B (zh) 积木模型的生成方法、装置、终端和计算机可读存储介质
CN114520924A (zh) 弹幕展示方法及装置
CN112087590A (zh) 图像处理方法、装置、系统及计算机存储介质
CN110415318B (zh) 图像处理方法和装置
CN114299271A (zh) 三维建模方法、三维建模装置、电子设备和可读存储介质
JP2007280032A (ja) 画像処理装置および方法、プログラム
JP6892557B2 (ja) 学習装置、画像生成装置、学習方法、画像生成方法及びプログラム
US20230154214A1 (en) Method and Arrangement for the digital Capture of Spaces in a Building

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant