WO2022131720A1 - 건축물 이미지를 생성하는 장치 및 방법 - Google Patents

건축물 이미지를 생성하는 장치 및 방법 Download PDF

Info

Publication number
WO2022131720A1
WO2022131720A1 PCT/KR2021/018884 KR2021018884W WO2022131720A1 WO 2022131720 A1 WO2022131720 A1 WO 2022131720A1 KR 2021018884 W KR2021018884 W KR 2021018884W WO 2022131720 A1 WO2022131720 A1 WO 2022131720A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
building
image data
image
generating
Prior art date
Application number
PCT/KR2021/018884
Other languages
English (en)
French (fr)
Inventor
한상국
Original Assignee
딥빌드 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 딥빌드 주식회사 filed Critical 딥빌드 주식회사
Publication of WO2022131720A1 publication Critical patent/WO2022131720A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G06T3/18—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Definitions

  • the present invention relates to generating images, and more particularly, to apparatus and methods for generating images of buildings.
  • the first method is a method of generating a building image by implementing 3D modeling of a building using a 3D program (eg, Sketchup or 3Dmax, etc.).
  • the second method is a method of generating an image of a building by injecting multiple lasers into an actual building.
  • the first method has a problem in that the user has to implement 3D modeling by himself, and since the GPU (Graphics Processing Unit) is used for 3D modeling, the time for realizing a building according to each user's hardware environment is large. there was And since the second method injects multiple lasers into the building, the cost of generating the building map is expensive, and the laser scan time and reconstruction time are very long.
  • the GPU Graphics Processing Unit
  • An embodiment of the present invention provides an apparatus and method for generating a building image at a predetermined time regardless of a user's hardware environment.
  • an embodiment of the present invention provides an apparatus and method for generating an image of a building at low cost and in a short time.
  • an apparatus for generating an image of a building includes: a wireless communication unit; a database for storing a plurality of material data; and receiving the image data and the building material identifier from the mobile terminal through the wireless communication unit, and generating a probability map by separating the object to which the material is applied from the image data using the first predetermined weight data, and from the image data
  • An edge map is generated by detecting an edge
  • an improved probability map is generated by clearly separating an object to which the material is applied from the image data using the probability map, the edge map, and the second weight data specified in advance
  • a method for generating an image of a building includes: receiving, by a control unit, image data and a building material identifier from a mobile terminal through a wireless communication unit; generating, by the controller, a probability map by separating an object to which a material is to be applied from the image data by using predetermined first weight data; generating, by the controller, an edge map by detecting an edge in the image data; generating, by the controller, an improved probability map by clearly separating an object to which the material is applied from the image data using the probability map, the edge map, and preset second weight data; generating, by the controller, the material data, the improved probability map, and the building material identifier by applying the material and perspective desired by the user of the mobile terminal to the image data using the material data, the improved probability map, and the building material identifier; and transmitting, by the control unit, the building due diligence data to the portable terminal through the wireless communication unit.
  • An embodiment of the present invention may generate a building image at a predetermined time regardless of the user's hardware environment.
  • an embodiment of the present invention can generate an image of a building at low cost and in a short time.
  • FIG. 1 is a block diagram of an image generating system according to an embodiment of the present invention.
  • FIG. 2 is a block diagram of an image server according to an embodiment of the present invention.
  • FIG. 3 is a block diagram of a control unit according to an embodiment of the present invention.
  • FIG. 4 is a diagram in which a control unit forms a vertical vanishing line in image data according to an embodiment of the present invention.
  • FIG. 5 is a diagram in which a controller divides image data along a vertical vanishing line according to an embodiment of the present invention.
  • FIG. 6 is a diagram in which a controller applies perspective to image data according to an embodiment of the present invention.
  • FIG. 7 is a flowchart illustrating an image server transmitting an image of a building according to an embodiment of the present invention.
  • Embodiments of the present invention can apply various transformations and can have various embodiments, and specific embodiments are illustrated in the drawings and described in detail in the detailed description. However, this is not intended to limit the scope of the specific embodiments, and it should be understood to include all transformations, equivalents, and substitutes included in the spirit and scope of the invention. In describing the embodiments, if it is determined that a detailed description of a related known technology may obscure the subject matter, the detailed description thereof will be omitted.
  • a 'module' or 'unit' performs at least one function or operation, and may be implemented as hardware or software, or a combination of hardware and software.
  • a plurality of 'modules' or a plurality of 'units' are integrated into at least one module and implemented with at least one processor (not shown) except for 'modules' or 'units' that need to be implemented with specific hardware.
  • a part when a part is “connected” with another part, it is not only “directly connected” but also “electrically connected” with another element interposed therebetween. also includes In addition, when a part "includes” a certain component, this means that other components may be further included rather than excluding other components unless otherwise stated.
  • the portable terminal may be any device, and the portable terminal may be referred to as a portable terminal, a mobile terminal, a communication terminal, a portable communication terminal, a portable mobile terminal, or the like.
  • the portable terminal may be a smart phone, a mobile phone, a TV, a display device, a head unit for a vehicle, a notebook computer, a laptop computer, a tablet computer, a personal media player (PMP), a personal digital assistant (PDA), or the like.
  • the portable terminal may be implemented as a pocket-sized portable communication terminal having a wireless communication function.
  • the portable terminal may be a flexible device or a flexible display device.
  • An embodiment of the present invention recognizes and classifies the main internal and external spaces and structures of a building from image data using an artificial intelligence algorithm for object recognition and transformation, and after applying the interior and exterior materials of the building selected by the user to the image data, get angry
  • FIG. 1 is a block diagram of an image generating system according to an embodiment of the present invention.
  • the image generating system includes an image server 101 , a network 103 , and a portable terminal 105 .
  • the network 103 connects between the image server 101 and the mobile terminal 105, and may be an Internet network, a wired communication network, a mobile communication network, a broadcasting network, or a broadband convergence network.
  • the mobile communication network may be an information communication network installed so that information can be exchanged while moving using a portable terminal.
  • the mobile communication network may be a 3G, 4G, or 5G mobile communication network or a mobile communication network integrating them.
  • the broadband network may be an integrated network in which an Internet network, a wired communication network, a mobile communication network, a broadcasting network, and the like are integrated into one.
  • the broadband network without installing a new network, the existing mixed optical coaxial network or high-speed Internet network is used as it is, while switching devices, transmission devices, and terminal devices are upgraded so that broadband network subscribers can access the Internet, communication, and broadcasting networks at 100 Mbps. It is possible to receive a converged service.
  • the mobile terminal 105 transmits image data to the image server 101 using an image application.
  • the image application may be an application for transmitting image data (eg, photo or video) generated through the camera of the mobile terminal 105 or image data received from an external device to the image server 101 .
  • the image data may include an image of a building.
  • the mobile terminal 105 receives the actual building data obtained by realizing the building from the image server 101 using the image application.
  • the image server 101 receives image data from the mobile terminal 105 using an image application, and includes the main internal/external space and Recognize and classify structural parts. And the image server 101 generates actual building data by realizing the main internal/external spaces and structural parts of the building based on the learning data and the interior and exterior materials of the building selected by the user. And the image server 101 transmits the generated building actual data to the mobile terminal 105 using the image application.
  • an embodiment of the present invention may generate an image of a building at a predetermined time regardless of a user's hardware environment.
  • an embodiment of the present invention can generate an image of a building at low cost and in a short time.
  • FIG. 2 is a block diagram of an image server 101 according to an embodiment of the present invention.
  • the image server 101 includes a control unit 201 , a database 203 , and a wireless communication unit 205 .
  • the database 203 stores data and programs for performing various functions provided by the image server 101 , and may include a computer-readable recording medium.
  • the recording medium may include a flash memory, a magnetic recording medium, an optical recording medium, a carrier wave medium, and the like.
  • the database 203 may store a plurality of material data representing various materials for interior and exterior materials of a building.
  • the database 203 may store a plurality of image data including a plurality of materials and shapes of a plurality of products, and a plurality of prices and manufacturer information.
  • the wireless communication unit 205 may receive data from an external device and transmit data to the external device.
  • the wireless communication unit 205 may receive image data from the portable terminal 105 .
  • the wireless communication unit 205 may transmit the building inspection data to the portable terminal 105 .
  • the controller 201 may control the overall operation of the image server 101 using various programs stored in the database 205 .
  • the control unit 201 receives image data from the mobile terminal 105 through the wireless communication unit 205 , and applies a material from the received image data to a target (eg, floor, wall, and ceiling). can be extracted to generate a probability map.
  • the controller 201 may generate an edge map by detecting an edge in the received image data.
  • the controller 201 may generate an improved probability map by using the received image data, the probability map, and the edge map.
  • the control unit 201 may generate the actual building data by using the material data selected by the user from among the received image data, the improved probability map, and the material data stored in the database 203 .
  • the control unit 201 may transmit the generated building survey data to the mobile terminal 105 through the wireless communication unit 205 .
  • control unit 201 will be described in detail.
  • control unit 201 is a block diagram of the control unit 201 according to an embodiment of the present invention.
  • control unit 201 includes an artificial neural network segmentation unit 301 and a material perspective application unit 303 .
  • the artificial neural network segmentation unit 301 includes a segmentation model unit 305 , an edge detection unit 307 , and an enhancement model unit 309 .
  • the segmentation model unit 305 generates a probability map by extracting a material to which a material is applied (eg, a floor, a wall, a ceiling, etc.) from the received image data. Then, the segmentation model unit 305 outputs the generated probability map to the improvement model unit 309 .
  • a material to which a material is applied eg, a floor, a wall, a ceiling, etc.
  • the segmentation model unit 305 may generate first weight data for separation of floors, walls, ceilings, etc. by learning sample data for an object to which a material is applied using the first deep learning algorithm.
  • the first deep learning algorithm may use HRNet and C1 as types of neural networks, but may not be limited thereto.
  • the combination of HRNet and C1 (encoding and decoding) can be an artificial neural network optimized in terms of image segmentation accuracy and speed.
  • the segmentation model unit 305 may change the first weight data by learning data input by the user in addition to the sample data.
  • the segmentation model unit 305 may generate a probability map by separating an object to which a material is applied from image data using the first weight data.
  • the probability map is a black-and-white image having a value between 0 and 255, and may have one channel.
  • the edge detection unit 307 generates an edge map by detecting an edge in the received image data using an edge detection algorithm, and outputs the generated edge map to the enhancement model unit 309 .
  • the edge detection algorithm may be a Canny edge detection algorithm.
  • the improved model unit 309 receives a probability map from the segmentation model unit 305 and an edge map from the edge detection unit 307 .
  • the improvement model unit 309 generates an improved probability map by clearly separating an object to which a material is applied from the received image data using the input probability map and the input edge map. Then, the improvement model unit 309 outputs the generated improved probability map to the material perspective application unit 303 .
  • the improvement model unit 309 may generate second weight data for separation of floors, walls, and ceilings by learning sample data for an object to which a material is applied using the second deep learning algorithm.
  • the second deep learning algorithm may use UNet as a type of neural network, but may not be limited thereto.
  • UNet can prevent loss of features of the original image.
  • the improvement model unit 309 may change the second weight data by learning data input by the user in addition to the sample data.
  • the improvement model unit 309 may generate an improved probability map by clearly separating an object to which a material is applied from the received image data using the second weight data, the probability map, and the edge map.
  • the enhancement model unit 309 may more clearly distinguish between objects included in the image data by using the edge map.
  • the material perspective application unit 303 includes a perspective application unit 311 and a transmission unit 313 .
  • the perspective application unit 311 receives an improved probability map from the artificial neural network segmentation unit 301 .
  • the perspective application unit 311 generates actual building data by realizing the building using the received image data, the input improved probability map, and the material data selected by the user.
  • the perspective application unit 311 outputs the generated building due diligence data to the transmission unit 313 .
  • the perspective applicator 311 may form a plurality of vertical vanishing lines in the image data based on the improved probability map.
  • each of the vertical vanishing lines may be a reference line for dividing an object to which a material is applied in order to apply perspective.
  • the perspective application unit 311 may form a plurality of vertical vanishing lines between walls that are buildings that divide spaces.
  • the perspective application unit 311 may generate a plurality of image data by dividing the received image data based on the formed vertical vanishing lines. For example, the perspective application unit 311 may divide the received image data into three, as in the 501 image of FIG. 5 .
  • the perspective application unit 311 may generate a plurality of building image data by applying the material data selected by the user to the plurality of image data.
  • the perspective application unit 311 may generate a plurality of building image data by applying material data to the image data as in the image 503 of FIG. 5 .
  • the perspective application unit 311 selects the material data corresponding to the received material data identifier from among a plurality of material data previously stored in the database 203 . It is possible to detect and apply the detected material data to the building image data.
  • the material data identifier may indicate an identifier indicating a material desired by the user of the portable terminal 105 .
  • the perspective application unit 311 may form a horizontal vanishing line on the divided image data, and may irradiate a warping point based on the formed horizontal vanishing line.
  • the warping point may indicate a point at which distortion occurs in a plurality of image data.
  • the perspective application unit 311 may apply the perspective to the divided image data and the divided building image data based on the irradiated warping point.
  • the perspective application unit 311 may generate image data by synthesizing the image data to which the perspective is applied using the improved probability map. For example, the perspective application unit 311 may generate actual image data by synthesizing three image data to which perspective is applied, as in the 601 image of FIG. 6 .
  • the perspective application unit 311 may synthesize the building image data to which the perspective is applied using the improved probability map to generate the actual building data.
  • the perspective application unit 311 may generate actual building data by synthesizing three building image data to which perspective is applied, as in the 603 image of FIG. 6 .
  • the perspective application unit 311 may synthesize the image data to which the perspective is applied or the building image data by using Equation 1 as follows.
  • S 1 may represent the first composite image
  • S 2 may represent the final composite image
  • P m may represent a probability map
  • R may represent material data
  • I may represent received image data.
  • the transmission unit 313 receives the building due diligence data from the perspective application unit 311 , and transmits the building inspection data input through the wireless communication unit 205 to the portable terminal 105 .
  • FIG. 7 is a flowchart illustrating that the image server 101 transmits a building image according to an embodiment of the present invention.
  • the control unit 201 of the image server 101 receives image data and a building material identifier from the mobile terminal 105 through the wireless communication unit 205 .
  • the mobile terminal 105 may transmit the building material identifier and image data to the image server 101 using an image application.
  • step 703 the controller 201 generates a probability map by extracting an object to which a material is applied (eg, a floor, a wall, a ceiling, etc.) from the received image data.
  • a material e.g., a floor, a wall, a ceiling, etc.
  • the control unit 201 may generate first weight data for separation of a floor, a wall, a ceiling, etc. by learning sample data for an object to which a material is applied using the first deep learning algorithm.
  • the first deep learning algorithm may use HRNet and C1 as types of neural networks, but may not be limited thereto.
  • the controller 201 may change the first weight data by learning data input by the user in addition to the sample data.
  • the controller 201 may generate a probability map by separating an object to which a material is applied from the image data using the first weight data.
  • the controller 201 In operation 705, the controller 201 generates an edge map by detecting an edge in the received image data using an edge detection algorithm.
  • the edge detection algorithm may be a Canny edge detection algorithm.
  • the controller 201 In operation 707 , the controller 201 generates an improved probability map by clearly separating an object to which a material is applied from the received image data using the probability map and the edge map.
  • the controller 201 may generate second weight data for separation of floors, walls, and ceilings by learning sample data for an object to which a material is applied using the second deep learning algorithm.
  • the second deep learning algorithm may use UNet as a type of neural network, but may not be limited thereto.
  • the controller 201 may change the second weight data by learning data input by the user in addition to the sample data.
  • the control unit 201 may generate an improved probability map by clearly separating an object to which a material is applied from the received image data using the second weight data, the probability map, and the edge map.
  • step 709 the control unit 201 generates the actual building data by realizing the building using the received image data, the improved probability map, and the building material identifier.
  • the controller 201 may form a plurality of vertical vanishing lines in the image data based on the improved probability map. For example, as in the 401 image of FIG. 4 , the perspective application unit 311 may form a plurality of vertical vanishing lines between walls that are buildings that divide spaces. In addition, the controller 201 may generate a plurality of image data by dividing the received image data based on the formed vertical vanishing lines. For example, the controller 201 may divide the received image data into three, as in the 501 image of FIG. 5 .
  • the controller 201 detects material data corresponding to the received material data identifier from among a plurality of material data previously stored in the database 203, and applies the detected material data to the plurality of image data to obtain a plurality of building images.
  • data can be created.
  • the controller 201 may generate a plurality of building image data by applying material data to the image data, as in the image 503 of FIG. 5 .
  • the controller 201 may form a horizontal vanishing line in the divided image data, and irradiate a warping point based on the formed horizontal vanishing line.
  • the controller 201 may apply perspective to the divided image data and the divided building image data based on the investigated warping point.
  • the control unit 201 may generate image data by synthesizing the image data to which the perspective is applied using the improved probability map. For example, the controller 201 may generate image data by synthesizing three image data to which perspective is applied, as in the 601 image of FIG. 6 .
  • the controller 201 may synthesize the building image data to which the perspective is applied by using the improved probability map to generate the actual building data.
  • the controller 201 may generate actual building data by synthesizing three building image data to which perspective is applied, as in the 603 image of FIG. 6 .
  • the control unit 201 may synthesize image data to which perspective is applied or image data of a building by using Equation (1).
  • the control unit 201 transmits the building due diligence data generated through the wireless communication unit 205 to the portable terminal 105 .
  • the mobile terminal 105 may receive the building due diligence data from the image server 101 using the image application, and display the received building due diligence data.
  • an embodiment of the present invention may generate a building image at a predetermined time regardless of the user's hardware environment.
  • an embodiment of the present invention can generate an image of a building at low cost and in a short time.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Computer Graphics (AREA)
  • Human Resources & Organizations (AREA)
  • Architecture (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명의 일 실시 예에 따른, 건축물 이미지를 생성하는 장치 및 방법은, 무선 통신부; 다수의 재질 데이터들을 저장하는 데이터베이스; 및 상기 무선 통신부를 통해 휴대 단말기로부터 영상 데이터 및 건축물 재질 식별자를 수신하며, 미리 지정된 제1가중치 데이터를 이용하여 상기 영상 데이터에서 재질을 적용하는 대상을 분리하여 개연성 맵을 생성하고, 상기 영상 데이터에서 에지를 검출하여 에지 맵을 생성하며, 상기 개연성 맵과 상기 에지 맵과 미리 지정된 제2가중치 데이터를 이용하여 상기 영상 데이터에서 상기 재질을 적용하는 대상을 명확하게 분리하여 개선된 개연성 맵을 생성하고, 상기 재질 데이터들과 상기 개선된 개연성 맵과 상기 건축물 재질 식별자를 이용하여 상기 영상 데이터에 상기 휴대 단말기의 사용자가 원하는 재질과 원근을 적용하여 건축물 실사 데이터를 생성하며, 상기 무선 통신부를 통해 상기 건축물 실사 데이터를 상기 휴대 단말기로 전송하는 제어부를 포함한다.

Description

건축물 이미지를 생성하는 장치 및 방법
본 발명은 이미지를 생성하는 것에 관한 것으로, 특히, 건축물 이미지를 생성하는 장치 및 방법에 관한 것이다.
삶의 질을 중요시하는 가치가 현 세대에 급부상함에 따라 사람이 일하거나 휴식을 취하는 공간(예를 들면, 주거 공간 또는 상업 공간)에 대한 인테리어(interior)의 관심이 높아지고 있다.
이러한 관심을 충족하기 위해, 사용자가 원하는 건축물의 이미지를 가상으로 생성하여 표시하는 기술이 출현하게 되었다.
한편, 건축물의 이미지를 생성하는 기술에는 두 가지 방식이 존재한다. 첫 번째 방식은 3차원 프로그램(예를 들면, Sketchup 또는 3Dmax 등)을 이용하여 건축물에 대한 3차원 모델링을 구현하여 건축물 이미지를 생성하는 방식이다. 두 번째 방식은 실제 건축물에 다중 레이저를 주사하여 건축물 이미지를 생성하는 방식이다.
그러나 첫 번째 방식은 사용자가 직접 3차원 모델링을 구현해야 하는 문제점과 3차원 모델링에 GPU(Graphics Processing Unit)를 사용하기 때문에 각 사용자의 하드웨어 환경에 따라 건축물을 실사화하기 위한 시간의 편차가 크다는 문제점이 있었다. 그리고 두 번째 방식은 건축물에 다중 레이저를 주사하기 때문에 건축물 이지를 생성하는 비용이 비쌀 뿐만 아니라 레이저 주사 시간과 재구성 시간이 매우 길다는 문제점이 있었다.
따라서, 이러한 문제점을 해결하기 위한 방안의 필요성이 대두하였다.
본 발명의 일 실시 예는 사용자의 하드웨어 환경에 상관없이 일정한 시간에 건축물 이미지를 생성하는 장치 및 방법을 제공한다.
그리고 본 발명의 일 실시 예는 저비용 및 짧은 시간에 건축물 이미지를 생성하는 장치 및 방법을 제공한다.
본 발명의 일 실시 예에 따른, 건축물 이미지를 생성하는 장치는, 무선 통신부; 다수의 재질 데이터들을 저장하는 데이터베이스; 및 상기 무선 통신부를 통해 휴대 단말기로부터 영상 데이터 및 건축물 재질 식별자를 수신하며, 미리 지정된 제1가중치 데이터를 이용하여 상기 영상 데이터에서 재질을 적용하는 대상을 분리하여 개연성 맵을 생성하고, 상기 영상 데이터에서 에지를 검출하여 에지 맵을 생성하며, 상기 개연성 맵과 상기 에지 맵과 미리 지정된 제2가중치 데이터를 이용하여 상기 영상 데이터에서 상기 재질을 적용하는 대상을 명확하게 분리하여 개선된 개연성 맵을 생성하고, 상기 재질 데이터들과 상기 개선된 개연성 맵과 상기 건축물 재질 식별자를 이용하여 상기 영상 데이터에 상기 휴대 단말기의 사용자가 원하는 재질과 원근을 적용하여 건축물 실사 데이터를 생성하며, 상기 무선 통신부를 통해 상기 건축물 실사 데이터를 상기 휴대 단말기로 전송하는 제어부를 포함한다.
본 발명의 일 실시 예에 따른, 건축물 이미지를 생성하는 방법은, 제어부가, 무선 통신부를 통해 휴대 단말기로부터 영상 데이터 및 건축물 재질 식별자를 수신하는 과정; 상기 제어부가, 미리 지정된 제1가중치 데이터를 이용하여 상기 영상 데이터에서 재질을 적용하는 대상을 분리하여 개연성 맵을 생성하는 과정; 상기 제어부가, 상기 영상 데이터에서 에지를 검출하여 에지 맵을 생성하는 과정; 상기 제어부가, 상기 개연성 맵과 상기 에지 맵과 미리 지정된 제2가중치 데이터를 이용하여 상기 영상 데이터에서 상기 재질을 적용하는 대상을 명확하게 분리하여 개선된 개연성 맵을 생성하는 과정; 상기 제어부가, 상기 재질 데이터들과 상기 개선된 개연성 맵과 상기 건축물 재질 식별자를 이용하여 상기 영상 데이터에 상기 휴대 단말기의 사용자가 원하는 재질과 원근을 적용하여 건축물 실사 데이터를 생성하는 과정; 및 상기 제어부가, 상기 무선 통신부를 통해 상기 건축물 실사 데이터를 상기 휴대 단말기로 전송하는 과정을 포함한다.
본 발명의 일 실시 예는 사용자의 하드웨어 환경에 상관없이 일정한 시간에 건축물 이미지를 생성할 수 있다.
그리고 본 발명의 일 실시 예는 저비용 및 짧은 시간에 건축물 이미지를 생성할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 이미지 생성 시스템의 블록 구성도이다.
도 2는 본 발명의 일 실시 예에 따른 이미지 서버의 블록 구성도이다.
도 3은 본 발명의 일 실시 예에 따른 제어부의 블록 구성도이다.
도 4는 본 발명의 일 실시 예에 따른 제어부가 영상 데이터에 수직 소실선을 형성한 도면이다.
도 5는 본 발명의 일 실시 예에 따른 제어부가 수직 소실선에 따라 영상 데이터를 분할한 도면이다.
도 6은 본 발명의 일 실시 예에 따른 제어부가 영상 데이터에 원근을 적용한 도면이다.
도 7은 본 발명의 일 실시 예에 따른 이미지 서버가 건축물 이미지를 전송하는 흐름도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명의 실시 예에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당하는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 발명의 실시 예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 발명된 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 실시 예들을 설명함에서 관련된 공지 기술에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명의 실시 예에서 '모듈' 혹은 '부'는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 '모듈' 혹은 복수 의'부'는 특정한 하드웨어로 구현될 필요가 있는 '모듈' 혹은 '부'를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
본 발명의 실시 예에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시 예에 대하여 본 발명가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 발명의 실시 예에서 휴대 단말기는 임의의 장치일 수 있으며, 휴대 단말기는 휴대 단말기, 이동 단말기, 통신 단말기, 휴대용 통신 단말기, 휴대용 이동 단말기 등으로 칭할 수 있다.
예를 들어, 휴대 단말기는 스마트폰, 휴대폰, TV, 디스플레이 장치, 차량용 헤드 유닛, 노트북 컴퓨터, 랩톱 컴퓨터, 태블릿(Tablet) 컴퓨터, PMP(Personal Media Player), PDA(Personal Digital Assistants) 등 일수 있다. 휴대 단말기는 무선 통신 기능을 갖는 포켓 사이즈의 휴대용 통신 단말로서 구현될 수 있다. 또한, 휴대 단말기는 플렉서블 장치 또는 플렉서블 디스플레이 장치일 수 있다.
본 발명의 일 실시 예는, 객체 인식 및 변환에 대한 인공지능 알고리즘을 이용하여 영상 데이터에서 건축물의 주요 내외부 공간과 구조를 인식하여 분류하며, 영상 데이터에 사용자에 의해 선택된 건축물 내외장재를 적용한 후, 실사화한다.
도 1은 본 발명의 일 실시 예에 따른 이미지 생성 시스템의 블록 구성도이다.
도 1을 참조하면, 이미지 생성 시스템은 이미지 서버(101)와 네트워크(103)와 휴대 단말기(105)를 포함한다.
각 구성요소를 살펴보면, 네트워크(103)는 이미지 서버(101)와 휴대 단말기(105) 사이를 연결하며, 인터넷망, 유선통신망, 이동통신망, 방송망 또는 광대역 망(Broadband Convergence Network)이 될 수 있다. 예를 들면, 이동통신망은 휴대용 단말기를 이용하여 이동하면서 정보를 교환할 수 있도록 설치한 정보 통신망일 수 있다. 예를 들면, 이동통신망은 3세대, 4세대 또는 5세대 이동통신망이나 이들을 통합한 이동통신망일 수 있다.
예를 들면, 광대역 망은 인터넷망, 유선통신망, 이동통신망, 방송망 등을 하나로 통합한 통합 네트워크일 수 있다. 예를 들면, 광대역 망은 새로운 네트워크를 설치하지 않고 기존 광동축 혼합 망이나 초고속 인터넷망을 그대로 이용하면서 교환 장치나 전송 장치, 단말 장치를 업그레이드해 광대역 망 가입자들이 100Mbps 속도로 인터넷과 통신, 방송망을 융합한 서비스를 받을 수 있도록 할 수 있다.
휴대 단말기(105)는 영상 애플리케이션을 이용하여 이미지 서버(101)로 영상 데이터를 전송한다. 예를 들면, 영상 애플리케이션은 휴대 단말기(105)의 카메라를 통해 생성된 영상 데이터(예를 들면, 사진 또는 동영상)나 외부 장치로부터 수신된 영상 데이터를 이미지 서버(101)로 전송하기 위한 애플리케이션일 수 있다. 예를 들면, 영상 데이터는 건축물 이미지를 포함할 수 있다. 그리고 휴대 단말기(105)는 영상 애플리케이션을 이용하여 이미지 서버(101)로부터 건축물을 실사화한 건축물 실사 데이터를 수신한다.
이미지 서버(101)는 영상 애플리케이션을 이용하여 휴대 단말기(105)로부터 영상 데이터를 수신하고, 객체 인식 및 변환에 대한 인공지능 알고리즘을 기반으로 수신된 영상 데이터에 포함된 건축물의 주요 내/외부 공간 및 구조 부분을 인식하여 분류한다. 그리고 이미지 서버(101)는 학습 데이터와 사용자에 의해 선택된 건축물 내외장재를 기반으로 건축물의 주요 내/외부 공간 및 구조 부분을 실사화하여 건축물 실사 데이터를 생성한다. 그리고 이미지 서버(101)는 생성된 건축물 실사 데이터를 영상 애플리케이션을 이용하여 휴대 단말기(105)로 전송한다.
이러한 구성을 통해, 본 발명의 일 실시 예는 사용자의 하드웨어 환경에 상관없이 일정한 시간에 건축물 이미지를 생성할 수 있다. 그리고 본 발명의 일 실시 예는 저비용 및 짧은 시간에 건축물 이미지를 생성할 수 있다.
이제부터, 도 2를 참조하여, 이미지 서버(101)를 자세히 설명하고자 한다.
도 2는 본 발명의 일 실시 예에 따른 이미지 서버(101)의 블록 구성도이다.
도 2를 참조하면, 이미지 서버(101)는 제어부(201)와 데이터베이스(203)와 무선 통신부(205)를 포함한다.
각 구성요소를 살펴보면, 데이터베이스(203)는 이미지 서버(101)에서 제공하는 다양한 기능을 수행하기 위한 데이터 및 프로그램을 저장하며, 컴퓨터가 읽을 수 있는 기록매체(Computer Readable Media)를 포함할 수 있다. 예를 들면, 기록매체는 플래시 메모리, 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등을 포함할 수 있다. 예를 들면, 데이터베이스(203)는 건축물의 내외장재에 대한 각종 재질을 나타내는 다수의 재질 데이터들을 저장할 수 있다. 예를 들면, 데이터베이스(203)는 다수의 재질들과 다수의 제품들에 대한 형상을 포함하는 다수의 이미지 데이터들과 다수의 가격 및 제조사 정보들을 저장할 수 있다.
무선 통신부(205)는 외부 장치로부터 데이터를 수신하고, 외부 장치로 데이터를 송신할 수 있다. 예를 들면, 무선 통신부(205)는 휴대 단말기(105)로부터 영상 데이터를 수신할 수 있다. 예를 들면, 무선 통신부(205)는 휴대 단말기(105)로 건축물 실사 데이터를 송신할 수 있다.
제어부(201)는 데이터베이스(205)에 저장된 각종 프로그램을 이용하여 이미지 서버(101)의 전반적인 동작을 제어할 수 있다.
예를 들면, 제어부(201)는 무선 통신부(205)를 통해 휴대 단말기(105)로부터 영상 데이터를 수신하고, 수신된 영상 데이터에서 재질을 적용하는 대상(예를 들면, 바닥, 벽 및 천장 등)을 추출하여 개연성 맵(Probability Map)을 생성할 수 있다. 그리고 제어부(201)는 수신된 영상 데이터에서 에지를 검출하여 에지 맵(Edge Map)을 생성할 수 있다. 그리고 제어부(201)는 수신된 영상 데이터, 개연성 맵 및 에지 맵을 이용하여 개선된 개연성 맵을 생성할 수 있다. 그리고 제어부(201)는 수신된 영상 데이터, 개선된 개연성 맵 및 데이터베이스(203)에 저장된 재질 데이터들 중에서 사용자에 의해 선택된 재질 데이터를 이용하여 건축물 실사 데이터를 생성할 수 있다. 그리고 제어부(201)는 무선 통신부(205)를 통해 휴대 단말기(105)로 생성된 건축물 실사 데이터를 전송할 수 있다.
이제부터 도 3을 참조하여, 제어부(201)를 자세히 설명하고자 한다.
도 3은 본 발명의 일 실시 예에 따른 제어부(201)의 블록 구성도이다.
도 3을 참조하면, 제어부(201)는 인공 신경망 세그먼테이션부(301)와 재질 원근 적용부(303)를 포함한다.
인공 신경망 세그먼테이션부(301)는 세그먼테이션 모델부(305)와 에지 검출부(307)와 개선 모델부(309)를 포함한다.
각 구성요소를 살펴보면, 세그먼테이션 모델부(305)는 수신된 영상 데이터에서 재질을 적용하는 대상(예를 들면, 바닥, 벽 및 천장 등)을 추출하여 개연성 맵을 생성한다. 그리고 세그먼테이션 모델부(305)는 생성된 개연성 맵을 개선 모델부(309)로 출력한다.
예를 들면, 세그먼테이션 모델부(305)는 제1딥러닝 알고리즘을 이용하여 재질을 적용하는 대상에 대한 샘플 데이터를 학습함으로써 바닥, 벽, 천장 등의 분리를 위한 제1가중치 데이터를 생성할 수 있다. 예를 들면, 제1딥러닝 알고리즘은 신경망 종류로서 HRNet과 C1을 사용할 수 있으나, 이에 한정되지 않을 수 있다. 예를 들면, HRNet과 C1(Encoding과 Decoding)의 조합은 이미지 세그먼테이션의 정확도와 속도 면에서 최적화된 인공 신경망일 수 있다. 예를 들면, 세그먼테이션 모델부(305)는 샘플 데이터 이외에 사용자에 의해 입력된 데이터를 학습하여 제1가중치 데이터를 변경할 수 있다. 그리고 세그먼테이션 모델부(305)는 제1가중치 데이터를 이용하여 영상 데이터에서 재질을 적용하는 대상을 분리하여 개연성 맵을 생성할 수 있다. 예를 들면, 개연성 맵은 0부터 255 사이의 값을 가지는 흑백 이미지이며, 1개의 채널을 가질 수 있다.
에지 검출부(307)는 에지 검출 알고리즘을 이용하여 수신된 영상 데이터에서 에지를 검출하여 에지 맵을 생성하고, 생성된 에지 맵을 개선 모델부(309)로 출력한다. 예를 들면, 에지 검출 알고리즘은 Canny 에지 검출 알고리즘일 수 있다.
개선 모델부(309)는 세그먼테이션 모델부(305)로부터 개연성 맵을 입력받고, 에지 검출부(307)로부터 에지 맵을 입력받는다. 그리고 개선 모델부(309)는 입력된 개연성 맵과 입력된 에지 맵을 이용하여 수신된 영상 데이터에서 재질을 적용하는 대상을 명확하게 분리하여 개선된 개연성 맵을 생성한다. 그리고 개선 모델부(309)는 생성된 개선된 개연성 맵을 재질 원근 적용부(303)로 출력한다.
예를 들면, 개선 모델부(309)는 제2딥러닝 알고리즘을 이용하여 재질을 적용하는 대상에 대한 샘플 데이터를 학습함으로써 바닥, 벽 및 천장 등의 분리를 위한 제2가중치 데이터를 생성할 수 있다. 예를 들면, 제2딥러닝 알고리즘은 신경망 종류로서 UNet을 사용할 수 있으나, 이에 한정되지 않을 수 있다. 예를 들면, UNet은 원본 이미지의 특징이 소실되는 것을 방지할 수 있다. 예를 들면, 개선 모델부(309)는 샘플 데이터 이외에 사용자에 의해 입력된 데이터를 학습하여 제2가중치 데이터를 변경할 수 있다. 그리고 개선 모델부(309)는 제2가중치 데이터와 개연성 맵과 에지 맵을 이용하여 수신된 영상 데이터에서 재질을 적용하는 대상을 명확하게 분리하여 개선된 개연성 맵을 생성할 수 있다. 예를 들면, 개선 모델부(309)는 에지 맵을 이용하여 영상 데이터에 포함된 객체들 사이를 좀 더 명확하게 구분할 수 있다.
재질 원근 적용부(303)는 원근 적용부(311)와 전송부(313)를 포함한다.
각 구성요소를 살펴보면, 원근 적용부(311)는 인공 신경망 세그먼테이션부(301)로부터 개선된 개연성 맵을 입력받는다. 그리고 원근 적용부(311)는 수신된 영상 데이터와 입력된 개선된 개연성 맵과 사용자에 의해 선택된 재질 데이터를 이용하여 건축물을 실사화함으로써 건축물 실사 데이터를 생성한다. 그리고 원근 적용부(311)는 생성된 건축물 실사 데이터를 전송부(313)로 출력한다.
예를 들면, 원근 적용부(311)는 개선된 개연성 맵을 기반으로 영상 데이터에 복수의 수직 소실선들을 형성할 수 있다. 예를 들면, 수직 소실선들 각각은 원근을 적용하기 위해 재질을 적용하는 대상을 구분하는 기준선일 수 있다. 예를 들면, 원근 적용부(311)는 도 4의 401 이미지와 같이, 공간을 구분하는 건축물인 벽들 사이에 복수의 수직 소실선들을 형성할 수 있다. 그리고 원근 적용부(311)는 형성된 수직 소실선들을 기준으로 수신된 영상 데이터를 분할하여 복수의 영상 데이터들을 생성할 수 있다. 예를 들면, 원근 적용부(311)는 도 5의 501 이미지와 같이, 수신된 영상 데이터를 3개로 분할할 수 있다.
그리고 원근 적용부(311)는 복수의 영상 데이터들에 사용자에 의해 선택된 재질 데이터를 적용하여 복수의 건축물 영상 데이터들을 생성할 수 있다. 예를 들면, 원근 적용부(311)는 도 5의 503 이미지와 같이, 영상 데이터들에 재질 데이터를 적용하여 복수의 건축물 영상 데이터들을 생성할 수 있다. 이때, 영상 데이터와 함께 재질 데이터 식별자가 휴대 단말기(105)로부터 수신되면, 원근 적용부(311)는 데이터베이스(203)에 미리 저장된 다수의 재질 데이터들 중에서 수신된 재질 데이터 식별자에 대응하는 재질 데이터를 검출하고, 건축물 영상 데이터에 검출된 재질 데이터를 적용할 수 있다. 예를 들면, 재질 데이터 식별자는 휴대 단말기(105)의 사용자가 원하는 재질을 나타내는 식별자를 나타낼 수 있다.
그리고 원근 적용부(311)는 분할된 영상 데이터들에 수평 소실선을 형성하고, 형성된 수평 소실선을 기준으로 와핑 포인트(Warping Point)를 조사할 수 있다. 예를 들면, 와핑 포인트는 복수의 영상 데이터들에서 왜곡이 발생된 점을 나타낼 수 있다. 그리고 원근 적용부(311)는 조사된 와핑 포인트를 기반으로 분할된 영상 데이터들과 분할된 건축물 영상 데이터들에 원근을 적용할 수 있다. 그리고 원근 적용부(311)는 개선된 개연성 맵을 이용하여 원근이 적용된 영상 데이터들을 합성하여 영상 실사 데이터를 생성할 수 있다. 예를 들면, 원근 적용부(311)는 도 6의 601 이미지와 같이, 원근이 적용된 3개의 영상 데이터들을 합성하여 영상 실사 데이터를 생성할 수 있다. 그리고 원근 적용부(311)는 개선된 개연성 맵을 이용하여 원근이 적용된 건축물 영상 데이터들을 합성하여 건축물 실사 데이터를 생성할 수 있다. 예를 들면, 원근 적용부(311)는 도 6의 603 이미지와 같이, 원근이 적용된 3개의 건축물 영상 데이터들을 합성하여 건축물 실사 데이터를 생성할 수 있다.
이때, 원근 적용부(311)는 다음과 같은 수학식 1을 이용하여 원근이 적용된 영상 데이터들 또는 건축물 영상 데이터들을 합성할 수 있다.
Figure PCTKR2021018884-appb-M000001
Figure PCTKR2021018884-appb-I000001
예를 들면, S1은 1차 합성 이미지를 나타내며, S2는 최종 합성 이미지를 나타낼 수 있다. Pm은 개연성 맵을 나타내며, R은 재질 데이터를 나타내고, I는 수신된 영상 데이터를 나타낼 수 있다.
전송부(313)은 원근 적용부(311)로부터 건축물 실사 데이터를 입력받고, 무선 통신부(205)를 통해 입력된 건축물 실사 데이터를 휴대 단말기(105)로 전송한다.
도 7은 본 발명의 일 실시 예에 따른 이미지 서버(101)가 건축물 이미지를 전송하는 흐름도이다.
도 7을 참조하면, 이미지 서버(101)의 제어부(201)는, 701 단계에서, 무선 통신부(205)를 통해 휴대 단말기(105)로부터 영상 데이터와 건축물 재질 식별자를 수신한다. 예를 들면, 휴대 단말기(105)는 영상 애플리케이션을 이용하여 건축물 재질 식별자와 영상 데이터를 이미지 서버(101)로 전송할 수 있다.
703 단계에서, 제어부(201)는 수신된 영상 데이터에서 재질을 적용하는 대상(예를 들면, 바닥, 벽 및 천장 등)을 추출하여 개연성 맵을 생성한다.
예를 들면, 제어부(201)는 제1딥러닝 알고리즘을 이용하여 재질을 적용하는 대상에 대한 샘플 데이터를 학습함으로써 바닥, 벽, 천장 등의 분리를 위한 제1가중치 데이터를 생성할 수 있다. 예를 들면, 제1딥러닝 알고리즘은 신경망 종류로서 HRNet과 C1을 사용할 수 있으나, 이에 한정되지 않을 수 있다. 예를 들면, 제어부(201)는 샘플 데이터 이외에 사용자에 의해 입력된 데이터를 학습하여 제1가중치 데이터를 변경할 수 있다. 그리고 제어부(201)는 제1가중치 데이터를 이용하여 영상 데이터에서 재질을 적용하는 대상을 분리하여 개연성 맵을 생성할 수 있다.
705 단계에서, 제어부(201)는 에지 검출 알고리즘을 이용하여 수신된 영상 데이터에서 에지를 검출하여 에지 맵을 생성한다. 예를 들면, 에지 검출 알고리즘은 Canny 에지 검출 알고리즘일 수 있다.
707 단계에서, 제어부(201)는 개연성 맵과 에지 맵을 이용하여 수신된 영상 데이터에서 재질을 적용하는 대상을 명확하게 분리하여 개선된 개연성 맵을 생성한다.
예를 들면, 제어부(201)는 제2딥러닝 알고리즘을 이용하여 재질을 적용하는 대상에 대한 샘플 데이터를 학습함으로써 바닥, 벽 및 천장 등의 분리를 위한 제2가중치 데이터를 생성할 수 있다. 예를 들면, 제2딥러닝 알고리즘은 신경망 종류로서 UNet을 사용할 수 있으나, 이에 한정되지 않을 수 있다. 예를 들면, 제어부(201)는 샘플 데이터 이외에 사용자에 의해 입력된 데이터를 학습하여 제2가중치 데이터를 변경할 수 있다. 그리고 제어부(201)는 제2가중치 데이터와 개연성 맵과 에지 맵을 이용하여 수신된 영상 데이터에서 재질을 적용하는 대상을 명확하게 분리하여 개선된 개연성 맵을 생성할 수 있다.
709 단계에서, 제어부(201)는 수신된 영상 데이터와 개선된 개연성 맵과 건축물 재질 식별자를 이용하여 건축물을 실사화함으로써 건축물 실사 데이터를 생성한다.
예를 들면, 제어부(201)는 개선된 개연성 맵을 기반으로 영상 데이터에 복수의 수직 소실선들을 형성할 수 있다. 예를 들면, 원근 적용부(311)는 도 4의 401 이미지와 같이, 공간을 구분하는 건축물인 벽들 사이에 복수의 수직 소실선들을 형성할 수 있다. 그리고 제어부(201)는 형성된 수직 소실선들을 기준으로 수신된 영상 데이터를 분할하여 복수의 영상 데이터들을 생성할 수 있다. 예를 들면, 제어부(201)는 도 5의 501 이미지와 같이, 수신된 영상 데이터를 3개로 분할할 수 있다.
그리고 제어부(201)는 데이터베이스(203)에 미리 저장된 다수의 재질 데이터들 중에서 수신된 재질 데이터 식별자에 대응하는 재질 데이터를 검출하고, 복수의 영상 데이터들에 검출된 재질 데이터를 적용하여 복수의 건축물 영상 데이터들을 생성할 수 있다. 예를 들면, 제어부(201)는 도 5의 503 이미지와 같이, 영상 데이터들에 재질 데이터를 적용하여 복수의 건축물 영상 데이터들을 생성할 수 있다.
그리고 제어부(201)는 분할된 영상 데이터들에 수평 소실선을 형성하고, 형성된 수평 소실선을 기준으로 와핑 포인트를 조사할 수 있다. 그리고 제어부(201)는 조사된 와핑 포인트를 기반으로 분할된 영상 데이터들과 분할된 건축물 영상 데이터들에 원근을 적용할 수 있다. 그리고 제어부(201)는 개선된 개연성 맵을 이용하여 원근이 적용된 영상 데이터들을 합성하여 영상 실사 데이터를 생성할 수 있다. 예를 들면, 제어부(201)는 도 6의 601 이미지와 같이, 원근이 적용된 3개의 영상 데이터들을 합성하여 영상 실사 데이터를 생성할 수 있다.
그리고 제어부(201)는 개선된 개연성 맵을 이용하여 원근이 적용된 건축물 영상 데이터들을 합성하여 건축물 실사 데이터를 생성할 수 있다. 예를 들면, 제어부(201)는 도 6의 603 이미지와 같이, 원근이 적용된 3개의 건축물 영상 데이터들을 합성하여 건축물 실사 데이터를 생성할 수 있다. 이때, 제어부(201)는 수학식 1을 이용하여 원근이 적용된 영상 데이터들 또는 건축물 영상 데이터들을 합성할 수 있다.
711 단계에서, 제어부(201)는 무선 통신부(205)를 통해 생성된 건축물 실사 데이터를 휴대 단말기(105)로 전송한다. 예를 들면, 휴대 단말기(105)는 영상 애플리케이션을 이용하여 이미지 서버(101)로부터 건축물 실사 데이터를 수신하고, 수신된 건축물 실사 데이터를 표시할 수 있다.
이러한 과정을 통해, 본 발명의 일 실시 예는 사용자의 하드웨어 환경에 상관없이 일정한 시간에 건축물 이미지를 생성할 수 있다. 그리고 본 발명의 일 실시 예는 저비용 및 짧은 시간에 건축물 이미지를 생성할 수 있다.
이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.

Claims (10)

  1. 무선 통신부;
    다수의 재질 데이터들을 저장하는 데이터베이스; 및
    상기 무선 통신부를 통해 휴대 단말기로부터 영상 데이터 및 건축물 재질 식별자를 수신하며, 미리 지정된 제1가중치 데이터를 이용하여 상기 영상 데이터에서 재질을 적용하는 대상을 분리하여 개연성 맵을 생성하고, 상기 영상 데이터에서 에지를 검출하여 에지 맵을 생성하며, 상기 개연성 맵과 상기 에지 맵과 미리 지정된 제2가중치 데이터를 이용하여 상기 영상 데이터에서 상기 재질을 적용하는 대상을 명확하게 분리하여 개선된 개연성 맵을 생성하고, 상기 재질 데이터들과 상기 개선된 개연성 맵과 상기 건축물 재질 식별자를 이용하여 상기 영상 데이터에 상기 휴대 단말기의 사용자가 원하는 재질과 원근을 적용하여 건축물 실사 데이터를 생성하며, 상기 무선 통신부를 통해 상기 건축물 실사 데이터를 상기 휴대 단말기로 전송하는 제어부를 포함하는 건축물 이미지를 생성하는 장치.
  2. 제1항에 있어서,
    상기 제1가중치 데이터는, 제1딥러닝 알고리즘을 이용하여 재질을 적용하는 대상에 대한 샘플 데이터를 학습하여 생성되는 것을 특징으로 하는 건축물 이미지를 생성하는 장치.
  3. 제1항에 있어서,
    상기 제2가중치 데이터는, 제2딥러닝 알고리즘을 이용하여 재질을 적용하는 대상에 대한 샘플 데이터를 학습하여 생성되는 것을 특징으로 하는 건축물 이미지를 생성하는 장치.
  4. 제1항에 있어서,
    상기 제어부는, 상기 개선된 개연성 맵을 기반으로 상기 영상 데이터에 복수의 수직 소실선들을 형성하며, 상기 수직 소실선들에 따라 상기 영상 데이터를 분할하고, 상기 재질 데이터들 중에서 상기 건축물 재질 식별자에 대응하는 재질 데이터를 선택하며, 상기 분할된 영상 데이터들에 상기 재질 데이터를 적용하고, 상기 재질이 적용된 영상 데이터들 각각에 수평 소실선을 형성하며, 상기 수평 소실선을 기준으로 적어도 하나의 와핑 포인트를 결정하고, 상기 와핑 포인트를 기반으로 상기 재질이 적용된 영상 데이터들에 원근을 적용하며, 상기 개선된 개연성 맵을 기반으로 상기 원근이 적영된 영상 데이터들을 합성하여 상기 건축물 실사 데이터를 생성하는 것을 특징으로 하는 건축물 이미지를 생성하는 장치.
  5. 제1항에 있어서,
    상기 영상 데이터는, 사진 또는 동영상 데이터인 것을 특징으로 하는 건축물 이미지를 생성하는 장치.
  6. 제어부가, 무선 통신부를 통해 휴대 단말기로부터 영상 데이터 및 건축물 재질 식별자를 수신하는 과정;
    상기 제어부가, 미리 지정된 제1가중치 데이터를 이용하여 상기 영상 데이터에서 재질을 적용하는 대상을 분리하여 개연성 맵을 생성하는 과정;
    상기 제어부가, 상기 영상 데이터에서 에지를 검출하여 에지 맵을 생성하는 과정;
    상기 제어부가, 상기 개연성 맵과 상기 에지 맵과 미리 지정된 제2가중치 데이터를 이용하여 상기 영상 데이터에서 상기 재질을 적용하는 대상을 명확하게 분리하여 개선된 개연성 맵을 생성하는 과정;
    상기 제어부가, 상기 재질 데이터들과 상기 개선된 개연성 맵과 상기 건축물 재질 식별자를 이용하여 상기 영상 데이터에 상기 휴대 단말기의 사용자가 원하는 재질과 원근을 적용하여 건축물 실사 데이터를 생성하는 과정; 및
    상기 제어부가, 상기 무선 통신부를 통해 상기 건축물 실사 데이터를 상기 휴대 단말기로 전송하는 과정을 포함하는 건축물 이미지를 생성하는 방법.
  7. 제6항에 있어서,
    상기 제1가중치 데이터는, 제1딥러닝 알고리즘을 이용하여 재질을 적용하는 대상에 대한 샘플 데이터를 학습하여 생성되는 것을 특징으로 하는 건축물 이미지를 생성하는 방법.
  8. 제6항에 있어서,
    상기 제2가중치 데이터는, 제2딥러닝 알고리즘을 이용하여 재질을 적용하는 대상에 대한 샘플 데이터를 학습하여 생성되는 것을 특징으로 하는 건축물 이미지를 생성하는 방법.
  9. 제6항에 있어서,
    상기 건축물 실사 데이터를 생성하는 과정은,
    상기 개선된 개연성 맵을 기반으로 상기 영상 데이터에 복수의 수직 소실선들을 형성하고, 상기 수직 소실선들에 따라 상기 영상 데이터를 분할하는 과정;
    상기 재질 데이터들 중에서 상기 건축물 재질 식별자에 대응하는 재질 데이터를 선택하고, 상기 분할된 영상 데이터들에 상기 재질 데이터를 적용하는 과정;
    상기 재질이 적용된 영상 데이터들 각각에 수평 소실선을 형성하며, 상기 수평 소실선을 기준으로 적어도 하나의 와핑 포인트를 결정하고, 상기 와핑 포인트를 기반으로 상기 재질이 적용된 영상 데이터들에 원근을 적용하는 과정; 및
    상기 개선된 개연성 맵을 기반으로 상기 원근이 적영된 영상 데이터들을 합성하여 상기 건축물 실사 데이터를 생성하는 과정을 포함하는 것을 특징으로 하는 건축물 이미지를 생성하는 방법.
  10. 제6항에 있어서,
    상기 영상 데이터는, 사진 또는 동영상 데이터인 것을 특징으로 하는 건축물 이미지를 생성하는 방법.
PCT/KR2021/018884 2020-12-14 2021-12-13 건축물 이미지를 생성하는 장치 및 방법 WO2022131720A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200174169A KR102224691B1 (ko) 2020-12-14 2020-12-14 건축물 이미지를 생성하는 장치 및 방법
KR10-2020-0174169 2020-12-14

Publications (1)

Publication Number Publication Date
WO2022131720A1 true WO2022131720A1 (ko) 2022-06-23

Family

ID=75179716

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/018884 WO2022131720A1 (ko) 2020-12-14 2021-12-13 건축물 이미지를 생성하는 장치 및 방법

Country Status (2)

Country Link
KR (1) KR102224691B1 (ko)
WO (1) WO2022131720A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102224691B1 (ko) * 2020-12-14 2021-03-09 한상국 건축물 이미지를 생성하는 장치 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190065933A (ko) * 2017-12-04 2019-06-12 주식회사 양파 공간 인식에 기반한 인테리어 플랫폼 제공 방법
KR102224691B1 (ko) * 2020-12-14 2021-03-09 한상국 건축물 이미지를 생성하는 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190065933A (ko) * 2017-12-04 2019-06-12 주식회사 양파 공간 인식에 기반한 인테리어 플랫폼 제공 방법
KR102224691B1 (ko) * 2020-12-14 2021-03-09 한상국 건축물 이미지를 생성하는 장치 및 방법

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHENG DONGCAI; MENG GAOFENG; XIANG SHIMING; PAN CHUNHONG: "FusionNet: Edge Aware Deep Convolutional Networks for Semantic Segmentation of Remote Sensing Harbor Images", IEEE JOURNAL OF SELECTED TOPICS IN APPLIED EARTH OBSERVATIONS AND REMOTE SENSING, IEEE, USA, vol. 10, no. 12, 1 December 2017 (2017-12-01), USA, pages 5769 - 5783, XP011674695, ISSN: 1939-1404, DOI: 10.1109/JSTARS.2017.2747599 *
KAPTAN EFE ÇAĞIN: "IMAGE SEGMENTATION AND TEXTURE MAPPING ON PILLOWS USING FULLY CONVOLUTIONAL NEURAL NETWORKS", MASTER'S THESIS, THE REPUBLIC OF TURKEY BAHCESEHIR UNIVERSITY, 1 January 2018 (2018-01-01), XP055943056, Retrieved from the Internet <URL:http://acikerisim.bahcesehir.edu.tr:8080/xmlui/bitstream/handle/123456789/1217/Image%20segmentation%20and%20texture%20mapping%20on%20pillows%20using%20fully%20convolutional%20neural%20networks.pdf?sequence=1&isAllowed=y> *
SULTANA MARYAM, KIM IN, JUNG SOON: "Deep Matting for AR Based Interior Design", METHODS AND APPLICATIONS FOR MODELING AND SIMULATION OF COMPLEX SYSTEMS : 18TH ASIA SIMULATION CONFERENCE, ASIASIM 2018, KYOTO, JAPAN, OCTOBER 27–29, 2018, PROCEEDINGS, SPRINGER SINGAPORE, SINGAPORE, vol. 1212, 31 January 2020 (2020-01-31), Singapore, pages 31 - 42, XP009538268, ISSN: 1865-0929, ISBN: 978-981-1328-53-4, DOI: 10.1007/978-981-15-4818-5_3 *

Also Published As

Publication number Publication date
KR102224691B1 (ko) 2021-03-09

Similar Documents

Publication Publication Date Title
WO2014051246A1 (en) Method and apparatus for inferring facial composite
WO2015182904A1 (ko) 관심객체 검출을 위한 관심영역 학습장치 및 방법
WO2021133001A1 (ko) 시멘틱 이미지 추론 방법 및 장치
WO2022131720A1 (ko) 건축물 이미지를 생성하는 장치 및 방법
WO2021101045A1 (en) Electronic apparatus and method for controlling thereof
WO2017222258A1 (ko) 3d 깊이 카메라를 이용한 다자간 영상 대화 시스템 및 방법
WO2021112273A1 (ko) 딥러닝 기반 동영상에서 연속적으로 개인정보를 비식별화하기 위한 방법 및 장치
WO2011055930A2 (ko) 그래프 컷의 초기값을 설정하는 방법, 단말 장치, 및 컴퓨터 판독 가능한 기록 매체
WO2014088125A1 (ko) 영상 촬영 장치 및 그 방법
WO2013125915A1 (en) Method and apparatus for processing information of image including a face
WO2011099731A2 (ko) 데이터타입 분류에 따른 캐릭터정보 동기화 방법
WO2021091053A1 (ko) 영상의 유사도 분석을 이용한 위치 측정 시스템 및 그 방법
WO2017213335A1 (ko) 실시간 영상 합성 방법
WO2022191424A1 (ko) 전자 장치 및 그 제어 방법
WO2020101121A1 (ko) 딥러닝 기반의 영상분석 방법, 시스템 및 휴대 단말
WO2013183877A1 (ko) 3차원 디지털 만화 뷰어 제공 시스템 및 그 방법
WO2020235740A1 (ko) 이미지 기반 실내 측위 서비스 시스템 및 방법
WO2011007970A1 (en) Method and apparatus for processing image
WO2021118047A1 (ko) 딥러닝을 이용한 사고 영상의 사고과실 평가 방법 및 장치
WO2019103193A1 (ko) 분산 가상 카메라를 이용한 게임 내 360 vr 영상 획득 시스템 및 방법
WO2021071258A1 (ko) 인공지능 기반의 휴대용 보안영상 학습장치 및 방법
WO2023224169A1 (ko) 3차원 스켈레톤 추정 시스템 및 3차원 스켈레톤 추정 방법
WO2023191182A1 (ko) 원터치로 애니메이션을 웹툰으로 자동 변환하는 시스템 및 방법
WO2021060684A1 (ko) 머신 러닝을 이용한 영상 내 객체 인식 방법 및 장치
WO2023090596A1 (ko) 얼굴 합성 방법 및 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21907024

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 24.10.2023)