WO2023171831A1 - Gan을 이용하는 인테리어 추천 방법 및 장치 - Google Patents

Gan을 이용하는 인테리어 추천 방법 및 장치 Download PDF

Info

Publication number
WO2023171831A1
WO2023171831A1 PCT/KR2022/003324 KR2022003324W WO2023171831A1 WO 2023171831 A1 WO2023171831 A1 WO 2023171831A1 KR 2022003324 W KR2022003324 W KR 2022003324W WO 2023171831 A1 WO2023171831 A1 WO 2023171831A1
Authority
WO
WIPO (PCT)
Prior art keywords
interior
gan
user
user terminal
preference information
Prior art date
Application number
PCT/KR2022/003324
Other languages
English (en)
French (fr)
Inventor
이제승
김도현
황수웅
최준혁
Original Assignee
서울대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울대학교산학협력단 filed Critical 서울대학교산학협력단
Priority to PCT/KR2022/003324 priority Critical patent/WO2023171831A1/ko
Publication of WO2023171831A1 publication Critical patent/WO2023171831A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/04—Payment circuits
    • G06Q20/06—Private payment circuits, e.g. involving electronic currency used among participants of a common payment scheme
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/14—Payment architectures specially adapted for billing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/08—Auctions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/08—Construction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Definitions

  • the present invention relates to an interior recommendation method and device using GAN, and more specifically, to an interior recommendation method and device that can provide a personalized interior using GAN, taking into account the atmosphere of the space and the user's preferences.
  • the space called home is not just a space to rest and handle personal matters, but certain spaces in the home are changing into spaces where you can work from home. As we naturally spend more time at home, the existing concepts about the structure and interior of the home are changing. It is being modified.
  • the present invention was created to solve the above-mentioned problem, and utilizes GAN (Generative Adversarial Networks), an adversarial artificial intelligence neural network, and uses the camera of a terminal with a ToF (Time of Flight) sensor to place the user at the desired location.
  • GAN Geneative Adversarial Networks
  • ToF Time of Flight
  • An interior recommendation method using GAN includes a first step of receiving user preference information from a user terminal; A second step of receiving data measuring the space through the camera of the user terminal from the user terminal; A third step of detecting floor plan and interior element objects from the data; A fourth step of analyzing the user's preference information using GAN (Generative adversarial network) to create a theme-specific interior design that arranges each interior element in the space and providing it to the user terminal; And when the interior element is selected on the user terminal, a fifth step of allowing a partner company server to provide the user terminal with a service environment that provides sales of products matching the interior element.
  • GAN Generic adversarial network
  • the first step may further include providing a blockchain coin to the user terminal when the interior recommendation device receives the user's preference information from the user terminal. You can.
  • the fourth step analyzes the user's preference information using the GAN (Generative adversarial network), and performs the design of the space and furniture arrangement to correspond to the user's preference information.
  • GAN Generic adversarial network
  • it can be provided by virtually arranging interior elements suitable for the space.
  • the fourth step uses the GAN (Generative adversarial network) to analyze the user's preference information to search for applicable laws and derive a design example in a 2D drawing according to the search results.
  • GAN Geneative adversarial network
  • a 3D modeling example space can be implemented based on the 2D drawing, and a theme-specific interior design that arranges each interior element in the space can be created and provided.
  • the fifth step may further include providing the user's preference information to the partner server and receiving a blockchain coin from the partner server.
  • the user terminal after the fifth step, provides the cost of purchasing the product to the partner server in blockchain coins, and the user terminal provides the cost of the purchase of the product to the partner server.
  • a training step of training the GAN may be further included before the first step.
  • the GAN in the training step, is a CGAN (Conditional Generative adversarial network), a Style Dataset that classifies interior design by theme, and a Location dataset that classifies interior design by location.
  • the CGAN can be trained using Datase.
  • An interior recommendation device using GAN includes a data receiver that receives user preference information from a user terminal and data measuring the space through a camera of the user terminal; Detecting floor plans and interior element objects from the data, analyzing the user's preference information using GAN (Generative adversarial network), creating a theme-specific interior design that places each interior element in the space and providing it to the user terminal Interior composition department; And when the interior element is selected on the user terminal, a sales environment providing unit that causes a partner company server to provide the user terminal with a service environment that provides sales of products matching the interior element.
  • GAN Generic adversarial network
  • the user terminal upon receiving the user's preference information from the user terminal, it may be configured to further include a coin processing unit that provides a blockchain coin to the user terminal.
  • the interior composition unit analyzes the user's preference information using the GAN (Generative adversarial network), and performs the design of the space and furniture arrangement to correspond to the user's preference information.
  • GAN Generic adversarial network
  • it can be provided by virtually arranging interior elements suitable for the space.
  • the interior composition unit analyzes the user's preference information using the GAN (Generative adversarial network) to search for applicable laws, derives a design example in a 2D drawing according to the search results, and , A 3D modeling example space can be implemented based on the 2D drawing, and a theme-specific interior design that arranges each interior element in the space can be created and provided.
  • GAN Generative adversarial network
  • the coin processing unit may provide the user's preference information to the partner server and receive blockchain coins from the partner server.
  • the GAN is a CGAN (Conditional Generative adversarial network) that uses a Style Dataset that classifies interior design by theme and a Location Dataset that classifies interior design by location.
  • the interior composition unit is trained, and the interior composition unit analyzes the user's preference information using the trained CGAN to create a theme-specific interior design that arranges each interior element in the space and provides the interior design to the user terminal.
  • the present invention is an interior recommendation service using an artificial intelligence algorithm and a blockchain-based platform including the same. It uses the GAN (Generative Adversarial Networks) algorithm to recommend interior styles for each theme, and to immediately apply or currently apply products and elements. It identifies the style of the space and automatically recommends interior products that match it.
  • GAN Geneative Adversarial Networks
  • By building an actual algorithm prototype we created a space photo of the desired interior style, and through securing data sets and improved models, we plan to reach the level of converting the space into the desired style or synthesizing the desired furniture. This not only recommends existing ready-made products, but also suggests new designs based on algorithms, and based on this, it also provides service products linked to smart factories.
  • the present invention uses GAN (Generative Adversarial Networks) and a camera of a terminal with a built-in ToF sensor to provide a personalized interior recommendation service considering the atmosphere of the space and the user's preferences, and provides an interior quotation method and artificial intelligence law review. It can provide a blockchain system that includes consistency evaluation, ready-made products and smart factory partner brokerage functions, and provides safe and transparent operation.
  • GAN Geneative Adversarial Networks
  • the interior recommendation method and device uses data generated based on users' activities to improve the recommendation model, processes it, and provides it as customer targeting data for partner companies, and uses the interior recommendation system's own By circulating as a coin, it can prevent coin inflation and induce a continuous increase in value.
  • Figure 1 is a diagram for explaining an interior recommendation system using GAN according to an embodiment of the present invention.
  • Figure 2 is a configuration diagram of an interior recommendation device using GAN according to an embodiment of the present invention.
  • Figure 3 is a flowchart illustrating an interior recommendation method using GAN according to an embodiment of the present invention.
  • Figures 4 and 5 are diagrams for explaining an interior recommendation method using GAN according to an embodiment of the present invention.
  • FIGS. 6 to 14 are diagrams to explain a generative adversarial network (GAN) used in an embodiment of the present invention.
  • GAN generative adversarial network
  • Figures 15 to 26 are diagrams for explaining the training method and results of the interior recommendation method using GAN according to an embodiment of the present invention.
  • Figure 27 is a diagram for explaining the blockchain used in the interior recommendation method and system according to an embodiment of the present invention.
  • FIG. 28 is a diagram for explaining a Time of Flight (TOF) sensor according to an embodiment of the present invention.
  • TOF Time of Flight
  • FIG. 1 is a diagram illustrating an interior recommendation system using GAN according to an embodiment of the present invention
  • FIG. 2 is a diagram illustrating the configuration of an interior recommendation device using GAN according to an embodiment of the present invention.
  • An interior recommendation system using GAN may be configured to include a user terminal 110, an interior recommendation device 120, and a partner server 130.
  • the user can provide data on areas of interest regarding the interior to the interior recommendation device 120 and receive coins as compensation for this.
  • the interior recommendation device 120 may recommend an interior design by analyzing the user's preference data and the space captured by the ToF sensor camera of the user terminal 110.
  • the interior recommendation device 120 analyzes various user preference data and provides it to the partner server 130, and can receive coins as a cost for the transaction.
  • partners can identify users' various data patterns and consumer trends, provide products and services according to users' tastes, and directly transact with users, such as custom manufacturing through a smart factory.
  • a smart contract is applied at each transaction stage between the user terminal 110, the interior recommendation device 120, and the partner server 130, so that transactions can be carried out in a transparent and safe manner.
  • the interior recommendation device 120 includes a data reception unit 121, an interior configuration unit 122, a sales environment provision unit 123, and a coin processing unit 124. It can be configured.
  • the data receiver 121 receives the user's preference information from the user terminal and data measuring the space through the camera of the user terminal.
  • the interior composition unit 122 detects floor plans and interior element objects from the data, and analyzes the user's preference information using a generative adversarial network (GAN).
  • GAN generative adversarial network
  • the interior composition unit 122 creates an interior design for each theme that arranges each interior element in the space and provides it to the user terminal.
  • the interior composition unit 122 analyzes the user's preference information using the GAN (Generative adversarial network) to search for applicable laws, derives a design example in a 2D drawing according to the search results, and By implementing a 3D modeling example space based on a 2D drawing, it is possible to create and provide a theme-specific interior design that arranges each interior element in the space.
  • GAN Generic adversarial network
  • the interior composition unit 122 analyzes the user's preference information using the GAN (Generative adversarial network), performs the design and furniture arrangement of the space to correspond to the user's preference information, or provides the Interior elements suitable for the space can be virtually arranged and provided.
  • GAN Generic adversarial network
  • the sales environment providing unit 123 provides a service environment in which a partner company server provides sales of products matching the interior element to the user terminal.
  • the coin processing unit 124 When the coin processing unit 124 receives the user's preference information from the user terminal, it provides a blockchain coin to the user terminal.
  • the coin processing unit 124 can provide the user's preference information to the partner server and process it to receive blockchain coins from the partner server.
  • GAN is a CGAN (Conditional Generative adversarial network), which can be trained using a Style Dataset that classifies interior design by theme and a Location Dataset that classifies interior design by location.
  • the interior composition unit 122 may analyze the user's preference information using the trained CGAN to create a theme-specific interior design that arranges each interior element in the space and provide the interior design to the user terminal.
  • Figure 3 is a flowchart for explaining an interior recommendation method using GAN according to an embodiment of the present invention
  • Figures 4 and 5 are diagrams for explaining an interior recommendation method using GAN according to an embodiment of the present invention. .
  • the user's preference information is received from the user terminal (S210).
  • data measuring the space through the camera of the user terminal is received from the user terminal (S220), and the floor plan and interior element objects are detected from the data (S230).
  • the user executes the service through the user terminal, obtains data by measuring the space with the camera of the user terminal equipped with a ToF (Time of Flight) sensor, calculates the floor plan, and calculates the previously placed interior elements. Objects can be detected.
  • ToF Time of Flight
  • the user's preference information is analyzed using GAN (Generative adversarial network) (S240), and an interior design for each theme that arranges each interior element in the space is created and provided to the user terminal (S250).
  • GAN Geneative adversarial network
  • the target space design and furniture arrangement can be performed in the style desired by the user, or interior elements suitable for the current space style can be virtually arranged. .
  • GAN Geneative Adversarial Networks
  • the user's preference information is analyzed using the GAN (Generative adversarial network), and the design and furniture arrangement of the space is performed and provided to correspond to the user's preference information, or interior elements suitable for the space are virtually arranged.
  • the GAN Generative adversarial network
  • the GAN is used to analyze the user's preference information to search for applicable laws, derive design examples in 2D drawings according to the search results, and design based on the 2D drawings.
  • the interior recommendation device can provide the user's preference information to the partner company's server and receive blockchain coins from the partner company's server.
  • a partner server After creating and providing such a theme-specific interior design, when the interior element is selected on the user terminal (S260), a partner server provides a service environment that provides sales of products matching the interior element to the user terminal. You can do it (S270).
  • the user terminal provides the cost of purchasing the product to the partner server in blockchain coins (S280), and the user terminal registers reviews and ratings of the product with the partner server, but distributed disclosure
  • the reviews and ratings can be registered in the ledger (S290).
  • the method may further include training a generative adversarial network (GAN) for such an interior recommendation method.
  • GAN generative adversarial network
  • CGAN Conditional Generative adversarial network
  • GAN Supplemental Generative adversarial network
  • a style dataset classifying interior design by theme and location data classified by location The CGAN can be trained using the set (Location Datase).
  • GAN Generic adversarial network
  • GAN Generic adversarial network
  • WGAN Cycle GAN
  • Star GAN DiscoGAN
  • CGAN is a model for generating images that meet the conditions in an existing GAN. If a general GAN could not control the output by using only noise as input, CGAN adds specific conditions such as style (vector y). and control it.
  • StarGAN is a model that can convert images of various styles using one model. It is possible to convert people into various styles such as men, old people, blonde hair, etc. with one StarGAN. .
  • CycleGAN was developed by combining GAN with the pix2pix neural network that changes the style of the image, and it is possible to convert day to night and Monet-style images to Van Gogh-style images.
  • CycleGAN has two pairs of generators and discriminators.
  • the generator converts images from A to B or B to A, and the discriminator determines the authenticity of domain A and domain B images.
  • Deep Fake which filters out and synthesizes other people's faces into realistic images, is an application of CycleGAN.
  • the layer structure makes it possible to distinguish between real and fake through the number of TransConv2D + ReLU layers of the generator, Conv2D + LeakyReLU layer of the discriminator, and fully connected layer, and manipulate the number of strides, number of channels in the layer, etc.
  • the neural network activation function refers to a function that determines whether the value received from the previous layer will be output from the next layer.
  • Activation functions such as Sigmoid activation function and Tanh can be used as activation functions before obtaining the result.
  • the Learning Rate is a ratio of how much the value should be adjusted to find the optimized point. If the Learning Rate is excessively large, an overshooting problem occurs where the learning rate bounces outside the minimum point, while if it is too small, the speed of finding the minimum point slows down. has a drawback.
  • Batch Size is the size of data per bundle when dividing Training Data into bundles. Efficient learning is achieved by inputting data in small bundles.
  • Epoch refers to the number of times Training Data passes through the neural network, and if it is too large, overfitting occurs.
  • GAN training can be considered to proceed smoothly.
  • Figure 13 shows the loss function of ideal training
  • Figure 14 shows the loss function of training that failed to converge.
  • images can be extracted from web pages and image data sets can be rescued through crawling from various sites.
  • tagging can be done by matching the image in the dataset with the appropriate style.
  • condition values such as style are input using CGAN
  • the generator creates an image that matches the corresponding image
  • the discriminator determines whether the image is authentic and whether it corresponds to the style.
  • Figures 18, 19, and 20 show the training results of the interior recommendation method using GAN according to an embodiment of the present invention.
  • Figures 18 and 19 show the model structure
  • Figure 20 shows the hyperparameters.
  • the generator is configured more closely than the discriminator, gradient vanishing is minimized through batch normalization, the batch size is 30, and learning is repeated 8000 times, the learning rate is 0.0005, and the final image size is 0.0005. Set it to 200*200. Mean Square Error is used as the loss function, and a model structure and parameter values that enable stable training are applied.
  • the discriminator loss function gradually converges around 0.05 to 0.1, and the generator loss function appears to gradually converge around 0.7 to 1.3. Additionally, Model Collapse, where the discriminator's loss function becomes 0 or the generator's loss function oscillates, did not occur.
  • the Style Dataset which classifies images by interior style
  • the Location Dataset which classifies images by location (living room, bathroom, etc.)
  • the Style Dataset is 3140 * 2 (left-right symmetrical), with a total of 6280 images. was trained, and the Location Dataset was 5630 * 2 (left and right symmetrical), with a total of 11260 images.
  • Blockchain refers to a distributed data storage technology that transparently records transaction details in a digital ledger that anyone can view, and copies and stores them on multiple computers.
  • Block-level nodes are connected to other blocks and share each other, ensuring transparency. All nodes participating in the blockchain are created as verifiable nodes based on decentralization, finality, and transparency. Nodes in the blockchain network prevent arbitrary manipulation by using an architecture called a consensus algorithm that gives mutual trust.
  • the consensus algorithm in blockchain plays a role in maintaining the integrity and security of the decentralized system.
  • the nodes of a decentralized blockchain are distributed and require agreement on the validity of transactions, which can be seen as a way to overcome Byzantine failure.
  • Equilibrium Proof of Work is a consensus algorithm that considers 'balance' in proof-of-work mining, which can solve the centralization problem of existing blockchain mining and save electrical resources in the computational process.
  • This is the same as the existing Proof of Work (Proof of Work) method, but it configures the Lyra2Rev2 ASICresistent algorithm to prevent nodes that have completed mining once from mining blocks for a certain period of time, increasing the probability of mining success for other nodes and creating mining opportunities. distribute fairly.
  • mining is decentralized, preventing centralization, diversifying the nature of participating nodes, and minimizing unnecessary waste of energy by reducing the number of nodes.
  • the smart contract according to the present invention is a script implemented as code, and is a device that determines a contract and ensures that the contract is made when certain conditions are met. Since there is no intermediary, there is an effect of reducing brokerage fees and time, and the process of contract execution and verification is automated and verification by multiple people is possible.
  • the TOF (Time of Flight) sensor calculates the distance by measuring the time it takes for the light to reflect and return after shooting a light source at the subject. Referring to FIG. 28, since the subject is scanned by emitting infrared rays, 3D scanning is possible and there is an advantage of relatively accurate subject analysis.

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Finance (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • Tourism & Hospitality (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

본 발명은 인공지능 알고리즘을 활용한 인테리어 추천 서비스와 이를 포함하는 블록체인 기반 플랫폼으로, GAN(Generative Adversarial Networks) 알고리즘을 이용하여 복수의 테마별 인테리어 스타일을 추천하고, 상품 및 요소를 즉각적으로 적용하거나 현재 공간의 스타일을 파악하고 그에 맞는 인테리어 상품을 자동으로 추천한다.

Description

GAN을 이용하는 인테리어 추천 방법 및 장치
본 발명은 GAN을 이용하는 인테리어 추천 방법 및 장치에 관한 것으로, 보다 상세하게는 GAN을 이용하 공간의 분위기와 이용자의 선호를 고려해 개인화된 맞춤형 인테리어를 제공할 수 있는 인테리어 추천 방법 및 장치에 관한 것이다.
신기술의 발달, 1인 가구 증가, COVID-19의 장기화에 따라 재택 활동이 증가하며 소규모 리모델링 및 셀프 인테리어 관련 수요가 증가하고 있다. 또한, 대형 가구 전문점, DIY 전문점, 온라인 인테리어 플랫폼의 이용건수가 증가하고 있으며, 특히 상승세가 두드러지는 온라인 인테리어 플랫폼은 다양한 스타트업을 필두로 이용자수를 늘려가며 서비스의 확대중이다.
집이라는 공간이 단지 쉬고 사적인 일을 처리하는 공간이 아니라, 집의 특정한 공간은 재택업무를 할 수 있는 공간으로 변화하고 있고 자연스럽게 집에 머무는 시간이 많아지면서 집의 구조와 인테리어에 대한 기존의 개념이 수정되고 있다.
그러나, 현재 서비스 중인 온라인 인테리어 플랫폼들은 시공 사례 등의 제한된 서비스만 제공하여 갈수록 다양해지는 사람들의 선호와 대상 공간에 적합한 디자인을 적용하기 어려운 상황이다. 특히 인테리어의 변화를 위하여 이용자(고객)는 근처의 인테리어 업자를 통해 제한적으로 서비스를 받을 수밖에 없으며, 대형 인테리어 퍼니싱 회사에서 제공하는 컨설팅 프로그램의 경우 매장 직접 방문 후 상담으로 이루어지며, 상담 전 대상 공간의 실제 치수를 직접 측정해야 하고, 첫 상담시 유료인 경우가 있으며, 따로 집 방문을 예약하여 상담서비스를 받아야 하는 등 상당한 시간이 소요되는 등 불합리한 요소들이 있다.
또한, 셀프 인테리어를 시공하는 개인의 경우 시행착오로 낭비되는 시간과 재화가 적지 않고 결국 제반 기술이나 부자재, 공구 등을 마련해야 하고 시공이 실패할 확률이 있다는 단점이 있다.
따라서, 이용자별로 개인화된 인테리어 코디네이션 기능이 필요하며, 빠르게 공간의 컨셉을 바꿔보고 추천된 인테리어 요소들에 대해 자유롭게 적용이 가능한 기술에 대한 요구가 높아지고 있다.
본 발명은 전술한 문제를 해결하기 위해 안출된 것으로서, 적대적 인공지능 신경망인 GAN(Generative Adversarial Networks)을 활용하고, ToF(Time of Flight) 센서가 내장된 단말기의 카메라를 이용하여, 이용자가 원하는 장소와 사전 설문 데이터를 바탕으로 학습된 인테리어 추천 방법 및 장치를 제공하여, 공간의 분위기와 이용자의 선호를 고려해 개인화된 맞춤형 추천 서비스를 제공하고자 한다.
전술한 문제를 해결하기 위한 본 발명의 일실시예에 따른 GAN을 이용하는 인테리어 추천 방법은 이용자 단말기로부터 이용자의 선호 정보를 수신하는 제1 단계; 상기 이용자 단말기의 카메라를 통해 공간을 실측한 데이터를 상기 이용자 단말로부터 수신하는 제2 단계; 상기 데이터로부터 평면도와 인테리어 요소 객체를 검출하는 제3 단계; GAN(Generative adversarial network)을 이용해 상기 이용자의 선호 정보를 분석하여, 상기 공간에 각 인테리어 요소를 배치하는 테마별 인테리어 디자인을 생성하여 상기 이용자 단말로 제공하는 제4 단계; 및 상기 이용자 단말 상에서 상기 인테리어 요소가 선택되면, 협력사 서버가 상기 인테리어 요소에 매칭되는 제품의 판매를 제공하는 서비스 환경을 상기 이용자 단말로 제공하도록 하는 제5 단계;를 포함하여 구성된다.
본 발명의 다른 일실시예에 따르면, 상기 제1 단계는 상기 인테리어 추천 장치가 상기 이용자 단말기로부터 이용자의 선호 정보를 수신하면, 상기 이용자 단말로 블록체인 코인을 제공하는 단계;를 더 포함하여 구성될 수 있다.
본 발명의 다른 일실시예에 따르면, 상기 제4 단계는 상기 GAN(Generative adversarial network)을 이용해 상기 이용자의 선호 정보를 분석하여, 상기 이용자의 선호 정보에 상응하도록 상기 공간의 디자인과 가구 배치를 수행하여 제공하거나, 상기 공간에 적합한 인테리어 요소를 가상 배치하여 제공할 수 있다.
본 발명의 다른 일실시예에 따르면, 상기 제4 단계는 상기 GAN(Generative adversarial network)을 이용해 상기 이용자의 선호 정보를 분석하여 적용 법령을 검색하고, 상기 검색된 결과에 따라 2D 도면에 설계 예시를 도출하고, 상기 2D 도면을 기반으로 3D 모델링 예시 공간을 구현하여, 상기 공간에 각 인테리어 요소를 배치하는 테마별 인테리어 디자인을 생성하여 제공할 수 있다.
본 발명의 다른 일실시예에 따르면, 상기 제5 단계는 상기 이용자의 선호 정보를 상기 협력사 서버로 제공하여, 상기 협력사 서버로부터 블록체인 코인을 제공받는 단계;를 더 포함할 수 있다.
본 발명의 다른 일실시예에 따르면, 상기 제5 단계의 이후에, 상기 이용자 단말이 상기 협력사 서버로 상기 제품의 구매에 따른 비용을 블록체인 코인으로 제공하고, 상기 이용자 단말이 상기 협력사 서버로 상기 제품의 후기 및 평점을 등록하되, 분산형 공개 원장에 상기 후기 및 평점이 등록되도록 할 수 있다.
본 발명의 다른 일실시예에 따르면, 상기 제1 단계의 이전에, 상기 GAN(Generative adversarial network)을 훈련시키는 훈련 단계;를 더 포함할 수 있다.
본 발명의 다른 일실시예에 따르면, 상기 훈련 단계는 상기 GAN은 CGAN(Conditional Generative adversarial network)이고, 테마별 인테리어 디자인을 분류한 스타일 데이터셋(Style Dataset)과, 장소 별로 분류한 로케이션 데이터셋(Location Datase)을 이용해 상기 CGAN을 훈련시킬 수 있다.
본 발명의 일실시예에 따른 GAN을 이용하는 인테리어 추천 장치는 이용자 단말기로부터 이용자의 선호 정보와, 상기 이용자 단말기의 카메라를 통해 공간을 실측한 데이터를 수신하는 데이터 수신부; 상기 데이터로부터 평면도와 인테리어 요소 객체를 검출하고, GAN(Generative adversarial network)을 이용해 상기 이용자의 선호 정보를 분석하여, 상기 공간에 각 인테리어 요소를 배치하는 테마별 인테리어 디자인을 생성하여 상기 이용자 단말로 제공하는 인테리어 구성부; 및 상기 이용자 단말 상에서 상기 인테리어 요소가 선택되면, 협력사 서버가 상기 인테리어 요소에 매칭되는 제품의 판매를 제공하는 서비스 환경을 상기 이용자 단말로 제공하도록 하는 판매환경 제공부;를 포함하여 구성된다.
본 발명의 다른 일실시예에 따르면, 상기 이용자 단말기로부터 이용자의 선호 정보를 수신하면, 상기 이용자 단말로 블록체인 코인을 제공하는 코인 처리부;를 더 포함하여 구성될 수 있다.
본 발명의 다른 일실시예에 따르면, 상기 인테리어 구성부는 상기 GAN(Generative adversarial network)을 이용해 상기 이용자의 선호 정보를 분석하여, 상기 이용자의 선호 정보에 상응하도록 상기 공간의 디자인과 가구 배치를 수행하여 제공하거나, 상기 공간에 적합한 인테리어 요소를 가상 배치하여 제공할 수 있다.
본 발명의 다른 일실시예에 따르면, 상기 인테리어 구성부는 상기 GAN(Generative adversarial network)을 이용해 상기 이용자의 선호 정보를 분석하여 적용 법령을 검색하고, 상기 검색된 결과에 따라 2D 도면에 설계 예시를 도출하고, 상기 2D 도면을 기반으로 3D 모델링 예시 공간을 구현하여, 상기 공간에 각 인테리어 요소를 배치하는 테마별 인테리어 디자인을 생성하여 제공할 수 있다.
본 발명의 다른 일실시예에 따르면, 상기 코인 처리부는 상기 이용자의 선호 정보를 상기 협력사 서버로 제공하여, 상기 협력사 서버로부터 블록체인 코인을 제공받을 수 있다.
본 발명의 다른 일실시예에 따르면, 상기 GAN은 CGAN(Conditional Generative adversarial network)으로서, 테마별 인테리어 디자인을 분류한 스타일 데이터셋(Style Dataset)과, 장소 별로 분류한 로케이션 데이터셋(Location Datase)을 이용해 훈련되며, 상기 인테리어 구성부는 상기 훈련된 CGAN을 이용해 상기 이용자의 선호 정보를 분석하여 상기 공간에 각 인테리어 요소를 배치하는 테마별 인테리어 디자인을 생성 상기 이용자 단말로 제공할 수 있다.
본 발명은 인공지능 알고리즘을 활용한 인테리어 추천 서비스와 이를 포함하는 블록체인 기반 플랫폼으로, GAN(Generative Adversarial Networks) 알고리즘을 이용하여 복수의 테마별 인테리어 스타일을 추천하고, 상품 및 요소를 즉각적으로 적용하거나 현재 공간의 스타일을 파악하고 그에 맞는 인테리어 상품을 자동으로 추천한다. 실제 알고리즘 프로토타입을 구축하여 원하는 인테리어 스타일의 공간 사진을 생성 하였고, 추후 데이터셋의 확보와 개선된 모델을 통해서 해당 공간을 원하는 스타일로 변환하거나 원하는 가구를 합성하는 수준까지 도달할 예정이다. 이는 기존의 기성품만 추천해주는 것이 아닌, 알고리즘을 바탕으로 새로운 디자인도 제시하며 이를 바탕으로 스마트 팩토리와 연계한 서비스 상품도 제공한다.
또한, 본 발명은 GAN(Generative Adversarial Networks)과 ToF 센서가 내장된 단말기의 카메라를 이용하여 공간의 분위기와 이용자의 선호를 고려해 개인화된 맞춤형 인테리어 추천 서비스를 제공하고, 인테리어 견적 방법과 인공지능 법령검토 정합성 평가, 기성품 및 스마트팩토리 협력사 중개 기능을 포함하고 안전하고 투명한 운영을 제공하는 블록체인 체계를 제공할 수 있다.
또한, 본 발명에 따른 인테리어 추천 방법 및 장치는 이용자들의 활동을 바탕으로 생성되는 데이터를 추천 모델 개선에 사용하고, 가공하여 협력사를 위한 고객 타게팅 자료로 제공하여 활용되도록 하며, 인테리어 추천 시스템의 자체적인 코인으로 순환되어 코인의 인플레이션을 방지하고, 지속적인 가치의 상승을 유도할 수 있다.
도 1은 본 발명의 일실시예에 따른 GAN을 이용하는 인테리어 추천 시스템을 설명하기 위한 도면이다.
도 2는 본 발명의 일실시예에 따른 GAN을 이용하는 인테리어 추천 장치의 구성도이다.
도 3은 본 발명의 일실시예에 따른 GAN을 이용하는 인테리어 추천 방법을 설명하기 위한 흐름도이다.
도 4 및 도 5는 본 발명의 일실시예에 따른 GAN을 이용하는 인테리어 추천 방법을 설명하기 위한 도면이다.
도 6 내지 도 14는 본 발명의 일실시예에서 사용되는 GAN(Generative adversarial network)에 대하여 설명하기 위한 도면이다.
도 15 내지 도 26는 본 발명의 일실시예에 따른 GAN을 이용하는 인테리어 추천 방법의 훈련 방법과 결과를 설명하기 위한 도면이다.
도 27은 본 발명의 일실시예에 따른 인테리어 추천 방법 및 시스템에서 사용되는 블록체인을 설명하기 위한 도면이다.
도 28은 본 발명의 일실시예에 따른 TOF(Time of Flight) 센서를 설명하기 위한 도면이다.
이하에서는 첨부한 도면을 참조하여 바람직한 본 발명의 일실시예에 대해서 상세히 설명한다. 다만, 실시형태를 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략한다. 또한, 도면에서의 각 구성요소들의 크기는 설명을 위하여 과장될 수 있으며, 실제로 적용되는 크기를 의미하는 것은 아니다.
도 1은 본 발명의 일실시예에 따른 GAN을 이용하는 인테리어 추천 시스템을 설명하기 위한 도면이고, 도 2는 본 발명의 일실시예에 따른 GAN을 이용하는 인테리어 추천 장치의 구성도이다.
이후부터는 도 1 및 도 2를 참조하여 GAN을 이용하는 인테리어 추천 시스템 및 추천 장치에 대하여 설명하기로 한다.
본 발명의 일실시예에 따른 GAN을 이용하는 인테리어 추천 시스템은 이용자 단말(110), 인테리어 추천 장치(120) 및 협력사 서버(130)를 포함하여 구성될 수 있다.
이용자는 이용자 단말(110)을 통해 인테리어 추천 장치(플랫폼: 120)을 이용하면서 인테리어에 관한 관심 분야 데이터를 인테리어 추천 장치(120)에 제공하고, 이에 대한 보상으로 코인을 지급받을 수 있다.
인테리어 추천 장치(120)는 이용자의 선호 데이터와 상기 이용자 단말(110)의 ToF 센서 카메라로 촬영된 공간을 분석하여 인테리어 디자인을 추천할 수 있다.
또한, 인테리어 추천 장치(120)는 이용자의 다양한 선호데이터를 분석하여 협력사 서버(130)에 제공하고, 이에 대한 비용으로서 코인을 지급받아 거래할 수 있다.
그에 따라, 협력사는 이용자의 다양한 데이터 패턴과 소비자 트렌드를 파악하여, 이용자의 취향대로 제품과 서비스를 제공할 수 있으며, 스마트 팩토리를 통해 주문 제작을 하는 등 이용자와 직접 거래가 가능하다.
이때, 상기 이용자 단말(110), 인테리어 추천 장치(120) 및 협력사 서버(130) 간의 각 거래 단계에서는 스마트 컨트랙트가 적용되어 투명하고 안전한 방식의 거래가 이루어질 수 있다.
도 2를 참조하면, 본 발명의 일실시예에 따른 인테리어 추천 장치(120)는 데이터 수신부(121), 인테리어 구성부(122), 판매환경 제공부(123) 및 코인 처리부(124)를 포함하여 구성될 수 있다.
데이터 수신부(121)는 이용자 단말기로부터 이용자의 선호 정보와, 상기 이용자 단말기의 카메라를 통해 공간을 실측한 데이터를 수신한다.
인테리어 구성부(122)는 상기 데이터로부터 평면도와 인테리어 요소 객체를 검출하고, GAN(Generative adversarial network)을 이용해 상기 이용자의 선호 정보를 분석한다.
또한, 상기 인테리어 구성부(122)는 상기 공간에 각 인테리어 요소를 배치하는 테마별 인테리어 디자인을 생성하여 상기 이용자 단말로 제공한다.
보다 구체적으로, 상기 인테리어 구성부(122)는 상기 GAN(Generative adversarial network)을 이용해 상기 이용자의 선호 정보를 분석하여 적용 법령을 검색하고, 상기 검색된 결과에 따라 2D 도면에 설계 예시를 도출하고, 상기 2D 도면을 기반으로 3D 모델링 예시 공간을 구현하여, 상기 공간에 각 인테리어 요소를 배치하는 테마별 인테리어 디자인을 생성하여 제공할 수 있다.
이때, 상기 인테리어 구성부(122)는 상기 GAN(Generative adversarial network)을 이용해 상기 이용자의 선호 정보를 분석하여, 상기 이용자의 선호 정보에 상응하도록 상기 공간의 디자인과 가구 배치를 수행하여 제공하거나, 상기 공간에 적합한 인테리어 요소를 가상 배치하여 제공할 수 있다.
판매환경 제공부(123)는 상기 이용자 단말 상에서 상기 인테리어 요소가 선택되면, 협력사 서버가 상기 인테리어 요소에 매칭되는 제품의 판매를 제공하는 서비스 환경을 상기 이용자 단말로 제공한다.
코인 처리부(124)는 상기 이용자 단말기로부터 이용자의 선호 정보를 수신하면, 상기 이용자 단말로 블록체인 코인을 제공한다.
또한, 상기 코인 처리부(124)는 상기 이용자의 선호 정보를 상기 협력사 서버로 제공하여, 상기 협력사 서버로부터 블록체인 코인을 제공받도록 처리할 수 있다.
한편, 본 발명에 따른 GAN은 CGAN(Conditional Generative adversarial network)으로서, 테마별 인테리어 디자인을 분류한 스타일 데이터셋(Style Dataset)과, 장소 별로 분류한 로케이션 데이터셋(Location Datase)을 이용해 훈련될 수 있으며, 상기 인테리어 구성부(122)는 상기 훈련된 CGAN을 이용해 상기 이용자의 선호 정보를 분석하여 상기 공간에 각 인테리어 요소를 배치하는 테마별 인테리어 디자인을 생성 상기 이용자 단말로 제공할 수 있다.
도 3은 본 발명의 일실시예에 따른 GAN을 이용하는 인테리어 추천 방법을 설명하기 위한 흐름도이고, 도 4 및 도 5는 본 발명의 일실시예에 따른 GAN을 이용하는 인테리어 추천 방법을 설명하기 위한 도면이다.
이후부터는 도 3 내지 도 5를 참조하여 본 발명의 일실시예에 따른 GAN을 이용하는 인테리어 추천 방법을 설명하기로 한다.
먼저, 이용자 단말기로부터 이용자의 선호 정보를 수신한다(S210).
이때, 최초 가입시 이용자 설문조사를 통해 이용자의 기본적인 선호사항 파악하며, 상기 인테리어 추천 장치가 상기 이용자 단말기로부터 이용자의 선호 정보를 수신하면, 상기 이용자 단말로 블록체인 코인을 제공할 수 있다.
또한, 이용자 단말기의 카메라를 통해 공간을 실측한 데이터를 상기 이용자 단말로부터 수신하여(S220), 상기 데이터로부터 평면도와 인테리어 요소 객체를 검출한다(S230).
이때, 이용자는 이용자 단말기를 통해 단말기 통해 서비스를 실행하고, 단말기 내의 ToF(Time of Flight) 센서가 내장된 상기 이용자 단말의 카메라로 공간을 실측 하여 데이터 획득하여, 평면도 산출 및 기존에 배치된 인테리어 요소 객체를 검출할 수 있다.
이후, GAN(Generative adversarial network)을 이용해 상기 이용자의 선호 정보를 분석하여(S240), 상기 공간에 각 인테리어 요소를 배치하는 테마별 인테리어 디자인을 생성하여 상기 이용자 단말로 제공한다(S250).
이때, GAN(Generative Adversarial Networks) 기반 추천 모델과 이용자 설문을 바탕으로 인테리어 스타일 매칭하여, 이용자가 원하는 스타일로 대상 공간 디자인과 가구 배치를 수행하거나, 현재 공간 스타일에 적합한 인테리어 요소를 가상 배치할 수 있다.
즉, 상기 GAN(Generative adversarial network)을 이용해 상기 이용자의 선호 정보를 분석하여, 상기 이용자의 선호 정보에 상응하도록 상기 공간의 디자인과 가구 배치를 수행하여 제공하거나, 상기 공간에 적합한 인테리어 요소를 가상 배치하여 제공할 수 있으며, 이를 위하여 상기 GAN(Generative adversarial network)을 이용해 상기 이용자의 선호 정보를 분석하여 적용 법령을 검색하고, 상기 검색된 결과에 따라 2D 도면에 설계 예시를 도출하고, 상기 2D 도면을 기반으로 3D 모델링 예시 공간을 구현하여, 상기 공간에 각 인테리어 요소를 배치하는 테마별 인테리어 디자인을 생성하여 제공할 수 있다.
이와 같이 대상 공간을 이용자의 선호 스타일로 전면 리모델링할 경우 건축법, 소방법, 지구단위계획등 수많은 법령을 검토해야한다. 도 5에 도시된 바와 같이, 먼저 업종 및 용도 등 리모델링에 앞서 법적 검토에 필요한 최소 데이터를 입력하고, 그 후 인공지능이 적용 법령을 자동 검색하며, 검색된 결과를 바탕으로 2D 도면에 ArchiGAN을 이용해 설계 예시를 도출한다.
아울러, 이때 인테리어 추천 장치는 상기 이용자의 선호 정보를 상기 협력사 서버로 제공하여, 상기 협력사 서버로부터 블록체인 코인을 제공받을 수 있다.
이와 같은 테마별 인테리어 디자인을 생성하여 제공한 이후에는, 상기 이용자 단말 상에서 상기 인테리어 요소가 선택되면(S260), 협력사 서버가 상기 인테리어 요소에 매칭되는 제품의 판매를 제공하는 서비스 환경을 상기 이용자 단말로 제공할 수 있다(S270).
이후에는, 상기 이용자 단말이 상기 협력사 서버로 상기 제품의 구매에 따른 비용을 블록체인 코인으로 제공하고(S280), 상기 이용자 단말이 상기 협력사 서버로 상기 제품의 후기 및 평점을 등록하되, 분산형 공개 원장에 상기 후기 및 평점이 등록할 수 있다(S290).
즉, 이와 같이 도출된 평면도를 기반으로 3D 모델링 예시공간을 구현 및 커스터마이징한 이후에는, 자동으로 견적 산출과 시공 협력사 연결을 통해 스마트 팩토리 시공재료의 자동 주문을 제공할 수 있다.
한편, 본 발명의 일실시예에 따르면, 이와 같은 인테리어 추천 방법을 위하여 GAN(Generative adversarial network)을 훈련시키는 단계를 더 포함하여 구성될 수 있다.
또한, 이때 본 발명의 일실시예에 따르면 GAN의 종류 중의 하나인 CGAN(Conditional Generative adversarial network)을 사용할 수 있으며, 테마별 인테리어 디자인을 분류한 스타일 데이터셋(Style Dataset)과, 장소 별로 분류한 로케이션 데이터셋(Location Datase)을 이용해 상기 CGAN을 훈련시킬 수 있다.
이후부터는 본 발명에서 사용되는 GAN(Generative adversarial network)에 대하여 설명하기로 한다.
도 6을 참조하면, GAN(Generative adversarial network)은 원 데이터 가진 확률를 측정하여 분포를 생성해내는 비지도학습(Unsupervised learning)의 일종으로서, 생성자(Generator)와 판별자(Discriminator) 두 개의 신경망이 서로 적대적으로 경쟁 한다. 이를 통하여 진짜 같은 가짜인 고품질 사진 합성이 가능하여 사진 및 동영상에서 다양하게 사용되고 있으며, WGAN, Cycle GAN, Star GAN, DiscoGAN 등 성능을 개선하고 활용도를 높인 다앙햔 모델이 등장하고 있다.
도 7을 참조하면, CGAN은 기존 GAN에서 조건에 맞는 이미지를 생성하기 위한 모델로서, 일반적인 GAN이 노이즈만을 input으로 하여 출력물을 통제할 수 없었다면, CGAN은 스타일 등의 특정한 조건(벡터 y)을 추가하여 통제하도록 한다.
도 8 및 도 9를 참조하면, StarGAN은 하나의 모델을 이용하여 다양한 스타일의 이미지로 변환시킬 수 있는 모델로서, 하나의 StarGAN으로 사람을 남자, 노인, 금발등의 다양한 스타일로 변환하는 것이 가능하다.
도 10을 참조하면, CycleGAN은 이미지의 스타일을 변경하는 pix2pix 신경망에 GAN을 접목하여 발전한 것으로, 낮을 밤으로, 모네 풍의 이미지를고흐 풍과 같이 이미지 변환하는 것이 가능하다.
도 11을 참조하면, CycleGAN은 2쌍의 생성자(Generator)와 판별자(Discriminator)가 존재하며, 생성자는 A에서 B 또는 B에서 A로 이미지를 변환하고 판별자는 도메인A, 도메인B 이미지의 진위를 가려내며, 다른 사람의 얼굴을 사실적인 이미지로 합성하는 Deep Fake가 이 CycleGAN의 응용이다.
한편, GAN 신경망의 성능을 향상시키기 위해서는 다양한 모델 구조와 hyperparameter 상에서 실험하며 최적의 결과를 찾아나가야 한다. GAN 모델 최적화에서 변경할 수 있는 다양한 변수로는 레이어 구조와 신경망 활성함수가 있다.
레이어 구조는 생성자의 TransConv2D + ReLU layer 개수, 판별자의 Conv2D + LeakyReLU layer, Fully connected layer를 거쳐 진짜와 가짜를 판별하고 Stride 수, layer의 channel수 등을 조작하는 것이 가능하도록 한다.
일반적으로 모델이 복잡할수록 선명한 이미지를 얻을 수 있으나 연산량이 늘어나고, 훈련과정은 더욱 불안정해지기 때문에 mode collapse와 같은 실패도 일어날 수 있다. 이를 방지하기 위해서는 생성자와 판별자의 구조적 균형이 중요하다.
도 12를 참조하면, 신경망 활성함수(activation function)는 전 레이어에서 입력받은 값을 다음 레이어에서 출력할지 결정하는 함수를 뜻한다. 결과물을 얻기 전 활성함수로 Sigmoid 활성함수와 Tanh 등의 활성함수를 사용할 수 있다.
Learning Rate은 최적화된 점을 찾기 위해 값을 얼마만큼 조정할 것인가에 대한 비율로서, Learning Rate가 과도하게 클 경우 극소점 바깥으로 튕겨 나가는 Overshooting 문제가 발생하고, 반면 너무 작을 경우 극소점을 찾는 속도가 느려지는 단점이 있다.
Batch Size는 Training Data를 묶음으로 나눌 때 한 묶음 당 데이터의 Size로서, 데이터를 작은 묶음으로 input하여 효율적인 학습이 이루어지게 한다.
Epoch는 Training Data가 신경망을 통과한 횟수를 의미하며, 너무 크면 Overfitting 현상이 발생한다.
또한, GAN의 생성자(Discriminator)와 판별자(Generator)의 손실 함수(Loss Function)의 변화를 통해 훈련이 잘 진행되는지 모니터링할 수 있다.
이상적으로 생성자와 판별자의 손실 함수 값이 비슷하며 안정적으로 유지되는 경우 GAN training이 원활하게 이루어진다고 볼 수 있다.
도 13은 이상적 트레이닝의 손실함수를 도시하고 있으며, 도 14는 수렴에 실패한 트레이닝의 손실함수를 도시하고 있다.
이후부터는 본 발명의 일실시예에 따른 GAN을 이용하는 인테리어 추천 방법의 훈련 방법과 결과를 설명하기로 한다.
도 15에 도시된 바와 같이 웹페이지에서 이미지를 추출하고 다양한 사이트에서 크롤링을 통해 이미지 데이터 셋을 구출할 수 있다.
보다 구체적으로, 데이터 수집시에는 Python의 BeautifulSoup 라이브러리를 활용하여 웹페이지에서 이미지를 추출하고, Github의 이케아 인테리어 데이터셋과 오늘의집(https://ohou.se/) 사이트에서 크롤링을 시도하여 6개의 스타일별 390개의 이미지 데이터셋을 구축할 수 있다.
또한, 도 16에서와 같이 데이터셋 태그 분류 시에는 데이터셋 내의 이미지와 이에 맞는 스타일을 매칭하여 태깅을 할 수 있다.
도 17에서와 같이 CGAN을 활용하여 스타일 등의 조건 값을 입력하면 생성자는 이에 맞는 이미지를 생성하며, 판별자는 이미지의 진위 여부 및 스타일 해당 여부를 판단한다.
도 18 및 도 19, 도 20은 본 발명의 일실시예에 따른 GAN을 이용하는 인테리어 추천 방법의 훈련 결과로서, 도 18 및 도 19는 모델 구조, 도 20은 Hyperparameter를 나타내고 있다.
본 발명의 일실시예에 따르면 생성자를 판별자보다 촘촘하게 구성, Batch Normalization을 통해 기울기 소실(Gradient Vanishing)을 최소화하고, 배치사이즈는 30, 8000회의 학습을 반복하고, 학습률은 0.0005, 최종 이미지 사이즈는 200*200으로 설정한다. 손실함수로는 Mean Square Error 사용하고 안정적 훈련이 가능한 모델구조와 Parameter값을 적용한다.
도 21을 참조하면 판별자 손실 함수는 0.05~0.1 내외, 생성자 손실 함수는 0.7~1.3 내외에서 점차 수렴하는 모습을 보인다. 또한, 판별자의 손실 함수가 0이 되거나, 생성자 손실 함수가 진동하는 Model Collapse는 발생하지 않았다.
구체적인 예로서, 인테리어 스타일별로 이미지를 분류한 Style Dataset과 장소(거실, 욕실 등)별로 분류한 Location Dataset을 CGAN을 통해 훈련할 수 있으며, Style Dataset은 3140 * 2(좌우 대칭), 총 6280개의 이미지를 트레이닝하고, Location Dataset은 5630 * 2 (좌우 대칭), 총 11260개의 이미지를 트레이닝 하였다.
도 22 및 도 23을 참조하면, 색채와 같은 각 인테리어 스타일별 특유의 특징이 나타나는 것을 볼 수 있으며, 전반적으로 가구의 세부적인 표현, 천장과 바닥의 위치 등이 표현되고, Style별 이미지 생성 모델에서는 색상, 분위기 등 별로 차이가 발생하였으며, 위치별 이미지 생성 모델에서는 장소별 특징(책상, 침대 등)이 나타났다.
또한, 이미지 수집, 좌우 반전 등을 통한 증강 등을 통해 데이터 셋의 품질을 올리는 경우 더욱 향상된 인테리어 디자인 이미지 생성이 가능하다.
도 24에서와 같이 StarGAN을 활용하여 이용자가 원하는 이미지를 넣으면 여러 가지의 스타일로 변환하여 제공할 수 있으며, 다양한 스타일 변환을 하나의 모델로 해결할 수 있다.
도 25 및 도 26을 참조하면, CycleGAN을 활용하여 실내 이미지에 이용자가 원하는 가구를 지정하고 테두리를 그려 넣으면 적합한 가구를 배치하여 출력할 수 있다. 이때 Image-to-Image translation를 통해 실제 인테리어 이미지와 단순화한 이미지 변환이 이루어진다.
또한, 도 27을 참조하여 본 발명에서 사용되는 블록체인을 설명하기로 한다.
블록체인은 누구나 열람할 수 있는 디지털 장부에 거래 내역을 투명하게 기록하고, 여러대의 컴퓨터에 이를 복제해 저장하는 분산형 데이터 저장기술을 말한다. 블록단위의 노드는 서로 다른 블록과 연결돼 상호 공유하며 투명성을 확보한다. 블록체인에 참여하는 모든 노드는 분산형, 확정성, 투명성을 기반으로 검증할 수 있는 노드로 만들어진다. 블록체인 네트워크에 소속된 노드들은 서로 신뢰성을 주는 합의 알고리즘이라는 아키텍처를 사용해 임의적인 조작을 방지하고 있다.
또한, 블록체인에서 합의 알고리즘은 탈중앙화된 시스템의 무결성과 보안을 유지하는 역할을 한다. 탈중앙화된 블록체인의 노드는 분산화되어 트랜잭션의 유효성에 합의가 필요하며, 다시 말해 비잔티움 장애를 극복하기 위한 방안으로 볼 수 있다.
그 중 균형작업증명(EPOW, Equilibrium Proof of Work)은 기존의 블록체인 채굴의 집중화 문제와 연산화 과정의 전기 자원을 절약할 수 있는, 작업 증명 채굴에서의 '균형'을 고려한 합의 알고리즘이다. 이는 기존의 작업증명(Proof of Work) 작업 증명 방식과 동일하지만, Lyra2Rev2 ASICresistent 알고리즘을 구성하여 한 번 채굴을 완료한 노드가 일정 시간 동안 블록을 채굴하지 못하게 하여 다른 노드들의 채굴 성공 확률을 높이고 채굴 기회를 공정하게 배분한다. 또한, 다른 체인들과 달리 채굴이 분산화 되어 있어 집중화를 막고 참여하는 노드의 성격이 다양해지며, 노드수를 감소시켜 불필요한 에너지의 낭비를 최소화한다.
아울러, 본 발명에 따른 스마트 컨트랙트는 코드로 구현한 스크립트로써, 계약을 정하고 특정 조건이 충족되었을 때 해당계약이 이루어지도록 하는 장치이다. 중개자가 없으므로 중개 수수료 및 시간 절감의 효과가 있으며, 계약 이행 및 검증의 과정이 자동화되고 다수에 의한 검증이 가능한 장점이 있다.
또한, 본 발명에 따른 TOF(Time of Flight) 센서는 피사체에 광원을 쏜 후 빛이 반사되어 돌아오는 시간을 측정하여 거리를 계산한다. 도 28을 참조하면, 적외선을 쏘아서 피사체를 스캔하기 때문에 3d 스캔이 가능하며 비교적 정확한 피사체 분석이 가능한 장점이 있다.
전술한 바와 같은 본 발명의 상세한 설명에서는 구체적인 실시예에 관해 설명하였다. 그러나 본 발명의 범주에서 벗어나지 않는 한도 내에서는 여러 가지 변형이 가능하다. 본 발명의 기술적 사상은 본 발명의 전술한 실시예에 국한되어 정해져서는 안 되며, 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (15)

  1. 인테리어 추천 장치의 인테리어 추천 방법에 있어서,
    이용자 단말기로부터 이용자의 선호 정보를 수신하는 제1 단계;
    상기 이용자 단말기의 카메라를 통해 공간을 실측한 데이터를 상기 이용자 단말로부터 수신하는 제2 단계;
    상기 데이터로부터 평면도와 인테리어 요소 객체를 검출하는 제3 단계;
    GAN(Generative adversarial network)을 이용해 상기 이용자의 선호 정보를 분석하여, 상기 공간에 각 인테리어 요소를 배치하는 테마별 인테리어 디자인을 생성하여 상기 이용자 단말로 제공하는 제4 단계; 및
    상기 이용자 단말 상에서 상기 인테리어 요소가 선택되면, 협력사 서버가 상기 인테리어 요소에 매칭되는 제품의 판매를 제공하는 서비스 환경을 상기 이용자 단말로 제공하도록 하는 제5 단계;
    를 포함하는 GAN을 이용하는 인테리어 추천 방법.
  2. 청구항 1에 있어서,
    상기 제1 단계는,
    상기 인테리어 추천 장치가 상기 이용자 단말기로부터 이용자의 선호 정보를 수신하면, 상기 이용자 단말로 블록체인 코인을 제공하는 단계;
    를 더 포함하는 GAN을 이용하는 인테리어 추천 방법.
  3. 청구항 1에 있어서,
    상기 제4 단계는,
    상기 GAN(Generative adversarial network)을 이용해 상기 이용자의 선호 정보를 분석하여, 상기 이용자의 선호 정보에 상응하도록 상기 공간의 디자인과 가구 배치를 수행하여 제공하거나,
    상기 공간에 적합한 인테리어 요소를 가상 배치하여 제공하는 GAN을 이용하는 인테리어 추천 방법.
  4. 청구항 1에 있어서,
    상기 제4 단계는,
    상기 GAN(Generative adversarial network)을 이용해 상기 이용자의 선호 정보를 분석하여 적용 법령을 검색하고, 상기 검색된 결과에 따라 2D 도면에 설계 예시를 도출하고, 상기 2D 도면을 기반으로 3D 모델링 예시 공간을 구현하여, 상기 공간에 각 인테리어 요소를 배치하는 테마별 인테리어 디자인을 생성하여 제공하는 GAN을 이용하는 인테리어 추천 방법.
  5. 청구항 1에 있어서,
    상기 제5 단계는,
    상기 이용자의 선호 정보를 상기 협력사 서버로 제공하여, 상기 협력사 서버로부터 블록체인 코인을 제공받는 단계;
    를 더 포함하는 GAN을 이용하는 인테리어 추천 방법.
  6. 청구항 1에 있어서,
    상기 제5 단계의 이후에,
    상기 이용자 단말이 상기 협력사 서버로 상기 제품의 구매에 따른 비용을 블록체인 코인으로 제공하고,
    상기 이용자 단말이 상기 협력사 서버로 상기 제품의 후기 및 평점을 등록하되, 분산형 공개 원장에 상기 후기 및 평점이 등록되도록 하는 GAN을 이용하는 인테리어 추천 방법.
  7. 청구항 1에 있어서,
    상기 제1 단계의 이전에,
    상기 GAN(Generative adversarial network)을 훈련시키는 훈련 단계;
    를 더 포함하는 GAN을 이용하는 인테리어 추천 방법.
  8. 청구항 7에 있어서,
    상기 훈련 단계는,
    상기 GAN은 CGAN(Conditional Generative adversarial network)이고,
    테마별 인테리어 디자인을 분류한 스타일 데이터셋(Style Dataset)과, 장소 별로 분류한 로케이션 데이터셋(Location Datase)을 이용해 상기 CGAN을 훈련시키는 GAN을 이용하는 인테리어 추천 방법.
  9. GAN(Generative adversarial network)을 이용해 인테리어를 구성하여 추천하는 인테리어 추천 장치에 있어서,
    이용자 단말기로부터 이용자의 선호 정보와, 상기 이용자 단말기의 카메라를 통해 공간을 실측한 데이터를 수신하는 데이터 수신부;
    상기 데이터로부터 평면도와 인테리어 요소 객체를 검출하고, GAN(Generative adversarial network)을 이용해 상기 이용자의 선호 정보를 분석하여, 상기 공간에 각 인테리어 요소를 배치하는 테마별 인테리어 디자인을 생성하여 상기 이용자 단말로 제공하는 인테리어 구성부; 및
    상기 이용자 단말 상에서 상기 인테리어 요소가 선택되면, 협력사 서버가 상기 인테리어 요소에 매칭되는 제품의 판매를 제공하는 서비스 환경을 상기 이용자 단말로 제공하도록 하는 판매환경 제공부;
    를 포함하는 GAN을 이용하는 인테리어 추천 장치.
  10. 청구항 9에 있어서,
    상기 이용자 단말기로부터 이용자의 선호 정보를 수신하면, 상기 이용자 단말로 블록체인 코인을 제공하는 코인 처리부;
    를 더 포함하는 GAN을 이용하는 인테리어 추천 장치.
  11. 청구항 9에 있어서,
    상기 인테리어 구성부는,
    상기 GAN(Generative adversarial network)을 이용해 상기 이용자의 선호 정보를 분석하여, 상기 이용자의 선호 정보에 상응하도록 상기 공간의 디자인과 가구 배치를 수행하여 제공하거나,
    상기 공간에 적합한 인테리어 요소를 가상 배치하여 제공하는 GAN을 이용하는 인테리어 추천 장치.
  12. 청구항 9에 있어서,
    상기 인테리어 구성부는,
    상기 GAN(Generative adversarial network)을 이용해 상기 이용자의 선호 정보를 분석하여 적용 법령을 검색하고, 상기 검색된 결과에 따라 2D 도면에 설계 예시를 도출하고, 상기 2D 도면을 기반으로 3D 모델링 예시 공간을 구현하여, 상기 공간에 각 인테리어 요소를 배치하는 테마별 인테리어 디자인을 생성하여 제공하는 GAN을 이용하는 인테리어 추천 장치.
  13. 청구항 12에 있어서,
    상기 코인 처리부는,
    상기 이용자의 선호 정보를 상기 협력사 서버로 제공하여, 상기 협력사 서버로부터 블록체인 코인을 제공받는 GAN을 이용하는 인테리어 추천 장치.
  14. 청구항 9에 있어서,
    상기 GAN은 CGAN(Conditional Generative adversarial network)으로서, 테마별 인테리어 디자인을 분류한 스타일 데이터셋(Style Dataset)과, 장소 별로 분류한 로케이션 데이터셋(Location Datase)을 이용해 훈련되며,
    상기 인테리어 구성부는 상기 훈련된 CGAN을 이용해 상기 이용자의 선호 정보를 분석하여 상기 공간에 각 인테리어 요소를 배치하는 테마별 인테리어 디자인을 생성 상기 이용자 단말로 제공하는 GAN을 이용하는 인테리어 추천 장치.
  15. 청구항 1에 따른 GAN을 이용하는 인테리어 추천 방법을 수행하기 위한 프로그램이 수록된 기록매체.
PCT/KR2022/003324 2022-03-10 2022-03-10 Gan을 이용하는 인테리어 추천 방법 및 장치 WO2023171831A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2022/003324 WO2023171831A1 (ko) 2022-03-10 2022-03-10 Gan을 이용하는 인테리어 추천 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2022/003324 WO2023171831A1 (ko) 2022-03-10 2022-03-10 Gan을 이용하는 인테리어 추천 방법 및 장치

Publications (1)

Publication Number Publication Date
WO2023171831A1 true WO2023171831A1 (ko) 2023-09-14

Family

ID=87935496

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/003324 WO2023171831A1 (ko) 2022-03-10 2022-03-10 Gan을 이용하는 인테리어 추천 방법 및 장치

Country Status (1)

Country Link
WO (1) WO2023171831A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090058270A (ko) * 2007-12-04 2009-06-09 재단법인 포항산업과학연구원 인터넷상의 가상 리모델링 시행 서비스 제공 방법, 그시스템, 웹서버, 및 이를 실행하는 프로그램이 기록된기록매체
KR101980261B1 (ko) * 2018-06-12 2019-05-21 전동호 증강현실을 이용한 가구배치 시뮬레이션 시스템 및 방법과 이를 위한 컴퓨터 프로그램
JP6675743B1 (ja) * 2019-03-18 2020-04-01 ファミリアホームサービス株式会社 間取り図生成装置及び間取り図生成方法
KR20200048908A (ko) * 2018-10-31 2020-05-08 정재원 블록체인 기반으로 하는 검증된 여론조사와 광고시스템으로 디지털 가상화폐를 활성화하는 지식정보제공 시스템 및 방법
KR102316079B1 (ko) * 2021-03-11 2021-10-22 서울대학교산학협력단 Gan을 이용하는 인테리어 추천 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090058270A (ko) * 2007-12-04 2009-06-09 재단법인 포항산업과학연구원 인터넷상의 가상 리모델링 시행 서비스 제공 방법, 그시스템, 웹서버, 및 이를 실행하는 프로그램이 기록된기록매체
KR101980261B1 (ko) * 2018-06-12 2019-05-21 전동호 증강현실을 이용한 가구배치 시뮬레이션 시스템 및 방법과 이를 위한 컴퓨터 프로그램
KR20200048908A (ko) * 2018-10-31 2020-05-08 정재원 블록체인 기반으로 하는 검증된 여론조사와 광고시스템으로 디지털 가상화폐를 활성화하는 지식정보제공 시스템 및 방법
JP6675743B1 (ja) * 2019-03-18 2020-04-01 ファミリアホームサービス株式会社 間取り図生成装置及び間取り図生成方法
KR102316079B1 (ko) * 2021-03-11 2021-10-22 서울대학교산학협력단 Gan을 이용하는 인테리어 추천 방법 및 장치

Similar Documents

Publication Publication Date Title
KR102316079B1 (ko) Gan을 이용하는 인테리어 추천 방법 및 장치
Herrera-Viedma et al. Revisiting fuzzy and linguistic decision making: Scenarios and challenges for making wiser decisions in a better way
Khelloufi et al. A social-relationships-based service recommendation system for SIoT devices
Dong et al. Consensus reaching in social network group decision making: Research paradigms and challenges
Zhang et al. Joint representation learning for top-n recommendation with heterogeneous information sources
Ioannidis et al. A recurrent graph neural network for multi-relational data
Ambeth Kumar et al. IOT-based smart museum using wearable device
JP2022553252A (ja) 画像処理方法、画像処理装置、サーバ、及びコンピュータプログラム
WO2019168223A1 (ko) 몰입형 가상피팅 연계 서비스 제공 시스템 및 몰입형 가상피팅 연계 서비스 제공 방법
Fieldsend et al. Visualising the landscape of multi-objective problems using local optima networks
JP6031210B1 (ja) 販売予測装置、販売予測方法、およびプログラム
Nazarenko et al. The role of digital twins in collaborative cyber-physical systems
WO2023044172A1 (en) Systems and method for calculating liability of a driver of a vehicle
Kroshchanka et al. A neural-symbolic approach to computer vision
CN112069916A (zh) 人脸美丽预测方法、装置、系统及可读存储介质
WO2023171831A1 (ko) Gan을 이용하는 인테리어 추천 방법 및 장치
US11397872B2 (en) Technique for machine visual learning
Bertini et al. Card sorting techniques for domain characterization in problem-driven visualization research
Wu et al. An AIGC-empowered methodology to product color matching design
CN113159152B (zh) 基于树形结构的多标签预测方法、控制器和介质
CN114840775A (zh) 一种融合多空间特征的网络对齐模型及其应用
KR102465453B1 (ko) 가상화장 합성 처리 인공지능 장치 및 방법
Chen et al. An intuitive pre-processing method based on human–robot interactions: zero-shot learning semantic segmentation based on synthetic semantic template
Virmani et al. GAPER: gender, age, pose and emotion recognition using deep neural networks
CN115203516A (zh) 基于人工智能的信息推荐方法、装置、设备及存储介质

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 17921970

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22931079

Country of ref document: EP

Kind code of ref document: A1