KR102316079B1

KR102316079B1 - Gan을 이용하는 인테리어 추천 방법 및 장치

Info

Publication number: KR102316079B1
Application number: KR1020210032206A
Authority: KR
Inventors: 이제승; 김도현; 황수웅; 최준혁
Original assignee: 서울대학교산학협력단
Priority date: 2021-03-11
Filing date: 2021-03-11
Publication date: 2021-10-22
Also published as: KR102316079B9

Abstract

본 발명은 GAN을 이용하는 인테리어 추천 방법 및 장치에 관한 것으로, 본 발명의 일실시예에 따른 GAN을 이용하는 인테리어 추천 방법은 이용자 단말기로부터 이용자의 선호 정보를 수신하는 제1 단계; 상기 이용자 단말기의 카메라를 통해 공간을 실측한 데이터를 상기 이용자 단말로부터 수신하는 제2 단계; 상기 데이터로부터 평면도와 인테리어 요소 객체를 검출하는 제3 단계; GAN(Generative adversarial network)을 이용해 상기 이용자의 선호 정보를 분석하여, 상기 공간에 각 인테리어 요소를 배치하는 테마별 인테리어 디자인을 생성하여 상기 이용자 단말로 제공하는 제4 단계; 및 상기 이용자 단말 상에서 상기 인테리어 요소가 선택되면, 협력사 서버가 상기 인테리어 요소에 매칭되는 제품의 판매를 제공하는 서비스 환경을 상기 이용자 단말로 제공하도록 하는 제5 단계;를 포함하여 구성된다.

Description

GAN을 이용하는 인테리어 추천 방법 및 장치{GAN based interior design recommendation method and device}

본 발명은 GAN을 이용하는 인테리어 추천 방법 및 장치에 관한 것으로, 보다 상세하게는 GAN을 이용하 공간의 분위기와 이용자의 선호를 고려해 개인화된 맞춤형 인테리어를 제공할 수 있는 인테리어 추천 방법 및 장치에 관한 것이다.

신기술의 발달, 1인 가구 증가, COVID-19의 장기화에 따라 재택 활동이 증가하며 소규모 리모델링 및 셀프 인테리어 관련 수요가 증가하고 있다. 또한, 대형 가구 전문점, DIY 전문점, 온라인 인테리어 플랫폼의 이용건수가 증가하고 있으며, 특히 상승세가 두드러지는 온라인 인테리어 플랫폼은 다양한 스타트업을 필두로 이용자수를 늘려가며 서비스의 확대중이다.

집이라는 공간이 단지 쉬고 사적인 일을 처리하는 공간이 아니라, 집의 특정한 공간은 재택업무를 할 수 있는 공간으로 변화하고 있고 자연스럽게 집에 머무는 시간이 많아지면서 집의 구조와 인테리어에 대한 기존의 개념이 수정되고 있다.

그러나, 현재 서비스 중인 온라인 인테리어 플랫폼들은 시공 사례 등의 제한된 서비스만 제공하여 갈수록 다양해지는 사람들의 선호와 대상 공간에 적합한 디자인을 적용하기 어려운 상황이다. 특히 인테리어의 변화를 위하여 이용자(고객)는 근처의 인테리어 업자를 통해 제한적으로 서비스를 받을 수밖에 없으며, 대형 인테리어 퍼니싱 회사에서 제공하는 컨설팅 프로그램의 경우 매장 직접 방문 후 상담으로 이루어지며, 상담 전 대상 공간의 실제 치수를 직접 측정해야 하고, 첫 상담시 유료인 경우가 있으며, 따로 집 방문을 예약하여 상담서비스를 받아야 하는 등 상당한 시간이 소요되는 등 불합리한 요소들이 있다.

또한, 셀프 인테리어를 시공하는 개인의 경우 시행착오로 낭비되는 시간과 재화가 적지 않고 결국 제반 기술이나 부자재, 공구 등을 마련해야 하고 시공이 실패할 확률이 있다는 단점이 있다.

따라서, 이용자별로 개인화된 인테리어 코디네이션 기능이 필요하며, 빠르게 공간의 컨셉을 바꿔보고 추천된 인테리어 요소들에 대해 자유롭게 적용이 가능한 기술에 대한 요구가 높아지고 있다.

본 발명은 전술한 문제를 해결하기 위해 안출된 것으로서, 적대적 인공지능 신경망인 GAN(Generative Adversarial Networks)을 활용하고, ToF(Time of Flight) 센서가 내장된 단말기의 카메라를 이용하여, 이용자가 원하는 장소와 사전 설문 데이터를 바탕으로 학습된 인테리어 추천 방법 및 장치를 제공하여, 공간의 분위기와 이용자의 선호를 고려해 개인화된 맞춤형 추천 서비스를 제공하고자 한다.

전술한 문제를 해결하기 위한 본 발명의 일실시예에 따른 GAN을 이용하는 인테리어 추천 방법은 이용자 단말기로부터 이용자의 선호 정보를 수신하는 제1 단계; 상기 이용자 단말기의 카메라를 통해 공간을 실측한 데이터를 상기 이용자 단말로부터 수신하는 제2 단계; 상기 데이터로부터 평면도와 인테리어 요소 객체를 검출하는 제3 단계; GAN(Generative adversarial network)을 이용해 상기 이용자의 선호 정보를 분석하여, 상기 공간에 각 인테리어 요소를 배치하는 테마별 인테리어 디자인을 생성하여 상기 이용자 단말로 제공하는 제4 단계; 및 상기 이용자 단말 상에서 상기 인테리어 요소가 선택되면, 협력사 서버가 상기 인테리어 요소에 매칭되는 제품의 판매를 제공하는 서비스 환경을 상기 이용자 단말로 제공하도록 하는 제5 단계;를 포함하여 구성된다.

본 발명의 다른 일실시예에 따르면, 상기 제1 단계는 상기 인테리어 추천 장치가 상기 이용자 단말기로부터 이용자의 선호 정보를 수신하면, 상기 이용자 단말로 블록체인 코인을 제공하는 단계;를 더 포함하여 구성될 수 있다.

본 발명의 다른 일실시예에 따르면, 상기 제4 단계는 상기 GAN(Generative adversarial network)을 이용해 상기 이용자의 선호 정보를 분석하여, 상기 이용자의 선호 정보에 상응하도록 상기 공간의 디자인과 가구 배치를 수행하여 제공하거나, 상기 공간에 적합한 인테리어 요소를 가상 배치하여 제공할 수 있다.

본 발명의 다른 일실시예에 따르면, 상기 제4 단계는 상기 GAN(Generative adversarial network)을 이용해 상기 이용자의 선호 정보를 분석하여 적용 법령을 검색하고, 상기 검색된 결과에 따라 2D 도면에 설계 예시를 도출하고, 상기 2D 도면을 기반으로 3D 모델링 예시 공간을 구현하여, 상기 공간에 각 인테리어 요소를 배치하는 테마별 인테리어 디자인을 생성하여 제공할 수 있다.

본 발명의 다른 일실시예에 따르면, 상기 제5 단계는 상기 이용자의 선호 정보를 상기 협력사 서버로 제공하여, 상기 협력사 서버로부터 블록체인 코인을 제공받는 단계;를 더 포함할 수 있다.

본 발명의 다른 일실시예에 따르면, 상기 제5 단계의 이후에, 상기 이용자 단말이 상기 협력사 서버로 상기 제품의 구매에 따른 비용을 블록체인 코인으로 제공하고, 상기 이용자 단말이 상기 협력사 서버로 상기 제품의 후기 및 평점을 등록하되, 분산형 공개 원장에 상기 후기 및 평점이 등록되도록 할 수 있다.

본 발명의 다른 일실시예에 따르면, 상기 제1 단계의 이전에, 상기 GAN(Generative adversarial network)을 훈련시키는 훈련 단계;를 더 포함할 수 있다.

본 발명의 다른 일실시예에 따르면, 상기 훈련 단계는 상기 GAN은 CGAN(Conditional Generative adversarial network)이고, 테마별 인테리어 디자인을 분류한 스타일 데이터셋(Style Dataset)과, 장소 별로 분류한 로케이션 데이터셋(Location Datase)을 이용해 상기 CGAN을 훈련시킬 수 있다.

본 발명의 일실시예에 따른 GAN을 이용하는 인테리어 추천 장치는 이용자 단말기로부터 이용자의 선호 정보와, 상기 이용자 단말기의 카메라를 통해 공간을 실측한 데이터를 수신하는 데이터 수신부; 상기 데이터로부터 평면도와 인테리어 요소 객체를 검출하고, GAN(Generative adversarial network)을 이용해 상기 이용자의 선호 정보를 분석하여, 상기 공간에 각 인테리어 요소를 배치하는 테마별 인테리어 디자인을 생성하여 상기 이용자 단말로 제공하는 인테리어 구성부; 및 상기 이용자 단말 상에서 상기 인테리어 요소가 선택되면, 협력사 서버가 상기 인테리어 요소에 매칭되는 제품의 판매를 제공하는 서비스 환경을 상기 이용자 단말로 제공하도록 하는 판매환경 제공부;를 포함하여 구성된다.

본 발명의 다른 일실시예에 따르면, 상기 이용자 단말기로부터 이용자의 선호 정보를 수신하면, 상기 이용자 단말로 블록체인 코인을 제공하는 코인 처리부;를 더 포함하여 구성될 수 있다.

본 발명의 다른 일실시예에 따르면, 상기 인테리어 구성부는 상기 GAN(Generative adversarial network)을 이용해 상기 이용자의 선호 정보를 분석하여, 상기 이용자의 선호 정보에 상응하도록 상기 공간의 디자인과 가구 배치를 수행하여 제공하거나, 상기 공간에 적합한 인테리어 요소를 가상 배치하여 제공할 수 있다.

본 발명의 다른 일실시예에 따르면, 상기 인테리어 구성부는 상기 GAN(Generative adversarial network)을 이용해 상기 이용자의 선호 정보를 분석하여 적용 법령을 검색하고, 상기 검색된 결과에 따라 2D 도면에 설계 예시를 도출하고, 상기 2D 도면을 기반으로 3D 모델링 예시 공간을 구현하여, 상기 공간에 각 인테리어 요소를 배치하는 테마별 인테리어 디자인을 생성하여 제공할 수 있다.

본 발명의 다른 일실시예에 따르면, 상기 코인 처리부는 상기 이용자의 선호 정보를 상기 협력사 서버로 제공하여, 상기 협력사 서버로부터 블록체인 코인을 제공받을 수 있다.

본 발명의 다른 일실시예에 따르면, 상기 GAN은 CGAN(Conditional Generative adversarial network)으로서, 테마별 인테리어 디자인을 분류한 스타일 데이터셋(Style Dataset)과, 장소 별로 분류한 로케이션 데이터셋(Location Datase)을 이용해 훈련되며, 상기 인테리어 구성부는 상기 훈련된 CGAN을 이용해 상기 이용자의 선호 정보를 분석하여 상기 공간에 각 인테리어 요소를 배치하는 테마별 인테리어 디자인을 생성 상기 이용자 단말로 제공할 수 있다.

본 발명은 인공지능 알고리즘을 활용한 인테리어 추천 서비스와 이를 포함하는 블록체인 기반 플랫폼으로, GAN(Generative Adversarial Networks) 알고리즘을 이용하여 복수의 테마별 인테리어 스타일을 추천하고, 상품 및 요소를 즉각적으로 적용하거나 현재 공간의 스타일을 파악하고 그에 맞는 인테리어 상품을 자동으로 추천한다. 실제 알고리즘 프로토타입을 구축하여 원하는 인테리어 스타일의 공간 사진을 생성 하였고, 추후 데이터셋의 확보와 개선된 모델을 통해서 해당 공간을 원하는 스타일로 변환하거나 원하는 가구를 합성하는 수준까지 도달할 예정이다. 이는 기존의 기성품만 추천해주는 것이 아닌, 알고리즘을 바탕으로 새로운 디자인도 제시하며 이를 바탕으로 스마트 팩토리와 연계한 서비스 상품도 제공한다.

또한, 본 발명은 GAN(Generative Adversarial Networks)과 ToF 센서가 내장된 단말기의 카메라를 이용하여 공간의 분위기와 이용자의 선호를 고려해 개인화된 맞춤형 인테리어 추천 서비스를 제공하고, 인테리어 견적 방법과 인공지능 법령검토 정합성 평가, 기성품 및 스마트팩토리 협력사 중개 기능을 포함하고 안전하고 투명한 운영을 제공하는 블록체인 체계를 제공할 수 있다.

또한, 본 발명에 따른 인테리어 추천 방법 및 장치는 이용자들의 활동을 바탕으로 생성되는 데이터를 추천 모델 개선에 사용하고, 가공하여 협력사를 위한 고객 타게팅 자료로 제공하여 활용되도록 하며, 인테리어 추천 시스템의 자체적인 코인으로 순환되어 코인의 인플레이션을 방지하고, 지속적인 가치의 상승을 유도할 수 있다.

도 1은 본 발명의 일실시예에 따른 GAN을 이용하는 인테리어 추천 시스템을 설명하기 위한 도면이다.
도 2는 본 발명의 일실시예에 따른 GAN을 이용하는 인테리어 추천 장치의 구성도이다.
도 3은 본 발명의 일실시예에 따른 GAN을 이용하는 인테리어 추천 방법을 설명하기 위한 흐름도이다.
도 4 및 도 5는 본 발명의 일실시예에 따른 GAN을 이용하는 인테리어 추천 방법을 설명하기 위한 도면이다.
도 6 내지 도 14는 본 발명의 일실시예에서 사용되는 GAN(Generative adversarial network)에 대하여 설명하기 위한 도면이다.
도 15 내지 도 25는 본 발명의 일실시예에 따른 GAN을 이용하는 인테리어 추천 방법의 훈련 방법과 결과를 설명하기 위한 도면이다.
도 26은 본 발명의 일실시예에 따른 인테리어 추천 방법 및 시스템에서 사용되는 블록체인을 설명하기 위한 도면이다.
도 27은 본 발명의 일실시예에 따른 TOF(Time of Flight) 센서를 설명하기 위한 도면이다.

이하에서는 첨부한 도면을 참조하여 바람직한 본 발명의 일실시예에 대해서 상세히 설명한다. 다만, 실시형태를 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략한다. 또한, 도면에서의 각 구성요소들의 크기는 설명을 위하여 과장될 수 있으며, 실제로 적용되는 크기를 의미하는 것은 아니다.

도 1은 본 발명의 일실시예에 따른 GAN을 이용하는 인테리어 추천 시스템을 설명하기 위한 도면이고, 도 2는 본 발명의 일실시예에 따른 GAN을 이용하는 인테리어 추천 장치의 구성도이다.

이후부터는 도 1 및 도 2를 참조하여 GAN을 이용하는 인테리어 추천 시스템 및 추천 장치에 대하여 설명하기로 한다.

본 발명의 일실시예에 따른 GAN을 이용하는 인테리어 추천 시스템은 이용자 단말(110), 인테리어 추천 장치(120) 및 협력사 서버(130)를 포함하여 구성될 수 있다.

이용자는 이용자 단말(110)을 통해 인테리어 추천 장치(플랫폼: 120)을 이용하면서 인테리어에 관한 관심 분야 데이터를 인테리어 추천 장치(120)에 제공하고, 이에 대한 보상으로 코인을 지급받을 수 있다.

인테리어 추천 장치(120)는 이용자의 선호 데이터와 상기 이용자 단말(110)의 ToF 센서 카메라로 촬영된 공간을 분석하여 인테리어 디자인을 추천할 수 있다.

또한, 인테리어 추천 장치(120)는 이용자의 다양한 선호데이터를 분석하여 협력사 서버(130)에 제공하고, 이에 대한 비용으로서 코인을 지급받아 거래할 수 있다.

그에 따라, 협력사는 이용자의 다양한 데이터 패턴과 소비자 트렌드를 파악하여, 이용자의 취향대로 제품과 서비스를 제공할 수 있으며, 스마트 팩토리를 통해 주문 제작을 하는 등 이용자와 직접 거래가 가능하다.

이때, 상기 이용자 단말(110), 인테리어 추천 장치(120) 및 협력사 서버(130) 간의 각 거래 단계에서는 스마트 컨트랙트가 적용되어 투명하고 안전한 방식의 거래가 이루어질 수 있다.

도 2를 참조하면, 본 발명의 일실시예에 따른 인테리어 추천 장치(120)는 데이터 수신부(121), 인테리어 구성부(122), 판매환경 제공부(123) 및 코인 처리부(124)를 포함하여 구성될 수 있다.

데이터 수신부(121)는 이용자 단말기로부터 이용자의 선호 정보와, 상기 이용자 단말기의 카메라를 통해 공간을 실측한 데이터를 수신한다.

인테리어 구성부(122)는 상기 데이터로부터 평면도와 인테리어 요소 객체를 검출하고, GAN(Generative adversarial network)을 이용해 상기 이용자의 선호 정보를 분석한다.

또한, 상기 인테리어 구성부(122)는 상기 공간에 각 인테리어 요소를 배치하는 테마별 인테리어 디자인을 생성하여 상기 이용자 단말로 제공한다.

보다 구체적으로, 상기 인테리어 구성부(122)는 상기 GAN(Generative adversarial network)을 이용해 상기 이용자의 선호 정보를 분석하여 적용 법령을 검색하고, 상기 검색된 결과에 따라 2D 도면에 설계 예시를 도출하고, 상기 2D 도면을 기반으로 3D 모델링 예시 공간을 구현하여, 상기 공간에 각 인테리어 요소를 배치하는 테마별 인테리어 디자인을 생성하여 제공할 수 있다.

이때, 상기 인테리어 구성부(122)는 상기 GAN(Generative adversarial network)을 이용해 상기 이용자의 선호 정보를 분석하여, 상기 이용자의 선호 정보에 상응하도록 상기 공간의 디자인과 가구 배치를 수행하여 제공하거나, 상기 공간에 적합한 인테리어 요소를 가상 배치하여 제공할 수 있다.

판매환경 제공부(123)는 상기 이용자 단말 상에서 상기 인테리어 요소가 선택되면, 협력사 서버가 상기 인테리어 요소에 매칭되는 제품의 판매를 제공하는 서비스 환경을 상기 이용자 단말로 제공한다.

코인 처리부(124)는 상기 이용자 단말기로부터 이용자의 선호 정보를 수신하면, 상기 이용자 단말로 블록체인 코인을 제공한다.

또한, 상기 코인 처리부(124)는 상기 이용자의 선호 정보를 상기 협력사 서버로 제공하여, 상기 협력사 서버로부터 블록체인 코인을 제공받도록 처리할 수 있다.

한편, 본 발명에 따른 GAN은 CGAN(Conditional Generative adversarial network)으로서, 테마별 인테리어 디자인을 분류한 스타일 데이터셋(Style Dataset)과, 장소 별로 분류한 로케이션 데이터셋(Location Datase)을 이용해 훈련될 수 있으며, 상기 인테리어 구성부(122)는 상기 훈련된 CGAN을 이용해 상기 이용자의 선호 정보를 분석하여 상기 공간에 각 인테리어 요소를 배치하는 테마별 인테리어 디자인을 생성 상기 이용자 단말로 제공할 수 있다.

도 3은 본 발명의 일실시예에 따른 GAN을 이용하는 인테리어 추천 방법을 설명하기 위한 흐름도이고, 도 4 및 도 5는 본 발명의 일실시예에 따른 GAN을 이용하는 인테리어 추천 방법을 설명하기 위한 도면이다.

이후부터는 도 3 내지 도 5를 참조하여 본 발명의 일실시예에 따른 GAN을 이용하는 인테리어 추천 방법을 설명하기로 한다.

먼저, 이용자 단말기로부터 이용자의 선호 정보를 수신한다(S210).

이때, 최초 가입시 이용자 설문조사를 통해 이용자의 기본적인 선호사항 파악하며, 상기 인테리어 추천 장치가 상기 이용자 단말기로부터 이용자의 선호 정보를 수신하면, 상기 이용자 단말로 블록체인 코인을 제공할 수 있다.

또한, 이용자 단말기의 카메라를 통해 공간을 실측한 데이터를 상기 이용자 단말로부터 수신하여(S220), 상기 데이터로부터 평면도와 인테리어 요소 객체를 검출한다(S230).

이때, 이용자는 이용자 단말기를 통해 단말기 통해 서비스를 실행하고, 단말기 내의 ToF(Time of Flight) 센서가 내장된 상기 이용자 단말의 카메라로 공간을 실측 하여 데이터 획득하여, 평면도 산출 및 기존에 배치된 인테리어 요소 객체를 검출할 수 있다.

이후, GAN(Generative adversarial network)을 이용해 상기 이용자의 선호 정보를 분석하여(S240), 상기 공간에 각 인테리어 요소를 배치하는 테마별 인테리어 디자인을 생성하여 상기 이용자 단말로 제공한다(S250).

이때, GAN(Generative Adversarial Networks) 기반 추천 모델과 이용자 설문을 바탕으로 인테리어 스타일 매칭하여, 이용자가 원하는 스타일로 대상 공간 디자인과 가구 배치를 수행하거나, 현재 공간 스타일에 적합한 인테리어 요소를 가상 배치할 수 있다.

즉, 상기 GAN(Generative adversarial network)을 이용해 상기 이용자의 선호 정보를 분석하여, 상기 이용자의 선호 정보에 상응하도록 상기 공간의 디자인과 가구 배치를 수행하여 제공하거나, 상기 공간에 적합한 인테리어 요소를 가상 배치하여 제공할 수 있으며, 이를 위하여 상기 GAN(Generative adversarial network)을 이용해 상기 이용자의 선호 정보를 분석하여 적용 법령을 검색하고, 상기 검색된 결과에 따라 2D 도면에 설계 예시를 도출하고, 상기 2D 도면을 기반으로 3D 모델링 예시 공간을 구현하여, 상기 공간에 각 인테리어 요소를 배치하는 테마별 인테리어 디자인을 생성하여 제공할 수 있다.

이와 같이 대상 공간을 이용자의 선호 스타일로 전면 리모델링할 경우 건축법, 소방법, 지구단위계획등 수많은 법령을 검토해야한다. 도 5에 도시된 바와 같이, 먼저 업종 및 용도 등 리모델링에 앞서 법적 검토에 필요한 최소 데이터를 입력하고, 그 후 인공지능이 적용 법령을 자동 검색하며, 검색된 결과를 바탕으로 2D 도면에 ArchiGAN을 이용해 설계 예시를 도출한다.

아울러, 이때 인테리어 추천 장치는 상기 이용자의 선호 정보를 상기 협력사 서버로 제공하여, 상기 협력사 서버로부터 블록체인 코인을 제공받을 수 있다.

이와 같은 테마별 인테리어 디자인을 생성하여 제공한 이후에는, 상기 이용자 단말 상에서 상기 인테리어 요소가 선택되면(S260), 협력사 서버가 상기 인테리어 요소에 매칭되는 제품의 판매를 제공하는 서비스 환경을 상기 이용자 단말로 제공할 수 있다(S270).

이후에는, 상기 이용자 단말이 상기 협력사 서버로 상기 제품의 구매에 따른 비용을 블록체인 코인으로 제공하고(S280), 상기 이용자 단말이 상기 협력사 서버로 상기 제품의 후기 및 평점을 등록하되, 분산형 공개 원장에 상기 후기 및 평점이 등록할 수 있다(S290).

즉, 이와 같이 도출된 평면도를 기반으로 3D 모델링 예시공간을 구현 및 커스터마이징한 이후에는, 자동으로 견적 산출과 시공 협력사 연결을 통해 스마트 팩토리 시공재료의 자동 주문을 제공할 수 있다.

한편, 본 발명의 일실시예에 따르면, 이와 같은 인테리어 추천 방법을 위하여 GAN(Generative adversarial network)을 훈련시키는 단계를 더 포함하여 구성될 수 있다.

또한, 이때 본 발명의 일실시예에 따르면 GAN의 종류 중의 하나인 CGAN(Conditional Generative adversarial network)을 사용할 수 있으며, 테마별 인테리어 디자인을 분류한 스타일 데이터셋(Style Dataset)과, 장소 별로 분류한 로케이션 데이터셋(Location Datase)을 이용해 상기 CGAN을 훈련시킬 수 있다.

이후부터는 본 발명에서 사용되는 GAN(Generative adversarial network)에 대하여 설명하기로 한다.

도 6을 참조하면, GAN(Generative adversarial network)은 원 데이터 가진 확률를 측정하여 분포를 생성해내는 비지도학습(Unsupervised learning)의 일종으로서, 생성자(Generator)와 판별자(Discriminator) 두 개의 신경망이 서로 적대적으로 경쟁 한다. 이를 통하여 진짜 같은 가짜인 고품질 사진 합성이 가능하여 사진 및 동영상에서 다양하게 사용되고 있으며, WGAN, Cycle GAN, Star GAN, DiscoGAN 등 성능을 개선하고 활용도를 높인 다앙?h 모델이 등장하고 있다.

도 7을 참조하면, CGAN은 기존 GAN에서 조건에 맞는 이미지를 생성하기 위한 모델로서, 일반적인 GAN이 노이즈만을 input으로 하여 출력물을 통제할 수 없었다면, CGAN은 스타일 등의 특정한 조건(벡터 y)을 추가하여 통제하도록 한다.

도 8 및 도 9를 참조하면, StarGAN은 하나의 모델을 이용하여 다양한 스타일의 이미지로 변환시킬 수 있는 모델로서, 하나의 StarGAN으로 사람을 남자, 노인, 금발등의 다양한 스타일로 변환하는 것이 가능하다.

도 10을 참조하면, CycleGAN은 이미지의 스타일을 변경하는 pix2pix 신경망에 GAN을 접목하여 발전한 것으로, 낮을 밤으로, 모네 풍의 이미지를고흐 풍과 같이 이미지 변환하는 것이 가능하다.

도 11을 참조하면, CycleGAN은 2쌍의 생성자(Generator)와 판별자(Discriminator)가 존재하며, 생성자는 A에서 B 또는 B에서 A로 이미지를 변환하고 판별자는 도메인A, 도메인B 이미지의 진위를 가려내며, 다른 사람의 얼굴을 사실적인 이미지로 합성하는 Deep Fake가 이 CycleGAN의 응용이다.

한편, GAN 신경망의 성능을 향상시키기 위해서는 다양한 모델 구조와 hyperparameter 상에서 실험하며 최적의 결과를 찾아나가야 한다. GAN 모델 최적화에서 변경할 수 있는 다양한 변수로는 레이어 구조와 신경망 활성함수가 있다.

레이어 구조는 생성자의 TransConv2D + ReLU layer 개수, 판별자의 Conv2D + LeakyReLU layer, Fully connected layer를 거쳐 진짜와 가짜를 판별하고 Stride 수, layer의 channel수 등을 조작하는 것이 가능하도록 한다.

일반적으로 모델이 복잡할수록 선명한 이미지를 얻을 수 있으나 연산량이 늘어나고, 훈련과정은 더욱 불안정해지기 때문에 mode collapse와 같은 실패도 일어날 수 있다. 이를 방지하기 위해서는 생성자와 판별자의 구조적 균형이 중요하다.

도 12를 참조하면, 신경망 활성함수(activation function)는 전 레이어에서 입력받은 값을 다음 레이어에서 출력할지 결정하는 함수를 뜻한다. 결과물을 얻기 전 활성함수로 Sigmoid 활성함수와 Tanh 등의 활성함수를 사용할 수 있다.

Learning Rate은 최적화된 점을 찾기 위해 값을 얼마만큼 조정할 것인가에 대한 비율로서, Learning Rate가 과도하게 클 경우 극소점 바깥으로 튕겨 나가는 Overshooting 문제가 발생하고, 반면 너무 작을 경우 극소점을 찾는 속도가 느려지는 단점이 있다.

Batch Size는 Training Data를 묶음으로 나눌 때 한 묶음 당 데이터의 Size로서, 데이터를 작은 묶음으로 input하여 효율적인 학습이 이루어지게 한다.

Epoch는 Training Data가 신경망을 통과한 횟수를 의미하며, 너무 크면 Overfitting 현상이 발생한다.

또한, GAN의 생성자(Discriminator)와 판별자(Generator)의 손실 함수(Loss Function)의 변화를 통해 훈련이 잘 진행되는지 모니터링할 수 있다.

이상적으로 생성자와 판별자의 손실 함수 값이 비슷하며 안정적으로 유지되는 경우 GAN training이 원활하게 이루어진다고 볼 수 있다.

도 13은 이상적 트레이닝의 손실함수를 도시하고 있으며, 도 14는 수렴에 실패한 트레이닝의 손실함수를 도시하고 있다.

이후부터는 본 발명의 일실시예에 따른 GAN을 이용하는 인테리어 추천 방법의 훈련 방법과 결과를 설명하기로 한다.

도 15에 도시된 바와 같이 웹페이지에서 이미지를 추출하고 다양한 사이트에서 크롤링을 통해 이미지 데이터 셋을 구출할 수 있다.

보다 구체적으로, 데이터 수집시에는 Python의 BeautifulSoup 라이브러리를 활용하여 웹페이지에서 이미지를 추출하고, Github의 이케아 인테리어 데이터셋과 오늘의집(https://ohou.se/) 사이트에서 크롤링을 시도하여 6개의 스타일별 390개의 이미지 데이터셋을 구축할 수 있다.

또한, 도 16에서와 같이 데이터셋 태그 분류 시에는 데이터셋 내의 이미지와 이에 맞는 스타일을 매칭하여 태깅을 할 수 있다.

도 17에서와 같이 CGAN을 활용하여 스타일 등의 조건 값을 입력하면 생성자는 이에 맞는 이미지를 생성하며, 판별자는 이미지의 진위 여부 및 스타일 해당 여부를 판단한다.

도 18 및 도 19는 본 발명의 일실시예에 따른 GAN을 이용하는 인테리어 추천 방법의 훈련 결과로서, 도 18은 모델 구조, 도 19는 Hyperparameter를 나타내고 있다.

본 발명의 일실시예에 따르면 생성자를 판별자보다 촘촘하게 구성, Batch Normalization을 통해 기울기 소실(Gradient Vanishing)을 최소화하고, 배치사이즈는 30, 8000회의 학습을 반복하고, 학습률은 0.0005, 최종 이미지 사이즈는 200*200으로 설정한다. 손실함수로는 Mean Square Error 사용하고 안정적 훈련이 가능한 모델구조와 Parameter값을 적용한다.

도 20을 참조하면 판별자 손실 함수는 0.05~0.1 내외, 생성자 손실 함수는 0.7~1.3 내외에서 점차 수렴하는 모습을 보인다. 또한, 판별자의 손실 함수가 0이 되거나, 생성자 손실 함수가 진동하는 Model Collapse는 발생하지 않았다.

구체적인 예로서, 인테리어 스타일별로 이미지를 분류한 Style Dataset과 장소(거실, 욕실 등)별로 분류한 Location Dataset을 CGAN을 통해 훈련할 수 있으며, Style Dataset은 3140 * 2(좌우 대칭), 총 6280개의 이미지를 트레이닝하고, Location Dataset은 5630 * 2 (좌우 대칭), 총 11260개의 이미지를 트레이닝 하였다.

도 21 및 도 22를 참조하면, 색채와 같은 각 인테리어 스타일별 특유의 특징이 나타나는 것을 볼 수 있으며, 전반적으로 가구의 세부적인 표현, 천장과 바닥의 위치 등이 표현되고, Style별 이미지 생성 모델에서는 색상, 분위기 등 별로 차이가 발생하였으며, 위치별 이미지 생성 모델에서는 장소별 특징(책상, 침대 등)이 나타났다.

또한, 이미지 수집, 좌우 반전 등을 통한 증강 등을 통해 데이터 셋의 품질을 올리는 경우 더욱 향상된 인테리어 디자인 이미지 생성이 가능하다.

도 23에서와 같이 StarGAN을 활용하여 이용자가 원하는 이미지를 넣으면 여러 가지의 스타일로 변환하여 제공할 수 있으며, 다양한 스타일 변환을 하나의 모델로 해결할 수 있다.

도 24 및 도 25를 참조하면, CycleGAN을 활용하여 실내 이미지에 이용자가 원하는 가구를 지정하고 테두리를 그려 넣으면 적합한 가구를 배치하여 출력할 수 있다. 이때 Image-to-Image translation를 통해 실제 인테리어 이미지와 단순화한 이미지 변환이 이루어진다.

또한, 도 26을 참조하여 본 발명에서 사용되는 블록체인을 설명하기로 한다.

블록체인은 누구나 열람할 수 있는 디지털 장부에 거래 내역을 투명하게 기록하고, 여러대의 컴퓨터에 이를 복제해 저장하는 분산형 데이터 저장기술을 말한다. 블록단위의 노드는 서로 다른 블록과 연결돼 상호 공유하며 투명성을 확보한다. 블록체인에 참여하는 모든 노드는 분산형, 확정성, 투명성을 기반으로 검증할 수 있는 노드로 만들어진다. 블록체인 네트워크에 소속된 노드들은 서로 신뢰성을 주는 합의 알고리즘이라는 아키텍처를 사용해 임의적인 조작을 방지하고 있다.

또한, 블록체인에서 합의 알고리즘은 탈중앙화된 시스템의 무결성과 보안을 유지하는 역할을 한다. 탈중앙화된 블록체인의 노드는 분산화되어 트랜잭션의 유효성에 합의가 필요하며, 다시 말해 비잔티움 장애를 극복하기 위한 방안으로 볼 수 있다.

그 중 균형작업증명(EPOW, Equilibrium Proof of Work)은 기존의 블록체인 채굴의 집중화 문제와 연산화 과정의 전기 자원을 절약할 수 있는, 작업 증명 채굴에서의 '균형'을 고려한 합의 알고리즘이다. 이는 기존의 작업증명(Proof of Work) 작업 증명 방식과 동일하지만, Lyra2Rev2 ASICresistent 알고리즘을 구성하여 한 번 채굴을 완료한 노드가 일정 시간 동안 블록을 채굴하지 못하게 하여 다른 노드들의 채굴 성공 확률을 높이고 채굴 기회를 공정하게 배분한다. 또한, 다른 체인들과 달리 채굴이 분산화 되어 있어 집중화를 막고 참여하는 노드의 성격이 다양해지며, 노드수를 감소시켜 불필요한 에너지의 낭비를 최소화한다.

아울러, 본 발명에 따른 스마트 컨트랙트는 코드로 구현한 스크립트로써, 계약을 정하고 특정 조건이 충족되었을 때 해당계약이 이루어지도록 하는 장치이다. 중개자가 없으므로 중개 수수료 및 시간 절감의 효과가 있으며, 계약 이행 및 검증의 과정이 자동화되고 다수에 의한 검증이 가능한 장점이 있다.

또한, 본 발명에 따른 TOF(Time of Flight) 센서는 피사체에 광원을 쏜 후 빛이 반사되어 돌아오는 시간을 측정하여 거리를 계산한다. 도 27을 참조하면, 적외선을 쏘아서 피사체를 스캔하기 때문에 3d 스캔이 가능하며 비교적 정확한 피사체 분석이 가능한 장점이 있다.

전술한 바와 같은 본 발명의 상세한 설명에서는 구체적인 실시예에 관해 설명하였다. 그러나 본 발명의 범주에서 벗어나지 않는 한도 내에서는 여러 가지 변형이 가능하다. 본 발명의 기술적 사상은 본 발명의 전술한 실시예에 국한되어 정해져서는 안 되며, 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

120: 인테리어 추천 장치
121: 데이터 수신부
122: 인테리어 구성부
123: 판매환경 제공부
124: 코인 처리부

Claims

인테리어 추천 장치의 인테리어 추천 방법에 있어서,
이용자 단말기로부터 이용자의 선호 정보를 수신하는 제1 단계;
상기 이용자 단말기의 ToF(Time of Flight) 센서와 카메라를 통해 공간을 실측한 데이터를 상기 이용자 단말로부터 수신하는 제2 단계;
상기 데이터로부터 평면도와 인테리어 요소 객체를 검출하는 제3 단계;
GAN(Generative adversarial network)을 이용해 상기 이용자의 선호 정보를 분석하여 적용 법령을 검색하고, 상기 검색된 결과에 따라 2D 도면에 설계 예시를 도출하고, 상기 2D 도면을 기반으로 3D 모델링 예시 공간을 구현하여, 상기 공간에 각 상기 인테리어 요소 객체를 배치하는 테마별 인테리어 디자인을 생성하여 제공하는 제4 단계; 및
상기 이용자 단말 상에서 상기 인테리어 요소가 선택되면, 협력사 서버가 상기 인테리어 요소에 매칭되는 제품의 판매를 제공하는 서비스 환경을 상기 이용자 단말로 제공하도록 하는 제5 단계;
를 포함하는 GAN을 이용하는 인테리어 추천 방법.
청구항 1에 있어서,
상기 제1 단계는,
상기 인테리어 추천 장치가 상기 이용자 단말기로부터 이용자의 선호 정보를 수신하면, 상기 이용자 단말로 블록체인 코인을 제공하는 단계;
를 더 포함하는 GAN을 이용하는 인테리어 추천 방법.
청구항 1에 있어서,
상기 제4 단계는,
상기 GAN(Generative adversarial network)을 이용해 상기 이용자의 선호 정보를 분석하여, 상기 이용자의 선호 정보에 상응하도록 상기 공간의 디자인과 가구 배치를 수행하여 제공하거나,
상기 공간에 인테리어 요소를 가상 배치하여 제공하는 GAN을 이용하는 인테리어 추천 방법.
삭제
청구항 1에 있어서,
상기 제5 단계는,
상기 이용자의 선호 정보를 상기 협력사 서버로 제공하여, 상기 협력사 서버로부터 블록체인 코인을 제공받는 단계;
를 더 포함하는 GAN을 이용하는 인테리어 추천 방법.
청구항 1에 있어서,
상기 제5 단계의 이후에,
상기 이용자 단말이 상기 협력사 서버로 상기 제품의 구매에 따른 비용을 블록체인 코인으로 제공하고,
상기 이용자 단말이 상기 협력사 서버로 상기 제품의 후기 및 평점을 등록하되, 분산형 공개 원장에 상기 후기 및 평점이 등록되도록 하는 GAN을 이용하는 인테리어 추천 방법.
청구항 1에 있어서,
상기 제1 단계의 이전에,
상기 GAN(Generative adversarial network)을 훈련시키는 훈련 단계;
를 더 포함하는 GAN을 이용하는 인테리어 추천 방법.
청구항 7에 있어서,
상기 훈련 단계는,
상기 GAN은 CGAN(Conditional Generative adversarial network)이고,
테마별 인테리어 디자인을 분류한 스타일 데이터셋(Style Dataset)과, 장소 별로 분류한 로케이션 데이터셋(Location Datase)을 이용해 상기 CGAN을 훈련시키는 GAN을 이용하는 인테리어 추천 방법.
GAN(Generative adversarial network)을 이용해 인테리어를 구성하여 추천하는 인테리어 추천 장치에 있어서,
이용자 단말기로부터 이용자의 선호 정보와, 상기 이용자 단말기의 ToF(Time of Flight) 센서와 카메라를 통해 공간을 실측한 데이터를 수신하는 데이터 수신부;
상기 데이터로부터 평면도와 인테리어 요소 객체를 검출하고, GAN(Generative adversarial network)을 이용해 상기 이용자의 선호 정보를 분석하여 적용 법령을 검색하고, 상기 검색된 결과에 따라 2D 도면에 설계 예시를 도출하고, 상기 2D 도면을 기반으로 3D 모델링 예시 공간을 구현하여, 상기 공간에 각 인테리어 요소를 배치하는 테마별 인테리어 디자인을 생성하여 제공하는 인테리어 구성부; 및
상기 이용자 단말 상에서 상기 인테리어 요소가 선택되면, 협력사 서버가 상기 인테리어 요소에 매칭되는 제품의 판매를 제공하는 서비스 환경을 상기 이용자 단말로 제공하도록 하는 판매환경 제공부;
를 포함하는 GAN을 이용하는 인테리어 추천 장치.
청구항 9에 있어서,
상기 이용자 단말기로부터 이용자의 선호 정보를 수신하면, 상기 이용자 단말로 블록체인 코인을 제공하는 코인 처리부;
를 더 포함하는 GAN을 이용하는 인테리어 추천 장치.
청구항 9에 있어서,
상기 인테리어 구성부는,
상기 GAN(Generative adversarial network)을 이용해 상기 이용자의 선호 정보를 분석하여, 상기 이용자의 선호 정보에 상응하도록 상기 공간의 디자인과 가구 배치를 수행하여 제공하거나,
상기 공간에 인테리어 요소를 가상 배치하여 제공하는 GAN을 이용하는 인테리어 추천 장치.
삭제
청구항 10에 있어서,
상기 코인 처리부는,
상기 이용자의 선호 정보를 상기 협력사 서버로 제공하여, 상기 협력사 서버로부터 블록체인 코인을 제공받는 GAN을 이용하는 인테리어 추천 장치.
청구항 9에 있어서,
상기 GAN은 CGAN(Conditional Generative adversarial network)으로서, 테마별 인테리어 디자인을 분류한 스타일 데이터셋(Style Dataset)과, 장소 별로 분류한 로케이션 데이터셋(Location Datase)을 이용해 훈련되며,
상기 인테리어 구성부는 상기 훈련된 CGAN을 이용해 상기 이용자의 선호 정보를 분석하여 상기 공간에 각 인테리어 요소를 배치하는 테마별 인테리어 디자인을 생성 상기 이용자 단말로 제공하는 GAN을 이용하는 인테리어 추천 장치.
청구항 1에 따른 GAN을 이용하는 인테리어 추천 방법을 수행하기 위한 프로그램이 수록된 기록매체.