KR20230024698A

KR20230024698A - 실공간 변형 합성 기술을 이용한 가구 쇼핑 서비스 제공 시스템

Info

Publication number: KR20230024698A
Application number: KR1020210106768A
Authority: KR
Inventors: 김남석; 박종일
Original assignee: (주)이해라이프스타일
Priority date: 2021-08-12
Filing date: 2021-08-12
Publication date: 2023-02-21

Abstract

본 발명의 일 양태는 가상 경험을 통한 가구 쇼핑 서비스 제공 시스템에 관한 것으로, 보다 구체적으로 사용자의 단말기에 설치된 앱이나 인터넷 상의 웹사이트를 통해 가구 정보 표시, 가구 구매 및 공간 이미지 합성을 포함하는 서비스를 제공할 수 있도록 하는 가구 쇼핑 서비스 제공 시스템에 있어서, 회원들의 취향별 유형화 정보 및 서비스 내 활동 정보를 포함하는 회원 정보 및 사용자가 전송한 공간 이미지 정보를 저장하는 사용자 정보 저장부; 다양한 가구 정보 및 가구 이미지 정보를 저장하는 가구 정보 저장부; 및 가구 추천 서비스, 공간 이미지 합성 서비스 및 구매 서비스를 구현하는 서비스구현부;를 포함하되, 상기 서비스 구현부의 상기 공간 이미지 합성 서비스는 공간 및 물체 인식 모델, 깊이 추정 모델, 레이아웃 예측 모델, 광원 추정 모델 및 특정 영역 합성모델을 이용하여 구현되는 것을 특징으로 한다.

Description

실공간 변형 합성 기술을 이용한 가구 쇼핑 서비스 제공 시스템{System for providing furniture shopping service using real-space transformation synthesis technology}

본 발명은 온라인 상에서 판매되는 다수의 가구 중 사용자의 취향에 부합하는 가구를 추천하는 서비스와 온라인 상에서 판매하는 가구의 이미지와 상기 가구가 실제 배치될 공간 이미지를 합성하여 제공하거나, 상기 가구의 이미지에 증강현실 기술을 적용하여 제공하는 서비스를 포함하여 제공할 수 있는 가구 쇼핑 서비스 제공 시스템에 관한 것이다.

최근 인터넷 기술의 발달로 인한 인터넷 환경의 향상으로 인터넷 이용자의 수는 기하급수적으로 늘어나고 있으며, 이에 따라 인터넷 상에서 다양한 서비스를 제공하는 사이트들이 등장하고 있으며 그 중 가장 대표적인 것이 인터넷 쇼핑몰을 들 수 있다.

쇼핑몰은 인터넷에서만 존재하는 것이 아니라, 이미 실물 세계에서 존재하고 있었던 개념이다. 실제로, Walmart, E-mart 등의 많은 쇼핑몰이 존재하고 있는데, 이러한 쇼핑몰의 개념을 인터넷에서 그대로 구현한 것이 인터넷 쇼핑몰이다. 즉, 사이버 쇼핑몰이란, 구매자가 물건을 구입하려고 할 때, 물품 판매처에 직접 방문하지 않고 인터넷상에 구축된 웹사이트를 통하여 물건을 구입하고 결재(신용카드, 전자화폐, 현금 등)를 실시하는 형태를 말하며, 이러한 인터넷 쇼핑몰은 흔히 전자 상거래(EC : Electronic Commerce) 업체라고 불린다.

상술한 바와 같은 온라인 쇼핑몰들은 접근의 편리성, 구매 결제 수단의 발달, 배송시스템의 발달 등으로 인해 구매 등의 쇼핑 관련 분야에서는 오프라인의 쇼핑에 버금가는 비중을 차지하게 되었으며, 이는 전통적으로 매장에 직접 방문하여 제품을 일일이 확인한 후 구매하는 가구 쇼핑 분야에서도 예외일 수가 없다.

일반적으로 온라인 가구 쇼핑몰은 로그인한 사용자가 방대한 상품들을 검색한 후 자신이 원하는 가구 제품을 찾는데 많은 시간이 소요되는 문제가 있으며, 또한, 종래의 온라인 가구 쇼핑몰은 사용자의 가구 선택을 위한 방법으로서 이미지 보기(view) 위주의 서비스를 제공하는 것에 한정되므로 구입하고자 하는 가구가 실제 거실, 부엌 등의 공간에 조화롭게 잘 어울리는지 인터넷 쇼핑몰의 이미지만을 가지고는 판단하기 어려운 문제가 있다.

이에 가구 소비자의 구매 선택을 돕기 위해, 온라인 쇼핑몰에서 배경 이미지와 가구의 이미지를 합성하여 제공하는 서비스들이 선보이고 있기는 하나, 이들 서비스의 경우 모니터나 디스플레이 상으로 인식되는 가구의 색감과 현실에서 인식되는 실제 가구의 색감 간의 괴리가 있고 2차원 형태의 배경 이미지 및 가구 이미지가 합성되기 때문에 가구가 어색한 구도와 부자연스러운 형태로 합성되어 실제 가구를 구매 후 공간에 배치하였을 때 가구의 크기나 형태가 예상과는 달리 적합하지 않다거나, 사용자가 소지하는 단말기의 모니터나 디스플레이 상으로 인식되는 가구의 색감과 현실에서 인식되는 실제 가구의 색감 간의 괴리가 있어, 실제 구매 후 공간에 배치하였을 때 어울리지 않거나 기대했던 색감이 아니어서 해당 가구에 대한 구매를 후회하는 경우가 자주 발생하는 문제가 있다.

본 발명은 상기와 같은 문제점을 해결하기 위해 도출된 것으로, 사용자가 온라인 쇼핑몰을 통해 가구를 구매할 때 자신이 원하는 가구를 보다 더 쉽고 신속하게 찾을 수 있고, 온라인 쇼핑을 통해 가구를 구매하더라도 가구의 크기나 형태를 보다 정확하게 예측할 수 있으며 모니터나 디스플레이 상으로 인식되는 가구 이미지의 색감과 현실에서 육안으로 보이는 실제 가구의 색감 간의 괴리를 최소화하면서 실제 공간 이미지에 가구 이미지를 이질감 없게 합성할 수 있어, 실제 가구를 구매 후 공간에 배치하였을 때 예상과는 달리 어울리지 않다거나 기대했던 색감이 아니어서 해당 가구에 대한 구매를 후회하게 되는 상황을 미연에 방지할 수 있는 가구 쇼핑 서비스 제공 시스템을 제공하는 것을 그 목적으로 한다.

본 발명이 해결하고자 하는 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며 언급되지 않은 또 다른 기술적 과제들은 하기의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 발명의 일 양태는 가상 경험을 통한 가구 쇼핑 서비스 제공 시스템에 관한 것으로, 보다 구체적으로 사용자의 단말기에 설치된 앱이나 인터넷 상의 웹사이트를 통해 가구 정보 표시, 가구 구매 및 공간 이미지 합성을 포함하는 서비스를 제공할 수 있도록 하는 가구 쇼핑 서비스 제공 시스템에 있어서, 회원들의 취향별 유형화 정보 및 서비스 내 활동 정보를 포함하는 회원 정보 및 사용자가 전송한 공간 이미지 정보를 저장하는 사용자 정보 저장부; 가구 추천 서비스, 공간 이미지 합성 서비스 및 구매 서비스를 구현하는 서비스구현부; 및 다양한 가구 정보 및 가구 이미지 정보를 저장하는 가구 정보 저장부;를 포함하되, 상기 서비스구현부의 상기 공간 이미지 합성 서비스는 공간 및 물체 인식 모델, 깊이 추정 모델, 레이아웃 예측 모델, 광원 추정 모델 및 특정 영역 합성모델을 이용하여 구현되는 것을 특징으로 한다.

본 발명의 다른 양태는 가상 경험을 통한 가구 쇼핑 서비스 제공 시스템에 관한 것으로, 보다 구체적으로 사용자의 단말기에 설치된 앱이나 인터넷 상의 웹사이트를 통해 가구 정보 표시, 가구 구매 및 증강현실을 포함하는 서비스를 제공할 수 있도록 하는 가구 쇼핑 서비스 제공 시스템에 있어서, 회원들의 취향별 유형화 정보 및 서비스 내 활동 정보를 포함하는 회원 정보를 저장하는 사용자 정보 저장부; 가구 추천 서비스, 증강현실 서비스 및 구매 서비스를 구현하는 서비스구현부; 및 다양한 가구 정보 및 가구 이미지 정보를 저장하는 가구 정보 저장부;를 포함하되, 상기 서비스구현부의 상기 증강현실 서비스는 공간 및 물체 인식 모델, 깊이 추정 모델, 레이아웃 예측 모델, 광원 추정 모델 및 특정 영역 합성모델을 이용하여 구현된다.

본 발명에 따른 가구 쇼핑 서비스 제공 시스템에 의하면, 사용자 자신의 취향에 부합하는 가구 제품들을 추천받을 수 있어 쉽고 신속하게 가구 제품을 찾을 수 있으며, 또한 사용자가 단말기의 디스플레이를 통해 보는 가구 이미지와 상기 가구를 배치하게 될 실제 공간 또는 장소에 2차원 가구 이미지가 합성되기 때문에 가구가 어색한 구도와 부자연스러운 형태로 합성되는 것을 최소화하고, 또한 동기화 작업을 통해 색감, 조도 및 그림자의 차이를 최소화하여 공간 이미지 합성 또는 증강현실 서비스를 제공함으로써, 온라인 쇼핑을 통해 가구를 구매하더라도 공간 이미지 또는 단말기의 디스플레이 상으로 인식되는 가구 이미지를 배치한 것과 현실에서 인식되는 실제 가구를 배치한 것 간의 괴리를 최소화할 수 있어, 실제 가구를 구매 후 공간에 배치하였을 때 가구의 크기나 형태가 예상과는 달리 적합하지 않다거나, 기대했던 색감이 아니어서 어울리지 않는다거나, 해당 가구에 대한 구매를 후회하게 되는 상황을 미연에 방지할 수 있는 효과가 있다.

도 1은 본 발명의 일 양태에 따른 실공간 변형 합성 기술을 이용한 가구 쇼핑 서비스 제공 시스템의 개념도를 도시한 것이다.
도 2는 본 발명의 일 양태에 따른 공간 및 물체 인식 모델을 통해 물체를 분류하여 나타낸 예시도이다.
도 3은 본 발명의 일 양태에 따른 깊이 추정 모델을 통해 거리감을 인식하여 나타낸 예시도이다.
도 4는 본 발명의 일 양태에 따른 레이아웃 예측 모델을 통해 상기 공간 이미지의 레이아웃을 감지하여 나타낸 예시도이다.
도 5는 본 발명의 일 양태에 따른 광원 추정 모델을 통해 공간 이미지에서 가구 이미지의 조도를 제어한 채 합성하여 나타낸 예시도이다.
도 6은 본 발명의 일 양태에 따른 특정 영역 합성 모델을 통해 공간 이미지에 가구 이미지를 합성하여 나타낸 예시도이다.
도 7은 본 발명의 일 양태에 따른 실공간 변형 합성 기술을 이용한 가구 쇼핑 서비스 제공 시스템의 순서도를 도시한 것이다.
도 8은 본 발명의 다른 양태에 따른 실공간 변형 합성 기술을 이용한 가구 쇼핑 서비스 제공 시스템의 개념도를 도시한 것이다.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에서 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

본 발명의 일 양태에 따른 가구 쇼핑 서비스 제공 시스템은 사용자가 소지하는 스마트폰, 테블릿 PC 등과 같은 단말기에 설치된 앱(app)이나 인터넷 상의 웹사이트를 통해 가구 정보 표시, 가구 구매 및 공간 이미지 합성을 포함하는 서비스를 제공할 수 있도록 하는 것으로서, 상기 앱이나 웹사이트에 로그인하여 접속한 사용자가 다양한 종류의 가구에 대한 디자인, 기능, 사이즈, 소재, 제조사 등의 정보를 확인할 수 있도록 하고, 구매를 원하는 가구에 대해 온라인 결제 서비스를 제공하여 편리하게 구매를 할 수 있도록 하며, 구매 결정전에 관심 있는 가구의 이미지를 사용자가 촬영한 공간 이미지에 합성하여 보여 주는 서비스 등을 앱이나 웹사이트 상으로 제공한다.

이하, 본 발명에 대해 도면을 통해 설명하도록 한다. 하기 도면에 관한 설명은 본 발명을 설명하기 위한 일 예에 지나지 않으며, 이에 의해 본 발명의 범위가 제한되는 것은 아니다.

도 1은 본 발명의 일 양태에 따른 가상 경험을 통한 가구 쇼핑 서비스 제공 시스템의 개념도를 도시한 것으로, 도 1에 의하면 본 발명의 일 양태에 따른 가상 경험을 통한 가구 쇼핑 서비스 제공 시스템(100)은 회원들의 취향별 유형화 정보 및 서비스 내 활동 정보를 포함하는 회원 정보 및 사용자가 전송한 공간 이미지 정보를 저장하는 사용자 정보 저장부(110), 가구 추천 서비스, 다양한 가구 정보 및 가구 이미지 정보를 저장하는 가구 정보 저장부(120) 및 공간 이미지 합성 서비스 및 구매 서비스를 구현하는 서비스구현부(130)를 포함하고 있다.

상기 서비스구현부(130)는 공간 및 물체 인식 모델(a), 깊이 추정 모델(b), 레이아웃 예측 모델(c), 광원 추정 모델(d) 및 특정 영역 합성 모델(e)을 이용하여 구현됨으로써 자유로운 구도로 촬영된 공간 이미지에 대하여 3차원적으로 이해하고 사용자가 선택한 가구 이미지를 자연스러운 형태로 합성할 수 있는 것이 바람직하다.

먼저, 본 발명의 일 양태에서 상기 사용자 정보 저장부(110)는 회원들의 취향별 유형화 정보 및 서비스 내 활동 정보를 포함하는 회원 정보(112) 및 사용자가 전송한 공간 이미지 정보(114)를 저장하는 것으로서, 서비스 제공자 측의 서버에 구비되어 관리된다. 상기 취향별 유형화 정보는 서비스 제공자 측에서 미리 마련해 놓은 소비자 취향에 대한 유형 자료를 기반으로 회원 각각에 대해 설문 조사를 통해 해당 회원의 가구 취향을 특정 유형으로 판단하고 분류한 자료로서, 상기 서비스 제공자 측에서 미리 마련해 놓은 소비자 취향에 대한 유형 자료는 수많은 소비자들에 대한 인터뷰 자료, 인터넷 상의 방대한 빅데이터 등을 바탕으로 서비스 제공자측에서 가구 소비자들의 유형을 특성이나 취향에 따라 특정 유형으로 정의하고 분류한 자료를 의미한다.

상기 공간 이미지 정보(114)는 공간 이미지 데이터, EXIF(Exchangeable Image File Format) 데이터 등을 포함한다. 본 발명에서는 사용자가 전송한 1장의 공간 이미지로도 공간을 3차원적으로 이해하여 추후 사용자가 선택한 가구 이미지를 합성할 때 보다 자연스럽게 합성될 수 있는 것을 특징으로 한다. 다만, 상기 공간 이미지는 하나의 공간에 대하여 여러 구도로 구비되는 경우에 더 정교하게 합성될 수 있다. 따라서 상기 공간 이미지는 하나의 공간 당 다른 각도의 공간 이미지가 2장 이상 구비되는 것이 바람직할 수 있고, 더 바람직하게는 3장 이상 구비되는 것이 바람직할 수 있다.

또한, 상기 사용자 정보 저장부(110)에서는 저장된 회원 정보 또는 사용자측 공간 이미지 정보에 변경이 생기거나, 신규 회원 정보 또는 신규 공간 이미지 정보가 추가되는 경우 이를 반영하는 업데이트가 실시간으로 이루어진다.

본 발명의 일 양태에서 상기 가구 정보 저장부(120)는 서비스 제공자 측에서 판매하고자 하는 다양한 가구에 대한 정보(122) 및 해당 가구 이미지 정보(124)를 저장매체에 저장하는 것으로서, 상기 가구 정보 저장부(120)에는 판매하고자 하는 가구들의 정보 데이터들이 소비자의 구매 취향에 관한 다양한 기준에 따라 분류되어 저장되어 있다. 가령, 본 발명의 가구 정보 저장부(120)는 기능, 디자인, 가격, 조화 등 가구 구매자들의 구매결정에 영향을 미치는 중점 요소들에 맞추어 가구 구매자들의 구매 결정 취향 별로 분류 정보 요소들을 마련하고, 각각의 가구 정보 데이터에 해당 분류 정보 요소를 포함시켜 가구 정보 데이터들을 저장할 수 있다. 또한, 본 발명의 가구 이미지 정보(124)는 사용자가 선택할 수 있는 가구, 즉 판매하고자 하는 가구의 이미지를 의미한다. 상기 가구 이미지 정보(124)는 해당 가구의 정면도 및 사시도가 구비되어 3차원적으로 이해된 가구의 형태를 인식할 수 있고 공간 이미지에 자연스러운 구도 및 형태로 합성할 수 있는 것이 바람직하다. 보다 바람직하게 상기 가구 이미지 정보는 정면도, 좌측면도, 우측면도, 배면도가 구비될 수 있다. 더 바람직하게 상기 가구 이미지 정보는 정면도, 배면도, 사시도, 좌측면도, 우측면도, 평면도, 저면도가 구비될 수 있다. 또한 사용자가 전송한 공간 이미지를 기준으로 하여 이에 대응하는 구도로 가구 이미지 정보를 추가하고 각도가 서로 다른 가구 이미지 정보를 많이 구비할수록, 사용자의 공간 이미지에 가구 이미지 정보를 합성할 때 공간, 구도, 각도면에서 더욱 정교하게 합성될 수 있다.

본 발명의 일 양태에서 상기 서비스구현부(130)는 가구 추천 서비스, 공간 이미지 합성 서비스 및 구매 서비스를 구현하는 것으로서, 상기 서비스구현부는 서비스 제공자 측의 서버에 탑재될 수도 있고, 사용자 측의 단말기에 앱을 통해 탑재될 수도 있다.

상기 서비스구현부(130)는 앱이나 웹사이트에 로그인하여 접속한 사용자에게 구매 취향에 맞는 가구 제품들을 별도 추천하여 보다 신속하고 편리한 구매가 가능하도록 하기 위해, 상기 사용자 정보 저장부로부터 해당 사용자의 취향별 유형화 정보 및 서비스 내 활동 정보를 전송받아, 해당 사용자의 취향별 유형화 정보에 매칭 되거나 구매 건수가 가장 많은 분류 정보 요소를 가지는 다른 가구 정보 데이터를 상기 가구 정보 저장부로부터 추출하여 제공함으로써 가구 추천 서비스(132)를 구현하는 것이 바람직할 수 있으며, 가장 바람직하게는 해당 사용자의 취향별 유형화 정보에 매칭 되면서 동시에 구매 건수가 가장 많은 분류 정보 요소를 가지는 다른 가구 정보 데이터를 상기 가구 정보 저장부로부터 추출하여 제공함으로써 가구 추천 서비스(132)를 구현하는 것일 수 있다.

또한, 상기 서비스구현부(130)는 상기 가구 정보 저장부로부터 사용자가 선택한 가구의 이미지를 추출하고, 상기 사용자 정보 저장부로부터 사용자가 전송한 공간 이미지를 추출한 후 추출한 가구의 이미지와 사용자가 전송한 공간 이미지를 합성하여, 사용자가 선택한 가구가 사용자의 공간상에 배치된 이미지를 제공함으로써 공간 이미지 합성 서비스(134)를 구현하는 것이 바람직하다.

상기 공간 이미지 합성 서비스(134)는 공간 및 물체 인식 모델(a), 깊이 추정 모델(b), 레이아웃 예측 모델(c), 광원 추정 모델(d) 및 특정 영역 합성 모델(e)을 이용하여 구현됨으로써 상술한 것과 같은 효과를 구현할 수 있는 것이 바람직하다. 상기 도 1에서와 같이 상기 공간 이미지 합성 서비스(134)은 사용자가 공간 이미지를 전송하면 상기 공간 이미지에 대하여 공간 및 물체 인식 모델(a), 깊이 추정 모델(b), 레이아웃 예측 모델(c) 및 광원 추정 모델(d)을 통해 각각의 결과 이미지를 도출한 후, 가구 정보 저장부의 가구 이미지 정보(124)로부터 사용자가 선택한 가구 이미지를 가지고 와서 특정 영역 합성 모델(e)을 통해 상기 공간 이미지에 합성함으로써 구동될 수 있다.

먼저, 상기 공간 및 물체 인식 모델(Segmentation model, a)이 사용자가 전송한 공간 이미지 내에서 벽면, 바닥면, 쇼파, 책상 등의 물체를 각각 감지 및 분류할 수 있다. 도 2는 본 발명의 일 양태에 따른 공간 및 물체 인식 모델을 통해 물체를 분류하여 나타낸 예시도이다. 도 2에서와 같이 상기 공간 및 물체 인식 모델은 사용자가 전송한 공간 이미지 내에서 존재하는 물체의 종류와 형태를 감지하여 각각을 따로 분류하여 영역선으로 나타낼 수 있다. 나아가, 상기 공간 및 물체 인식 모델을 통해 생성된 이미지는 알파 매팅(Alpha Matting) 모델을 더 거침으로써 더욱 정교하게 분류된 영역선을 가지도록 할 수 있다.

상기 깊이 추정 모델(Depth Estimation model, b)은 사용자가 전송한 공간 이미지 내의 원근감을 인식하여 이를 나타낼 수 있다. 사진 내에서 멀리 위치할수록 진한 붉은색, 가까이 위치할수록 진한 파란색을 나타낼 수 있으며, 이를 통해 상기 공간 이미지 내의 원근감을 인식함으로써 2차원 형태인 공간 이미지가 3차원 형태로 인식될 수 있는 것을 특징으로 한다. 도 3은 본 발명의 일 양태에 따른 깊이 추정 모델을 통해 거리감을 인식하여 나타낸 예시도이다. 상기 도 3에서와 같이 상기 깊이 추정 모델은 사진 상 멀리 위치할수록 진한 빨간색을 가까이 위치할수록 진한 파란색을 나타낼 수 있고 중간 정도 위치하는 경우 색채 스펙트럼에 따라 주황색, 노란색, 초록색을 나타낼 수 있으며, 동일 색상인 경우에도 비교적 멀수록 진한색, 비교적 가까울수록 연한색으로 나타낼 수 있다.

상기 레이아웃 예측 모델(Layout Estimation model, c)은 사용자가 전송한 공간 이미지의 사진 구도에 구애받지 않고 합성 서비스를 이용할 수 있도록 다양한 구도의 공간 이미지의 레이아웃(Layout)을 인식하여 이를 나타낼 수 있다. 상기 도 4는 본 발명의 일 양태에 따른 레이아웃 예측 모델을 통해 상기 공간 이미지의 레이아웃을 감지하여 나타낸 예시도이다. 상기 도 4의 a에서와 같이 상기 레이아웃 예측 모델은 공간 이미지에서 공간의 레이아웃을 감지하고 이를 사진상에 나타낼 수 있다. 또한 도 4의 b에서와 같이 공간 이미지의 구도가 달라도 공간 이미지 내의 공간의 레이아웃을 감지하여 나타낼 수 있다. 또한, 상기 레이아웃 예측 모델은 특정 영역 합성 모델(e)에서 각 레이아웃을 기준으로 영역복원을 진행하기 위해 레이아웃을 감지하는 것에 적용될 수 있다. 나아가, 상기 레이아웃 예측 모델을 통해 생성된 결과 이미지는 알파 매팅(Alpha Matting) 모델을 통해 더 거침으로써 더욱 정교하게 분류된 레이아웃을 나타내도록 할 수 있다.

상기 광원 추정 모델(Illumination Estimation model, d)은 사용자가 전송한 공간 이미지에 사용자가 선택한 가구 이미지를 합성하는 공간 이미지 합성 서비스를 구현할 때에 합성 위치에서의 광원값을 추정하고 사용자가 선택한 가구의 이미지와 사용자가 전송한 공간 이미지의 광원 환경값을 일치시키는 동기화 작업을 거침으로써, 사용자가 전송한 공간 이미지 내 광원 환경값을 이해한 후 사용자가 선택한 가구 이미지를 해당 공간에 이질감 없이 합성시킬 수 있다. 이에 따라 상기 광원 추정 모델(d)은 사용자가 전송한 공간 이미지의 광원 환경값을 추정한 후 특정 영역 합성 모델(e)에서 공간 이미지와 사용자가 선택한 가구 이미지를 합성할 때에 광원 환경값을 제어하는 방식으로 구동된다. 온라인 쇼핑을 통해 가구를 구매하는 경우, 통상적으로 사용자가 소지하는 단말기의 모니터나 디스플레이 상으로 인식되는 가구의 색감과 현실에서 인식되는 실제 가구의 색감 간의 괴리가 있어, 실제 구매 후 공간에 배치하였을 때 어울리지 않거나 기대했던 색감이 아니어서 해당 가구에 대한 구매를 후회하는 경우가 자주 발생하는 문제가 있는데, 본 발명은 추출한 가구의 이미지와 사용자가 전송한 공간 이미지를 합성할 때 추출한 가구의 이미지와 사용자가 전송한 공간 이미지의 광원 환경값에 관한 정보 수치를 일치시키는 동기화 작업을 거쳐 합성시킴으로써, 사용자가 실제 공간에 가구가 배치된 이미지에 최대한 근접한 색감으로 모니터나 디스플레이 상으로 확인이 가능한 이점이 있다.

상기 동기화 작업은 리니어 워크플로우(Linear Workflow) 작업을 통해 이루어지는 것이 바람직하다. 상기 리니어 워크플로우는 가구에 대한 원본 이미지의 감마 익스포절 화이트밸런스(Gamma exposure whitebalance) 수치를 조정하여 리니어하게 함으로써, 사용자가 모니터나 디스플레이 상으로 확인하더라도 실제 공간에서 육안으로 인식하는 색감과 거의 유사한 색감을 발휘하도록 보정하는 작업을 의미하며, 본 발명에서는 상기 리니어 워크플로우(Linear Workflow) 작업을 통해 사용자가 현실 공간에서 촬영한 공간 이미지의 색감 정보를 기준으로 상기 가구 이미지의 감마 익스포절 화이트밸런스(Gamma exposure whitebalance) 수치를 조정하여 리니어하게 보정함으로써, 상기 공간 이미지에 가구 이미지를 합성하였을 때 색감 상 이질감이 느껴지지 않도록 할 수 있다. 나아가, 상기 서비스구현부(130)는 공간 이미지 합성 서비스를 구현할 때 추출한 가구의 이미지와 사용자가 전송한 공간 이미지 간의 색감뿐만 아니라 조도, 그림자 방향 및 재질감의 부조화나 이질감을 최소화하여 가장 자연스러운 합성 이미지를 제공하기 위해, 추출한 가구의 이미지와 사용자가 전송한 공간 이미지의 색감, 조도, 그림자 방향 및 재질감을 일치시키는 동기화 작업을 거쳐 겹쳐져서 보이도록 할 수 있다. 도 5는 본 발명의 일 양태에 따른 광원 추정 모델을 통해 공간 이미지에서 가구 이미지의 광원 환경값을 제어한 채 합성하여 나타낸 예시도이다. 도 5에서와 같이 자전거 이미지가 공간 이미지에 합성될 때, 광원 추측 모델을 통해 공간 이미지 내 광원 값을 기준으로 합성하므로, 자전거 하단에 그림자가 삽입되며 자전거의 표면에 조도가 높은 부분은 밝게, 조도가 낮은 부분은 어둡게 표현되어 이질감 없이 자연스럽게 합성된 것을 확인할 수 있다.

상기 특정 영역 합성 모델(e)은 사용자가 공간 이미지 상에서 가구의 이미지를 배치하기 원하는 위치를 임의로 지정하면, 공간 이미지 상의 지정된 위치에 가구 이미지를 합성하여 제공할 수 있다. 상기 특정 영역 합성 모델은 특정 영역 복원 모델(Image Inpainting)과 물체 삽입 모델(Object Insertion)을 포함하는 것이 바람직하다. 상기 영역 복원 모델은 사용자가 공간 이미지 상에서 기존 가구 이미지를 삭제하면, 삭제된 이미지 영역을 주변 배경값과 유사하게 복원한다. 상기 물체 삽입 모델은 사용자가 선택한 새로운 가구 이미지를 사용자가 배치하기 원하는 위치에 삽입한다. 여기서, 특정 영역 합성 모델(e)에 사용되는 공간 이미지는 물체 그림자 제거 모델을 통해 이미지 내의 물체에 대한 그림자가 제거된 상태로 이용되는 것이 바람직할 수 있다. 특정 영역 복원 모델은 GAN(Generative Adversarial Network)기반 모델을 이용하여 삭제된 이미지 영역 복원을 할 수 있으며, 상기 물체 그림자 제거 모델은 GAN기반 모델에서 삭제된 이미지 영역의 주변 배경에 의한 영향을 최소화하여 이질감을 보다 줄이기 위해 적용될 수 있다. 도 6은 본 발명의 일 양태에 따른 특정 영역 합성 모델(e)을 통해 공간 이미지에 가구 이미지를 합성하여 나타낸 예시도이다. 도 6에서와 같이 상기 특정 영역 합성 모델은 기존 사용자가 전송한 공간 이미지에 있는 기존의 침대를 사진에서 삭제하며 기존 침대의 영역 배경을 복원하고, 사용자가 선택한 새로운 가구의 이미지를 지정 위치에 삽입할 수 있다. 따라서 기존 가구 이미지를 삭제하는 동시에 새로운 가구가 위치할 영역을 전체 복원한 후 새로운 가구의 이미지가 삽입되므로, 새로운 가구 이미지가 이질감 없이 합성될 수 있도록 한다.

한편, 사용자는 사용자 단말기에 설치된 앱이나 인터넷 상의 웹사이트에 접속함으로써, 본 발명의 가구 쇼핑 서비스 제공 시스템을 통해 가구 정보 검색, 가구 구매, 공간 이미지 합성 등과 같은 서비스를 제공받을 수 있다.

가령, 사용자가 단말기에 설치된 앱에 로그인한 후 상기 앱 상에서 제공되는 가구 추천 서비스를 선택하는 경우, 상기 서비스구현부(130)에서는 상기 사용자 정보 저장부(110)로부터 해당 사용자의 취향별 유형화 정보 및 서비스 내 활동 정보를 전송받아, 해당 사용자의 취향별 유형화 정보에 매칭 되거나 구매 건수가 가장 많은 분류 정보 요소를 가지는 다른 가구 정보 데이터를 상기 가구 정보 저장부(120)로부터 추출하여 상기 앱을 통해 제공하게 된다.

또한, 사용자가 단말기에 설치된 앱에 로그인한 후 특정 가구 정보를 선택하고, 상기 앱 상에서 제공되는 공간 이미지 합성 서비스를 선택하는 경우, 상기 서비스구현부(130)는 상기 가구 정보 저장부(120)로부터 사용자가 선택한 가구의 이미지를 추출하고, 상기 사용자 정보 저장부(110)로부터 사용자가 전송한 공간 이미지를 추출한 후 추출한 가구의 이미지와 사용자가 전송한 공간 이미지를 합성하여, 사용자가 선택한 가구가 사용자의 공간상에 배치된 이미지를 상기 앱을 통해 제공하게 된다.

도 7은 본 발명의 일 양태에 따른 실공간 변형 합성 기술을 이용한 가구 쇼핑 서비스 제공 시스템의 순서도를 도시한 것이다. 도 7에 따르면, 사용자 정보 저장부의 공간 이미지 정보(114)로부터 추출된 사용자가 전송한 공간 이미지를 입력한다. 입력된 공간 이미지는 공간 및 물체인식 모델(a)과 깊이 추정 모델(b)로 전송되며 타겟 물체인 소파의 형태와 깊이를 감지하여 타겟 물체 영역 마스크를 발생시킨다, 또한 레이아웃 예측 모델(c)은 레이아웃을 추정하여 레이아웃 윤곽선을 나타낸 이미지를 발생시킨다. 상술한 과정에서 발생된 타겟 물체 영역 마스크과 레이아웃 윤곽선을 나타낸 이미지는 알파 매팅 모델을 한번 더 거치며 보다 정교한 영역 마스크 및 윤곽선을 가지게 된다. 그리고 광원 추정 모델(d)은 공간 이미지 내의 광원 환경값을 예측한다. 여기서, 공간이미지는 물체 그림자 제거 모델을 통해 그림자를 제거한 공간 이미지를 발생시키며, 상기 그림자를 제거한 공간 이미지와 알파 매팅 모델을 거친 타겟 물체 영역 마스크 및 레이아웃 윤곽선을 나타낸 이미지는 특정 영역 합성 모델(e)로 전송된다. 먼저, 특정 영역 합성 모델(e)의 특정 영역 복원 모델이 이미지들을 전송받아 공간 이미지 내의 타겟 물체를 삭제하고 해당 영역을 전체 복원시킨 후 특정 영역 합성 모델(e)의 물체 삽입 모델로 결과 이미지를 송부하여 사용자가 선택한 새로운 가구 이미지를 사용자가 원하는 위치에 배치되도록 삽입한다. 여기서, 광원 추정 모델(d)은 예측한 광원 환경값을 기반으로 새로운 가구 이미지가 이질적이지 않고 자연스럽게 합성될 수 있도록 광원 환경값을 제어하여 조도, 색감을 환경에 맞게 일치시키며 이에 맞는 그림자를 삽입한다. 그 결과로 사용자가 전송한 공간 이미지에서 사용자가 선택한 새로운 가구 이미지가 이질적이지 않고 자연스럽게 합성된 이미지를 수득할 수 있다.

이를 통해 본 발명은 상기와 같은 공간 이미지 합성 서비스를 제공함으로써, 앱이나 웹사이트에 로그인한 사용자가 본인이 관심 있어 하는 가구를 구매 결정하기 전에 미리 실제 배치할 공간이나 장소에 배치되었을 때 예상되는 공간 이미지를 확인할 수 있으며, 이로 인해 구매할 가구가 배치될 공간과 얼마나 조화를 이루는지 등을 직관적으로 확인할 수 있어 더욱 구매 결정에 도움을 줄 수 있게 된다.

본 발명의 다른 양태는 가상 경험을 통한 가구 쇼핑 서비스 제공 시스템에 관한 것으로, 보다 구체적으로 사용자의 단말기에 설치된 앱이나 인터넷 상의 웹사이트를 통해 가구 정보 표시, 가구 구매 및 증강현실을 포함하는 서비스를 제공할 수 있도록 하는 가구 쇼핑 서비스 제공 시스템에 있어서, 회원들의 취향별 유형화 정보 및 서비스 내 활동 정보를 포함하는 회원 정보를 저장하는 사용자 정보 저장부; 다양한 가구 정보 및 가구 이미지 정보를 저장하는 가구 정보 저장부; 및 가구 추천 서비스, 증강현실 서비스 및 구매 서비스를 구현하는 서비스구현부;를 포함하되, 상기 서비스구현부의 상기 증강현실 서비스는 공간 및 물체 인식 모델, 깊이 추정 모델, 레이아웃 예측 모델, 광원 추정 모델 및 특정 영역 합성모델을 이용하여 구현되는 것을 특징으로 한다.

본 발명의 다른 양태에 따른 가구 쇼핑 서비스 제공 시스템은 사용자가 소지하는 스마트폰, 테블릿 PC 등과 같은 단말기에 설치된 앱(app)이나 인터넷 상의 웹사이트를 통해 가구 정보 표시, 가구 구매 및 증강현실을 포함하는 서비스를 제공할 수 있도록 하는 것으로서, 상기 앱이나 웹사이트에 로그인하여 접속한 사용자가 다양한 종류의 가구에 대한 디자인, 기능, 사이즈, 소재, 제조사 등의 정보를 확인할 수 있도록 하고, 구매를 원하는 가구에 대해 온라인 결제 서비스를 제공하여 편리하게 구매를 할 수 있도록 하며, 구매 결정전에 관심 있는 가구의 이미지를 사용자의 단말기의 디스플레이 상으로 표시되는 공간 배경의 사용자 지정 위치에 겹쳐져서 보이도록 하는 증강현실 서비스 등을 앱이나 웹사이트 상으로 제공한다.

도 8은 본 발명의 다른 양태에 따른 실공간 변형 합성 기술을 이용한 가구 쇼핑 서비스 제공 시스템의 개념도를 도시한 것으로, 도 8에 의하면 본 발명의 다른 양태에 따른 가상 경험을 통한 가구 쇼핑 서비스 제공 시스템(200)은 회원들의 취향별 유형화 정보 및 서비스 내 활동 정보를 포함하는 회원 정보를 저장하는 사용자 정보 저장부(210), 가구 추천 서비스, 다양한 가구 정보 및 가구 이미지 정보를 저장하는 가구 정보 저장부(220) 및 증강현실 서비스 및 구매 서비스를 구현하는 서비스 구현부(230)를 포함하고 있으며, 사용자는 사용자 단말기에 설치된 앱이나 인터넷 상의 웹사이트에 접속함으로써, 본 발명의 가구 쇼핑 서비스 제공 시스템을 통해 가구 정보 검색, 가구 구매, 증강현실 등과 같은 서비스를 제공받을 수 있다.

상기 서비스구현부(230)는 공간 및 물체 인식 모델(a), 깊이 추정 모델(b), 레이아웃 예측 모델(c), 광원 추정 모델(d) 및 특정 영역 합성 모델(e)을 이용하여 구현됨으로써 사용자의 단말기의 디스플레이 상으로 표시되는 공간 배경에 3차원적으로 인식한 가구 이미지를 자연스러운 형태로 합성하여 증강현실 서비스를 제공할 수 있는 것이 바람직하다.

본 발명의 다른 양태에서 상기 사용자 정보 저장부(210)는 회원들의 취향별 유형화 정보 및 서비스 내 활동 정보를 포함하는 회원 정보(212)를 저장하는 것으로서, 서비스 제공자 측의 서버에 구비되어 관리된다. 상기 취향별 유형화 정보는 서비스 제공자 측에서 미리 마련해 놓은 소비자 취향에 대한 유형 자료를 기반으로 회원 각각에 대해 설문 조사를 통해 해당 회원의 가구 취향을 특정 유형으로 판단하고 분류한 자료로서, 상기 서비스 제공자 측에서 미리 마련해 놓은 소비자 취향에 대한 유형 자료는 수많은 소비자들에 대한 인터뷰 자료, 인터넷 상의 방대한 빅데이터 등을 바탕으로 서비스 제공자측에서 가구 소비자들의 유형을 특성이나 취향에 따라 특정 유형으로 정의하고 분류한 자료를 의미한다.

또한, 상기 사용자 정보 저장부(210)에서는 저장된 회원 정보(212) 또는 사용자측 공간 이미지 정보(214)에 변경이 생기거나, 신규 회원 정보 또는 신규 공간 이미지 정보가 추가되는 경우 이를 반영하는 업데이트가 실시간으로 이루어진다.

본 발명의 다른 양태에서 상기 가구 정보 저장부(220)는 서비스 제공자 측에서 판매하고자 하는 다양한 가구에 대한 정보(222) 및 해당 가구 이미지 정보(224)를 저장매체에 저장하는 것으로서, 상기 가구 정보 저장부에는 판매하고자 하는 가구들의 정보 데이터들이 소비자의 구매 취향에 관한 다양한 기준에 따라 분류되어 저장되어 있다. 가령, 본 발명의 가구 정보 저장부는 기능, 디자인, 가격, 조화 등 가구 구매자들의 구매결정에 영향을 미치는 중점 요소들에 맞추어 가구 구매자들의 구매 결정 취향 별로 분류 정보 요소들을 마련하고, 각각의 가구 정보 데이터에 해당 분류 정보 요소를 포함시켜 가구 정보 데이터들을 저장할 수 있다. 또한, 본 발명의 가구 이미지 정보(224)는 사용자가 선택할 수 있는 가구, 즉 판매하고자 하는 가구의 이미지를 의미하며 상기 가구 이미지 정보는 정면도 및 사시도가 구비되어 3차원적으로 가구 형태를 인식할 수 있어 공간 이미지에 자연스럽게 합성할 수 있는 것이 바람직하다. 보다 바람직하게 상기 가구 이미지는 정면도, 좌측면도, 우측면도, 배면도가 구비될 수 있다. 더 바람직하게 상기 가구 이미지는 정면도, 배면도, 사시도, 좌측면도, 우측면도, 평면도, 저면도가 구비될 수 있다.

본 발명의 다른 양태에서 상기 서비스구현부(230)는 가구 추천 서비스(232), 증강현실 서비스(234) 및 구매 서비스(236)를 구현하는 것으로서, 상기 서비스 구현부(230)는 서비스 제공자 측의 서버에 탑재될 수도 있고, 사용자 측의 단말기에 앱을 통해 탑재될 수도 있다.

상기 서비스구현부(230)는 앱이나 웹사이트에 로그인하여 접속한 사용자에게 구매 취향에 맞는 가구 제품들을 별도 추천하여 보다 신속하고 편리한 구매가 가능하도록 하기 위해, 상기 사용자 정보 저장부로부터 해당 사용자의 취향별 유형화 정보 및 서비스 내 활동 정보를 전송받아, 해당 사용자의 취향별 유형화 정보에 매칭 되거나 구매 건수가 가장 많은 분류 정보 요소를 가지는 다른 가구 정보 데이터를 상기 가구 정보 저장부(220)로부터 추출하여 제공함으로써 가구 추천 서비스를 구현하는 것이 바람직할 수 있으며, 가장 바람직하게는 해당 사용자의 취향별 유형화 정보에 매칭 되면서 동시에 구매 건수가 가장 많은 분류 정보 요소를 가지는 다른 가구 정보 데이터를 상기 가구 정보 저장부(220)로부터 추출하여 제공함으로써 가구 추천 서비스를 구현하는 것일 수 있다.

또한, 상기 서비스구현부(230)는 상기 가구 정보 저장부(220)로부터 사용자가 선택한 가구의 이미지를 추출하고, 상기 앱이나 웹사이트에 접속한 사용자의 단말기의 카메라 기능을 활성화 시킨 후, 상기 추출한 가구의 이미지가 상기 사용자의 단말기의 디스플레이 상으로 표시되는 공간 배경의 사용자 지정 위치에 겹쳐져서 보이도록 함으로써 증강현실 서비스를 구현하는 것이 바람직하다. 본 발명은 상기와 같은 증강현실 서비스를 제공함으로써, 앱이나 웹사이트에 로그인한 사용자가 본인이 관심 있어 하는 가구를 구매 결정하기 전에 미리 실제 배치할 공간에 배치되었을 때 예상되는 공간 외관을 디스플레이를 통해 즉각적으로 확인할 수 있으며, 이로 인해 구매할 가구가 배치될 공간과 얼마나 조화를 이루는지 등을 직관적으로 확인할 수 있어 더욱 구매 결정에 도움을 줄 수 있게 된다.

나아가, 상기 서비스구현부(230)는 증강현실 서비스를 구현할 때 추출한 가구의 이미지와 사용자의 단말기의 디스플레이 상으로 표시되는 공간 배경의 색감을 일치 시키는 동기화 작업을 거쳐 겹쳐져서 보이도록 하는 것이 보다 바람직할 수 있다. 이는 온라인 쇼핑을 통해 가구를 구매하는 경우, 통상적으로 실제 가구를 구매 후 공간에 배치하였을 때 가구의 크기나 형태가 예상과는 달리 적합하지 않거나 사용자가 소지하는 단말기의 모니터나 디스플레이 상으로 인식되는 가구의 색감과 현실에서 인식되는 실제 가구의 색감 간의 괴리가 있어, 실제 구매 후 공간에 배치하였을 때 어울리지 않거나 기대했던 색감이 아니어서 해당 가구에 대한 구매를 후회하는 경우가 자주 발생하는 문제가 있는데, 본 발명은 증강현실 서비스를 구현할 때 추출한 가구의 이미지와 사용자의 단말기의 디스플레이 상으로 표시되는 공간 배경을 3차원적으로 인식하고 사용자가 지정한 합성위치에 맞춰 가구 이미지의 구도 및 형태를 제어하여 최대한 실제로 가구를 배치하였을 때와 유사하게 보이며, 색감, 조도를 일치시키는 동기화 작업을 거쳐 상기 가구의 이미지와 상기 공간 배경이 겹쳐져서 보이도록 함으로써, 사용자가 실제 공간에 가구가 배치된 외관에 최대한 근접한 색감, 조도 및 그림자를 나타내어 실제 공간에 가구를 배치한 것과 같이 자연스럽게 증강현실로 확인이 가능한 장점이 있다.

상기 증강현실 서비스(234)는 공간 및 물체 인식 모델(a), 깊이 추정 모델(b), 레이아웃 예측 모델(c), 광원 추정 모델(d) 및 특정 영역 합성 모델(e)을 이용하여 구현됨으로써 상술한 것과 같은 효과를 구현할 수 있는 것이 바람직하다. 상기 증강현실 서비스(234)의 구동방식은 상술한 공간 이미지 합성 서비스(134)와 유사하며, 상기 도 8에서와 같이 상기 공간 이미지 합성 서비스(134)는 사용자의 단말기의 디스플레이 상으로 표시되는 공간 배경에서 상기 공간 이미지에 대하여 공간 및 물체 인식 모델(a), 깊이 추정 모델(b), 레이아웃 예측 모델(c) 및 광원 추정 모델(d)을 통해 각각의 결과 이미지를 도출한 후, 가구 정보 저장부의 가구 이미지 정보(124)로부터 사용자가 선택한 가구 이미지를 선택하고 특정 영역 합성 모델(e)을 통해 상기 공간 배경에 합성함으로써 구동될 수 있다.

먼저, 상기 공간 및 물체 인식 모델(Segmentation model, a)이 사용자의 단말기의 디스플레이 상으로 표시되는 공간 배경에 포함된 벽면, 바닥면, 쇼파, 책상 등의 물체를 각각 감지 및 분류할 수 있다. 상기 공간 및 물체 인식 모델은 사용자가 전송한 공간 이미지 내에서 존재하는 물체의 종류와 형태를 감지하여 각각을 따로 분류하고 영역선으로 나타낼 수 있다. 나아가, 상기 공간 및 물체 인식 모델을 통해 생성된 이미지는 알파 매팅(Alpha Matting) 모델을 더 거침으로써 더욱 정교하게 분류된 영역선을 가지도록 할 수 있다.

상기 깊이 추정 모델(Depth Estimation model, b)은 사용자의 단말기의 디스플레이 상으로 표시되는 공간 배경의 원근감을 인식하여 이를 나타낼 수 있다. 멀리 위치할수록 진한 붉은색, 가까이 위치할수록 진한 파란색을 나타낼 수 있으며, 이를 통해 상기 공간 배경 내의 원근감을 인식함으로써 3차원 형태로 공간 배경이 인식될 수 있는 것을 특징으로 한다. 상기 깊이 추정 모델은 사진 상 멀리 위치할수록 진한 빨간색을 가까이 위치할수록 진한 파란색을 나타낼 수 있고 중간 정도 위치하는 경우 색채 스펙트럼에 따라 주황색, 노란색, 초록색을 나타낼 수 있으며, 동일 색상인 경우에도 비교적 멀수록 진한색, 비교적 가까울수록 연한색으로 나타낼 수 있다.

상기 레이아웃 예측 모델(Layout Estimation model, c)은 사용자의 단말기의 디스플레이 상으로 표시되는 공간 배경의 구도가 변경되어도 자연스럽게 합성된 가구의 구도 및 형태도 변경되어 볼 수 있도록 다양한 구도를 가진 공간 배경의 레이아웃(Layout)을 인식하여 이를 화면 상에 나타낼 수 있다. 또한, 상기 레이아웃 예측 모델은 특정 영역 합성 모델(e)에서 각 레이아웃을 기준으로 영역복원을 진행하기 위해 레이아웃을 감지하는 것에 적용될 수 있다. 나아가, 상기 레이아웃 예측 모델을 통해 생성된 결과 이미지는 알파 매팅(Alpha Matting) 모델을 통해 더 거침으로써 더욱 정교하게 분류된 레이아웃을 나타내도록 할 수 있다.

상기 광원 추정 모델(Illumination Estimation model, d)은 사용자가 선택한 가구 이미지를 사용자의 단말기의 디스플레이 상으로 표시되는 공간 배경의 사용자 지정 위치에 겹쳐져서 보이도록 하는 증강현실 서비스를 구현할 때에, 상기 사용자 지정 위치에서의 광원값을 추정하여 사용자가 선택한 가구의 이미지와 상기 사용자 지정 위치의 광원 환경값을 일치시키는 동기화 작업을 거침으로써, 사용자 지정 위치 내 광원 환경값을 이해한 후 사용자가 선택한 가구 이미지를 해당 공간에 이질감 없이 합성시킬 수 있다. 이에 따라 상기 광원 추정 모델(d)은 사용자의 단말기의 디스플레이 상으로 표시되는 공간 배경의 광원 환경값을 추정한 후 특정 영역 합성 모델(e)에서 공간 배경과 사용자가 선택한 가구 이미지를 합성할 때에 광원 환경값을 제어하는 방식으로 구동된다. 온라인 쇼핑을 통해 가구를 구매하는 경우, 통상적으로 사용자가 소지하는 단말기의 모니터나 디스플레이 상으로 인식되는 가구의 색감과 현실에서 인식되는 실제 가구의 색감 간의 괴리가 있어, 실제 구매 후 공간에 배치하였을 때 어울리지 않거나 기대했던 색감이 아니어서 해당 가구에 대한 구매를 후회하는 경우가 자주 발생하는 문제가 있는데, 본 발명은 추출한 가구의 이미지와 사용자 지정 위치를 합성할 때 추출한 가구의 이미지와 사용자 지정 위치의 광원 환경값에 관한 정보 수치를 일치시키는 동기화 작업을 거쳐 합성시킴으로써, 사용자가 실제 공간에 가구가 배치된 이미지에 최대한 근접한 색감으로 모니터나 디스플레이 상으로 확인이 가능한 이점이 있다.

상기 동기화 작업은 리니어 워크플로우(Linear Workflow) 작업을 통해 이루어지는 것이 바람직하다. 상기 리니어 워크플로우는 가구에 대한 원본 이미지의 감마 익스포절 화이트밸런스(Gamma exposure whitebalance) 수치를 조정하여 리니어하게 함으로써, 사용자가 모니터나 디스플레이 상으로 확인하더라도 실제 공간에서 육안으로 인식하는 색감과 거의 유사한 색감을 발휘하도록 보정하는 작업을 의미하며, 본 발명에서는 상기 리니어 워크플로우(Linear Workflow) 작업을 통해 사용자의 단말기에 설정되어 있는 색감 정보 수치를 기준으로 상기 가구 이미지의 감마 익스포절 화이트밸런스(Gamma exposure whitebalance) 수치을 조정하여 리니어하게 보정함으로써, 사용자의 단말기의 디스플레이 상으로 표시되는 공간 배경에 선택한 가구 이미지를 겹쳤을 때 색감 상 이질감이 느껴지지 않도록 할 수 있다. 나아가, 상기 서비스구현부(230)는 증강현실 서비스를 구현할 때 추출한 가구의 이미지와 사용자의 단말기의 디스플레이 상으로 표시되는 공간 배경 간의 색감뿐만 아니라 조도, 그림자 방향 및 재질감의 부조화나 이질감을 최소화하여 가장 자연스러운 합성 이미지를 제공하기 위해, 추출한 가구의 이미지와 사용자의 단말기의 디스플레이 상으로 표시되는 공간 배경에서 사용자 지정 위치의 색감, 조도, 그림자 방향 및 재질감을 일치시키는 동기화 작업을 거쳐 겹쳐져서 보이도록 할 수 있다. 상기 서비스구현부(230)는 광원 추측 모델을 포함할 수 있다. 상기 광원 추측 모델은 공간 배경 내 광원 값을 기준으로 추출한 가구의 이미지를 합성하므로 조도가 높은 부분은 밝게, 조도가 낮은 부분은 어둡게 표현되어 가구 이미지가 이질감 없이 자연스럽게 합성되도록 할 수 있다.

상기 특정 영역 합성 모델(e)은 사용자가 가구의 이미지를 사용자의 단말기의 디스플레이 상으로 표시되는 공간 배경의 사용자 지정 위치에 겹쳐져서 보이도록 하면, 공간 배경 상의 지정 위치에 가구 이미지를 겹쳐져서 보이도록 합성하여 제공할 수 있다. 상기 특정 영역 합성 모델은 특정 영역 복원 모델(Image Inpainting)과 물체 삽입 모델(Object Insertion)을 포함하는 것이 바람직하다. 상기 영역 복원 모델은 사용자 지정 위치에서 기존 가구 이미지를 삭제하면, 삭제된 이미지 영역을 주변 배경값과 유사하게 복원한다. 상기 물체 삽입 모델은 사용자가 선택한 새로운 가구 이미지를 사용자가 배치하기 원하는 위치에 삽입한다. 여기서, 특정 영역 합성 모델에 사용되는 공간 이미지는 물체 그림자 제거 모델을 통해 이미지 내의 물체에 대한 그림자가 제거된 상태로 이용되는 것이 바람직할 수 있다. 특정 영역 복원 모델은 GAN(Generative Adversarial Network)기반 모델을 이용하여 삭제된 이미지 영역 복원할 수 있으며, 상기 물체 그림자 제거 모델은 GAN기반 모델에서 삭제된 이미지 영역의 주변 배경에 의한 영향을 최소화하여 이질감을 보다 줄이기 위해 적용될 수 있다. 또한 상기 특정 영역 합성 모델은 사용자의 단말기의 디스플레이 상으로 표시되는 공간 배경의 사용자 지정 위치에서 사용자 지정 위치에 있는 기존의 가구 이미지를 삭제하는 동시에 새로운 가구가 위치할 영역의 배경을 전체 복원한 후, 사용자가 선택한 새로운 가구의 이미지를 지정 위치에 삽입함으로써 이질감 없이 가구 이미지를 합성할 수 있다.

상기 서비스구현부(230)는 사용자가 선택한 가구의 이미지를 디스플레이에 표시되는 공간 배경 상에서 배치시킬 위치를 임의로 지정하면, 상기 디스플레이에 표시되는 공간 배경 상의 지정된 위치에 상기 가구 이미지가 겹쳐져서 보이도록 제공할 수 있다.

한편, 사용자가 인터넷 상의 웹사이트에 로그인한 후 상기 웹사이트 상에서 제공되는 가구 추천 서비스를 선택하는 경우, 상기 서비스구현부(230)에서는 상기 사용자 정보 저장부(210)로부터 해당 사용자의 취향별 유형화 정보 및 서비스 내 활동 정보를 전송받아, 해당 사용자의 취향별 유형화 정보에 매칭 되거나 구매 건수가 가장 많은 분류 정보 요소를 가지는 다른 가구 정보 데이터를 상기 가구 정보 저장부(220)로부터 추출하여 상기 웹사이트 상으로 제공하게 된다.

또한, 사용자가 상기 웹사이트에 로그인한 후 특정 가구 정보를 선택하고, 상기 웹사이트 상에서 제공되는 증강현실 서비스를 선택하는 경우, 상기 서비스구현부(230)는 상기 가구 정보 저장부(220)로부터 사용자가 선택한 가구의 이미지를 추출하고, 상기 웹사이트에 접속한 사용자의 단말기의 카메라 기능을 활성화 시킨 후, 상기 추출한 가구의 이미지가 상기 사용자의 단말기의 디스플레이 상으로 표시되는 공간 배경의 사용자 지정 위치에 겹쳐져서 보이도록 함으로써 증강현실 서비스를 제공하게 된다.

본 발명의 다른 양태에 따르면, 사용자 정보 저장부의 공간 이미지 정보(114)로부터 추출된 사용자의 단말기의 디스플레이 상으로 표시되는 공간 배경의 사용자 지정 위치가 입력되면, 입력된 공간 배경이 공간 및 물체인식 모델(a)과 깊이 추정 모델(b)로 전송되며 타겟 물체인 소파의 형태와 깊이를 감지하여 타겟 물체 영역 마스크를 발생시킨다, 또한 레이아웃 예측 모델(c)은 레이아웃을 추정하여 레이아웃 윤곽선을 나타낸 이미지를 발생시킨다. 상술한 과정에서 발생된 타겟 물체 영역 마스크과 레이아웃 윤곽선을 나타낸 이미지는 알파 매팅 모델을 한번 더 거치며 보다 정교한 영역 마스크 및 윤곽선을 가지게 되며, 광원 추정 모델(d)은 공간 이미지 내의 광원 환경값을 예측한다. 여기서, 공간이미지는 물체 그림자 제거 모델을 통해 그림자를 제거한 공간 이미지를 발생시키고, 상기 그림자를 제거한 공간 이미지와 알파 매팅 모델을 거친 타겟 물체 영역 마스크 및 레이아웃 윤곽선을 나타낸 이미지는 특정 영역 합성 모델(e)로 전송된다. 먼저, 특정 영역 합성 모델(e)의 특정 영역 복원 모델이 이미지들을 전송받아 공간 배경의 타겟 물체를 삭제하고 해당 영역을 전체 복원시킨 후 특정 영역 합성 모델(e)의 물체 삽입 모델로 결과 이미지를 송부하여 사용자가 선택한 새로운 가구 이미지를 사용자가 원하는 위치에 배치되도록 삽입한다. 여기서, 광원 추정 모델(d)은 예측한 광원 환경값을 기반으로 새로운 가구 이미지가 이질적이지 않고 자연스럽게 합성될 수 있도록 광원 환경값을 제어하여 조도, 색감 등을 환경에 맞게 일치시키며 이에 맞는 그림자를 삽입한다. 그 결과로 사용자가 선택한 새로운 가구 이미지가 사용자의 단말기의 디스플레이 상으로 표시되는 공간 배경의 사용자 지정 위치에 이질적이지 않고 자연스럽게 겹쳐져서 보이도록 할 수 있다.

이상에 설명한 바와 같이, 본 발명이 속하는 기술 분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 본 발명의 범위는 상기의 상세한 설명보다는 후술할 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

100, 200 : 가상 경험을 통한 가구 쇼핑 서비스 제공 시스템
110, 210 : 사용자 정보 저장부
120, 220 : 가구 정보 저장부
130, 230 : 서비스 구현부

Claims

사용자의 단말기에 설치된 앱이나 인터넷 상의 웹사이트를 통해 가구 정보 표시, 가구 구매 및 공간 이미지 합성을 포함하는 서비스를 제공할 수 있도록 하는 가구 쇼핑 서비스 제공 시스템에 있어서,
회원들의 취향별 유형화 정보 및 서비스 내 활동 정보를 포함하는 회원 정보 및 사용자가 전송한 공간 이미지 정보를 저장하는 사용자 정보 저장부;
다양한 가구 정보 및 가구 이미지 정보를 저장하는 가구 정보 저장부; 및
가구 추천 서비스, 공간 이미지 합성 서비스 및 구매 서비스를 구현하는 서비스구현부;를 포함하되,
상기 서비스 구현부의 상기 공간 이미지 합성 서비스는 공간 및 물체 인식 모델, 깊이 추정 모델, 레이아웃 예측 모델, 광원 추정 모델 및 특정 영역 합성모델을 이용하여 구현되는 실공간 변형 합성 기술을 이용한 가구 쇼핑 서비스 제공 시스템.
제 1항에 있어서,
상기 서비스구현부는 상기 사용자 정보 저장부로부터 해당 사용자의 취향별 유형화 정보 및 서비스 내 활동 정보를 전송받아, 해당 사용자의 취향별 유형화 정보에 매칭 되거나 구매 건수가 가장 많은 분류 정보 요소를 가지는 다른 가구 정보 데이터를 상기 가구 정보 저장부로부터 추출하여 제공함으로써 가구 추천 서비스를 구현하는 것을 특징으로 하는 실공간 변형 합성 기술을 이용한 가구 쇼핑 서비스 제공 시스템.
제 1항에 있어서,
상기 서비스구현부는 상기 가구 정보 저장부로부터 사용자가 선택한 가구의 이미지를 추출하고, 상기 사용자 정보 저장부로부터 사용자가 전송한 공간 이미지를 추출한 후 추출한 가구의 이미지와 사용자가 전송한 공간 이미지를 합성하여, 사용자가 선택한 가구가 사용자의 공간상에 배치된 이미지를 제공함으로써 공간 이미지 합성 서비스를 구현하는 것을 특징으로 하는 실공간 변형 합성 기술을 이용한 가구 쇼핑 서비스 제공 시스템.
제 3항에 있어서,
상기 서비스구현부는 추출한 가구의 이미지와 사용자가 전송한 공간 이미지의 색감을 일치시키는 동기화 작업을 거쳐 합성시키는 것을 특징으로 하는 실공간 변형 합성 기술을 이용한 가구 쇼핑 서비스 제공 시스템.
제 4항에 있어서,
상기 동기화 작업은 사용자가 현실 공간에서 촬영한 공간 이미지의 색감 정보를 기준으로 상기 가구 이미지의 감마 익스포절 화이트밸런스(Gamma exposure whitebalance) 수치를 조정하여 리니어하게 보정하는 리니어 워크플로우(Linear Workflow) 작업을 통해 이루어지는 것을 특징으로 하는 실공간 변형 합성 기술을 이용한 가구 쇼핑 서비스 제공 시스템.
제 3항에 있어서,
상기 서비스구현부는 추출한 가구의 이미지와 사용자가 전송한 공간 이미지의 색감, 조도, 그림자 방향 및 재질감을 일치시키는 동기화 작업을 거쳐 합성시키는 것을 특징으로 하는 실공간 변형 합성 기술을 이용한 가구 쇼핑 서비스 제공 시스템.
사용자의 단말기에 설치된 앱이나 인터넷 상의 웹사이트를 통해 가구 정보 표시, 가구 구매 및 증강현실을 포함하는 서비스를 제공할 수 있도록 하는 가구 쇼핑 서비스 제공 시스템에 있어서,
회원들의 취향별 유형화 정보 및 서비스 내 활동 정보를 포함하는 회원 정보를 저장하는 사용자 정보 저장부;
다양한 가구 정보 및 가구 이미지 정보를 저장하는 가구 정보 저장부; 및
가구 추천 서비스, 증강현실 서비스 및 구매 서비스를 구현하는 서비스구현부;를 포함하되,
상기 서비스 구현부의 상기 증강현실 서비스는 공간 및 물체 인식 모델, 깊이 추정 모델, 레이아웃 예측 모델, 광원 추정 모델 및 특정 영역 합성모델을 이용하여 구현되는 실공간 변형 합성 기술을 이용한 가구 쇼핑 서비스 제공 시스템.
제 7항에 있어서,
상기 서비스구현부는 상기 사용자 정보 저장부로부터 해당 사용자의 취향별 유형화 정보 및 서비스 내 활동 정보를 전송받아, 해당 사용자의 취향별 유형화 정보에 매칭 되거나 구매 건수가 가장 많은 분류 정보 요소를 가지는 다른 가구 정보 데이터를 상기 가구 정보 저장부로부터 추출하여 제공함으로써 가구 추천 서비스를 구현하는 것을 특징으로 하는 실공간 변형 합성 기술을 이용한 가구 쇼핑 서비스 제공 시스템.
제 7항에 있어서,
상기 서비스구현부는 상기 가구 정보 저장부로부터 사용자가 선택한 가구의 이미지를 추출하고, 상기 앱이나 웹사이트에 접속한 사용자의 단말기의 카메라 기능을 활성화 시킨 후, 상기 추출한 가구의 이미지가 상기 사용자의 단말기의 디스플레이 상으로 표시되는 공간 배경의 사용자 지정 위치에 겹쳐져서 보이도록 함으로써 증강현실 서비스를 구현하는 것을 특징으로 하는 실공간 변형 합성 기술을 이용한 가구 쇼핑 서비스 제공 시스템.
제 9항에 있어서,
상기 서비스구현부는 추출한 가구의 이미지와 사용자의 단말기의 디스플레이 상으로 표시되는 공간 배경의 색감을 일치시키는 동기화 작업을 거쳐 겹쳐져서 보이도록 하는 것을 특징으로 하는 실공간 변형 합성 기술을 이용한 가구 쇼핑 서비스 제공 시스템.
제 10항에 있어서,
상기 동기화 작업은 사용자의 단말기에 설정되어 있는 색감 정보 수치를 기준으로 상기 가구 이미지의 감마 익스포절 화이트밸런스(Gamma exposure whitebalance) 수치을 조정하여 리니어하게 보정하는 리니어 워크플로우(Linear Workflow) 작업을 통해 이루어지는 것을 특징으로 하는 실공간 변형 합성 기술을 이용한 가구 쇼핑 서비스 제공 시스템.
제 9항에 있어서,
상기 서비스구현부는 추출한 가구의 이미지와 사용자의 단말기의 디스플레이 상으로 표시되는 공간 배경의 색감, 조도, 그림자 방향 및 재질감을 일치시키는 동기화 작업을 거쳐 겹쳐져서 보이도록 하는 것을 특징으로 하는 실공간 변형 합성 기술을 이용한 가구 쇼핑 서비스 제공 시스템.