KR102019299B1 - 홈 스타일링 서버 및 이를 포함하는 시스템과, 홈 스타일링을 위한 영상 처리 방법 - Google Patents

홈 스타일링 서버 및 이를 포함하는 시스템과, 홈 스타일링을 위한 영상 처리 방법 Download PDF

Info

Publication number
KR102019299B1
KR102019299B1 KR1020170083038A KR20170083038A KR102019299B1 KR 102019299 B1 KR102019299 B1 KR 102019299B1 KR 1020170083038 A KR1020170083038 A KR 1020170083038A KR 20170083038 A KR20170083038 A KR 20170083038A KR 102019299 B1 KR102019299 B1 KR 102019299B1
Authority
KR
South Korea
Prior art keywords
home
styling
user
user terminal
image
Prior art date
Application number
KR1020170083038A
Other languages
English (en)
Other versions
KR20190002834A (ko
Inventor
강동민
Original Assignee
강동민
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 강동민 filed Critical 강동민
Priority to KR1020170083038A priority Critical patent/KR102019299B1/ko
Publication of KR20190002834A publication Critical patent/KR20190002834A/ko
Application granted granted Critical
Publication of KR102019299B1 publication Critical patent/KR102019299B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H04N5/23238—

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

홈 스타일링을 위한 영상 처리 방법이 개시된다. 상기 영상 처리 방법은 사용자 단말로부터 상기 사용자 단말의 위치 정보를 수신하는 단계; 상기 수신된 위치 정보로부터 상기 사용자 단말을 소유하는 사용자의 거주지를 특정하는 단계; 상기 특정된 사용자의 거주지에 대응하는 평면도를 탐색하고, 상기 탐색된 평면도를 3D 모델링하여 생성된 3D 모델링 데이터를 상기 사용자 단말에 제공하는 단계; 홈 스타일링을 위한 상기 사용자의 공간을 지정하고, 상기 지정된 공간의 영상을 상기 3D 모델링 데이터에 매핑(mapping)하는 단계; 및 상기 지정된 공간의 영상이 매핑된 상기 3D 모델링 데이터로부터 객체(object)를 인식하는 단계를 포함할 수 있다.

Description

홈 스타일링 서버 및 이를 포함하는 시스템과, 홈 스타일링을 위한 영상 처리 방법{HOME STYLING SERVER AND A SYSTEM COMPRISING THE SAME, AND A METHOD FOR PROCESSING IMAGE FOR THE HOME STYLING}
본 발명은 홈 스타일링 서버 및 이를 포함하는 시스템과, 홈 스타일링을 위한 영상 처리 방법에 관한 발명으로서, 보다 구체적으로는 증강현실(AR)을 기반으로 하여 가상현실(VR)을 혼합하여 현 시점의 개인의 공간을 관리하고 만들어갈 수 있도록 하는 홈 스타일링 서버 및 이를 포함하는 시스템과, 홈 스타일링을 위한 영상 처리 방법에 관한 발명이다.
개인 삶의 질과 여유를 중요시하는 최근 시대의 흐름에 따라, 아파트나 빌라 등의 개인 주거 공간에 대한 관심도가 점점 증가하고 있다. 산업 발전의 과도기에는 개인의 주거 공간이 그저 잠을 자기 위한, 또는 휴식을 취하기 위한 장소로만 인식되었지만, 현시대에서는 사람들 사이에서 자신만의 주거 공간을 특유하게 구축하기 위한 노력이 활발하게 진행되고 있다.
이러한 주거 공간의 구축은 주거 공간 내의 가구 등을 교환하거나 재배치하거나 조명을 변경하는 등의 작업을 포함할 수 있으나, 종래에는 이러한 홈 스타일링(home styling)을 사용자가 직접 검색하고 문의하며 진행해야 하는 불편함이 존재하였다.
또한, 최근에는 증강현실(AR; augmented reality) 또는 가상현실(VR; virtual reality) 기술이 활발하게 이용되고 있는데, 아직까지는 증강현실(AR) 및 가상현실(VR)을 개인의 주거 공간 스타일링에 적용함으로써 사용자에게 맞춤형으로 제공하는 서비스가 개발되고 있지 못하는 실정이다.
따라서, 홈 스타일링 서비스를 위해서 증강현실(AR) 기반의 가상현실(VR)을 혼합하여 현 시점에서의 개인의 공간을 관리하고 개인 맞춤형의 독창적인 공간을 만들어갈 수 있도록 하는 새로운 서비스에 대한 관심도가 점점 증가하고 있는 상황이다.
(유사선행특허문헌: 없음)
본 발명은 상기의 기술적 문제점을 해결하고자 안출된 것으로서, 본 발명은 개인 성향 맞춤형의 홈 스타일링 서비스를 사용자에게 제공하는 것을 목적으로 한다.
또한, 본 발명은 개인의 공간을 360˚ 파노라마 뷰의 형태로 제공함으로써 개인 간의 공유 및 소통을 가능하게 하는 플랫폼 서비스를 제공하는 것을 목적으로 한다.
또한, 본 발명은 개인 주거 공간에 대한 영상을 평면도 기반의 3D 모델링 데이터에 매핑하고 그 매핑된 영상으로부터 객체를 인식함으로써, 개인 주거 공간에 배치된 객체에 대한 인식률을 개선하는 것을 목적으로 한다.
또한, 본 발명은 증강현실(AR)을 통해 입력된 개인 주거 공간에 대한 영상으로부터 고객의 성향을 분석함으로써 고객 맞춤형의 홈 스타일링 서비스를 제공하는 것을 목적으로 한다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재들로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기의 기술적 과제를 해결하기 위한 홈 스타일링을 위한 영상 처리 방법은, 사용자 단말로부터 상기 사용자 단말의 위치 정보를 수신하는 단계; 상기 수신된 위치 정보로부터 상기 사용자 단말을 소유하는 사용자의 거주지를 특정하는 단계; 상기 특정된 사용자의 거주지에 대응하는 평면도를 탐색하고, 상기 탐색된 평면도를 3D 모델링하여 생성된 3D 모델링 데이터를 상기 사용자 단말에 제공하는 단계; 홈 스타일링을 위한 상기 사용자의 공간을 지정하고, 상기 지정된 공간의 영상을 상기 3D 모델링 데이터에 매핑(mapping)하는 단계; 및 상기 지정된 공간의 영상이 매핑된 상기 3D 모델링 데이터로부터 객체(object)를 인식하는 단계를 포함할 수 있다.
또한, 바람직하게는, 상기 인식된 객체가 포함된 매핑 영상을 파노라마 뷰(PANORAMA VIEW, 360˚)의 형태로 가공하여 가상현실(VR)의 방식으로 상기 사용자 단말에 제공하는 단계를 더 포함할 수 있다.
또한, 바람직하게는, 상기 위치 정보를 수신하는 단계는, 상기 사용자 단말로부터 상기 사용자 단말의 방위 정보를 수신하는 단계를 더 포함하고, 상기 사용자의 거주지를 특정하는 단계는, 상기 수신된 위치 정보 및 상기 수신된 방위 정보로부터 상기 사용자의 거주지를 층 단위까지 특정하는 단계를 포함할 수 있다.
또한, 바람직하게는, 상기 3D 모델링 데이터를 상기 사용자 단말에 제공하는 단계는, 6개의 맵(MAP)으로 구성되는 육면체 형태를 갖는 상기 3D 모델링 데이터의 경계면만을 증강현실(AR)의 방식으로 상기 사용자 단말에 제공하는 단계를 포함할 수 있다.
또한, 바람직하게는, 상기 육면체 형태의 3D 모델링 데이터의 경계면은 마커리스(markerless) 방식으로 제공될 수 있다.
또한, 바람직하게는, 상기 지정된 공간의 영상을 상기 3D 모델링 데이터에 매핑하는 단계는, 상기 지정된 공간의 영상을 상기 증강현실(AR)로 제공되는 상기 육면체의 각각의 맵(MAP)에 매핑하는 단계를 포함할 수 있다.
또한, 바람직하게는, 상기 육면체의 각각의 맵(MAP)에 매핑하는 단계는 PTAMM(Parallel Tracking and Multiple Mapping) 기법을 기반으로 수행될 수 있다.
또한, 바람직하게는, 상기 객체를 인식하는 단계는, 상기 맵(MAP) 각각에 매핑된 영상의 공간 정보 및 미리 정의된 객체 특징점 중 적어도 하나를 이용하여 상기 객체를 인식하는 단계를 포함할 수 있다.
또한, 바람직하게는, 상기 인식된 객체의 사양(specification)을 결정하는 단계; 및 상기 결정된 객체의 사양, 상기 사용자의 성향에 대한 정보, 및 상기 사용자의 공간에 대한 정보 중 적어도 하나에 기초하여, 상기 인식된 객체와 연관되는 홈 스타일링 서비스를 제공하는 단계를 더 포함할 수 있다.
추가로, 상기의 과제를 해결하기 위한 본 발명의 다른 실시예에 따른 홈 스타일링 서버는, 복수의 거주지에 관한 정보, 상기 복수의 거주지 각각의 평면도, 상기 복수의 거주지의 사용자 정보, 미리 정의된 객체 특징점에 관한 정보, 및 상기 복수의 거주지에 관한 공간 정보 중 적어도 하나를 저장하는 저장부; 사용자 단말로부터 상기 사용자 단말의 위치 정보를 수신하도록 구성되는 통신부; 및 상기 수신된 위치 정보로부터 상기 사용자 단말을 소유하는 사용자의 거주지를 특정하고, 상기 특정된 사용자의 거주지에 대응하는 평면도를 상기 저장부에서 탐색하여 상기 탐색된 평면도를 3D 모델링하여 생성된 3D 모델링 데이터를 상기 통신부를 통해 상기 사용자 단말로 제공하며, 홈 스타일링을 위해 지정된 공간의 영상이 매핑된 상기 3D 모델링 데이터로부터 객체(object)를 인식하도록 구성되는 처리부를 포함할 수 있다.
또한, 바람직하게는, 상기 처리부는, 상기 인식된 객체가 포함된 매핑 영상을 파노라마 뷰(PANORAMA VIEW, 360˚)의 형태로 가공하여 가상현실(VR)의 방식으로 상기 통신부를 통해 상기 사용자 단말에 제공하도록 추가로 구성될 수 있다.
또한, 바람직하게는, 상기 통신부는, 상기 사용자 단말로부터 상기 사용자 단말의 방위 정보를 추가로 수신하도록 구성되고, 상기 처리부는, 상기 수신된 위치 정보 및 상기 수신된 방위 정보로부터 상기 사용자의 거주지를 층 단위까지 특정하도록 추가로 구성될 수 있다.
또한, 바람직하게는, 상기 처리부는, 6개의 맵(MAP)으로 구성되는 육면체 형태를 갖는 상기 3D 모델링 데이터의 경계면만을 증강현실(AR)의 방식으로 상기 통신부를 통해 상기 사용자 단말에 제공하도록 추가로 구성될 수 있다.
또한, 바람직하게는, 상기 육면체 형태의 3D 모델링 데이터의 경계면은 마커리스(markerless) 방식으로 제공될 수 있다.
또한, 바람직하게는, 상기 홈 스타일링을 위해 지정된 공간의 영상이 매핑된 상기 3D 모델링 데이터는, 상기 지정된 공간의 영상이 상기 증강현실(AR)로 제공되는 상기 육면체의 각각의 맵(MAP)에 매핑된 상기 3D 모델링 데이터를 포함할 수 있다.
또한, 바람직하게는, 상기 육면체의 각각의 맵(MAP)에 매핑하는 것은 PTAMM(Parallel Tracking and Multiple Mapping) 기법을 기반으로 수행될 수 있다.
또한, 바람직하게는, 상기 처리부는, 상기 저장부에 저장된 미리 정의된 객체 특징점에 관한 정보, 및 상기 복수의 거주지에 관한 공간 정보 중 적어도 하나에 기초하여 상기 홈 스타일링을 위해 지정된 공간의 영상이 매핑된 상기 3D 모델링 데이터로부터 객체를 인식하도록 추가로 구성될 수 있다.
또한, 바람직하게는, 상기 처리부는, 상기 인식된 객체의 사양(specification)을 결정하고; 그리고 상기 결정된 객체의 사양, 상기 사용자의 성향에 대한 정보, 및 상기 사용자의 공간에 대한 정보 중 적어도 하나에 기초하여, 상기 인식된 객체와 연관되는 홈 스타일링 서비스를 제공하도록 추가로 구성될 수 있다.
추가로, 상기의 과제를 해결하기 위한 본 발명의 또 다른 실시예에 따른 홈 스타일링 시스템은, 상기한 홈 스타일링 서버; 및 상기 홈 스타일링 서버와 통신하도록 구성되며, 상기 홈 스타일링 서버로부터 홈 스타일링 서비스를 제공받도록 구성되는 복수의 사용자 단말을 포함할 수 있다.
본 발명의 일 실시예에 따른 홈 스타일링 서버 및 이를 포함하는 시스템과, 홈 스타일링을 위한 영상 처리 방법에 의하면, 사용자에게 개인 성향 맞춤형의 홈 스타일링 서비스를 제공할 수 있다.
또한, 본 발명의 일 실시예에 따른 홈 스타일링 서버 및 이를 포함하는 시스템과, 홈 스타일링을 위한 영상 처리 방법에 의하면, 개인의 공간을 360˚ 파노라마 뷰의 형태로 제공함으로써 개인 간의 공유 및 소통을 가능하게 한다.
또한, 본 발명의 일 실시예에 따른 홈 스타일링 서버 및 이를 포함하는 시스템과, 홈 스타일링을 위한 영상 처리 방법에 의하면, 개인 주거 공간에 대한 영상을 평면도 기반의 3D 모델링 데이터에 매핑하고 그 매핑된 영상으로부터 객체를 인식함으로써, 개인 주거 공간에 배치된 객체에 대한 인식률을 상당히 개선할 수 있다.
또한, 본 발명의 일 실시예에 따른 홈 스타일링 서버 및 이를 포함하는 시스템과, 홈 스타일링을 위한 영상 처리 방법에 의하면, 증강현실(AR)을 통해 입력된 개인 주거 공간에 대한 영상으로부터 고객의 성향을 분석함으로써 고객 맞춤형의 홈 스타일링 서비스를 제공할 수 있다.
이하의 본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여, 각 도면의 간단한 설명이 제공된다.
도 1은 본 발명의 일 실시예에 따른 홈 스타일링 시스템(10)의 개략적인 블록도이다.
도 2는 도 1에 도시된 홈 스타일링 서버(100)의 블록도이다.
도 3은 본 발명의 일 실시예에 따른 홈 스타일링을 위한 영상 처리 방법(300)을 설명하기 위한 순서도이다.
도 4는 본 발명의 일 실시예에 따라 사용자의 거주지를 특정하고 특정된 거주지에 대응하는 3D 모델링 데이터를 사용자 단말에 제공하는 실시예를 설명하기 위한 개략도이다.
도 5a 및 도 5b는 본 발명의 일 실시예에 따른 사용자의 서비스 적용 공간을 지정하는 실시예를 설명하기 위한 개략도이다.
도 6은 본 발명의 일 실시예에 따라 마커리스(markerless) 방식으로 제공된 육면체 형태의 3D 모델링 데이터에 사용자 공간을 매핑하는 실시예를 설명하기 위한 개략도이다.
도 7은 본 발명의 일 실시예에 따라 사용자 공간의 영상이 매핑된 3D 모델링 데이터로부터 객체(object)를 인식하는 실시예를 설명하기 위한 개략도이다.
도 8은 본 발명의 일 실시예에 따라 인식된 객체가 포함된 매핑 영상을 파노라마 뷰(PANORAMA VIEW, 360˚)의 형태로 가공하여 가상현실(VR)의 방식으로 제공하는 실시예를 설명하기 위한 개략도이다.
도 9는 본 발명의 일 실시예에 따라 인식된 객체의 기본 정보 제공 및 사용자 직접 입력/관리를 설명하기 위한 개략도이다.
도 10은 본 발명의 일 실시예에 따라 인식된 객체의 정보, 사용자 성향 등의 정보에 기반한 쇼핑 리스트를 추천하는 실시예를 설명하기 위한 개략도이다.
이하, 본 발명에 따른 실시예들은 첨부된 도면들을 참조하여 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 실시예들을 설명할 것이나, 본 발명의 기술적 사상은 이에 한정되거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다. 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다.
도 1은 본 발명의 일 실시예에 따른 홈 스타일링 시스템(10)의 개략적인 블록도이다. 도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 홈 스타일링 시스템(10)은 홈 스타일링 서버(100, home styling server)와, 복수의 사용자 단말(200-1, 200-2, ..., 200-N, 집합적으로 "200")(여기서, N은 2 이상의 자연수)로 구성될 수 있다.
상기 복수의 사용자 단말(200) 각각은 그 내부에 통신부를 구비하여 상기 홈 스타일링 서버(100)와 유선 또는 무선으로 통신 가능하도록 구성되고, 상기 사용자 단말(200)은 GPS(global positioning system) 장치, 자이로스코프 센서(gyroscope sensor), 촬영 장치(예컨대, 카메라 등) 등을 추가로 구비할 수 있으며, 이들 추가 수단에 대해서는 이하에서 보다 상술하기로 한다.
상기 사용자 단말(200)은 그 구현 예에 따라 가입자 유닛(subscriber unit), 가입자국(subscriber station), 이동국(mobile station), 원격국(remote station), 원격 단말(remote terminal), 모바일 디바이스(mobile device), 액세스 단말(access terminal), 단말(terminal), 무선 단말(wireless terminal), 무선 통신 디바이스(wireless communication device), 사용자 에이전트(user agent), 사용자 디바이스(user device), 사용자 장비(user equipment) 등의 용어들로 지칭될 수도 있다.
또한, 상기 사용자 단말(200)은 그 구현 예에 따라 셀룰러 전화(celluar phone), 코드리스 전화(codeless phone), 세션 개시 프로토콜(SIP; session initiation protocol) 전화, 무선 로컬 루프(WLL; wireless local loop) 스테이션, 개인용 디지털 보조기(PDA; personal digital assistant), 무선 접속 능력을 구비한 핸드헬드 디바이스(handheld device), 컴퓨팅 디바이스 또는 무선 모뎀에 접속되는 다른 프로세싱 디바이스일 수 있다.
도 1에 도시되는 홈 스타일링 서버(100)는 복수의 사용자 단말(200)과 통신하여 상기 복수의 사용자 단말(200)로부터 수신된 매핑된 주거 공간 영상에 기초하여 상기 주거 공간 내의 다양한 객체를 인식하고 이를 기반으로 사용자에게 홈 스타일링 서비스를 제공하도록 구성될 수 있다.
도 2는 도 1에 도시된 홈 스타일링 서버(100)의 블록도이다.
도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 홈 스타일링 서버(100)는 저장부(130)와, 통신부(120)와, 처리부(140)와, 그리고 제어부(110)로 구성될 수 있다.
상기 저장부(130)는 복수의 거주지에 관한 정보, 상기 복수의 거주지 각각의 평면도, 복수의 거주지의 사용자 정보, 미리 정의된 객체 특징점에 관한 정보, 상기 복수의 거주지에 관한 공간 정보 등이 저장될 수 있다. 예컨대, 상기 저장부(130)는, 통상의 기술자에게 알려진 바와 같이, HDD(Hard Disk Drive), ROM(Read Only Memory), RAM(Random Access Memory), EEPROM(Electrically Erasable and Programmable Read Only Memory), 플래시 메모리(flash memory), CF(Compact Flash) 카드, SD(Secure Digital) 카드, SM(Smart Media) 카드, MMC(Multimedia) 카드 또는 메모리 스틱(Memory Stick) 등 정보의 입출력이 가능한 다양한 형태의 저장 장치로 구현될 수 있다.
또한, 본 발명의 일 실시예에 따르면 상기 저장부(130)는 도 2에 도시된 바와 같이 홈 스타일링 서버(100)의 내부에 구비될 수 있고, 본 발명의 다른 실시예에 따르면 상기 저장부(130)는 상기 홈 스타일링 서버(100)의 외부에서 별도의 저장 수단에 구비될 수도 있다.
또한, 상기 통신부(120)는 복수의 사용자 단말(200)과의 유선 또는 무선 통신을 위한 수단으로서, 외부와의 직접 연결 또는 네트워크를 통한 연결을 위해 제공될 수 있다. 구체적으로, 상기 통신부(120)는 제어부(110), 저장부(130) 등으로부터의 데이터를 유선 또는 무선으로 전송하거나, 외부로부터 데이터를 유선 또는 무선 수신하여 제어부(110)로 전달하거나 저장부(130)에 저장할 수 있다. 상기 데이터에는 텍스트, 이미지, 동화상 등의 컨텐츠, 사용자 영상 등이 포함될 수 있다.
상기 통신부(120)는 랜(LAN), WCDMA(Wideband Code Division Multiple Access), LTE(Long Term Evolution), WiBro(Wireless Broadband Internet), RF(Radio Frequency)통신, 무선랜(Wireless LAN), 와이파이(Wireless Fidelity), NFC(Near Field Communication), 블루투스, 적외선 통신 등을 통해 통신할 수 있다. 다만, 이는 예시적인 것으로서, 본 발명이 적용되는 실시예에 따라 당해 기술분야에서 적용 가능한 다양한 유, 무선 통신 기술이 이용될 수 있음은 명백할 것이다.
상기 제어부(110)는 홈 스타일링 서버(100)의 전반적인 동작, 기능 등을 제어하기 위한 수단이며, 예컨대 통신부(120), 저장부(130), 처리부(140), 등을 제어할 수 있다. 상기 제어부(110)는 컨트롤러, 마이크로컨트롤러, 단일 프로세서, 다중 프로세서 등으로 구성될 수 있으며, 다른 유닛들(120, 130, 140)과 기능적으로 그리고 유기적으로 결합될 수 있다.
또한, 상기 처리부(140)는 본 발명의 일 실시예에 따른 홈 스타일링(home sytling)을 위한 일련의 작업들을 처리하기 위한 수단에 해당한다. 보다 구체적으로, 본 발명의 일 실시예에 따른 처리부(140)는 거주지특정부(141), 3D모델링부(142), 객체인식부(143), 영상편집부(144), 사양결정부(145), 및 홈스타일링제공부(146)로 구성될 수 있다.
예컨대, 상기 거주지특정부(141)는 상기 통신부(120)를 통해 사용자 단말(200)로부터 수신된 위치 정보로부터 상기 사용자 단말(200)을 소유하는 사용자의 거주지를 특정할 수 있다. 또한, 상기 3D모델링부(142)는 상기 특정된 사용자의 거주지에 대응하는 평면도를 상기 저장부(130)에서 탐색하여 상기 탐색된 평면도를 3D 모델링하여 생성된 3D 모델링 데이터를 상기 통신부(120)를 통해 상기 사용자 단말(200)로 제공할 수 있다. 또한, 상기 객체인식부(143)는 홈 스타일링을 위해 지정된 공간의 영상이 매핑된 상기 3D 모델링 데이터로부터 객체를 인식할 수 있다.
또한, 상기 영상편집부(144)는 상기 인식된 객체가 포함된 매핑 영상을 파노라마 뷰(PANORAMA VIEW, 360˚)의 형태로 가공하여 가상현실(VR)의 방식으로 상기 통신부(120)를 통해 상기 사용자 단말(200)에 제공하도록 구성될 수 있고, 상기 사양결정부(145)는 인식된 객체의 사양(specification)을 결정하도록 구성될 수 있으며, 그리고 상기 홈스타일링제공부(146)는 상기 결정된 객체의 사양, 상기 사용자의 성향에 대한 정보, 및 상기 사용자의 공간에 대한 정보 중 적어도 하나에 기초하여, 상기 인식된 객체와 연관되는 홈 스타일링 서비스를 제공하도록 구성될 수 있다.
도 3은 본 발명의 일 실시예에 따른 홈 스타일링을 위한 영상 처리 방법(300)을 설명하기 위한 순서도이다. 도 1 및 도 2에 도시되는 홈 스타일링 시스템(10) 또는 홈 스타일링 서버(100)의 구성들을 참조하여, 이하에서는 본 발명의 일 실시예에 따른 홈 스타일링을 위한 영상 처리 방법을 보다 구체적으로 기술하기로 한다.
먼저, 본 발명의 일 실시예에 따른 사용자 단말(200)에는 본 발명에 따른 홈 스타일링 서비스를 제공받을 수 있는 소프트웨어(예컨대, 애플리케이션 등)가 구비되었다고 가정한다. 상기 사용자 단말(200)에 구비된 홈 스타일링 서비스의 애플리케이션이 실행되면, 홈 스타일링 서버(100)는 상기 사용자 단말(200)에 장착된 GPS 장치에 기반하여 상기 사용자 단말(200)의 위치 정보를 수신할 수 있다(S310).
참고로, 상기 홈 스타일링 서버(100)의 저장부(130)에는 복수의 거주지(예컨대, 아파트, 오피스텔, 빌라, 단독주택, 등)에 관한 정보를 저장하며, 상기 처리부(140)의 거주지특정부(141)는 상기 수신된 위치 정보에 기초하여 상기 사용자 단말(200)을 소유하는 사용자의 거주지를 특정할 수 있다(S320).
경우에 따라, 상기 특정된 거주지가 두 개 이상의 층으로 구성된 다층건물(예컨대, 아파트, 빌라, 오피스텔 등)로 결정되는 경우에, 본 발명의 일 실시예에 따른 홈 스타일링 서버(100)의 제어부(110)는 사용자 단말(200)에 방위 정보(예컨대, 높이)를 추가로 요청할 수 있고, 이에 응답하여 상기 통신부(120)는 사용자 단말(200)로부터 방위 정보를 추가로 수신할 수 있다.
따라서, 상기 처리부(140)의 거주지특정부(141)는 상기 수신된 사용자 단말(200)의 위치 정보 및 방위 정보에 기초하여 상기 사용자의 거주지를 층 단위까지(예컨대, 강남구 역삼동 A 아파트 101동 2302호) 특정하는 것이 가능하다. 이와 같은 사용자 위치 정보의 수신 및 거주지 특정에 대해서는 이하의 도 4에서 보다 상술하기로 한다.
수신된 위치 정보(및 방위 정보)를 기반으로 사용자의 거주지가 특정되면(S320), 처리부(140)의 3D모델링부(142)는 특정된 사용자의 거주지에 대응하는 평면도를 탐색하고(S330), 상기 탐색된 평면도를 3D 모델링(modeling)하여 생성된 3D 모델링 데이터를 사용자 단말(200)에 제공할 수 있다(S340).
예컨대, 상기 제공되는 3D 모델링 데이터는 6개의 맵(MAP)으로 구성되는 육면체 형태를 가질 수 있고, 여기서 육면체 형태의 경계면만이 증강현실(AR)의 방식으로, 보다 바람직하게는 마커리스(markerless) 방식으로 사용자 단말(200)에 제공될 수 있다. 참고로, 이러한 방식으로 제공되는 3D 모델링 데이터는 사용자 단말(200)에서 사용자 공간에 대한 매핑(mapping) 및 트랙킹(tracking)을 위해 사용될 수 있다.
생성된 3D 모델링 데이터가 사용자 단말(200)에 전송되면(S340), 홈 스타일링을 위한 사용자의 공간이 지정되고, 상기 지정된 공간의 영상이 3D 모델링 데이터에 매핑될 수 있다(S350). 여기서, 상기 지정된 공간의 영상을 3D 모델링 데이터에 매핑하는 것은, 상기 지정된 공간의 영상을 증강현실(AR)로 제공되는 육면체 각각의 맵(MAP)에 매핑하는 것을 포함할 수 있으며, 보다 바람직하게는 상기 매핑은 PTAMM(Parallel Tracking and Multiple Mapping) 기법을 기반으로 수행될 수 있다. 참고로, 사용자 공간의 지정 및 공간 영상의 매핑에 대해서는 이하의 도 5 및 도 6에서 보다 상술하기로 한다.
S350에서 3D 모델링 데이터에 사용자 지정된 공간의 영상이 매핑되면, 처리부(140)의 객체인식부(143)는 상기 지정된 공간의 영상이 매핑된 3D 모델링 데이터로부터 객체(object)를 인식할 수 있다. 예컨대, 상기 객체인식부(143)는 맵(MAP) 각각에 매핑된 영상의 공간 정보와, 미리 정의된 객체 특징점 중 적어도 하나를 이용하여 객체를 인식하도록 구성될 수 있다.
참고로, 지정된 공간의 영상이 매핑된 3D 모델링 데이터로부터 객체를 인식하는 실시예는 이하의 도 7에서 보다 상술하기로 한다.
S360에서 영상으로부터 객체가 인식되면, 처리부(140)의 영상편집부(144)는 상기 인식된 객체가 포함된 매핑 영상을 파노라마 뷰(PANORAMA VIEW, 360˚)의 형태로 가공하여 가상현실(VR)의 방식으로 사용자 단말(200)에 제공할 수 있다. 이러한 가상현실(VR) 기반의 파노라마 뷰의 디스플레이 방식은 이하의 도 8에서 보다 상술하기로 한다.
S370에서와 같이 파노라마 뷰의 형태로 사용자 공간에 대한 영상이 제공되면, 본 발명의 일 실시예에 따른 처리부(140)의 사양결정부(145)는 상기 인식된 객체의 사양(specification)을 결정하고(S380), 상기 처리부(140)의 홈스타일링제공부(146)는 상기 결정된 객체의 사양, 상기 사용자의 성향에 대한 정보, 및 상기 사용자의 공간에 대한 정보 중 적어도 하나에 기초하여 상기 인식된 객체와 연관되는 홈 스타일링 서비스를 제공할 수 있다(S390). 참고로, 인식된 객체의 사양 결정 및 홈 스타일링 서비스의 제공에 관한 실시예는 이하의 도 9 및 도 10에서 보다 상술하기로 한다.
이하의 도 4 내지 도 10에서 본 발명의 일 실시예에 따른 홈 스타일링 서비스에 관한 구현 예시도를 도시하는데, 여기서 상기 홈 스타일링 서비스는 증강현실(AR)을 기반으로 가상현실(VR)을 혼합하여 현 시점에서 개인의 공간을 관리하고 만들어가는 '적응성 홈(adaptive home)'을 실현하기 위한 서비스에 해당한다.
또한, 본 발명에 따른 홈 스타일링 서비스를 구현함에 있어, 사용자가 촬영한 영상으로부터 객체를 인식하고 트랙킹(tracking)하는 기술을 기반으로 하되, 현 시점의 객체가 가지고 있는 특징점(feature)을 파악하는 기술을 또한 이용하는 것을 특징으로 한다. 특히, 사물의 특징점을 파악하기 위해서 공간에 대한 정보를 추가로 활용할 수 있으며, 이러한 공간에 대한 정보를 획득하기 위해서 사용자 단말의 촬영 장치(예컨대, 카메라 등)를 통해 획득된 현 시점의 사용자 공간을 계산하여 제공할 수 있다.
도 4는 본 발명의 일 실시예에 따라 사용자의 거주지를 특정하고 특정된 거주지에 대응하는 3D 모델링 데이터를 사용자 단말에 제공하는 실시예를 설명하기 위한 개략도이다.
상기한 바와 같이, 본 발명의 일 실시예에 따른 사용자 단말(200)에는 본 발명에 따른 홈 스타일링 서비스를 제공받을 수 있는 소프트웨어(예컨대, 애플리케이션, 등)가 구비되고, 상기 사용자 단말(200)에 구비된 홈 스타일링 서비스의 애플리케이션을 실행하면 홈 스타일링 서버(100)는 상기 사용자 단말(200)에 장착된 GPS 장치를 통해서 상기 사용자 단말(200)의 위치 정보를 수신할 수 있다(S310).
예컨대, 상기 사용자 단말(200)은 GPS 신호를 브로드캐스팅할 수 있고, 상기 홈 스타일링 서버(100)는 상기 브로드캐스팅된 GPS 신호를 수신하여 상기 사용자 단말(200)의 위치 정보를 파악할 수 있다. 참고로, 본 발명에 따른 홈 스타일링 서비스는 개인의 주거지를 기반으로 하는 공간을 그 대상으로 하고, 그러므로 파악되는 사용자의 위치 정보는, 예컨대 아파트, 빌라, 단독주택 등의 위치를 포함할 수 있다.
이와 관련하여, GPS 엔진, GPS 모듈 등의 사양에 따라, 또는 인공위성의 시간 또는 위치 오차, 또는 전리층과 대류층의 굴절, 잡음, 다중경로 등의 다양한 원인에 따라 GPS 오차가 다소 발생할 수는 있지만, 일반적으로 GPS 신호에 기초하여 수행되는 위치 검출의 정확도는 최근 수 미터 이내의 오차 범위를 보이는 수준까지 발전하였으며, 따라서 사용자 거주지를 가구(예컨대, 호, 번지) 단위까지 특정하도록 본 시스템을 구현하는 것이 가능하다.
예컨대, 도 2에 도시된 예에서 사용자 단말(200)로부터 수신되는 GPS 신호로부터 상기 홈 스타일링 서버(100)는 사용자 단말(200)의 사용자가 '강남구 역삼동 A 아파트 101동의 2호 라인'에 거주한다고 특정할 수 있다.
여기서, 상기 홈 스타일링 서버(100)의 저장부(130)에는 복수의 거주지에 관한 정보, 상기 복수의 거주지 각각의 평면도 등이 저장되는데, 상기 홈 스타일링 서버(100)의 제어부(110)는 특정된 다층건물(예컨대, 아파트, 빌라 등)의 동일한 호 라인이 동일한 평면 구조를 갖는지 여부를 판단할 수 있다.
상기 제어부(110)가 상기 저장부(130)에 저장된 평면도 정보를 탐색함으로써 '강남구 역삼동 A 아파트 101동'의 '2호 라인'이 모두 동일한 평면 구조를 갖는다고 판단하면, 처리부(140)의 거주지특정부(141)는 사용자가 '강남구 역삼동 A 아파트 101동 2호 라인'에 거주한다고 특정하고, 상기 처리부(140)의 3D모델링부(142)는 해당 사용자가 실제로 몇 층에 거주하는지와 무관하게 상기 저장부(130)에 저장된 '강남구 역삼동 A 아파트 101동 2호 라인'의 평면도를 탐색하고 상기 탐색된 평면도를 3D 모델링하여 생성된 3D 모델링 데이터를 상기 사용자 단말(200)에 제공할 수 있다.
경우에 따라, 상기 제어부(110)가 상기 저장부(130)에 저장된 평면도 정보를 탐색함으로써 '강남구 역삼동 A 아파트 101동'의 '2호 라인'이 상이한 평면 구조를 갖는다고 판단하면, 해당 사용자의 거주지를 보다 정확하게 특정하기 위해서(즉, 층 단위까지 특정하기 위해서) 사용자의 위치 정보 이외의 추가 정보가 요구된다.
이를 위해, 본 발명의 추가의 실시예에 따르면, 상기 사용자 단말(200)에 자이로스코프 센서 또는 가속도 센서가 구비될 수 있고, 그에 따라 상기 홈 스타일링 서버(100)의 통신부(120)는 상기 사용자 단말(200)로부터 방위 정보를 수신할 수 있다.
홈 스타일링 서버(100)가 사용자 단말(200)로부터 방위 정보를 추가로 수신함에 따라, 본 발명의 추가의 실시예에 따르면, 상기 홈 스타일링 서버(100)의 거주지특정부(141)는 수신된 위치 정보 및 수신된 방위 정보로부터 상기 사용자의 거주지를 층 단위까지(예컨대, '강남구 역삼동 A 아파트 101동 2302호) 특정하는 것이 가능하다.
또는, 경우에 따라 GPS 환경 등이 양호하지 못하면 위치 오차가 다소 크게 발생할 수도 있는데, 이 경우에 본 발명의 일 실시예에 따른 홈 스타일링 서버(100)가 사용자로 하여금 세부적인 사항을 직접 수정하도록 유도하게 하는 것도 물론 가능할 것이다.
예컨대, 사용자 단말(200)로부터 수신된 GPS 신호를 이용하여 거주지특정부(141)에 의해 사용자의 거주지가 '강남구 역삼동 A 아파트 102동 2302호'라고 특정되는 경우, 본 발명의 일 실시예에 따른 홈 스타일링 서버(100)는 사용자에게 특정된 거주지 위치가 정확한지를 확인하도록 요청하는 인터페이스(interface)를 제공할 수 있으며, 그에 따라 해당 인터페이스를 통해 사용자가 직접 '102동'을 '101동'으로 수정하도록 구현하는 것도 가능하다.
마찬가지로, 상기 사용자 단말(200)로부터 수신된 GPS 신호를 이용하여 상기 거주지특정부(141)에 의해 사용자의 거주지가 '강남구 역삼동 A 아파트 101동 2301호'라고 특정된 경우에, 본 발명의 일 실시예에 따른 홈 스타일링 서버(100)는 사용자에게 특정된 거주지 위치가 정확한지를 확인하도록 요청하는 인터페이스를 제공할 수 있으며, 그에 따라 해당 인터페이스를 통해 사용자가 직접 '2301호'를 '2302호'로 수정하도록 구현하는 것도 또한 가능하다.
또는, 사용자의 거주지 위치에 대한 정확도를 높이기 위한 다른 방법으로서, 사용자의 거주지에서 사용되는 네트워크 환경(예컨대, WiFi, 홈 네트워크 등)에 기초하여 세부적인 사용자 위치를 결정할 수 있으며, 그에 따라 사용자의 직접적인 세부사항의 조정이 생략될 수 있다.
이와 같이, 처리부(140)의 거주지특정부(141)가 상기 사용자 단말(200)로부터 수신되는 위치 정보 및/또는 방위 정보에 기초하여 상기 사용자 단말(200)을 소유하는 사용자의 거주지를 층 단위까지 특정하면, 상기 3D모델링부(142)는 상기 특정된 사용자의 거주지에 대응하는 평면도(31)를 상기 저장부(130)에서 탐색하여 상기 탐색된 평면도(31)를 3D 모델링하여 생성된 3D 모델링 데이터(32)를 상기 통신부(120)를 통해 사용자 단말(200)로 제공할 수 있다.
여기서, 3차원 모델링(3D modeling)은 컴퓨터 그래픽스의 분야에서 가상의 3차원 공간 속에 재현될 수 있는 수학적 모델을 만들어가는 과정을 의미하며, 이러한 모델링은 컴퓨터가 이해할 수 있는 형태의 데이터로 저장될 수 있다. 일반적으로 3차원적인 물체는 3차원 라인으로 표현되어 나타나며 렌더링(rendering) 과정을 통해 실체 물체와 유사한 양감, 질감 등으로 표현될 수 있다.
또한, 상기 3차원 모델링으로서 와이어 프레임 모델링(wire frame modeling), 서페이스 모델링(surface modeling), 솔리드 모델링(solid modeling) 등의 모델링 방식이 상기 3D모델링부(142)에 의해 구현될 수 있다.
이와 같이 사용자 단말(200)에 제공된 평면도 기반의 3D 모델링 데이터(32)는 사용자 공간에 대한 매핑 및 트랙킹을 위해 사용된다. 여기서, 홈 스타일링 서버(100)의 3D모델링부(142)에서 생성된 3D 모델링 데이터(32)가 직접 사용자 단말(200) 상에서 디스플레이되지는 않으며, 마커리스(markerless)의 형태로 영상 매핑 및 트랙킹을 위한 가이드로서만 역할하게 된다.
보다 구체적으로, 본 발명의 일 실시예에 따르면, 3D모델링부(142)는 6개의 맵(MAP)으로 구성되는 육면체 형태를 갖는 3D 모델링 데이터의 경계면만을 증강현실(AR)의 방식으로 사용자 단말(200)에 제공할 수 있고, 여기서 상기 3D 모델링 데이터의 경계면이 마커리스(markerless) 방식으로 제공된다.
다시 말하면, 증강현실(AR)을 구현하기 위해서는 마커(marker)를 인식하여 이미지를 증강시켜 표현하는 것이 일반적인데, 본 발명에 따르면 사용자 단말(200)에 3D 모델링 데이터를 제공함에 있어, 상기 3D 모델링 데이터의 육면체 경계면만을 마커리스의 증강현실(AR) 방식으로 제공하는 것을 특징으로 한다.
도 5a는 본 발명의 일 실시예에 따른 사용자의 서비스 적용 공간을 지정하는 실시예를 설명하기 위한 개략도이다.
도 4에서 기술한 바와 같이, 사용자의 거주지가 특정되고 상기 특정된 거주지에 대응하는 평면도가 탐색되어 3D 모델링된 후에 사용자 단말(200)에 제공되면, 상기 사용자 단말(200)은 홈 스타일링 서비스를 적용할 공간을 지정할 수 있다. 도 4에 도시된 바와 같이 아파트의 예를 들면, 사용자의 주거 공간은 침실, 거실, 주방, 욕실 등으로 세분화될 수 있고, 그에 따라 홈 스타일링 서비스를 적용할 공간의 지정 또한 세부 영역별로 수행될 수 있다.
도 4의 예에서 사용자 단말(200)에서 주거 공간 중 "거실"을 지정하면, 홈 스타일링 서버(100)의 3D모델링부(142)에서 제공된 3D 모델링 데이터 중에서 거실에 해당하는 6개의 맵(MAP)으로 구성되는 육면체 형태를 갖는 3D 모델링 데이터의 경계면만이 증강현실(AR)의 방식으로 사용자 단말(200)에 제공된다. 여기서, 거실 육면체의 경계면은 마커리스 방식으로 제공되는 것을 특징으로 한다.
여기서, 상기 사용자 단말(200)을 통해 전송되는 영상 정보는 사용자 단말(200)의 저장 수단(예컨대, 메모리 등)에 저장되지 않고, 육면체로 분할된 공간에 대한 매핑 작업에 활용되거나 또는 공간 체적의 계산 등에 활용될 수 있다.
또한, 이하의 도 8에서 기술할 바와 같이, 인식된 객체가 포함된 매핑 영상을 파노라마 뷰(PANORAMA VIEW, 360˚)의 형태로 가상현실(VR)의 방식으로 사용자 단말(200)에 제공되는데, 이를 위해서는 사용자 공간에 대한 정보가 모두 입력되는 것이 바람직하다. 따라서, 도 5a에 도시된 '거실' 공간의 지정과 마찬가지로 침실, 다용도실, 발코니, 주방 등 다른 공간에도 적용되는 것이 바람직하다.
도 5b는 본 발명의 일 실시예에 따라 카메라 영상 대비 공간에 대한 체적의 미세조정을 설명하기 위한 예시도이다. 도 5a에서 기술한 바와 같이, 홈 스타일링 서비스의 공간 지정을 수행함에 있어, 사용자 단말(200)에 구비된 촬영 장치(예컨대, 카메라 등)의 사양이 각각 상이하므로 공간 체적 계산에 필요한 미세 조정을 도 5b에 도시된 바와 같이 시행할 수 있다. 예컨대, 도 5b에 예시적으로 도시된 바와 같이 사용자 단말(200)을 통해 음성으로 "카메라 영상 촬영 미세조정을 위해 화면을 정면으로 고정하고 앞·뒤로 20~30cm 이동해주세요"라고 안내하도록 구현할 수 있다.
이와 같은 미세조정 단계는 사용자 단말(200)의 카메라를 통해 전송되는 영상의 정확도를 개선하기 위한 준비 과정에 해당하며, 따라서 사용자 공간에 대한 체적, 객체의 크기, 형태 등에 대한 정보를 정확하게 파악하는 것이 가능하며 그에 따라 사용자에게 정확한 정보를 전달할 수 있다.
도 6은 본 발명의 일 실시예에 따라 마커리스(markerless) 방식으로 제공된 육면체 형태의 3D 모델링 데이터에 사용자 공간을 매핑하는 실시예를 설명하기 위한 개략도이다.
상기한 바와 같이, 본 발명의 일 실시예에 따른 홈 스타일링 서버(100)의 3D모델링부(142)가 6개의 맵(MAP)으로 구성되는 육면체 형태를 갖는 3D 모델링 데이터의 경계면만을 증강현실(AR)의 방식으로 사용자 단말(200)에 제공할 수 있고, 상기 사용자 단말(200)에 의해 사용자 공간 중 '거실'을 지정한 경우 도 6에 도시된 바와 같은 마커리스 방식의 경계면을 포함하는 거실 육면체가 증강현실(AR)로 사용자 단말(200)에 제공될 수 있다.
보다 구체적으로, 사용자 단말(200)에 의해 홈 스타일링 서비스를 이행할 공간(예컨대, 거실)을 지정되면 거실 공간에 대한 육면체를 각 면으로 할당하여 평면도 기반의 3D 모델링을 통해 6개의 맵(MAP)으로 구성되는 육면체 형태의 3D 모델링 데이터가 생성되고, 상기 사용자 단말(200)에 의해 각각의 면을 맵(MAP)으로 지정할 수 있도록 경계면(예컨대, 유도선)이 증강현실(AR)의 형태로 제공될 수 있다.
예컨대, 도 6에 좌측에 도시되는 바와 같이 거실 육면체를 구성하는 6개의 맵(Map.1, Map.2, Map.3, Map.4, Map.5, Map.6)이 정의될 수 있고, 거실 공간의 각 면을 6개의 맵(MAP)에 지정할 수 있도록 하기 위해서 지정할 영역에 대해 구별되는 시각적 표시(예컨대, 도 6의 예에서 Map.1을 밝게 표시함으로써 사용자가 주벽(실외방향) 영상을 Map1.에 매핑하도록 유도함)를 제공할 수 있다.
이러한 방식으로, Map.2(천장), Map.3(제1 측벽), Map.4(바닥), Map.5(주벽-실내방향) 및 Map.6(제2 측벽)에 대해서도 동일하게 영상 매핑이 수행될 수 있고, 상기 사용자 단말(200)은 지정된 공간의 영상을 증강현실(AR)로 제공되는 거실 육면체의 각각의 맵(MAP)에 매핑할 수 있다.
여기서, 상기 매핑은 PTAMM(Parallel Tracking and Multiple Mapping) 기법을 기반으로 하여 수행되는 것을 특징으로 한다. PTAMM은 PTAM(Parallel Tracking and Mapping)의 확장 버전으로서, PTAM이 발표된지 1년 후인 2008년에 영국 옥스포트 대학의 액티브 비전 그룹(Active Vision Group)에서 발표하였으며, PTAM을 멀티 맵에서 동작할 수 있도록 확장한 버전에 해당한다.
PTAM의 가장 큰 단점이 매핑의 적용이 소규모의 공간에 제한된다는 것인데, PTAMM은 그러한 제약에 대한 해결책을 제공한다. 보다 구체적으로, PTAM에서는 자신의 책상 앞이나 실내 공간의 한쪽 면 등과 같이 제한된 공간에 대해 하나의(single) 맵을 생성하고 그 공간 내에서 카메라의 움직임(위치)을 추적하는 방법을 제공하는데, 공간의 크기가 커지고 맵이 커지면 연산력의 한계로 인해 맵을 유지하기가 어려운 문제가 있었다.
PTAMM에서는 이러한 문제를 근본적으로 해결하기 위한 방법으로서, 하나의(single) 맵이 아닌 복수의(multiple) 맵을 독립적으로 생성하여 적용하는 방법을 사용한다. 즉, 자신의 책상 앞 공간에 대한 맵, 동료 A의 책상에 대한 맵, 동료 B의 책상에 대한 맵, 사무실 내부 공간에 대한 맵, 휴게실에 대한 맵.. 등과 같이 각각의 소규모 공간들을 별도의 맵으로 생성하고 각각을 파일로 저장할 수 있다.
부언하면, 사용자 공간에 대해 PTAMM 기법을 수행함에 있어, 매핑된 공간들 사이에는 어떠한 기하학적 관계도 요구되지 않는다. 따라서, 사용자는 원하는 임의의 장소에 맵(MAP)을 생성하여 실제 공간 영상을 매핑시킬 수 있고, 이때 생성된 맵(MAP)들 사이의 기하학적인 관계를 고려할 필요가 없게 된다. 그에 따라, 사용자는 어디든지 원하는 대로 자유롭게 맵(MAP)을 생성할 수 있으며, 맵(MAP) 간의 상호 의존성이 요구되지 않으므로 맵(MAP)을 새롭게 추가하거나 삭제하거나 또는 수정할 수 있다.
또한, 본 발명의 일 실시예에 따른 맵(MAP)은 일련의 키프레임 이미지들과 상기 키프레임 이미지들로부터 추출된 3차원 특징점들로 구성될 수 있는데, 여기서 키프레임은 시점이 서로 구분되는 이미지를 의미한다. 따라서, 다양한 시점에 대해 키프레임 이미지가 맵(MAP)에 반영되어 있다면, 저해상도의 SSD 이미지 매칭만으로도 카메라 영상과 매칭되는 키 프레임 영상을 탐색하는 것이 보다 용이할 수 있다.
도 6과 관련하여 기술한 바와 같이 사용자의 공간이 지정되고 상기 지정된 공간의 영상이 3D 모델링 데이터에 매핑되면, 도 7에 도시된 바와 같이 본 발명의 일 실시예에 따른 홈 스타일링 서버(100)의 객체인식부(143)는 지정된 공간의 영상이 매핑된 3D 모델링 데이터로부터 객체(object)를 인식할 수 있다. 예컨대, 상기 객체의 인식은 맵(MAP) 각각에 매핑된 영상의 공간 정보, 미리 정의된 객체 특징점 등을 하여 수행될 수 있다.
참고로, 홈 스타일링 서버(100)의 저장부(130)에는 미리 정의된 객체 특징점에 관한 정보가 저장될 수 있고, 상기 객체인식부(143)는 맵(MAP) 각각에 매핑된 영상의 공간 정보(예컨대, 면적, 높이, 폭 등), 상기 미리 정의된 객체 특징점 등에 기초하여 객체를 인식할 수 있다. 보다 구체적으로, 상기 객체인식부(143)는 할당된 맵(MAP)에 공간에 대한 기본 정보를 혼합하여 육면체의 체적을 계산하고, 지정된 맵(MAP)에 카메라 영상이 움직이는 시점을 기반으로 육면체를 분할함으로써 각 면에 있는 객체를 인식할 수 있으며, 이를 통해 객체의 크기, 형태 등이 파악될 수 있다.
예를 들어, 도 6 및 도 7을 함께 참조하면, Map.4(바닥)로부터 의자, 테이블, 쇼파 등의 객체들이 인식될 수 있고, Map.2(천장)로부터 천장조명 등의 객체들이 인식될 수 있으며, Map.3(제1 측벽)으로부터 냉장고 등의 객체들이 인식될 수 있고, 이러한 객체 인식은 Map.1 내지 Map.6 각각의 공간 정보, 미리 정의된 객체 특징점 등을 기반으로 하여 수행될 수 있다.
대표하여, Map.3(제1 측벽)의 '냉장고'를 예시하면, 상기 홈 스타일링 서버(100)의 저장부(130)에는 '강남구 역삼동 A 아파트 101동 2302호'의 평면도뿐만 아니라 거주지를 구성하는 각 공간의 세부 정보(예컨대, 제1 측벽의 높이, 폭 등)가 저장될 수 있고, 따라서 상기 객체인식부(143)는 Map.3의 영역에서 세로가 가로보다 더 긴 직사각형의 외관을 갖고 그 크기가 약 1미터(폭)×약 2미터(높이)인 객체를 냉장고로서 인식하는 것이 가능하다.
이와 같이, 본 발명의 일 실시예에 따르면 6개의 맵(MAP)으로 구성되는 육면체 형태를 갖는 3D 모델링 데이터에 사용자 공간의 영상을 매핑하여 그 공간에 관한 정보에 기초하여 주거 공간 내의 객체를 인식하므로, 단순하게 촬영 영상에서 객체를 인식하는 방식에 비해서 객체 인식의 정확도가 상당히 높아지게 된다.
또한, 본 발명에 따르면, 공간에 대한 정보가 포함되어 주거 영상의 매핑이 수행되므로, 객체의 특징점이 다소 불명확한 경우에도 그 객체 인식의 정확도를 일정 수준으로 보장할 수 있다. 예컨대, 도 7의 예에서 Map.2(천장)에서 인식되는 직사각형의 객체는 조명 또는 시스템 에어콘일 확률은 높지만, 텔레비전, 책상일 확률은 낮으며, 이는 Map.2이 천장에 해당한다는 공간 정보에 기초하기 때문이다. 추가의 실시예에 따르면, 상기 객체인식부(143)가 매핑 영상의 조도, 채도 등을 기반으로 하여 객체를 인식할 수도 있다.
도 8은 본 발명의 일 실시예에 따라 인식된 객체가 포함된 매핑 영상을 파노라마 뷰(PANORAMA VIEW, 360˚)의 형태로 가공하여 가상현실(VR)의 방식으로 제공하는 실시예를 설명하기 위한 개략도이다.
도 7과 관련하여 상술한 바와 같이, 사용자 지정된 공간의 영상이 매핑된 3D 모델링 데이터로부터 홈 스타일링 서버(100)의 객체인식부(143)에 의해 객체가 인식되면, 처리부(140)의 영상편집부(144)는 상기 인식된 객체가 포함된 매핑 영상을 파노라마 뷰(PANORAMA VIEW, 360˚)의 형태로 가공하여 가상현실(VR)의 방식으로 사용자 단말(200)에 제공할 수 있으며, 그러한 파노라마 뷰의 이미지가 도 8에 예시적으로 도시된다.
여기서 중요한 것은 기존에 가상현실(VR)로 3D 모델링된 이미지를 구현하는 것이 아니라, 상기 사용자 단말(200)을 통해 입력된 공간 이미지를 활용하여 파노라마 뷰의 가상현실(VR) 이미지를 제공하는 것을 특징으로 한다. 따라서, 본 발명의 일 실시예에 따른 홈 스타일링 서버(100)에는 기존의 파노라마 뷰를 구현하기 위한 소프트웨어나 하드웨어 장비를 구비할 필요가 없다.
또한, 침실, 다용도실, 발코니, 주방 등의 공간을 분리하여 육면체로 분할된 공간을 이동하는 것은, 도 8의 우측 상단에 도시되는 바와 같이 분리된 공간에 대한 정보가 모두 입력되었다는 것을 전제로 하여, 전체 공간 지도를 활용하여 특정 공간에서 다른 공간으로의 이동을 통해 서비스를 지속적으로 유지하는 것과 연관된다.
그에 따라, 본 발명의 일 실시예에 따른 홈 스타일링 서비스의 제공에 의해, 사용자 개인의 공간을 관리하고 변화시킴으로써 개인만의 가상 공간이 구현될 수 있고, 이러한 서비스를 기반으로 하여 개인의 감성을 표현하는 등 사용자들 간에 정보를 공유하고 소통하는 서비스를 실현할 수 있다.
도 7에 도시된 바와 같이 매핑 영상으로부터 객체가 인식되고 도 8에 도시된 바와 같이 인식된 객체가 포함된 매핑 영상이 파노라마 뷰의 형태로 가상현실(VR)로 사용자 단말(200)에 제공되면, 홈 스타일링 서버(100)의 사양결정부(145)는 인식된 객체의 사양(specification)을 결정할 수 있고, 상기 홈 스타일링 서버(100)의 홈스타일링제공부(146)는 상기 결정된 객체의 사양, 사용자의 성향에 대한 정보, 및 상기 사용자의 공간에 대한 정보 중 적어도 하나에 기초하여 상기 인식된 객체와 연관되는 홈 스타일링 서비스를 제공할 수 있다.
도 9는 본 발명의 일 실시예에 따라 인식된 객체의 기본 정보 제공 및 사용자 직접 입력/관리를 설명하기 위한 개략도이다.
본 발명에서 객체의 사양은, 예컨대 사이즈, 색상, 형태, 제조사, 모델명, 재질, 제조일자, 등을 포함할 수 있고, 상기 사양결정부(145)는 인식된 객체를 통해 또는 사용자 단말(200)로부터의 추가 정보를 통해, 인식된 객체에 대한 구체적인 사양을 결정할 수 있다.
예컨대, 도 9에 도시된 바와 같이, 인식된 객체 냉장고의 사양으로서 제조사, 모델명, 제조일, 용량, 사이즈, 가격 등이 제시되는데, 상기 객체인식부(143)가 매핑 영상으로부터 Map.3(제1 측벽)의 직사각형 객체가 냉장고라고 인식한 것을 사용자 단말(200)이 최종 확인하여 주고, 예컨대 그 모델명의 정보만을 추가적으로 홈 스타일링 서버(100)에 제공하여 주면 다른 사양들에 대한 정보는 추가적인 입력 없이도 파악 가능할 수 있다.
이러한 방식으로 처리부(140)의 사양결정부(145)에 의해 객체의 사양이 결정되면, 그러한 객체의 사양들, 사용자의 성향들, 사용자의 공간 정보 등에 기초하여 상기 인식된 객체와 연관되는 홈 스타일링 서비스가 상기 홈스타일링제공부(146)에 의해서 제공될 수 있다. 여기서, 홈 스타일링 서비스는, 예컨대 공간의 재배치, 빈공간에 대한 레이아웃 추천, 인식된 객체의 교환/AS 제안, 등을 포함할 수 있으나, 이들에 제한되는 것은 아니다.
특히, 본 발명의 일 실시예에 따라 홈스타일링제공부(146)가 사용자 단말(200)에 홈 스타일링 서비스를 제공함에 있어 해당 사용자의 성향 분석이 주된 요소로서 작용하게 되는데, 여기서 사용자의 성향에 대한 정보는 성별, 나이, 거주지역, 직업, 행동패턴, 생활패턴, 등에 기반할 수 있거나 또는 사용자 단말(200)에 저장된 사진들, 음악들, 취미활동들, 여가활동들, 검색이력들 등으로부터 추론될 수 있는 취미, 선호공간/식당, 선호음식, 선호컨텐츠 등에 기반할 수 있다.
이러한 방식으로 누적되는 개인 데이터는 소위 빅데이터(Big Data)로서 발전될 수 있고, 그에 기반하여 딥 러닝(deep learning)과 같은 인공지능(AI; artificial intelligence) 기법을 활용하면 고객의 취향, 요구 등을 스스로 학습하여 최적의 서비스를 사용자에게 제공할 수 있다.
이러한 홈 스타일링 서비스의 하나로서, 도 10은 본 발명의 일 실시예에 따라 인식된 객체의 정보, 사용자 성향 등의 정보에 기반한 쇼핑 리스트를 추천하는 실시예를 설명하기 위한 개략도이다.
도 9에 도시된 예에서 냉장고에 관한 사양들이 결정되면, 본 발명의 일 실시예에 따른 처리부(140)의 홈스타일링제공부(146)는 현재 사용중인 냉장고의 사이즈, 용량 등을 기준으로 사용자의 취향을 적용하여 사용자 맞춤형의 냉장고 상품을 검색하여 이를 사용자 단말(200)에 제공할 수 있다(도 10의 추천 냉장고 예시도 참조).
이와 같이, 본 발명의 일 실시예에 따르면, 주거 공간의 변화에 따른 홈 스타일링 서비스를 제공함으로써, 1차적으로는 사용자의 주거 환경을 분석하여 그에 적합한 제품의 추천이 가능하며(예컨대, 소파에 스툴이 구비되지 않음을 인지하여, 상기 소파와 동일 또는 유사한 색상의 스툴 제품을 추천함), 2차적으로는 사용자의 성향을 반영하여 주거 환경과 사용자 성향이 함께 반영된 제품을 우선적으로 추천하여 줌으로써(예컨대, TV와 소파 사이의 비어있는 공간을 인지하고, 사용자가 현재 다이어트에 민감한 10대 청소년임을 고려하여 상기 비어있는 공간에 러닝머신, 사이클머신 등의 제품을 추천함) 제품 구매에 필요한 시간과 비용을 절약할 수 있는 동시에 질적인 면에서도 서비스의 차별화로 사용자의 만족도를 향상시킬 수 있다.
본 발명의 추가의 실시예에 따르면, 사용자 공간 정보 및/또는 사용자 취향 기반의 제품 추천에 더하여, 상기 추천된 제품을 구입할 수 있는 사이트로의 연결을 또한 제공할 수도 있고(예컨대, 하이퍼링크에 의해), 또는 구매 사이트로의 유입을 원치않는 사용자를 위해서 본 발명에 따른 홈 스타일링 서버(100)가 구매 대행 서비스를 제공하도록 구현될 수도 있다.
상술한 바와 같이, 본 발명의 일 실시예에 따른 홈 스타일링 서버 및 이를 포함하는 시스템과, 홈 스타일링을 위한 영상 처리 방법에 의하면, 사용자에게 개인 성향 맞춤형의 홈 스타일링 서비스를 제공할 수 있다.
또한, 본 발명의 일 실시예에 따른 홈 스타일링 서버 및 이를 포함하는 시스템과, 홈 스타일링을 위한 영상 처리 방법에 의하면, 개인의 공간을 360˚ 파노라마 뷰의 형태로 제공함으로써 개인 간의 공유 및 소통을 가능하게 한다.
또한, 본 발명의 일 실시예에 따른 홈 스타일링 서버 및 이를 포함하는 시스템과, 홈 스타일링을 위한 영상 처리 방법에 의하면, 개인 주거 공간에 대한 영상을 평면도 기반의 3D 모델링 데이터에 매핑하고 그 매핑된 영상으로부터 객체를 인식함으로써, 개인 주거 공간에 배치된 객체에 대한 인식률을 상당히 개선할 수 있다.
또한, 본 발명의 일 실시예에 따른 홈 스타일링 서버 및 이를 포함하는 시스템과, 홈 스타일링을 위한 영상 처리 방법에 의하면, 증강현실(AR)을 통해 입력된 개인 주거 공간에 대한 영상으로부터 고객의 성향을 분석함으로써 고객 맞춤형의 홈 스타일링 서비스를 제공할 수 있다.
한편, 본 명세서에 기재된 다양한 실시예들은 하드웨어, 미들웨어, 마이크로코드, 소프트웨어 및/또는 이들의 조합에 의해 구현될 수 있다. 예를 들어, 다양한 실시예들은 하나 이상의 주문형 반도체(ASIC)들, 디지털 신호 프로세서(DSP)들, 디지털 신호 프로세싱 디바이스(DSPD)들, 프로그램어블 논리 디바이스(PLD)들, 필드 프로그램어블 게이트 어레이(FPGA)들, 프로세서들, 컨트롤러들, 마이크로컨트롤러들, 마이크로프로세서들, 여기서 제시되는 기능들을 수행하도록 설계되는 다른 전자 유닛들 또는 이들의 조합 내에서 구현될 수 있다.
또한, 예를 들어, 다양한 실시예들은 명령들을 포함하는 컴퓨터-판독가능한 매체에 수록되거나 인코딩될 수 있다. 컴퓨터-판독가능한 매체에 수록 또는 인코딩된 명령들은 프로그램 가능한 프로세서 또는 다른 프로세서로 하여금 예컨대, 명령들이 실행될 때 방법을 수행하게끔 할 수 있다. 저장 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수도 있다. 예를 들어, 이러한 컴퓨터-판독가능한 매체는 RAM, ROM, EEPROM, CD-ROM 또는 기타 광학 디스크 저장 매체, 자기 디스크 저장 매체 또는 기타 자기 저장 디바이스, 또는 원하는 프로그램 코드를 컴퓨터에 의해 액세스가능한 명령들 또는 데이터 구조들의 형태로 반송하거나 저장하는데 이용될 수 있는 임의의 다른 매체를 포함할 수 있다.
이러한 하드웨어, 소프트웨어, 펌웨어 등은 본 명세서에 기술된 다양한 동작들 및 기능들을 지원하도록 동일한 디바이스 내에서 또는 개별 디바이스들 내에서 구현될 수 있다. 추가적으로, 본 발명에서 "~부"로 기재된 구성요소들, 유닛들, 모듈들, 컴포넌트들 등은 함께 또는 개별적이지만 상호 운용가능한 로직 디바이스들로서 개별적으로 구현될 수 있다. 모듈들, 유닛들 등에 대한 서로 다른 특징들의 묘사는 서로 다른 기능적 실시예들을 강조하기 위해 의도된 것이며, 이들이 개별 하드웨어 또는 소프트웨어 컴포넌트들에 의해 실현되어야만 함을 필수적으로 의미하지 않는다. 오히려, 하나 이상의 모듈들 또는 유닛들과 관련된 기능은 개별 하드웨어 또는 소프트웨어 컴포넌트들에 의해 수행되거나 또는 공통의 또는 개별의 하드웨어 또는 소프트웨어 컴포넌트들 내에 통합될 수 있다.
특정한 순서로 동작들이 도면에 도시되어 있지만, 이러한 동작들이 원하는 결과를 달성하기 위해 도시된 특정한 순서, 또는 순차적인 순서로 수행되거나, 또는 모든 도시된 동작이 수행되어야 할 필요가 있는 것으로 이해되지 말아야 한다. 임의의 환경에서는, 멀티태스킹 및 병렬 프로세싱이 유리할 수 있다. 더욱이, 상술한 실시예에서 다양한 구성요소들의 구분은 모든 실시예에서 이러한 구분을 필요로 하는 것으로 이해되어서는 안되며, 기술된 구성요소들이 일반적으로 단일 소프트웨어 제품으로 함께 통합되거나 다수의 소프트웨어 제품으로 패키징될 수 있다는 것이 이해되어야 한다.
이상에서와 같이 도면과 명세서에서 최적 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
10: 홈 스타일링 시스템 31: 평면도
32: 3D 모델링 데이터 100: 홈 스타일링 서버
110: 제어부 120: 통신부
130: 저장부 140: 처리부
141: 거주지특정부 142: 3D모델링부
143: 객체인식부 144: 영상편집부
145: 사양결정부 146: 홈스타일링제공부
200: 사용자 단말

Claims (19)

  1. 홈 스타일링을 위한 영상 처리 방법으로서,
    사용자 단말로부터 상기 사용자 단말의 위치 정보를 수신하는 단계;
    상기 수신된 위치 정보로부터 상기 사용자 단말을 소유하는 사용자의 거주지를 특정하는 단계;
    상기 특정된 사용자의 거주지에 대응하는 평면도를 탐색하고, 상기 탐색된 평면도를 3D 모델링하여 생성된 3D 모델링 데이터를 상기 사용자 단말에 제공하는 단계;
    홈 스타일링을 위한 상기 사용자의 공간을 지정하고, 상기 지정된 공간의 영상을 상기 3D 모델링 데이터에 매핑하는 단계; 및
    상기 지정된 공간의 영상이 매핑된 상기 3D 모델링 데이터로부터 객체(object)를 인식하는 단계
    를 포함하고,
    상기 3D 모델링 데이터를 상기 사용자 단말에 제공하는 단계는, 6개의 맵(MAP)으로 구성되는 육면체 형태를 갖는 상기 3D 모델링 데이터의 경계면만을 증강현실(AR)의 방식으로 상기 사용자 단말에 제공하는 단계를 포함하는,
    홈 스타일링을 위한 영상 처리 방법.
  2. 제 1 항에 있어서,
    상기 인식된 객체가 포함된 매핑 영상을 파노라마 뷰(PANORAMA VIEW, 360˚)의 형태로 가공하여 가상현실(VR)의 방식으로 상기 사용자 단말에 제공하는 단계를 더 포함하는,
    홈 스타일링을 위한 영상 처리 방법.
  3. 제 1 항에 있어서,
    상기 위치 정보를 수신하는 단계는, 상기 사용자 단말로부터 상기 사용자 단말의 방위 정보를 수신하는 단계를 더 포함하고,
    상기 사용자의 거주지를 특정하는 단계는, 상기 수신된 위치 정보 및 상기 수신된 방위 정보로부터 상기 사용자의 거주지를 층 단위까지 특정하는 단계를 포함하는,
    홈 스타일링을 위한 영상 처리 방법.
  4. 삭제
  5. 제 1 항에 있어서,
    상기 육면체 형태의 3D 모델링 데이터의 경계면은 마커리스(markerless) 방식으로 제공되는,
    홈 스타일링을 위한 영상 처리 방법.
  6. 제 1 항에 있어서,
    상기 지정된 공간의 영상을 상기 3D 모델링 데이터에 매핑하는 단계는, 상기 지정된 공간의 영상을 상기 증강현실(AR)로 제공되는 상기 육면체의 각각의 맵(MAP)에 매핑하는 단계를 포함하는,
    홈 스타일링을 위한 영상 처리 방법.
  7. 제 6 항에 있어서,
    상기 육면체의 각각의 맵(MAP)에 매핑하는 단계는 PTAMM(Parallel Tracking and Multiple Mapping) 기법을 기반으로 수행되는,
    홈 스타일링을 위한 영상 처리 방법.
  8. 제 6 항에 있어서,
    상기 객체를 인식하는 단계는, 상기 맵(MAP) 각각에 매핑된 영상의 공간 정보 및 미리 정의된 객체 특징점 중 적어도 하나를 이용하여 상기 객체를 인식하는 단계를 포함하는,
    홈 스타일링을 위한 영상 처리 방법.
  9. 제 1 항에 있어서,
    상기 인식된 객체의 사양(specification)을 결정하는 단계; 및
    상기 결정된 객체의 사양, 상기 사용자의 성향에 대한 정보, 및 상기 사용자의 공간에 대한 정보 중 적어도 하나에 기초하여, 상기 인식된 객체와 연관되는 홈 스타일링 서비스를 제공하는 단계
    를 더 포함하는,
    홈 스타일링을 위한 영상 처리 방법.
  10. 홈 스타일링 서버로서,
    복수의 거주지에 관한 정보, 상기 복수의 거주지 각각의 평면도, 상기 복수의 거주지의 사용자 정보, 미리 정의된 객체 특징점에 관한 정보, 및 상기 복수의 거주지에 관한 공간 정보 중 적어도 하나를 저장하는 저장부;
    사용자 단말로부터 상기 사용자 단말의 위치 정보를 수신하도록 구성되는 통신부; 및
    상기 수신된 위치 정보로부터 상기 사용자 단말을 소유하는 사용자의 거주지를 특정하고, 상기 특정된 사용자의 거주지에 대응하는 평면도를 상기 저장부에서 탐색하여 상기 탐색된 평면도를 3D 모델링하여 생성된 3D 모델링 데이터를 상기 통신부를 통해 상기 사용자 단말로 제공하며, 홈 스타일링을 위해 지정된 공간의 영상이 매핑된 상기 3D 모델링 데이터로부터 객체(object)를 인식하도록 구성되는 처리부
    를 포함하고,
    상기 처리부는, 6개의 맵(MAP)으로 구성되는 육면체 형태를 갖는 상기 3D 모델링 데이터의 경계면만을 증강현실(AR)의 방식으로 상기 통신부를 통해 상기 사용자 단말에 제공하도록 추가로 구성되는,
    홈 스타일링 서버.
  11. 제 10 항에 있어서,
    상기 처리부는, 상기 인식된 객체가 포함된 매핑 영상을 파노라마 뷰(PANORAMA VIEW, 360˚)의 형태로 가공하여 가상현실(VR)의 방식으로 상기 통신부를 통해 상기 사용자 단말에 제공하도록 추가로 구성되는,
    홈 스타일링 서버.
  12. 제 10 항에 있어서,
    상기 통신부는, 상기 사용자 단말로부터 상기 사용자 단말의 방위 정보를 추가로 수신하도록 구성되고,
    상기 처리부는, 상기 수신된 위치 정보 및 상기 수신된 방위 정보로부터 상기 사용자의 거주지를 층 단위까지 특정하도록 추가로 구성되는,
    홈 스타일링 서버.
  13. 삭제
  14. 제 10 항에 있어서,
    상기 육면체 형태의 3D 모델링 데이터의 경계면은 마커리스(markerless) 방식으로 제공되는,
    홈 스타일링 서버.
  15. 제 10 항에 있어서,
    상기 홈 스타일링을 위해 지정된 공간의 영상이 매핑된 상기 3D 모델링 데이터는, 상기 지정된 공간의 영상이 상기 증강현실(AR)로 제공되는 상기 육면체의 각각의 맵(MAP)에 매핑된 상기 3D 모델링 데이터를 포함하는,
    홈 스타일링 서버.
  16. 제 15 항에 있어서,
    상기 육면체의 각각의 맵(MAP)에 매핑하는 것은 PTAMM(Parallel Tracking and Multiple Mapping) 기법을 기반으로 수행되는,
    홈 스타일링 서버.
  17. 제 15 항에 있어서,
    상기 처리부는, 상기 저장부에 저장된 미리 정의된 객체 특징점에 관한 정보, 및 상기 복수의 거주지에 관한 공간 정보 중 적어도 하나에 기초하여 상기 홈 스타일링을 위해 지정된 공간의 영상이 매핑된 상기 3D 모델링 데이터로부터 객체를 인식하도록 추가로 구성되는,
    홈 스타일링 서버.
  18. 제 10 항에 있어서,
    상기 처리부는,
    상기 인식된 객체의 사양(specification)을 결정하고; 그리고
    상기 결정된 객체의 사양, 상기 사용자의 성향에 대한 정보, 및 상기 사용자의 공간에 대한 정보 중 적어도 하나에 기초하여, 상기 인식된 객체와 연관되는 홈 스타일링 서비스를 제공하도록 추가로 구성되는,
    홈 스타일링 서버.
  19. 홈 스타일링 시스템으로서,
    제 10 항 내지 제 12 항 및 제 14 항 내지 제 18 항 중 어느 한 항에 따른 홈 스타일링 서버; 및
    상기 홈 스타일링 서버와 통신하도록 구성되며, 상기 홈 스타일링 서버로부터 홈 스타일링 서비스를 제공받도록 구성되는 복수의 사용자 단말
    을 포함하는,
    홈 스타일링 시스템.
KR1020170083038A 2017-06-30 2017-06-30 홈 스타일링 서버 및 이를 포함하는 시스템과, 홈 스타일링을 위한 영상 처리 방법 KR102019299B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170083038A KR102019299B1 (ko) 2017-06-30 2017-06-30 홈 스타일링 서버 및 이를 포함하는 시스템과, 홈 스타일링을 위한 영상 처리 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170083038A KR102019299B1 (ko) 2017-06-30 2017-06-30 홈 스타일링 서버 및 이를 포함하는 시스템과, 홈 스타일링을 위한 영상 처리 방법

Publications (2)

Publication Number Publication Date
KR20190002834A KR20190002834A (ko) 2019-01-09
KR102019299B1 true KR102019299B1 (ko) 2019-09-06

Family

ID=65017269

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170083038A KR102019299B1 (ko) 2017-06-30 2017-06-30 홈 스타일링 서버 및 이를 포함하는 시스템과, 홈 스타일링을 위한 영상 처리 방법

Country Status (1)

Country Link
KR (1) KR102019299B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102605355B1 (ko) * 2019-08-06 2023-11-22 엘지전자 주식회사 이미지 기반 정보 제공 방법 및 장치
CN111025324A (zh) * 2020-01-06 2020-04-17 青梧桐有限责任公司 一种基于测距传感器的户型图生成方法
KR102472746B1 (ko) * 2020-07-20 2022-11-30 김석진 기존 가구를 통한 추가 가구 추천 방법
KR102472743B1 (ko) * 2020-07-20 2022-11-30 김석진 잔여 공간에 배치가 가능한 가구 추천 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100735676B1 (ko) 2006-02-24 2007-07-06 조현덕 가상현실 모델하우스 운영시스템 및 운영방법
JP2008501184A (ja) 2004-05-28 2008-01-17 シンガポール国立大学 インタラクティブ・システム及び方法
US20110187744A1 (en) * 2010-01-29 2011-08-04 Pantech Co., Ltd. System, terminal, server, and method for providing augmented reality
KR101354688B1 (ko) 2013-07-05 2014-01-27 한국건설기술연구원 공사현장 감리 시스템 및 감리 방법
KR101514708B1 (ko) 2013-12-26 2015-04-24 순천향대학교 산학협력단 2차원 영상을 활용한 3차원 모델링 구축 기법
KR101546703B1 (ko) 2014-12-04 2015-08-24 한국건설기술연구원 대용량 건물 bim데이터의 시각화 시스템

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL108957A (en) * 1994-03-14 1998-09-24 Scidel Technologies Ltd Video sequence imaging system
KR20020030976A (ko) * 2000-10-20 2002-04-26 최덕기 인터넷을 이용한 인테리어 모델링 방법 및 그 시스템
KR20080029407A (ko) * 2006-09-29 2008-04-03 엄찬용 지형 공간 정보를 이용한 3차원 입체 가상 콘텐츠 제공방법 및 장치
KR101186618B1 (ko) * 2010-04-28 2012-09-27 고일두 이동형 디지털 모델 하우스
KR20130131179A (ko) * 2012-05-23 2013-12-03 대전보건대학 산학협력단 메타버스를 활용한 사이버 모델하우스 시스템
KR101384205B1 (ko) * 2012-08-29 2014-04-10 김재광 가상 공간 시뮬레이션 방법
KR101766825B1 (ko) * 2015-10-12 2017-08-10 주식회사 포스코건설 주거용 건축물의 유지관리를 위한 애프터마켓 서비스 제공시스템 및 그 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008501184A (ja) 2004-05-28 2008-01-17 シンガポール国立大学 インタラクティブ・システム及び方法
KR100735676B1 (ko) 2006-02-24 2007-07-06 조현덕 가상현실 모델하우스 운영시스템 및 운영방법
US20110187744A1 (en) * 2010-01-29 2011-08-04 Pantech Co., Ltd. System, terminal, server, and method for providing augmented reality
KR101354688B1 (ko) 2013-07-05 2014-01-27 한국건설기술연구원 공사현장 감리 시스템 및 감리 방법
KR101514708B1 (ko) 2013-12-26 2015-04-24 순천향대학교 산학협력단 2차원 영상을 활용한 3차원 모델링 구축 기법
KR101546703B1 (ko) 2014-12-04 2015-08-24 한국건설기술연구원 대용량 건물 bim데이터의 시각화 시스템

Also Published As

Publication number Publication date
KR20190002834A (ko) 2019-01-09

Similar Documents

Publication Publication Date Title
KR102019299B1 (ko) 홈 스타일링 서버 및 이를 포함하는 시스템과, 홈 스타일링을 위한 영상 처리 방법
US10068373B2 (en) Electronic device for providing map information
US20160148417A1 (en) Electronic device and method for providing map service
CN109962939B (zh) 位置推荐方法、装置、服务器、终端及存储介质
CA2929789C (en) Gathering subject information in close proximity to a user
US20120270573A1 (en) Positioning system and method for single and multilevel structures
KR20160003553A (ko) 지도 정보를 제공하기 위한 전자 장치
KR102472743B1 (ko) 잔여 공간에 배치가 가능한 가구 추천 방법
CN105580015A (zh) 用于发射和用于显示poi信息的方法及设备
CN112020630B (zh) 用于更新建筑物的3d模型的系统和方法
US20150172373A1 (en) Information providing device, method, and system
US9980098B2 (en) Feature selection for image based location determination
CN105009114A (zh) 预测性地呈现搜索能力
US10475097B2 (en) Systems and methods for providing an interactive virtual environment
CN107545006A (zh) 一种用于建立或更新图像定位数据库的方法、设备与系统
US20150178567A1 (en) System for providing guide service
WO2015069560A1 (en) Image based location determination
US20240193871A1 (en) Method, apparatus, and system for associating an object with a spatial budget
CN110263800B (zh) 基于图像的位置确定
US20150134689A1 (en) Image based location determination
CN109255071B (zh) 公共场所识别处理方法及装置
KR102018532B1 (ko) 위치 측정을 위한 장치 및 방법
US20240193708A1 (en) Method, apparatus, and system for determining object utility data for personalizing services for space utilization
KR20220090110A (ko) 증강현실을 이용한 행사지원서비스 제공방법 및 서버

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant