WO2020101339A1 - 공간 인식에 기반한 인테리어 플랫폼 제공 방법 - Google Patents

공간 인식에 기반한 인테리어 플랫폼 제공 방법 Download PDF

Info

Publication number
WO2020101339A1
WO2020101339A1 PCT/KR2019/015405 KR2019015405W WO2020101339A1 WO 2020101339 A1 WO2020101339 A1 WO 2020101339A1 KR 2019015405 W KR2019015405 W KR 2019015405W WO 2020101339 A1 WO2020101339 A1 WO 2020101339A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
providing
user terminal
list
receiving
Prior art date
Application number
PCT/KR2019/015405
Other languages
English (en)
French (fr)
Inventor
윤순애
Original Assignee
주식회사 양파
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 양파 filed Critical 주식회사 양파
Publication of WO2020101339A1 publication Critical patent/WO2020101339A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0621—Item configuration or customization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers

Definitions

  • the present invention relates to a method for providing an interior platform based on spatial recognition, and more specifically, to recognize an object from an image photographed through a camera of a terminal and to simulate an interior product change, installation, and construction by user selection. It is about possible platforms.
  • the present invention is to solve the problems of the above-described prior art, a user who wants the interior to take a picture directly to classify the object from the image where the space is taken by the shooting technology, grasp the dimensions of the object, and image the object
  • the purpose is to enable deletion and restoration within, and to be able to place various interior products.
  • the purpose is to help users decide to purchase products that best fit the space because they can place various interior products provided by the platform and provided on the Internet directly on the screen.
  • a method for providing an interior platform based on spatial recognition performed by a server includes: (a) receiving an image captured through a camera of a user terminal To do; (b) recognizing the objects in the image and the dimensions of the objects, and providing them to the user terminal; (c) providing at least one list of interior product list, installation and construction list to the user terminal; And (d) receiving a selection input for one or more items in the list, and providing a quote; wherein the dimension includes one or more of horizontal, vertical, height, and three-dimensional coordinates of the object.
  • the dimension may be recognized based on the depth value for the feature points in the image with reference to the depth value acquired through the camera of the user terminal.
  • a server performing a method for providing an interior platform based on spatial recognition includes: a memory in which an interior platform providing program based on spatial recognition is stored; And a processor that executes the program, wherein the processor receives an image photographed through a camera of a user terminal, recognizes an object in the image, and a dimension of the object according to the execution of the program, to the user terminal.
  • the dimension is the horizontal of the object . It is a detailed specification including one or more of vertical, height and three-dimensional coordinates, and recognizes the dimension based on the depth value for feature points in the image with reference to the depth value obtained through the camera of the user terminal can do.
  • the present invention relates to a method for providing an interior platform based on spatial recognition, by uploading an image of a place desired by a user directly within the platform, and virtually performing placement, installation, and construction of the interior product within the image In other words, it can provide a platform to directly see how the actual location is changing.
  • FIG. 1 is a configuration diagram of a system for performing a method for providing an interior platform based on spatial recognition, according to an embodiment of the present invention.
  • FIG. 2 is a configuration diagram of a user terminal for performing a method for providing an interior platform based on spatial recognition according to an embodiment of the present invention.
  • FIG. 3 is an exemplary diagram for object recognition of a method for providing an interior platform based on spatial recognition according to an embodiment of the present invention.
  • 4 to 5 are exemplary views for object range setting and dimension recognition in a method for providing an interior platform based on spatial recognition according to an embodiment of the present invention.
  • FIG. 6 is an exemplary diagram for a change through selection in a list of a method for providing an interior platform based on spatial recognition according to an embodiment of the present invention.
  • FIG. 7 to 9 are exemplary views of a platform of a method for providing an interior platform based on spatial recognition, according to an embodiment of the present invention.
  • FIG. 10 is a flowchart illustrating a method for providing an interior platform based on spatial recognition according to an embodiment of the present invention.
  • the term “unit” includes a unit realized by hardware, a unit realized by software, and a unit realized by using both. Further, one unit may be realized by using two or more hardware, and two or more units may be realized by one hardware.
  • ' ⁇ unit' is not limited to software or hardware, and ' ⁇ unit' may be configured to be in an addressable storage medium or may be configured to play one or more processors.
  • ' ⁇ unit' refers to components such as software components, object-oriented software components, class components and task components, processes, functions, attributes, and procedures. , Subroutines, segments of program code, drivers, firmware, microcode, circuitry, data, database, data structures, tables, arrays and variables.
  • components and ' ⁇ units' may be combined into a smaller number of components and ' ⁇ units', or further separated into additional components and ' ⁇ units'.
  • the components and ' ⁇ unit' may be implemented to play one or more CPUs in the device or secure multimedia card.
  • the "terminal” mentioned below may be implemented as a computer or portable terminal capable of accessing a server or other terminal through a network.
  • the computer for example, a laptop with a web browser (WEB Browser), desktop (desktop), laptop (laptop), VR HMD (eg, HTC VIVE, Oculus Rift, GearVR, DayDream, PSVR, etc.) It may include.
  • VR HMD is for PC (e.g. HTC VIVE, Oculus Rift, FOVE, Deepon, etc.) and mobile (e.g. GearVR, DayDream, Storm Racing, Google Cardboard, etc.) and console (PSVR). Includes all Stand Alone models (eg Deepon, PICO, etc.) that are implemented independently.
  • the portable terminal is, for example, a wireless communication device that guarantees portability and mobility, as well as a smart phone, tablet PC, and wearable device, as well as Bluetooth (BLE, Bluetooth Low Energy), NFC, RFID, and ultrasound (Ultrasonic) , Infrared, Wi-Fi (WiFi), LiFi (LiFi), and may include various devices equipped with a communication module.
  • “network” refers to a connection structure capable of exchanging information between each node such as terminals and servers, a local area network (LAN), a wide area network (WAN), and the Internet. (WWW: World Wide Web), wired and wireless data communication networks, telephone networks, and wired and wireless television communication networks.
  • wireless data communication networks examples include 3G, 4G, 5G, 3rd Generation Partnership Project (3GPP), Long Term Evolution (LTE), World Interoperability for Microwave Access (WIMAX), Wi-Fi, Bluetooth communication, infrared communication, ultrasound Communication, Visible Light Communication (VLC), LiFi, and the like are included, but are not limited thereto.
  • 3GPP 3rd Generation Partnership Project
  • LTE Long Term Evolution
  • WIMAX World Interoperability for Microwave Access
  • Wi-Fi Bluetooth communication
  • infrared communication ultrasound Communication
  • VLC Visible Light Communication
  • LiFi and the like are included, but are not limited thereto.
  • a system for performing a method for providing an interior platform based on spatial recognition may include a server 100 and a user terminal 200, and the server 100 and the user terminal 200 Can be connected through a network.
  • the server 100 includes a processor for executing a program and a memory in which an interior platform providing program based on spatial recognition is stored, the processor according to execution of the program, the user terminal 200 Receiving an image taken through the camera of the image, recognize the object and the dimensions of the object in the image, and provides it to the user terminal 200, the user terminal 200 to list at least one of the interior product list, installation and construction list Provides, receives a selection input for one or more items in the list, and provides a quote, the dimensions are detailed specifications including one or more of the object's horizontal, vertical, height, and three-dimensional coordinates, and the user terminal 200 ), The dimension may be recognized based on the depth value for the feature points in the image with reference to the depth value acquired through the camera.
  • the user terminal 200 may be a computing device located in a specific place, or a device possessed by a user.
  • the user terminal 200 may have a built-in interior platform providing program based on spatial recognition.
  • the user terminal 200 may have a built-in imaging device, and the imaging device may be a device capable of extracting depth values in the form of, for example, a stereo camera.
  • the user terminal 200 is a spatial recognition technology through photographing, and may refer to any device in which a program capable of partially and totally correcting the state is viewed.
  • the user terminal 200 may be provided with a structure of a method in which the following seven runtime components are included in an app to perform a method for providing an interior platform based on spatial recognition through an app. have.
  • a platform abstraction layer unit As illustrated in FIG. 2, a platform abstraction layer unit, an app state transition management unit, a session management unit, a transmission / reception management unit, an object and spatial dimension analysis unit, a simulation data analysis unit, and a display control unit may be provided.
  • the platform abstraction layer may serve to process detailed routines dependent on the terminal platform in order to support applications (apps) to be independently executed on various types of terminal platforms (HW, Embedded O / S, etc.).
  • the app state transition management unit may perform a role of managing the state transition of the dynamically changing terminal app.
  • the session management unit may perform a role for managing a session interlocking state between engine parts distributed to the terminal and the server while the terminal user executes the virtual deployment simulation through the app. That is, a function for creating and terminating a necessary communication session between engines and a connection state between engines can be monitored to perform a role for restoring it when an unintended communication session ends.
  • the transmission / reception management unit may perform a function of transmitting information generated from the user terminal 200 to the server 100, and perform a function of receiving information generated by the server 100 by the user terminal 200. have.
  • the object and spatial dimension analysis unit may perform a role of measuring actual dimension information of the object and space recognized by the imaging device (camera-based scanner) of the user terminal 200.
  • the simulation data analysis unit is a runtime module that is separated during execution in the simulation engine of the server 100 and downloaded through the transmission / reception management unit, and simulates the placement and posture control of spaces and objects corresponding to events such as touch and drag of the display of the terminal. It can serve to interpret the way.
  • the display arrangement unit may serve to control the terminal display output of the corresponding image based on the simulation result of the arrangement of spaces and objects, and the posture control simulation.
  • an event occurs in the GUI attribute elements of the object consisting of the manufacturer, product and model, inventory quantity, etc. of the object, the construction available for construction of the space, and the GUI attribute elements and objects and space elements of the space composed of quotation items, etc.
  • it is the elements related to the action to be performed, dynamic GUI property elements composed of Movement, Rotation, Collision, etc. and elements for additional functions related to objects and spatial elements, and Animation.
  • It can include additional GUI attribute elements, such as, Painting, Callback, and Save.
  • the server 100 performing a method for providing an interior platform based on spatial recognition stores shape information including image information and specification information for a plurality of objects in a server in advance, and It is possible to machine-form and store shape information corresponding to an object.
  • an image received through a photographing device of the user terminal 200 is analyzed to identify the object, but feature points in the image are analyzed to analyze one or more objects in the image. Can be distinguished.
  • the object may be any interior structure and interior products such as walls, floors, ceilings, stairs, built-in furniture, all movable furniture, lighting, and carpets, and all objects included in the image may be identified as objects.
  • the server 100 may identify the divided object based on shape information previously stored through machine learning in advance, and determine what the corresponding object is.
  • 4 to 5 are exemplary views of a screen in which walls and windows are identified as objects, a range to be designed or changed, and dimensions are recognized.
  • dimension recognition of a method for providing an interior platform based on spatial recognition extracts a depth value for a feature point in an image for an image received from the user terminal 200 and based on the extracted depth value Dimension recognition can be performed.
  • the server 100 may estimate the object's dimension based on the data acquired through machine learning.
  • the dimension recognition for the wall is based on a depth value for a feature point of an object in the image corresponding to the user input when receiving a preset user input for the image from the user terminal 200 , It is possible to provide dimensions for an object corresponding to a user input.
  • dimension recognition for a window may be provided as a method of recognizing dimensions for an object in an image corresponding to a user input, such as dimension recognition for a wall described above.
  • the server 100 may provide one or more lists of the interior product list, the installation and construction list to the user terminal 200, and may receive a selection input for one or more items in the list.
  • the selected items can be overlapped in the image, and through this, it is possible to virtually arrange, install or construct the interior products. It may be possible.
  • an image to which the corresponding object is added is virtually generated and provided to the user. Can be.
  • the object when receiving a preset user input for an object in an image from the user terminal 200, the object is temporarily removed from the image, and after receiving a user input for selecting a replacement object, the object is replaced in the removed area You can display an image of the object.
  • objects are removed from the image and based on the background recognition technology. , By inserting a background at a location where the corresponding object is removed, it can be provided through the user terminal 200.
  • a part of the objects included in the image for a specific space is left and a part is inserted through a selection input, and a virtual image as shown in FIG. 8 is provided to the user terminal 200 It may be possible.
  • a space such as an office space other than a home may also be able to remove or insert an object, and it may be possible to insert a background at a position where the object is removed.
  • the dimensions of the window area in which the curtain in the image is to be installed are recognized, and the user input for a specific curtain in the curtain list corresponding to the user input
  • the curtain corresponding to the drag input of the user receiving and receiving from the user terminal 200 may overlap the image.
  • the user may repeatedly select the curtain, and the image of the curtain overlapping by the user's selection may be changed.
  • a quote for the overlapped curtain may be requested by a user request.
  • the color and texture may be changed by a user input, and when receiving a selection input for a color and texture different from the overlapped color and texture, a new color and texture may be overlapped.
  • a quote for the overlapped color and texture may be requested, and the quote may be provided divided into a material cost estimate and a fill construction estimate.
  • 3D modeling is performed on the object recognized through the image, transformed to be selectable and removed independently, and provides a detailed list of construction items, A selection input for one or more items in the detailed list may be received, and the selected input items may overlap in the image.
  • finishing materials and colors can be mapped, and finishing materials and colors can be changed by user input, and if changed, changed finishing materials and colors will be mapped Can be.
  • the server 100 may store shape information including image information and specification information for a plurality of objects in the server in advance, and machine shape information corresponding to the plurality of objects by machine learning.
  • the image captured through the camera of the user terminal 200 may be received (S310).
  • the server 100 recognizes the object in the image and the dimensions of the object, and may provide it to the user terminal 200 (S320).
  • the dimension can be recognized based on the depth value for the feature points in the image, and the feature points in the image are analyzed Thus, one or more objects in the image can be distinguished.
  • the server 100 in identifying the separated object and recognizing the dimension of the object, when a part of the object in the image is not identified, it is based on data acquired through machine learning. Thus, the dimensions of the object can be estimated.
  • the server 100 may provide one or more of the interior product list, installation and construction list to the user terminal 200 (S330).
  • the list when receiving a preset user input for the image from the user terminal 200, based on the depth value for the feature point of the object in the image corresponding to the user input, for the object corresponding to the user input Dimensions can be provided.
  • a selection input for one or more items in the list may be received from the user terminal 200 and an estimate may be provided (S340).
  • the object corresponding to the selected input item may overlap in the image, and when receiving a preset user input for the object in the image from the user terminal 200, the object is temporarily removed from the image, and the replacement object is After receiving the selected user input, an image of the replacement object may be displayed in the area where the object is removed.
  • the interior platform service based on spatial recognition may be provided to the user, and the steps (S330) to (S340) may be repeatedly performed by user input.
  • the user terminal 200 may be a terminal capable of providing HMD or VR and AR, and by recognizing and changing in real time, not by photographing and manipulating an image of a real space It can be provided in virtual reality.
  • stage design When a stage design is required, the actual stage may not be installed, and a specific device may be used on the stage to allow the viewer to enjoy various stage designs, and it may be possible to view through a simple device such as glasses rather than an HMD.
  • Sculptures or structures projected in a space called a real square may be observed through the terminal 200 or projected into a real space through a separate projector for projecting the modeled structure into the space.
  • One embodiment of the invention may also be implemented in the form of a recording medium comprising instructions executable by a computer, such as program modules, being executed by a computer.
  • Computer readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media.
  • the computer-readable medium may include any computer storage medium.
  • Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data.
  • server 200 user terminal

Landscapes

  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Architecture (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)

Abstract

본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 인테리어를 원하는 사용자가 직접 사진을 촬영하고, 촬영된 이미지에서 객체를 구분하고 객체에 대한 치수를 파악하여, 해당 객체를 이미지 내에서 삭제 및 복원이 가능하도록 하고, 다양한 인테리어 제품을 배치할 수 있도록 하는데 그 목적이 있다. 또한, 설치나 공사하는 인테리어에 대해서도, 실제 공간의 이미지를 이용하여, 내부 공사 및 설치를 가상으로 수행하고 사용자에게 표시함으로써, 완공 이후 모습을 사용자가 직접 확인하도록 할 수 있다.

Description

공간 인식에 기반한 인테리어 플랫폼 제공 방법
본 발명은 공간인식에 기반한 인테리어 플랫폼 제공 방법에 관한 것으로서, 보다 상세하게는, 단말의 카메라를 통해 촬영된 이미지에서 객체를 인식하고, 사용자 선택에 의해 인테리어 제품에 대한 변경, 설치 및 공사에 대한 시뮬레이션이 가능한 플랫폼에 관한 것이다.
일반적으로, 개인이 자신의 집을 꾸미고자 하거나, 혹은 기업에서 주소지를 이전하는 경우 및 사무실을 변경하는 경우에는 인테리어와 관련된 전문지식이 없는 소비자가 광고 등을 통해 알게 된 시공업체에 요청하여 오프라인(Off-line)상에서 인테리어 공사에 관련된 사항을 구두, 또는 온라인 상에서 업체를 찾아 일을 전적으로 의뢰하여 진행하게 된다.
통상적으로, 개인은 거주공간, 사무공간 등을 을 자신의 취향 또는 유행에 따라 변화시키고자 내부 인테리어를 바꾸려 하며, 주소지를 이전, 리노베이션을 원하는 기업들, 상업공간 오너들은 가능한 낮은 비용에 이주절차 및 리노베이션을 취소 또는 완료하고자 하는데, 인테리어에 전문지식이 없는 개인 또는 기업들은 인테리어 공사에 따른 시간적, 공간적 제약과 공사의 진행에 따른 소요비용을 짐작하기 어려운 한계가 있다.
또한, 내부 인테리어를 진행함에 있어서, 비슷한 집이나 도면만을 참조하여 가상의 공간에 배치하거나 단순한 그림으로 확인하는 방법에 의존하여야 하는 단점이 존재하였다.
본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 인테리어를 원하는 사용자가 직접 사진을 촬영하여 촬영기술로 공간이 촬영된 이미지에서 객체를 구분하고 객체에 대한 치수를 파악하여, 해당 객체를 이미지 내에서 삭제 및 복원이 가능하도록 하고, 다양한 인테리어 제품을 배치할 수 있도록 하는데 그 목적이 있다.
또한, 설치나 공사하는 인테리어에 대해서도, 실제 공간의 이미지를 이용하여, 사용자가 직접 내부디자인 변경을 가상으로 수행하는 마감재 변경, 제품 설치 및 공간 변경을 직접 가상으로 수행해 보고 완공 후의 결과를 바로 확인할 수 있게 하여 최선의 구매, 설치 및 공사 의뢰를 의사결정 하는데 도움을 주는 것에 그 목적이 있다.
아울러, 플랫폼에서 제공하고 인터넷상에서 제공하는 다양한 인테리어 제품을 직접 화면상에 배치해 볼 수 있어 사용자가 그 공간에 가장 잘 어울리는 제품으로 구매결정 하도록 도움을 주는 것에 그 목적이 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예에 따르는, 서버에 의해 수행되는 공간인식에 기반한 인테리어 플랫폼 제공 방법은, (a) 사용자 단말의 카메라를 통해 촬영된 이미지를 수신하는 단계; (b) 상기 이미지 내 객체 및 객체의 치수를 인식하고, 상기 사용자 단말로 제공하는 단계; (c) 상기 사용자 단말로 인테리어 제품 리스트, 설치 및 공사 리스트 중 하나 이상의 리스트를 제공하는 단계; 및 (d) 상기 리스트 중 하나 이상의 항목에 대한 선택 입력을 수신하고, 견적서를 제공하는 단계;를 포함하되, 상기 치수는, 상기 객체의 가로, 세로, 높이 및 3차원 좌표 중 하나 이상을 포함하는 세부 제원이되, 상기 (b) 단계는, 상기 사용자 단말의 카메라를 통해 획득한 깊이 값을 참조하여, 상기 이미지 내의 특징점들에 대한 깊이 값을 기반으로 상기 치수를 인식할 수 있다.
또한, 본 발명의 일 실시예에 따라, 공간인식에 기반한 인테리어 플랫폼 제공 방법을 수행하는 서버는, 공간인식에 기반한 인테리어 플랫폼 제공 프로그램이 저장된 메모리; 및 상기 프로그램을 실행하는 프로세서를 포함하되, 상기 프로세서는 상기 프로그램의 실행에 따라, 사용자 단말의 카메라를 통해 촬영된 이미지를 수신하고, 상기 이미지 내 객체 및 객체의 치수를 인식하고, 상기 사용자 단말로 제공하고, 상기 사용자 단말로 인테리어 제품 리스트, 설치 및 공사 리스트 중 하나 이상의 리스트를 제공하고, 상기 리스트 중 하나 이상의 항목에 대한 선택 입력을 수신하고, 견적서를 제공하되, 상기 치수는, 상기 객체의 가로, 세로, 높이 및 3차원 좌표 중 하나 이상을 포함하는 세부 제원이되, 상기 사용자 단말의 카메라를 통해 획득한 깊이 값을 참조하여, 상기 이미지 내의 특징점들에 대한 깊이 값을 기반으로 상기 치수를 인식할 수 있다.
본 발명은 공간인식에 기반한 인테리어 플랫폼 제공 방법에 대한 것으로써, 플랫폼 내에서 사용자가 직접 본인이 원하는 장소의 이미지를 업로드하고, 해당 이미지 내에서 인테리어 제품에 대한 배치, 설치 및 공사를 가상으로 수행하여, 실제 장소가 어떻게 변경되는지를 직접 확인할 수 있도록 하는 플랫폼을 제공할 수 있다.
아울러, 가상의 배치, 설치 및 공사를 수행하고 마음에 드는 인테리어를 선정하여 해당 인테리어에 대한 견적을 요청하여 견적서를 제공받을 수 있도록 할 수 있다.
도 1은 본 발명의 일 실시예에 따르는, 공간인식에 기반한 인테리어 플랫폼 제공 방법을 수행하기 위한 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따르는, 공간인식에 기반한 인테리어 플랫폼 제공 방법을 수행하기 위한 사용자 단말의 구성도이다.
도 3은 본 발명의 일 실시예에 따르는, 공간인식에 기반한 인테리어 플랫폼 제공 방법의 객체 인식에 대한 예시도 이다.
도 4 내지 도 5는 본 발명의 일 실시예에 따르는, 공간인식에 기반한 인테리어 플랫폼 제공 방법의 객체의 범위 설정과 치수 인식에 대한 예시도 이다.
도 6은 본 발명의 일 실시예에 따르는, 공간인식에 기반한 인테리어 플랫폼 제공 방법의 리스트 내 선택을 통한 변경에 대한 예시도 이다.
도 7 내지 도 9는 본 발명의 일 실시예에 따르는, 공간인식에 기반한 인테리어 플랫폼 제공 방법의 플랫폼에 대한 예시도 이다.
도 10은 본 발명의 일 실시예에 따르는, 공간인식에 기반한 인테리어 플랫폼 제공 방법을 설명하기 위한 순서도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다. 한편, '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, '~부'는 어드레싱 할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.
이하에서 언급되는 "단말"은 네트워크를 통해 서버나 타 단말에 접속할 수 있는 컴퓨터나 휴대용 단말기로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop), VR HMD(예를 들어, HTC VIVE, Oculus Rift, GearVR, DayDream, PSVR 등)등을 포함할 수 있다. 여기서, VR HMD 는 PC용 (예를 들어, HTC VIVE, Oculus Rift, FOVE, Deepon 등)과 모바일용(예를 들어, GearVR, DayDream, 폭풍마경, 구글 카드보드 등) 그리고 콘솔용(PSVR)과 독립적으로 구현되는 Stand Alone 모델(예를 들어, Deepon, PICO 등) 등을 모두 포함한다. 휴대용 단말기는 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 스마트폰(smart phone), 태블릿 PC, 웨어러블 디바이스뿐만 아니라, 블루투스(BLE, Bluetooth Low Energy), NFC, RFID, 초음파(Ultrasonic), 적외선, 와이파이(WiFi), 라이파이(LiFi) 등의 통신 모듈을 탑재한 각종 디바이스를 포함할 수 있다. 또한, "네트워크"는 단말들 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷 (WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다. 무선 데이터 통신망의 일례에는 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 블루투스 통신, 적외선 통신, 초음파 통신, 가시광 통신(VLC: Visible Light Communication), 라이파이(LiFi) 등이 포함되나 이에 한정되지는 않는다.
이하 도 1을 참조하여 본 발명의 일 실시예에 따르는, 공간인식에 기반한 인테리어 플랫폼 제공 방법을 수행하기 위한, 시스템에 대해 구체적으로 설명한다.
본 발명의 일 실시예에 따르는, 공간인식에 기반한 인테리어 플랫폼 제공 방법을 수행하기 위한 시스템은, 서버(100) 및 사용자 단말(200)을 포함할 수 있으며, 서버(100) 및 사용자 단말(200)은 네트워크를 통해 통신연결 될 수 있다.
본 발명의 일 실시예에 따르는, 서버(100)는, 공간인식에 기반한 인테리어 플랫폼 제공 프로그램이 저장된 메모리 및 프로그램을 실행하는 프로세서를 포함하되, 프로세서는 상기 프로그램의 실행에 따라, 사용자 단말(200)의 카메라를 통해 촬영된 이미지를 수신하고, 이미지 내 객체 및 객체의 치수를 인식하고, 사용자 단말(200)로 제공하고, 사용자 단말(200)로 인테리어 제품 리스트, 설치 및 공사 리스트 중 하나 이상의 리스트를 제공하고, 리스트 중 하나 이상의 항목에 대한 선택 입력을 수신하고, 견적서를 제공하되, 치수는, 객체의 가로, 세로, 높이 및 3차원 좌표 중 하나 이상을 포함하는 세부 제원이되, 사용자 단말(200)의 카메라를 통해 획득한 깊이 값을 참조하여, 이미지 내의 특징점들에 대한 깊이 값을 기반으로 상기 치수를 인식할 수 있다.
사용자 단말(200)은, 특정 장소에 위치한 컴퓨팅 장치가 될 수 있으며, 사용자가 소지한 디바이스가 될 수 있다. 또한, 사용자 단말(200)은 공간인식에 기반한 인테리어 플랫폼 제공 프로그램이 내장 되어 있을 수 있다.
또한, 사용자 단말(200)은 촬영장치가 내장되어 있을 수 있으며, 촬영장치는 예를 들어, 스테레오 카메라와 같은 형태의 깊이 값에 대한 추출이 가능한 장치가 될 수 있다.
즉, 사용자 단말(200)은 촬영을 통한 공간인식 기술로, 그 상태를 보고 부분 및 전체 수정이 가능한 프로그램이 수행되는 기기 일체를 지칭할 수 있다.
이하, 도 2를 참조하여 본 발명의 일 실시예에 따르는, 사용자 단말(200)의 구조에 대해 구체적으로 설명한다.
본 발명의 일 실시예에 따르는, 사용자 단말(200)은 앱을 통해 공간인식에 기반한 인테리어 플랫폼 제공 방법을 수행하기 위해 다음과 같은 7가지 런타임 구성요소들을 앱에 포함시키는 방식의 구조로 구비 될 수 있다.
도 2에 도시된 바와 같이, 플랫폼 추상화 계층부, 앱 상태전이 관리부, 세션 관리부, 송수신 관리부, 객체 및 공간 치수 해석부, 시뮬레이션 데이터 해석부 및 디스플레이 제어부를 구비할 수 있다.
플랫폼 추상화 계층부는 다양한 기종의 단말 플랫폼(HW, Embedded O/S 등)에 어플리케이션(앱)이 독립적으로 실행되도록 지원하기 위해서 단말 플랫폼에 의존적인 세부 루틴을 처리하는 역할을 수행할 수 있다.
앱 상태전이 관리부는 동적으로 변화되는 단말 앱의 상태 전이를 총괄 관리하는 역할을 수행할 수 있다.
세션 관리부는, 단말 사용자가 앱을 통해서 가상배치 시뮬레이션을 실행하는 동안, 단말과 서버로 분산된 엔진 파트들 간의 세션 연동 상태를 관리하기 위한 역할을 수행할 수 있다. 즉, 엔진들 간에 필요한 통신 세션을 생성하고 종료하는 기능 및 엔진들 간의 접속 상태를 감시하여 의도되지 않은 통신 세션 종료 시 이를 복구시키기 위한 역할을 수행할 수 있다.
송수신 관리부는, 사용자 단말(200)로부터 생성된 정보를 서버(100)로 송신하는 기능을 수행할 수 있으며, 서버(100)로부터 생성된 정보를 사용자 단말(200)이 수신하는 기능을 수행할 수 있다.
객체 및 공간 치수 해석부, 사용자 단말(200)의 촬영장치(카메라 기반 스캐너)에 의해서 인식된 객체 및 공간의 실제 치수 정보를 측정하는 역할을 수행할 수 있다.
시뮬레이션 데이터 해석부는, 서버(100)의 시뮬레이션 엔진에서 실행 중에 분리되어 송수신 관리부를 통해서 다운로드 되는 런타임 모듈이며, 단말의 디스플레이의 터치, 드래그와 같은 이벤트에 대응하는 공간 및 객체의 배치, 자세 제어 모의 실행 방식을 해석하는 역할을 수행할 수 있다.
디스플레이 배치부는, 공간 및 객체의 배치, 자세 제어 모의 실행 해석 결과를 바탕으로 해당 이미지의 단말 디스플레이 출력을 제어하는 역할을 수행할 수 있다.
추가로, 공간인식에 기반한 인테리어 플랫폼 제공 방법을 수행하기 위한 데이터 요소의 구조에 대해 구체적으로 설명한다.
이미지, 버튼, 문자입력 창, 체크 박스 등으로 구성된 공통적 GUI 속성 요소를 포함하며, 객체 및 공간 요소들이 화면에 보여지는 세부적인 방식에 관한 요소들이며 Shape(모양), Size(크기), Position(좌표), Orientation(자세), Display Ordering(배치 순서), Data 간 상관 관계 등으로 구성된 형태적 GUI 속성 요소를 포함할 수 있다.
또한, 객체에 대한 제조사, 제품 및 모델, 재고수량 등으로 구성된 객체의 GUI 속성 요소, 공간에 대한 시공이 가능한 시공사, 견적항목 등으로 구성된 공간의 GUI 속성 요소 및 객체 및 공간 요소들에 Event가 발생할 경우, 어떤 동작을 수행할 지에 관한 요소들이며 Movement(이동), Rotation(회전), Collision(충돌) 등으로 구성된 동적 GUI 속성 요소 및 객체 및 공간 요소들에 관련된 추가 기능을 위한 요소들이며 Animation(애니메이션), Painting(색칠), Callback(콜백), Save(저장) 등으로 구성된 부가적 GUI 속성 요소를 포함할 수 있다.
이하 도 3 내지 6을 참조하여, 본 발명의 일 실시예에 따르는, 객체를 식별하고 객체의 치수를 인식하는 방법에 대해 구체적으로 설명한다.
본 발명의 일 실시예에 따르는, 공간인식에 기반한 인테리어 플랫폼 제공 방법을 수행하는 서버(100)는 사전에 복수의 객체에 대한 이미지 정보 및 규격 정보를 포함하는 형상 정보를 서버에 저장하고, 복수의 객체에 대응하는 형상 정보를 기계 학습하여 저장할 수 있다.
도 3에 도시된 바와 같이 객체를 식별함에 있어서, 사용자 단말(200)의 촬영장치를 통해 수신한 이미지를 분석하여, 객체를 식별하되, 해당 이미지 내의 특징점을 분석하여, 이미지 내에서 하나 이상의 객체를 구분할 수 있다.
이때, 객체는 벽체, 바닥, 천정, 계단, 붙박이 가구 등 모든 인테리어 구조물과 인테리어 제품, 모든 이동식 가구, 조명 및 카펫 등이 될 수 있으며, 이미지내 포함된 모든 사물을 객체로 식별할 수 있다.
즉, 서버(100)는 사전에 기계 학습을 통해 기 저장된 형상 정보에 기초하여, 구분된 객체를 식별하여, 해당 객체가 어떤 것인지를 판별할 수 있다.
도 4 내지 도 5는 벽체와 창문을 객체로 식별하여, 디자인 또는 변경 하고자 하는 범위를 설정하고 치수를 인식한 화면의 예시도 이다.
본 발명의 일 실시예에 따르는, 공간인식에 기반한 인테리어 플랫폼 제공 방법의 치수 인식은, 사용자 단말(200)로부터 수신한 이미지에 대해 이미지 내의 특징점에 대한 깊이 값을 추출하고 추출된 깊이 값에 기초하여 치수 인식을 수행할 수 있다.
이때, 이미지 내의 객체의 일부분이 식별되지 않는 경우, 서버(100)는 기계 학습을 통해 습득한 데이터에 기반하여 객체의 치수를 추정할 수 있다.
도 4에 도시된 바와 같이, 벽체에 대한 치수 인식은, 사용자 단말(200)로부터 이미지에 대해 기 설정된 사용자 입력을 수신하는 경우, 사용자 입력에 대응하는 이미지 내 객체의 특징점에 대한 깊이 값에 기초하여, 사용자 입력에 대응하는 객체에 대한 치수를 제공할 수 있다.
도 5에 도시된 바와 같이 창문에 대한 치수 인식은, 상술한 벽체에 대한 치수 인식과 같이 사용자 입력에 대응하는 이미지 내의 객체에 대해 치수를 인식하는 방법으로 제공될 수 있다.
이하, 도 6을 참조하여, 본 발명의 일 실시예에 따르는, 공간인식에 기반한 인테리어 플랫폼 제공 방법의 리스트 제공 및 리스트 내 항목 선택에 대한 변경에 대해 구체적으로 설명한다.
서버(100)는 사용자 단말(200)로 인테리어 제품 리스트, 설치 및 공사 리스트 중 하나 이상의 리스트를 제공할 수 있으며, 해당 리스트 중 하나 이상의 항목에 대한 선택입력을 수신할 수 있다.
사용자 단말(200)을 통해 리스트 내 항목 중 어느 하나 이상의 항목에 대한 선택 입력이 수신되면, 선택된 항목을 이미지 내에 오버랩 시킬 수 있으며, 이를 통해 인테리어 제품에 대한 배치, 설치 또는 공사를 가상으로 수행하는 것이 가능할 수 있다.
예를 들어, 도 7에 도시된 바와 같이 테이블에 대한 이미지를 수신한 이후, 리스트 내에서 화분과 스탠드 조명에 대한 입력이 수신되면, 해당 객체가 추가된 이미지를 가상으로 생성하여, 사용자에게 제공할 수 있다.
또한, 사용자 단말(200)로부터 이미지 내 객체에 대해 기 설정된 사용자 입력을 수신하는 경우, 객체를 이미지에서 일시적으로 제거하고, 대체 객체를 선택하는 사용자 입력을 수신한 후, 객체가 제거된 영역에 대체 객체에 대한 이미지를 표시할 수 있다.
즉, 이미지 내에 포함된 특정 객체(예를 들어, 테이블, 의자, TV 및 장식장 등)에 대한 선택입력 및 제거에 대한 입력을 수신하면, 해당 이미지 내에서 객체를 제거하고, 배경 인식 기술에 기반하여, 해당 객체가 제거된 위치에 배경을 삽입하여, 사용자 단말(200)을 통해 제공할 수 있다.
예를 들어, 도 8에 도시된 바와같이 특정 공간에 대한 이미지에서 포함된 객체 중 일부를 남기고 일부는 선택입력을 통해 삽입하는 형태로, 도 8과 같은 가상의 이미지를 사용자 단말(200)로 제공하는 것이 가능할 수 있다.
또한, 도 9에 도시된 바와 같이 가정집이 아닌 사무공간과 같은 공간 역시 객체를 제거하거나 삽입하는 것이 가능할 수 있으며, 해당 객체가 제거된 위치에 배경을 삽입하는 것이 가능할 수 있다.
사용자 단말(200)을 통해 제공된 리스트 내 커튼에 대한 사용자 입력을 수신하는 경우, 이미지 내 커튼이 설치 될 창 영역에 대한 치수를 인식하고, 사용자 입력에 대응하는 커튼 리스트 내 특정 커튼에 대한 사용자 입력을 수신하고, 사용자 단말(200)로부터 수신되는 사용자의 드래그 입력에 대응 하는 커튼을 이미지에 오버랩 할 수 있다.
이때, 사용자는 커튼에 대한 선택을 반복 수행할 수 있으며, 사용자의 선택에 의해 오버랩되는 커튼의 이미지는 변경될 수 있다.
이후, 사용자 요청에 의해, 오버랩된 커튼에 대한 견적을 요청할 수 있다.
또한, 설치 및 공사 리스트 내 페인트에 대한 사용자 입력을 수신하는 경우, 이미지 내 페인트 칠이 수행될 벽면 영역에 대한 치수 및 면적정보를 인식하고, 사용자 단말(200)로부터 수신되는 사용자의 드래그 입력에 대응 하는 컬러 및 텍스쳐를 이미지에 오버랩 할 수 있다.
이때, 컬러 및 텍스쳐는 사용자 입력에 의해 변경될 수 있으며, 오버랩된 컬러 및 텍스쳐와 다른 컬러 및 텍스쳐에 대한 선택 입력을 수신하는 경우, 새로운 컬러 및 텍스쳐를 오버랩 할 수 있다.
이후, 오버랩된 컬러 및 텍스쳐에 대한 견적을 요청할 수 있으며, 견적은 재료비 견적과 칠공사 견적으로 나뉘어 제공될 수 있다.
설치 및 공사 리스트 내 공사에 대한 사용자 입력을 수신하는 경우, 이미지를 통해 인식된 객체에 대해 3D 모델링을 수행하여, 독립적으로 선택 및 제거가 가능하도록 변환하고, 공사 항목에 대한 세부 리스트를 제공하고, 세부 리스트 내 하나 이상의 항목에 대한 선택 입력을 수신하고, 선택 입력된 항목을 상기 이미지 내에 오버랩할 수 있다.
오버랩 된 항목에 대해 마감재 및 색상에 대한 사용자 입력이 수신되는 경우, 마감재 및 색상을 매핑할 수 있으며, 마감재 및 색상은 사용자 입력에 의해 변경될 수 있고, 변경되는 경우, 변경된 마감재 및 색상이 매핑될 수 있다. 또한 인식된 인테리어 구조물객체의 부분 또는 전체 변경이 가능하고, 구조물의 새로운 형태나 재료선정도 가능하다.
이하, 도 10을 참조하여 본 발명의 일 실시예에 따르는, 공간인식에 기반한 인테리어 플랫폼 제공 방법에 대해 구체적으로 설명한다.
서버(100)는 사전에 복수의 객체에 대한 이미지 정보 및 규격 정보를 포함하는 형상 정보를 서버에 저장하고, 복수의 객체에 대응하는 형상 정보를 기계 학습 하여 저장할 수 있다.
기반한 인테리어 플랫폼 제공 방법을 수행하기 위해, 사용자 단말(200)의 카메라를 통해 촬영된 이미지를 수신할 수 있다(S310).
이후, 서버(100)는 이미지 내 객체 및 객체의 치수를 인식하고, 사용자 단말(200)로 제공할 수 있다(S320).
이때, 사용자 단말(200)의 카메라(예를 들어 스테레오 카메라 등)를 통해 획득한 깊이 값을 참조하여, 이미지 내의 특징점들에 대한 깊이 값을 기반으로 치수를 인식할 수 있으며, 이미지 내의 특징점을 분석하여, 이미지 내에서 하나 이상의 객체들을 구분할 수 있다.
또한, 서버(100)에 기 저장된 형상 정보에 기초하여, 구분된 객체를 식별하고, 객체의 치수를 인식함에 있어서, 이미지 내 객체의 일부분이 식별되지 않는 경우, 기계 학습을 통해 습득한 데이터에 기반하여, 객체의 치수를 추정할 수 있다.
서버(100)는 사용자 단말(200)로 인테리어 제품 리스트, 설치 및 공사 리스트 중 하나 이상의 리스트를 제공할 수 있다(S330).
리스트가 제공된 상태에서, 사용자 단말(200)로부터 이미지에 대해 기 설정된 사용자 입력을 수신하는 경우, 사용자 입력에 대응하는 이미지 내 객체의 특징점에 대한 깊이 값에 기초하여, 사용자 입력에 대응하는 객체에 대한 치수를 제공할 수 있다.
이후, 사용자 단말(200)로부터 리스트 중 하나 이상의 항목에 대한 선택 입력을 수신하고, 견적서를 제공할 수 있다(S340).
이때, 선택 입력 된 항목에 대응하는 객체를 이미지 내에 오버랩 시킬 수 있으며, 사용자 단말(200)로부터 이미지 내 객체에 대해 기 설정된 사용자 입력을 수신하는 경우, 객체를 이미지에서 일시적으로 제거하고, 대체 객체를 선택하는 사용자 입력을 수신한 후, 객체가 제거된 영역에 대체 객체에 대한 이미지를 표시할 수 있다.
위 (S310) 내지 (S340) 단계를 통해 사용자에게 공간인식에 기반한 인테리어 플랫폼 서비스를 제공할 수 있으며, 사용자 입력에 의해 (S330) 내지 (S340) 단계는 반복 수행될 수 있다.
또한, 본 발명의 추가 실시예로서, 사용자 단말(200)은 HMD 또는 VR 및 AR을 제공할 수 있는 단말이 될 수 있으며, 실 공간에 대한 이미지를 촬영하여 조작하는 것이 아닌 실시간으로 인식하여 변경함으로써 가상현실로 제공할 수 있다.
예를 들어, HMD 또는 안경과 같은 형태의 단말을 착용하여, 객체에 대한 인식을 실시간으로 수행하면서, 사용자 입력에 따라, 인테리어 소품, 설치 및 공사를 가상으로 구현하여 보여지도록 할 수 있다.
무대 디자인이 필요한 경우, 예전 처럼 실제 무대를 설치하지 않고, 무대 위에 특정 장치를 통해 관람객이 다양한 무대 디자인을 즐길 수 있도록 할 수 있으며, HMD가 아닌 안경과 같은 간단한 디바이스를 통해서도 관람이 가능할 수 있다.
또한, 본 발명의 다른 추가 실시예로서, 내부 구조에 대한 인테리어 뿐만 아니라, 예를 들어, 광장등에 특정 조형물이나 구조물을 설치하고자 하는 경우, 공간인식에 기반한 인테리어 플랫폼을 통해 구조물을 디자인하고 모델링하여, 광장에 투영 시킬 수 있다.
실제 광장이라는 공간에 투영되는 조형물이나 구조물은, 단말(200)을 통해 관찰하거나, 모델링한 구조물을 공간에 투영하기 위한 별도의 프로젝터를 통해 실제 공간에 투영되도록 할 수 있다.
본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
[부호의 설명]
10: 시스템
100: 서버 200: 사용자 단말

Claims (13)

  1. 서버에 의해 수행되는 공간인식에 기반한 인테리어 플랫폼 제공 방법에 있어서,
    (a) 사용자 단말의 카메라를 통해 촬영된 이미지를 수신하는 단계;
    (b) 상기 이미지 내 객체 및 객체의 치수를 인식하고, 상기 사용자 단말로 제공하는 단계;
    (c) 상기 사용자 단말로 인테리어 제품 리스트, 설치 및 공사 리스트 중 하나 이상의 리스트를 제공하는 단계; 및
    (d) 상기 리스트 중 하나 이상의 항목에 대한 선택 입력을 수신하고, 견적서를 제공하는 단계;
    를 포함하되,
    상기 치수는,
    상기 객체의 가로, 세로, 높이 및 3차원 좌표 중 하나 이상을 포함하는 세부 제원이되,
    상기 (b) 단계는,
    상기 사용자 단말의 카메라를 통해 획득한 깊이 값을 참조하여, 상기 이미지 내의 특징점들에 대한 깊이 값을 기반으로 상기 치수를 인식하는 것인,
    공간인식에 기반한 인테리어 플랫폼 제공 방법.
  2. 제 1 항에 있어서,
    상기 (a) 단계 이전에,
    상기 서버는,
    복수의 객체에 대한 이미지 정보 및 규격 정보를 포함하는 형상 정보를 서버에 저장하고, 상기 복수의 객체에 대응하는 상기 형상 정보를 기계 학습 하는 단계를 더 포함하는 것인,
    공간인식에 기반한 인테리어 플랫폼 제공 방법.
  3. 제 2 항에 있어서,
    상기 (b) 단계는,
    상기 이미지 내의 특징점을 분석하여, 상기 이미지 내에서 하나 이상의 객체들을 구분하는 단계를 더 포함하는 것인,
    공간인식에 기반한 인테리어 플랫폼 제공 방법.
  4. 제 3 항에 있어서,
    상기 (b) 단계는,
    상기 서버에 기 저장된 상기 형상 정보에 기초하여, 상기 구분된 객체를 식별하는 단계를 더 포함하는,
    공간인식에 기반한 인테리어 플랫폼 제공 방법.
  5. 제 4 항에 있어서,
    상기 (b) 단계는,
    상기 객체의 치수를 인식함에 있어서,
    상기 이미지 내 객체의 일부분이 식별되지 않는 경우,
    상기 기계 학습을 통해 습득한 데이터에 기반하여, 상기 객체의 치수를 추정하는 단계를 더 포함하는,
    공간인식에 기반한 인테리어 플랫폼 제공 방법.
  6. 제 1 항에 있어서,
    상기 (c) 단계는,
    상기 사용자 단말로부터 상기 이미지에 대해 기 설정된 사용자 입력을 수신하는 경우,
    사용자 입력에 대응하는 상기 이미지 내 객체의 특징점에 대한 깊이 값에 기초하여, 상기 사용자 입력에 대응하는 객체에 대한 치수를 제공하는 것인,
    공간인식에 기반한 인테리어 플랫폼 제공 방법.
  7. 제 1 항에 있어서,
    상기 (d) 단계는,
    상기 선택 입력 된 항목에 대응하는 객체를 상기 이미지 내에 오버랩 시키는 단계를 더 포함하는 것인,
    공간인식에 기반한 인테리어 플랫폼 제공 방법.
  8. 제 4 항에 있어서,
    상기 (d) 단계는,
    상기 사용자 단말로부터 상기 이미지 내 객체에 대해 기 설정된 사용자 입력을 수신하는 경우,
    상기 객체를 상기 이미지에서 일시적으로 제거하고, 대체 객체를 선택하는 사용자 입력을 수신한 후, 상기 객체가 제거된 영역에 상기 대체 객체에 대한 이미지를 표시하는 단계를 더 포함하는,
    공간인식에 기반한 인테리어 플랫폼 제공 방법.
  9. 제 1 항에 있어서,
    상기 설치 및 공사 리스트 내 커튼에 대한 사용자 입력을 수신하는 경우,
    상기 (d) 단계는,
    (d-1) 상기 이미지 내 커튼이 설치 될 창 영역에 대한 치수를 인식하는 단계;
    (d-2) 상기 사용자 입력에 대응하는 커튼 리스트 내 특정 커튼에 대한 사용자 입력을 수신하는 단계;
    (d-3) 상기 사용자 단말로부터 수신되는 사용자의 드래그 입력에 대응 하는 상기 커튼을 상기 이미지에 오버랩 하는 단계; 및
    (d-4) 상기 오버랩된 커튼에 대한 견적 요청을 수신하는 단계;
    를 더 포함하되,
    상기 (d-2) 내지 (d-3) 단계는 반복 수행되는 것인,
    공간인식에 기반한 인테리어 플랫폼 제공 방법.
  10. 제 1 항에 있어서,
    상기 설치 및 공사 리스트 내 페인트에 대한 사용자 입력을 수신하는 경우,
    상기 (d) 단계는,
    상기 이미지 내 페인트 칠이 수행될 벽면 영역에 대한 치수 및 면적정보를 인식하는 단계;
    상기 사용자 단말로부터 수신되는 사용자의 드래그 입력에 대응 하는 컬러 및 텍스쳐를 상기 이미지에 오버랩 하는 단계;
    상기 오버랩된 컬러 및 텍스쳐에 대한 견적 요청을 수신하는 단계; 및
    를 더 포함하되,
    상기 견적은,
    재료비 견적과 칠공사 견적으로 나뉘어 제공되는 것인,
    공간인식에 기반한 인테리어 플랫폼 제공 방법.
  11. 제 1 항에 있어서,
    상기 설치 및 공사 리스트 내 공사에 대한 사용자 입력을 수신하는 경우,
    상기 (d) 단계는,
    상기 이미지를 통해 인식된 객체에 대해 3D 모델링을 수행하여, 독립적으로 선택 및 제거가 가능하도록 변환하는 단계상기 공사 항목에 대한 세부 리스트를 제공하고, 상기 세부 리스트 내 하나 이상의 항목에 대한 선택 입력을 수신하는 단계;
    상기 선택 입력된 항목을 상기 이미지 내에 오버랩하는 단계; 및
    상기 오버랩 된 항목에 대해 마감재 및 색상에 대한 사용자 입력이 수신되는 경우, 상기 마감재 및 색상을 매핑하는 단계; 및
    상기 오버랩 된 항목에 대한 견적 요청을 수신하는 단계;
    를 더 포함하되,
    상기 견적은,
    재료비 견적과 공사 견적으로 나뉘어 제공되는 것인,
    공간인식에 기반한 인테리어 플랫폼 제공 방법.
  12. 공간인식에 기반한 인테리어 플랫폼 제공 방법을 수행하는 서버에 있어서,
    공간인식에 기반한 인테리어 플랫폼 제공 프로그램이 저장된 메모리; 및
    상기 프로그램을 실행하는 프로세서를 포함하되,
    상기 프로세서는 상기 프로그램의 실행에 따라,
    사용자 단말의 카메라를 통해 촬영된 이미지를 수신하고, 상기 이미지 내 객체 및 객체의 치수를 인식하고, 상기 사용자 단말로 제공하고, 상기 사용자 단말로 인테리어 제품 리스트, 설치 및 공사 리스트 중 하나 이상의 리스트를 제공하고, 상기 리스트 중 하나 이상의 항목에 대한 선택 입력을 수신하고, 견적서를 제공하되,
    상기 치수는,
    상기 객체의 가로, 세로, 높이 및 3차원 좌표 중 하나 이상을 포함하는 세부 제원이되,
    상기 사용자 단말의 카메라를 통해 획득한 깊이 값을 참조하여, 상기 이미지 내의 특징점들에 대한 깊이 값을 기반으로 상기 치수를 인식하는 것인,
    공간인식에 기반한 인테리어 플랫폼 제공 방법을 수행하는 서버.
  13. 제 1 항에 따르는, 공간인식에 기반한 인테리어 플랫폼 제공 방법을 수행하기 위한 컴퓨터 프로그램이 기록된 컴퓨터 판독가능 기록매체.
PCT/KR2019/015405 2017-12-04 2019-11-13 공간 인식에 기반한 인테리어 플랫폼 제공 방법 WO2020101339A1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR20170165473 2017-12-04
KR1020180139859A KR102186899B1 (ko) 2017-12-04 2018-11-14 공간 인식에 기반한 인테리어 플랫폼 제공 방법
KR10-2018-0139859 2018-11-14

Publications (1)

Publication Number Publication Date
WO2020101339A1 true WO2020101339A1 (ko) 2020-05-22

Family

ID=66846246

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/015405 WO2020101339A1 (ko) 2017-12-04 2019-11-13 공간 인식에 기반한 인테리어 플랫폼 제공 방법

Country Status (2)

Country Link
KR (1) KR102186899B1 (ko)
WO (1) WO2020101339A1 (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102299976B1 (ko) * 2019-06-21 2021-09-07 이청종 코드화된 인테리어 자재의 리사이클링을 위한 렌탈 서비스 시스템 및 방법
KR102293257B1 (ko) 2019-06-21 2021-08-23 김영천 가상현실과 삼차원 모델링을 기반으로 하는 심리융합타입 온라인 인테리어 중계 시스템
KR102447894B1 (ko) * 2019-07-11 2022-09-27 주식회사 경동나비엔 보일러 설치 비용 산출 장치 및 방법
KR102216029B1 (ko) 2019-07-25 2021-02-16 류근 스마트폰을 이용하여 인테리어의 변경상태를 확인하는 방법
KR102325322B1 (ko) * 2019-10-30 2021-11-10 김광수 식물 거래 서비스 제공방법
KR102429518B1 (ko) * 2020-04-29 2022-08-03 장세한 건축물 촬상 이미지 기반의 실시간 자동견적 제공방법 및 그 견적서 제공시스템
KR102294495B1 (ko) * 2020-09-03 2021-08-25 양봉주 가상현실 기반의 인테리어 및 이와 연동하는 증강현실을 제공하기 위한 가상 인테리어 시스템, 방법 및 컴퓨터 판독 가능한 기록 매체
WO2022114421A1 (ko) * 2020-11-25 2022-06-02 주식회사 뷰 증강현실 기반 인테리어서비스 제공 시스템
KR102224691B1 (ko) * 2020-12-14 2021-03-09 한상국 건축물 이미지를 생성하는 장치 및 방법
KR102549980B1 (ko) * 2020-12-23 2023-06-30 주식회사 어반베이스 강화 학습 기반 인테리어 서비스의 사물 배치 모델 제공 장치 및 방법
KR102365554B1 (ko) * 2021-10-18 2022-02-18 김창원 인공지능 알고리즘을 이용한 창호 교체 플랫폼 제공 방법 및 장치
WO2024053895A1 (ko) * 2022-09-08 2024-03-14 삼성전자 주식회사 현실 공간에서 객체를 제어하는 증강 현실 서비스를 제공하는 증강 현실 디바이스 및 그 동작 방법
KR102566279B1 (ko) * 2022-10-20 2023-08-16 주식회사 스페이스시프트 실감형 360vr 인테리어 공간 객체내 인테리어 마감재가 함께 구동되는 화면공유형 웹 360vr 인테리어 공간형성장치 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100185529A1 (en) * 2009-01-21 2010-07-22 Casey Chesnut Augmented reality method and system for designing environments and buying/selling goods
KR20110105532A (ko) * 2010-03-19 2011-09-27 (주)스파티필름 가상의 인테리어 디자인이 가능한 ｅ-아파트먼트 하우징 시스템
KR20120009766A (ko) * 2010-07-21 2012-02-02 이기상 건설 ｖｅ 지원 정보 처리 방법 및 그 시스템
KR101334540B1 (ko) * 2013-03-23 2013-11-28 한문희 가상 셀프인테리어 서비스 시스템
KR101901663B1 (ko) * 2017-06-13 2018-09-27 한남대학교 산학협력단 증강현실 기반 셀프 인테리어 시스템 및 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007047946A (ja) * 2005-08-08 2007-02-22 Jipangu:Kk オーダーカーテン販売システム及び販売方法
KR20130026553A (ko) * 2011-07-26 2013-03-14 최원국 스마트 기기의 카메라 모듈을 이용한 인테리어 시뮬레이션 서비스 제공 방법
US9443353B2 (en) * 2011-12-01 2016-09-13 Qualcomm Incorporated Methods and systems for capturing and moving 3D models and true-scale metadata of real world objects

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100185529A1 (en) * 2009-01-21 2010-07-22 Casey Chesnut Augmented reality method and system for designing environments and buying/selling goods
KR20110105532A (ko) * 2010-03-19 2011-09-27 (주)스파티필름 가상의 인테리어 디자인이 가능한 ｅ-아파트먼트 하우징 시스템
KR20120009766A (ko) * 2010-07-21 2012-02-02 이기상 건설 ｖｅ 지원 정보 처리 방법 및 그 시스템
KR101334540B1 (ko) * 2013-03-23 2013-11-28 한문희 가상 셀프인테리어 서비스 시스템
KR101901663B1 (ko) * 2017-06-13 2018-09-27 한남대학교 산학협력단 증강현실 기반 셀프 인테리어 시스템 및 방법

Also Published As

Publication number Publication date
KR20190065933A (ko) 2019-06-12
KR102186899B1 (ko) 2020-12-04

Similar Documents

Publication Publication Date Title
WO2020101339A1 (ko) 공간 인식에 기반한 인테리어 플랫폼 제공 방법
WO2016085121A1 (ko) 2차원 도면에 기반한 3차원 자동 입체모델링 방법 및 프로그램
US11875460B2 (en) Method, apparatus and storage medium for displaying three-dimensional space view
WO2021204296A1 (zh) 三维模型远程展示方法、第一终端、电子设备及存储介质
CN105139213A (zh) 一种实体空间的虚拟装饰组合系统
WO2019058266A1 (en) SYSTEM AND METHOD FOR CONVERTING A 3D SCALE SOIL PLAN FOR THE CREATION AND RENDERING OF ARCHITECTURAL SCENES OF VIRTUAL REALITY, VIDEOS AND VISUAL IMAGES
CN105184584A (zh) 虚拟试衣系统及方法
US10740591B2 (en) Adaptive clothing 3D model
WO2022095468A1 (zh) 增强现实场景下的展示方法、装置、设备、介质及程序
EP4083929A1 (en) Information providing device, information providing system, information providing method, and information providing program
TWI624770B (zh) 互動式顯示器
CN111243068A (zh) 一种3d模型场景自动渲染方法、装置及存储介质
US10957108B2 (en) Augmented reality image retrieval systems and methods
WO2016129905A1 (ko) 가상 공간에서의 전시 제공 시스템 및 방법
CN104427282A (zh) 信息处理装置,信息处理方法和程序
US20180032127A1 (en) Apparatus and method for centrally managing human interface sensors and actuators in interactive machines
WO2015008932A1 (ko) 증강현실에서의 원격 협업을 위한 디지로그 공간 생성기 및 그를 이용한 디지로그 공간 생성 방법
TWM559476U (zh) 具有虛擬實境及混合實境購屋體驗的系統裝置
CN111640190A (zh) Ar效果的呈现方法、装置、电子设备及存储介质
JP2012160134A (ja) プラント制御システムの模擬装置及び模擬画面の作成方法
EP3789967A1 (en) Three-dimensional space view display method, apparatus, and storage medium
Mohan et al. Refined interiors using augmented reality
WO2020017668A1 (ko) 다시점 영상 정합을 이용한 아바타 생성 방법 및 장치
CN112651801A (zh) 一种房源信息的展示方法和装置
JP7489019B2 (ja) 情報処理装置および情報処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19885598

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19885598

Country of ref document: EP

Kind code of ref document: A1