WO2021132911A1 - 가상 공간 인테리어를 이용한 인터페이스 제공 방법 및 그 장치 - Google Patents

가상 공간 인테리어를 이용한 인터페이스 제공 방법 및 그 장치 Download PDF

Info

Publication number
WO2021132911A1
WO2021132911A1 PCT/KR2020/017203 KR2020017203W WO2021132911A1 WO 2021132911 A1 WO2021132911 A1 WO 2021132911A1 KR 2020017203 W KR2020017203 W KR 2020017203W WO 2021132911 A1 WO2021132911 A1 WO 2021132911A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
interior
user
point
item
Prior art date
Application number
PCT/KR2020/017203
Other languages
English (en)
French (fr)
Inventor
홍종선
권병태
윤희섭
Original Assignee
(주)아키드로우
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)아키드로우 filed Critical (주)아키드로우
Priority to US17/758,063 priority Critical patent/US20230128740A1/en
Publication of WO2021132911A1 publication Critical patent/WO2021132911A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/12—Geometric CAD characterised by design entry means specially adapted for CAD, e.g. graphical user interfaces [GUI] specially adapted for CAD
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/13—Architectural design, e.g. computer-aided architectural design [CAAD] related to design of buildings, bridges, landscapes, production plants or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/06—Ray-tracing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00—Details relating to CAD techniques
    • G06F2111/18—Details relating to CAD techniques using virtual or augmented reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/04—Architectural design, interior design
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts

Definitions

  • the present invention relates to a method for providing an interface and an apparatus therefor. More specifically, the present invention relates to a method and apparatus for providing an interface using a virtual space interior.
  • VR Virtual Reality
  • AR Augmented Reality
  • various methods have been proposed to provide the user with a simulated environment and situation based thereon and to interact with it.
  • a method of generating 3D data of a building or indoor structure in advance manually or using a 3D scanner and providing virtual reality based thereon may be used.
  • this method a three-dimensional architectural modeling process by estimation from scan information or drawings is required, so there is a difficulty in manufacturing, and the accuracy is lowered due to limitations in data processing and manual work. There is this.
  • the indoor information and the interior constructed in this way are currently provided through a display device that displays the virtual space interior as a two-dimensional or three-dimensional image.
  • Such a display device may output various pieces of furniture and objects shown in a visual field image according to a user's point of view, and in general, a user selects any one of them to input a movement of the furniture position or provides detailed information for purchase, etc. can receive
  • the object images shown in the visual field image according to the user's point of view are very complex and variously configured, and there are cases in which objects are obscured or their boundaries are not clearly distinguished in a specific scene according to the user's point of view.
  • an interface means capable of receiving more simplified and optimized object information in consideration of user convenience in space and interior displays.
  • the present invention has been devised to solve the above problems, and through user style-based automation processing for spaces and interiors arranged on indoor structure information, a user makes a separate precise design or a work request to an expert It allows you to create space and interior design information intuitively and conveniently without the need for, and in particular, analyzes the style of the input image information to enable similar types of interior space and interior design, providing a rich and diverse interior with user convenience.
  • An object of the present invention is to provide an apparatus for providing space and interior design and a method for operating the same.
  • the present invention provides a tag interface using a virtual space interior in a display according to space and interior design, wherein the tag interface acquires the main object information filtered from the user's side, and does not overlap or overlap with each other and captures the user's point of view
  • An object of the present invention is to provide a method and an apparatus for providing an interface using a virtual space interior that can provide more simplified and optimized object information in consideration of user convenience by being displayed at a major position on the considered object.
  • a method for solving the above-described problems, the method of operating an interior layout apparatus, comprising: acquiring interior structure information and interior layout information; identifying one or more exposed object information exposed within a range of a user's viewing area based on the rendering information of the indoor structure information and the interior layout information; determining arrangement information of an interfacing point indicating the one or more exposed object information according to user recognition comparison processing; and outputting the interfacing point together with the rendering information.
  • an interior layout apparatus comprising: a rendering processor configured to obtain interior structure information and interior layout information; a user viewing area processing unit for identifying one or more exposed object information exposed within a user viewing area range based on the rendering information of the indoor structure information and the interior layout information; an interfacing point arrangement unit for determining arrangement information of interfacing points indicating the one or more exposed object information according to user recognition comparison processing; and an interface output unit for outputting the interfacing point together with the rendering information.
  • the method according to an embodiment of the present invention for solving the above-described problems, a program for executing the method in a computer and a recording medium in which the program is recorded.
  • the user intuitively and conveniently performs space and interior design without requiring a separate precise design or requesting work from an expert. Allows you to create design information.
  • an apparatus for providing a rich and diverse interior space and interior design with user convenience and an operating method thereof by analyzing the style of the input image information to enable the design of an indoor space and interior in a similar form to this, an apparatus for providing a rich and diverse interior space and interior design with user convenience and an operating method thereof.
  • the present invention provides a tag interface using a virtual space interior in a display according to space and interior design, wherein the tag interface acquires the main object information filtered from the user's side, and does not overlap or overlap with each other and captures the user's point of view It is possible to provide a method and an apparatus for providing an interface using a virtual space interior that can provide more simplified and optimized object information in consideration of user convenience by being displayed at a major position on the considered object.
  • FIG. 1 is a block diagram illustrating an interior layout apparatus according to an embodiment of the present invention.
  • FIG. 2 is a flowchart illustrating an interior layout method according to an embodiment of the present invention.
  • FIG. 3 is a flowchart illustrating an iteration process for generating an interior layout according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating cost efficiency versus the number of iterations of an iteration process for generating an interior layout according to an embodiment of the present invention.
  • 5 and 6 illustrate an indoor structure information interface output from an interior layout device according to a method performed according to an embodiment of the present invention.
  • FIG. 7 is a block diagram illustrating a space and an interior rendering unit in more detail according to an embodiment of the present invention.
  • FIG. 8 is a flowchart illustrating a method of providing an interface using a virtual space interior of an interior layout apparatus according to an embodiment of the present invention.
  • FIG. 9 is an exemplary diagram of a virtual space interior display including a tag interface according to an embodiment of the present invention.
  • FIG. 10 is a flowchart illustrating in more detail an interfacing point determination process according to an embodiment of the present invention.
  • FIG. 11 is an exemplary diagram for explaining a user preference area according to an embodiment of the present invention.
  • block diagrams herein are to be understood as representing conceptual views of illustrative circuitry embodying the principles of the present invention.
  • all flowcharts, state transition diagrams, pseudo code, etc. may be tangibly embodied on computer-readable media and be understood to represent various processes performed by a computer or processor, whether or not a computer or processor is explicitly shown.
  • processors may be provided by the use of dedicated hardware as well as hardware having the ability to execute software in association with appropriate software.
  • the functionality may be provided by a single dedicated processor, a single shared processor, or a plurality of separate processors, some of which may be shared.
  • DSP digital signal processor
  • ROM read-only memory
  • RAM random access memory
  • non-volatile memory Other common hardware may also be included.
  • a component expressed as a means for performing the function described in the detailed description includes, for example, a combination of circuit elements that perform the function or software in any form including firmware/microcode, etc. It is intended to include all methods of performing the functions of the device, coupled with suitable circuitry for executing the software to perform the functions. Since the present invention defined by these claims is combined with the functions provided by the various enumerated means and combined in a manner required by the claims, any means capable of providing the functions are equivalent to those contemplated from the present specification. should be understood as
  • FIG. 1 is a block diagram illustrating an interior layout apparatus according to an embodiment of the present invention.
  • the interior layout device 100 described in this specification is a mobile phone, a smart phone, a computer, a laptop computer, a digital broadcasting terminal, PDA (Personal Digital Assistants), PMP (Personal Digital Assistants) operated according to a user input (A variety of electronic devices such as portable multimedia players), navigation devices, and virtual reality devices may be exemplified.
  • a program or application for executing the methods according to an embodiment of the present invention may be installed and operated in the interior layout apparatus 100 .
  • the interior layout apparatus 100 may provide an interface for generating and editing indoor structure information, and the indoor structure information generated according to an embodiment of the present invention is transmitted to the interior layout apparatus 100 . It may be stored or uploaded to a separate server (not shown) and managed according to user information.
  • the indoor structure information may include two-dimensional or three-dimensional building plan information, and may include structure information that can be used for indoor interior simulation by matching three-dimensional modeling information.
  • the indoor structure information may include one or more wall surfaces and connection information of each wall surface, and may form one or more closed spaces.
  • the interior layout apparatus 100 may include a distance measuring sensor and an angle measuring sensor inside or outside, and may determine the indoor structure information according to a user input.
  • the interior layout apparatus 100 may obtain pre-stored or uploaded indoor structure information in response to user information, and may provide an interior layout editing function corresponding to the obtained indoor structure information.
  • the interior layout apparatus 100 provides an interior layout automation function capable of automatically processing furniture interior arrangement and space design according to user style information analysis in response to the user's interior structure information.
  • the interior layout apparatus 100 acquires the user's indoor structure information
  • the space determined in response to the indoor structure information according to the style information analysis processing corresponding to the user The interior layout automation information including the layout and interior layout design may be generated, and the interior layout automation information may be output.
  • the automation information output as described above may be used for interior rendering processing of the interior structure information in the interior layout apparatus 100 , and the rendered interior structure information is output through the interior structure information interface of the interior layout apparatus 100 .
  • the information on the interior structure of which interior furniture and space layout design has been automated can be used for editing, information sharing, and storage according to user input, and furthermore, it can be used as an indoor simulation and purchase linkage function of each arranged furniture. .
  • the interior layout apparatus 100 visualizes a three-dimensional space similar to reality on a virtual space displayed on a display of the interior layout apparatus 100, and displays a three-dimensional object based on the interior layout automation information as the indoor structure information. It is possible to provide a function of placing on the indoor simulation graphic based on . Accordingly, the indoor simulation may be preferably used for a floor plan that simulates furniture to be placed in a room, and the application providing the indoor simulation may include a floor plan application.
  • the interior layout apparatus 100 may generate an interior arrangement and space layout design according to a user's style on the indoor structure information according to a user input, and accordingly, the user may perform a separate precise design or Without design work, a space layout and furniture arrangement of a desired style is provided, and by editing it, it is possible to construct two-dimensional and three-dimensional interior structure information in various ways. Accordingly, it is possible to provide an interior layout apparatus 100 capable of promoting user convenience and diversity of indoor interior configurations and an operating method thereof.
  • a separate server device may store the predetermined application that can be installed in the interior layout device 100 and information necessary to provide the indoor simulation, user registration for the user of the interior layout device 100 and indoor Structural information management can be provided.
  • the interior layout device 100 may download and install an application from the server device.
  • At least some components of the interior layout apparatus 100 may be implemented in a separate server device located at a remote location for processing efficiency.
  • the style information analysis and layout generation function of the interior layout apparatus 100 is performed in a remote server device, and the interior layout apparatus 100 receives the execution result to receive the space and interior It may also perform rendering and service provision.
  • the interior layout apparatus 100 according to an embodiment of the present invention may be a single apparatus or a combined apparatus in which at least some functions are processed in other apparatuses.
  • the interior layout apparatus 100 includes a communication unit 105 , an input unit 110 , a style information analysis unit 120 , a layout generation processing unit 130 , a control unit 140 , and an interface output unit 150 . , a space and interior rendering unit 160 , a service providing unit 170 , and a storage unit 180 . Since the components shown in FIG. 2 are not essential, a terminal having more or fewer components may be implemented.
  • the communication unit 105 may include one or more modules that enable wireless communication between the interior layout device 100 and the wireless communication system or between the interior layout device 100 and the network in which the interior layout device 100 is located. .
  • the communication unit 105 may include a broadcast reception module, a mobile communication module, a wireless Internet module, a short-range communication module, and a location information module.
  • the mobile communication module transmits/receives wireless signals to and from at least one of a server device, a base station, an external terminal, and a server on a mobile communication network.
  • the wireless Internet module refers to a module for wireless Internet access, and may be built-in or external to the interior layout apparatus 100 .
  • wireless Internet technologies wireless Internet technologies, wireless LAN (WLAN) (Wi-Fi), wireless broadband (Wibro), World Interoperability for Microwave Access (Wimax), High Speed Downlink Packet Access (HSDPA), etc. may be used.
  • the short-distance communication module refers to a module for short-distance communication.
  • Bluetooth Radio Frequency Identification (RFID), Infrared Data Association (IrDA), Ultra Wideband (UWB), ZigBee, etc. may be used as short range communication technologies.
  • RFID Radio Frequency Identification
  • IrDA Infrared Data Association
  • UWB Ultra Wideband
  • ZigBee ZigBee
  • the location information module is a module for acquiring the location of the terminal, and a representative example thereof is a Global Position System (GPS) module.
  • GPS Global Position System
  • the communication unit 105 may upload completed indoor structure information and interior layout information to the server device, or may receive registered indoor structure information or interior layout information in response to user information from the server device.
  • the interior layout information may be interior layout information obtained from input image information or may include interior layout automation information processed by the server device.
  • the input unit 110 generates input data for the user to control the operation of the terminal.
  • the user input unit 110 may include at least one of a keypad, a dome switch, a touch screen (static pressure/capacitance), a jog wheel, and a jog switch.
  • the style information analysis unit 120 analyzes the user's style information, and transmits the analyzed style information to the layout generation processing unit 130 .
  • the style information analyzer 120 may include a feature analyzer 121 .
  • the style information analysis unit 120 may receive style related information corresponding to the user through the input unit 110 , and the input style related information may be transmitted to the feature analysis unit 121 .
  • the style-related information may indicate user preference interior information according to a user input
  • the style information analysis unit 120 analyzes the user preference interior information to calculate user style information to be transmitted to the layout generation processing unit 130 .
  • the style-related information may include interior image information that the user desires to build in a similar form, or may include user style pattern information that the user directly selects and inputs.
  • the user inputs specific video or image information to apply a spatial interior layout similar to that of a specific video or image to his or her indoor structure information, or an interior photo or video checked through a social network service.
  • Information or its social network service link information may be input as the style-related information.
  • the user may input preferred style information for an interior to be automatically arranged in his/her indoor structure information as the style-related information.
  • the user may input various style information such as the size, arrangement, and matching style of furniture or the size, shape, number, and type of space through the input unit 110 .
  • the feature analyzer 121 may obtain user's style information by analyzing the style related information, and the acquired style information may be transmitted to the layout generation processing unit 130 .
  • the user style information may include feature variable information for layout generation iteration processing of the layout generation processing unit 130 .
  • the feature analysis unit 121 may perform a process of calculating a feature variable for calculating the interior cost function based on the user's style information.
  • the interior cost function is devised to determine the optimal space and interior layout in the layout generation processing unit 130, and evaluates the actual arrangement degree of the interior according to the characteristic variable of the interior object set corresponding to the interior structure information. can be used
  • the layout generation processing unit 130 may repeatedly iterate the interior cost function calculation based on the characteristic variable information in order to calculate an optimized space and interior layout, and the characteristic analysis unit 121 may iterate over the image information and the like.
  • the feature variable information corresponding to the user's style information may be obtained and provided to the layout generation processing unit 130 .
  • Equation 1 The interior cost function f(x) according to such a feature variable may be exemplified by Equation 1 below.
  • x may represent an interior layout
  • gi(x) may represent an i-th feature variable operation
  • wi may represent a weight value thereof.
  • a result value of the f(x) function operation may represent the cost of the layout x, and a lower cost value may represent a more realistic and natural layout.
  • This layout x may include one or more sets of interior feature variables, and the interior feature variables may correspond to, for example, interior structures, walls, corners, windows, doors, and respective furniture object elements, and correspond to each element.
  • the size, shape, type, position, and rotation values of each of the characteristic variables may be assigned.
  • the total cost may be determined according to the feature variable value and weight corresponding to each interior element, which may mean that it may be determined according to the type, arrangement, rotation, and function weight of the interior element as a result.
  • the feature variable may include normalized distance information calculated relative to a space layout element corresponding to an interior furniture element.
  • the spatial layout element may include at least one of a wall, a corner, a door, a window, or a surrounding extra space
  • the characteristic variable may include a normalized distance value between the spatial layout element and a specific interior furniture element. Accordingly, the degree of relative separation between the interior furniture and the wall, the distance between neighboring furniture, etc. may be calculated as a cost function, which may be processed by the gi(x) function.
  • the weight wi may be a feature variable determined from function weight information, and may indicate the importance of a specific interior element. Such weight information may be obtained from the user style information.
  • the feature variable according to an embodiment of the present invention may assign importance of matching property according to the allocation of the weight information.
  • the importance of matching may be variably assigned according to the type of indoor structure, the type of room, etc., and may be calculated according to a user's selection input or statistically according to the accumulation of data.
  • the style information analyzed by the feature analysis unit 121 may be used to calculate the spatial layout design function of the layout generation processing unit 130 .
  • the layout generation processing unit 130 may determine a space layout design function for correcting the above-described interior cost function.
  • the layout generation processing unit 130 may determine a spatial layout design function according to the feature variable of the style analysis information, and the spatial layout design function may include one or more limiting functions for modifying the interior cost function. have.
  • the function of such a spatial layer design function is to restrictively define the rules of the space layout to increase the space usage rate and fit the user's preference. For example, i) overall movement and rotation of interior element objects ii) adjacent interior element objects Various rules may be defined, such as moving to a wall, iii) rotating an interior element object to correspond to an arbitrary wall iv) moving an interior element object around another arbitrary element object.
  • the spatial layout design function may be calculated in the form of a correction function that reduces the cost of the interior layout function.
  • the correction function may be determined differently according to the type of each interior element, and may be a function for reducing a cost corresponding to a single function of a single interior element.
  • the feature analysis unit 121 includes a process of calculating a correction variable for calculating a space layout design function based on the user's style information, and the correction variable is a space and an interior type. It can be determined based on information.
  • interior and spatial characteristics can be divided into two types of groups, the first group is the related characteristics between the interior structure (room, etc.) and interior furniture, the distance between the furniture and the nearest wall; A degree of rotation relative to an adjacent wall surface, a characteristic of a relative arrangement with a door/window, and the like may be exemplified.
  • the second group is a feature related to interior furniture, such as a distance between a bed and a side table, a distance between a desk and a chair, and the like.
  • the layout generation processing unit 130 defines the functions that bring about such cost reduction as the spatial layout design function, and accordingly, the interior cost function firstly calculated based on the spatial interior information determined by the function. More cost-effective space interior information can be calculated through space layout design for Korea.
  • each interior layout and space interior design rules may have a high correlation with each other.
  • a desk should be aligned with a wall
  • furniture should not interfere with the movement of opening doors or windows
  • specific furniture should be adjacent to each other, such as a desk and a chair.
  • even furniture that is considerably spaced apart, such as a chair and a TV may have a distance relationship.
  • this correlation is an intuitive element, and it is difficult to model it easily by humans.
  • the layout generation processing unit 130 calculates this relational relationship model by iterative operation of learning data, such as machine learning, and performs interior layout automation processing based on a specific cost function using the calculated model, through which By determining the optimal interior layout, it is possible to efficiently, accurately, and automatically process the realistic interior layout.
  • the layout generation processing unit 130 according to the relationship learning processing of the weight value applied to the interior cost function and the space layout design function determined according to the style information analysis processing in response to the interior structure information, By repeatedly generating the layout, an iteration process for generating optimal interior layout automation information may be performed.
  • the iteration process 1) generates arbitrary initial interior layouts, 2) determines a first layout group having a low cost based on an interior layout function corresponding thereto, and 3) a spatial layout in which the interior layout function is modified
  • a second layout group having a low cost based on a design function is determined, 4) an arbitrary third layout group is determined, and the entire layout group combining them is used as an initial layout.
  • iteratively performing an iteration operation and determining a layout having the lowest cost among current layouts as optimal interlayer layout automation information according to an iteration end operation.
  • the iteration process may be terminated by comparing the space usage rate value obtained according to the space usage rate analysis operation of the space usage rate analyzer 123 and the threshold value.
  • a threshold value may be determined according to a separate setting according to a user style or efficiency, and whether the space usage rate is optimized may be determined by the threshold value.
  • the space usage rate analysis unit 123 may process the space usage rate analysis for each layout.
  • factors such as margin, density, and adjacency between spaces according to movement paths may be considered, and the space usage rate analysis unit 123 calculates the usage rate when a specific layout is input to the layout A function to output to the generation processing unit 130 may be processed.
  • the space usage rate analyzer 123 may be included as an element of the style information analyzer 120 .
  • the style information analyzed by the style information analyzer 120 may include space usage rate information, and accordingly, an allowable space usage rate iteration threshold may be set differently for each user style.
  • optimal interior layout automation information may be determined, and the determined interior layout automation information may be transmitted to the space and interior rendering unit 160 .
  • the rendering unit 160 may perform space and interior rendering processing by applying the interior layout automation information to the interior structure information, and the rendered space and interior data may be output through the interface output unit 150 .
  • the service providing unit 170 provides service functions such as space interior experience, interior editing, furniture tagging, and provision of furniture information and purchase information, based on the interior layout automation information.
  • the service providing unit 170 may obtain user service information including furniture information used for interior arrangement, a purchase link, and the like, and output the obtained user service information through the interface output unit 150 .
  • the service providing unit 170 outputs, through the interface output unit 150, a tagging interface of one or more furniture information included in the video image to which the interior layout automation information is rendered, and corresponds to the tagging interface.
  • a service for providing the furniture information and a purchase link may be processed according to a user input.
  • the user can not only receive an automated interior layout service, but also check detailed information and purchase information of furniture to be actually directly applied to his or her own indoor space.
  • the interface output unit 150 is for generating an output related to visual, auditory or tactile sense through providing the interface as described above, and may include a display unit, a sound output module, an alarm unit, a haptic module, and the like.
  • the display unit displays (outputs) information processed by the interior layout apparatus 100 .
  • a user interface UI
  • GUI graphic user interface
  • a user interface for generating indoor structure information according to an embodiment of the present invention may be displayed on the interface screen.
  • the display unit includes a liquid crystal display (LCD), a thin film transistor-liquid crystal display (TFT LCD), an organic light-emitting diode (OLED), a flexible display, 3 It may include at least one of a 3D display.
  • LCD liquid crystal display
  • TFT LCD thin film transistor-liquid crystal display
  • OLED organic light-emitting diode
  • flexible display 3 It may include at least one of a 3D display.
  • the storage unit 180 may store a program for the operation of the control unit 140 , and may temporarily store input/output data.
  • Storage unit 180 is a flash memory type (flash memory type), hard disk type (hard disk type), multimedia card micro type (multimedia card micro type), card type memory (for example, SD or XD memory, etc.), Random Access Memory (RAM), Static Random Access Memory (SRAM), Read-Only Memory (ROM), Electrically Erasable Programmable Read-Only Memory (EEPROM), Programmable Read-Only Memory (PROM), Magnetic Memory, It may include at least one type of storage medium among a magnetic disk and an optical disk.
  • the interior layout apparatus 100 may operate in relation to a web storage that performs a storage function of the storage unit 180 on the Internet.
  • the controller 140 generally controls the overall operation of the terminal, for example, generating interior structure information, analyzing style information, creating a layout, automated space and interior rendering, providing an interface, voice call, data communication, video call, etc. related control and processing for
  • control unit 140 may store the interior structure information processed by the interior automation in the storage unit 180 or may process it to be transmitted to the server device through the communication unit 105 .
  • the interior structure information processed by the interior automation may be stored and managed in a cloud server or a server device by matching the user account information of the interior layout device 100 .
  • FIG. 2 is a flowchart illustrating an interior layout method according to an embodiment of the present invention.
  • information about the interior structure is first input ( S101 ).
  • the indoor structure information may be indoor structure information obtained according to a user input within the interior layout device 100 or may be indoor structure information input and received from an external device, 2D indoor floor plan information, or 3D indoor space structure information can have the format of
  • the interior layout apparatus 100 analyzes space and interior style information suitable for the user according to the user's input of style-related information ( S103 ).
  • the interior layout apparatus 100 calculates an interior cost function and a space layout design function for correcting it according to the analyzed style information ( S105 ).
  • the interior layout apparatus 100 performs an iteration process of repeatedly generating an arbitrary interior layout to generate an optimal interior layout according to the relationship learning processing of the weight values applied to the interior cost function and the space layout design function. performed (S107).
  • the interior layout apparatus 100 determines whether the currently generated interior layout is within a preset threshold space usage rate (S109), ends the iteration if it is within the threshold space usage rate, and provides information on the interior structure based on the current interior layout.
  • An interior rendering process is performed (S111).
  • the interior layout apparatus 100 outputs the rendered space and interior information through the interior structure information interface (S113), and according to a user input for the output space and interior, a space interior experience, interior editing, furniture tagging, furniture A service function such as providing information and purchase information is provided (S115).
  • the interior layout apparatus 100 stores and uploads the completed interior structure information and interior layout information (S117).
  • FIG. 3 is a flowchart illustrating an iteration process for generating an interior layout according to an embodiment of the present invention
  • FIG. 4 is a diagram illustrating cost efficiency versus the number of iterations of the interior layout creation iteration process according to an embodiment of the present invention. .
  • the interior layout apparatus 100 generates N random layouts based on indoor structure information and user style information through the layout generation processing unit 130 ( S201 ).
  • the interior layout apparatus 100 calculates the interior cost function of each layout through the layout generation processing unit 130 (S203).
  • the interior layout apparatus 100 selects the N1 layout group for which the interior cost is calculated to be low through the layout generation processing unit 130 ( S205 ).
  • the interior layout apparatus 100 selects the N2 layout group for which the lowest cost is calculated by applying the spatial layout design correction function through the layout generation processing unit 130 ( S207 ).
  • the interior layout apparatus 100 determines a random layout N3 group using a random variable through the layout generation processing unit 130 ( S209 ).
  • the interior layout apparatus 100 generates a layout group by combining the N1 , N2 , and N3 through the layout generation processing unit 130 ( S211 ).
  • the weight values of each layout can be optimized according to the correlation formation for cost improvement, and according to the optimization, the function-based N1, N2 group selection classification of each layout is processed and a new random As Layout N3 is continuously added, more suitable automated layout calculation becomes possible.
  • the size of the generated layout group may be smaller than the initial N number.
  • N1, N2, and N3 may be determined in proportion to the size of N, and may be limited within a preset maximum size. For example, when N is less than or equal to a certain size, the sizes of N1, N2, and N3 may be 1/3N, 1/3N, and 1/3N, and when N is greater than or equal to a certain size, 1/6N, 2/3N, 1/ It can be calculated as 6N. Such a size ratio of N may be preset according to processing efficiency.
  • FIG. 4 shows a cost graph in which an optimal layout is calculated with respect to the number of iterations K. Accordingly, it is preferable that the number of iterations be limited to the number of times not only the space usage rate but also the preset processing efficiency is optimized. As shown in FIG. 4 , when a layout having an optimal cost is calculated from a layout group N iterated K times, it can be seen that the cost efficiency decreases as the number of iterations increases. Therefore, it is preferable that the interpolation process according to an embodiment of the present invention is set not to exceed the space usage rate and the preset maximum number of iterations.
  • 5 and 6 illustrate an indoor structure information interface output from an interior layout device according to a method performed according to an embodiment of the present invention.
  • the interior layout apparatus 100 may provide an interior automation mode corresponding to the user's indoor structure information through the interface output unit 150 .
  • the user may input desired style photo or image information as style-related information through the input unit 110, set a preferred style pattern, set specific preferred furniture, or receive any recommended style without separate setting. can Then, the user may start the style analysis of the style information analysis unit 120 and the layout generation processing of the layout generation processing unit 130 according to an embodiment of the present invention by inputting the automatic arrangement button.
  • FIG. 6 is a view for explaining a layout automation result interface generated according to an embodiment of the present invention.
  • An interior structure interface in which a space layout and an interior are automatically arranged is rendered, and an interface output unit ( 160) is shown.
  • the user can check the list of placed products, furniture information, and purchase information, select storage or sharing of interior structure information processed by interior automation, or perform automated processing by other styles. You may request again.
  • users can create space and interior design information intuitively and conveniently without requiring a separate precise design or requesting work from an expert. do.
  • FIG. 7 is a block diagram illustrating a space and an interior rendering unit in more detail according to an embodiment of the present invention.
  • the space and interior rendering unit 160 includes a rendering processing unit 1601 , a user viewing area processing unit 1602 , and an interfacing point arrangement unit 1603 .
  • the rendering processing unit 1601 obtains the interior structure information and the interior layout information requested to be rendered, and performs virtual space rendering based on the interior structure information and the interior layout information.
  • the indoor structure information and interior layout information may be indoor structure information and interior layout information obtained according to a user input within the interior layout device 100, or may be indoor structure information and interior layout information input and received from an external device,
  • the indoor structure information may be two-dimensional indoor floor plan information or may have a format of three-dimensional indoor space structure information, and the interior layout information may include one or more object information arranged in correspondence to the indoor structure information.
  • the rendering processing unit 1601 may render a virtual indoor structure space on a three-dimensional coordinate system according to the indoor structure information, and according to the interior layout information, a wall surface, a column, and a wall arranged in correspondence to the indoor structure information; Various interior objects such as furniture, picture frames, and lighting can be rendered on 3D coordinates.
  • the rendered interior image information of the virtual indoor space may be output through the interface output unit 150 of the interior layout apparatus 100 .
  • the user viewing area processing unit 1602 identifies viewing area object information corresponding to the user's viewpoint information in response to the rendered interior image information of the virtual indoor space.
  • the viewing area object information may include object information of objects disposed in the viewing area corresponding to the user's viewpoint information.
  • the virtual 3D space may be output through the interface output unit 150 in the form of image information of a 2D or 3D scene according to the coordinates of the user's viewpoint located on the 3D coordinate system.
  • the user viewing area processing unit 1602 may identify objects located in the user viewing area by identifying one or more object information included in the scene.
  • the user viewpoint information may correspond to coordinate information of a camera point that is photographed and output in a 3D virtual space, and the user's viewing area may be determined by viewing angle information and clipping plane information corresponding to the camera point.
  • the viewing angle information may be determined according to a predetermined angle formed vertically, horizontally and vertically from the camera point.
  • the clipping plane information may be determined according to horizontal distance information capable of focusing an object within a preset viewing angle range, and may include nearest clipping plane information and outermost clipping plane information.
  • object information disposed in the user's viewing area corresponding to the user's viewpoint information may be determined according to a raycast method.
  • a bounding box surrounding an object disposed in a user's viewing area frustum clipped according to the clipping plane information is identified on a two-dimensionally projected viewport according to the user's point of view.
  • the user's viewing area processing unit 1602 is located at the intersection point. Accordingly, it may be determined whether a specific object is disposed within the user's viewing area.
  • the user viewing area processing unit 1602 calculates the frustum area determined from the camera point corresponding to the user's viewpoint information, and calculates the bounding box area of all objects.
  • the bounding box area may be calculated as a three-dimensional cube.
  • the user view area processing unit 1602 may identify object information in which a maximum position or a minimum position from the camera point among the bounding box area exists in the frustum area. If the maximum position or the minimum position exists in the frustum region, the user viewing area processing unit 1602 may determine object information corresponding to the bounding box area as a candidate object that can be located in the user viewing area.
  • the user viewing area processing unit 1602 determines whether the candidate object is displayed on the two-dimensionally projected viewport plane according to the user's viewpoint. To this end, the user viewing area processing unit 1602 may perform a two-dimensional projection process on the candidate objects onto a viewport plane formed in the direction of the user's viewpoint. In addition, the user viewing area processing unit 1602 may calculate 2-dimensionally normalized device coordinates (NDC) from the bounding box of each candidate object according to the projection.
  • NDC 2-dimensionally normalized device coordinates
  • the user viewing area processing unit 1602 determines that the candidate object is located within the user viewing area.
  • the user viewing area processing unit 1602 may set each interior object determined to be located in the viewing area as a raycast target. Then, the user viewing area processing unit 1602 performs raycasting of emitting a virtual straight line to the NDC plane corresponding to the user viewport for each raycast target interior object, and determines the objects forming the intersection point by the distance from the camera point. Classification can be done according to the order.
  • the user view area processing unit 1602 determines whether objects are exposed on the user view area due to mutual interference, and thus determines object information to output the interfacing point and transmits it to the interfacing point arrangement unit 1603. .
  • the user viewing area processing unit 1602 may identify one or more objects that are closest to each other among the objects in which intersections are formed, and when the closest objects correspond to the same interior object, the interior object is set to another structure or object, etc. It may be determined as an exposed object that is not obscured by the screen, and the determined exposed object information may be transmitted to the interfacing point arrangement unit 1603 .
  • the interfacing point arrangement unit 1603 identifies one or more object information exposed within the user viewing area range transmitted from the user viewing area processing unit 1602, and one or more objects corresponding to the position coordinates of the identified object information.
  • the arrangement of the interfacing points to which the tag information is mapped may be determined according to the grouping and cognitive comparison processing of the object item points.
  • the interface output unit 150 may allocate a preset tag interface to the interfacing point to be output on a rendering screen corresponding to the viewing area range. According to the interaction of the tag interface, various interior information providing services such as provision of object information, editing, location movement, rotation, or provision of purchase information may be provided through the service providing unit 170 .
  • the interfacing point arrangement unit 1603 may appropriately arrange the tag interface on the 2D or 3D image information output according to the user's point of view according to the object item point grouping-based arrangement processing of the interfacing point as described above. .
  • the interfacing point arrangement unit 1603 may arrange to output the interfacing point and the tag interface at an appropriate location according to the cognitive comparison processing that allows the user to intuitively recognize it in consideration of mutual overlap, etc., more specifically, to be described later.
  • the interfacing point arrangement unit 1603 may use user analysis data for the above-described interfacing point arrangement, and the user analysis data may include selection frequency information corresponding to the interfacing point.
  • space and interior rendering information including the tag interface allocated on the interfacing point may be output through the interface output unit 150, and the service providing unit 170 may be configured according to a user input corresponding to the interfacing point.
  • various information providing services such as purchase information of interior objects, related content provision information, or similar interior object information may be processed.
  • the user can simply and easily distinguish the interior objects shown from the user's point of view, and can easily receive information and services on the interior object desired by the user.
  • FIG. 8 is a flowchart illustrating a method of providing an interface using a virtual space interior of an interior layout apparatus according to an embodiment of the present invention
  • FIG. 9 is an example of a virtual space interior display including a tag interface according to an embodiment of the present invention It is also
  • the user view area processing unit 1602 of the space and interior rendering unit 160 obtains user viewpoint information corresponding to the space and interior information rendered by the rendering processing unit 1601 ( S301 ).
  • the user viewing area processing unit 1602 identifies one or more interior object information exposed to the user viewport within the viewing area range calculated from the user viewpoint information ( S303 ).
  • the interfacing point arrangement unit 1603 configures one or more object item points corresponding to the position coordinates of the identified object information (S305).
  • the interfacing point arrangement unit 1603 groups the object item points according to a preset item group (S307).
  • the interfacing point arrangement unit 1603 determines the interfacing point to which the tag information is to be mapped according to the cognitive comparison processing within the viewing area range for each item group ( S309 ).
  • the interface output unit 150 displays the interfacing point on the rendering screen corresponding to the viewing area range (S311).
  • the interface output unit 150 outputs a tag interface indicating object information mapped to the interfacing point according to a user selection input corresponding to the interfacing point ( S313 ).
  • the interface output unit 150 provides an object interworking service according to a user input corresponding to the tag interface (S315).
  • the interior layout apparatus 100 may output the rendered space and the layout interface 101 as a virtual space through the interface output unit 150 ,
  • the above-described interfacing points 101 may be output on the space and layout interface.
  • the interfacing points 101 are displayed in a circle disposed on the object, but may be output in various other forms such as a separate icon image, a square, a triangle, a three-dimensional object, and the like.
  • the interfacing points according to an embodiment of the present invention can arrange the objects exposed on the user's viewing area in an optimized position so that they do not overlap and do not overlap, and the user can comfortably and comfortably without stress due to excessive object information identification. You can choose the interior object you want.
  • the tag interface 103 may be output.
  • the tag interface 103 may be linked with various service functions such as object information provided by the service providing unit 170 , related content information, and purchase information.
  • the service providing unit 170 may collect user selection input information and use it for future user statistical analysis, recommendation interior provision, and the like.
  • FIG. 10 is a flowchart illustrating in more detail an interfacing point determination process according to an embodiment of the present invention.
  • mapping tag interfaces for all interior objects there is a problem in that the same detailed information tag is mapped to all overlapping objects, thereby increasing the amount of unnecessary information. There is also a problem in that it is difficult to recognize an object or an object outside the user's main recognition area, so that information transmission is not performed well. In addition, in the case of objects overlapping each other at very close positions, there is a problem in that it is difficult to determine which object the tag relates to.
  • the interfacing point arrangement unit 1603 configures one or more object item points corresponding to the exposed object information identified by the user view area processing unit 1602, and assigns the object item points to a preset item group. It is possible to determine the interfacing point to which the tag information is mapped according to the grouping according to the grouping, and according to the cognitive comparison processing within the viewing area range for each item group.
  • the interfacing point arrangement unit 1603 groups the object item points according to a preset item group ( S401 ).
  • the interfacing point arrangement unit 1603 may group coordinates of all object item points included in the viewport scene according to the user's viewpoint information according to a specific item group.
  • the interfacing point arrangement unit 1603 may group the three object item point information into a sofa item group with three persons of company A. Accordingly, in order to prevent repeated provision of unnecessary information in advance, tag information by duplicated objects may be simplified to be provided only for a grouped item group.
  • the item grouping condition may be variously determined according to, for example, product identification information, product popularity information, category information, and the like.
  • the interfacing point arrangement unit 1603 determines the priority between the item group and the object item points in the item group according to a predetermined comparison criterion (S403).
  • the priority between the item group and the points may be set according to various comparison conditions, which may vary according to user preference or user setting information. For example, the priority may be determined according to the number of object item points in the item group, the distance from the camera point corresponding to the user's viewpoint, price, popularity, category, exposure frequency, and the like. In addition, when the object item point is located in a specific main recognition area, a higher priority may be determined. According to this priority determination, each item group and object item points may be sorted.
  • the interfacing point arrangement unit 1603 sets a first overlapping threshold value and tag type information corresponding to the first object item points arranged according to the priority (S405).
  • the overlap threshold value indicates a threshold value of an area that can be placed even if it overlaps with an object item group that is previously arranged
  • the tag type information may indicate range category information of the threshold value.
  • the tag type information initially allocated when configuring the item group may be a 'normal' type.
  • the interfacing point arrangement unit 1603 arranges the first object item point in the rendered user viewing area ( S407 ).
  • the positions of the previously arranged item group and object item point do not change and may have priority.
  • the interfacing point arrangement unit 1603 determines whether the previously arranged object items overlap by exceeding a first overlapping threshold ( S409 ).
  • the interfacing point arrangement unit 1603 determines whether there are other object item points in the first item group (S421), and if there is, sets another object item point as the first object item point again ( S423), it is performed again from step S407.
  • step S421 determines whether the tag type information is 'small' (S425), and if not 'small', sets the tag type information to 'small' After reassigning the first overlap threshold to a smaller value (S427), the process is performed again from step S407.
  • the threshold value reallocated as 'small' may be preferably a half value of the threshold value processed as 'normal'.
  • the interfacing point arrangement unit 1603 is the object item point having the highest average distance to other object items in the first item group. is identified and arranged, and the tag type information is assigned as 'disposable' (S429).
  • step S409 if the first overlap threshold is not exceeded in step S409 or the first object item point having the tag type information to which 'disposable' is assigned is obtained, the interfacing point arrangement unit 1603 sets the first object item point is arranged in the user's viewing area, and the arrangement information and tag type information are stored (S411).
  • the interfacing point arrangement unit 1603 determines whether there is a remaining item group whose arrangement is not completed (S413), and if there is, sets the next item group as the first item group (S419), and performs it again from step S407 .
  • the interfacing point arrangement unit 1603 maps tag information to the stored object item arrangement information to generate interfacing point information (S415), and the interface output unit 150 displays the rendered user's point of view image. Outputs an interfacing point to which a tag interface is mapped according to the interfacing point information (S417).
  • the interface output unit 150 may output it using a separate external interfacing point on the video image from the user's point of view, or output it in the form of a list through a surrounding menu. have.
  • FIG. 11 is an exemplary diagram for explaining a user preference area according to an embodiment of the present invention.
  • the user preference area may correspond to the user's main recognition area, which is used in the above-described interfacing point arrangement and priority determination of the interfacing point arrangement unit 1603, and is also referred to as a user preference area or a sweet spot area.
  • a user preference area or a sweet spot area can be called
  • Such a main recognition area may be different each time according to a situation, a scene, etc. of a virtual space interior image output.
  • the interfacing point arrangement unit 1603 may configure a main recognition area for interfacing point arrangement and priority determination.
  • the interfacing point arrangement unit 1603 may partition the viewport plane of the current user's viewing area into a preset grid. For example, the interfacing point arrangement unit 1603 may divide the user viewport scene in the aspect ratio of 16:9 horizontally into 4 horizontally and vertically into 3 equal parts, as shown in FIG. 11A , as shown in FIG. As shown in 11(B), both horizontally and vertically may be divided into 5 equal sections.
  • the interfacing point arrangement unit 1603 may select a grid area to be set as a main recognition area in the user viewport scene partitioned according to the grid. This may be determined according to a user input or an administrator setting.
  • the main recognition area may be selected like the shaded partition area shown in FIG. 11(A) or FIG. 11(B).
  • the object item points located in the main recognition area can be first output in the form of interfacing points according to priority.
  • any object item group or object item points have the highest priority. You can decide whether or not to be placed and printed.
  • object information can be provided in a location that is more easily recognized by the user, and by increasing user awareness from the perspective of the interior object provider, the interfacing point itself can be used as a means to increase advertising effectiveness and conversion rate. do.
  • the method according to the present invention described above may be produced as a program to be executed by a computer and stored in a computer-readable recording medium.
  • the computer-readable recording medium include ROM, RAM, CD-ROM, magnetic tape. , a floppy disk, an optical data storage device, and the like, and also includes those implemented in the form of a carrier wave (eg, transmission through the Internet).
  • the computer-readable recording medium is distributed in a network-connected computer system, so that the computer-readable code can be stored and executed in a distributed manner.
  • functional programs, codes, and code segments for implementing the method can be easily inferred by programmers in the art to which the present invention pertains.

Abstract

본 발명의 실시 예에 따른 인테리어 레이아웃 장치의 동작 방법은, 실내 구조 정보 및 인테리어 레이아웃 정보를 획득하는 단계; 상기 실내 구조 정보 및 인테리어 레이아웃 정보의 렌더링 정보에 기초하여 사용자 시야 영역 범위 내 노출된 하나 이상의 노출 객체 정보를 식별하는 단계; 상기 하나 이상의 노출 객체 정보를 나타내는 인터페이싱 포인트의 배치 정보를 사용자 인지 비교 처리에 따라 결정하는 단계; 및 상기 인터페이싱 포인트를 상기 렌더링 정보와 함께 출력하는 단계를 포함한다.

Description

가상 공간 인테리어를 이용한 인터페이스 제공 방법 및 그 장치
본 발명은 인터페이스 제공 방법 및 그 장치에 관한 것이다. 보다 구체적으로, 본 발명은 가상 공간 인테리어를 이용한 인터페이스 제공 방법 및 그 장치에 관한 것이다.
일반적으로 건축물의 도면 설계 작업시에는 퍼스널컴퓨터나 노트북 컴퓨터 등에 CAD 프로그램을 설치하고, 마우스나 타블렛 같은 장치를 이용하여 도면을 작성하고, 결과물을 산출한다.
그러나, 사회가 산업 사회에서 정보화 사회로 발전하면서, 도면이 아닌 3차원 모델링 결과물 자체를 사용자 체험 형식으로 보다 쉽게 사용자에게 제공하여 견본주택 등의 기능을 대체할 수 있는 가상현실 기술들이 대두되고 있다.
예를 들어, 건축물 실내(주택, 아파트, 사무실, 병원, 교회 등등)의 가상 투어(virtual tour), 인테리어 또는 가구배치 시뮬레이션(또는 실내 시뮬레이션)의 목적으로 VR(Virtual Reality) 또는 AR(Augmented Reality)가 생성되고, 사용자에게 이에 기반한 환경 및 상황 등을 모의로 제공하고 상호작용하도록 하는 다양한 방식들이 제안되고 있다.
이를 위해, 미리 수작업이나 3D 스캐너로 건물이나 실내 구조의 3차원 데이터를 생성하고, 이에 기반한 가상 현실을 제공하는 방식 등이 이용될 수 있다. 그러나, 이 방식의 경우에는 스캔 정보 또는 도면 등으로부터의 추정에 의한 3차원 건축 모델링 과정을 필요로 하여, 제작의 어려움이 있을 뿐만 아니라, 데이터 처리의 한계 및 수작업의 한계로 인해 그 정확도가 떨어지는 문제점이 있다.
또한, 사용자가 임의로 실내 구조상에 배치되는 가구나 물건들을 통해 인테리어를 설계고자 하는 경우, 3차원 공간상에 이를 정밀하게 설치하고 조화롭게 배치하여야 하나, 이러한 작업은 전문적인 3D 디자이너가 아닌 이상 매우 어려운 실정이다.
따라서, 현재의 기술만으로는 현실적으로 건축물의 실내 정보와 인테리어를 구조화하여 생성하는데 있어서 전문적 인력이 필요하며, 그 시간과 비용이 과도하게 소요되고 있는 실정이다.
또한, 이렇게 구축된 실내 정보와 인테리어는 현재 가상 공간 인테리어를 2차원 또는 3차원 영상으로 디스플레이하는 디스플레이 장치를 통해 제공되고 있다.
이러한 디스플레이 장치는, 사용자 시점에 따른 시야 영상에 보여지는 다양한 가구 및 객체들을 출력할 수 있고, 일반적으로 사용자는 이 중 어느 하나를 선택하여 가구의 위치 이동을 입력하거나 구매를 위한 상세 정보 등을 제공받을 수 있다.
그러나, 사용자 시점에 따른 시야 영상에 보여지는 객체 이미지들은 매우 복합적으로 다양하게 구성되며, 사용자 시점에 따라 특정 장면에서는 객체들이 서로 가려지거나 그 경계가 명확하게 구분되지 않는 경우가 존재하고 있다.
이에 따라, 사용자는 자신이 원하는 객체를 용이하게 선택할 수 없으며, 특히 시야에 의해 가려지는 경우 어떠한 물건이나 가구가 있는지를 정확하게 파악할 수 없는 문제점이 있다. 또한, 동일한 가구나 물건이 여러 개 배치되어 있는 경우와 같이, 불필요하게 너무 많은 정보를 제공받게 되는 경우도 발생되고 있다.
이에 따라, 공간 및 인테리어 디스플레이에 있어서, 사용자 편의성을 고려한 보다 간소화되고 최적화된 객체 정보를 제공받을 수 있는 인터페이스 수단이 요구되고 있는 실정이다.
본 발명은 상기한 바와 같은 과제를 해결하기 위해 안출된 것으로, 실내 구조 정보상에 배치되는 공간 및 인테리어에 대한 사용자 스타일 기반의 자동화 처리를 통해, 사용자가 별도의 정밀한 설계를 하거나, 전문가에 대한 작업의뢰 없이도 직관적이고 편리하게 공간 및 인테리어 설계 정보를 작성할 수 있도록 하며, 특히 입력된 영상 정보의 스타일을 분석하여 이와 유사한 형태의 실내 공간 및 인테리어 설계를 가능하게 함으로써, 사용자 편의성과 함께 풍부하고 다양한 형태의 실내 공간 및 인테리어 설계를 제공하는 장치 및 그 동작 방법을 제공하는 데 그 목적이 있다.
또한, 본 발명은 공간 및 인테리어 설계에 따른 디스플레이에 있어서, 가상 공간 인테리어를 이용한 태그 인터페이스를 제공하며, 태그 인터페이스는 사용자 측면에서 필터링된 주요 객체 정보를 취득하고, 상호 중복되거나 겹치지 않으면서 사용자 시점을 고려한 객체상의 주요 위치에 표시됨으로써, 사용자 편의성을 고려한 보다 간소화되고 최적화된 객체 정보를 제공할 수 있도록 하는 가상 공간 인테리어를 이용한 인터페이스 제공 방법 및 그 장치를 제공하는 데 그 목적이 있다.
상기한 바와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 방법은, 인테리어 레이아웃 장치의 동작 방법에 있어서, 실내 구조 정보 및 인테리어 레이아웃 정보를 획득하는 단계; 상기 실내 구조 정보 및 인테리어 레이아웃 정보의 렌더링 정보에 기초하여 사용자 시야 영역 범위 내 노출된 하나 이상의 노출 객체 정보를 식별하는 단계; 상기 하나 이상의 노출 객체 정보를 나타내는 인터페이싱 포인트의 배치 정보를 사용자 인지 비교 처리에 따라 결정하는 단계; 및 상기 인터페이싱 포인트를 상기 렌더링 정보와 함께 출력하는 단계를 포함한다.
상기한 바와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 장치는, 인테리어 레이아웃 장치에 있어서, 실내 구조 정보 및 인테리어 레이아웃 정보를 획득하는 렌더링 처리부; 상기 실내 구조 정보 및 인테리어 레이아웃 정보의 렌더링 정보에 기초하여 사용자 시야 영역 범위 내 노출된 하나 이상의 노출 객체 정보를 식별하는 사용자 시야 영역 처리부; 상기 하나 이상의 노출 객체 정보를 나타내는 인터페이싱 포인트의 배치 정보를 사용자 인지 비교 처리에 따라 결정하는 인터페이싱 포인트 배치부; 및 상기 인터페이싱 포인트를 상기 렌더링 정보와 함께 출력하는 인터페이스 출력부를 포함한다.
한편, 상기한 바와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 방법은, 상기 방법을 컴퓨터에서 실행시키기 위한 프로그램 및 상기 프로그램이 기록된 기록 매체를 포함한다.
본 발명의 실시 예에 따르면, 실내 구조 정보상에 배치되는 공간 및 인테리어에 대한 사용자 스타일 기반의 자동화 처리를 통해, 사용자가 별도의 정밀한 설계를 하거나, 전문가에 대한 작업의뢰 없이도 직관적이고 편리하게 공간 및 인테리어 설계 정보를 작성할 수 있도록 한다.
또한, 본 발명의 실시 예에 따르면 입력된 영상 정보의 스타일을 분석하여 이와 유사한 형태의 실내 공간 및 인테리어 설계를 가능하게 함으로써, 사용자 편의성과 함께 풍부하고 다양한 형태의 실내 공간 및 인테리어 설계를 제공하는 장치 및 그 동작 방법을 제공할 수 있다.
또한, 본 발명은 공간 및 인테리어 설계에 따른 디스플레이에 있어서, 가상 공간 인테리어를 이용한 태그 인터페이스를 제공하며, 태그 인터페이스는 사용자 측면에서 필터링된 주요 객체 정보를 취득하고, 상호 중복되거나 겹치지 않으면서 사용자 시점을 고려한 객체상의 주요 위치에 표시됨으로써, 사용자 편의성을 고려한 보다 간소화되고 최적화된 객체 정보를 제공할 수 있도록 하는 가상 공간 인테리어를 이용한 인터페이스 제공 방법 및 그 장치를 제공할 수 있다.
도 1은 본 발명의 실시 예에 따른 인테리어 레이아웃 장치를 설명하기 위한 블록도이다.
도 2는 본 발명의 실시 예에 따른 인테리어 레이아웃 방법을 설명하기 위한 흐름도이다.
도 3은 본 발명의 실시 예에 따른 인테리어 레이아웃 생성 이터레이션 프로세스를 설명하기 위한 흐름도이다.
도 4는 본 발명의 실시 예에 따른 인테리어 레이아웃 생성 이터레이션 프로세스의 이터레이션 횟수 대비 코스트 효율을 나타내는 도면이다.
도 5 및 도 6은 본 발명의 실시 예에 따른 방법 수행에 따라 인테리어 레이아웃 장치에서 출력되는 실내 구조 정보 인터페이스를 예시한다.
도 7은 본 발명의 실시 예에 따른 공간 및 인테리어 렌더링부를 보다 구체적으로 도시한 블록도이다.
도 8은 본 발명의 실시 예에 따른 인테리어 레이아웃 장치의 가상 공간 인테리어를 이용한 인터페이스 제공 방법을 설명하기 위한 흐름도이다.
도 9는 본 발명의 실시 예에 따른 태그 인터페이스가 포함된 가상 공간 인테리어 디스플레이의 예시도이다.
도 10은 본 발명의 실시 예에 따른 인터페이싱 포인트 결정 프로세스를 보다 구체적으로 설명하기 위한 흐름도이다.
도 11은 본 발명의 실시 예에 따른 사용자 선호 영역을 설명하기 위한 예시도이다.
이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.
또한, 본 발명의 원리, 관점 및 실시예들 뿐만 아니라 특정 실시예를 열거하는 모든 상세한 설명은 이러한 사항의 구조적 및 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한 이러한 균등물들은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 소자를 포함하는 것으로 이해되어야 한다.
따라서, 예를 들어, 본 명세서의 블럭도는 본 발명의 원리를 구체화하는 예시적인 회로의 개념적인 관점을 나타내는 것으로 이해되어야 한다. 이와 유사하게, 모든 흐름도, 상태 변환도, 의사 코드 등은 컴퓨터가 판독 가능한 매체에 실질적으로 나타낼 수 있고 컴퓨터 또는 프로세서가 명백히 도시되었는지 여부를 불문하고 컴퓨터 또는 프로세서에 의해 수행되는 다양한 프로세스를 나타내는 것으로 이해되어야 한다.
프로세서 또는 이와 유사한 개념으로 표시된 기능 블럭을 포함하는 도면에 도시된 다양한 소자의 기능은 전용 하드웨어뿐만 아니라 적절한 소프트웨어와 관련하여 소프트웨어를 실행할 능력을 가진 하드웨어의 사용으로 제공될 수 있다. 프로세서에 의해 제공될 때, 상기 기능은 단일 전용 프로세서, 단일 공유 프로세서 또는 복수의 개별적 프로세서에 의해 제공될 수 있고, 이들 중 일부는 공유될 수 있다.
또한 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 명확한 사용은 소프트웨어를 실행할 능력을 가진 하드웨어를 배타적으로 인용하여 해석되어서는 아니되고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비 휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 주지관용의 다른 하드웨어도 포함될 수 있다.
본 명세서의 청구범위에서, 상세한 설명에 기재된 기능을 수행하기 위한 수단으로 표현된 구성요소는 예를 들어 상기 기능을 수행하는 회로 소자의 조합 또는 펌웨어/마이크로 코드 등을 포함하는 모든 형식의 소프트웨어를 포함하는 기능을 수행하는 모든 방법을 포함하는 것으로 의도되었으며, 상기 기능을 수행하도록 상기 소프트웨어를 실행하기 위한 적절한 회로와 결합된다. 이러한 청구범위에 의해 정의되는 본 발명은 다양하게 열거된 수단에 의해 제공되는 기능들이 결합되고 청구항이 요구하는 방식과 결합되기 때문에 상기 기능을 제공할 수 있는 어떠한 수단도 본 명세서로부터 파악되는 것과 균등한 것으로 이해되어야 한다.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 실시 예에 따른 인테리어 레이아웃 장치를 설명하기 위한 블록도이다.
본 명세서에서 설명되는 인테리어 레이아웃 장치(100)는, 사용자 입력에 따라 동작되는 휴대폰, 스마트 폰(smart phone), 컴퓨터, 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션, 가상 현실 장치 등 다양한 전자 기기들이 예시될 수 있다.
그리고, 인테리어 레이아웃 장치(100)에는 본 발명의 실시 예에 따른 방법들을 실행시키기 위한 프로그램 또는 어플리케이션이 설치되어 동작할 수 있다.
이에 따라, 본 발명의 실시 예에 따른 인테리어 레이아웃 장치(100)는 실내 구조 정보 생성 및 편집 인터페이스를 제공할 수 있으며, 본 발명의 실시 예에 따라 생성된 실내 구조 정보는 인테리어 레이아웃 장치(100)에 저장되거나, 별도 서버(미도시) 등으로 업로드되어 사용자 정보에 따라 관리될 수 있다.
여기서, 실내 구조 정보는 2차원 또는 3차원 건물평면도 정보를 포함할 수 있으며, 3차원 모델링 정보가 정합되어 실내 인테리어 시뮬레이션 등에 이용될 수 있는 구조 정보를 포함할 수 있다. 그리고, 실내 구조 정보는 하나 이상의 벽면들 및 각 벽면들의 연결정보를 포함할 수 있으며, 하나 이상의 폐공간을 형성할 수 있다.
이러한, 실내 구조 정보 생성을 용이하게 하기 위해 인테리어 레이아웃 장치(100)는 거리 측정 센서 및 각도 측정 센서를 내부 또는 외부에 구비할 수 있으며, 사용자 입력에 따라 실내 구조 정보를 결정할 수 있다.
또한 인테리어 레이아웃 장치(100)는 사용자 정보에 대응하여 사전 저장 또는 업로드된 실내 구조 정보를 획득할 수 있으며, 획득된 실내 구조 정보에 대응하는 인테리어 레이아웃 편집 기능을 제공할 수 있다.
특히, 본 발명의 실시 예에 따르면 인테리어 레이아웃 장치(100)는 사용자의 실내 구조 정보에 대응하여, 사용자 스타일 정보 분석에 따른 가구 인테리어 배치 및 공간 디자인을 자동화 처리할 수 있는 인테리어 레이아웃 자동화 기능을 제공할 수 있다.
보다 구체적으로, 본 발명의 실시 예에 따른 인테리어 레이아웃 장치(100)는, 사용자의 실내 구조 정보를 획득하면, 상기 사용자에 대응하는 스타일 정보 분석 처리에 따라, 상기 실내 구조 정보에 대응하여 결정되는 공간 레이아웃 및 인테리어 배치 디자인을 포함하는 인테리어 레이아웃 자동화 정보를 생성하고, 상기 인테리어 레이아웃 자동화 정보를 출력할 수 있다.
이와 같이 출력되는 자동화 정보는, 인테리어 레이아웃 장치(100)에서 상기 실내 구조 정보의 인테리어 렌더링 처리에 이용할 수 있으며, 상기 렌더링 처리된 실내 구조 정보는 인테리어 레이아웃 장치(100)의 실내 구조 정보 인터페이스를 통해 출력될 수 있다.
이에 따라 인테리어 가구 및 공간 레이아웃 디자인이 자동화 처리된 실내 구조 정보는 사용자 입력에 따른 편집, 정보 공유 및 저장에 이용될 수 있으며, 나아가 실내 시뮬레이션 및 각 배치되는 가구의 구매 연동 기능으로도 이용될 수 있다.
예를 들어, 인테리어 레이아웃 장치(100)는 인테리어 레이아웃 장치(100)의 디스플레이 등에 표시되는 가상 공간상에 현실과 유사한 3차원 공간을 가시화하고, 인테리어 레이아웃 자동화 정보에 기초한 3차원 객체를 상기 실내 구조 정보에 기초한 실내 시뮬레이션 그래픽 상에 배치하는 기능을 제공할 수 있다. 이에 따라, 실내 시뮬레이션은 바람직하게는 방에 배치할 가구 등을 시뮬레이션하는 플로어 플랜(FLOOR PLAN)에 이용될 수 있으며, 실내 시뮬레이션을 제공하는 어플리케이션에는 플로어 플랜 어플리케이션이 포함될 수 있다.
이에 따라, 본 발명의 실시 예에 따른 인테리어 레이아웃 장치(100)는 사용자 입력에 따라 사용자 스타일에 따른 인테리어 배치 및 공간 레이아웃 디자인을 실내 구조 정보상에 생성할 수 있으며, 이에 따라 사용자는 별도의 정밀한 설계나 디자인 작업 없이도 자신이 원하는 스타일의 공간 레이아웃 및 가구 배치를 제공받고, 이를 편집하여 2차원 및 3차원 실내 구조 정보를 다양하게 구축할 수 있게 한다. 이에 따라, 사용자의 편의성과 실내 인테리어 구성의 다양성을 도모할 수 있는 인테리어 레이아웃 장치(100) 및 그 동작 방법을 제공할 수 있다.
이를 위해, 별도의 서버 장치에서는 인테리어 레이아웃 장치(100)에서 설치 가능한 상기 소정의 어플리케이션과 상기 실내 시뮬레이션을 제공하기 위해 필요한 정보를 저장할 수 있으며, 인테리어 레이아웃 장치(100)의 사용자에 대한 사용자 등록 및 실내 구조 정보 관리를 제공할 수 있다. 인테리어 레이아웃 장치(100)는 서버 장치로부터 어플리케이션을 다운로드하여 설치할 수 있다.
또한, 본 발명의 실시 예에 따른 인테리어 레이아웃 장치(100)의 적어도 일부의 구성요소는 처리 효율을 위해 원격지에 위치한 별도의 서버 장치에서 구현될 수도 있다.
예를 들어, 본 발명의 실시 예에 따른 인테리어 레이아웃 장치(100)의 스타일 정보 분석 및 레이아웃 생성 기능은 원격지의 서버 장치에서 수행되고, 인테리어 레이아웃 장치(100)는 그 수행 결과를 수신하여 공간 및 인테리어 렌더링 및 서비스 제공을 수행할 수도 있다. 따라서, 본 발명의 실시 예에 따른 인테리어 레이아웃 장치(100)는 단일의 장치이거나, 적어도 일부 기능이 다른 장치에서 처리되는 결합형 장치일 수도 있다.
이를 구현하기 위한 각 장치의 세부 구성들에 대하여, 보다 상세하게 설명하도록 한다.
다시 도 1를 참조하면, 인테리어 레이아웃 장치(100)는 통신부(105), 입력부(110), 스타일 정보 분석부(120), 레이아웃 생성 처리부(130), 제어부(140), 인터페이스 출력부(150), 공간 및 인테리어 렌더링부(160), 서비스 제공부(170) 및 저장부(180)를 포함한다. 도 2에 도시된 구성요소들이 필수적인 것은 아니어서, 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 갖는 단말기가 구현될 수도 있다.
먼저 통신부(105)는 인테리어 레이아웃 장치(100)와 무선 통신 시스템 사이 또는 인테리어 레이아웃 장치(100)와 인테리어 레이아웃 장치(100)가 위치한 네트워크 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다.
예를 들어, 통신부(105)는 방송 수신 모듈, 이동통신 모듈, 무선 인터넷 모듈, 근거리 통신 모듈 및 위치정보 모듈 등을 포함할 수 있다. 이동통신 모듈은, 이동 통신망 상에서 서버 장치, 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 무선 인터넷 모듈은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 인테리어 레이아웃 장치(100)에 내장되거나 외장될 수 있다. 무선 인터넷 기술로는 WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 등이 이용될 수 있다.
근거리 통신 모듈은 근거리 통신을 위한 모듈을 말한다. 근거리 통신(short range communication) 기술로 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), ZigBee 등이 이용될 수 있다.
위치정보 모듈은 단말기의 위치를 획득하기 위한 모듈로서, 그의 대표적인 예로는 GPS(Global Position System) 모듈이 있다.
또한, 예를 들어 통신부(105)는 서버 장치로 완성된 실내 구조 정보 및 인테리어 레이아웃 정보를 업로드하거나, 상기 서버 장치로부터 사용자 정보에 대응하여 등록된 실내 구조 정보 또는 인테리어 레이아웃 정보를 수신할 수 있다. 여기서, 상기 인테리어 레이아웃 정보는, 입력된 영상 정보로부터 획득되는 인테리어 레이아웃 정보이거나, 서버 장치에서 처리된 인테리어 레이아웃 자동화 정보를 포함할 수 있다.
입력부(110)는 사용자가 단말기의 동작 제어를 위한 입력 데이터를 발생시킨다. 사용자 입력부(110)는 키 패드(key pad) 돔 스위치 (dome switch), 터치 스크린(정압/정전), 조그 휠, 조그 스위치 중 적어도 하나를 포함할 수 있다.
스타일 정보 분석부(120)는, 사용자의 스타일 정보를 분석하여, 분석된 스타일 정보를 레이아웃 생성 처리부(130)로 전달한다. 이를 위해, 스타일 정보 분석부(120)는, 특징 분석부(121)를 포함할 수 있다.
먼저, 스타일 정보 분석부(120)는 입력부(110)를 통해 사용자에 대응하는 스타일 연관 정보를 입력받을 수 있으며, 입력된 스타일 연관 정보는 특징 분석부(121)로 전달될 수 있다.
보다 구체적으로, 스타일 연관 정보는 사용자 입력에 따른 사용자 선호 인테리어 정보를 나타낼 수 있으며, 스타일 정보 분석부(120)는 사용자 선호 인테리어 정보를 분석하여 레이아웃 생성 처리부(130)로 전달할 사용자 스타일 정보를 산출할 수 있다.
여기서, 사용자 선호 인테리어 정보를 나타내는 구체적인 요소로서 상기 스타일 연관 정보는, 사용자가 유사한 형태로 구축하고자 하는 인테리어 영상 정보를 포함하거나, 사용자가 직접 선택 입력하는 사용자의 스타일 패턴 정보를 포함할 수 있다.
예를 들어, 사용자는 자신의 실내 구조 정보에 특정 영상 또는 이미지의 공간 인테리어와 유사한 형태의 공간 인테리어 레이아웃을 적용하기 위해, 특정 영상 또는 이미지 정보를 입력하거나, 소셜 네트워크 서비스를 통해 확인한 인테리어 사진 또는 동영상 정보 또는 그 소셜 네트워크 서비스 링크 정보를 상기 스타일 연관 정보로서 입력할 수 있다.
또한, 예를 들어 사용자는 자신의 실내 구조 정보에 자동화 배치될 인테리어에 대한 선호 스타일 정보를 상기 스타일 연관 정보로서 입력할 수 있다. 예를 들어 사용자는 가구의 크기, 배치, 매칭 스타일이나, 공간의 크기, 형태, 개수, 종류 등의 다양한 스타일 정보를 입력부(110)를 통해 입력할 수 있다.
특징 분석부(121)는 스타일 연관 정보를 분석하여 사용자의 스타일 정보를 획득하고, 획득된 스타일 정보는 레이아웃 생성 처리부(130)로 전달될 수 있다. 여기서, 사용자 스타일 정보는 레이아웃 생성 처리부(130)의 레이아웃 생성 이터레이션 처리를 위한 특징 변수 정보를 포함할 수 있다.
보다 구체적으로, 예를 들어 특징 분석부(121)는 사용자의 스타일 정보에 기초하여 인테리어 코스트 함수산출을 위한 특징 변수를 산출하는 처리를 수행할 수 있다.
상기 인테리어 코스트 함수는, 레이아웃 생성 처리부(130)에서의 최적 공간 및 인테리어 레이아웃을 결정하기 위해 안출된 것으로, 실내 구조 정보에 대응하는 인테리어 객체 세트의 특징 변수에 따라 그 인테리어의 현실적 배치 정도를 평가하는데 이용될 수 있다.
즉, 레이아웃 생성 처리부(130)에서는 최적화된 공간 및 인테리어 레이아웃을 산출하기 위해, 특징 변수 정보에 기초한 인테리어 코스트 함수 연산을 반복적으로 이터레이션 처리할 수 있으며, 특징 분석부(121)는 상기 영상 정보 등에 대응하는 스타일 정보 분석을 수행하여, 상기 사용자의 스타일 정보에 대응하는 특징 변수 정보를 획득하여 레이아웃 생성 처리부(130)로 제공할 수 있다.
이러한 특징 변수에 따른 인테리어 코스트 함수 f(x)는 아래 수학식 1과 같이 예시될 수 있다.
Figure PCTKR2020017203-appb-img-000001
여기서, x는 인테리어 레이아웃을 나타내며, gi(x)는 i번째의 특징 변수 연산을 나타내고, wi는 그 가중치 값을 나타낼 수 있다. f(x) 함수 연산의 결과 값은 그 레이아웃 x의 코스트를 나타낼 수 있으며, 이러한 코스트 값이 낮을수록 더 현실적이고 자연스러운 레이아웃임을 나타낼 수 있다.
이러한 레이아웃 x는 하나 이상의 인테리어 특징 변수 집합을 포함할 수 있으며, 인테리어 특징 변수는 예를 들어, 실내 구조, 벽면, 코너, 창문, 도어, 각각의 가구 객체 요소에 대응될 수 있고, 각 요소에 대응하는 크기, 형태, 종류, 위치 및 회전 값들이 각각의 특징 변수로서 할당될 수 있다.
이에 따라, 전체 코스트는 각 인테리어 요소에 대응하는 특징 변수 값과 가중치에 따라 결정될 수 있으며, 이는 결과적으로 인테리어 요소의 종류, 배치, 회전 및 기능 가중치에 따라 결정될 수 있음을 의미할 수 있다.
또한, 예를 들어, 특징 변수는 인테리어 가구 요소에 대응하는 공간 레이아웃 요소와 상대적으로 산출되는 정규화된 거리 정보를 포함할 수 있다. 상기 공간 레이아웃 요소는 벽, 코너, 문, 창문 또는 주변 여분 공간 중 적어도 하나를 포함할 수 있고, 상기 특징 변수는 상기 공간 레이아웃 요소와 특정 인테리어 가구 요소와의 정규화된 거리 값을 포함할 수 있다. 이에 따라 인테리어 가구들과 벽면간 상대적으로 이격된 정도, 주변 가구들간의 거리 등이 코스트 함수로서 연산될 수 있으며 이는 gi(x) 함수에 의해 처리될 수 있다.
또한, 가중치 wi는 기능 가중치 정보로부터 결정되는 특징 변수일 수 있으며, 특정 인테리어 요소의 중요도를 나타낼 수 있다. 이러한 가중치 정보는 상기 사용자 스타일 정보로부터 획득될 수 있다.
예를 들어, 책상에 매치된 의자와 같이, 다른 벽면과의 정렬이 필요 없는 가구들보다는 상대적으로 상호 매칭성이 중요할 수 있다. 이에 따라, 본 발명의 실시 예에 따른 특징 변수는, 상기 가중치 정보의 할당에 따라 그 매칭성의 중요도를 할당할 수 있다. 이러한 매칭성의 중요도는 실내 구조의 타입, 방의 종류 등에 따라 가변적으로 할당될 수 있으며, 사용자의 선택 입력에 따라 산출되거나, 데이터의 누적에 따라 통계적으로 산출될 수도 있다.
한편, 특징 분석부(121)에서 분석된 상기 스타일 정보는, 레이아웃 생성 처리부(130)의 공간 레이아웃 디자인 함수 산출에 이용될 수 있다.
보다 구체적으로, 레이아웃 생성 처리부(130)는 전술한 인테리어 코스트 함수를 수정하기 위한 공간 레이아웃 디자인 함수를 결정할 수 있다.
예를 들어, 레이아웃 생성 처리부(130)는, 상기 스타일 분석 정보의 특징 변수에 따라 공간 레이아웃 디자인 함수를 결정할 수 있으며, 공간 레이아웃 디자인 함수는 인테리어 코스트 함수를 수정하기 위한 하나 이상의 제한 함수를 포함할 수 있다.
이와 같은 공간 레이아수 디자인 함수의 기능은 공간 사용율을 높이고 사용자 선호에 맞추기 위한 공간 레이아웃의 룰을 제한적으로 정의하는 것으로, 예시적으로 i) 인테리어 요소 객체의 전반적 이동 및 회전 ii) 인테리어 요소 객체를 인접 벽면으로 이동, iii) 인테리어 요소 객체를 임의의 벽면에 대응시켜 회전 iv) 인테리어 요소 객체를 다른 임의의 요소 객체 주변으로 이동 등의 다양한 룰이 정의될 수 있다.
특히, 이러한 공간 레이아웃 디자인 함수는, 인테리어 레이아웃 함수의 코스트를 저감시키는 수정 함수의 형태로 산출될 수 있다. 수정 함수는 각 인테리어 요소의 유형에 따라 상이하게 결정될 수 있으며, 단일 인테리어 요소의 단일 기능에 대응하는 코스트를 저감시키는 함수일 수 있다.
이에 따라, 본 발명의 실시 예에 따른 특징 분석부(121)는, 사용자의 스타일 정보에 기초하여 공간 레이아웃 디자인 함수 산출을 위한 수정 변수를 산출하는 처리를 포함하고, 상기 수정 변수는 공간 및 인테리어 유형 정보에 따라 결정될 수 있다.
예를 들어, 일반적으로 인테리어 및 공간 특징은 두 가지 유형의 그룹으로 구분될 수 있는 바, 제1 그룹은 실내 구조(방 등)와 인테리어 가구 간 연관 특징으로서, 가구와 가장 인접한 벽과의 거리, 인접한 벽면 대비 회전 정도, 도어/윈도우와의 상대적인 배치 특징 등이 예시될 수 있다. 제2 그룹은 인테리어 가구 간 연관 특징으로서, 침대와 사이드 테이블과의 거리, 책상과 의자의 거리 특징 등이 예시될 수 있다.
이러한 특징들은 사람이 눈으로 직관적으로 판단하기에는 용이할 수 있으나, 이를 연산에 따라 자동화 처리하는 것은 용이하지 않다. 따라서, 본 발명의 실시 예에 따른 레이아웃 생성 처리부(130)는 이러한 코스트의 저감을 가져오는 함수들을 공간 레이아웃 디자인 함수로서 정의하고, 이에 따라 1차적으로 산출된 인테리어 코스트 함수에 의해 결정된 공간 인테리어 정보에 대한 공간 레이아웃 디자인을 통하 보다 코스트 효율적인 공간 인테리어 정보를 산출할 수 있다.
그리고, 각 인테리어 레이아웃과 공간 인테리어 디자인 규칙은 상호 높은 연관성을 가질 수 있다. 예를 들어, 책상은 벽면과 정렬되어야 하고, 가구는 도어나 윈도우가 열리는 동선을 방해하지 않아야 하며, 특정 가구는 책상과 의자와 같이 상호 인접하여야 하는 등의 관계 연관성을 갖는다. 그러나, 이러한 관계 연관성을 명확히 도출하기는 어려우며 불명확한 특성을 갖는다. 예를 들어, 의자와 TV와 같이 상당히 이격된 가구들의 경우에도 거리 관계 연관성을 가질 수 있다. 다만, 이러한 연관성은 직관적인 요소로서 사람에 의해서는 쉽게 모델링되기 어렵다.
이에 따라, 레이아웃 생성 처리부(130)는, 이러한 관계 연관성 모델을 기계 학습과 같은 학습 데이터의 반복 연산으로 산출하고, 산출된 모델을 이용하여 구체적인 코스트 함수 기반의 인테리어 레이아웃 자동화 처리를 수행하며, 이를 통해 최적의 인테리어 레이아웃을 결정함으로써, 효율적이고 정확하며 현실적인 인테리어 레이아웃의 자동화 처리를 가능하게 한다.
보다 구체적으로, 레이아웃 생성 처리부(130)는, 상기 실내 구조 정보에 대응하여 상기 스타일 정보 분석 처리에 따라 결정된 인테리어 코스트 함수 및 공간 레이아웃 디자인 함수에 적용되는 가중치 값의 관계 학습 처리에 따라, 임의의 인테리어 레이아웃을 반복 생성하여, 최적의 인테리어 레이아웃 자동화 정보를 생성하는 이터레이션 처리를 수행할 수 있다.
여기서, 상기 이터레이션 처리는 1) 임의의 초기 인테리어 레이아웃들을 생성하고, 2) 이에 대응하는 인테리어 레이아웃 함수 기반 낮은 코스트를 갖는 제1 레이아웃 그룹을 결정하며, 3) 상기 인테리어 레이아웃 함수를 수정한 공간 레이아웃 디자인 함수 기반의 낮은 코스트를 갖는 제2 레이아웃 그룹을 결정하고, 4) 임의의 제3 레이아웃 그룹을 결정하여, 이를 조합한 전체 레이아웃 그룹을 다시 초기 레이아웃으로 하는 2) 내지 4) 프로세스를 수행함에 따라, 반복적으로 이터레이션 연산하고, 이터레이션 종료 연산에 따라, 현재 레이아웃들 중에서 가장 낮은 코스트를 갖는 레이아웃을 최적 인터리어 레이아웃 자동화 정보로서 결정하는 처리를 포함할 수 있다.
여기서, 상기 이터레이션 처리는 공간 사용율 분석부(123)의 공간 사용율 분석 연산에 따라 획득되는 공간 사용율 값과 임계치 값의 비교에 의해 종료 처리될 수 있다. 이러한 임계치 값은 사용자 스타일 또는 효율성에 따른 별도 설정에 따라 결정될 수 있으며, 공간 사용율이 최적화되는지 여부가 상기 임계치 값에 의해 결정될 수 있다.
이를 위해, 공간 사용율 분석부(123)는, 상기 레이아웃별 공간 사용율 분석을 처리할 수 있다. 공간 사용율 분석은 예를 들어 공간 내 여유도, 밀집도, 이동 경로에 따른 공간 사이 인접성 등의 요소가 고려될 수 있으며, 공간 사용율 분석부(123)는 특정 레이아웃이 입력된 경우 그 사용율을 산출하여 레이아웃 생성 처리부(130)로 출력하는 기능을 처리할 수 있다.
또한, 공간 사용율 분석부(123)는 스타일 정보 분석부(120)의 일 요소로서 포함될 수도 있다. 예를 들어 스타일 정보 분석부(120)에서 분석된 스타일 정보에는 공간 사용율 정보도 포함될 수 있으며, 이에 따라 사용자 스타일별로 허용 가능한 공간 사용율 이터레이션 임계치가 상이하게 설정될 수도 있다.
이러한 이터레이션 처리를 통해, 최적의 인테리어 레이아웃 자동화 정보가 결정될 수 있으며, 결정된 인테리어 레이아웃 자동화 정보는 공간 및 인테리어 렌더링부(160)로 전달될 수 있다.
렌더링부(160)는, 인테리어 레이아웃 자동화 정보를 실내 구조 정보에 적용함으로써, 공간 및 인테리어 렌더링 처리를 수행하고, 렌더링 처리된 공간 및 인테리어 데이터는 인터페이스 출력부(150)를 통해 출력될 수 있다.
그리고, 서비스 제공부(170)는 인테리어 레이아웃 자동화 정보에 기초하여, 공간 인테리어 체험, 인테리어 편집, 가구 태깅, 가구 정보 및 구매 정보 제공 등의 서비스 기능을 제공한다.
예를 들어, 서비스 제공부(170)는, 인테리어 배치에 이용된 가구 정보와 구매 링크 등을 포함하는 사용자 서비스 정보를 획득하여 인터페이스 출력부(150)를 통해 출력할 수 있다.
또한, 예를 들어, 서비스 제공부(170)는 인테리어 레이아웃 자동화 정보가 렌더링된 영상 이미지상에 포함된 하나 이상의 가구 정보의 태깅 인터페이스를 인터페이스 출력부(150)를 통해 출력하고, 상기 태깅 인터페이스에 대응하는 사용자 입력에 따라 상기 가구 정보와 구매 링크를 제공하는 서비스를 처리할 수 있다.
이에 따라, 사용자는 자동화된 인테리어 레이아웃 서비스를 제공받을 수 있을 뿐만 아니라, 실제 직접 자신의 실내 공간에 적용하기 위한 가구의 상세 정보와 구매 정보를 확인해볼 수 있다.
인터페이스 출력부(150)는 상기한 바와 같은 인터페이스 제공을 통해 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 이에는 디스플레이부, 음향 출력 모듈, 알람부 및 햅틱 모듈 등이 포함될 수 있다.
디스플레이부는 인테리어 레이아웃 장치(100)에서 처리되는 정보를 표시(출력)한다. 예를 들어, 단말기가 실내 시뮬레이션 모드인 경우, 실내 시뮬레이션 및 플로어 플랜과 관련된 UI(User Interface) 또는 GUI(Graphic User Interface)를 표시한다. 그리고, 인터페이스 화면에는 본 발명의 실시 예에 따른 실내 구조 정보 생성을 위한 사용자 인터페이스가 표시될 수 있다.
디스플레이부는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다.
저장부(180)는 제어부(140)의 동작을 위한 프로그램을 저장할 수 있고, 입/출력되는 데이터들을 임시 저장할 수도 있다.
저장부(180)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 인테리어 레이아웃 장치(100)는 인터넷(internet)상에서 상기 저장부(180)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다.
제어부(140)는 통상적으로 단말기의 전반적인 동작을 제어하며, 예를 들어 실내 구조 정보 생성, 스타일 정보 분석, 레이아웃 생성, 자동화된 공간 및 인테리어 렌더링, 인터페이스 제공, 음성 통화, 데이터 통신, 화상 통화 등을 위한 관련된 제어 및 처리를 수행한다.
또한, 제어부(140)는 사용자 입력에 따라, 인테리어 자동화가 처리된 실내 구조 정보를 저장부(180)에 저장하거나, 통신부(105)를 통해 서버 장치로 전송되도록 처리할 수 있다.
예를 들어, 인테리어 자동화가 처리된 실내 구조 정보는 상기 인테리어 레이아웃 장치(100)의 사용자 계정 정보에 매칭되어 클라우드 서버 또는 서버 장치에 저장 및 관리될 수 있다.
도 2는 본 발명의 실시 예에 따른 인테리어 레이아웃 방법을 설명하기 위한 흐름도이다.
도 2를 참조하면, 본 발명의 실시 예에 따른 인테리어 레이아웃 장치(100)는, 먼저 실내 구조 정보가 입력된다(S101).
여기서, 실내 구조 정보는 인테리어 레이아웃 장치(100) 내에서 사용자 입력에 따라 획득된 실내 구조 정보이거나, 외부 장치로부터 입력 수신된 실내 구조 정보일 수 있으며, 2차원 실내 평면도 정보이거나 3차원 실내 공간 구조 정보의 포맷을 가질 수 있다.
그리고, 인테리어 레이아웃 장치(100)는 사용자의 스타일 연관 정보 입력에 따라, 사용자에게 적합한 공간 및 인테리어 스타일 정보를 분석한다(S103).
이후, 인테리어 레이아웃 장치(100)느 분석된 스타일 정보에 따라 인테리어 코스트 함수 및 이를 수정하는 공간 레이아웃 디자인 함수를 산출한다(S105).
다음으로, 인테리어 레이아웃 장치(100)는, 인테리어 코스트 함수 및 공간 레이아웃 디자인 함수에 적용되는 가중치 값의 관계 학습 처리에 따라, 임의의 인테리어 레이아웃을 반복 생성하여 최적의 인테리어 레이아웃을 생성하는 이터레이션 처리를 수행한다(S107).
그리고, 인테리어 레이아웃 장치(100)는, 현재 생성된 인테리어 레이아웃이 사전 설정된 임계 공간 사용율 이내인지 판단하며(S109), 임계 공간 사용율 이내인 경우 이터레이션을 종료하고, 현재 인테리어 레이아웃에 기초한 실내 구조 정보의 인테리어 렌더링 처리를 수행한다(S111).
이후, 인테리어 레이아웃 장치(100)는 실내 구조 정보 인터페이스를 통해 렌더링된 공간 및 인테리어 정보를 출력하고(S113), 출력된 공간 및 인테리어에 대한 사용자 입력에 따라 공간 인테리어 체험, 인테리어 편집, 가구 태깅, 가구 정보 및 구매 정보 제공 등의 서비스 기능 제공을 수행한다(S115).
한편, 인테리어 레이아웃 장치(100)는 완성된 실내 구조 정보 및 인테리어 레이아웃 정보를 저장 및 업로드 처리한다(S117).
도 3은 본 발명의 실시 예에 따른 인테리어 레이아웃 생성 이터레이션 프로세스를 설명하기 위한 흐름도이며, 도 4는 본 발명의 실시 예에 따른 인테리어 레이아웃 생성 이터레이션 프로세스의 이터레이션 횟수 대비 코스트 효율을 나타내는 도면이다.
먼저 도 3을 참조하면, 본 발명의 실시 예에 따른 인테리어 레이아웃 장치(100)는, 레이아웃 생성 처리부(130)를 통해 실내 구조 정보 및 사용자 스타일 정보에 기초한 N개의 랜덤 레이아웃을 생성한다(S201).
그리고, 인테리어 레이아웃 장치(100)는 레이아웃 생성 처리부(130)를 통해 각 레이아웃의 인테리어 코스트 함수를 연산한다(S203).
여기서, 인테리어 레이아웃 장치(100)는 레이아웃 생성 처리부(130)를 통해 인테리어 코스트가 낮게 산출되는 N1 레이아웃 그룹을 선택한다(S205).
이후, 인테리어 레이아웃 장치(100)는 레이아웃 생성 처리부(130)를 통해 공간 레이아웃 디자인 수정 함수를 적용하여 가장 낮은 코스트가 연산된 N2 레이아웃 그룹을 선택한다(S207).
한편, 인테리어 레이아웃 장치(100)는 레이아웃 생성 처리부(130)를 통해 임의 변수를 이용한 랜덤 레이아웃 N3 그룹을 결정한다(S209).
이후, 인테리어 레이아웃 장치(100)는 레이아웃 생성 처리부(130)를 통해, 상기 N1, N2, N3를 조합하여, 레이아웃 그룹을 생성한다(S211).
이러한 프로세스의 임의성 및 이터레이션에 따라, 각 레이아웃의 가중치 값들은 코스트 향상을 위한 상호 관계성 형성에 따라 최적화될 수 있으며, 최적화에 따라 각 레이아웃의 함수 기반 N1, N2 그룹 선택 분류가 처리되고 새로운 랜덤 레이아웃 N3가 지속적으로 추가되면서 더욱 적합한 자동화 레이아웃 산출이 가능하게 된다.
여기서, 생성된 레이아웃 그룹의 크기는 초기 N개보다는 작을 수 있다. N1, N2, N3는 N의 크기에 비례하여 결정될 수 있고, 사전 설정된 최대 크기 이내로 제한될 수 있다. 예를 들어, N이 일정 크기 이하인 경우 N1, N2, N3의 크기는 1/3N, 1/3N, 1/3N일 수 있으며, N이 일정 크기 이상인 경우는 1/6N, 2/3N, 1/6N으로 산출될 수 있다. 이러한 N의 크기비율은 처리 효율에 따라 사전 설정될 수 있다.
처리 효율에 대하여, 도 4는 이터레이션 횟수 K 대비 최적 레이아웃이 산출되는 코스트 그래프를 나타내고 있다. 이에 따라, 이터레이션 횟수는 공간 사용율 뿐만 아니라 사전 설정된 처리 효율이 최적화되는 횟수로 제한되는 것이 바람직하다. 도 4에 도시된 바와 같이, K 번 이터레이션된 레이아웃 그룹 N으로부터 최적의 코스트를 갖는 레이아웃을 산출하는 경우, 그 이터레이션 횟수가 증가할수록 코스트 효율은 낮아지는 것을 확인할 수 있다. 따라서, 본 발명의 실시 예에 따른 인터레이션 처리는 공간 사용율 및 사전 설정된 최대 이터레이션 횟수를 초과하지 않도록 설정되는 것이 바람직하다.
도 5 및 도 6은 본 발명의 실시 예에 따른 방법 수행에 따라 인테리어 레이아웃 장치에서 출력되는 실내 구조 정보 인터페이스를 예시한다.
도 5를 참조하면, 본 발명의 실시 예에 따른 인테리어 레이아웃 장치(100)는, 인터페이스 출력부(150)를 통해 사용자의 실내 구조 정보에 대응하는 인테리어 자동화 모드를 제공할 수 있다. 사용자는 입력부(110)를 통해 스타일 연관 정보로서 원하는 스타일 사진 또는 영상 정보를 입력하거나, 선호 스타일 패턴을 설정하거나, 특정 선호 가구를 설정하거나, 별도 설정 없이 임의의 추천 스타일을 제공받는 것을 설정 입력할 수 있다. 그리고, 사용자는 자동 배치 버튼 입력을 통해 본 발명의 실시 예에 따른 스타일 정보 분석부(120)의 스타일 분석 및 레이아웃 생성 처리부(130)의 레이아웃 생성 처리가 시작되도록 할 수 있다.
그리고, 도 6을 참조하면, 도 6은 레이아웃 본 발명의 실시 예에 따라 생성된 레이아웃 자동화 결과 인터페이스를 설명하기 위한 도면으로서, 공간 레이아웃 및 인테리어가 자동 배치된 실내 구조 인터페이스가 렌더링되어 인터페이스 출력부(160)를 통해 출력되는 것을 나타내고 있다.
도 6에 도시된 바와 같이, 사용자는 배치된 제품의 리스트와 가구 정보, 그리고 구매 정보를 확인할 수 있으며, 인테리어 자동화가 처리된 실내 구조 정보의 저장 또는 공유를 선택하거나, 다른 스타일에 의한 자동화 처리를 다시 요청할 수도 있다. 이와 같이, 다양한 사용자의 스타일 입력에 따른 실내 구조의 인테리어 레이아웃 자동화 처리가 가능하게 됨으로써, 사용자가 별도의 정밀한 설계를 하거나, 전문가에 대한 작업의뢰 없이도 직관적이고 편리하게 공간 및 인테리어 설계 정보를 작성할 수 있게 된다.
도 7은 본 발명의 실시 예에 따른 공간 및 인테리어 렌더링부를 보다 구체적으로 도시한 블록도이다.
도 7을 참조하면, 본 발명의 실시 예에 따른 공간 및 인테리어 렌더링부(160)는, 렌더링 처리부(1601), 사용자 시야 영역 처리부(1602) 및 인터페이싱 포인트 배치부(1603)를 포함한다.
렌더링 처리부(1601)는, 렌더링이 요청된 실내 구조 정보 및 인테리어 레이아웃 정보를 획득하고, 실내 구조 정보 및 인테리어 레이아웃 정보에 기초한 가상 공간 렌더링을 수행한다. 여기서, 실내 구조 정보 및 인테리어 레이아웃 정보는 인테리어 레이아웃 장치(100) 내에서 사용자 입력에 따라 획득된 실내 구조 정보 및 인테리어 레이아웃 정보이거나, 외부 장치로부터 입력 수신된 실내 구조 정보 및 인테리어 레이아웃 정보일 수 있으며, 실내 구조 정보는 2차원 실내 평면도 정보이거나 3차원 실내 공간 구조 정보의 포맷을 가질 수 있고, 인테리어 레이아웃 정보는 상기 실내 구조 정보에 대응하여 배치되는 하나 이상의 객체 정보를 포함할 수 있다.
예를 들어, 렌더링 처리부(1601)는 실내 구조 정보에 따라 가상 실내 구조 공간을 3차원 좌표계상에 렌더링 처리할 수 있으며, 인테리어 레이아웃 정보에 따라, 상기 실내 구조 정보에 대응하여 배치되는 벽면, 기둥, 가구, 액자, 조명 등의 다양한 인테리어 객체들을 3차원 좌표상에 렌더링 처리할 수 있다. 이렇게 렌더링 처리된 가상 실내 공간의 인테리어 영상 정보는 인테리어 레이아웃 장치(100)의 인터페이스 출력부(150)를 통해 출력될 수 있다.
그리고, 사용자 시야 영역 처리부(1602)는, 상기 렌더링 처리된 가상 실내 공간의 인테리어 영상 정보에 대응하여, 사용자 시점 정보에 대응하는 시야 영역 객체 정보를 식별한다. 여기서, 시야 영역 객체 정보는 사용자 시점 정보에 대응하는 시야 영역 내 배치된 객체들의 객체 정보를 포함할 수 있다.
예를 들어, 가상의 3차원 공간은 3차원 좌표계상에 위치한 사용자 시점 좌표에 따라 2차원 또는 3차원 장면(scene)의 영상 정보 형태로 인터페이스 출력부(150)를 통해 출력될 수 있다. 그리고, 사용자 시야 영역 처리부(1602)는, 이러한 장면 내에 포함된 하나 이상의 객체 정보를 식별하여 사용자 시야 영역 내 위치한 객체들을 판별할 수 있다.
여기서, 사용자 시점 정보는 3차원 가상 공간을 촬영하여 출력하는 카메라 포인트의 좌표 정보에 대응될 수 있으며, 사용자 시야 영역은 상기 카메라 포인트에 대응하는 시야각 정보 및 클리핑 평면 정보에 의해 결정될 수 있다. 시야각 정보는 카메라 포인트로부터 상하 좌우로 형성되는 사전 결정된 각도에 따라 결정될 수 있다. 클리핑 평면 정보는 사전 설정된 시야각 범위 내에서 객체를 포커싱 가능한 수평 거리 정보에 따라 결정될 수 있으며, 최근접 클리핑 평면 정보와, 최외곽 클리핑 평면 정보를 포함할 수 있다.
이와 같은 구성에 있어서, 사용자 시점 정보에 대응하는 사용자 시야 영역 내 배치된 객체 정보는 레이캐스트(raycast) 방식에 따라 결정될 수 있다.
여기서, 레이캐스트 방식은 상기 클리핑 평면 정보에 따라 클리핑된 사용자 시야 영역 절두체(frustum) 내에 배치된 객체를 둘러싼 바운딩 박스(bounding box)를 사용자 시점에 따라 2차원으로 프로젝션된 뷰포트(viewport) 상에서 식별하기 위한 것으로, 상기 사용자 시점 정보에 대응하는 카메라 포인트로부터 상기 절두체 내 임의의 지점으로 직선의 광선(ray)를 발사하여 교차되는 포인트를 검출하는 방식으로서, 사용자 시야 영역 처리부(1602)는 상기 교차 포인트에 따라 특정 객체가 사용자 시야 영역 내 배치되었는지 여부를 결정할 수 있다.
보다 구체적으로, 사용자 시야 영역 처리부(1602)는, 사용자 시점 정보에 대응하는 카메라 포인트로부터 결정되는 절두체 영역을 연산하고, 모든 객체들의 바운딩 박스 영역을 연산한다. 여기서 바운딩 박스 영역은 3차원 육면체로 산출될 수 있다.
그리고, 사용자 시야 영역 처리부(1602)는 상기 바운딩 박스 영역 중 카메라 포인트로부터의 최대 위치 내지 최소 위치가 상기 절두체 영역 내에 존재하는 객체 정보를 식별할 수 있다. 만약 최대 위치 내지 최소 위치가 절두체 영역 내에 존재하는 경우, 사용자 시야 영역 처리부(1602)는 상기 바운딩 박스 영역에 대응하는 객체 정보를 사용자 시야 영역 내 위치할 수 있는 후보 객체로 판별할 수 있다.
또한, 사용자 시야 영역 처리부(1602)는 사용자 시점에 따라 2차원으로 프로젝션된 뷰포트 평면상에 상기 후보 객체가 표시되는지를 판단한다. 이를 위해, 사용자 시야 영역 처리부(1602)는 상기 후보 객체들을 사용자 시점 방향으로 형성되는 뷰포트 평면상으로 2차원 프로젝션 처리할 수 있다. 그리고, 사용자 시야 영역 처리부(1602)는 프로젝션에 따라 각 후보 객체의 바운딩 박스로부터 2차원으로 정규화된 장치 좌표(Normalized Device Coordinates, NDC)를 연산할 수 있다.
예를 들어, 사용자 시야 영역 처리부(1602)는 후보 객체의 프로젝션된 NDC 좌표가 (-1,-1) 내지 (1,1) 사이에 존재하는 경우, 그 후보 객체는 사용자 시야 영역 내에 위치한 것으로 결정할 수 있다.
한편, 사용자 시야 영역 처리부(1602)는 시야 영역 내 위치한 것으로 결정된 각 인테리어 객체들을 레이캐스트 대상으로 설정할 수 있다. 그리고, 사용자 시야 영역 처리부(1602)는 각각의 레이캐스트 대상 인테리어 객체에 대하여, 사용자 뷰포트에 대응하는 NDC 평면까지 가상 직선을 발사하는 레이캐스팅을 수행하여, 교차점이 형성되는 객체들을 카메라 포인트로부터의 거리 순서에 따라 분류 처리할 수 있다.
그리고, 사용자 시야 영역 처리부(1602)는 객체 상호간의 간섭에 의해 사용자 시야 영역상에서 노출되는지 여부를 결정하고, 이에 따라 인터페이싱 포인트를 출력할 객체 정보를 결정하여 인터페이싱 포인트 배치부(1603)로 전달할 수 있다.
예를 들어, 사용자 시야 영역 처리부(1602)는 교차점이 형성된 객체들 중 가장 인접한 하나 이상의 객체들을 식별할 수 있으며, 가장 인접한 객체들이 동일한 인테리어 객체에 대응하는 경우, 상기 인테리어 객체를 다른 구조물이나 객체 등에 의해 가려지지 않는 노출 객체로 결정하고, 결정된 노출 객체 정보를 인터페이싱 포인트 배치부(1603)로 전달할 수 있다.
한편, 인터페이싱 포인트 배치부(1603)는, 사용자 시야 영역 처리부(1602)로부터 전달된 사용자 시야 영역 범위 내 노출된 하나 이상의 객체 정보를 식별하고, 상기 식별된 객체 정보의 위치 좌표에 대응하는 하나 이상의 객체 아이템 포인트를 구성하여, 상기 객체 아이템 포인트의 그룹핑 및 인지 비교 처리에 따라, 태그 정보가 매핑되는 인터페이싱 포인트의 배치를 결정할 수 있다.
그리고, 인터페이스 출력부(150)는 상기 인터페이싱 포인트에 사전 설정된 태그 인터페이스를 할당하여, 상기 시야 영역 범위에 대응하는 렌더링 화면상에 출력되도록 처리될 수 있다. 이러한 태그 인터페이스의 상호 작용에 따라, 객체 정보의 제공, 편집, 위치 이동, 회전 또는 구매 정보의 제공 등의 다양한 인테리어 정보 제공 서비스가 서비스 제공부(170)를 통해 제공될 수 있다.
특히, 인터페이싱 포인트 배치부(1603)는 상기한 바와 같은 인터페이싱 포인트의 객체 아이템 포인트 그룹핑 기반 배치 처리에 따라, 사용자 시점에 따라 출력되는 2차원 또는 3차원 영상 정보상에 상기 태그 인터페이스를 적절히 배치할 수 있다. 인터페이싱 포인트 배치부(1603)는 상호 중첩 등을 고려하여 사용자가 직관적으로 인지할 수 있도록 하는 인지 비교 처리에 따라 적절한 위치에 인터페이싱 포인트 및 태그 인터페이스가 출력되도록 배치 처리할 수 있으며, 이에 대하여는 보다 구체적으로 후술하도록 한다.
또한, 인터페이싱 포인트 배치부(1603)는 전술한 인터페이싱 포인트 배치를 위해 사용자 분석 데이터를 이용할 수 있으며, 사용자 분석 데이터는 인터페이싱 포인트에 대응하는 선택 빈도 정보 등이 예시될 수 있다.
이에 따라 인터페이싱 포인트상에 할당된 태그 인터페이스가 포함된 공간 및 인테리어 렌더링 정보가 인터페이스 출력부(150)를 통해 출력될 수 있으며, 서비스 제공부(170)는, 상기 인터페이싱 포인트에 대응한 사용자 입력에 따라, 인테리어 객체의 구매 정보, 관련 컨텐츠 제공 정보 또는 유사 인테리어 객체 정보 등의 다양한 정보 제공 서비스를 처리할 수 있다.
이에 따라, 사용자는 자신의 사용자 시점상에 보여지는 인테리어 객체들을 간단하면서도 용이하게 구분할 수 있게 되고, 자신이 원하는 인테리어 객체에 대한 정보 및 서비스를 쉽게 제공받을 수 있다.
도 8은 본 발명의 실시 예에 따른 인테리어 레이아웃 장치의 가상 공간 인테리어를 이용한 인터페이스 제공 방법을 설명하기 위한 흐름도이며, 도 9는 본 발명의 실시 예에 따른 태그 인터페이스가 포함된 가상 공간 인테리어 디스플레이의 예시도이다.
도 8을 참조하면, 먼저 공간 및 인테리어 렌더링부(160)의 사용자 시야 영역 처리부(1602)는, 렌더링 처리부(1601)에서 렌더링된 공간 및 인테리어 정보에 대응하는 사용자 시점 정보를 획득한다(S301).
그리고, 사용자 시야 영역 처리부(1602)는 사용자 시점 정보로부터 산출되는 시야 영역 범위내 사용자 뷰포트에 노출된 하나 이상의 인테리어 객체 정보를 식별한다(S303).
이후, 인터페이싱 포인트 배치부(1603)는, 식별된 객체 정보의 위치 좌표에 대응하는 하나 이상의 객체 아이템 포인트를 구성한다(S305).
그리고, 인터페이싱 포인트 배치부(1603)는 객체 아이템 포인트들을 미리 설정된 아이템 그룹에 따라 그룹핑한다(S307).
이후, 인터페이싱 포인트 배치부(1603)는 아이템 그룹 별 상기 시야 영역 범위내 인지 비교 처리에 따라, 태그 정보가 매핑될 인터페이싱 포인트를 결정한다(S309).
그리고, 인터페이스 출력부(150)는, 상기 인터페이싱 포인트를 상기 시야 영역 범위에 대응하는 렌더링 화면상에 표시한다(S311).
이후, 인터페이스 출력부(150)는 인터페이싱 포인트에 대응하는 사용자 선택 입력에 따라, 상기 인터페이싱 포인트에 매핑된 객체 정보를 나타내는 태그 인터페이스를 출력한다(S313).
그리고, 인터페이스 출력부(150)는 태그 인터페이스에 대응하는 사용자 입력에 따라 객체 연동 서비스를 제공한다(S315).
도 9에 도시된 바와 같이, 본 발명의 실시 예에 다른 인테리어 레이아웃 장치(100)는, 인터페이스 출력부(150)를 통해 가상 공간으로 렌더링된 공간 및 레이아웃 인터페이스(101)를 출력할 수 있으며, 상기 공간 및 레이아웃 인터페이스상에는 전술한 인터페이싱 포인트(101)들이 출력될 수 있다. 도 9에서는 인터페이싱 포인트(101)들이 객체 상에 배치되는 원형으로 표시되어 있으나, 별도의 아이콘 이미지나, 사각형, 삼각형, 3차원 객체 등 이와 다른 다양한 형태로도 출력될 수 있다.
특히, 본 발명의 실시 예에 따른 인터페이싱 포인트들은 사용자 시야 영역상에 노출된 객체들을 중복되지 않으면서도 겹치지 않도록 최적화된 위치에 배치시킬 수 있으며, 사용자는 과도한 객체 정보 식별로 인한 스트레스를 받지 않고 편안하게 자신이 원하는 인테리어 객체를 선택할 수 있다.
그리고, 사용자가 인터페이싱 포인트(101)에 대응하는 터치, 가상 터치 등의 포인팅 입력을 수행한 경우, 태그 인터페이스(103)가 출력될 수 있다. 태그 인터페이스(103)는 서비스 제공부(170)에서 제공되는 객체 정보와, 관련 컨텐츠 정보, 구매 정보 등의 다양한 서비스 기능과 연동될 수 있다. 또한, 서비스 제공부(170)는 사용자 선택 입력 정보를 수집하여, 향후 사용자 통계 분석, 추천 인테리어 제공 등에 이용할 수도 있다.
도 10은 본 발명의 실시 예에 따른 인터페이싱 포인트 결정 프로세스를 보다 구체적으로 설명하기 위한 흐름도이다.
전술한 바와 같이, 인터페이싱 포인트를 태그 인터페이스에 매핑시켜 배치함에 있어서, 사용자 편의성을 증진하고, 불편함을 최소화하기 위하여는 특히 동일하게 중복 배치되거나, 불필요하게 세분화된 인테리어 객체들을 필터링 처리하는 것이 필요하다.
예를 들어, 모든 인테리어 객체들에 대한 태그 인터페이스를 매핑하는 경우, 중복된 객체에 대해 모두 동일한 상세 정보 태그가 매핑되어 불필요한 정보량이 높아지는 문제점이 있으며, 반대로 여러 개의 객체 중에서 다소 거리상 먼 위치에 있어 작은 객체에나 사용자의 주요 인지 영역 외부에 있는 객체에 대하여는 인지가 어려워 정보전달이 잘 이루어지지 않는 문제점도 있다. 또한, 매우 가까운 위치에 서로 중첩된 객체들의 경우, 태그가 어느 객체에 관한 것인지 확인하기 어려운 문제점도 존재한다.
이와 같은 문제점들을 해결하기 위하여, 인터페이싱 포인트 배치부(1603)는 사용자 시야 영역 처리부(1602)에서 식별된 노출 객체 정보에 대응하는 하나 이상의 객체 아이템 포인트들을 구성하고, 객체 아이템 포인트들을 미리 설정된 아이템 그룹에 따라 그룹핑하며, 아이템 그룹별 상기 시야 영역 범위 내 인지 비교 처리에 따라, 태그 정보가 매핑되는 인터페이싱 포인트를 결정할 수 있다.
이러한 프로세스를 보다 구체적으로 설명하면, 먼저 인터페이싱 포인트 배치부(1603)는, 객체 아이템 포인트들을 사전 설정된 아이템 그룹에 따라 그룹핑 처리한다(S401).
이는 중복된 객체 정보에 대응하는 객체 아이템 포인트들을 하나의 태그 인터페이스에 매핑될 수 있도록 그룹핑 하는 처리이다. 예를 들어, 인터페이싱 포인트 배치부(1603)는 사용자 시점 정보에 따른 뷰포트 장면에 담긴 모든 객체 아이템포인트들에 대한 좌표들을 특정 아이템 그룹에 따라 그룹핑할 수 있다.
만약 뷰포트 장면 내 A사의 3인 소파 객체 아이템 포인트가 세 개 존재하는 경우, 인터페이싱 포인트 배치부(1603)는 세 개의 객체 아이템 포인트 정보를 A사 3인 소파 아이템 그룹으로 그룹핑할 수 있다. 이에 따라, 반복되는 불필요한 정보의 제공을 사전에 방지하기 위해, 중복된 객체에 의한 태그 정보는 하나로 그룹핑된 아이템 그룹에 대하여만 제공되도록 간소화 될 수 있다.
여기서, 아이템 그룹핑 조건은 예를 들어 제품 식별 정보, 제품 인기도 정보, 카테고리 정보 등에 따라 다양하게 결정될 수 있다.
그리고, 인터페이싱 포인트 배치부(1603)는, 사전 셜정된 비교 기준에 따라, 아이템 그룹 및 아이템 그룹 내 객체 아이템 포인트 간 우선 순위를 결정한다(S403).
아이템 그룹 및 상기 포인트 간 우선 순위는 다양한 비교 조건에 따라 설정될 수 있으며, 이는 사용자 선호도 또는 사용자 설정 정보에 따라 가변될 수 있다. 예를 들어, 우선 순위는 아이템 그룹 내 객체 아이템 포인트의 개수, 사용자 시점에 대응하는 카메라 포인트로부터의 거리, 가격, 인기도, 카테고리, 노출 빈도 등에 따라 결정될 수 있다. 또한, 객체 아이템 포인트가 특정 주요 인지 영역에 위치한 경우 높은 우선 순위가 결정될 수도 있다. 이러한 우선 순위 결정에 따라 각 아이템 그룹 및 객체 아이템 포인트들은 정렬 처리될 수 있다.
그리고, 인터페이싱 포인트 배치부(1603)는, 우선 순위에 따라 배치된 제1 객체 아이템 포인트에 대응하는 제1 중첩 임계값 및 태그 타입 정보를 설정한다(S405).
여기서, 중첩 임계값은 기존에 먼저 배치된 객체 아이템 그룹과 중첩되더라도 배치 가능한 영역의 임계값을 나타내는 것이며, 태그 타입 정보는 상기 임계값의 범위 카테고리 정보를 나타낼 수 있다. 아이템 그룹 구성시 최초 할당되는 태그 타입 정보는 '노멀' 타입일 수 있다.
이후, 인터페이싱 포인트 배치부(1603)는 제1 객체 아이템 포인트를 렌더링된 사용자 시야 영역에 배치한다(S407).
여기서 기존 배치된 아이템 그룹 및 객체 아이템 포인트의 위치는 변동되지 않으며 우선권을 가질 수 있다.
이에 따라, 인터페이싱 포인트 배치부(1603)는, 기존 배치된 객체 아이템들과 제1 중첩 임계값을 초과하여 중첩되었는지 여부를 판단한다(S409).
만약 초과하는 경우, 인터페이싱 포인트 배치부(1603)는 제1 아이템 그룹 내 다른 객체 아이템 포인트들이 존재하는지 판단하고(S421), 존재하는 경우에는 다른 객체 아이템 포인트를 다시 제1 객체 아이템 포인트로 설정하여(S423), 상기 S407 단계부터 다시 수행한다.
만약 S421 단계에서 다른 객체 아이템 포인트가 존재하지 않는 경우, 인터페이싱 포인트 배치부(1603)는 태그 타입 정보가 '스몰'인지 판단하고(S425), '스몰'이 아닌 경우에는 태그 타입 정보를 '스몰'로 할당하여 제1 중첩 임계값을 더 작은 값으로 재할당 처리한 뒤(S427), 상기 S407 단계부터 다시 수행한다.
여기서, 상기 '스몰'로 재할당 처리되는 임계값은 상기 '노멀'로 처리된 임계값의 절반 값이 바람직할 수 있다.
만약 S425 단계에서 태그 타입 정보가 이미 '스몰'로 할당되어 있음이 확인된 경우, 인터페이싱 포인트 배치부(1603)는 제1 아이템 그룹 내에서 다른 객체 아이템들과의 거리 평균 값이 가장 높은 객체 아이템 포인트를 식별하여 배치하고, 태그 타입 정보는 '배치 불가'로 할당한다(S429).
한편, S409 단계에서 제1 중첩 임계값이 초과되지 않거나, '배치 불가'가 할당된 태그 타입 정보를 갖는 제1 객체 아이템 포인트가 획득된 경우, 인터페이싱 포인트 배치부(1603)는 제1 객체 아이템 포인트를 사용자 시야 영역에 배치하고, 그 배치 정보 및 태그 타입 정보를 저장한다(S411).
그리고, 인터페이싱 포인트 배치부(1603)는 배치가 미완료된 남은 아이템 그룹이 존재하는지 판단하며(S413), 존재하는 경우 다음 아이템 그룹을 제1 아이템 그룹으로 설정하여(S419), S407 단계부터 다시 수행한다.
미완료 그룹이 존재하지 않으면, 인터페이싱 포인트 배치부(1603)는 저장된 객체 아이템 배치 정보에 태그 정보를 매핑하여, 인터페이싱 포인트 정보를 생성하며(S415), 인터페이스 출력부(150)는 렌더링된 사용자 시점 영상 디스플레이에 상기 인터페이싱 포인트 정보에 따라 태그 인터페이스가 매핑된 인터페이싱 포인트를 출력한다(S417).
여기서, 배치 불가 태그 타입 정보의 객체 아이템 포인트의 경우, 인터페이스 출력부(150)는 사용자 시점 영상 이미지상에 별도의 외부 인터페이싱 포인트를 이용하여 출력하거나, 주변 메뉴 등을 통해 리스트의 형태로 출력할 수도 있다.
도 11은 본 발명의 실시 예에 따른 사용자 선호 영역을 설명하기 위한 예시도이다.
사용자 선호 영역은, 전술한 인터페이싱 포인트 배치부(1603)의 인터페이싱 포인트 배치 및 우선 순위 결정에 있어서 이용되는, 사용자의 주요 인지 영역에 대응될 수 있으며, 사용자 선호 영역 또는 스위트 스팟(Sweet Spot) 영역이라고도 호칭될 수 있다.
이러한 주요 인지 영역은 가상 공간 인테리어 영상 출력의 상황, 장면 등에 따라 매번 상이할 수 있다. 다만, 통상적으로 영상 중심부에 가까울 수록, 그리고 시야 영역 기준 중간 내지 아래 영역이 주요 인지 영역에 해당되는 것이 바람직하다. 이는 가구가 지면에 배치되는 빈도가, 다른 벽면 또는 천장에 배치되는 빈도보다 상대적으로 높기 때문이다.
따라서, 본 발명의 실시 예에 따른 인터페이싱 포인트 배치부(1603)는 인터페이싱 포인트 배치 및 우선 순위 결정을 위한 주요 인지 영역을 구성할 수 있다.
이를 위해, 도 11을 참조하면, 인터페이싱 포인트 배치부(1603)는 현재 사용자 시야 영역의 뷰포트 평면을 사전 설정된 그리드로 구획할 수 있다. 예를 들어, 인터페이싱 포인트 배치부(1603)는 도 11(A)에 도시된 바와 같이, 가로 세로 16:9 비율로 되어있는 사용자 뷰포트 장면을 가로로 4등분 세로로 3등분 구획할 수도 있고, 도 11(B)에 도시된 바와 같이 가로 세로 모두 각각 5등분 구획할 수도 있다.
그리고, 인터페이싱 포인트 배치부(1603)는 그리드에 따라 구획된 사용자 뷰포트 장면에서 주요 인지 영역으로 설정할 그리드 구역을 선택할 수 있다. 이는 사용자 입력 또는 관리자 설정에 따라 결정될 수 있다.
예를 들어 가구의 특성을 감안하면, 주요 인지 영역은 도 11(A) 또는 도 11(B)에 도시된 음영 구획 영역과 같이 선택될 수 있다.
이와 같은 주요 인지 영역을 그리드 기반 구획영역으로 선택하게 함으로써, 동일한 인테리어 객체가 여러 개 화면상에 출력되더라도, 주요 인지 영역에 위치한 객체 아이템 포인트가 우선 순위에 따라 먼저 인터페이싱 포인트 형태로 출력될 수 있게 된다.
이와 같은 주요 인지 영역 선정에 따라, 인터페이싱 포인트 배치부(1603)는 하나의 뷰포트 장면에 포함된 인테리어 객체 아이템들에 대한 인터페이싱 포인트 및 태그 인터페이스를 출력함에 있어서, 어떠한 객체 아이템 그룹 또는 객체 아이템 포인트들이 최우선적으로 배치 및 출력될지를 결정할 수 있다.
이를 통해 사용자가 더 인지하기 용이한 위치에 객체 정보를 제공할 수 있으며, 인테리어 객체 공급자 입장에서도 더욱 사용자 인지도를 높임으로써, 인터페이싱 포인트 자체를 광고 효과 및 전환율(conversion)을 높이는 수단으로도 사용할 수 있게 된다.
상술한 본 발명에 따른 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해 되어서는 안될 것이다.

Claims (20)

  1. 인테리어 레이아웃 장치의 동작 방법에 있어서,
    실내 구조 정보 및 인테리어 레이아웃 정보를 획득하는 단계;
    상기 실내 구조 정보 및 인테리어 레이아웃 정보의 렌더링 정보에 기초하여 사용자 시야 영역 범위 내 노출된 하나 이상의 노출 객체 정보를 식별하는 단계;
    상기 하나 이상의 노출 객체 정보를 나타내는 인터페이싱 포인트의 배치 정보를 사용자 인지 비교 처리에 따라 결정하는 단계; 및
    상기 인터페이싱 포인트를 상기 렌더링 정보와 함께 출력하는 단계를 포함하는
    인테리어 레이아웃 장치의 동작 방법.
  2. 제1항에 있어서,
    상기 식별하는 단계는,
    사용자 시점 정보에 따라 결정되는 시야 영역 범위 내 위치한 하나 이상의 객체를 둘러싼 바운딩 박스에 대응하는 레이캐스팅 처리에 따라 교차 포인트가 검출된 객체를 노출 객체의 후보 객체로 식별하는 단계를 포함하는
    인테리어 레이아웃 장치의 동작 방법.
  3. 제2항에 있어서,
    상기 후보 객체의 바운딩 박스로부터 2차원으로 정규화된 장치 좌표(Normalized Device Coordinates, NDC) 연산에 따라, 상기 후보 객체로부터 프로젝션된 NDC 좌표가 사용자 뷰포트 범위 내 존재하는 경우, 상기 후보 객체를 상기 노출 객체로 결정하는 단계를 포함하는
    인테리어 레이아웃 장치의 동작 방법.
  4. 제2항에 있어서,
    상기 교차점이 형성된 후보 객체들 중 인접한 하나 이상의 후보 객체들이 동일한 인테리어 객체에 대응하는 경우, 상기 인테리어 객체를 다른 구조물이나 객체 등에 의해 가려지지 않는 상기 노출 객체로 결정하는 단계를 포함하는
    인테리어 레이아웃 장치의 동작 방법.
  5. 제1항에 있어서,
    상기 사용자 인지 비교 처리에 따라 결정하는 단계는,
    상기 노출 객체 정보로부터 식별되는 객체 아이템 포인트들을 미리 설정된 아이템 그룹에 따라 그룹핑하는 단계; 및
    상기 아이템 그룹 별 상기 시야 영역 범위 내 인지 비교 처리에 따라 상기 인터페이싱 포인트의 배치 정보를 결정하는 단계를 포함하는
    인테리어 레이아웃 장치의 동작 방법.
  6. 제5항에 있어서,
    상기 배치 정보를 결정하는 단계는,
    사전 결정된 비교 기준에 따라, 아이템 그룹 간 또는 아이템 그룹 내 객체 아이템 포인트들 간 우선 순위를 결정하는 단계;
    상기 우선 순위에 따라 배치된 제1 객체 아이템 포인트에 대응하는 제1 중첩 임계값을 설정하는 단계;
    상기 제1 객체 아이템 포인트를 사용자 시야 영역 범위에 배치하는 단계; 및
    기존 배치된 객체 아이템들과 제1 중첩 임계값을 초과하여 중첩되는지를 판단하는 단계; 및
    중첩되지 않은 경우 상기 제1 객체 아이템 포인트의 배치 정보 및 태그 타입 정보를 저장하는 단계를 포함하는
    인테리어 레이아웃 장치의 동작 방법.
  7. 제6항에 있어서,
    상기 우선 순위는 아이템 그룹 내 객체 아이템 포인트의 개수, 사용자 시점에 대응하는 카메라 포인트로부터의 거리, 가격, 인기도, 카테고리, 노출 빈도 중 적어도 하나에 따라 결정되는 것을 특징으로 하는
    인테리어 레이아웃 장치의 동작 방법.
  8. 제6항에 있어서,
    상기 우선 순위는 객체 아이템 포인트가 주요 인지 영역에 위치하였는지 여부에 따라 결정되고,
    상기 주요 인지 영역은 사용자 시야 영역의 뷰포트 장면을 그리드로 구획한 구획영역들 중 사전 선택되는 설정 영역을 포함하는
    인테리어 레이아웃 장치의 동작 방법.
  9. 제6항에 있어서,
    상기 제1 객체 아이템 포인트가 기존 배치된 객체 아이템들과 제1 중첩 임계값을 초과하여 중첩된 경우, 제1 아이템 그룹 내 다른 객체 아이템 포인트가 존재하면, 상기 다른 객체 아이템 포인트를 상기 제1 객체 아이템으로 설정하여 재배치하는 단계를 더 포함하는
    인테리어 레이아웃 장치의 동작 방법.
  10. 제9항에 있어서,
    상기 제1 아이템 그룹 내 다른 객체 아이템 포인트가 존재하지 않는 경우, 상기 제1 중첩 임계값을 더 작은 값으로 재할당하여 상기 제1 객체 아이템의 재배치를 수행하는 단계를 더 포함하는
    인테리어 레이아웃 장치의 동작 방법.
  11. 제6항에 있어서,
    상기 제1 객체 아이템 포인트가 기존 배치된 객체 아이템들과 제1 중첩 임계값을 초과하여 중첩된 경우, 상기 제1 아이템 그룹 내 객체 아이템 포인트들 중 다른 객체 아이템들과의 거리 평균이 가장 높은 객체 아이템 포인트를 배치하고, 특정 태그 타입 정보를 할당하는
    인테리어 레이아웃 장치의 동작 방법.
  12. 제1항에 있어서,
    상기 인터페이싱 포인트에 대응한 사용자 입력에 따라, 사전 매핑된 태그 정보에 기초한 태그 인터페이스를 출력하는 단계를 더 포함하는
    인테리어 레이아웃 장치의 동작 방법.
  13. 제12항에 있어서,
    상기 태그 인터페이스에 대응한 사용자 입력에 따라, 상기 노출 객체 정보에 대응한 객체 정보 제공, 관련 컨텐츠 정보 제공, 구매 정보 제공, 유사 객체 정보 제공 또는 사용자 분석 중 적어도 하나를 처리하는 단계를 포함하는
    인테리어 레이아웃 장치의 동작 방법.
  14. 인테리어 레이아웃 장치에 있어서,
    실내 구조 정보 및 인테리어 레이아웃 정보를 획득하는 렌더링 처리부;
    상기 실내 구조 정보 및 인테리어 레이아웃 정보의 렌더링 정보에 기초하여 사용자 시야 영역 범위 내 노출된 하나 이상의 노출 객체 정보를 식별하는 사용자 시야 영역 처리부;
    상기 하나 이상의 노출 객체 정보를 나타내는 인터페이싱 포인트의 배치 정보를 사용자 인지 비교 처리에 따라 결정하는 인터페이싱 포인트 배치부; 및
    상기 인터페이싱 포인트를 상기 렌더링 정보와 함께 출력하는 인터페이스 출력부를 포함하는
    인테리어 레이아웃 장치.
  15. 제14항에 있어서,
    상기 사용자 시야 영역 처리부는,
    사용자 시점 정보에 따라 결정되는 시야 영역 범위 내 위치한 하나 이상의 객체를 둘러싼 바운딩 박스에 대응하는 레이캐스팅 처리에 따라 교차 포인트가 검출된 객체를 노출 객체의 후보 객체로 식별하는
    인테리어 레이아웃 장치.
  16. 제15항에 있어서,
    상기 사용자 시야 영역 처리부는,
    상기 후보 객체의 바운딩 박스로부터 2차원으로 정규화된 장치 좌표(Normalized Device Coordinates, NDC) 연산에 따라, 상기 후보 객체로부터 프로젝션된 NDC 좌표가 사용자 뷰포트 범위 내 존재하는 경우, 상기 후보 객체를 상기 노출 객체로 결정하는
    인테리어 레이아웃 장치.
  17. 제15항에 있어서,
    상기 사용자 시야 영역 처리부는,
    상기 교차점이 형성된 후보 객체들 중 인접한 하나 이상의 후보 객체들이 동일한 인테리어 객체에 대응하는 경우, 상기 인테리어 객체를 다른 구조물이나 객체 등에 의해 가려지지 않는 상기 노출 객체로 결정하는 단계를 포함하는
    인테리어 레이아웃 장치.
  18. 제14항에 있어서,
    상기 인터페이싱 포인트 배치부는,
    상기 노출 객체 정보로부터 식별되는 객체 아이템 포인트들을 미리 설정된 아이템 그룹에 따라 그룹핑하고, 상기 아이템 그룹 별 상기 시야 영역 범위 내 인지 비교 처리에 따라 상기 인터페이싱 포인트의 배치 정보를 결정하는
    인테리어 레이아웃 장치.
  19. 제18항에 있어서,
    상기 배치 정보를 결정하는 단계는,
    사전 결정된 비교 기준에 따라, 아이템 그룹 간 또는 아이템 그룹 내 객체 아이템 포인트들 간 우선 순위를 결정하고, 상기 우선 순위에 따라 배치된 제1 객체 아이템 포인트에 대응하는 제1 중첩 임계값을 설정하며, 상기 제1 객체 아이템 포인트를 사용자 시야 영역 범위에 배치하고, 기존 배치된 객체 아이템들과 제1 중첩 임계값을 초과하여 중첩되는지를 판단하며, 중첩되지 않은 경우 상기 제1 객체 아이템 포인트의 배치 정보 및 태그 타입 정보를 저장하고,
    상기 우선 순위는 아이템 그룹 내 객체 아이템 포인트의 개수, 사용자 시점에 대응하는 카메라 포인트로부터의 거리, 가격, 인기도, 카테고리, 노출 빈도 중 적어도 하나에 따라 결정되는 것을 특징으로 하는
    인테리어 레이아웃 장치.
  20. 제15항에 있어서,
    상기 인터페이스 출력부는 상기 인터페이싱 포인트에 대응한 사용자 입력에 따라, 사전 매핑된 태그 정보에 기초한 태그 인터페이스를 출력하고,
    상기 태그 인터페이스에 대응한 사용자 입력에 따라, 상기 노출 객체 정보에 대응한 객체 정보 제공, 관련 컨텐츠 정보 제공, 구매 정보 제공, 유사 객체 정보 제공 또는 사용자 분석 중 적어도 하나를 처리하는 서비스 제공부를 더 포함하는
    인테리어 레이아웃 장치.
PCT/KR2020/017203 2019-12-27 2020-11-27 가상 공간 인테리어를 이용한 인터페이스 제공 방법 및 그 장치 WO2021132911A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/758,063 US20230128740A1 (en) 2019-12-27 2020-11-27 Method for providing interface by using virtual space interior design, and device therefor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190175994A KR20210083574A (ko) 2019-12-27 2019-12-27 가상 공간 인테리어를 이용한 인터페이스 제공 방법 및 그 장치
KR10-2019-0175994 2019-12-27

Publications (1)

Publication Number Publication Date
WO2021132911A1 true WO2021132911A1 (ko) 2021-07-01

Family

ID=76574394

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/017203 WO2021132911A1 (ko) 2019-12-27 2020-11-27 가상 공간 인테리어를 이용한 인터페이스 제공 방법 및 그 장치

Country Status (3)

Country Link
US (1) US20230128740A1 (ko)
KR (1) KR20210083574A (ko)
WO (1) WO2021132911A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220121278A (ko) * 2021-02-24 2022-09-01 삼성디스플레이 주식회사 디스플레이 배치제안방법 및 디스플레이 배치제안장치
KR102315013B1 (ko) * 2021-08-06 2021-10-20 (주)캐러멜라운지 고령층의 안전을 고려한 인공지능 인테리어 디자인 생성 시스템
KR102372467B1 (ko) 2021-08-06 2022-03-10 (주)캐러멜라운지 클라이언트가 수정가능한 인공지능 인테리어 설계 시스템
USD1025113S1 (en) * 2023-12-16 2024-04-30 Peter de Lande Long Display screen or portion thereof with animated graphical user interface

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150084980A (ko) * 2012-11-13 2015-07-22 퀄컴 인코포레이티드 가상 오브젝트 디스플레이 특성의 수정
KR20170096129A (ko) * 2014-12-19 2017-08-23 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 3차원 시각화 시스템의 오브젝트 배치 보조
KR101804763B1 (ko) * 2016-06-02 2017-12-08 주식회사 리즈디자인 가상 인테리어 서비스 제공 방법, 이를 실현하기 위한 프로그램이 기록되어 있는 컴퓨터 판독 가능한 기록 매체 및 이를 실행하기 위하여 매체에 저장된 애플리케이션
KR20180109229A (ko) * 2017-03-27 2018-10-08 삼성전자주식회사 전자 장치에서 증강현실 기능 제공 방법 및 장치
KR101980261B1 (ko) * 2018-06-12 2019-05-21 전동호 증강현실을 이용한 가구배치 시뮬레이션 시스템 및 방법과 이를 위한 컴퓨터 프로그램

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150084980A (ko) * 2012-11-13 2015-07-22 퀄컴 인코포레이티드 가상 오브젝트 디스플레이 특성의 수정
KR20170096129A (ko) * 2014-12-19 2017-08-23 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 3차원 시각화 시스템의 오브젝트 배치 보조
KR101804763B1 (ko) * 2016-06-02 2017-12-08 주식회사 리즈디자인 가상 인테리어 서비스 제공 방법, 이를 실현하기 위한 프로그램이 기록되어 있는 컴퓨터 판독 가능한 기록 매체 및 이를 실행하기 위하여 매체에 저장된 애플리케이션
KR20180109229A (ko) * 2017-03-27 2018-10-08 삼성전자주식회사 전자 장치에서 증강현실 기능 제공 방법 및 장치
KR101980261B1 (ko) * 2018-06-12 2019-05-21 전동호 증강현실을 이용한 가구배치 시뮬레이션 시스템 및 방법과 이를 위한 컴퓨터 프로그램

Also Published As

Publication number Publication date
KR20210083574A (ko) 2021-07-07
US20230128740A1 (en) 2023-04-27

Similar Documents

Publication Publication Date Title
WO2021132911A1 (ko) 가상 공간 인테리어를 이용한 인터페이스 제공 방법 및 그 장치
WO2021132912A1 (ko) 공간 사용률 분석을 제공하는 인테리어 레이아웃 장치 및 그 동작 방법
WO2014175592A1 (en) Moving robot, user terminal apparatus and control method thereof
WO2017155236A1 (en) Configuration and operation of display devices including content curation
KR101770648B1 (ko) 파노라마와 3차원 건물평면도 기반 실내 가상체험 제공 방법, 이를 이용한 휴대용 단말기 및 그 동작 방법
WO2019088737A1 (en) Method and device for performing remote control
WO2014182086A1 (en) Display apparatus and user interface screen providing method thereof
US10241565B2 (en) Apparatus, system, and method of controlling display, and recording medium
WO2014182082A1 (en) Display apparatus and display method for displaying a polyhedral graphical user interface
WO2021132910A1 (ko) 사용자 스타일 기반의 공간 및 인테리어 레이아웃 자동화 방법 및 그 장치
WO2014088342A1 (en) Display device and method of controlling the same
WO2017135522A1 (ko) 미러형 디스플레이 장치 및 그 제어방법
WO2015030564A1 (en) Display apparatus, portable device and screen display methods thereof
WO2017043686A1 (ko) 이동 단말기 및 그의 동작 방법
WO2016204357A1 (ko) 이동 단말기 및 그 제어 방법
EP3308505A1 (en) Method and apparatus for controlling indoor device
WO2022050485A1 (ko) 인테리어 플랫폼 시스템에서 2차원 도면에 기반한 3차원 자동 입체모델링 장치 및 방법
WO2019093676A1 (ko) 전자 장치, 디스플레이 장치 및 멀티비전 설정 방법
KR101597299B1 (ko) 증강현실을 이용한 온라인 인테리어 방법 및 시스템
WO2016140393A1 (ko) 이동 단말기 및 그의 동작 방법
WO2021133053A1 (ko) 전자 장치 및 그의 제어 방법
CN110675505A (zh) 基于全景虚实无缝融合的室内外看房系统
US20200327261A1 (en) Building Material Estimation System, Management Server thereof, and Building Material Estimation Method
WO2014035157A2 (en) Device and content searching method using the same
US20190289098A1 (en) Remote management system and method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20907370

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 08/12/2022)

122 Ep: pct application non-entry in european phase

Ref document number: 20907370

Country of ref document: EP

Kind code of ref document: A1