WO2023095969A1 - 3차원 가상모델 생성을 위한 텍스처링 방법 및 그를 위한 컴퓨팅 장치 - Google Patents

3차원 가상모델 생성을 위한 텍스처링 방법 및 그를 위한 컴퓨팅 장치 Download PDF

Info

Publication number
WO2023095969A1
WO2023095969A1 PCT/KR2021/017707 KR2021017707W WO2023095969A1 WO 2023095969 A1 WO2023095969 A1 WO 2023095969A1 KR 2021017707 W KR2021017707 W KR 2021017707W WO 2023095969 A1 WO2023095969 A1 WO 2023095969A1
Authority
WO
WIPO (PCT)
Prior art keywords
face
color
color image
computing device
images associated
Prior art date
Application number
PCT/KR2021/017707
Other languages
English (en)
French (fr)
Inventor
김켄
정지욱
루스탐 욱리 후다이베르가노브파르호드
이미하일
Original Assignee
주식회사 쓰리아이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 쓰리아이 filed Critical 주식회사 쓰리아이
Priority to PCT/KR2021/017707 priority Critical patent/WO2023095969A1/ko
Priority to JP2022545058A priority patent/JP2024501903A/ja
Priority to KR1020227029816A priority patent/KR102563387B1/ko
Priority to US17/878,390 priority patent/US20230169716A1/en
Publication of WO2023095969A1 publication Critical patent/WO2023095969A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation

Definitions

  • the present application relates to a texturing method for generating a 3D virtual model of an indoor space and a computing device therefor.
  • This real space-based virtual technology is a technology for realizing a digital twin or metaverse, and various developments are being made.
  • This 3D model is created based on data taken at various points inside the indoor space.
  • color and distance data acquired at 360 degrees from various points in the indoor space are collected, and a 3D model is created based on this.
  • each point for generating a virtual space corresponding to such an indoor space is considerably spaced apart from each other, such as a distance of several meters, there is a limit in that it is difficult to obtain a good quality of texturing for a 3D model based on these data. .
  • One technical aspect of the present application is to solve the above problems of the prior art, and according to an embodiment disclosed in the present application, among a plurality of images generated at various points in the room, an image suitable for the face of a 3D model is effectively It aims to select
  • an object is to more accurately compensate for color imbalance caused by different shooting conditions between different points in a room.
  • the texturing method for generating the 3D virtual model is based on a plurality of data sets generated at a plurality of shooting points in an indoor space, the data set including a color image, a depth image, and location information of each point.
  • the computing device includes a memory that stores one or more instructions and at least one processor that executes the one or more instructions stored in the memory, wherein the at least one processor executes the one or more instructions, thereby performing the indoor space
  • a 3D mesh model is created based on a plurality of data sets generated at a plurality of photographing points of -the data set includes a color image, a depth image, and location information of each point, and the 3D mesh model
  • a first face is selected from among a plurality of included faces, a first color image suitable for the first face is selected from among a plurality of color images associated with the first face, and one of the selected first color images is selected.
  • a local region corresponding to the first face is selected, mapped to the first face, and texturing is performed, and color images are generated for faces other than the first face among a plurality of faces included in the 3D mesh model.
  • a selection process and a texturing process may be performed to generate the first 3D model.
  • the storage medium is a storage medium storing computer readable instructions.
  • the instructions when executed by a computing device, cause the computing device to obtain a plurality of data sets each generated at a plurality of photographing points in the indoor space—the data sets include a color image, a depth image, and location information of each point.
  • An operation of selecting one suitable first color image, an operation of selecting a local area corresponding to the first face from the selected one of the first color images, and performing texturing by mapping the selected local area to the first face; and An operation of generating a first 3D model may be performed by performing a color image selection process and a texturing process on faces other than the first face among a plurality of faces included in the mesh model.
  • color imbalance caused by different shooting conditions between different points in a room is accurately compensated, thereby minimizing a sense of heterogeneity for each side of a virtual indoor space and a virtual space more similar to a real space. It has the effect of providing a texture to the space.
  • FIG. 1 is an exemplary diagram for explaining a system that provides a texturing method for generating a 3D virtual model according to an embodiment disclosed in the present application.
  • FIG. 2 is a block diagram illustrating a computing device according to an exemplary embodiment disclosed in the present application.
  • FIG. 3 is a flowchart illustrating a texturing method for generating a 3D virtual model according to an embodiment disclosed in the present application.
  • 4 to 7 are views illustrating an example of obtaining a color image according to an exemplary embodiment disclosed in the present application.
  • FIG. 8 is a flowchart illustrating a method of selecting a color image for generating a 3D virtual model according to an embodiment disclosed in the present application.
  • 9 to 12 are diagrams illustrating an example of selecting a color image according to an exemplary embodiment disclosed in the present application.
  • FIG. 13 is a flowchart illustrating a method of setting an unscene face for generating a 3D virtual model according to an embodiment disclosed in the present application.
  • 14 to 15 are diagrams illustrating an example of unscene face setting according to an embodiment disclosed in the present application.
  • 16 is a flowchart illustrating a color correction method for generating a 3D virtual model according to an embodiment disclosed in the present application.
  • 17 to 18 are diagrams illustrating an example of color correction according to an exemplary embodiment disclosed in the present application.
  • expressions such as “has,” “can have,” “includes,” or “can include” indicate the presence of a corresponding feature (eg, numerical value, function, operation, or component such as a part). , which does not preclude the existence of additional features.
  • Terms such as “first”, “second”, or “first” or “second” may simply be used to distinguish that component from other corresponding components, and may refer to that component in other aspects (e.g., importance or order).
  • a (e.g., first) component is “coupled” to another (e.g., second) component, with or without the terms “functionally” or “communicatively”.
  • connection or “connected” it means that the certain component can be connected to the other component directly or through a third component.
  • the phrase “device configured to” may mean that the device is “capable of” in conjunction with other devices or components.
  • a processor configured (or configured) to perform A, B, and C may include a dedicated processor (eg, embedded processor) to perform the operation, or by executing one or more software programs stored in a memory device.
  • a general-purpose processor eg, CPU or application processor
  • a 'module' or 'unit' performs at least one function or operation, and may be implemented with hardware or software, or a combination of hardware and software.
  • a plurality of 'modules' or a plurality of 'units' may be integrated into at least one module and implemented by at least one processor, except for 'modules' or 'units' that need to be implemented with specific hardware.
  • Various embodiments of the present application are software (eg, a user terminal 500 or a computing device 300) including one or more instructions stored in a storage medium readable by a machine (eg, the user terminal 500 or the computing device 300).
  • a machine eg, the user terminal 500 or the computing device 300
  • the processor 330 may call at least one command among one or more commands stored from a storage medium and execute it. This enables the device to be operated to perform at least one function according to the at least one command invoked.
  • the one or more instructions may include code generated by a compiler or code executable by an interpreter.
  • the device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-temporary' only means that the storage medium is a tangible device and does not contain a signal (eg, electromagnetic wave), and this term means that data is stored semi-permanently in the storage medium. It does not distinguish between the case and the case of temporary storage.
  • a signal eg, electromagnetic wave
  • FIG. 1 is an exemplary diagram for explaining a system that provides a texturing method for generating a 3D virtual model according to an embodiment disclosed in the present application.
  • a system providing a texturing method for generating a 3D virtual model may include an image acquisition device 100 , a computing device 300 and a user terminal 500 .
  • the image acquisition device 100 is a device for generating a color image and a depth map image, which is used to create a spherical virtual image.
  • the image acquisition device 100 may include a distance measuring device, a depth scanner and a camera in the illustrated example.
  • a camera is a device that provides a photographing function, and generates a color image expressed in color with respect to a subject area (captured area).
  • a color image encompasses all images expressed in color, and is not limited to a specific expression method. Therefore, color images can be applied in various standards, such as RFG images expressed in RGB (Red Green Blue) and CMYK images expressed in CMYK (Cyan Magenta Yellow Key).
  • the camera may be a mobile phone, a smart phone, a laptop computer, a personal digital assistant (PDA), a tablet PC, an ultrabook, or a wearable device (eg, For example, a glass type terminal (smart glass) or the like may be used.
  • the depth scanner is a device capable of generating a depth map image by generating depth information for a subject area.
  • a depth map image is an image including depth information about a subject space.
  • each pixel in the depth map image may be distance information from an imaging point to each point in the subject space captured - a point corresponding to each pixel.
  • the depth scanner may include a predetermined sensor for measuring distance, for example, a LiDAR sensor, an infrared sensor, an ultrasonic sensor, and the like.
  • the depth scanner may include a stereo camera, a stereoscopic camera, or a 3D depth camera capable of measuring distance information by replacing the sensor.
  • a camera creates a color image
  • a depth scanner creates a depth map.
  • the color image generated by the camera and the depth map image generated by the depth scanner may be generated for the same subject area under the same conditions (eg, resolution, etc.), and are matched 1:1 with each other.
  • the depth scanner and the camera may generate a 360-degree panoramic image of an existing indoor space, that is, a 360-degree depth map panoramic image and a 360-degree color panoramic image, respectively, and provide them to the computing device 300 .
  • the depth scanner may generate distance information for each of several points in the room where the 360-degree photographing was performed.
  • This distance information may be relative distance information.
  • the depth scanner may have a floor plan of an indoor space and receive an input of a first starting indoor point within the floor plan according to a user's input. Thereafter, the depth scanner may generate relative distance movement information based on image analysis and/or movement detection sensors, such as a 3-axis acceleration sensor and/or a gyro sensor. For example, information on a second indoor point may be generated based on the relative distance movement information from the starting indoor point, and information on a third indoor point may be generated based on the relative distance movement information from the second indoor point. . Generation of such distance information may be performed by a camera.
  • the depth scanner and the camera can be implemented as a single image acquisition device.
  • the image acquisition device 100 may be a smartphone including a camera for image acquisition and a LiDAR sensor for distance measurement.
  • the depth scanner or camera may store information about the photographing height and provide the information to the computing device 300 .
  • This photographed height information may be used to generate a 3D model in the computing device 300 .
  • the depth map image and the color image may be a 360-degree panoramic image, and for convenience of description, they are collectively referred to as a depth map image and a color image.
  • the depth map image and the color image may be a panoramic image suitable for providing a 360-degree image, for example, an equirectangular projection panoramic image.
  • the user terminal 500 is an electronic device through which the user can experience a virtual 3D model corresponding to an indoor space by accessing the computing device 300, for example, a mobile phone, a smart phone, a laptop computer ( laptop computer), terminals for digital broadcasting, PDA (personal digital assistants), PMP (portable multimedia player), navigation, personal computer (PC), tablet PC (tablet PC), ultrabook, wearable device (e.g. For example, it encompasses watch type terminals (smartwatch), glass type terminals (smart glass), HMD (head mounted display), and the like.
  • the user terminal 500 may include electronic devices used for virtual reality (VR) and augmented reality (AR).
  • VR virtual reality
  • AR augmented reality
  • the computing device 300 may create a 3D virtual model, which is a 3D virtual space corresponding to the indoor space, by using color images and depth map images respectively generated at various points in the room.
  • the computing device 300 is a virtual space corresponding to real space, and may generate a 3D model based on color images and depth images generated at a plurality of shooting points in the room.
  • a 3D model is a virtual model in which depth information is reflected, and can provide a three-dimensional space equivalent to a real one.
  • Computing device 300 is based on a plurality of data sets generated at a plurality of shooting points in the indoor space, the data set including a color image, a depth image, and location information of each point.
  • a point set of -eg, a point cloud - can be created, and a 3D mesh model can be created based on this point set.
  • the 3D mesh model may be a mesh model created by setting a plurality of faces based on a plurality of vertices selected based on a point cloud. For example, one face may be created based on three adjacent vertices, and each face may be a flat triangle set with three vertices.
  • the computing device 300 may set a color value of each face based on a color image associated with each face.
  • a color image associated with the face may be set based on a direction vector perpendicular to the face.
  • the computing device 300 may select one color image to set the color value of each face, and for this purpose, calculate a plurality of weight factors for each color image and calculate a weight based on the weighted factors. .
  • the computing device 300 may select one color image based on the weight.
  • the computing device 300 may perform color filling on the unscene face.
  • An unseen face means a face not displayed in a captured image. For example, in the case of a plane higher than the shooting point - for example, the top of a refrigerator, etc. - it is set to an unscene face because it is not captured by the camera.
  • the computing device 300 may fill the unscene face with a color based on color information of the vertex.
  • the computing device 300 may perform color correction on a 3D model created after color filling is completed for each face. Even if a photograph is taken with the same camera in the present application, photographing conditions at various points in an indoor space are different from each other. Even in the same indoor space, such as the degree of brightness, an additional light source, and the color of the light source, shooting conditions at each point in the indoor space are different. For example, natural light from the sun is added at an indoor shooting point near a window, and the illumination level is low at an indoor shooting point where the lighting is turned off, thereby changing camera shooting conditions. As described above, since photographing conditions are different at various points in the indoor space, each color image has a different color value even for the same subject.
  • color expression of one subject may be uneven.
  • the computing device 300 may perform color correction to compensate for this blob. Such color correction may be performed by reflecting factors caused by differences between various photographing points in an indoor space.
  • the 3D model in the invention of the present application has a special environment according to the conditions for generating a virtual space corresponding to an indoor space. That is, it is required to acquire color images and depth images of an indoor space, and for this purpose, color images and depth images are obtained from a plurality of photographing points in the room.
  • the expression of the 3D model improves, but in the embodiments of the present application, the expression of such a 3D model, for example, Texturing can be improved, and accordingly, a high-quality 3D model can be acquired even if the number of indoor shooting points for acquiring indoor images is set to an appropriate number.
  • the computing device 300 will be described in more detail with reference to FIGS. 2 to 15 .
  • FIG. 2 is a block diagram illustrating a computing device according to an exemplary embodiment disclosed in the present application.
  • a computing device 300 may include a communication module 310 , a memory 320 and a processor 330 .
  • these configurations are exemplary, and it goes without saying that new configurations may be added or some configurations may be omitted in addition to such configurations in carrying out the present disclosure.
  • the communication module 310 includes a circuit and can perform communication with an external device (including a server). Specifically, the processor 330 may receive various data or information from an external device connected through the communication module 310 and may transmit various data or information to the external device.
  • an external device including a server.
  • the processor 330 may receive various data or information from an external device connected through the communication module 310 and may transmit various data or information to the external device.
  • the communication module 310 may include at least one of a WiFi module, a Bluetooth module, a wireless communication module, and an NFC module, and IEEE, Zigbee, 3rd Generation (3G), 3rd Generation Partnership Project (3GPP), Long Term LTE (LTE) Communication may be performed according to various communication standards such as Evolution, 5th Generation (5G), and the like.
  • At least one command for the computing device 300 may be stored in the memory 320 .
  • An operating system (O/S) for driving the computing device 300 may be stored in the memory 320 .
  • various software programs or applications for operating the computing device 300 according to various embodiments of the present disclosure may be stored in the memory 320 .
  • the memory 320 may include a semiconductor memory such as a flash memory or a magnetic storage medium such as a hard disk.
  • various software modules for operating the computing device 300 may be stored in the memory 320 according to various embodiments of the present disclosure, and the processor 330 executes various software modules stored in the memory 320.
  • the operation of the computing device 300 may be controlled. That is, the memory 320 is accessed by the processor 330, and data can be read/written/modified/deleted/updated by the processor 330.
  • various information required within the scope of achieving the object of the present disclosure may be stored in the memory 320, and the information stored in the memory 320 may be updated as received from an external device or input by a user. .
  • Processor 330 may consist of one or more processors.
  • the processor 330 controls the overall operation of the computing device 300 .
  • the processor 330 is connected to the configuration of the computing device 300 including the communication unit 310 and the memory 320 as described above, and transmits at least one command stored in the memory 320 as described above. It can be executed to control the overall operation of the computing device 300 .
  • Processor 330 can be implemented in a variety of ways.
  • the processor 330 may include an application specific integrated circuit (ASIC), an embedded processor, a microprocessor, hardware control logic, a hardware finite state machine (FSM), a digital signal processor Processor, DSP) may be implemented as at least one.
  • ASIC application specific integrated circuit
  • FSM hardware finite state machine
  • DSP digital signal processor Processor
  • the term processor 330 may be used to include a Central Processing Unit (CPU), a Graphic Processing Unit (GPU), and a Main Processing Unit (MPU).
  • CPU Central Processing Unit
  • GPU Graphic Processing Unit
  • MPU Main Processing Unit
  • FIG. 3 is a flowchart illustrating a texturing method for generating a 3D virtual model according to an embodiment disclosed in the present application.
  • the computing device 300 receives a plurality of data sets generated at respective indoor points in a plurality of indoor spaces from the image acquisition device 100 (S301).
  • the data set includes a color image, a depth image, and location information about a corresponding indoor point captured at a corresponding point.
  • the computing device 300 generates a 3D mesh model for generating a 3D model of an indoor space based on a plurality of data sets (S302).
  • the 3D mesh model can be created by generating a plurality of point sets (for example, point clouds) generated on the basis of color images and depth images for each indoor point and arranging them on a 3D space based on location information. .
  • point sets for example, point clouds
  • the computing device 300 may generate a 3D mesh model by selecting a plurality of vertices based on the point cloud and setting a plurality of faces based on the selected plurality of vertices. For example, the computing device 300 may set one triangular face based on three adjacent vertices.
  • the computing device 300 repeats steps S303 to S304 to set color values for each face, that is, to perform texturing. carry out
  • the computing device 300 selects one (first) face from among a plurality of faces included in the 3D mesh model, and selects any one first color image suitable for the first face from among a plurality of color images associated with the first face. can be selected (S303).
  • the computing device 300 calculates a unit vector perpendicular to the first face, and based on this, at least one color image having a photographic angle corresponding to the unit vector. , may be selected as a color image associated with the corresponding face. This is because information on the shooting angle of the color image is generated together when the color image is captured, so the color associated with the first face, that is, the color on which the first face is captured, based on the photographing height and photographing angle information of the color image. You can select an image.
  • the computing device 300 selects a color image having a unit vector perpendicular to the first face and a shooting angle opposite to the first face within a predetermined angle, that is, facing each other within a predetermined angle, as a color image associated with the corresponding face. can do.
  • the computing device 300 may select one color image suitable for a corresponding face from among color images associated with a face. For example, the computing device 300 may calculate a plurality of weight factors for each associated color image, calculate a weight based on the calculated weight, and select one color image based on the weight.
  • the first color image matching the first face may be evaluated and selected based on the photographing direction, resolution, and color noise of the first face among a plurality of color images associated with the 3D mesh model.
  • the computing device 300 may perform texturing by selecting a local area corresponding to the first face in the selected one color image and mapping it to the first face (S304).
  • each object in each color image and each object of the 3D mesh model may be projected and mapped to each other. Therefore, based on the projection mapping between the 2D color image and the 3D mesh model, a local area in the 2D color image corresponding to the corresponding face may be selected.
  • the computing device 300 may generate color information for each face and perform texturing by repeating steps S303 to S304 for all faces of the 3D mesh model (S305). Since the 3D model created in this way is in a state in which color correction between each color image is not performed, stains may occur even on the same surface. This is because, as described above, the photographing environment at each photographing point in the room is different.
  • the computing device 300 may perform color adjustment in order to correct a color difference due to a photographing environment at each photographing point in the room (S306).
  • 4 to 7 are diagrams for explaining an example of obtaining a color image according to an embodiment disclosed in the present application, and will be described with reference to them.
  • FIG. 4 is a perspective view illustrating a hexahedral subject in an indoor space, and a first and second capturing point PP1 and PP2 in the indoor space
  • FIG. 5 is a plan view corresponding to FIG. 4
  • 6 illustrates an example of a color image captured at a first capture point PP1
  • FIG. 7 illustrates an example of a color image captured at a second capture point PP2.
  • FIG. 6 and 7 show color images of the same subject, but FIG. 7 shows an example in which color changes due to shadows occur.
  • FIG. 8 is a flowchart illustrating a method of selecting a color image for generating a 3D virtual model according to an embodiment disclosed in the present application.
  • the flowchart shown in FIG. 8 relates to a process of selecting a first color image to be mapped to a first face from among a plurality of color images associated with the first face.
  • 9 to 12 are diagrams for explaining an example of selecting a color image according to an embodiment disclosed in the present application, and will be further described with reference to them.
  • the computing device 300 may set a reference vector for the first face of the 3D mesh model, that is, a first direction vector perpendicular to the first face (S801).
  • the computing device 300 may calculate first weight factors having a directional correlation with the first direction vector, respectively, for the plurality of color images associated with the first face (S802).
  • the computing device 300 may check capturing directions of a plurality of color images associated with the first face, and calculate a first weight factor based on a directional correlation between a first direction vector of the first face and the capturing direction. . For example, as the angle between the first direction vector of the first face and the photographing direction decreases, a higher weight factor may be calculated.
  • the computing device 300 may calculate a second weight factor for resolution, respectively, for a plurality of color images associated with the first face (S803).
  • the computing device 300 may determine the resolution of the plurality of color images themselves, and calculate the second weight factor based on this. That is, the higher the resolution, the higher the second weight factor can be calculated.
  • the computing device 300 may identify an object to be texturing or a face that is a part of the object, and calculate the second weight factor based on the resolution of the identified object or face. Since the resolution of these objects or faces is set in inverse proportion to the distance between the objects at the capturing point, a high second weight is given to a color image that is advantageous in terms of distance.
  • the computing device 300 may calculate a third weight factor for color noise for each of the plurality of color images associated with the first face (S804).
  • the computing device 300 may calculate color noise for each color image.
  • various methodologies such as unsupervised learning using DCGAN (Deep Convolutional Generative Adversarial Network) and a method using Enlighten GAN may be applied.
  • DCGAN Deep Convolutional Generative Adversarial Network
  • Enlighten GAN Enlighten GAN
  • the computing device 300 may assign a higher third weight factor as the color noise decreases.
  • the computing device 300 may calculate a weight for each of the plurality of color images by reflecting the first to third weight factors.
  • the computing device 300 may select one color image having the highest weight as the first image mapped with the first face (S805).
  • the computing device 300 may calculate the weight in various ways, such as simply summing the first to third weight factors or deriving an average thereof.
  • FIG. 9 illustrates an example of setting a first direction vector perpendicular to the first face Fc1 of the hexahedron. Referring to the examples shown in FIGS. 9 and 4 , it can be seen that the first capturing point PP1 has a higher first weight than the second capturing point PP2 .
  • FIG. 10 shows the local area P1Fc1 corresponding to the first face in the color image at the first capture point PP1
  • FIG. 11 shows the local area P2Fc1 corresponding to the first face in the color image at the second capture point PP2.
  • the first imaging point PP1 shown in FIG. 10 will have a higher third weight factor.
  • the color image at the first capture point PP1 will be selected, and the local area P1Fc1 in the color image at the first capture point PP1 is matched to the first face to be textured for the first face. This is shown in Figure 12.
  • FIG. 13 is a flowchart illustrating a method of setting an unscene face for generating a 3D virtual model according to an embodiment disclosed in the present application.
  • Color image mapping and texturing are performed for each face through the above process, but in some faces, an image to be mapped may not be selected. Such a face is commonly referred to as an unseen face, which occurs in a part where shooting is impossible due to an image shooting angle.
  • the computing device 300 may perform color filling as shown in FIG. 13 with respect to such an unscene face.
  • the computing device 300 may set an unscene phase generated by an unphotographed area (S1301).
  • the computing device 300 may set a face without a color image mapped to the face as an unscene face.
  • the computing device 300 checks the color value of each of a plurality of vertices associated with the unscene face (S1302).
  • the computing device 300 may check the color values of the three vertices constituting the unscene face. For example, a color value of a vertex may be determined as a pixel value of a color image corresponding to a pixel of a depth image constituting a vertex. That is, the computing device 300 may select a depth image used to derive location information to determine a certain vertex, and may also select a color image constituting the same data set as the corresponding depth image.
  • the computing device 300 may select a vertex-associated depth pixel corresponding to a vertex in the depth image, and may also select a vertex-associated color pixel corresponding to the vertex-associated depth pixel selected from the depth image from the color image.
  • the computing device 300 may set a color value of a color pixel associated with a vertex as a color value of a corresponding vertex.
  • the computing device 300 may fill the unscene face based on a color value of each of a plurality of vertices. For example, the computing device 300 may set each vertex as a starting point and set the color value of the unscene face by grading the color value of each vertex with the color value of an adjacent vertex based on the color value of each vertex (S1303).
  • the gradation means a technique of changing a color set by color gradation, and various methods can be applied to this gradation technique.
  • FIG. 15 shows an example in which the unscene face is filled in with respect to the example of FIG. 14 .
  • Texturing of the unscene face by such a gradation itself causes a slightly unnatural feeling with the surrounding color, but it can be more naturally compensated by the color correction process described below.
  • 16 is a flowchart illustrating a color correction method for generating a 3D virtual model according to an embodiment disclosed in the present application.
  • the same surface may be displayed in different colors due to different photographing environments between indoor photographing points.
  • a difference in color value of each face gives an unnatural feeling.
  • the computing device 300 provides processing for compensating for such color distortion, that is, color distortion caused by a difference in photographing environments between indoor photographing points, which will be described with reference to FIG. 16 .
  • the computing device 300 may perform correction between color images and correction between adjacent faces with respect to the first 3D model for which texturing has been completed.
  • the computing device 300 may set an image subset by associating color images captured at adjacent capturing points (S1601). A plurality of color image subsets may be set. The computing device 300 may perform global color correction for each color image subset based on a correction weight between color images associated with the corresponding color image subset (S1602). This global color correction is performed on the entire image.
  • the computing device 300 may determine a primary color for color images associated with the color image subset.
  • the main color may be gray
  • a main color weight may be set for gray, which is the main color.
  • the main color weight may be set from the difference between the average values of the main colors of the associated color images.
  • a correction weight is set larger, and color correction may be performed on each color image based on the correction weight. If the global color correction is performed in this way, since the color image itself has been corrected, texturing may be re-performed based on the corrected image.
  • the computing device 300 may perform local color correction based on the difference between the faces.
  • the computing device 300 may set a plurality of face subsets by associating adjacent faces (S1603).
  • the computing device 300 may perform local color correction for each of the face subsets by setting color differences between faces constituting the face subsets to be equalized (S1604). Since this color difference leveling can be applied in various ways, it is not limited to a specific method here.
  • FIG. 18 illustrates an example in which global color correction and local color correction are applied to the example of FIG. 17 . It can be seen from FIG. 17 that parts having a large color difference are corrected to a very similar color.
  • such color correction is used in combination with global correction and local correction, which means that in the present invention, where the shooting points are significantly spaced apart and the difference in shooting conditions is large, the 3D model can be expressed more naturally through such combined color correction.
  • control method performed by the computing device 300 may be implemented as a program and provided to the computing device 300 .
  • a program including a control method of the computing device 300 may be stored and provided in a non-transitory computer readable medium.
  • control method of the computing device 300 and the computer readable recording medium including the program for executing the control method of the computing device 300 have been briefly described, but this is only for omitting redundant description, and computing
  • control method of the device 300 and the computer readable recording medium including a program for executing the control method of the computing device 300 can also be applied.
  • the device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-temporary storage medium' only means that it is a tangible device and does not contain signals (e.g., electromagnetic waves), and this term refers to the case where data is stored semi-permanently in the storage medium and temporary It does not discriminate if it is saved as .
  • a 'non-temporary storage medium' may include a buffer in which data is temporarily stored.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Architecture (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

본 출원의 일 기술적 측면에 따른 3차원 가상모델 생성을 위한 텍스처링 방법은, 컴퓨팅 장치에서 수행 가능한 방법으로서, 원본 학습 이미지와 그에 대한 홀 생성 학습 이미지 -상기 홀 생성 학습 이미지는 상기 원본 학습 이미지를 기초로 적어도 하나의 홀이 생성된 이미지임- 를 획득하는 동작, 뉴럴 네트워크를 이용하여 상기 홀 생성 학습 이미지에 대하여 홀 필링을 수행하여 홀 필링 학습 이미지를 생성하는 동작, 각각의 상기 홀 필링 학습 이미지와 상기 원본 학습 이미지 대하여 구형 변환을 수행하는 동작 및 구형 변환된 홀 필링 학습 이미지와 구형 변환된 원본 학습 이미지 간의 차이를 기초로 상기 뉴럴 네트워크를 트레이닝 하는 동작을 포함할 수 있다.

Description

3차원 가상모델 생성을 위한 텍스처링 방법 및 그를 위한 컴퓨팅 장치
본 출원은 실내 공간에 대한 3차원 가상모델 생성을 위한 텍스처링 방법 및 그를 위한 컴퓨팅 장치에 관한 것이다.
근래에 들어서는 실제 공간에 대응되는 온라인 상의 가상 공간을 제공받음으로써, 사용자가 직접 실제 공간에 방문하지 않고서도 실제 공간에 있는 듯한 체험이 가능한 가상공간 구현기술이 개발되고 있다.
이러한 현실공간 기반의 가상 기술은 디지털 트윈 또는 메타버스(metaverse) 구현을 위한 기술로서, 다양한 개발이 이루어지고 있다.
이러한 가상공간을 구현하기 위해서는, 구현하고자 하는 실제 공간을 대상으로 촬영된 평면 이미지를 획득하고, 이를 기초로 입체적인 가상 이미지, 즉, 3차원 모델을 생성하여 가상 공간을 제공하는 과정이 필요하다.
이러한 3차원 모델은 실내 공간 내부의 여러 지점에서 촬영된 데이터를 기초로 생성된다. 이러한 경우, 3차원 모델을 구성하기 위해서, 실내 공간의 여러 지점에서 360도로 취득된 색상 및 거리 데이터들을 수집하고, 이를 기반으로 3차원 모델을 생성한다.
특히, 이러한 실내 공간에 대응되는 가상 공간을 생성하기 위한 각 지점들은 수 미터 거리와 같이 서로 상당히 이격되어 있으므로, 이러한 데이터를 기반으로 3차원 모델에 대한 텍스처링의 품질을 양호하게 가져가기 어려운 한계가 있다.
본 출원의 일 기술적 측면은 상기한 종래 기술의 문제점을 해결하기 위한 것으로, 본 출원에 개시되는 일 실시예에 따르면, 실내의 여러 지점에서 생성된 복수의 이미지 중에서 3D 모델의 페이스에 적합한 이미지를 효과적으로 선택하는 것을 목적으로 한다.
본 출원에 개시되는 일 실시예에 따르면, 실내의 여러 다른 지점 간의 상이한 촬영 조건에 의하여 발생하는 칼라 불균형을 보다 정확하게 보상하는 것을 목적으로 한다.
본 출원의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 출원의 일 기술적 측면은 3차원 가상모델 생성을 위한 텍스처링 방법을 제안한다. 상기 3차원 가상모델 생성을 위한 텍스처링 방법은, 실내 공간의 복수의 촬영 지점에서 각각 생성되는 복수의 데이터 셋-상기 데이터 셋은 색상 이미지, 깊이 이미지 및 각 지점의 위치 정보를 포함함-을 기초로 3차원 가상모델을 생성하는 컴퓨팅 장치에서 수행 가능한 방법으로서, 상기 실내 공간의 복수의 촬영 지점에서 각각 생성된 복수의 데이터 셋을 기초로 3차원 메쉬 모델을 생성하는 단계, 상기 3차원 메쉬 모델에 포함된 복수의 페이스 중 제1 페이스를 선택하고, 상기 제1 페이스와 연관된 복수의 색상 이미지 중에서 상기 제1 페이스에 적합한 어느 하나의 제1 색상 이미지를 선택하는 단계, 선택된 어느 하나의 제1 색상 이미지에서 상기 제1 페이스에 대응되는 로컬 영역을 선택하여 상기 제1 페이스에 매핑하여 텍스처링을 수행하는 단계 및 상기 3차원 메쉬 모델에 포함된 복수의 페이스 중에서 상기 제1 페이스를 제외한 나머지 페이스들에 대해서도 색상 이미지의 선택 과정 및 텍스처링 과정을 수행하여 제1 3D 모델을 생성하는 단계를 포함할 수 있다.
본 출원의 다른 일 기술적 측면은 컴퓨팅 장치를 제안한다. 상기 컴퓨팅 장치는, 하나 이상의 인스트럭션을 저장하는 메모리 및 상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써, 상기 실내 공간의 복수의 촬영 지점에서 각각 생성된 복수의 데이터 셋-상기 데이터 셋은 색상 이미지, 깊이 이미지 및 각 지점의 위치 정보를 포함함-을 기초로 3차원 메쉬 모델을 생성하고, 상기 3차원 메쉬 모델에 포함된 복수의 페이스 중 제1 페이스를 선택하고, 상기 제1 페이스와 연관된 복수의 색상 이미지 중에서 상기 제1 페이스에 적합한 어느 하나의 제1 색상 이미지를 선택하고, 선택된 어느 하나의 제1 색상 이미지에서 상기 제1 페이스에 대응되는 로컬 영역을 선택하여 상기 제1 페이스에 매핑하여 텍스처링을 수행하고, 상기 3차원 메쉬 모델에 포함된 복수의 페이스 중에서 상기 제1 페이스를 제외한 나머지 페이스들에 대해서도 색상 이미지의 선택 과정 및 텍스처링 과정을 수행하여 제1 3D 모델을 생성할 수 있다.
본 출원의 다른 일 기술적 측면은 저장 매체를 제안한다. 상기 저장 매체는, 컴퓨터 판독 가능한 인스트럭션들(instructions)을 저장하고 있는 저장 매체이다. 상기 인스트럭션들은, 컴퓨팅 장치에 의해 실행될 때, 상기 컴퓨팅 장치로 하여금, 상기 실내 공간의 복수의 촬영 지점에서 각각 생성된 복수의 데이터 셋-상기 데이터 셋은 색상 이미지, 깊이 이미지 및 각 지점의 위치 정보를 포함함-을 기초로 3차원 메쉬 모델을 생성하는 동작, 상기 3차원 메쉬 모델에 포함된 복수의 페이스 중 제1 페이스를 선택하고, 상기 제1 페이스와 연관된 복수의 색상 이미지 중에서 상기 제1 페이스에 적합한 어느 하나의 제1 색상 이미지를 선택하는 동작, 선택된 어느 하나의 제1 색상 이미지에서 상기 제1 페이스에 대응되는 로컬 영역을 선택하여 상기 제1 페이스에 매핑하여 텍스처링을 수행하는 동작 및 상기 3차원 메쉬 모델에 포함된 복수의 페이스 중에서 상기 제1 페이스를 제외한 나머지 페이스들에 대해서도 색상 이미지의 선택 과정 및 텍스처링 과정을 수행하여 제1 3D 모델을 생성하는 동작을 수행하도록 할 수 있다.
상기한 과제의 해결 수단은, 본 출원의 특징을 모두 열거한 것은 아니다. 본 출원의 과제 해결을 위한 다양한 수단들은 이하의 상세한 설명의 구체적인 실시형태를 참조하여 보다 상세하게 이해될 수 있을 것이다.
본 출원에 따르면 다음과 같은 효과가 하나 혹은 그 이상 있다.
본 출원에 개시되는 일 실시예에 따르면, 3D 모델의 페이스에 적합한 이미지를 효과적으로 선택함으로써, 실내에서 서로 이격된 여러 지점에서 촬영되는 이미지를 기반으로 하는 3D 생성 환경에서도 보다 정확한 텍스처링을 제공할 수 있는 효과가 있다.
본 출원에 개시되는 일 실시예에 따르면, 실내의 여러 다른 지점 간의 상이한 촬영 조건에 의하여 발생하는 칼라 불균형을 정확하게 보상하여, 가상의 실내 공간의 각 면에 대하여 이질감을 최소화하고 보다 실제 공간과 유사한 가상 공간의 텍스처를 제공할 수 있는 효과가 있다.
본 출원의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 출원에 개시되는 일 실시예에 따른 3차원 가상모델 생성을 위한 텍스처링 방법을 제공하는 시스템을 설명하기 위한 하나의 예시 도면이다.
도 2는 본 출원에 개시되는 일 실시예에 따른 컴퓨팅 장치를 설명하는 블록 구성도이다.
도 3은 본 출원에 개시되는 일 실시예에 따른 3차원 가상모델 생성을 위한 텍스처링 방법을 설명하는 순서도이다.
도 4 내지 도 7은 본 출원에 개시되는 일 실시예에 따른 색상 이미지의 취득 예를 설명하는 도면이다.
도 8은 본 출원에 개시되는 일 실시예에 따른 3차원 가상모델 생성을 위한 색상 이미지 선정 방법을 설명하는 순서도이다.
도 9 내지 도 12는 본 출원에 개시되는 일 실시예에 따른 색상 이미지의 선정 예를 설명하는 도면이다.
도 13은 본 출원에 개시되는 일 실시예에 따른 3차원 가상모델 생성을 위한 언씬 페이스 설정 방법을 설명하는 순서도이다.
도 14 내지 도 15는 본 출원에 개시되는 일 실시예에 따른 언씬 페이스 설정 예를 설명하는 도면이다.
도 16은 본 출원에 개시되는 일 실시예에 따른 3차원 가상모델 생성을 위한 색상 보정 방법을 설명하는 순서도이다.
도 17 내지 도 18은 본 출원에 개시되는 일 실시예에 따른 색상 보정 예를 설명하는 도면이다.
이하, 첨부된 도면을 참조하여 본 출원의 바람직한 실시 형태들을 설명한다.
그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 본 개시의 실시 예의 다양한 변경(modifications), 균등물(equivalents), 및/또는 대체물(alternatives)을 포함하는 것으로 이해되어야 한다
본 개시를 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략한다.
본 개시에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 권리범위를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 개시에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 출원에서, "A 또는 B", "A 및 B 중 적어도 하나","A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나" 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다.
"제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예를 들어, 중요성 또는 순서)에서 한정하지 않는다.
어떤(예를 들어, 제 1) 구성요소가 다른(예를 들어, 제 2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드", "커넥티드" 또는 "연결된" 이라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 개시에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)"것 만을 반드시 의미하지 않을 수 있다.
대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
실시 예에 있어서 '모듈' 혹은 '부'는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 '모듈' 혹은 복수의 '부'는 특정한 하드웨어로 구현될 필요가 있는 '모듈' 혹은 '부'를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다
본 출원의 다양한 실시 예들은 기기(machine)-예를 들어, 사용자 단말기(500)이나 컴퓨팅 장치(300)-에 의해 읽을 수 있는 저장 매체(storage medium)에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예를 들어, 프로그램)로서 구현될 수 있다. 예를 들면, 프로세서(330)는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 장치가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 실재(tangible)하는 장치이고, 신호(signal)(예를 들어, 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
본 출원의 실시형태를 설명하기 위하여 다양한 순서도가 개시되고 있으나, 이는 각 단계 또는 동작의 설명의 편의를 위한 것으로, 반드시 순서도의 순서에 따라 각 단계가 수행되는 것은 아니다. 즉, 순서도에서의 각 단계는, 서로 동시에 수행되거나, 순서도에 따른 순서대로 수행되거나, 또는 순서도에서의 순서와 반대의 순서로도 수행될 수 있다.
도 1은 본 출원에 개시되는 일 실시예에 따른 3차원 가상모델 생성을 위한 텍스처링 방법을 제공하는 시스템을 설명하기 위한 하나의 예시 도면이다.
3차원 가상모델 생성을 위한 텍스처링 방법을 제공하는 시스템은 이미지 취득 장치(100), 컴퓨팅 장치(300) 및 사용자 단말기(500)를 포함할 수 있다.
이미지 취득 장치(100)는 구형 가상 이미지를 생성하는데 사용되는, 색상 이미지 및 깊이 맵 이미지를 생성하는 장치이다.
도시된 예에서, 이미지 취득 장치(100)는 거리측정 장치, 도시된 예에서 깊이 스캐너 및 카메라를 포함할 수 있다.
카메라는 촬영 기능을 제공하는 기기로서, 피사 영역(촬상 영역)에 대하여 색으로 표현되는 색상 이미지를 생성한다.
본 출원 명세서에서, 색상 이미지는 색으로 표현되는 이미지를 모두 포괄하는 것으로서, 특정한 표현 방식으로 제한하는 것은 아니다. 따라서, 색상 이미지는 RGB(Red Green Blue)로 표현되는 RFG 이미지 뿐만 아니라, CMYK(Cyan Magenta Yellow Key)로 표현되는 CMYK 이미지 등 다양한 표준으로 적용 가능하다.
일 예로, 카메라는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), PDA(personal digital assistants), 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 촬영 디바이스(wearable device, 예를 들어, 글래스형 단말기 (smart glass)) 등이 사용될 수도 있다.
깊이 스캐너는 피사 영역에 대하여 깊이 정보를 생성하여 깊이 맵 이미지를 생성할 수 있는 장치이다.
본 출원 명세서에서, 깊이 맵 이미지는 피사 공간에 대하여 깊이 정보를 포함하는 이미지이다. 예컨대, 깊이 맵 이미지에서의 각 픽셀은, 촬상 지점에서 촬영된 피사 공간의 각 지점-각 픽셀에 대응되는 지점-까지의 거리 정보 일 수 있다.
깊이 스캐너는 거리 측정을 위한 소정의 센서, 예컨대, 라이다(LiDAR) 센서, 적외선 센서, 초음파 센서 등을 포함할 수 있다. 또는, 깊이 스캐너는 센서를 대체하여 거리 정보를 측정할 수 있는 스테레오 카메라(stereo camera), 스테레오스코픽 카메라(stereoscopic camera), 3D 깊이 카메라(3D, depth camera) 등을 포함할 수 있다.
카메라는 색상 이미지를 생성하고, 깊이 스캐너는 깊이 맵(Depth map)를 생성한다. 카메라에 의하여 생성된 색상 이미지와 깊이 스캐너에 의하여 생성된 깊이 맵 이미지는 동일한 피사 영역에 대하여 동일한 조건(예컨대, 해상도 등)을 대상으로 생성될 수 있으며, 서로 1:1로 매칭된다.
깊이 스캐너와 카메라는 실존하는 실내 공간에 대하여 360도 파노라마 이미지 형태, 즉, 각각 360도 깊이 맵 파노라마 이미지와 360도 색상 파노라마 이미지를 생성할 수 있고, 이를 컴퓨팅 장치(300)에 제공할 수 있다.
깊이 스캐너는, 이러한 360도 촬영이 수행된 실내의 여러 지점 각각에 대한 거리 정보를 생성할 수 있다. 이러한 거리 정보는 상대적인 거리 정보 일 수 있다. 예를 들어, 깊이 스캐너는, 실내 공간에 대한 평면도를 구비하고 사용자의 입력에 따라 평면도 내에서 최초의 시작 실내 지점을 입력받을 수 있다. 이후, 깊이 스캐너는, 영상 분석 및/또는 이동감지 센서-예컨대, 3축 가속도 센서 및/또는 자이로 센서 등-를 기초로 상대적인 거리 이동 정보를 생성할 수 있다. 예컨대, 시작 실내 지점으로부터의 상대적인 거리 이동 정보를 기초로 제2 실내 지점에 대한 정보를 생성하고, 제2 실내 지점으로부터의 상대적인 거리 이동 정보를 기초로 제3 실내 지점에 대한 정보를 생성할 수 있다. 이러한 거리 정보의 생성은 카메라에 의하여 수행될 수도 있다.
일 실시예예서, 깊이 스캐너와 카메라는 하나의 이미지 취득 장치로서 구현 가능하다. 예를 들어, 이미지 취득 장치(100)는, 이미지 취득을 위한 카메라와 거리 측정을 위한 라이다(LiDAR) 센서를 포함하는 스마트폰 일 수 있다.
깊이 스캐너 또는 카메라는 촬영 높이에 대한 정보를 저장하여 컴퓨팅 장치(300)에 제공할 수 있다. 이러한 촬영 높이 정보는 컴퓨팅 장치(300)에서 3차원 모델을 생성하는데 사용될 수 있다.
깊이 맵 이미지와 색상 이미지는 360도 파노라마 이미지일 수 있으며, 설명의 편의를 위하여, 깊이 맵 이미지와 색상 이미지로 통칭한다. 이러한 깊이 맵 이미지와 색상 이미지는 360도 이미지를 제공하기 위하여 적합한 형태의 파노라마 이미지, 예컨대, 등장방형 투영 파노라마 이미지일 수도 있다.
사용자 단말기(500)는 사용자가 컴퓨팅 장치(300)에 접속하여 실내 공간에 대응되는 가상의 3D 모델을 체험할 수 있는 전자 기기로서, 예를 들어, 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 퍼스널 컴퓨터(PC), 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(wearable device, 예를들어, 워치형 단말기 (smartwatch), 글래스형 단말기 (smart glass), HMD(head mounted display)) 등을 포괄한다. 그러나, 그 외에도 사용자 단말기(500)는 VR(Virtual Reality), AR(Augmented Reality)에 사용되는 전자 기기를 포함할 수 있다.
컴퓨팅 장치(300)는 실내의 여러 지점에서 각각 생성된 색상 이미지와 깊이 맵 이미지를 이용하여, 실내 공간에 대응되는 3차원 가상공간인 3차원 가상 모델을 생성할 수 있다.
컴퓨팅 장치(300)는 현실 공간에 대응되는 가상 공간으로서, 실내의 복수의 촬영 지점에서 생성된 색상 이미지 및 깊이 이미지를 기초로 3D 모델을 생성할 수 있다. 3D 모델은 깊이 정보가 반영된 가상 모델로서, 실제와 동등한 입체적인 공간을 제공할 수 있다.
컴퓨팅 장치(300)는 실내 공간의 복수의 촬영 지점에서 각각 생성되는 복수의 데이터 셋-상기 데이터 셋은 색상 이미지, 깊이 이미지 및 각 지점의 위치 정보를 포함함-을 기초로, 3차원 상에 복수의 포인트 집합-예컨대, 포인트 클라우드-를 생성하고, 이러한 포인트 집합을 기초로 3D 메쉬 모델을 생성할 수 있다. 3D 메쉬 모델은, 포인트 클라우드를 기초로 선정된 복수의 버텍스를 기초로, 복수의 페이스를 설정하여 만들어지는 메쉬 모델일 수 있다. 일 예로, 인접한 3개의 버텍스를 기준으로 하나의 페이스를 생성할 수 있으며, 각각의 페이스는 3개의 꼭지점으로 설정되는 평평한 삼각형일 수 있다.
3D 메쉬 모델에서 각각의 페이스가 결정되면, 컴퓨팅 장치(300)는 각각의 페이스와 연관된 색상 이미지를 기초로 각각의 페이스의 색상값을 설정할 수 있다. 페이스와 연관된 색상 이미지는 페이스에 수직하는 방향 벡터를 기준으로 설정될 수 있다.
컴퓨팅 장치(300)는 각각의 페이스의 색상값을 설정하기 위하여 하나의 색상 이미지를 선택할 수 있고, 이를 위하여 각각의 색상 이미지에 대하여 복수의 가중치 요소를 산출한 후 이를 기초로 가중치를 산정할 수 있다. 컴퓨팅 장치(300)는 가중치를 기초로 어느 하나의 색상 이미지를 선택할 수 있다.
컴퓨팅 장치(300)는 언씬 페이스에 대한 색 채우기를 수행할 수 있다. 언씬(Unseen) 페이스는, 촬상 이미지에 표시되지 않는 페이스를 의미한다. 예를 들어, 촬영 지점보다 높은 평면-예컨대, 냉장고의 윗면 등-의 경우, 카메라에 의하여 촬영되지 않으므로 언씬 페이스로 설정된다. 컴퓨팅 장치(300)는 버텍스의 컬러 정보를 기초로 이러한 언씬 페이스에 색상을 채울(filling)수 있다.
컴퓨팅 장치(300)는 각각의 페이스에 대하여 색상 채움이 완료되어 생성되는 3D 모델에 대하여 색상 보정을 수행할 수 있다. 본 출원에서 동일한 카메라로 촬영한다고 하더라도, 실내 공간의 여러 지점에서의 촬영 조건은 서로 상이하다. 밝기의 정도, 추가적인 광원, 광원의 색상 등 같은 실내 공간이라 하더라도 실내 공간의 각 지점에서의 촬영 조건이 상이하다. 예를 들어, 창가의 실내 촬영 지점에서는 태양에 의한 자연광이 추가되고, 조명이 꺼진 실내 촬영 지점에서는 조도가 낮게 나와 카메라의 촬영 조건이 변경될 수 있다. 이와 같이, 실내 공간의 여러 지점은 촬영 조건이 상이하므로, 동일한 피사체에 대해서도 각 색상 이미지는 서로 다른 색상값을 가지게 된다. 따라서, 하나의 피사체가 복수의 페이스를 가지고, 각각의 페이스가 서로 다른 색상 이미지를 기초로 텍스처링 된다면, 하나의 피사체의 색상 표현에 얼룩이 발생할 수 있다. 컴퓨팅 장치(300)는 이러한 얼룩을 보상하기 위하여 색상 보정을 수행할 수 있다. 이러한 색상 보정은, 실내 공간의 여러 촬영 지점 간의 차이에 의한 요소를 반영하여 수행될 수 있다.
이상에서 살펴본 바와 같이, 본 출원 발명에서의 3D 모델은, 실내 공간에 대응되는 가상 공간을 생성하기 위한 조건에 의하여 특수한 환경을 가진다. 즉, 실내 공간에 대한 색상 이미지 및 깊이 이미지를 획득하는 것이 요구되며, 이를 위하여 실내의 복수의 촬영 지점에서 색상 이미지 및 깊이 이미지를 획득하게 된다. 한편, 이미지를 획득하는 실내 지점이 많을수록 3D 모델에 대한 데이터량이 많아지므로 3D 모델의 표현이 향상되나, 본 출원의 실시예들에서는 컴퓨팅 장치(300)에서의 처리에 따라 이러한 3D 모델의 표현, 예컨대 텍스처링을 향상시킬 수 있으며, 그에 따라 실내 이미지 획득을 위한 실내 촬영 지점의 수를 적정한 수로 설정하여도 높은 품질의 3D 모델을 획득하도록 한다.
이하, 도 2 내지 도 15를 참조하여 이러한 컴퓨팅 장치(300)에 대하여 보다 상세히 설명한다.
도 2는 본 출원에 개시되는 일 실시예에 따른 컴퓨팅 장치를 설명하는 블록 구성도이다.
도 2에 도시된 바와 같이, 본 개시의 일 실시 예에 따른 컴퓨팅 장치(300)는 통신모듈(310), 메모리(320) 및 프로세서(330)를 포함할 수 있다. 그러나, 이와 같은 구성은 예시적인 것으로서, 본 개시를 실시함에 있어 이와 같은 구성에 더하여 새로운 구성이 추가되거나 일부 구성이 생략될 수 있음을 물론이다.
통신모듈(310)은 회로를 포함하며, 외부 장치(서버를 포함함)와의 통신을 수행할 수 있다. 구체적으로, 프로세서(330)는 통신모듈(310)을 통해 연결된 외부 장치로부터 각종 데이터 또는 정보를 수신할 수 있으며, 외부 장치로 각종 데이터 또는 정보를 전송할 수도 있다.
통신모듈(310)은 WiFi 모듈, Bluetooth 모듈, 무선 통신 모듈, 및 NFC 모듈 중 적어도 하나를 포함할 수 있으며, IEEE, Zigbee, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), 5G(5th Generation) 등과 같은 다양한 통신 규격에 따라 통신을 수행할 수 있다.
메모리(320)에는 컴퓨팅 장치(300)에 관한 적어도 하나의 명령이 저장될 수 있다. 메모리(320)에는 컴퓨팅 장치(300)를 구동시키기 위한 O/S(Operating System)가 저장될 수 있다. 또한, 메모리(320)에는 본 개시의 다양한 실시 예들에 따라 컴퓨팅 장치(300)가 동작하기 위한 각종 소프트웨어 프로그램이나 애플리케이션이 저장될 수도 있다. 그리고, 메모리(320)는 플래시 메모리(Flash Memory) 등과 같은 반도체 메모리나 하드디스크(HardDisk) 등과 같은 자기 저장 매체 등을 포함할 수 있다.
구체적으로, 메모리(320)에는 본 개시의 다양한 실시 예에 따라 컴퓨팅 장치(300)가 동작하기 위한 각종 소프트웨어 모듈이 저장될 수 있으며, 프로세서(330)는 메모리(320)에 저장된 각종 소프트웨어 모듈을 실행하여 컴퓨팅 장치(300)의 동작을 제어할 수 있다. 즉, 메모리(320)는 프로세서(330)에 의해 액세스되며, 프로세서(330)에 의한 데이터의 독취/기록/수정/삭제/갱신 등이 수행될 수 있다.
그 밖에도 본 개시의 목적을 달성하기 위한 범위 내에서 필요한 다양한 정보가 메모리(320)에 저장될 수 있으며, 메모리(320)에 저장된 정보는 외부 장치로부터 수신되거나 사용자에 의해 입력됨에 따라 갱신될 수도 있다.
프로세서(330)는 하나 이상의 프로세서로 구성될 수 있다.
프로세서(330)는 컴퓨팅 장치(300)의 전반적인 동작을 제어한다. 구체적으로, 프로세서(330)는 상술한 바와 같은 통신부(310) 및 메모리(320)를 포함하는 컴퓨팅 장치(300)의 구성과 연결되며, 상술한 바와 같은 메모리(320)에 저장된 적어도 하나의 명령을 실행하여 컴퓨팅 장치(300)의 동작을 전반적으로 제어할 수 있다.
프로세서(330)는 다양한 방식으로 구현될 수 있다. 예를 들어, 프로세서(330)는 주문형 집적 회로(Application Specific Integrated Circuit, ASIC), 임베디드 프로세서, 마이크로 프로세서, 하드웨어 컨트롤 로직, 하드웨어 유한 상태 기계(hardware Finite State Machine, FSM), 디지털 신호 프로세서(Digital Signal Processor, DSP) 중 적어도 하나로 구현될 수 있다. 한편, 본 개시에서 프로세서(330)라는 용어는 CPU(Central Processing Unit), GPU(Graphic Processing Unit) 및 MPU(Main Processing Unit)등을 포함하는 의미로 사용될 수 있다.
도 3은 본 출원에 개시되는 일 실시예에 따른 3차원 가상모델 생성을 위한 텍스처링 방법을 설명하는 순서도이다.
도 3을 참조하면, 컴퓨팅 장치(300)는 이미지 취득 장치(100)로부터 복수의 실내 공간의 각 실내 지점에서 각각 생성된 복수의 데이터 셋을 제공받는다(S301). 여기에서, 데이터 셋은 해당 지점에서 촬영된 색상 이미지, 깊이 이미지 및 해당 실내 지점에 대한 위치 정보를 포함한다.
컴퓨팅 장치(300)는 복수의 데이터 셋을 기반으로 실내 공간에 대한 3D 모델을 생성하기 위한 3차원 메쉬 모델을 생성한다(S302).
3차원 메쉬 모델은 각 실내 지점에 대하여 색상 이미지 및 깊이 이미지를 기초로 생성되는 복수의 포인트 집합-예컨대 포인트 클라우드-을 생성하고, 이들을 위치 정보를 기초로 3차원 공간 상에 배치함으로서 생성될 수 있다.
컴퓨팅 장치(300)는 포인트 클라우드를 기초로 복수의 버텍스를 선정하고, 선정된 복수의 버텍스를 기초로 복수의 페이스를 설정하여 3차원 메쉬 모델을 생성할 수 있다. 일 예로, 컴퓨팅 장치(300)는 인접한 3개의 버텍스를 기준으로 하나의 삼각형 페이스를 설정할 수 있다.
이러한 3차원 메쉬 모델에서의 페이스에는 색상값이 설정되지 않은 상태이므로, 컴퓨팅 장치(300)는 각각의 페이스에 대한 색상값을 설정하기 위하여, 즉, 텍스처링을 수행하기 위하여 단계 S303 내지 S304를 반복하여 수행한다.
컴퓨팅 장치(300)는 3차원 메쉬 모델에 포함된 복수의 페이스 중 어느 하나(제1) 페이스를 선택하고, 제1 페이스와 연관된 복수의 색상 이미지 중에서 제1 페이스에 적합한 어느 하나의 제1 색상 이미지를 선택할 수 있다(S303).
여기에서, 제1 페이스와 연관된 색상 이미지를 선정함에 있어서, 컴퓨팅 장치(300)는 제1 페이스에 수직하는 단위 벡터를 산출하고 이를 기반으로 해당 단위 벡터에 대응되는 촬영 각도를 가지는 적어도 하나의 색상 이미지를, 해당 페이스와 연관된 색상 이미지로서 선정할 수 있다. 이는, 색상 이미지의 촬영 시, 해당 색상 이미지의 촬영 각도에 대한 정보가 함께 생성되므로, 색상 이미지에 대한 촬영 높이 및 촬영 각도 정보를 기초로 제1 페이스와 연관된, 즉, 제1 페이스가 찍혀있는 색상 이미지를 선정할 수 있다. 예컨대, 컴퓨팅 장치(300)는 제1 페이스에 수직하는 단위 벡터와, 그에 소정 각도 내에서 대향하는, 즉, 소정 각도 내로 서로 마주보는 촬영 각도를 가지는 색상 이미지를, 해당 페이스와 연관된 색상 이미지로서 선정할 수 있다.
컴퓨팅 장치(300)는 페이스와 연관된 색상 이미지 중에서, 해당 페이스에 적합한 어느 하나의 색상 이미지를 선별할 수 있다. 예컨대, 컴퓨팅 장치(300)는 연관된 색상 이미지 각각에 대하여 복수의 가중치 요소를 산출한 후 이를 기초로 가중치를 산정한 후, 가중치를 기초로 어느 하나의 색상 이미지를 선택할 수 있다.
일 예로, 제1 페이스에 매칭되는 제1 색상 이미지는, 3차원 메쉬 모델과 연관된 복수의 색상 이미지 중에서 제1 페이스에 대한 촬영 방향, 해상도 및 컬러 노이즈를 기준으로 평가하여 선별될 수 있다.
컴퓨팅 장치(300)는 선택된 어느 하나의 색상 이미지에서, 제1 페이스에 대응되는 로컬 영역을 선택하여 제1 페이스에 매핑하여 텍스처링을 수행할 수 있다(S304).
컴퓨팅 장치(300)는 각각의 색상 이미지의 촬영 위치에 대한 정보를 가지고 있으므로, 각각의 색상 이미지에서의 각 객체와 3D 메쉬 모델의 각 객체를 서로 투영하여 매핑할 수 있다. 따라서, 이러한 2차원 색상 이미지와 3차원 메쉬 모델의 투영 매핑을 기초로, 해당 페이스에 대응되는 2차원 색상 이미지에서의 로컬 영역을 선택할 수 있다.
컴퓨팅 장치(300)는 3차원 메쉬 모델의 모든 페이스에 대하여, 상술한 단계 S303 내지 S304를 반복하여, 각 페이스에 대하여 색상 정보를 생성하여 텍스처링을 수행할 수 있다(S305). 이와 같이 생성된 3D 모델은 각 색상 이미지 간의 색상 보정이 이루어지지 않은 상태이므로, 동일한 면에 대해서도 얼룩이 발생할 수 있다. 이는 전술한 바와 같이, 실내의 각 촬영 지점에서의 촬영 환경이 상이하기 때문이다.
컴퓨팅 장치(300)는, 이러하니 실내의 각 촬영 지점에서의 촬영 환경에 의한 색상 차이를 보정하기 위하여, 컬러 조정을 수행할 수 있다(S306).
도 4 내지 도 7은 본 출원에 개시되는 일 실시예에 따른 색상 이미지의 취득 예를 설명하는 도면으로서, 이들을 참조하여 설명한다.
도 4는 일 예로서 실내 공간 내의 육면체 피사체와, 이에 대하여 실내의 제1 촬영 지점 PP1과 제2 촬영 지점 PP2를 도시하는 사시도이고, 도 5는 도 4에 대응되는 평면도이다. 도 6은 제1 촬영 지점 PP1에서 촬영된 색상 이미지의 일 예를, 도 7은 제2 촬영 지점 PP2에서 촬영된 색상 이미지의 일 예를 도시한다.
도 6 및 도 7은 동일한 피사체에 대하여 색상 이미지를 촬영하였으나, 도 7에서는 음영에 의한 색상 변화가 발생한 예를 도시하고 있다.
도 8은 본 출원에 개시되는 일 실시예에 따른 3차원 가상모델 생성을 위한 색상 이미지 선정 방법을 설명하는 순서도이다.
도 8에 도시된 순서도는, 제1 페이스와 연관되는 복수의 색상 이미지 중에서, 제1 페이스에 매핑될 제1 색상 이미지를 선택하는 과정에 대한 것이다. 도 9 내지 도 12는 본 출원에 개시되는 일 실시예에 따른 색상 이미지의 선정 예를 설명하는 도면으로 이를 더 참조하여 설명한다.
도 8을 참조하면, 컴퓨팅 장치(300)는 3차원 메쉬 모델의 제1 페이스에 대한 기준 벡터, 즉, 제1 페이스에 수직하는 제1 방향 벡터를 설정할 수 있다(S801).
컴퓨팅 장치(300)는 제1 페이스와 연관된 복수의 색상 이미지에 대해, 제1 방향 벡터와 방향적 연관성을 가지는 제1 가중치 요소를 각각 산정할 수 있다(S802).
컴퓨팅 장치(300)는 제1 페이스와 연관된 복수의 색상 이미지들의 촬영 방향을 확인하고, 제1 페이스의 제1 방향 벡터와 상기 촬영 방향 간의 방향적 연관성을 기초로 제1 가중치 요소를 산정할 수 있다. 예컨대, 제1 페이스의 제1 방향 벡터와 촬영 방향 간의 각도가 적을수록 보다 높은 가중치 요소가 산정될 수 있다.
컴퓨팅 장치(300)는 제1 페이스와 연관된 복수의 색상 이미지에 대해, 해상도에 대한 제2 가중치 요소를 각각 산정할 수 있다(S803).
일 예로, 컴퓨팅 장치(300)는 상기 복수의 색상 이미지 자체에 대한 해상도를 확인하고, 이를 기반으로 제2 가중치 요소를 산정할 수 있다. 즉, 높은 해상도를 가질수록 높은 제2 가중치 요소를 가지도록 산정할 수 있다.
다른 예로, 컴퓨팅 장치(300)는 텍스처링의 대상이 되는 객체 또는 해당 객체의 일부인 페이스를 식별하고, 식별된 객체 또는 페이스의 해상도를 기초로 제2 가중치 요소를 산정할 수 있다. 이러한 객체 또는 페이스에 대한 해상도는 촬영 지점에서의 객체간의 거리에 반비례하여 설정되므로, 거리 상 유리한 색상 이미지에게 높은 제2 가중치가 부여된다.
컴퓨팅 장치(300)는 제1 페이스와 연관된 복수의 색상 이미지에 대해, 컬러 노이즈에 대한 제3 가중치 요소를 각각 산정할 수 있다(S804).
컴퓨팅 장치(300)는 각 색상 이미지에 대하여 컬러 노이즈를 산출할 수 있다. 컬러 노이즈를 산출하기 위하여, DCGAN(Deep Convolutional Generative Adversarial Network)을 이용한 비지도 학습, Enlighten GAN을 이용한 방법 등 다양한 방법론들이 적용될 수 있다.
컴퓨팅 장치(300)는 컬러 노이즈가 적을수록 높은 제3 가중치 요소가 부여되도록 할 수 있다.
컴퓨팅 장치(300)는 제1 가중치 요소 내지 제3 가중치 요소를 반영하여, 상기 복수의 색상 이미지 각각에 대하여 가중치를 산출할 수 있다. 컴퓨팅 장치(300)는 가장 높은 가중치를 가지는 하나의 색상 이미지를, 제1 페이스와 매핑되는 제1 이미지로서 선정할 수 있다(S805).
제1 가중치 요소 내지 제3 가중치 요소의 반영에는 다양한 알고리즘이 적용 가능하다. 예컨대, 컴퓨팅 장치(300)는 제1 가중치 요소 내지 제3 가중치 요소를 단순 합산하거나, 또는 이들의 평균을 도출하는 등 다양한 방식으로 가중치를 산정할 수 있다.
상술한 예에서는 제1 가중치 요소 내지 제3 가중치 요소를 모두 반영하는 것을 예시하였으나, 이에 한정되는 것은 아니다. 따라서, 제1 가중치 요소와 제2 가중치 요소를 기초로 가중치를 산정하거나, 또는 제1 가중치 요소와 제3 가중치 요소를 기초로 가중치를 산정하는 등의 변형 실시가 가능하다. 다만 이러한 변형에 있어서도, 제1 가중치 요소를 포함하는 것이 보다 높은 성능을 제공하는 요소이다.
도 9는 육면체 중 제1 페이스(Fc1)에 수직하는 제1 방향 벡터를 설정하는 예를 도시하고 있다. 도 9와 도 4에 도시된 예를 참조하면, 제1 촬영 지점 PP1이, 제2 촬영 지점 PP2보다 높은 제1 가중치를 가질 것을 알 수 있다.
도 10은 제1 촬영 지점 PP1에서의 색상 이미지에서 제1 페이스에 대응하는 로컬 영역(P1Fc1)을, 도 11은 제2 촬영 지점 PP2에서의 색상 이미지에서 제1 페이스에 대응하는 로컬 영역(P2Fc1)을 예시하고 있다.
도 10 및 도 11을 참조하면, 도 10에 도시된 제1 촬영 지점 PP1에서의 색상 이미지가, 도 11의 색상 이미지 보다 높은 해상도를 가지므로 제2 가중치 요소가 더 높을 것을 알 수 있다.
컬러 노이즈는 도 11에 도시된 제2 촬영 지점 PP2에서의 색상 이미지에서 보다 높게 설정될 것이므로, 따라서, 도 10에 도시된 제1 촬영 지점 PP1가 더 높은 제3 가중치 요소를 가질 것이다.
따라서, 제1 페이스에 대해서는 제1 촬영 지점 PP1에서의 색상 이미지가 선택될 것이고, 제1 촬영 지점 PP1에서의 색상 이미지에서의 로컬 영역(P1Fc1)을 제1 페이스에 매칭하여 제1 페이스에 대하여 텍스처링이 수행된 것을 도 12에서 도시하고 있다.
도 13은 본 출원에 개시되는 일 실시예에 따른 3차원 가상모델 생성을 위한 언씬 페이스 설정 방법을 설명하는 순서도이다.
상술한 과정을 통하여 각 페이스에 대하여 색상 이미지 매핑 및 텍스처링이 수행되는데, 일부 페이스의 경우에는 매핑할 이미지가 선택되지 않을 수 있다. 이러한 페이스는, 통상적으로 언씬 페이스라고 칭해지는데, 이는 이미지 촬영 각도 상 촬영이 불가능한 부분에서 발생한다.
도 14는 이런 언씬 페이스가 도시된 3D 모델을 도시한다. 언씬 페이스는 침대의 침구 뒤쪽, 세면대의 아래 부분, 탁자에 의하여 가려진 부분 등에 언씬 페이스가 발생함을 알 수 있다.
컴퓨팅 장치(300)는 이러한 언씬 페이스에 대하여 도 13에 도시된 바와 같이 색 채우기를 수행할 수 있다.
도 13을 참조하면, 컴퓨팅 장치(300)는 미촬영 영역에 의하여 발생하는 언씬 페이스를 설정할 수 있다(S1301). 컴퓨팅 장치(300)는 페이스에 매핑되는 색상 이미지가 없는 페이스를, 언씬 페이스로 설정할 수 있다.
컴퓨팅 장치(300)는 언씬 페이스와 연관된 복수의 버텍스 각각의 색상값을 확인한다(S1302).
각 페이스가 3개의 버텍스를 가지는 삼각형인 예를 들면, 컴퓨팅 장치(300)는 언씬 페이스를 구성하는 3개의 버텍스의 색상값을 확인할 수 있다. 일 예로, 버텍스의 색상값은, 버텍스를 구성하는 깊이 이미지의 픽셀에 대응되는 색상 이미지의 픽셀값으로 결정될 수 있다. 즉, 컴퓨팅 장치(300)는 어느 버텍스를 결정하기 위해 위치 정보를 도출하는데 사용되는 깊이 이미지를 선택할 수 있고, 또한 해당 깊이 이미지와 동일한 데이터 셋을 구성하는 색상 이미지를 선택할 수 있다. 컴퓨팅 장치(300)는 해당 깊이 이미지에서 버텍스에 대응되는 버텍스 연관 깊이 픽셀을 선택할 수 있고, 또한, 깊이 이미지에서 선택된 버텍스 연관 깊이 픽셀에 대응하는 어느 버텍스 연관 색상 픽셀을 색상 이미지에서 선택할 수 있다. 컴퓨팅 장치(300)는 버텍스 연관 색상 픽셀의 색상값을 해당 버텍스의 색상 값으로 설정할 수 있다.
컴퓨팅 장치(300)는 복수의 버텍스 각각의 색상값을 기초로 상기 언씬 페이스를 채울 수 있다. 예컨대, 컴퓨팅 장치(300)는 각 버텍스를 시작점으로 설정하고, 각 버텍스의 색상값을 기초로 인접한 버텍스의 색상값과 그라디언트하여 상기 언씬 페이스의 색상값을 설정할 수 있다(S1303). 여기서 그라디언트는 색상 그라데이션(gradation)에 의하여 설정되는 색체의 변경되는 기법을 의미하는 것이며, 이러한 그라데이션 기법은 다양한 방식이 적용 가능하다.
도 15는 도 14의 예에 대하여, 언씬 페이스가 체워진 예를 도시하고 있으며, 도시된 예에서 색상 그라데이션을 기반으로 언씬 페이스가 채워짐을 알 수 있다. 이러한 그라데이션에 의한 언씬 페이스의 텍스처링은 그 자체로서는 주변의 색상과 다소 부자연스러운 느낌이 발생하나, 이하에서 설명하는 색상 보정 과정에 의하여 보다 자연스럽게 보상될 수 있다.
도 16은 본 출원에 개시되는 일 실시예에 따른 3차원 가상모델 생성을 위한 색상 보정 방법을 설명하는 순서도이다.
전술한 바와 같이, 실내의 촬영 지점 간의 촬영 환경이 달라 동일한 면에 대해서도 서로 다른 색상으로 표시될 수 있다. 특히, 여러 페이스가 인접하여 하나의 연속된 면 또는 곡면을 형성하는 경우, 각 페이스의 색상값의 차이는 부자연스러운 느낌을 준다.
도 17은 컬러 보정이 이루어지기 전의 3D 모델의 일부를 예시하고 있으며, 도 17의 예에서는 동일한 벽면에 대하여 상당한 색상 얼룩이 발생함을 알 수 있다. 컴퓨팅 장치(300)는 이러한 색상 외곡, 즉, 실내 촬영 지점간의 촬영 환경 차이에 의하여 유발되는 색상 외곡을 보상하기 위한 처리를 제공하며 도 16을 참조하여 설명한다.
도 16을 참조하면, 컴퓨팅 장치(300)는 텍스처링이 완료된 제1 3D 모델에 대하여 색상 이미지 간의 보정 및 인접한 페이스 간의 보정을 수행할 수 있다.
컴퓨팅 장치(300)는 인접한 촬영 지점에서 촬영된 색상 이미지들을 연관하여 이미지 서브셋을 설정할 수 있다(S1601). 이러한 색상 이미지 서브셋은 복수개가 설정될 수 있다. 컴퓨팅 장치(300)는 각각의 색상 이미지 서브셋에 대하여, 해당 색상 이미지 서브셋에 연관된 색상 이미지 간의 보정 가중치를 기반으로 글로벌 색상 보정을 수행할 수 있다(S1602). 이러한 글로벌 색상 보정은 이미지 전체에 대하여 수행되는 것이다.
일 예로, 컴퓨팅 장치(300)는 색상 이미지 서브셋에 연관된 색상 이미지들에 대하여 주된 색상을 결정할 수 있다. 도 17의 예에서 주된 색상은 회색일 수 있고, 도 17과 연관된 색상 이미지들에 대하여 주된 색상인 회색에 대하여 각각 주된 색상 가중치를 설정할 수 있다. 주된 색상 가중치는, 연관된 색상 이미지들의 주된 색상에 대한 평균값에 대한 차이로부터 설정될 수 있다. 주된 색상이 평균값으로부터 차이가 많이 나는 색상 이미지일수록 보정 가중치가 크게 설정되고, 각각의 색상 이미지에 대하여 보정 가중치를 기초로 색상 보정을 수행할 수 있다. 이와 같이 글로벌 색상 보정이 수행되면, 색상 이미지 자체에 대한 보정이 수행된 것이므로, 이러한 보정된 이미지를 기초로 텍스처링을 재 수행할 수 있다.
이후, 컴퓨팅 장치(300)는 페이스 간의 차이를 기반으로 로컬 색상 보정을 수행할 수 있다.
컴퓨팅 장치(300)는 인접한 페이스들을 연관하여 복수의 페이스 서브셋을 설정할 수 있다(S1603).
컴퓨팅 장치(300)는 페이스 서브셋 각각에 대하여, 페이스 서브셋을 구성하는 페이스 간의 색상 차이를 평준화하도록 설정함으로써 로컬 색상 보정을 수행할 수 있다(S1604). 이러한 색상 차이 평준화는 다양한 방식이 적용가능하므로, 여기에서는 특정 방식으로 한정하지 않는다.
도 18은 도 17의 예에 대하여 글로벌 색상 보정 및 로컬 색상 보정이 적용된 예를 도시한다. 도 17에서 큰 색상 차이를 가지던 부분이 상당히 유사한 색상으로 보정되었음을 알 수 있다.
실제 사용자는, 동일한 면 또는 곡면에 대하여 여러 색상이 있는 경우, 이를 상당히 자연스럽지 못하게 느끼게 되므로, 실제 3D 모델에 대한 실감나는 이미지를 제공하는데는 이러한 색상 보정의 역할이 크다.
본 출원에서는 이러한 색상 보정을 글로벌 보정과 로컬 보정으로 조합하여 사용하는데, 이는 촬영 지점이 상당히 이격되어 있고 그로 인하여 촬영 조건의 차이가 큰 본 발명에서는 이러한 조합적인 색상 보정을 통하여 3D 모델을 보다 자연스럽게 표현할 수 있다.
한편, 상술한 실시 예에 따른 컴퓨팅 장치(300)에서 수행되는 제어 방법은 프로그램으로 구현되어 컴퓨팅 장치(300)에 제공될 수 있다. 예를 들어, 컴퓨팅 장치(300)의 제어 방법을 포함하는 프로그램은 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장되어 제공될 수 있다.
이상에서 컴퓨팅 장치(300)의 제어 방법, 그리고 컴퓨팅 장치(300)의 제어 방법을 실행하는 프로그램을 포함하는 컴퓨터 판독 가능 기록매체에 대해 간략하게 설명하였으나, 이는 중복 설명을 생략하기 위한 것일 뿐이며, 컴퓨팅 장치(300)의 제어 방법, 그리고 컴퓨팅 장치(300)의 제어 방법을 실행하는 프로그램을 포함하는 컴퓨터 판독 가능 기록매체에 대해서도 적용될 수 있음은 물론이다.
한편, 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.
이상에서 설명한 본 출원은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고 후술하는 특허청구범위에 의해 한정되며, 본 출원의 구성은 본 출원의 기술적 사상을 벗어나지 않는 범위 내에서 그 구성을 다양하게 변경 및 개조할 수 있다는 것을 본 출원이 속하는 기술 분야에서 통상의 지식을 가진 자는 쉽게 알 수 있다.

Claims (15)

  1. 실내 공간의 복수의 촬영 지점에서 각각 생성되는 복수의 데이터 셋-상기 데이터 셋은 색상 이미지, 깊이 이미지 및 각 지점의 위치 정보를 포함함-을 기초로 3차원 가상모델을 생성하는 컴퓨팅 장치에서 수행 가능한 방법으로서,
    상기 실내 공간의 복수의 촬영 지점에서 각각 생성된 복수의 데이터 셋을 기초로 3차원 메쉬 모델을 생성하는 단계;
    상기 3차원 메쉬 모델에 포함된 복수의 페이스 중 제1 페이스를 선택하고, 상기 제1 페이스와 연관된 복수의 색상 이미지 중에서 상기 제1 페이스에 적합한 어느 하나의 제1 색상 이미지를 선택하는 단계;
    선택된 어느 하나의 제1 색상 이미지에서 상기 제1 페이스에 대응되는 로컬 영역을 선택하여 상기 제1 페이스에 매핑하여 텍스처링을 수행하는 단계; 및
    상기 3차원 메쉬 모델에 포함된 복수의 페이스 중에서 상기 제1 페이스를 제외한 나머지 페이스들에 대해서도 색상 이미지의 선택 과정 및 텍스처링 과정을 수행하여 제1 3D 모델을 생성하는 단계; 를 포함하는,
    3차원 가상모델 생성을 위한 텍스처링 방법.
  2. 제1항에 있어서, 상기 텍스처링 방법은,
    상기 3D 모델에 대하여 상기 복수의 촬영 지점 간에서 촬영 시 유발되는 색상 차이를 보상하기 위한 컬러 조정을 수행하여 제2 3D 모델을 생성하는 단계; 를 더 포함하는,
    3차원 가상모델 생성을 위한 텍스처링 방법.
  3. 제1항에 있어서, 상기 제1 색상 이미지는,
    상기 3차원 메쉬 모델과 연관된 복수의 색상 이미지 중에서 상기 제1 페이스에 대한 촬영 방향, 해상도 및 컬러 노이즈를 기준으로 평가하여 선별되는,
    3차원 가상모델 생성을 위한 텍스처링 방법.
  4. 제1항에 있어서, 상기 3차원 메쉬 모델과 연관된 복수의 색상 이미지 중에서 상기 제1 페이스에 적합한 어느 하나의 제1 색상 이미지를 선택하는 단계는,
    상기 제1 페이스에 수직하는 제1 방향 벡터를 설정하는 단계;
    상기 제1 페이스와 연관된 복수의 색상 이미지에 대해, 상기 제1 방향 벡터와 방향적 연관성을 가지는 제1 가중치 요소를 각각 산정하는 단계;
    상기 제1 페이스와 연관된 복수의 색상 이미지에 대해, 해상도에 대한 제2 가중치 요소를 각각 산정하는 단계;
    상기 제1 페이스와 연관된 복수의 색상 이미지에 대해, 컬러 노이즈에 대한 제3 가중치 요소를 각각 산정하는 단계;
    상기 제1 가중치 요소 내지 상기 제3 가중치 요소를 반영하여 상기 제1 페이스와 연관된 복수의 색상 이미지 각각에 대하여 가중치를 산정하는 단계; 및
    가장 높은 가중치를 가지는 어느 하나의 색상 이미지를, 상기 제1 색상 이미지로서 결정하는 단계; 를 포함하는,
    3차원 가상모델 생성을 위한 텍스처링 방법.
  5. 제1항에 있어서, 상기 3차원 메쉬 모델과 연관된 복수의 색상 이미지 중에서 상기 제1 페이스에 적합한 어느 하나의 제1 색상 이미지를 선택하는 단계는,
    상기 제1 페이스에 수직하는 제1 방향 벡터를 설정하는 단계;
    상기 제1 페이스와 연관된 복수의 색상 이미지에 대해, 상기 제1 방향 벡터와 방향적 연관성을 가지는 제1 가중치 요소를 각각 산정하는 단계;
    상기 제1 페이스와 연관된 복수의 색상 이미지에 대해, 컬러 노이즈에 대한 제2 가중치 요소를 각각 산정하는 단계;
    상기 제1 가중치 요소 및 상기 제2 가중치 요소를 반영하여 상기 제1 페이스와 연관된 복수의 색상 이미지 각각에 대하여 가중치를 산정하는 단계; 및
    가장 높은 가중치를 가지는 어느 하나의 색상 이미지를, 상기 제1 색상 이미지로서 결정하는 단계; 를 포함하는,
    3차원 가상모델 생성을 위한 텍스처링 방법.
  6. 제1항에 있어서, 상기 3차원 메쉬 모델과 연관된 복수의 색상 이미지 중에서 상기 제1 페이스에 적합한 어느 하나의 제1 색상 이미지를 선택하는 단계는,
    상기 제1 페이스에 수직하는 제1 방향 벡터를 설정하는 단계;
    상기 제1 페이스와 연관된 복수의 색상 이미지에 대해, 상기 제1 방향 벡터와 방향적 연관성을 가지는 제1 가중치 요소를 각각 산정하는 단계;
    상기 제1 페이스와 연관된 복수의 색상 이미지에 대해, 해상도에 대한 제2 가중치 요소를 각각 산정하는 단계;
    상기 제1 가중치 요소 및 상기 제2 가중치 요소를 반영하여 상기 제1 페이스와 연관된 복수의 색상 이미지 각각에 대하여 가중치를 산정하는 단계; 및
    가장 높은 가중치를 가지는 어느 하나의 색상 이미지를, 상기 제1 색상 이미지로서 결정하는 단계; 를 포함하는,
    3차원 가상모델 생성을 위한 텍스처링 방법.
  7. 제1항에 있어서, 상기 3차원 메쉬 모델에 포함된 복수의 페이스 중 제1 페이스를 선택하고, 상기 제1 페이스와 연관된 복수의 색상 이미지 중에서 상기 제1 페이스에 적합한 어느 하나의 제1 색상 이미지를 선택하는 단계는,
    미촬영 영역에 의하여 발생하는 언씬 페이스를 설정하는 단계;
    상기 언씬 페이스와 연관된 복수의 버텍스 각각의 색상값을 확인하는 단계; 및
    상기 복수의 버텍스 각각의 색상값을 기초로 상기 언씬 페이스를 채우는 단계; 를 포함하는,
    3차원 가상모델 생성을 위한 텍스처링 방법.
  8. 제7항에 있어서, 상기 복수의 버텍스 각각의 색상값을 기초로 상기 언씬 페이스를 채우는 단계는,
    각 버텍스를 시작점으로 설정하고, 각 버텍스의 색상값을 기초로 인접한 버텍스의 색상값과 그라디언트하여 상기 언씬 페이스의 색상값을 설정하는 단계; 를 포함하는,
    3차원 가상모델 생성을 위한 텍스처링 방법.
  9. 컴퓨팅 장치로서,
    하나 이상의 인스트럭션을 저장하는 메모리; 및
    상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 적어도 하나의 프로세서를 포함하고,
    상기 적어도 하나의 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
    상기 실내 공간의 복수의 촬영 지점에서 각각 생성된 복수의 데이터 셋-상기 데이터 셋은 색상 이미지, 깊이 이미지 및 각 지점의 위치 정보를 포함함-을 기초로 3차원 메쉬 모델을 생성하고,
    상기 3차원 메쉬 모델에 포함된 복수의 페이스 중 제1 페이스를 선택하고, 상기 제1 페이스와 연관된 복수의 색상 이미지 중에서 상기 제1 페이스에 적합한 어느 하나의 제1 색상 이미지를 선택하고,
    선택된 어느 하나의 제1 색상 이미지에서 상기 제1 페이스에 대응되는 로컬 영역을 선택하여 상기 제1 페이스에 매핑하여 텍스처링을 수행하고,
    상기 3차원 메쉬 모델에 포함된 복수의 페이스 중에서 상기 제1 페이스를 제외한 나머지 페이스들에 대해서도 색상 이미지의 선택 과정 및 텍스처링 과정을 수행하여 제1 3D 모델을 생성하는,
    컴퓨팅 장치.
  10. 제9항에 있어서, 상기 적어도 하나의 프로세서는,
    상기 3D 모델에 대하여 상기 복수의 촬영 지점 간에서 촬영 시 유발되는 색상 차이를 보상하기 위한 컬러 조정을 수행하여 제2 3D 모델을 생성하는,
    컴퓨팅 장치.
  11. 제9항에 있어서, 상기 제1 색상 이미지는,
    상기 3차원 메쉬 모델과 연관된 복수의 색상 이미지 중에서 상기 제1 페이스에 대한 촬영 방향, 해상도 및 컬러 노이즈를 기준으로 평가하여 선별되는,
    컴퓨팅 장치.
  12. 제9항에 있어서, 상기 적어도 하나의 프로세서는,
    상기 제1 페이스에 수직하는 제1 방향 벡터를 설정하고,
    상기 제1 페이스와 연관된 복수의 색상 이미지에 대해, 상기 제1 방향 벡터와 방향적 연관성을 가지는 제1 가중치 요소를 각각 산정하고,
    상기 제1 페이스와 연관된 복수의 색상 이미지에 대해, 해상도에 대한 제2 가중치 요소를 각각 산정하고,
    상기 제1 페이스와 연관된 복수의 색상 이미지에 대해, 컬러 노이즈에 대한 제3 가중치 요소를 각각 산정하고,
    상기 제1 가중치 요소 내지 상기 제3 가중치 요소를 반영하여 상기 제1 페이스와 연관된 복수의 색상 이미지 각각에 대하여 가중치를 산정하며,
    가장 높은 가중치를 가지는 어느 하나의 색상 이미지를, 상기 제1 색상 이미지로서 결정하는,
    컴퓨팅 장치.
  13. 제9항에 있어서, 상기 적어도 하나의 프로세서는,
    미촬영 영역에 의하여 발생하는 언씬 페이스를 설정하고,
    상기 언씬 페이스와 연관된 복수의 버텍스 각각의 색상값을 확인하고,
    상기 복수의 버텍스 각각의 색상값을 기초로 상기 언씬 페이스를 채우는,
    컴퓨팅 장치.
  14. 제13항에 있어서, 상기 적어도 하나의 프로세서는,
    각 버텍스를 시작점으로 설정하고, 각 버텍스의 색상값을 기초로 인접한 버텍스의 색상값과 그라디언트하여 상기 언씬 페이스의 색상값을 설정하는,
    컴퓨팅 장치.
  15. 컴퓨터 판독 가능한 인스트럭션들(instructions)을 저장하고 있는 저장 매체에 있어서,
    상기 인스트럭션들은, 컴퓨팅 장치에 의해 실행될 때, 상기 컴퓨팅 장치로 하여금,
    상기 실내 공간의 복수의 촬영 지점에서 각각 생성된 복수의 데이터 셋-상기 데이터 셋은 색상 이미지, 깊이 이미지 및 각 지점의 위치 정보를 포함함-을 기초로 3차원 메쉬 모델을 생성하는 동작;
    상기 3차원 메쉬 모델에 포함된 복수의 페이스 중 제1 페이스를 선택하고, 상기 제1 페이스와 연관된 복수의 색상 이미지 중에서 상기 제1 페이스에 적합한 어느 하나의 제1 색상 이미지를 선택하는 동작;
    선택된 어느 하나의 제1 색상 이미지에서 상기 제1 페이스에 대응되는 로컬 영역을 선택하여 상기 제1 페이스에 매핑하여 텍스처링을 수행하는 동작; 및
    상기 3차원 메쉬 모델에 포함된 복수의 페이스 중에서 상기 제1 페이스를 제외한 나머지 페이스들에 대해서도 색상 이미지의 선택 과정 및 텍스처링 과정을 수행하여 제1 3D 모델을 생성하는 동작; 을 수행하도록 하는,
    저장 매체.
PCT/KR2021/017707 2021-11-29 2021-11-29 3차원 가상모델 생성을 위한 텍스처링 방법 및 그를 위한 컴퓨팅 장치 WO2023095969A1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/KR2021/017707 WO2023095969A1 (ko) 2021-11-29 2021-11-29 3차원 가상모델 생성을 위한 텍스처링 방법 및 그를 위한 컴퓨팅 장치
JP2022545058A JP2024501903A (ja) 2021-11-29 2021-11-29 ３次元仮想モデル生成のためのテクスチャリング方法およびそのためのコンピューティング装置
KR1020227029816A KR102563387B1 (ko) 2021-11-29 2021-11-29 3차원 가상모델 생성을 위한 텍스처링 방법 및 그를 위한 컴퓨팅 장치
US17/878,390 US20230169716A1 (en) 2021-11-29 2022-08-01 Texturing method of generating 3d virtual model and computing device therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2021/017707 WO2023095969A1 (ko) 2021-11-29 2021-11-29 3차원 가상모델 생성을 위한 텍스처링 방법 및 그를 위한 컴퓨팅 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/878,390 Continuation US20230169716A1 (en) 2021-11-29 2022-08-01 Texturing method of generating 3d virtual model and computing device therefor

Publications (1)

Publication Number Publication Date
WO2023095969A1 true WO2023095969A1 (ko) 2023-06-01

Family

ID=86500457

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/017707 WO2023095969A1 (ko) 2021-11-29 2021-11-29 3차원 가상모델 생성을 위한 텍스처링 방법 및 그를 위한 컴퓨팅 장치

Country Status (4)

Country Link
US (1) US20230169716A1 (ko)
JP (1) JP2024501903A (ko)
KR (1) KR102563387B1 (ko)
WO (1) WO2023095969A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100073173A (ko) * 2008-12-22 2010-07-01 한국전자통신연구원 3차원 모델 생성 방법 및 장치
KR20140010708A (ko) * 2012-07-16 2014-01-27 한국과학기술연구원 대상 물체의 3차원 메쉬 모델의 텍스쳐 생성 장치 및 방법
KR101454780B1 (ko) * 2013-06-10 2014-10-27 한국과학기술연구원 3d 모델의 텍스쳐 생성 방법 및 장치
US20150193975A1 (en) * 2008-11-24 2015-07-09 Mixamo, Inc. Real Time Concurrent Design of Shape, Texture, and Motion for 3D Character Animation
KR102199458B1 (ko) * 2017-11-24 2021-01-06 한국전자통신연구원 3차원 컬러 메쉬 복원 방법 및 장치

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08271274A (ja) * 1995-03-28 1996-10-18 Mitsubishi Electric Corp 移動経路生成装置
US7672476B2 (en) * 2005-01-26 2010-03-02 Pixar Bandlimited noise for computer graphics
GB2499694B8 (en) * 2012-11-09 2017-06-07 Sony Computer Entertainment Europe Ltd System and method of image reconstruction
US9196084B2 (en) * 2013-03-15 2015-11-24 Urc Ventures Inc. Determining object volume from mobile device images
KR102126561B1 (ko) * 2018-07-23 2020-06-24 주식회사 쓰리아이 적응적 삼차원 공간 생성방법 및 그 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150193975A1 (en) * 2008-11-24 2015-07-09 Mixamo, Inc. Real Time Concurrent Design of Shape, Texture, and Motion for 3D Character Animation
KR20100073173A (ko) * 2008-12-22 2010-07-01 한국전자통신연구원 3차원 모델 생성 방법 및 장치
KR20140010708A (ko) * 2012-07-16 2014-01-27 한국과학기술연구원 대상 물체의 3차원 메쉬 모델의 텍스쳐 생성 장치 및 방법
KR101454780B1 (ko) * 2013-06-10 2014-10-27 한국과학기술연구원 3d 모델의 텍스쳐 생성 방법 및 장치
KR102199458B1 (ko) * 2017-11-24 2021-01-06 한국전자통신연구원 3차원 컬러 메쉬 복원 방법 및 장치

Also Published As

Publication number Publication date
KR20230081989A (ko) 2023-06-08
KR102563387B1 (ko) 2023-08-04
US20230169716A1 (en) 2023-06-01
JP2024501903A (ja) 2024-01-17

Similar Documents

Publication Publication Date Title
US20210279948A1 (en) Shadow rendering method and apparatus, computer device, and storage medium
CN109643465B (zh) 用于创建混合现实环境的系统、方法、显示装置、介质
JP7007348B2 (ja) 画像処理装置
CN107004273A (zh) 用于彩色与深度视频的同步的方法、设备和媒体
CN106101561A (zh) 摄像头对焦检测方法及装置
WO2012091326A2 (ko) 고유식별 정보를 이용한 3차원 실시간 거리뷰시스템
WO2019035551A1 (en) APPARATUS FOR COMPOSING OBJECTS USING DEPTH CARD AND ASSOCIATED METHOD
WO2023095969A1 (ko) 3차원 가상모델 생성을 위한 텍스처링 방법 및 그를 위한 컴퓨팅 장치
WO2019066370A1 (ko) 외부 광에 기반하여 카메라를 제어하는 전자 장치 및 제어 방법
JP6318576B2 (ja) 画像投影システム、画像処理装置、画像投影方法およびプログラム
WO2018164287A1 (ko) 증강현실 제공 방법, 장치 및 컴퓨터 프로그램
WO2023128289A1 (ko) 3차원 가상모델 생성을 위한 텍스처링 방법 및 그를 위한 컴퓨팅 장치
US20230005213A1 (en) Imaging apparatus, imaging method, and program
WO2023128100A1 (ko) 3차원 가상모델 제공 방법 및 그를 위한 3차원 가상모델 제공 시스템
CN113822936A (zh) 数据处理方法、装置、计算机设备及存储介质
WO2023171984A1 (en) Systems and methods for lightweight machine learning for image illumination control
US20130107102A1 (en) Displaying of images with lighting on the basis of captured auxiliary images
Santos et al. Display and rendering technologies for virtual and mixed reality design review
Au et al. Ztitch: A mobile phone application for immersive panorama creation, navigation, and social sharing
KR20240045736A (ko) 3차원 가상모델 생성 방법 및 그를 위한 컴퓨팅 장치
CN113890984B (zh) 拍照方法、图像处理方法和电子设备
CN117011446B (zh) 一种动态环境光照的实时渲染方法
WO2022103190A1 (ko) 3차원 모델의 텍스처를 생성하기 위한 방법 및 장치
WO2022075683A1 (ko) 모바일 스캔 객체 모델 스케일링을 통한 증강현실 구현 장치 및 방법
WO2023223958A1 (ja) 三次元再構成方法、及び三次元再構成システム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2022545058

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21965754

Country of ref document: EP

Kind code of ref document: A1