WO2023068571A1 - 전자 장치 및 전자 장치의 제어 방법 - Google Patents

전자 장치 및 전자 장치의 제어 방법 Download PDF

Info

Publication number
WO2023068571A1
WO2023068571A1 PCT/KR2022/014278 KR2022014278W WO2023068571A1 WO 2023068571 A1 WO2023068571 A1 WO 2023068571A1 KR 2022014278 W KR2022014278 W KR 2022014278W WO 2023068571 A1 WO2023068571 A1 WO 2023068571A1
Authority
WO
WIPO (PCT)
Prior art keywords
model
item
data
feature data
metaverse
Prior art date
Application number
PCT/KR2022/014278
Other languages
English (en)
French (fr)
Inventor
유지성
박영진
김대현
문보석
이용구
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of WO2023068571A1 publication Critical patent/WO2023068571A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Definitions

  • the present disclosure relates to an electronic device and a control method of the electronic device, and more specifically, to an electronic device and method of controlling the electronic device for obtaining data for generating a 3D model that can be used in a metaverse of items included in an image. It is about.
  • metaverse technology has also developed. Accordingly, the type of metaverse and the number of users active in the metaverse are increasing.
  • the item may be an item provided by the metaverse itself, or an item produced by a user through 3D modeling in order to use an object that exists in reality in the metaverse.
  • the format or style of the 3D model file available in the metaverse may differ for each metaverse, so the 3D model available in a specific metaverse may be different. may not be available in Accordingly, the user had the inconvenience of having to perform 3D modeling for each metaverse from the beginning.
  • the present disclosure was made in accordance with the above-mentioned needs, data for generating a 3D model of an item that can be used in a metaverse selected based on characteristic data of an item included in an image and information about a metaverse selected by a user. It is to provide an electronic device for obtaining and a control method thereof.
  • An electronic device for achieving the above object is a memory in which a 3D model converter is stored and an image including items and a metaverse selected based on a user input from among a plurality of metaverses.
  • the shape data of the 3D model of the item may include a coordinate value enabling the item to be worn on the character of the selected metaverse.
  • the feature data of the item may include shape feature data and texture feature data of the item.
  • the processor inputs the feature data of the item and the information on the selected metaverse to a first neural network model, and among the feature data of each 3D model of a plurality of items used in the selected metaverse, the feature data of the item It is possible to identify whether feature data of the 3D model corresponding to exists.
  • the processor inputs the feature data of the item and the feature data of the 3D model to a second neural network model, so that the item wearable on the character of the selected metaverse The shape data of the 3D model of can be obtained.
  • the second neural network model may be a model learned to generate shape data of a 3D model including coordinate values to be worn on a character in the metaverse.
  • the processor inputs the feature data of the item into a third neural network model, and the shape data of the 3D model of the item wearable on the character of the selected metaverse can be obtained.
  • the third neural network model may be a model learned to generate shape data of a 3D model including coordinate values to be worn on a character in the metaverse.
  • the processor may obtain texture data of the 3D model of the item corresponding to the texture of the item by inputting feature data of the item and shape data of the 3D model of the item to a fourth neural network model.
  • a control method of an electronic device is a control method of an electronic device for acquiring data for generating a 3D model of an item, by inputting an image including the item to a 3D model converter to convert the item Extracting feature data of, when a user input for selecting a metaverse among a plurality of metaverses is received, based on the feature data of the item, feature data of each 3D model of a plurality of items used in the selected metaverse Identifying whether feature data of the 3D model corresponding to the feature data of the item exists, and if it is identified that the feature data of the 3D model exists, the feature data of the item and the feature data of the 3D model are converted into the 3D model Obtaining the shape data of the 3D model of the item by inputting it into a converter, if it is identified that the feature data of the 3D model does not exist, inputting the feature data of the item into the 3D model converter to obtain the shape data of the 3D model of the item
  • the method may include
  • the shape data of the 3D model of the item may include a coordinate value enabling the item to be worn on the character of the selected metaverse.
  • the feature data of the item may include shape feature data and texture feature data of the item.
  • the identifying step inputs the feature data of the item and the information on the selected metaverse to a first neural network model, and among the feature data of each 3D model of a plurality of items used in the selected metaverse, the item It is possible to identify whether feature data of the 3D model corresponding to the feature data exists.
  • the step of acquiring the shape data of the 3D model of the item by inputting the feature data of the item and the feature data of the 3D model into the 3D model converter is, when it is identified that the feature data of the 3D model exists, the item By inputting the feature data of and the feature data of the 3D model to a second neural network model, shape data of the 3D model of the item wearable on the character of the selected metaverse may be obtained.
  • the second neural network model may be a model learned to generate shape data of a 3D model including coordinate values to be worn on a character in the metaverse.
  • the step of obtaining the shape data of the 3D model of the item by inputting the feature data of the item into the 3D model converter if it is identified that the feature data of the 3D model does not exist, the feature data of the item is converted into a third It is possible to obtain shape data of a 3D model of the item that can be worn on the character of the selected metaverse by inputting the input to the neural network model.
  • the third neural network model may be a model learned to generate shape data of a 3D model including coordinate values to be worn on a character in the metaverse.
  • the step of acquiring texture data of the 3D model of the item inputs the feature data of the item and the shape data of the 3D model to a fourth neural network model to obtain a texture of the 3D model of the item corresponding to the texture of the item data can be obtained.
  • a metaverse selected by a user in one 3D modeling process without performing 3D modeling for each of a plurality of metaverses from the beginning in order to use an item included in an image in a plurality of metaverses. Since data for generating a usable 3D model can be obtained, time and cost required for 3D modeling can be saved.
  • FIG. 1 is a diagram for explaining an electronic device according to an embodiment of the present disclosure
  • FIG. 2 is a block diagram for explaining the configuration of an electronic device according to an embodiment of the present disclosure
  • FIG. 3 is a diagram for explaining a model encoder according to an embodiment of the present disclosure.
  • FIG. 4 is a diagram for explaining an intermediate model converter according to an embodiment of the present disclosure.
  • FIG. 5 is a diagram for explaining a Shape Fitting Decoder according to an embodiment of the present disclosure.
  • FIG. 6 is a diagram for explaining a Domain-specific Shape Generator according to an embodiment of the present disclosure.
  • FIG. 7 is a view for explaining generating shape data of a 3D model including coordinate values to be worn on a character in a metaverse according to an embodiment of the present disclosure
  • FIG. 8 is a flowchart for explaining a control method of an electronic device according to an embodiment of the present disclosure.
  • FIG. 9 is a block diagram for explaining a detailed configuration of an electronic device according to an embodiment of the present disclosure.
  • expressions such as “has,” “can have,” “includes,” or “can include” indicate the presence of a corresponding feature (eg, numerical value, function, operation, or component such as a part). , which does not preclude the existence of additional features.
  • expressions such as “A or B,” “at least one of A and/and B,” or “one or more of A or/and B” may include all possible combinations of the items listed together.
  • a component e.g., a first component
  • another component e.g., a second component
  • connection to it should be understood that the certain component may be directly connected to the other component or connected through another component (eg, a third component).
  • the phrase “device configured to” may mean that the device is “capable of” in conjunction with other devices or components.
  • a processor configured (or configured) to perform A, B, and C may include a dedicated processor (eg, embedded processor) to perform the operation, or by executing one or more software programs stored in a memory device.
  • a general-purpose processor eg, CPU or application processor
  • a 'module' or 'unit' performs at least one function or operation, and may be implemented with hardware or software, or a combination of hardware and software.
  • a plurality of 'modules' or a plurality of 'units' may be integrated into at least one module and implemented by at least one processor, except for 'modules' or 'units' that need to be implemented with specific hardware.
  • FIG. 1 is a diagram for explaining an electronic device according to an embodiment of the present disclosure.
  • the electronic device 100 may create a 3D model of the item 20 included in the image 10 .
  • the electronic device 100 may be implemented as a server device, a smart phone, and other various PCs or terminal devices.
  • the 3D model of the item 20 may be a 3D model available in the metaverse.
  • the metaverse can mean a 3D virtual world where social, economic, and cultural activities like the real world take place.
  • characters (or avatars) representing the roles of users accessing the metaverse may exist.
  • the item 20 may be an object that can be worn by a character in the metaverse.
  • items may include clothing such as shirts, jackets, and pants, and accessories such as hats, belts, shoes, and watches.
  • clothing such as shirts, jackets, and pants
  • accessories such as hats, belts, shoes, and watches.
  • this is only an example, and the type of object that can be worn on the character is not necessarily limited thereto.
  • the metaverse can be distinguished according to the world in which the metaverse is implemented, that is, the metaverse platform.
  • the style or format of the 3D model used in the metaverse may be different for each metaverse platform. Accordingly, 3D models available in a specific metaverse may not be available in other metaverses.
  • the 3D model 30 of the item 20 used in the A metaverse and the 3D model 30 used in the B metaverse may be different.
  • the electronic device 100 extracts feature data of an item included in an image through a 3D model converter, and selects a metaverse selected by a user from among a plurality of metaverses based on the extracted feature data of the item.
  • Data for generating a 3D model of an item used in can be obtained.
  • the user can create a 3D model used in the selected metaverse using the acquired data.
  • the electronic device 100 provides a style or format of a 3D model that can be used in a metaverse selected by a user from among a plurality of metaverses based on feature data of an item included in an image. It is possible to provide the user with data for generating a 3D model conforming to the above.
  • the user of the electronic device 100 does not perform 3D modeling for each of the plurality of metaverses from the beginning in order to use the items included in the image in the plurality of metaverses. Since data for generating a 3D model usable on the bus can be obtained, time and cost required for 3D modeling can be saved.
  • FIG. 2 is a block diagram for explaining the configuration of an electronic device according to an embodiment of the present disclosure.
  • the electronic device 100 includes a memory 110 and a processor 120 .
  • Data for operation of the electronic device 100 may be stored in the memory 110 .
  • at least one instruction related to the electronic device 100 may be stored in the memory 110 .
  • an operating system (O/S) for driving the electronic device 100 may be stored in the memory 110 .
  • various software programs or applications for operating the electronic device 100 may be stored in the memory 110 according to various embodiments of the present disclosure.
  • the memory 110 may include a semiconductor memory such as volatile memory or flash memory or a magnetic storage medium such as a hard disk.
  • the 3D model converter 200 may be stored in the memory 110 .
  • the 3D model converter is a model for obtaining data for generating a 3D model of an item used in a metaverse selected based on an image and information on a metaverse selected based on a user input among a plurality of metaverses.
  • the 3D model converter 200 may include a model encoder 210 and an intermediate model converter 220 .
  • the model encoder 210 and the intermediate model converter 220 may include at least one neural network model.
  • the neural network model refers to an artificial intelligence model including an artificial neural network, and may be learned by deep learning.
  • a neural network model according to the present disclosure may be a generative adversarial network (GAN) for generating an image.
  • GAN generative adversarial network
  • the processor 120 may be electrically connected to the memory 110 to control overall operations and functions of the electronic device 100 .
  • the processor 120 may include a central processing unit (CPU) or an application processor (AP), and according to one or more instructions stored in the memory 110 of the electronic device 100 It can run one or more software programs stored in memory.
  • CPU central processing unit
  • AP application processor
  • the processor 120 may be implemented as a micro processing unit (MPU), or may correspond to a computer having a random access memory (RAM) and a read only memory (ROM) connected to a CPU and the like through a system bus.
  • MPU micro processing unit
  • RAM random access memory
  • ROM read only memory
  • the processor 120 may control one or more software modules included in the electronic device 100 as well as hardware components included in the electronic device 100, and the processor 120 controls the software module. The result may be derived from the operation of hardware components.
  • the processor 120 may be composed of one or a plurality of processors.
  • one or a plurality of processors are CPUs, general-purpose processors such as APs, GPUs. It may be a processor dedicated to graphics, such as a VPU, or a processor dedicated to artificial intelligence, such as an NPU.
  • one or more processors control the input data to be processed according to predefined operation rules or artificial intelligence models stored in the memory.
  • Predefined motion rules or artificial intelligence models are characterized by being created through learning (training).
  • being created through learning means that a predetermined operation rule or an artificial intelligence model with desired characteristics is created by applying a learning algorithm to a plurality of learning data.
  • Such learning may be performed in the device itself in which artificial intelligence according to the present disclosure is performed, or may be performed through a separate server/system.
  • the learning algorithm is a method of training a predetermined target device (eg, robot) using a plurality of learning data so that the predetermined target device can make a decision or make a prediction by itself.
  • Examples of learning algorithms include supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, and the learning algorithm in the present disclosure is specified Except for, it is not limited to the above example.
  • the processor 120 inputs information about an image including an item and a metaverse selected based on a user input among a plurality of metaverses to a 3D model converter to generate data for generating a 3D model of an item used in the selected metaverse.
  • the processor 120 may receive a user command for selecting one of a plurality of images stored in the memory 110 through a user input unit (not shown) or an image captured by a camera (not shown). .
  • the processor 120 may receive a command to select one metaverse from among a plurality of preset metaverses from a user through a user input unit (not shown).
  • the processor 120 may extract feature data of the item by inputting the image to the 3D model converter. Specifically, the processor 120 may input an image input by the user to the model encoder 210 of the 3D model converter 200 to extract feature data of an item included in the image.
  • the model encoder 210 may be a model capable of extracting feature data of an item included in an input image.
  • the feature data of the item may include shape feature data and texture feature data of the item.
  • the model encoder 210 may include an object classifier 211 , a shape encoder 212 and a texture encoder 213 .
  • an image input to the model encoder 210 may be input to the object classifier 211 .
  • the object classifier 211 may obtain information about the class of an item included in the image based on the input image.
  • the class is a predefined classification criterion for classifying images that can be generated by the neural network model, and may be replaced with a term such as a category or a domain.
  • the object classifier 211 according to the present disclosure is implemented to classify items included in an image
  • the plurality of classes include classes such as "shirt”, “hat”, and "watch” according to the type of the item. can do.
  • the object classifier 211 may be implemented as a neural network model trained to obtain information about a class of an item included in an image among a plurality of classes based on an input image.
  • the image 10 input to the model encoder 210 may be input to the object classifier 211 .
  • the object classifier 211 may obtain information about the class of the item 20 included in the image 10 based on the input image 10 .
  • class information of an item included in an image obtained by the object classifier 211 and an image input to the object classifier 211 may be input to the shape encoder 212 and the texture encoder 213 .
  • the shape encoder 212 may obtain shape feature data of an item included in the image based on the input image and class information of the item included in the image.
  • the shape feature data may be feature data including information about the type, shape, and appearance of an item defined according to the class of the input item.
  • the shape encoder 212 determines the type of hat (eg, Fedora, Top, Beret, etc.), the shape of the hat (eg, the width of the crown and the brim) Size, etc.) and the appearance of the hat (eg, presence/absence of a logo, location of a logo, shape of a logo, etc.), shape feature data including information may be acquired.
  • type of hat eg, Fedora, Top, Beret, etc.
  • the shape of the hat eg, the width of the crown and the brim) Size, etc.
  • the appearance of the hat eg, presence/absence of a logo, location of a logo, shape of a logo, etc.
  • the shape encoder 212 may be implemented as a neural network model trained to acquire shape feature data of an item included in an image based on the input image and class information of the item included in the image.
  • the texture encoder 213 may obtain texture feature data of an item included in the image based on the input image and class information of the item included in the image.
  • the texture feature data may be feature data including information about the color and material of an item that may be a feature for each class of the input item.
  • the texture encoder 213 provides information such as the color of the hat (eg, the color of the barrel, brim, and logo) and the material of the hat (eg, cotton, acryl, and angora). Texture feature data including may be obtained.
  • the shape feature data and texture feature data of the item acquired by the shape encoder 212 and the texture encoder 213 are vectors that can be processed in the electronic device 100 and the neural network model included in the electronic device 100 ( It may be feature data expressed as a vector) value.
  • the shape data and texture data of the item may be aggregated into feature data of the item expressed as a single vector value.
  • the aggregation of vector data can be implemented with various aggregation functions, and detailed descriptions thereof will be omitted since they are prior art.
  • the processor 120 identifies whether feature data of the 3D model corresponding to the feature data of the item exists among the feature data of each of the 3D models of a plurality of items used in the selected metaverse based on the acquired feature data of the item.
  • the processor 120 converts information about a metaverse selected based on a user input among the feature data of an item obtained by the model encoder 210 and a plurality of metaverses into an intermediate model converter of the 3D model converter 200 ( 220), it is possible to identify whether feature data of the 3D model corresponding to the feature data of the item among the feature data of each 3D model of a plurality of items used in the selected metaverse exists.
  • the intermediate model converter 220 is used for generating a 3D model of an item used in the selected metaverse based on the input feature data of the item and information on a metaverse selected based on a user input among a plurality of metaverses. It may be a model capable of obtaining data.
  • the data for generating the 3D model of the item may include shape data and texture data of the 3D model.
  • the intermediate model converter 220 may include a Closest Model Finder 221, a Shape Fitting Decoder 222, a Domain-specific Shape Generator 223, and a Texture Generator 224.
  • information on a metaverse selected based on a user input among metaverses of feature data and numbers of items input to the intermediate model converter 220 may be input to the Closest Model Finder 221 .
  • the Closest Model Finder 221 is a 3D model of each of a plurality of items used in the metaverse selected based on the characteristic data of the input item and information on the metaverse selected based on the user input among the plurality of metaverses. Among the feature data, it may be identified whether feature data of the 3D model corresponding to the feature data of the item exists.
  • the Closest Model Finder 221 is a neural network model (first neural network model) trained to identify whether feature data of a 3D model corresponding to item feature data exists based on item feature data and metaverse information. can be implemented as
  • the Closest Model Finder (221) compares the feature data of the input item with the feature data of each of the plurality of 3D models used in the selected metaverse to calculate the degree of similarity for each of the plurality of 3D models used in the selected metaverse can do.
  • the feature data of the 3D model may be data in which shape feature data and texture feature data of the 3D model used in a plurality of metaverses are expressed as a single vector value. Meanwhile, a detailed description of the shape feature data and the texture feature data will be omitted since they have been described above.
  • similarity may be calculated based on distances between vectors of feature data.
  • similarity between attribute values may be calculated based on various similarity techniques such as cosine similarity, Euclidean similarity, or Jaccard similarity.
  • the memory 110 may store characteristic data of each of a plurality of 3D models used in a plurality of metaverses.
  • the feature data of each of the plurality of 3D models is provided from a plurality of metaverse platform operators and stored in the memory 110, or obtained from a 3D model of an item provided from a plurality of metaverse platform operators and stored in the memory 110 can be stored
  • the Closest Model Finder 221 can identify that the feature data of the 3D model corresponding to the feature data of the item exists when it is identified that there exists a degree of similarity equal to or greater than at least one threshold value among the plurality of calculated similarities. .
  • a 3D model having the greatest similarity among the similarities equal to or greater than the threshold value may be identified as the 3D model corresponding to the feature data of the item.
  • the Closest Model Finder 221 may identify that there is no 3D model corresponding to the feature data of the item when the similarity of each of the plurality of 3D models used in the selected metaverse is less than a threshold value.
  • the processor 120 may generate shape data of the 3D model of the item by inputting the feature data of the item and the feature data of the 3D model to a 3D model converter.
  • the shape data of the 3D model may refer to data including information about 3D coordinate values or mathematically defined location information so that a specific object can be reproduced in a 3D space.
  • the shape data may be shape data generated by modeling techniques such as polygon modeling, Nurbs modeling, and subdivision modeling.
  • modeling techniques such as polygon modeling, Nurbs modeling, and subdivision modeling.
  • this is only an example, and the modeling technique of shape data is not necessarily limited thereto.
  • the processor 120 when the processor 120 identifies that there is feature data of a 3D model corresponding to the feature data of the item through the Closest Model Finder 221, the processor 120 converts the feature data of the item obtained by the model encoder 210 and Closest Characteristic data of the 3D model corresponding to the characteristic data of the item identified by the Model Finder 221 may be input to the Shape Fitting Decoder 222 .
  • the shape fitting decoder 222 may generate shape data of the 3D model of the item based on the input feature data of the item and the feature data of the 3D model corresponding to the feature data of the item.
  • the Shape Fitting Decoder 222 converts the shape data of the 3D model corresponding to the item feature data to the type, shape, appearance, etc. of the item based on the feature data of the item and the feature data of the 3D model corresponding to the feature data of the item.
  • the shape data changed to have can be generated as the shape data of the 3D model of the item.
  • the Shape Fitting Decoder 222 is a neural network model (second neural network model) learned to acquire 3D model shape data of an item based on the input feature data of the item and feature data of the 3D model corresponding to the feature data of the item. ) can be implemented.
  • feature data of the item 20 included in the image 10 and feature data of the 3D model 510 corresponding to the feature data of the item may be input to the Shape Fitting Decoder 222. there is.
  • the shape data 520 of the 3D model 510 corresponding to the feature data of the item is converted to the shape data 520 of the item 20 by the Shape Fitting Decoder 222, which is a 3D model of the item 20.
  • the shape data 530 of can be generated.
  • the shape data 530 of the 3D model of the item includes the same logo 531 as the logo 21 of the item 20, and has the same shape as the shape of the visor of the visor 22 of the item 20. It is possible to have a brim 532.
  • the processor 120 may generate shape data of the 3D model of the item by inputting the feature data of the item to a 3D model converter.
  • the processor 120 converts the feature data of the item acquired by the model encoder 210 to Domain when it is identified that the feature data of the 3D model corresponding to the feature data of the item does not exist through the Closest Model Finder 221. - Can be input to the specific Shape Generator (223).
  • the domain-specific shape generator 223 may generate shape data of a 3D model of an item based on the input feature data of the item.
  • the Domain-specific Shape Generator 223 creates a 3D model of an item that satisfies the criteria for shape data that can be used in the selected metaverse while having the type, shape, and appearance of the item based on the item's feature data. Shape data can be created. To this end, the Domain-specific Shape Generator 223 may exist for each of a plurality of metaverses.
  • domain-specific shape generator 223 that exists for each metaverse can be implemented as a neural network model (third neural network model) trained to generate 3D model shape data of an item based on input item feature data. .
  • feature data of the item 20 included in the image 10 may be input to the domain-specific shape generator 223 .
  • the Domain-specific Shape Generator 223 has the type, shape, and appearance of the item 20, and a shape that can be used in the A metaverse.
  • 3D model shape data 610 of an item that satisfies the criterion of data may be generated.
  • the domain-specific Shape Generator 223 has the type, shape, and appearance of the item 20, and shape data that can be used in the B metaverse.
  • 3D model shape data 620 of an item that satisfies the criterion of can be generated.
  • the processor 120 may generate texture data of the 3D model by inputting feature data of the item and shape data of the 3D model to a 3D model converter.
  • the texture data of the 3D model may be data including information about the color, reflected light, irregularities, and the like of each polygon, which is a figure or surface unit of an object constituting the shape data of the 3D model.
  • the texture data of the 3D model may include various texture maps such as a diffuse map, a specular map, and a bump/normal map.
  • the processor 120 converts the item's feature data and the obtained 3D model shape data to a texture generator (224).
  • the texture generator 224 may generate texture data of the 3D model of the item based on the input feature data of the item and the shape data of the 3D model of the item.
  • the texture data of the 3D model is Mip Mapping, UV Mapping, Normal Mapping, Bump Mapping, Displacement Mapping, and Procedural Mapping. ), light mapping, reflection mapping, and refraction mapping.
  • this is only an example, and a method of generating text data is not necessarily limited thereto.
  • the texture generator 224 may be implemented as a neural network model (fourth neural network model) trained to acquire texture data of a 3D model based on the input feature data of the item and the shape data of the 3D model of the item. .
  • the electronic device 100 may obtain data for generating a 3D model of an item included in an image in a form usable in a user-selected metaverse. Accordingly, the user can use 3D models of items included in images in a plurality of metaverses without performing modeling from the beginning for each of the plurality of metaverses.
  • the shape data of the 3D model of the item may include coordinate values allowing the item to be worn on the selected metaverse character.
  • the coordinate value to be worn on the character of the metaverse is one or more points among a plurality of points where the shape data of the 3D model and the shape data of the character in the metaverse come into contact when the 3D model is worn on the character of the metaverse It may mean the coordinate value of In this case, the coordinate values to be worn on the character of the metaverse may be determined for each class of the 3D model.
  • the coordinate values that allow the hat 710 to be worn on a character in the metaverse are a plurality of points that the hat 710 and the character 720 come into contact with. It may be a coordinate value of at least one of the points 730 .
  • the Shape Fitting Decoder (222) and the Domain-specific Shape Generator (223) when the item is worn on the character of the metaverse based on the input item's feature data, the shape data of the 3D model of the item and the shape data of the metaverse It is possible to predict a plurality of points where the shape data of the character come into contact.
  • the shape fitting decoder 222 and the domain-specific shape generator 223 may generate 3D model shape data of an item such that the coordinate value of at least one of a plurality of predicted points is included in the 3D model shape data. .
  • the Shape Fitting Decoder 222 and the Domain-specific Shape Generator 223 may be neural network models trained to generate shape data of a 3D model including coordinate values to be worn on characters in the metaverse.
  • the electronic device 100 may generate 3D model shape data of an item included in an image that may include coordinate values to be worn on a character of the selected metaverse. Accordingly, the user can directly use the 3D model of the item within the metaverse without additionally modifying the 3D model shape data during the rendering process.
  • FIG. 8 is a flowchart for explaining a control method of an electronic device according to an embodiment of the present disclosure.
  • an image is input to a 3D model converter to extract feature data of an item (S810).
  • the feature data of the 3D model exists (S820-Y)
  • the feature data of the item and the feature data of the 3D model are input to the 3D model converter to acquire the shape data of the 3D model of the item (S830).
  • the feature data of the 3D model is input to the 3D model converter to acquire the shape data of the 3D model of the item (S840).
  • the feature data of the item and the shape data of the 3D model of the item are input to the 3D model converter to obtain texture data of the 3D model of the item (S850).
  • the shape data of the 3D model of the item may include a coordinate value allowing the item to be worn on the selected metaverse character.
  • the feature data of the item may include shape feature data and texture feature data of the item.
  • step S820 the item's feature data and information on the selected metaverse are input to the first neural network model, and 3D data corresponding to the item's feature data among the feature data of each 3D model of a plurality of items used in the selected metaverse are obtained. It is possible to identify whether the feature data of the model exists.
  • step S830 if it is identified that the feature data of the 3D model exists, the feature data of the item and the feature data of the 3D model are input to the second neural network model, and the shape of the 3D model of the item wearable on the character of the selected metaverse data can be obtained.
  • the second neural network model may be a model learned to generate shape data of a 3D model including coordinate values to be worn on a character in the metaverse.
  • step S840 if it is identified that the feature data of the 3D model does not exist, the feature data of the item is input to the third neural network model to obtain the shape data of the 3D model of the item wearable on the character of the selected metaverse. there is.
  • the third neural network model may be a model learned to generate shape data of a 3D model including coordinate values to be worn on a character in the metaverse.
  • step S850 texture data of the 3D model of the item corresponding to the texture of the item may be obtained by inputting the item's feature data and the shape data of the 3D model to the fourth neural network model.
  • FIG. 9 is a block diagram for explaining a detailed configuration of an electronic device according to an embodiment of the present disclosure.
  • the electronic device 100 may include a memory 110, a processor 120, a communication interface 130, a display 140, a user input unit 150, and a camera 160. Meanwhile, the components shown in FIG. 9 are only examples, and it goes without saying that at least some components may be omitted or other components may be added according to embodiments.
  • the communication interface 130 is a component capable of communicating with an external electronic device.
  • the processor 120 may receive an image including an item from an external electronic device or data for generating a 3D model of an item through a communication interface.
  • the communication interface 130 communicates with various external devices through a wireless communication method such as BT (Bluetooth), BLE (Bluetooth Low Energy), WI-FI (Wireless Fidelity), Zigbee, or IR (Infrared) communication method.
  • BT Bluetooth
  • BLE Bluetooth Low Energy
  • WI-FI Wireless Fidelity
  • Zigbee Zigbee
  • IR Infrared
  • the display 140 is a component capable of displaying a screen.
  • the processor 120 may display shape data of a 3D model of an item through the display 140 .
  • the display 140 may be implemented with various types of displays such as LCD, LED, or OLED.
  • the user input unit 150 is a component capable of receiving various user commands.
  • the processor 120 may receive a command to select one of a plurality of metaverses through a user input unit.
  • the user input unit 150 may include a touch panel and the like, and may also include a remote control signal receiving unit to receive various user commands from a remote controller for controlling the electronic device 100.
  • the camera 160 is a component for capturing images.
  • the processor 120 may acquire an image including an item through the camera 160 and input the obtained image to the 3D model converter 200 of the memory 110 .
  • a device is a device capable of calling a command stored from a storage medium and operating according to the called command, and may include a device according to the disclosed embodiments.
  • a command is executed by a processor, the processor directly or A function corresponding to a command may be performed using other components under the control of the processor.
  • a command may include code generated or executed by a compiler or an interpreter.
  • a device-readable storage medium is a non-temporary It may be provided in the form of a (non-transitory) storage medium, where 'non-transitory storage medium' only means that it is a tangible device and does not contain a signal (e.g. electromagnetic wave), This term does not differentiate between a case where data is stored semi-permanently and a case where data is temporarily stored in a storage medium.
  • 'non-temporary storage medium' may include a buffer in which data is temporarily stored.
  • the method according to various embodiments disclosed in this document may be included and provided in a computer program product.
  • Computer program products may be traded between sellers and buyers as commodities.
  • a computer program product is distributed in the form of a device-readable storage medium (e.g. compact disc read only memory (CD-ROM)), or through an application store (e.g. Play StoreTM) or on two user devices (e.g. It can be distributed (eg downloaded or uploaded) online, directly between smartphones.
  • a part of a computer program product eg, a downloadable app
  • a device-readable storage medium such as a memory of a manufacturer's server, an application store's server, or a relay server. It can be temporarily stored or created temporarily.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Architecture (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Hardware Design (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

전자 장치가 개시된다. 본 전자 장치는 3D 모델 컨버터가 저장된 메모리 및 아이템을 포함하는 이미지 및 복수의 메타버스 중 사용자 입력에 기초하여 선택된 메타버스에 대한 정보를 3D 모델 컨버터에 입력하여 선택된 메타버스에서 이용되는 아이템의 3D 모델을 생성하기 위한 데이터를 획득하는 프로세서를 포함하며, 아이템의 3D 모델을 생성하기 위한 데이터는 아이템의 3D 모델의 형상 데이터 및 텍스쳐 데이터를 포함하고, 프로세서는 이미지를 3D 모델 컨버터에 입력하여 아이템의 특징 데이터를 추출하고, 아이템의 특징 데이터에 기초하여 선택된 메타버스에서 이용되는 복수의 아이템의 3D 모델 각각의 특징 데이터 중 아이템의 특징 데이터에 대응되는 3D 모델의 특징 데이터가 존재하는지를 식별하고, 3D 모델의 특징 데이터가 존재하는 것으로 식별되면, 아이템의 특징 데이터 및 3D 모델의 특징 데이터를 3D 모델 컨버터에 입력하여 아이템의 3D 모델의 형상 데이터를 획득하고, 3D 모델의 특징 데이터가 존재하지 않는 것으로 식별되면, 아이템의 특징 데이터를 3D 모델 컨버터에 입력하여 아이템의 3D 모델의 형상 데이터를 획득하며, 아이템의 특징 데이터 및 아이템의 3D 모델의 형상 데이터를 3D 모델 컨버터에 입력하여 아이템의 3D 모델의 텍스쳐 데이터를 획득한다.

Description

전자 장치 및 전자 장치의 제어 방법
본 개시는 전자 장치 및 전자 장치의 제어 방법에 관한 것으로서, 구체적으로는, 이미지에 포함된 아이템의 메타버스에 이용될 수 있는 3D 모델을 생성하기 위한 데이터를 획득하는 전자 장치 및 전자 장치의 제어 방법에 관한 것이다.
최근 컴퓨터 기술 및 네트워크 기술들이 발전하면서 메타버스기술도 같이 발전하게 되었다. 이에 따라, 메타버스의 종류 및 메타버스에서 활동하는 사용자들이 늘어나고 있다.
한편, 사용자는 자신의 캐릭터를 이용하여 메타버스에서 활동할 수 있으며 캐릭터는 다양한 종류의 아이템을 착용할 수 있다. 여기에서, 아이템은 메타버스 자체에서 제공되는 아이템이거나, 현실에 존재하는 물건을 메타버스 내에서 이용하기 위하여 사용자가 직접 3D 모델링을 통해 제작한 아이템일 수 있다.
다만, 아이템을 사용자가 직접 3D 모델링을 통해 제작하는 경우, 메타버스마다 메타버스에서 이용할 수 있는 3D 모델 파일의 포맷이나 스타일이 다를 수 있다는 점에서, 특정 메타버스에서 이용 가능한 3D 모델이 다른 메타버스에서는 이용이 불가능할 수 있다. 이에 따라, 사용자는 메타버스 별로 처음부터 3D 모델링을 수행해야 되는 불편함이 있었다.
이에 따라, 사용자가 메타버스에서 이용될 수 있는 3D 모델을 생성할 때, 한번의 3D 모델링 과정으로 각 메타버스에서 이용될 수 있는 3D 모델을 생성할 수 있도록 하는 것이 중요한 문제이다.
본 개시는 상술한 필요성에 따라 안출된 것으로, 이미지에 포함된 아이템의 특징 데이터 및 사용자가 선택한 메타버스에 대한 정보에 기초하여 선택된 메타버스 내에서 이용될 수 있는 아이템의 3D 모델의 생성을 위한 데이터를 획득하는 전자 장치 및 그의 제어 방법을 제공함에 있다.
상술한 바와 같은 목적을 달성하기 위한 본 개시의 일 실시 예에 따른 전자 장치는 전자 장치에 있어서 3D 모델 컨버터가 저장된 메모리 및 아이템을 포함하는 이미지 및 복수의 메타버스 중 사용자 입력에 기초하여 선택된 메타버스에 대한 정보를 상기 3D 모델 컨버터에 입력하여 상기 선택된 메타버스에서 이용되는 상기 아이템의 3D 모델을 생성하기 위한 데이터를 획득하는 프로세서를 포함하며, 상기 아이템의 3D 모델을 생성하기 위한 데이터는 상기 아이템의 3D 모델의 형상 데이터 및 텍스쳐 데이터를 포함하고, 상기 프로세서는 상기 이미지를 상기 3D 모델 컨버터에 입력하여 상기 아이템의 특징 데이터를 추출하고 상기 아이템의 특징 데이터에 기초하여 상기 선택된 메타버스에서 이용되는 복수의 아이템의 3D 모델 각각의 특징 데이터 중 상기 아이템의 특징 데이터에 대응되는 3D 모델의 특징 데이터가 존재하는지를 식별하고, 상기 3D 모델의 특징 데이터가 존재하는 것으로 식별되면, 상기 아이템의 특징 데이터 및 상기 3D 모델의 특징 데이터를 상기 3D 모델 컨버터에 입력하여 상기 아이템의 3D 모델의 형상 데이터를 획득하고, 상기 3D 모델의 특징 데이터가 존재하지 않는 것으로 식별되면, 상기 아이템의 특징 데이터를 상기 3D 모델 컨버터에 입력하여 상기 아이템의 3D 모델의 형상 데이터를 획득하며, 상기 아이템의 특징 데이터 및 상기 아이템의 3D 모델의 형상 데이터를 상기 3D 모델 컨버터에 입력하여 상기 아이템의 3D 모델의 텍스쳐 데이터를 획득한다.
이 경우, 상기 아이템의 3D 모델의 형상 데이터는 상기 아이템이 상기 선택된 메타버스의 캐릭터에 착용 가능하도록 하는 좌표 값을 포함할 수 있다.
또한, 상기 아이템의 특징 데이터는 상기 아이템의 형상 특징 데이터 및 텍스쳐 특징 데이터를 포함할 수 있다.
한편, 상기 프로세서는 상기 아이템의 특징 데이터 및 상기 선택된 메타버스에 대한 정보를 제1 신경망 모델에 입력하여, 상기 선택된 메타버스에서 이용되는 복수의 아이템의 3D 모델 각각의 특징 데이터 중 상기 아이템의 특징 데이터에 대응되는 3D 모델의 특징 데이터가 존재하는지를 식별할 수 있다.
또한, 상기 프로세서는 상기 3D 모델의 특징 데이터가 존재하는 것으로 식별되면, 상기 아이템의 특징 데이터 및 상기 3D 모델의 특징 데이터를 제2 신경망 모델에 입력하여, 상기 선택된 메타버스의 캐릭터에 착용 가능한 상기 아이템의 3D 모델의 형상 데이터를 획득할 수 있다.
이 경우, 상기 제2 신경망 모델은 메타버스에 있는 캐릭터에 착용 가능하도록 하는 좌표 값을 포함하는 3D 모델의 형상 데이터를 생성하도록 학습된 모델일 수 있다.
한편, 상기 프로세서는 상기 3D 모델의 특징 데이터가 존재하지 않는 것으로 식별되면, 상기 아이템의 특징 데이터를 제3 신경망 모델에 입력하여, 상기 선택된 메타버스의 캐릭터에 착용 가능한 상기 아이템의 3D 모델의 형상 데이터를 획득할 수 있다.
이 경우, 상기 제3 신경망 모델은 메타버스에 있는 캐릭터에 착용 가능하도록 하는 좌표 값을 포함하는 3D 모델의 형상 데이터를 생성하도록 학습된 모델일 수 있다.
그리고, 상기 프로세서는 상기 아이템의 특징 데이터 및 상기 아이템의 3D 모델의 형상 데이터를 제4 신경망 모델에 입력하여, 상기 아이템의 텍스쳐에 대응되는 상기 아이템의 3D 모델의 텍스쳐 데이터를 획득할 수 있다.
한편, 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법은 아이템의 3D 모델을 생성하기 위한 데이터를 획득하는 전자 장치의 제어 방법에 있어서, 아이템을 포함하는 이미지를 3D 모델 컨버터에 입력하여 상기 아이템의 특징 데이터를 추출하는 단계, 복수의 메타버스 중 메타버스를 선택하기 위한 사용자 입력이 수신되면, 상기 아이템의 특징 데이터에 기초하여 상기 선택된 메타버스에서 이용되는 복수의 아이템의 3D 모델 각각의 특징 데이터 중 상기 아이템의 특징 데이터에 대응되는 3D 모델의 특징 데이터가 존재하는지를 식별하는 단계, 상기 3D 모델의 특징 데이터가 존재하는 것으로 식별되면, 상기 아이템의 특징 데이터 및 상기 3D 모델의 특징 데이터를 상기 3D 모델 컨버터에 입력하여 상기 아이템의 3D 모델의 형상 데이터를 획득하는 단계, 상기 3D 모델의 특징 데이터가 존재하지 않는 것으로 식별되면, 상기 아이템의 특징 데이터를 상기 3D 모델 컨버터에 입력하여 상기 아이템의 3D 모델의 형상 데이터를 획득하는 단계 및 상기 아이템의 특징 데이터 및 상기 3D 모델의 형상 데이터를 상기 3D 모델 컨버터에 입력하여 상기 아이템의 3D 모델의 텍스쳐 데이터를 획득하는 단계를 포함할 수 있다.
이 경우, 상기 아이템의 3D 모델의 형상 데이터는 상기 아이템이 상기 선택된 메타버스의 캐릭터에 착용 가능하도록 하는 좌표 값을 포함할 수 있다.
또한, 상기 아이템의 특징 데이터는 상기 아이템의 형상 특징 데이터 및 텍스쳐 특징 데이터를 포함할 수 있다.
한편, 상기 식별하는 단계는 상기 아이템의 특징 데이터 및 상기 선택된 메타버스에 대한 정보를 제1 신경망 모델에 입력하여, 상기 선택된 메타버스에서 이용되는 복수의 아이템의 3D 모델 각각의 특징 데이터 중 상기 아이템의 특징 데이터에 대응되는 3D 모델의 특징 데이터가 존재하는지를 식별할 수 있다.
또한, 상기 아이템의 특징 데이터 및 상기 3D 모델의 특징 데이터를 상기 3D 모델 컨버터에 입력하여 상기 아이템의 3D 모델의 형상 데이터를 획득하는 단계는 상기 3D 모델의 특징 데이터가 존재하는 것으로 식별되면, 상기 아이템의 특징 데이터 및 상기 3D 모델의 특징 데이터를 제2 신경망 모델에 입력하여, 상기 선택된 메타버스의 캐릭터에 착용 가능한 상기 아이템의 3D 모델의 형상 데이터를 획득할 수 있다.
이경우, 상기 제2 신경망 모델은 메타버스에 있는 캐릭터에 착용 가능하도록 하는 좌표 값을 포함하는 3D 모델의 형상 데이터를 생성하도록 학습된 모델일 수 있다.
한편, 상기 아이템의 특징 데이터를 상기 3D 모델 컨버터에 입력하여 상기 아이템의 3D 모델의 형상 데이터를 획득하는 단계는 상기 3D 모델의 특징 데이터가 존재하지 않는 것으로 식별되면, 상기 아이템의 특징 데이터를 제3 신경망 모델에 입력하여, 상기 선택된 메타버스의 캐릭터에 착용 가능한 상기 아이템의 3D 모델의 형상 데이터를 획득할 수 있다.
이 경우, 상기 제3 신경망 모델은 메타버스에 있는 캐릭터에 착용 가능하도록 하는 좌표 값을 포함하는 3D 모델의 형상 데이터를 생성하도록 학습된 모델일 수 있다.
그리고, 상기 아이템의 3D 모델의 텍스쳐 데이터를 획득하는 단계는 상기 아이템의 특징 데이터 및 상기 3D 모델의 형상 데이터를 제4 신경망 모델에 입력하여, 상기 아이템의 텍스쳐에 대응되는 상기 아이템의 3D 모델의 텍스쳐 데이터를 획득할 수 있다.
본 개시의 다양한 실시 예에 따르면, 이미지에 포함된 아이템을 복수 개의 메타버스에서 이용하기 위하여 복수 개의 메타버스별로 각각 처음부터 3D 모델링을 수행하지 않고도, 한번의 3D 모델링 과정에서 사용자가 선택한 메타버스에서 이용할 수 있는 3D 모델을 생성하기 위한 데이터를 획득할 수 있다는 점에서, 3D 모델링에 소요되는 시간과 비용을 아낄 수 있게 된다.
도 1은 본 개시의 일 실시 예에 따른 전자 장치를 설명하기 위한 도면,
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 설명하기 위한 블록도,
도 3은 본 개시의 일 실시 예에 따른 모델 인코더를 설명하기 위한 도면,
도 4는 본 개시의 일 실시 예에 따른 중간 모델 컨버터를 설명하기 위한 도면,
도 5는 본 개시의 일 실시 예에 따른 Shape Fitting Decoder를 설명하기 위한 도면,
도 6은 본 개시의 일 실시 예에 따른 Domain-specific Shape Generator를 설명하기 위한 도면,
도 7은 본 개시의 일 실시 예에 따른 메타버스에 있는 캐릭터에 착용 가능하도록 하는 좌표 값을 포함하는 3D 모델의 형상 데이터를 생성하는 것을 설명하기 위한 도면,
도 8은 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 흐름도, 그리고,
도 9는 본 개시의 일 실시 예에 따른 전자 장치의 세부 구성을 설명하기 위한 블록도이다.
본 실시 예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 본 개시의 실시 예의 다양한 변경(modifications), 균등물(equivalents), 및/또는 대체물(alternatives)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
본 개시를 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략한다.
덧붙여, 하기 실시 예는 여러 가지 다른 형태로 변형될 수 있으며, 본 개시의 기술적 사상의 범위가 하기 실시 예에 한정되는 것은 아니다. 오히려, 이들 실시 예는 본 개시를 더욱 충실하고 완전하게 하고, 당업자에게 본 개시의 기술적 사상을 완전하게 전달하기 위하여 제공되는 것이다.
본 개시에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 권리범위를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 개시에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 개시에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상"등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 개시에서 사용된 "제1," "제2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다.
반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 개시에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다.
대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
실시 예에 있어서 '모듈' 혹은 '부'는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 '모듈' 혹은 복수의 '부'는 특정한 하드웨어로 구현될 필요가 있는 '모듈' 혹은 '부'를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.
한편, 도면에서의 다양한 요소와 영역은 개략적으로 그려진 것이다. 따라서, 본 발명의 기술적 사상은 첨부한 도면에 그려진 상대적인 크기나 간격에 의해 제한되지 않는다.
이하에서는 첨부한 도면을 참고하여 본 개시에 따른 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
도 1은 본 개시의 일 실시 예에 따른 전자 장치를 설명하기 위한 도면이다.
전자 장치(100)는 이미지(10)에 포함된 아이템(20)의 3D 모델을 생성할 수 있다. 이를 위해, 전자 장치(100)는 서버 장치, 스마트폰, 그밖에 다양한 PC 내지는 단말 장치로 구현될 수 있다.
한편, 아이템(20)의 3D 모델은 메타버스(Metaverse)에서 이용 가능한 3D 모델일 수 있다. 여기에서, 메타버스란 현실세계와 같은 사회·경제·문화 활동이 이뤄지는　3차원 가상세계를 의미할 수 있다. 그리고, 메타버스 내에는 메타버스에 접속한 사용자들의 역할을 대신하는 캐릭터(또는, 아바타)가 존재할 수 있다.
한편, 아이템(20)은 메타버스 내의 캐릭터에 착용이 가능한 오브젝트일 수 있다. 예를 들어 아이템은 셔츠, 재킷, 바지 등과 같은 의류 및 모자, 벨트, 신발, 시계 등과 같은 액세서리를 포함할 수 있다. 다만 이는 일 예일 뿐 캐릭터에 착용이 가능한 오브젝트의 종류가 반드시 이에 한정되지는 않는다.
한편, 메타버스는 메타버스가 구현된 세계 즉, 메타버스 플랫폼에 따라 구별될 수 있다. 이 경우, 각 메타버스 플랫폼 별로 해당 메타버스에서 이용되는 3D 모델의 스타일 또는 포맷이 서로 다를 수 있다. 이에 따라, 특정 메타버스 에서 이용할 수 있는 3D 모델이 다른 메타버스에서는 이용하지 못할 수 있다.
예를 들어, 같은 이미지(10)에 포함된 아이템(20)에 기초하여 3D 모델을 생성하는 경우, A 메타버스에서 이용되는 아이템(20)의 3D 모델(30)과, B 메타버스에서 이용되는 아이템(20)의 3D 모델(40)과 C 메타버스에서 이용되는 아이템(20)의 3D 모델(50)의 스타일 또는 포맷이 서로 다를 수 있다.
이에 따라, 본 개시에 따른 전자 장치(100)는 3D 모델 컨버터를 통해 이미지에 포함된 아이템의 특징 데이터를 추출하고, 추출된 아이템의 특징 데이터에 기초하여 복수의 메타버스 중 사용자에 의해 선택된 메타버스에서 이용되는 아이템의 3D 모델을 생성하기 위한 데이터를 획득할 수 있다. 그리고, 사용자는 획득한 데이터를 이용하여 선택된 메타버스에서 이용되는 3D 모델을 생성할 수 있게 된다.
이와 같이, 본 개시의 다양한 실시 예에 따르면, 전자 장치(100)는 이미지에 포함된 아이템의 특징 데이터에 기초하여 복수 개의 메타버스 중 사용자가 선택한 메타버스에서 이용될 수 있는 3D 모델의 스타일 또는 포멧에 부합하는 3D 모델을 생성하기 위한 데이터를 사용자에게 제공할 수 있다.
이에 따라, 전자 장치(100)의 사용자는 이미지에 포함된 아이템을 복수 개의 메타버스에서 이용하기 위하여 복수 개의 메타버스별로 각각 처음부터 3D 모델링을 수행하지 않고도, 한번의 3D 모델링 과정에서 사용자가 선택한 메타버스에서 이용할 수 있는 3D 모델을 생성하기 위한 데이터를 획득할 수 있다는 점에서, 3D 모델링에 소요되는 시간과 비용을 아낄 수 있게 된다.
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 설명하기 위한 블록도이다.
도 2를 참조하면, 전자 장치(100)는 메모리(110) 및 프로세서(120)를 포함한다.
메모리(110)에는 전자 장치(100)의 동작을 위한 데이터가 저장될 수 있다. 구체적으로, 메모리(110)에는 전자 장치(100)에 관한 적어도 하나의 인스트럭션(instruction)이 저장될 수 있다. 그리고, 메모리(110)에는 전자 장치(100)를 구동시키기 위한 O/S(Operating System)가 저장될 수 있다. 또한, 메모리(110)에는 본 개시의 다양한 실시 예들에 따라 전자 장치(100)가 동작하기 위한 각종 소프트웨어 프로그램이나 애플리케이션이 저장될 수도 있다. 이를 위해, 메모리(110)는 휘발성 메모리, 플래시 메모리 등과 같은 반도체 메모리나 하드디스크(Hard Disk) 등과 같은 자기 저장 매체 등을 포함할 수 있다.
또한, 메모리(110)에는 3D 모델 컨버터(200)가 저장될 수 있다. 3D 모델 컨버터는 이미지 및 복수의 메타버스 중 사용자 입력에 기초하여 선택된 메타버스에 대한 정보에 기초하여 선택된 메타버스에서 이용되는 아이템의 3D 모델을 생성하기 위한 데이터를 획득하기 위한 모델이다. 3D 모델 컨버터(200)는 모델 인코더(210) 및 중간 모델 컨버터(220)를 포함할 수 있다.
여기에서, 모델 인코더(210) 및 중간 모델 컨버터(220)는 적어도 하나의 신경망 모델을 포함할 수 있다. 여기에서, 신경망 모델은 인공 신경망(neural network)을 포함하는 인공 지능 모델(artificial intelligence model)을 말하며, 딥러닝(deep learning)에 의해 학습될 수 있다. 특히, 본 개시에 따른 신경망 모델은 이미지를 생성하기 위한 생성적 적대 신경망(Generative Adversarial Networks, GAN)일 수 있다. 한편, 모델 인코더(210) 및 중간 모델 컨버터(220)의 전체적인 구성은 도 3 및 도 4를 통해 후술하도록 하겠다.
프로세서(120)는 메모리(110)와 전기적으로 연결되어, 전자 장치(100)의 전반적인 동작 및 기능을 제어할 수 있다.
이를 위해, 프로세서(120)는 중앙처리장치(central processing unit, CPU) 또는 애플리케이션 프로세서(application processor, AP)를 포함할 수 있으며, 전자 장치(100)의 메모리(110)에 저장된 하나 이상의 인스트럭션에 따라 메모리에 저장된 하나 이상의 소프트웨어 프로그램을 실행할 수 있다.
또한, 프로세서(120)는 MPU(Micro Processing Unit)로 구현되거나, 또는 RAM(Random Access Memory) 및 ROM(Read Only Memory) 등이 CPU 등과 시스템 버스를 통해 연결된 컴퓨터에 해당할 수도 있다.
또한, 프로세서(120)는 전자 장치(100)에 포함된 하드웨어적 구성요소뿐만 아니라, 전자 장치(100)에 포함되는 하나 이상의 소프트웨어 모듈을 제어할 수도 있으며, 프로세서(120)가 소프트웨어 모듈을 제어한 결과가 하드웨어 구성들의 동작으로 도출될 수도 있다.
또한, 프로세서(120)는 하나 또는 복수의 프로세서로 구성될 수 있다. 이때, 하나 또는 복수의 프로세서는 CPU, AP 등과 같은 범용 프로세서, GPU. VPU 등과 같은 그래픽 전용 프로세서 또는 NPU와 같은 인공지능 전용 프로세서일 수 있다.
이 경우, 하나 또는 복수의 프로세서는, 메모리에 저장된 기정의된 동작 규칙 또는 인공지능 모델에 따라, 입력 데이터를 처리하도록 제어한다. 기정의된 동작 규칙 또는 인공지능 모델은 학습(훈련)을 통해 만들어진 것을 특징으로 한다.
여기에서, 학습을 통해 만들어진다는 것은, 다수의 학습 데이터들에 학습 알고리즘을 적용함으로써, 원하는 특성의 기정의된 동작 규칙 또는 인공지능 모델이 만들어짐을 의미한다. 이러한 학습은 본 개시에 따른 인공지능이 수행되는 기기 자체에서 이루어질 수도 있고, 별도의 서버/시스템을 통해 이루어 질 수도 있다.
그리고, 학습 알고리즘은 다수의 학습 데이터들을 이용하여 소정의 대상 기기(예컨대, 로봇)을 훈련시켜 소정의 대상 기기 스스로 결정을 내리거나 예측을 할 수 있도록 하는 방법이다. 학습 알고리즘의 예로는, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)이 있으며, 본 개시에서의 학습 알고리즘은 명시한 경우를 제외하고 전술한 예에 한정되지 않는다.
프로세서(120)는 아이템을 포함하는 이미지 및 복수의 메타버스 중 사용자 입력에 기초하여 선택된 메타버스에 대한 정보를 3D 모델 컨버터에 입력하여 선택된 메타버스에서 이용되는 아이템의 3D 모델을 생성하기 위한 데이터를 획득할 수 있다.
이를 위해, 프로세서(120)는 사용자 입력부(미도시)를 통해 메모리(110)에 저장된 복수의 이미지 중 하나를 선택하는 사용자 명령을 입력 받거나 카메라(미도시)에 의해 촬영된 이미지를 입력 받을 수 있다.
또한, 프로세서(120)는 사용자 입력부(미도시)를 통해 사용자로부터 기설정된 복수의 메타버스 중 하나의 메타버스를 선택하는 명령을 입력받을 수 있다.
그리고, 프로세서(120)는 이미지를 3D 모델 컨버터에 입력하여 아이템의 특징 데이터를 추출할 수 있다. 구체적으로, 프로세서(120)는 사용자에 의해 입력된 이미지를 3D 모델 컨버터(200)의 모델 인코더(210)에 입력하여 이미지에 포함된 아이템의 특징 데이터를 추출할 수 있다.
한편, 모델 인코더(210)는 입력된 이미지에 포함된 아이템의 특징 데이터를 추출할 수 있는 모델일 수 있다. 이 경우, 아이템의 특징 데이터는 아이템의 형상 특징 데이터 및 텍스처 특징 데이터를 포함할 수 있다.
이를 위해, 도 3에서 개시된 바와 같이, 모델 인코더(210)는 객체 분류기(211), 형상 인코더(212) 및 텍스처 인코더(213)를 포함할 수 있다.
먼저, 모델 인코더(210)에 입력된 이미지는 객체 분류기(211)에 입력될 수 있다.
그리고, 객체 분류기(211)는 입력된 이미지에 기초하여 이미지에 포함된 아이템의 클래스에 대한 정보를 획득할 수 있다. 여기에서, 클래스란 신경망 모델이 생성할 수 있는 이미지들을 분류하기 위해 기 정의된 분류 기준으로서, 카테고리 또는 도메인 등과 같은 용어로 대체될 수 있다. 예를 들어, 본 개시에 따른 객체 분류기(211)가 이미지에 포함된 아이템을 분류하도록 구현되는 경우, 복수의 클래스는 아이템의 종류에 따라 "셔츠", " 모자 " 및 "시계" 등과 클래스를 포함할 수 있다. 이 경우, 객체 분류기(211)는 입력된 이미지에 기초하여 복수의 클래스 중 이미지에 포함된 아이템의 클래스에 대한 정보를 획득하도록 학습된 신경망 모델로 구현될 수 있다.
예를 들어, 도 3과 같이, 모델 인코더(210)에 입력된 이미지(10)가 객체 분류기(211)에 입력될 수 있다. 이 경우, 객체 분류기(211)는 입력된 이미지(10)에 기초하여 이미지(10)에 포함된 아이템(20)의 클래스는 모자라는 정보를 획득할 수 있다.
한편, 객체 분류기(211)에 의해 획득된 이미지에 포함된 아이템의 클래스 정보 및 객체 분류기(211)에 입력된 이미지는 형상 인코더(212) 및 텍스처 인코더(213)에 입력될 수 있다.
그리고, 형상 인코더(212)는 입력된 이미지 및 이미지에 포함된 아이템의 클래스 정보에 기초하여 이미지에 포함된 아이템의 형상 특징 데이터를 획득할 수 있다. 여기에서, 형상 특징 데이터는 입력된 아이템의 클래스에 따라 정의된 아이템의 종류, 모양 및 외형 등에 대한 정보를 포함하는 특징 데이터일 수 있다.
예를 들어, 모델 인코더(210)에 입력된 이미지(10) 및 이미지(10)에 포함된 아이템(20)의 클래스가 모자라는 정보가 형상 인코더(212)에 입력될 수 있다. 이 경우, 형상 인코더(212)는 모자의 종류(가령, 페도라(Fedora), 탑(Top), 베레모(Beret) 등), 모자의 모양(가령, 통(Crown)의 넓이 및 챙(Brim)의 크기 등) 및 모자의 외형(가령, 로고의 유무, 로고의 위치 및 로고의 형태 등)과 같은 정보를 포함하는 형상 특징 데이터를 획득할 수 있다.
이를 위해, 형상 인코더(212)는 입력된 이미지 및 이미지에 포함된 아이템의 클래스 정보에 기초하여 이미지에 포함된 아이템의 형상 특징 데이터를 획득하도록 학습된 신경망 모델로 구현될 수 있다.
한편, 텍스처 인코더(213)는 입력된 이미지 및 이미지에 포함된 아이템의 클래스 정보에 기초하여 이미지에 포함된 아이템의 텍스처 특징 데이터를 획득할 수 있다. 여기에서, 텍스처 특징 데이터는 입력된 아이템의 클래스 별로 특징이 될 수 있는 아이템의 색상, 및 재질 등에 대한 정보를 포함하는 특징 데이터일 수 있다.
예를 들어, 모델 인코더(210)에 입력된 이미지(10) 및 이미지(10)에 포함된 아이템(20)의 클래스가 모자라는 정보가 텍스처 인코더(213)에 입력될 수 있다. 이 경우, 텍스처 인코더(213)는 모자의 색상(가령, 통, 챙 및 로고의 색상 등) 및 모자의 재질(가령, 면(Cotton), 아크릴(acryl) 및 앙고라(angora) 등)과 같은 정보를 포함하는 텍스처 특징 데이터를 획득할 수 있다.
한편, 형상 인코더(212) 및 텍스처 인코더(213)에 의해 획득된 아이템의 형상 특징 데이터 및 텍스처 특징 데이터는 전자 장치(100)와 전자 장치(100)에 포함된 신경망 모델에서 처리될 수 있는 벡터(vector)값으로 표현된 특징 데이터일 수 있다.
그리고, 아이템의 형상 데이터 및 텍스처 데이터는 하나의 벡터 값으로 표현된 아이템의 특징 데이터로 집계(Aggregation)될 수 있다. 여기에서, 벡터 데이터의 집계는 다양한 집계 함수로 구현될 수 있으며, 이에 대한 내용은 종래 기술이라는 점에서 자세한 설명은 생략하도록 한다.
그리고, 프로세서(120)는 획득된 아이템의 특징 데이터에 기초하여 선택된 메타버스에서 이용되는 복수의 아이템의 3D 모델 각각의 특징 데이터 중 아이템의 특징 데이터에 대응되는 3D 모델의 특징 데이터가 존재하는지를 식별할 수 있다.
구체적으로, 프로세서(120)는 모델 인코더(210)에 의해 획득된 아이템의 특징 데이터 및 복수의 메타버스 중 사용자 입력에 기초하여 선택된 메타버스에 대한 정보를 3D 모델 컨버터(200)의 중간 모델 컨버터(220)에 입력하여 선택된 메타버스에서 이용되는 복수의 아이템의 3D 모델 각각의 특징 데이터 중 아이템의 특징 데이터에 대응되는 3D 모델의 특징 데이터가 존재하는지를 식별할 수 있다.
여기에서, 중간 모델 컨버터(220)는 입력된 아이템의 특징 데이터 및 복수의 메타버스 중 사용자 입력에 기초하여 선택된 메타버스에 대한 정보에 기초하여 선택된 메타버스에서 이용되는 아이템의 3D 모델을 생성하기 위한 데이터를 획득할 수 있는 모델일 수 있다.
이 경우, 아이템의 3D 모델을 생성하기 위한 데이터는, 3D 모델의 형상 데이터 및 텍스쳐 데이터를 포함할 수 있다.
이를 위해, 도 4에서 개시된 바와 같이, 중간 모델 컨버터(220)는 Closest Model Finder(221), Shape Fitting Decoder(222), Domain-specific Shape Generator(223) 및 Texture Generator(224)를 포함할 수 있다
먼저, 중간 모델 컨버터(220)에 입력된 아이템의 특징 데이터 및 수의 메타버스 중 사용자 입력에 기초하여 선택된 메타버스에 대한 정보는 Closest Model Finder(221)에 입력될 수 있다.
여기에서, Closest Model Finder(221)는 입력된 아이템의 특징 데이터 및 복수의 메타버스 중 사용자 입력에 기초하여 선택된 메타버스에 대한 정보에 기초하여 선택된 메타버스에서 이용되는 복수의 아이템의 3D 모델 각각의 특징 데이터 중 아이템의 특징 데이터에 대응되는 3D 모델의 특징 데이터가 존재하는지를 식별할 수 있다.
이를 위해, Closest Model Finder(221)는 아이템의 특징 데이터 및 메타버스에 대한 정보에 기초하여 아이템의 특징 데이터에 대응되는 3D 모델의 특징 데이터가 존재하는지를 식별하도록 학습된 신경망 모델(제1 신경망 모델)로 구현될 수 있다.
구체적으로, Closest Model Finder(221)는 입력된 아이템의 특징 데이터와 선택된 메타버스에서 이용되는 복수의 3D 모델 각각의 특징 데이터를 비교하여 선택된 메타버스에서 이용되는 복수의 3D 모델 각각에 대한 유사도를 산출할 수 있다.
여기에서, 3D 모델의 특징 데이터는 복수의 메타버스에서 이용되는 3D 모델의 형상 특징 데이터 및 텍스처 특징 데이터가 하나의 벡터 값으로 표현된 데이터일 수 있다. 한편, 형상 특징 데이터 및 텍스처 특징 데이터에 대한 자세한 설명은 전술한 바 있다는 점에서 생략하도록 한다.
또한, 유사도는 특징 데이터들의 벡터 사이의 거리에 기초하여 산출될 수 있다. 구체적으로, 속성 값들 사이의 유사도는 코사인 거리(Cosine similarity), 유클리드 거리(Euclidean similarity) 또는 자카드 거리(Jaccard similarity) 등과 같은 다양한 유사도 기법에 기초하여 산출될 수 있다.
그리고, 메모리(110)에는 복수 개의 메타버스에서 이용되는 복수의 3D 모델 각각의 특징 데이터가 저장될 수 있다. 이 경우, 복수의 3D 모델 각각의 특징 데이터는 복수의 메타버스 플랫폼 운영업체로부터 제공되어 메모리(110)에 저장되거나 복수의 메타버스 플랫폼 운영업체로부터 제공된 아이템의 3D 모델로부터 획득되어 메모리(110)에 저장될 수 있다.
이 경우, Closest Model Finder(221)는 산출된 복수의 유사도 중 적어도 하나의 임계 값 이상인 유사도가 존재하는 것으로 식별되면, 아이템의 특징 데이터에 대응되는 3D 모델의 특징 데이터가 존재하는 것으로 식별할 수 있다. 그리고, 임계 값 이상인 유사도들 중 가장 큰 유사도를 가지는 3D 모델을 아이템의 특징 데이터에 대응되는 3D 모델로 식별할 수 있다.
반면, Closest Model Finder(221)는 선택된 메타버스에서 이용되는 복수의 3D 모델 각각에 대한 유사도가 임계 값 미만인 경우, 아이템의 특징 데이터에 대응되는 3D 모델이 존재하지 않는 것으로 식별할 수 있다.
한편, 프로세서(120)는 3D 모델의 특징 데이터가 존재하는 것으로 식별되면, 아이템의 특징 데이터 및 3D 모델의 특징 데이터를 3D 모델 컨버터에 입력하여 아이템의 3D 모델의 형상 데이터를 생성할 수 있다.
여기에서, 3D 모델의 형상 데이터는 특정 오브젝트가 3차원 공간에서 재현될 수 있도록 3차원 좌표 값에 대한 정보 또는 수학적으로 정의된 위치 정보를 포함하는 데이터를 의미할 수 있다. 이 경우, 형상 데이터는 폴리곤(Polygon) 모델링, 넙스(Nurbs) 모델링, 서브디비전(Subdivision) 모델링 등의 모델링 기법으로 생성된 형상 데이터일 수 있다. 다만 이는 일 예일 뿐, 형상 데이터의 모델링 기법이 반드시 이에 한정되지는 않는다.
구체적으로, 프로세서(120)는 Closest Model Finder(221)를 통해 아이템의 특징 데이터에 대응되는 3D 모델의 특징 데이터가 존재하는 것으로 식별되면, 모델 인코더(210)에 의해 획득된 아이템의 특징 데이터 및 Closest Model Finder(221)에 의해 식별된 아이템의 특징 데이터에 대응되는 3D 모델의 특징 데이터를 Shape Fitting Decoder(222)에 입력할 수 있다.
그리고, Shape Fitting Decoder(222)는 입력된 아이템의 특징 데이터 및 아이템의 특징 데이터에 대응되는 3D 모델의 특징 데이터에 기초하여 아이템의 3D 모델의 형상 데이터를 생성할 수 있다.
이 경우, Shape Fitting Decoder(222)는 아이템의 특징 데이터 및 아이템의 특징 데이터에 대응되는 3D 모델의 특징 데이터에 기초하여 아이템 특징 데이터에 대응되는 3D 모델의 형상 데이터가 아이템의 종류, 모양 및 외형 등을 가지도록 변경된 형상 데이터를 아이템의 3D 모델의 형상 데이터로 생성할 수 있다. 이를 위해, Shape Fitting Decoder(222)는 입력된 아이템의 특징 데이터 및 아이템의 특징 데이터에 대응되는 3D 모델의 특징 데이터에 기초하여 아이템의 3D 모델 형상 데이터를 획득하도록 학습된 신경망 모델(제2 신경망 모델)로 구현될 수 있다.
예를 들어, 도 5와 같이, 이미지(10)에 포함된 아이템(20)의 특징 데이터 및 아이템의 특징 데이터에 대응되는 3D 모델(510)의 특징 데이터가 Shape Fitting Decoder(222)에 입력될 수 있다.
이 경우, 데이터가 Shape Fitting Decoder(222)는 아이템의 특징 데이터에 대응되는 3D 모델(510)의 형상 데이터(520)가 아이템(20)의 종류, 모양 및 외형등을 가지도록 변경된 아이템의 3D 모델의 형상 데이터(530)를 생성할 수 있다.
이에 따라, 아이템의 3D 모델의 형상 데이터(530)는 아이템(20)의 로고(21)와 동일한 로고(531)를 포함하고, 아이템(20)의 챙(22)의 챙의 형태와 동일한 형태의 챙(532)을 가질 수 있게 된다.
한편, 프로세서(120)는 3D 모델의 특징 데이터가 존재하지 않는 것으로 식별되면, 아이템의 특징 데이터를 3D 모델 컨버터에 입력하여 아이템의 3D 모델의 형상 데이터를 생성할 수 있다.
구체적으로, 프로세서(120)는 Closest Model Finder(221)를 통해 아이템의 특징 데이터에 대응되는 3D 모델의 특징 데이터가 존재하지 않는 것으로 식별되면 모델 인코더(210)에 의해 획득된 아이템의 특징 데이터를 Domain-specific Shape Generator(223)에 입력할 수 있다.
그리고, Domain-specific Shape Generator(223)는 입력된 아이템의 특징 데이터에 기초하여 아이템의 3D 모델의 형상 데이터를 생성할 수 있다.
구체적으로, Domain-specific Shape Generator(223)는 아이템의 특징 데이터에 기초하여 아이템의 종류, 모양 및 외형 등을 가지면서, 선택된 메타버스에서 이용될 수 있는 형상 데이터의 기준을 만족하는 아이템의 3D 모델 형상 데이터를 생성할 수 있다. 이를 위해, Domain-specific Shape Generator(223)는 복수 개의 메타버스 별로 각각 존재할 수 있다
또한, 각 메타버스 별로 존재하는 Domain-specific Shape Generator(223)는 입력된 아이템의 특징 데이터에 기초하여 아이템의 3D 모델 형상 데이터를 생성하도록 학습된 신경망 모델(제3 신경망 모델)로 구현될 수 있다.
예를 들어, 도 6과 같이, 이미지(10)에 포함된 아이템(20)의 특징 데이터가 Domain-specific Shape Generator(223)에 입력될 수 있다.
여기에서, 사용자 입력에 의해 선택된 메타버스가 A 메타버스인 경우, Domain-specific Shape Generator(223)는 아이템(20)의 종류, 모양 및 외형 등을 가지면서, A 메타버스에서 이용될 수 있는 형상 데이터의 기준을 만족하는 아이템의 3D 모델 형상 데이터(610)를 생성할 수 있다.
또한, 사용자 입력에 의해 선택된 메타버스가 B 메타버스인 경우, Domain-specific Shape Generator(223)는 아이템(20)의 종류, 모양 및 외형등을 가지면서, B 메타버스에서 이용될 수 있는 형상 데이터의 기준을 만족하는 아이템의 3D 모델 형상 데이터(620)를 생성할 수 있다.
그리고, 프로세서(120)는 아이템의 특징 데이터 및 3D 모델의 형상 데이터를 3D 모델 컨버터에 입력하여 3D 모델의 텍스쳐 데이터를 생성할 수 있다.
여기에서, 3D 모델의 텍스처 데이터는 3D 모델의 형상 데이터를 구성하는 오브젝트의 도형 또는 면의 단위인 각 폴리곤의 색상, 반사광, 요철 등에 대한 정보를 포함하는 데이터일 수 있다.
이 경우, 3D 모델의 텍스처 데이터는 디퓨즈 맵(diffuse map), 스페큘러 맵(Specular map) 및 범프/노멀 맵(bump/normal map)등 다양한 텍스처 맵을 포함할 수 있다.
이를 위해, 프로세서(120)는 Shape Fitting Decoder(222) 또는 Domain-specific Shape Generator(223)에 의해 아이템의 3D 모델 형상 데이터가 획득되면, 아이템의 특징 데이터 및 획득된 3D 모델의 형상 데이터를 Texture Generator(224)에 입력할 수 있다.
그리고, Texture Generator(224)는 입력된 아이템의 특징 데이터 및 아이템의 3D 모델의 형상 데이터에 기초하여 아이템의 3D 모델의 텍스처 데이터를 생성할 수 있다.
이 경우, 3D 모델의 텍스처 데이터는 밉 맵핑(Mip Mapping), UV 맵핑(UV Mapping), 법선 맵핑(Normal Mapping), 범프 맵핑(Bump Mapping), 변위 맵핑(Displacement Mapping), 절차적 맵핑(Procedural Mapping), 라이트 맵핑(Light Mapping), 반사 맵핑(Reflection Mapping), 굴절 맵핑(Refraction Mapping) 등 다양한 맵핑 기법에 의해 생성될 수 있다. 다만 이는 일 예일 뿐, 텍스터 데이터를 생성하는 방법이 반드시 이에 한정되지는 않는다.
이를 위해이 경우, Texture Generator(224)는 입력된 아이템의 특징 데이터 및 아이템의 3D 모델의 형상 데이터에 기초하여 3D 모델의 텍스처 데이터를 획득하도록 학습된 신경망 모델(제4 신경망 모델)로 구현될 수 있다.
이와 같이, 본 개시의 일 실시 예에 따른 전자 장치(100)는 이미지에 포함된 아이템의 3D 모델을 생성하기 위한 데이터를 사용자가 선택한 메타버스에서 이용될 수 있는 형태로 획득할 수 있다. 이에 따라, 사용자는 복수의 메타버스 별로 각각 처음부터 모델링을 수행하지 않고도 복수의 메타버스에서 이미지에 포함된 아이템의 3D 모델을 이용할 수 있게 된다.
한편, 아이템의 3D 모델의 형상 데이터는 아이템이 선택된 메타버스의 캐릭터에 착용 가능하도록 하는 좌표 값을 포함할 수 있다.
여기에서, 메타버스의 캐릭터에 착용 가능하도록 하는 좌표 값은 3D 모델이 메타버스의 캐릭터에 착용되는 경우, 3D 모델의 형상 데이터와 메타버스 내의 캐릭터의 형상 데이터가 접하게 되는 복수 개의 지점 중 하나 이상의 지점의 좌표 값을 의미할 수 있다. 이 경우, 메타버스의 캐릭터에 착용 가능하도록 하는 좌표 값은 3D 모델의 클래스 별로 정해질 수 있다.
예를 들어, 도 7과 같이, 3D 모델이 모자(710)인 경우, 모자(710)의 메타버스의 캐릭터에 착용 가능하도록 하는 좌표 값은 모자(710)와 캐릭터(720)가 접하게 되는 복수 개의 지점(730)들 중 적어도 하나의 좌표 값일 수 있다.
구체적으로, Shape Fitting Decoder(222) 및 Domain-specific Shape Generator(223)는 입력된 아이템의 특징 데이터에 기초하여 아이템이 메타버스의 캐릭터에 착용되는 경우, 아이템의 3D 모델의 형상 데이터와 메타버스 내의 캐릭터의 형상 데이터가 접하게 되는 복수 개의 지점을 예측할 수 있다. 그리고, Shape Fitting Decoder(222) 및 Domain-specific Shape Generator(223)는 예측된 복수 개의 지점 중 적어도 하나 이상의 지점의 좌표 값이 3D 모델 형상 데이터에 포함되도록 아이템의 3D 모델 형상 데이터를 생성할 수 있다.
이를 위해, Shape Fitting Decoder(222) 및 Domain-specific Shape Generator(223)는 메타버스에 있는 캐릭터에 착용 가능하도록 하는 좌표 값을 포함하는 3D 모델의 형상 데이터를 생성하도록 학습된 신경망 모델일 수 있다.
이와 같이, 본 개시의 일 실시 예에 따른 전자 장치(100)는 선택된 메타버스의 캐릭터에 착용 가능하도록 하는 좌표 값을 포함할 수 있는 이미지에 포함된 아이템의 3D 모델 형상 데이터를 생성할 수 있다. 이에 따라, 사용자는 랜더링 과정에서 3D 모델 형상 데이터에 대한 추가적인 수정을 하지 않고도 아이템의 3D 모델을 메타버스 내에서 바로 이용할 수 있게 된다.
도 8은 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
먼저, 이미지를 3D 모델 컨버터에 입력하여 아이템의 특징 데이터를 추출한다(S810).
그리고, 복수의 메타버스 중 메타버스를 선택하기 위한 사용자 입력이 수신되면, 아이템의 특징 데이터에 기초하여 선택된 메타버스에서 이용되는 복수의 아이템의 3D 모델 각각의 특징 데이터 중 아이템의 특징 데이터에 대응되는 3D 모델의 특징 데이터가 존재하는지를 식별한다(S820).
그리고, 3D 모델의 특징 데이터가 존재하는 것으로 식별되면(S820-Y), 아이템의 특징 데이터 및 3D 모델의 특징 데이터를 3D 모델 컨버터에 입력하여 아이템의 3D 모델의 형상 데이터를 획득한다(S830).
반면, 3D 모델의 특징 데이터가 존재하지 않는 것으로 식별되면(S820-N), 아이템의 특징 데이터를 3D 모델 컨버터에 입력하여 아이템의 3D 모델의 형상 데이터를 획득한다(S840).
그리고, 아이템의 특징 데이터 및 아이템의 3D 모델의 형상 데이터를 3D 모델 컨버터에 입력하여 아이템의 3D 모델의 텍스쳐 데이터를 획득한다(S850).
여기에서, 아이템의 3D 모델의 형상 데이터는 아이템이 선택된 메타버스의 캐릭터에 착용 가능하도록 하는 좌표 값을 포함할 수 있다.
또한, 아이템의 특징 데이터는 아이템의 형상 특징 데이터 및 텍스쳐 특징 데이터를 포함할 수 있다.
한편, S820 단계는 아이템의 특징 데이터 및 선택된 메타버스에 대한 정보를 제1 신경망 모델에 입력하여, 선택된 메타버스에서 이용되는 복수의 아이템의 3D 모델 각각의 특징 데이터 중 아이템의 특징 데이터에 대응되는 3D 모델의 특징 데이터가 존재하는지를 식별할 수 있다.
또한, S830 단계는 3D 모델의 특징 데이터가 존재하는 것으로 식별되면, 아이템의 특징 데이터 및 3D 모델의 특징 데이터를 제2 신경망 모델에 입력하여, 선택된 메타버스의 캐릭터에 착용 가능한 아이템의 3D 모델의 형상 데이터를 획득할 수 있다.
이 경우, 제2 신경망 모델은, 메타버스에 있는 캐릭터에 착용 가능하도록 하는 좌표 값을 포함하는 3D 모델의 형상 데이터를 생성하도록 학습된 모델일 수 있다.
한편, S840 단계는 3D 모델의 특징 데이터가 존재하지 않는 것으로 식별되면, 아이템의 특징 데이터를 제3 신경망 모델에 입력하여, 선택된 메타버스의 캐릭터에 착용 가능한 아이템의 3D 모델의 형상 데이터를 획득할 수 있다.
이 경우, 제3 신경망 모델은 메타버스에 있는 캐릭터에 착용 가능하도록 하는 좌표 값을 포함하는 3D 모델의 형상 데이터를 생성하도록 학습된 모델일 수 있다.
그리고, S850 단계는 아이템의 특징 데이터 및 3D 모델의 형상 데이터를 제4 신경망 모델에 입력하여, 아이템의 텍스쳐에 대응되는 아이템의 3D 모델의 텍스쳐 데이터를 획득할 수 있다.
도 9는 본 개시의 일 실시 예에 따른 전자 장치의 세부 구성을 설명하기 위한 블록도이다.
도 9를 참조하면, 전자 장치(100)는 메모리(110), 프로세서(120), 통신 인터페이스(130), 디스플레이(140), 사용자 입력부(150) 및 카메라(160)를 포함할 수 있다. 한편, 도 9에 도시된 구성 요소는 일 예일 뿐이고, 실시 예에 따라 적어도 일부 구성요소가 생략되거나, 다른 구성요소가 추가될 수 있음은 물론이다.
또한, 메모리(110), 프로세서(120)는 도 1 내지 도 8에서 설명한 바 있다는 점에서, 중복되는 부분에 대한 구체적인 설명은 생략하도록 한다.
통신 인터페이스(130)는 외부 전자 장치와 통신을 수행할 수 있는 구성이다. 예를 들어, 프로세서(120)는 통신 인터페이스를 통해 아이템이 포함된 이미지를 외부 전자 장치로부터 수신하거나 아이템의 3D 모델을 생성하기 위한 데이터를 외부 전자 장치로 수신할 수 있다. 이를 위해, 통신 인터페이스(130)는 BT(Bluetooth), BLE(Bluetooth Low Energy), WI-FI(Wireless Fidelity), Zigbee 등과 같은 무선 통신 방식 또는 IR(Infrared) 통신 방식을 통해 다양한 외부 장치와 통신을 수행할 수 있다.
디스플레이(140)는 화면을 표시할 수 있는 구성이다. 예를 들어, 프로세서(120)는 디스플레이(140)를 통해 아이템의 3D 모델의 형상 데이터를 표시할 수 있다. 이를 위해, 디스플레이(140)는 LCD, LED 또는 OLED 등과 같은 다양한 유형의 디스플레이로 구현될 수 있다.
사용자 입력부(150)는 다양한 사용자 명령을 입력 받을 수 있는 구성이다. 예를 들어, 프로세서(120)는 사용자 입력부를 통해 복수의 메타버스 중 하나를 선택하는 명령을 입력 받을 수 있다. 이를 위해, 사용자 입력부(150)는 터치 패널 등을 포함할 수 있으며, 또한, 리모컨 신호 수신부를 포함하여 전자 장치(100)를 제어하기 위한 리모컨 등으로부터 다양한 사용자 명령을 수신할 수도 있다.
카메라(160)는 이미지를 촬영하기 위한 구성이다. 예를 들어, 프로세서(120)는 카메라(160)를 통해 아이템이 포함된 이미지를 획득하고, 획득한 이미지를 메모리(110)의 3D 모델 컨버터(200)에 입력할 수 있다.
한편, 본 개시의 일시 예에 따르면, 이상에서 설명된 다양한 실시 예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시 예들에 따른 기기를 포함할 수 있다. 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 프로세서의 제어 하에 다른 구성요소들을 이용하여 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.
일 실시 예에 따르면, 본 문서에 개시된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예: 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (15)

  1. 전자 장치에 있어서,
    3D 모델 컨버터가 저장된 메모리; 및
    아이템을 포함하는 이미지 및 복수의 메타버스 중 사용자 입력에 기초하여 선택된 메타버스에 대한 정보를 상기 3D 모델 컨버터에 입력하여 상기 선택된 메타버스에서 이용되는 상기 아이템의 3D 모델을 생성하기 위한 데이터를 획득하는 프로세서;를 포함하며,
    상기 아이템의 3D 모델을 생성하기 위한 데이터는, 상기 아이템의 3D 모델의 형상 데이터 및 텍스쳐 데이터를 포함하고,
    상기 프로세서는,
    상기 이미지를 상기 3D 모델 컨버터에 입력하여 상기 아이템의 특징 데이터를 추출하고,
    상기 아이템의 특징 데이터에 기초하여 상기 선택된 메타버스에서 이용되는 복수의 아이템의 3D 모델 각각의 특징 데이터 중 상기 아이템의 특징 데이터에 대응되는 3D 모델의 특징 데이터가 존재하는지를 식별하고,
    상기 3D 모델의 특징 데이터가 존재하는 것으로 식별되면, 상기 아이템의 특징 데이터 및 상기 3D 모델의 특징 데이터를 상기 3D 모델 컨버터에 입력하여 상기 아이템의 3D 모델의 형상 데이터를 획득하고,
    상기 3D 모델의 특징 데이터가 존재하지 않는 것으로 식별되면, 상기 아이템의 특징 데이터를 상기 3D 모델 컨버터에 입력하여 상기 아이템의 3D 모델의 형상 데이터를 획득하며,
    상기 아이템의 특징 데이터 및 상기 아이템의 3D 모델의 형상 데이터를 상기 3D 모델 컨버터에 입력하여 상기 아이템의 3D 모델의 텍스쳐 데이터를 획득하는 전자 장치.
  2. 제1항에 있어서,
    상기 아이템의 3D 모델의 형상 데이터는,
    상기 아이템이 상기 선택된 메타버스의 캐릭터에 착용 가능하도록 하는 좌표 값을 포함하는 전자 장치.
  3. 제1항에 있어서,
    상기 아이템의 특징 데이터는,
    상기 아이템의 형상 특징 데이터 및 텍스쳐 특징 데이터를 포함하는 전자 장치.
  4. 제1항에 있어서,
    상기 프로세서는,
    상기 아이템의 특징 데이터 및 상기 선택된 메타버스에 대한 정보를 제1 신경망 모델에 입력하여, 상기 선택된 메타버스에서 이용되는 복수의 아이템의 3D 모델 각각의 특징 데이터 중 상기 아이템의 특징 데이터에 대응되는 3D 모델의 특징 데이터가 존재하는지를 식별하는 전자 장치.
  5. 제1항에 있어서,
    상기 프로세서는,
    상기 3D 모델의 특징 데이터가 존재하는 것으로 식별되면, 상기 아이템의 특징 데이터 및 상기 3D 모델의 특징 데이터를 제2 신경망 모델에 입력하여, 상기 선택된 메타버스의 캐릭터에 착용 가능한 상기 아이템의 3D 모델의 형상 데이터를 획득하는 전자 장치.
  6. 제5항에 있어서,
    상기 제2 신경망 모델은,
    메타버스에 있는 캐릭터에 착용 가능하도록 하는 좌표 값을 포함하는 3D 모델의 형상 데이터를 생성하도록 학습된 모델인 전자 장치.
  7. 제1항에 있어서,
    상기 프로세서는,
    상기 3D 모델의 특징 데이터가 존재하지 않는 것으로 식별되면, 상기 아이템의 특징 데이터를 제3 신경망 모델에 입력하여, 상기 선택된 메타버스의 캐릭터에 착용 가능한 상기 아이템의 3D 모델의 형상 데이터를 획득하는 전자 장치.
  8. 제7항에 있어서,
    상기 제3 신경망 모델은,
    메타버스에 있는 캐릭터에 착용 가능하도록 하는 좌표 값을 포함하는 3D 모델의 형상 데이터를 생성하도록 학습된 모델인 전자 장치.
  9. 제1항에 있어서,
    상기 프로세서는,
    상기 아이템의 특징 데이터 및 상기 아이템의 3D 모델의 형상 데이터를 제4 신경망 모델에 입력하여, 상기 아이템의 텍스쳐에 대응되는 상기 아이템의 3D 모델의 텍스쳐 데이터를 획득하는 전자 장치.
  10. 아이템의 3D 모델을 생성하기 위한 데이터를 획득하는 전자 장치의 제어 방법에 있어서,
    아이템을 포함하는 이미지를 3D 모델 컨버터에 입력하여 상기 아이템의 특징 데이터를 추출하는 단계;
    복수의 메타버스 중 메타버스를 선택하기 위한 사용자 입력이 수신되면, 상기 아이템의 특징 데이터에 기초하여 상기 선택된 메타버스에서 이용되는 복수의 아이템의 3D 모델 각각의 특징 데이터 중 상기 아이템의 특징 데이터에 대응되는 3D 모델의 특징 데이터가 존재하는지를 식별하는 단계;
    상기 3D 모델의 특징 데이터가 존재하는 것으로 식별되면, 상기 아이템의 특징 데이터 및 상기 3D 모델의 특징 데이터를 상기 3D 모델 컨버터에 입력하여 상기 아이템의 3D 모델의 형상 데이터를 획득하는 단계;
    상기 3D 모델의 특징 데이터가 존재하지 않는 것으로 식별되면, 상기 아이템의 특징 데이터를 상기 3D 모델 컨버터에 입력하여 상기 아이템의 3D 모델의 형상 데이터를 획득하는 단계; 및
    상기 아이템의 특징 데이터 및 상기 3D 모델의 형상 데이터를 상기 3D 모델 컨버터에 입력하여 상기 아이템의 3D 모델의 텍스쳐 데이터를 획득하는 단계;를 포함하는 제어 방법.
  11. 제10항에 있어서,
    상기 아이템의 3D 모델의 형상 데이터는,
    상기 아이템이 상기 선택된 메타버스의 캐릭터에 착용 가능하도록 하는 좌표 값을 포함하는 제어 방법.
  12. 제11항에 있어서,
    상기 아이템의 특징 데이터는,
    상기 아이템의 형상 특징 데이터 및 텍스쳐 특징 데이터를 포함하는 제어 방법.
  13. 제10항에 있어서,
    상기 식별하는 단계는,
    상기 아이템의 특징 데이터 및 상기 선택된 메타버스에 대한 정보를 제1 신경망 모델에 입력하여, 상기 선택된 메타버스에서 이용되는 복수의 아이템의 3D 모델 각각의 특징 데이터 중 상기 아이템의 특징 데이터에 대응되는 3D 모델의 특징 데이터가 존재하는지를 식별하는 제어 방법.
  14. 제10항에 있어서,
    상기 아이템의 특징 데이터 및 상기 3D 모델의 특징 데이터를 상기 3D 모델 컨버터에 입력하여 상기 아이템의 3D 모델의 형상 데이터를 획득하는 단계는,
    상기 3D 모델의 특징 데이터가 존재하는 것으로 식별되면, 상기 아이템의 특징 데이터 및 상기 3D 모델의 특징 데이터를 제2 신경망 모델에 입력하여, 상기 선택된 메타버스의 캐릭터에 착용 가능한 상기 아이템의 3D 모델의 형상 데이터를 획득하는 제어 방법.
  15. 제14항에 있어서,
    상기 제2 신경망 모델은,
    메타버스에 있는 캐릭터에 착용 가능하도록 하는 좌표 값을 포함하는 3D 모델의 형상 데이터를 생성하도록 학습된 모델인 제어 방법.
PCT/KR2022/014278 2021-10-22 2022-09-23 전자 장치 및 전자 장치의 제어 방법 WO2023068571A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0142100 2021-10-22
KR1020210142100A KR20230057851A (ko) 2021-10-22 2021-10-22 전자 장치 및 전자 장치의 제어 방법

Publications (1)

Publication Number Publication Date
WO2023068571A1 true WO2023068571A1 (ko) 2023-04-27

Family

ID=86059321

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/014278 WO2023068571A1 (ko) 2021-10-22 2022-09-23 전자 장치 및 전자 장치의 제어 방법

Country Status (2)

Country Link
KR (1) KR20230057851A (ko)
WO (1) WO2023068571A1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110116671A (ko) * 2010-04-20 2011-10-26 삼성전자주식회사 메쉬 생성 장치 및 그 방법, 그리고, 영상 처리 장치 및 그 방법
KR20180023066A (ko) * 2011-09-30 2018-03-06 이베이 인크. 이미지 특징 데이터 추출 및 사용
KR20190045013A (ko) * 2017-10-23 2019-05-02 삼성전자주식회사 가상 오브젝트 생성 방법 및 장치
WO2020085786A1 (ko) * 2018-10-23 2020-04-30 오드컨셉 주식회사 스타일 추천 방법, 장치 및 컴퓨터 프로그램

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110116671A (ko) * 2010-04-20 2011-10-26 삼성전자주식회사 메쉬 생성 장치 및 그 방법, 그리고, 영상 처리 장치 및 그 방법
KR20180023066A (ko) * 2011-09-30 2018-03-06 이베이 인크. 이미지 특징 데이터 추출 및 사용
KR20190045013A (ko) * 2017-10-23 2019-05-02 삼성전자주식회사 가상 오브젝트 생성 방법 및 장치
WO2020085786A1 (ko) * 2018-10-23 2020-04-30 오드컨셉 주식회사 스타일 추천 방법, 장치 및 컴퓨터 프로그램

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MINAR MATIUR RAHMAN; TUAN THAI THANH; AHN HEEJUNE: "CloTH-VTON+: Clothing Three-Dimensional Reconstruction for Hybrid Image-Based Virtual Try-ON", IEEE ACCESS, IEEE, USA, vol. 9, 16 February 2021 (2021-02-16), USA , pages 30960 - 30978, XP011839786, DOI: 10.1109/ACCESS.2021.3059701 *

Also Published As

Publication number Publication date
KR20230057851A (ko) 2023-05-02

Similar Documents

Publication Publication Date Title
WO2019164266A1 (en) Electronic device for generating image including 3d avatar reflecting face motion through 3d avatar corresponding to face and method of operating same
WO2019031714A1 (ko) 객체를 인식하는 방법 및 장치
WO2019164374A1 (ko) 전자 장치 및 아바타 기반의 커스텀 객체 운용 방법
EP3692504A1 (en) Electronic device displaying avatar motion-performed as per movement of facial feature point and method for operating same
WO2019164232A1 (ko) 전자 장치, 이의 영상 처리 방법 및 컴퓨터 판독가능 기록 매체
WO2021020814A1 (en) Electronic device for providing avatar and operating method thereof
WO2020153796A1 (ko) 전자 장치 및 그 동작방법
WO2020180134A1 (ko) 이미지 수정 시스템 및 이의 이미지 수정 방법
WO2020130281A1 (en) Electronic device and method for providing avatar based on emotion state of user
WO2021101134A1 (en) Electronic apparatus and control method thereof
WO2020027519A1 (ko) 영상 처리 장치 및 그 동작방법
WO2021150033A1 (en) Electronic device and controlling method of electronic device
WO2020138602A1 (ko) 진정 사용자의 손을 식별하는 방법 및 이를 위한 웨어러블 기기
WO2021251615A1 (ko) 전자 장치 및 전자 장치의 제어 방법
WO2022035054A1 (ko) 로봇 및 이의 제어 방법
WO2020122513A1 (ko) 2차원 이미지 처리 방법 및 이 방법을 실행하는 디바이스
WO2021060721A1 (ko) 전자 장치 및 그의 이미지 처리 방법
WO2023068571A1 (ko) 전자 장치 및 전자 장치의 제어 방법
WO2020130274A1 (ko) 영상에서 오브젝트를 인식하는 전자 장치 및 그 동작 방법
WO2020149493A1 (ko) 전자 장치 및 이의 제어 방법
WO2023075508A1 (ko) 전자 장치 및 그 제어 방법
WO2020060012A1 (en) A computer implemented platform for providing contents to an augmented reality device and method thereof
WO2021251651A1 (ko) 회전 대칭성 판단이 가능한 영상 분석 장치 및 방법
WO2022019389A1 (ko) 데이터 증강 기반 공간 분석 모델 학습 장치 및 방법
WO2021230680A1 (en) Method and device for detecting object in image

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22883795

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE