WO2022039542A1 - 전자 장치 및 이의 제어 방법 - Google Patents
전자 장치 및 이의 제어 방법 Download PDFInfo
- Publication number
- WO2022039542A1 WO2022039542A1 PCT/KR2021/011085 KR2021011085W WO2022039542A1 WO 2022039542 A1 WO2022039542 A1 WO 2022039542A1 KR 2021011085 W KR2021011085 W KR 2021011085W WO 2022039542 A1 WO2022039542 A1 WO 2022039542A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- layer stacks
- layer
- artificial intelligence
- model
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/156—Mixing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
Definitions
- the present invention relates to an electronic device and a control method thereof, and more particularly, to an electronic device for learning an artificial intelligence model for acquiring a layer stack image for a stacked image, and a control method thereof.
- a display device such as a TV, which is one of the most used home appliances in general households, has rapidly developed in recent years.
- the types of content displayed on the display device have also increased in various ways.
- a stereoscopic display system capable of viewing even 3D content has been developed and distributed.
- the stereoscopic display system can be largely classified into a glasses-free system that can be viewed without glasses and a glasses-type system that must be viewed while wearing glasses.
- the glasses-type system can provide a satisfactory three-dimensional effect, but there is an inconvenience that the viewer must use glasses.
- the glasses-free system has the advantage of being able to view a 3D image without glasses, and discussions on the development of the glasses-free system are continuously being made.
- a stacked image including a plurality of layers obtained by using LF (Light Field) images taken from different viewpoints or by factoring LF (Light Field) images Image rendering was performed using the in-layer stack. That is, conventionally, a plurality of LF (Light Field) images are input to a non-negative tensor factorization (NTF) model or a non-negative matrix factorization (NMF) model for performing factorization on an LF (Light Field) image.
- NTF non-negative tensor factorization
- NMF non-negative matrix factorization
- the present disclosure has been made in response to the above-mentioned necessity, and the present disclosure provides an electronic device for learning an artificial intelligence model for generating a layer stack in which depth information for an object included in a light field (LF) image is reflected, and a control method thereof is intended to provide
- LF light field
- a control method of an electronic device for achieving the above object includes: acquiring a first LF (Light Field) image obtained by photographing at least one object from different viewpoints; inputting the first LF image to an artificial intelligence model for performing factorization to obtain a plurality of first layer stacks and a plurality of shifting parameters; reconstructing a second LF image using the plurality of first layer stacks and a plurality of shifting parameters; and learning the artificial intelligence model based on the first LF image and the second LF image.
- a first LF Light Field
- the reconstructing includes inputting the plurality of first layer stacks and a plurality of shifting parameters to a simulator model for reconstructing an LF image from a plurality of layer stacks to perform the shifting in the plurality of first layer stacks. obtaining a plurality of third LF images to which each parameter is applied; and obtaining the second LF image by using the plurality of third LF images.
- the simulator model may include a spatial transformer networks (STN) module, and the simulator model may be characterized in that the plurality of shifting parameters are used as variables.
- STN spatial transformer networks
- each of the plurality of first layer stacks includes three layer images
- the simulator model corresponds to each of the plurality of first layer stacks with three layer images included in each of the plurality of first layer stacks. It may be characterized in that the plurality of third LF images are acquired by shifting for each view unit according to a shifting parameter to be used.
- the learning step may include: obtaining a loss function by comparing the first LF image with the second LF image; and learning a weight of the artificial intelligence model based on the loss function.
- the learning step may be characterized in that the step of learning the weight of the artificial intelligence model in a state in which the plurality of shifting parameters are fixed for a preset period.
- the artificial intelligence model is a DNN (Deep Neural Network) model
- the obtaining of the plurality of shifting parameters includes inputting the first LF image to the DNN model, the plurality of first layer stacks and the It may be characterized in that the step of obtaining a plurality of shifting parameters corresponding to each of the plurality of first layer stacks.
- control method includes: inputting the first LF image to the learned artificial intelligence model, obtaining a plurality of second layer stacks; and repeating the plurality of second layer stacks to perform high-speed reproduction.
- the obtaining of the plurality of shifting parameters may include: inputting the first LF image to a first artificial intelligence model to obtain the plurality of first layer stacks; and inputting the plurality of first layer stacks into a second artificial intelligence model to obtain the plurality of shifting parameters.
- an electronic device includes a memory for storing at least one instruction, and a processor, and the processor executes the instruction, whereby at least one object Obtaining a first LF (Light Field) image taken from different viewpoints, and inputting the first LF image to an artificial intelligence model for performing factorization, a plurality of first layers acquiring a stack and a plurality of shifting parameters, reconstructing a second LF image using the plurality of first layer stacks and a plurality of shifting parameters, and based on the first LF image and the second LF image, the Learn artificial intelligence models.
- a first LF Light Field
- the electronic device when rendering is performed through a layer stack obtained through an artificial intelligence model, the electronic device may obtain a rendered image with an improved viewing angle according to overall factorization performance improvement.
- FIG. 1 is a diagram for explaining an operation of an electronic device according to an embodiment of the present disclosure
- FIG. 2 is a block diagram illustrating a configuration of an electronic device according to an embodiment of the present disclosure.
- FIG. 3 is a diagram for explaining an artificial intelligence model for performing factoryization, according to an embodiment of the present disclosure.
- FIG. 4 is a diagram for explaining an artificial intelligence model for performing factoryization, according to an embodiment of the present disclosure.
- 5A is a diagram illustrating a second LF image reconstructed through a layer stack according to an embodiment of the present disclosure.
- 5B is a diagram for explaining a method of reconstructing an LF image by applying a shifting parameter to a layer stack for each view unit, according to an embodiment of the present disclosure.
- FIG. 6 is a diagram illustrating a part of a simulator model according to an embodiment of the present disclosure.
- FIG. 7 is a diagram for explaining a method of learning an artificial intelligence model for performing factorization through an LF image, according to an embodiment of the present disclosure.
- 8A is a diagram for explaining a shifting parameter according to an embodiment of the present disclosure.
- 8B is a diagram illustrating a plurality of layer stacks for applying time multiplexing according to an embodiment of the present disclosure.
- 8C is a diagram for explaining a method of performing time multiplexing according to an embodiment of the present disclosure.
- FIG. 9 is a flowchart illustrating a method of controlling an electronic device according to an embodiment of the present disclosure.
- FIG. 1 is a diagram for explaining an operation of an electronic device according to an embodiment of the present disclosure
- the electronic device may acquire a first light field (LF) image 110 obtained by photographing at least one object from different viewpoints.
- An LF (Light Field) image is an image captured by an LF (Light Field) camera, and the LF camera may photograph at least one object from different viewpoints. That is, a plurality of LF images in which at least one object is photographed from a plurality of viewpoints through the LF camera may be acquired.
- the first LF image 110 according to the present disclosure may include a plurality of images obtained by photographing at least one object with an LF camera.
- the electronic device inputs the first LF image 110 to the artificial intelligence model 10 for performing factorization according to the present disclosure, and the plurality of first layer stacks 120-1 and 120- 2, ..., 120-N) and a plurality of shifting parameters 130-1, 130-2, ..., 130-N may be obtained.
- the artificial intelligence model 10 receives the first LF image 110 and receives a plurality of first layer stacks 120-1, 120-2, ..., 120-N and a plurality of shifting parameters 130- 1, 130-2, ..., 130-N) is an artificial intelligence model for outputting.
- the artificial intelligence model 10 includes the first LF image 110 and the second LF image 140 from which the plurality of first layer stacks 120-1, 120-2, ..., 120-N are reconstructed. ), learning can be performed.
- Factorization is a technique for converting a LF (Light Field) image into a layer stack image for rendering on an LF (Light Field) display. Specifically, when the number of display panels of the LF display is three, the LF image may be converted into a three-layer stack image through the factorization technique.
- a plurality of images obtained by photographing at least one object with an LF camera may be converted into a plurality of layer stack images corresponding to the number of display panels of a light field (LF) display through a factorization technique.
- LF light field
- the electronic device may render an image from which the blur of the image is removed by applying a shifting parameter to each of the layer stacks through a factorization technique.
- the layer stack is a set of a plurality of layer images displayed on each of a plurality of display panels used in a stacked display.
- one layer stack may include three layer images, and each of the three layer images may be displayed on each of the three display panels.
- one layer stack may include a plurality of layer images to which different shifting parameters are reflected, which will be described in detail later.
- a layer stack is a plurality of multi-layer images that can be obtained by performing factorization on an LF image. , multiple layer stacks can be rendered and displayed.
- the time multiplexing technique is a technique for sequentially rendering and displaying a plurality of layer stacks. Through the time multiplexing technique, each of at least one object included in the LF image can be rendered clearly. The time multiplexing technique will be described later with reference to FIGS. 8A, 8B, and 8C.
- the plurality of shifting parameters 130-1, 130-2, ..., 130-N are parameters for shifting the layer stack according to the present disclosure, and are included in the plurality of first LF images 110 according to the present disclosure.
- distance information between at least one object may be displayed.
- a reference object having a shift parameter of 0 among at least one object included in the plurality of first LF images 110 may be set.
- the object corresponding to the second shifting parameter among at least one object included in the plurality of first LF images 110 is It may be relatively closer to the reference object than the object corresponding to the first shifting parameter.
- the electronic device includes a plurality of shifting parameters 130-1, 130-2, ... as many as the number corresponding to the plurality of first layer stacks 120-1, 120-2, ..., 120-N according to the present disclosure. , 130-N) can be obtained.
- the electronic device may obtain three shifting parameters respectively corresponding to the three first layer stacks.
- the electronic device may perform rendering so that three objects located at different positions from the position at which the first LF image 110 is captured are clearly expressed. there is.
- the number of the plurality of first layer stacks 120-1, 120-2, ..., 120-N may be preset by a user.
- the present invention is not limited thereto, and when the number of objects included in the plurality of first LF images 110 is N, the number of the plurality of first layer stacks may also be N.
- the number of objects included in the plurality of first LF images 110 is not limited to the number of objects included in the plurality of first LF images 110 , and the plurality of first LF images 110 . ), may be more or less than the number of objects included in the plurality of first LF images 110 .
- the electronic device includes a plurality of first layer stacks 120-1, 120-2, ..., 120-N output from the artificial intelligence model 10 and a plurality of shifting parameters 130-1, 130-2, ..., 130-N) may be input to the simulator model 20 according to the present disclosure to obtain the second LF image 140 .
- a detailed method for acquiring the second LF image 140 through the simulator model 20 will be described later with reference to FIGS. 5A, 5B, and 6 .
- the simulator model 20 is a model for reconstructing a plurality of layer stacks to which each shifting parameter is applied to an LF image format, and is a model used to learn the artificial intelligence model 10 .
- a plurality of shifting parameters 130-1, 130-2, ..., 130-N may be used as variables. That is, when the simulator model 20 further includes a Spatial Transformer Networks (STN) module, the simulator model 20 differentiates the plurality of shifting parameters 130-1, 130-2, ..., 130-N. This becomes possible, and a plurality of shifting parameters 130-1, 130-2, ..., 130-N can be used as variables.
- STN Spatial Transformer Networks
- the simulator model 20 including the STN (Spatial Transformer Networks) according to the present disclosure is a model capable of spatial manipulation within the network structure, and a plurality of shifting parameters (130-1, 130-2, ..., 130-N) are It can be used in a form that can be learned.
- STN Session Initiation Networks
- the existing simulator model is implemented in a non-differentiable form with respect to the plurality of shifting parameters 130-1, 130-2, ..., 130-N, and thus the plurality of shifting parameters 130-1, 130-2, ..., 130 -N) could not be used as a variable in the simulator model.
- the artificial intelligence model 10 is learned through the simulator model 20 in which a plurality of shifting parameters 130-1, 130-2, ..., 130-N according to the present disclosure are used as variables, artificial intelligence Through the intelligent model 10, a plurality of first layer stacks 120-1, 120-2, ..., 120-N, as well as a plurality of shifting parameters 130-1, 130-2, ..., 130- Learning can be performed up to N).
- the electronic device may perform learning on the artificial intelligence model 10 by using the first LF image 110 and the second LF image 140 .
- the electronic device compares the first LF image 110 with the second LF image 140 to obtain a loss function, and updates the weight of the artificial intelligence model 10 through the loss function.
- learning for the artificial intelligence model 10 may be performed.
- the loss function is an index indicating the current learning state of the artificial intelligence model 10 , and the current learning state of the artificial intelligence model 10 may appear based on the loss function.
- learning of the artificial intelligence model 10 may be performed based on the loss function as shown in Equation (1).
- Equation 1 X i is an i-th image among a plurality of images included in the first LF image, and f i denotes a j-th layer stack among the plurality of first layer stacks.
- 'total-view-num' indicates the total number of first LF images, and 'number-of-layer' indicates the total number of a plurality of first layer stacks.
- simulator(f 1 ,...,f number-of-layer ) may mean a second LF image reconstructed using all of the plurality of first layer stacks. That is, Equation 1 compares each of the plurality of images included in the first LF image with the second LF image reconstructed through the first layer stack to calculate a loss (Loss computation), and adds each of the calculated losses. It represents the loss function, which is a value.
- the electronic device may perform learning on the artificial intelligence model 10 in a direction in which the loss function is minimized.
- the artificial intelligence model 10 is a plurality of first layer stacks 120-1, 120-2, . , 120-N) and the plurality of shifting parameters 130-1, 130-2, ..., 130-N may be learned.
- the plurality of first layer stacks 120-1, 120-2, ..., 120-N and the plurality of shifting parameters 130-1, 130-2, ..., 130-N are simultaneously updated.
- the artificial intelligence model 10 may be learned, but is not limited thereto.
- the electronic device may learn the artificial intelligence model 10 through the simulator model 20 according to the present disclosure to obtain a layer stack capable of more clearly expressing objects included in the LF image.
- the electronic device may acquire the plurality of second layer stacks by inputting the first LF image 110 to the artificial intelligence model 10 learned as described above.
- the plurality of second layer stacks according to the present disclosure is a layer stack capable of more clearly expressing objects included in the LF image compared to the plurality of first layer stacks 120-1, 120-2, ..., 120-N. can
- the electronic device may obtain a rendered image with an improved Peak to Noise Ratio (PSNR) by performing rendering through a time multiplexing technique for repeatedly reproducing the plurality of second layer stacks at high speed. That is, when rendering is performed through a plurality of second layer stacks according to the present disclosure, the electronic device may obtain a rendered image with an improved viewing angle according to overall factorization performance improvement.
- PSNR Peak to Noise Ratio
- FIG. 2 is a block diagram illustrating a configuration of an electronic device according to an embodiment of the present disclosure.
- the electronic device 200 may include a memory 210 and a processor 220 .
- the memory 210 may store various programs and data necessary for the operation of the electronic device 200 . Specifically, at least one instruction may be stored in the memory 210 .
- the processor 220 may perform the operation of the electronic device 200 by executing an instruction stored in the memory 210 .
- the memory 210 may store instructions or data related to at least one other component of the electronic device 200 .
- the memory 210 may be implemented as a non-volatile memory, a volatile memory, a flash-memory, a hard disk drive (HDD), or a solid state drive (SSD).
- the memory 210 is accessed by the processor 220 , and reading/writing/modification/deletion/update of data by the processor 220 may be performed.
- the term "memory” refers to a memory 210, a ROM (not shown) in the processor 220, a RAM (not shown), or a memory card (not shown) mounted in the electronic device 200 (eg, micro SD). card, memory stick).
- Functions related to artificial intelligence are operated through the processor 220 and the memory 210 .
- the processor 220 may include one or a plurality of processors.
- one or more processors are general-purpose processors such as a central processing unit (CPU), an application processor (AP), and a graphics processing unit (GPU). It may be a graphics-only processor, such as a Visual Processing Unit (VPU), or an AI-only processor, such as a Neural Processing Unit (NPU).
- CPU central processing unit
- AP application processor
- GPU graphics processing unit
- VPU Visual Processing Unit
- NPU Neural Processing Unit
- One or a plurality of processors control to process input data according to a predefined operation rule or artificial intelligence model stored in the memory.
- a predefined action rule or artificial intelligence model is characterized in that it is created through learning.
- being made through learning means that a predefined operation rule or artificial intelligence model of a desired characteristic is created by applying a learning algorithm to a plurality of learning data.
- Such learning may be performed in the device itself on which the artificial intelligence according to the present disclosure is performed, or may be performed through a separate server/system.
- the artificial intelligence model may be composed of a plurality of neural network layers. Each layer has a plurality of weight values, and the layer operation is performed through the operation of the previous layer and the operation of the plurality of weights.
- Examples of neural networks include Convolutional Neural Network (CNN), Deep Neural Network (DNN), Recurrent Neural Network (RNN), Restricted Boltzmann Machine (RBM), Deep Belief Network (DBN), Bidirectional Recurrent Deep Neural Network (BRDNN), and deep There is a Q-network (Deep Q-Networks), and the neural network in the present disclosure is not limited to the above-described example, except as otherwise specified.
- the processor 220 may be electrically connected to the memory 210 to control overall operations and functions of the electronic device 200 .
- the processor 220 may acquire a first LF image obtained by photographing at least one object from different viewpoints by executing at least one command stored in the memory 210 .
- the plurality of first LF images according to the present disclosure may be a plurality of images obtained by photographing at least one object with an LF camera.
- the processor 220 may obtain a plurality of first layer stacks and a plurality of shifting parameters by inputting the first LF image to the artificial intelligence model for performing factorization.
- the artificial intelligence model may be a deep neural network (DNN) model, and the processor 220 inputs the first LF image to the DNN model, to each of the plurality of first layer stacks and the plurality of first layer stacks. A plurality of corresponding shifting parameters may be obtained.
- DNN deep neural network
- the processor 220 may obtain a plurality of first layer stacks and a plurality of shifting parameters by inputting the first LF image to the artificial intelligence model for performing factorization,
- the present invention is not limited thereto. That is, the processor 220 inputs the first LF image to the first artificial intelligence model to obtain the plurality of first layer stacks, and inputs the plurality of first layer stacks to the second artificial intelligence model, It is possible to obtain a shifting parameter of . Details on this will be described later with reference to FIGS. 3 and 4 .
- the processor 220 may reconstruct the second LF image by using the plurality of first layer stacks and the plurality of shifting parameters.
- the second LF image is an LF image for learning an artificial intelligence model for performing factorization.
- the processor 220 inputs a plurality of first layer stacks and a plurality of shifting parameters to a simulator model for reconstructing an LF image from a plurality of layer stacks, so that the plurality of first layer stacks may acquire a plurality of third LF images to which each shifting parameter is applied.
- the processor 220 may acquire the second LF image by using a plurality of third LF images.
- each of the plurality of first layer stacks includes three layer images
- the processor 220 performs a plurality of three layer images included in each of the plurality of first layer stacks through a simulator model.
- the second LF image may be obtained by shifting for each view unit according to a shifting parameter corresponding to each of the first layer stacks. A method of shifting the plurality of first layer stacks for each view unit according to the shifting parameter according to the present disclosure will be described later with reference to FIGS. 5A and 5B .
- the simulator model includes a spatial transformer networks (STN) module, and a plurality of shifting parameters may be used as variables in the simulator model. That is, through a simulator model in which a plurality of shifting parameters can be used as variables, learning of the shifting parameters may be performed in the artificial intelligence model for performing factorization. Specific details of the simulator model according to the present disclosure will be described later with reference to FIG. 6 .
- STN spatial transformer networks
- the processor 220 may obtain a loss function by comparing the first LF image and the second LF image.
- the method of obtaining the loss function according to the present disclosure includes a mean squared error method for calculating the loss function using an error of the mean square, a structural similarity index (SSIM) method for calculating the loss function by measuring image quality for an image, the minimum There are the L1 norm method, which calculates the loss function using least absolute deviations or least absolute errors, and the L2 norm method, which calculates the loss function using the least squares errors. .
- the present invention is not limited thereto, and a loss function may be obtained by using a combination of the above-described methods or by other methods.
- the processor 220 may update the weight of the artificial intelligence model by learning the weight of the artificial intelligence model for performing the factorization based on the loss function.
- the weight of the AI model is a parameter that is automatically updated while learning on the AI model is performed.
- the AI model may be composed of a plurality of neural network layers, and each layer may have a plurality of weights.
- an operation between layers may be performed through an operation between an operation result of a previous layer and a plurality of weights.
- the processor 220 may update the weights of the artificial intelligence model 10 so that the plurality of first layer stacks and the plurality of shifting parameters are simultaneously updated, but is not limited thereto. That is, by updating the weights of the AI model while fixing the plurality of shifting parameters for a preset period (eg, update 5 times), the AI model is trained so that learning is performed only on the plurality of first layer stacks.
- a preset period eg, update 5 times
- the processor 220 may obtain a plurality of second layer stacks by inputting the first LF image to the artificial intelligence model that has been trained through the above-described process. That is, the processor 220 may acquire a plurality of second layer stacks in which depth information of at least one object included in a plurality of LF images is reflected through the learned artificial intelligence model. In addition, the processor 220 may perform image rendering through a time multiplexing technique in which a plurality of second layer stacks are repeatedly reproduced at high speed. The time multiplexing technique will be described later with reference to FIGS. 8A, 8B, and 8C.
- FIG. 3 is a diagram for explaining an artificial intelligence model for performing factoryization, according to an embodiment of the present disclosure.
- the electronic device 200 inputs the LF image 310 into the artificial intelligence model 10 for performing factorization, and a plurality of first layer stacks 320-1, 320-2, ... , 320-N) and a plurality of shifting parameters 330 - 1 , 330 - 2 , ... , 330 -N may be obtained.
- the artificial intelligence model 10 includes a first artificial intelligence model 30-1 for obtaining a plurality of layer stacks and a second artificial intelligence model 30 for obtaining a plurality of shifting parameters. -2) may be included.
- the LF image 310 is input to the first artificial intelligence model 30-1 of the artificial intelligence model 10, and a plurality of first layer stacks 320-1, 320-2, ..., 320-N) is obtained, the LF image 310 is input to the second artificial intelligence model 30-2 of the artificial intelligence model 10, and a plurality of shifting parameters 330-1, 330-2, ..., 330-N ) can be obtained.
- the performance of the plurality of first layer stacks 320-1, 320-2, ..., 320-N obtained from the artificial intelligence model 10 is to be determined.
- the performance of the plurality of first layer stacks 320-1, 320-2, ..., 320-N obtained from the artificial intelligence model 10 may be improved.
- the higher the PSNR (Peak to Noise Ratio) value of an image obtained by rendering a plurality of layer stacks through a multiplexing technique the better the performance of the plurality of layer stacks.
- the performance of the plurality of layer stacks may be better.
- FIG. 4 is a diagram for explaining an artificial intelligence model for performing factoryization, according to an embodiment of the present disclosure.
- the electronic device 200 inputs the LF image 410 into the first artificial intelligence model 40-1, and the plurality of first layer stacks 420-1, 420-2, ..., 420 -N) can be obtained.
- the first artificial intelligence model 40 - 1 is an artificial intelligence model for acquiring a plurality of layer stacks from an LF image, and may be implemented as a deep neural network (DNN) model.
- DNN deep neural network
- each of the plurality of first layer stacks is illustrated as including three layer images, but is not limited thereto. That is, the number of the plurality of first layer stacks may be changed according to the hardware performance of the electronic device for rendering the plurality of layer stacks through a time multiplexing technique.
- the electronic device 200 uses the plurality of first layer stacks 420-1, 420-2, ..., 420-N obtained through the first artificial intelligence model 40-1 to the second artificial intelligence model ( 40-2), a plurality of shifting parameters 430-1, 430-2, ..., 430-N may be acquired.
- the second artificial intelligence model 40-2 is a model for acquiring a plurality of shifting parameters from a plurality of layer stacks, and the second artificial intelligence model 30-2 of FIG. 3 to which an LF image is input. ), a plurality of layer stacks may be input to the second artificial intelligence model 40 - 2 of FIG. 4 .
- the electronic device 200 includes a plurality of first layer stacks 420-1, 420-2, ..., 420-N obtained through the first artificial intelligence model 40-1 and a second artificial intelligence model ( 40-2), the second LF image may be reconstructed using the plurality of shifting parameters 430-1, 430-2, ..., 430-N.
- 5A is a diagram illustrating a second LF image reconstructed through a layer stack according to an embodiment of the present disclosure.
- the second LF image 500 of FIG. 5A shows a shifting parameter Sn corresponding to a 1-1 layer stack and a 1-1 layer stack among a plurality of first layer stacks according to an embodiment of the present disclosure. It is a second LF image 500 obtained using As an embodiment, the 1-1 layer stack may include three layer images 510 , 520 , and 530 as shown in FIG. 5B , and in the three layer images 510 , 520 , and 530 , shifting parameters ( Sn) may be applied to restore the second LF image 500 . That is, according to the present disclosure, the second LF image 500 may be obtained by applying disparity between different views for each view unit.
- the inter-view disparity is a measure indicating a depth difference according to a user's viewpoint looking at the rendered layer stack according to the present disclosure, and is based on a shifting parameter to which the disparity between viewpoints of the user is applied.
- the second LF image 500 may be restored. That is, the second LF image 500 of FIG. 5A may include a plurality of images restored by photographing at least one object included in the 1-1 layer stack at different viewpoints.
- the second LF image 500 may include a (2,2) image restored by photographing at least one object included in the 1-1 layer stack from the front. That is, the image (2, 2) may be an image restored by the user looking at the rendered 1-1 layer stack from the front.
- the disparity between views in the (2, 2) image may be set to (0, 0).
- the (2, 2) image may be reconstructed as the LF image to which the shifting parameter is not applied by applying the inter-view disparity of (0, 0) in the 1-1 layer stack.
- the second LF image 500 is a view that at least one object included in the 1-1 layer stack is spaced 2 views to the left and 2 views apart from the front (2,2) reference. It may include a (0,0) image 500-1 restored to being captured in . That is, the (0, 0) image 500-1 is a view that the user views the rendered 1-1 layer stack from a viewpoint that is 2 views to the left and 2 views to the top, based on the front view. It may be a restored image. In this case, the inter-view disparity between the layers included in the 1-1 layer stack may be set to (2, 2). In addition, the (0, 0) image 500 - 1 may be reconstructed according to the shifting parameter to which the (2, 2) inter-view disparity is applied in the 1-1 layer stack.
- the (0,0) image 500-1 shows at least one object included in the 1-1 layer stack from a (-2, +2) viewpoint ( view) and may be a restored image.
- the second LF image 500 according to the present disclosure may include a plurality of images restored by being photographed at 25 views as shown in FIG. 5A .
- the second LF image is illustrated as including 25 images restored as taken at 25 views, but is not limited thereto, and the second LF images are 16, 36, 49, It may include (n*n) images, such as 64 images.
- the electronic device 200 reconstructs a 3-1 LF image through a 1-1 layer stack, reconstructs a 3-2 LF image through a 1-2 layer stack, and a first A plurality of third LF images including N LF images may be obtained by reconstructing the 3-Nth image through the -N layer stack. That is, the plurality of third LF images may include N LF images, and the electronic device 200 may acquire one second LF image through the N LF images included in the plurality of third LF images. .
- a detailed method of acquiring one second LF image through the N LF images included in the plurality of third LF images will be described later with reference to FIG. 7 .
- 5B is a diagram for describing a method of reconstructing an LF image by applying a shifting parameter to a layer stack for each view unit, according to an embodiment of the present disclosure.
- FIG. 5B shows three layer images 510 , 520 , and 530 included in a 1-1 layer stack.
- the 1-1 layer stack includes a back layer image 510 and an intermediate layer image 520 . ) and a front layer image 530 .
- the electronic device includes a back layer image 510, an intermediate layer image 520 and A shifting parameter is applied to each of the front layer images 530 according to the disparity between views, so that the first- The one-layer stack may be reconstructed as the second LF image 500 .
- the electronic device may learn a model for performing factorization based on the restored second LF image 500 and the first LF image.
- a coefficient of a shifting parameter of each LF image may be determined according to disparity between views.
- the layer may not be shifted. That is, the reference point for the shifting parameter coefficient is a (2, 2) image that is a front view, and in the (2, 2) image, the disparity between views may be (0, 0).
- the intermediate layer 620 may not be shifted to a layer serving as a reference for shifting. Accordingly, the shifting parameter may not be applied to the intermediate layer 620 .
- the coefficients of the shifting parameter Sn for the back layer 610 and the front layer 630 may vary according to a view. As an embodiment, the disparity between the views of (2, 2) is applied to the 2-1 th LF image 500-1 indicating the (0, 0) view, and the (-) A coefficient of the shifting parameter Sn may be applied as 2, -2), and a coefficient of the shifting parameter Sn may be applied as (+2, +2) to the front layer 630 .
- the (0, 0) LF image 500-1 shifts the rear layer image 510 by (-2Snx, -2Sny) and shifts the front layer image 520 by (+2Snx, +2Sny). It may be an LF image generated by recording.
- Snx may be a shifting parameter in the X-axis direction
- Sny may be a shifting parameter in the Y-axis direction
- Snx and Sny may have the same value.
- the (1, 0) LF image 500-2 representing a (1, 0) view
- a disparity between views of (2, 1) may be applied.
- the (1, 0) LF image 500-2 is generated by shifting the rear layer 610 by (-2Snx, -Sny) and shifting the front layer 620 by (2Snx, +Sny) It may be an old LF image.
- the (2, 0) LF image 500-3 representing a (2, 0) view
- a disparity between views of (2, 0) may be applied.
- the (2, 0) LF image 500-3 is an LF generated by shifting the rear layer 610 by (-2Snx, 0) and shifting the front layer 620 by (2Snx, 0) It can be a video.
- an inter-view disparity of (0, -2) may be applied. Therefore, the (3, 2) LF image 500-6 is generated by shifting the rear layer 610 by (0, +2Sny) and shifting the front layer 620 by (0, -2Sny) It may be an LF image.
- the 1-1 layer stack includes three layer images 510 , 520 , and 530 , but the present invention is not limited thereto, and the number of the 1-1 layer stack is determined by an electronic device ( 200) may be changed according to the performance of the
- FIG. 6 is a diagram illustrating a part of a simulator model according to an embodiment of the present disclosure.
- the electronic device 200 inputs a plurality of first layer stacks and a plurality of shifting parameters obtained through an artificial intelligence model for performing factorization into a simulator model, A plurality of third LF images to which each of the shifting parameters are applied may be obtained from the first layer stack of .
- the electronic device 200 may acquire a second LF image by using the plurality of third LF images.
- the simulator model is a model for reconstructing a plurality of layer stacks to which each shifting parameter is applied to an LF image format, and is a model used to learn an artificial intelligence model for performing factorization.
- a plurality of shifting parameters may be used as variables of the artificial intelligence model. That is, when the simulator model further includes a Spatial Transformer Networks (STN) module as shown in FIG. 6 , a differential operation on a plurality of shifting parameters may be performed within the simulator model. Accordingly, through the plurality of shifting parameters for which the differential operation is performed through the simulator model, the plurality of shifting parameters may be used as variables for the artificial intelligence model for performing factorization.
- the simulator model including Spatial Transformer Networks (STN) according to the present disclosure is a model capable of spatial manipulation within the network structure, and a plurality of shifting parameters may be utilized in the form of a learnable variable.
- a simulator model including a Spatial Transformer Networks (STN) module according to the present disclosure may reconstruct an LF image from a plurality of layer stacks using a Spatial Transformer technique.
- the Spatial Transformer technique is a technique that enables spatial manipulation within an AI model, and it is a technique that enables the entire AI model system to perform differential calculations on transformation parameters.
- the Spatial Transformer technique may be performed by viewing the shifting parameter as a transformation parameter.
- the Spatial Transformer Networks (STN) module includes a grid generator, and may acquire a layer stack to which a shifting parameter is applied through the grid generator.
- the Spatial Transformer Networks (STN) module according to the present disclosure may obtain a layer stack to which a shifting parameter is applied through an operation as in Equation 2 above.
- Snx and Sny in Equation 2 mean shifting parameter variables according to the present disclosure, and x i t and y i t are matrix information about the layer stack before the shifting parameter according to the present disclosure is applied, x i s and y is may mean matrix information about the layer stack to which the shifting parameter according to the present disclosure is applied.
- the last layer of the simulator model may be configured as a regression layer that performs only a linear operation. Also, in order to obtain a shifting parameter variable according to the present disclosure in the regression layer, which is the last layer of the simulator model, kernels and biases in the simulator model may be set to positive values.
- the simulator model may restore the acquired layer stack to the LF image format. Specific details on this will be described later with reference to FIG. 7 .
- FIG. 7 is a diagram for explaining a method of learning an artificial intelligence model for performing factorization through an LF image, according to an embodiment of the present disclosure.
- the electronic device 200 inputs the first LF image 710 to the artificial intelligence model 10 , and the 1-1 layer stack 720-1 and the 1-1 layer stack 720 are The first shifting parameter S1 corresponding to -1), the second shifting parameter S2 corresponding to the 1-2 layer stack 720-2 and the 1-2 layer stack 720-2, and A third shifting parameter S3 corresponding to the 1-3 layer stack 720 - 3 and the 1-3 layer stack 720 - 3 may be obtained. Then, the electronic device 200 uses the three layer stacks 720-1, 720-2, and 720-3 obtained from the artificial intelligence model 10 and the three shifting parameters S1, S2, and S3 as a simulator model.
- a plurality of third LF images 730-1, 730-2, and 730-3 may be acquired.
- the plurality of third LF images 730 - 1 , 730 - 2 and 730 - 3 are the 3-1 LF images 730 to which the first shifting parameter S1 is applied to the 1-1 layer stack 720 - 1 . -1), the 3-2 LF image 730-2 and the 1-3 layer stack 720-3 to which the second shifting parameter S2 is applied to the 1-2 layer stack 720-2
- a 3-3 LF image 730 - 3 to which the third shifting parameter S3 is applied may be acquired.
- the electronic device may acquire the second LF image 740 by using the plurality of third LF images 730 - 1 , 730 - 2 , and 730 - 3 .
- the second LF image 740 may be a reconstructed LF image based on an average value of the plurality of third LF images 730 - 1 , 730 - 2 , and 730 - 3 . That is, the second LF image 740 may be an image obtained by averaging pixel values included in the plurality of third LF images 730-1, 730-2, and 730-3, respectively.
- the electronic device 200 may learn the artificial intelligence model 10 by using the first LF image 710 and the second LF image 740 .
- the electronic device 200 obtains a loss function through the first LF image 710 and the second LF image 740 , and learns the artificial intelligence model 10 based on the obtained loss function.
- the loss function has been described with reference to FIG. 1 , a detailed description thereof will be omitted.
- the present invention is not limited thereto, and the electronic device 200 includes the artificial intelligence model 10 ), four or more layer stacks may be obtained, and the obtained plurality of layer stacks may be input to the simulator model 20 .
- 8A is a diagram for explaining a shifting parameter according to an embodiment of the present disclosure.
- the image 800 of FIG. 8A is an image in which the electronic device 200 performs image rendering on a plurality of layer stacks through a time multiplexing technique in which the plurality of layer stacks are repeatedly reproduced at high speed according to the present disclosure. (800).
- the electronic device 200 acquires three shifting parameters (shift 1, shift 5, shift 15) from the first LF image corresponding to the image 800 to acquire the image 800 . can do.
- the image 800 illustrated in FIG. 8A may be an image 800 in which image rendering for three layer stacks is performed through a time multiplexing technique of repeating three layer stacks and high-speed reproduction.
- the shift The number of tuning parameters may be three equal to the number of layer stacks.
- the electronic device 200 may set an area serving as a reference of the depth in the image 800 .
- the shifting parameter is a parameter representing a numerical value of a region included in the image 800 that is separated from a region serving as a reference of the depth.
- the electronic device 200 may set a region near a region serving as a reference depth to the region 810 having a shifting parameter of shift 1. That is, the electronic device 200 may set the region corresponding to the thigh of the dinosaur in the image 800 as the region serving as the reference of the depth. In addition, a region near the thigh of the dinosaur that is separated by a factor of 1 from the region serving as the depth reference may be set as the region 910 having a shift parameter of Shift 1. As an embodiment, as the area is further apart by a large coefficient from the area that is the reference of the depth, the actual distance from the area that is the reference of the depth may be greater. Also, according to an embodiment, the region separated by one coefficient from the area serving as the depth reference may include all regions that are close to the camera by one coefficient or farther by one coefficient from the area serving as the depth reference.
- the electronic device 200 may set the region 930 having a shift parameter of shift 15 that is separated by a factor of 15 from the region serving as the depth reference. That is, referring to FIG. 8A , an area 830 that is separated by a factor of 15 from the area serving as a reference of the depth may be an area corresponding to the sky in the image 800 .
- the electronic device 200 may set an area separated by a factor of 5 from the area serving as a reference of the depth as the area 820 having a shifting parameter of shift 5 . That is, referring to FIG. 8A , a region 820 having a shifting parameter of shift 5 may be a region corresponding to the head of a dinosaur in the image 800 .
- a region having shifting parameters of shift 1 and shift 5 may be set in one dinosaur object included in the image 800 . That is, according to an embodiment of the present disclosure, an area having a shifting parameter corresponding to each of a plurality of objects included in an image may be set, but the present disclosure is not limited thereto. A region having a setting parameter can be set.
- FIG. 8B is a diagram illustrating a plurality of layer stacks for applying time multiplexing according to an embodiment of the present disclosure
- FIG. 8C is a diagram for explaining a method of performing time multiplexing according to an embodiment of the present disclosure am.
- the electronic device performs image rendering by using a time multiplexing technique that repeats the plurality of second layer stacks 810-1, 810-2, and 810-3 shown in FIG. 8B and reproduces them at high speed, FIG. 8A .
- the image 800 shown in may be acquired.
- the plurality of second layer stacks includes a 2-1 layer stack 810-1, a 2-2 layer stack 810-2, and a 2-3 layer stack 810-3.
- each of the plurality of second layer stacks 810 - 1 , 810 - 2 , and 810 - 3 may include three layers L1 , L2 , and L3 .
- the 2-1-th layer stack 810-1, the 2-2 layer stack 810-2, and the 2-3-th layer stack 810-3 are factorized in which learning is completed. It may be a plurality of layer stacks obtained by inputting a plurality of first LF images to a model for performing .
- the 2-1 th layer stack 810 - 1 may be a layer stack to which a shifting parameter of shift 1 is applied in the plurality of first LF images
- the 2-2 th layer stack 810 - 2 includes a plurality of It may be a layer stack to which a shifting parameter of shift 5 is applied in the first LF image of .
- the 2-3 th layer stack 810 - 3 may be a layer stack to which a shifting parameter of shift 15 is applied in the plurality of first LF images.
- the electronic device renders and displays the three-layer image included in the 2-1 layer stack 810-1 at a time t1, and displays the image of the three layers included in the 2-1 layer stack 810-1 at a time t2.
- 3 layer images included in the stack 810 - 2 may be rendered and displayed.
- one layer stack may consist of three layer images, and each of the three layer images may be displayed on each of the three display panels to perform rendering. there is.
- the electronic device may render and display three layer images included in the 2-3 th layer stack 810 - 3 at a time t3 . Then, the electronic device renders and displays the three-layer image included in the 2-1 layer stack 810-1 at a time t4, and is included in the 2-2 layer stack 810-2 at a time t5
- the three layer images are rendered and displayed, and the three layer images included in the 2-3 layer stack 810-3 are rendered at time t6, so that the plurality of second layer stacks can be repeatedly reproduced at high speed. That is, the electronic device may perform high-speed reproduction by repeating the plurality of second layer stacks in a cycle of t1 to t3.
- the electronic device 200 performs image rendering using time multiplexing based on the plurality of second layer stacks to which the shifting parameter is applied, and at least included in the plurality of LF images.
- An image in which depth information for one object is reflected may be provided.
- FIG. 9 is a flowchart illustrating a method of controlling an electronic device according to an embodiment of the present disclosure.
- the electronic device 200 may acquire a first LF image obtained by photographing at least one object from different viewpoints ( S910 ).
- the first LF image may be an LF image obtained by photographing at least one object from different viewpoints.
- a plurality of first layer stacks and a plurality of shifting parameters may be obtained by inputting the first LF image to the artificial intelligence model for performing the factorization ( S920 ).
- a model for performing factorization is a model for converting a plurality of LF images into a plurality of layer stacks, and according to an embodiment of the present disclosure, a model for performing factorization may be a Deep Neural Network (DNN) model.
- DNN Deep Neural Network
- each of the plurality of first layer stacks may be a layer stack for clearly representing one object among at least one object included in the plurality of first LF images, and each of the plurality of first layer stacks includes a plurality of layers. It may include video.
- the number of the plurality of shifting parameters may be the same as the number of the plurality of first layer stacks.
- the electronic device 200 may reconstruct the second LF image by using the plurality of first layer stacks and the plurality of shifting parameters (S930).
- the second LF image is an LF image for learning a model for performing factorization.
- the electronic device 200 may learn an artificial intelligence model based on the first LF image and the second LF image ( S940 ). Specifically, the electronic device 200 compares the second LF image with the first LF image to obtain information on the quality of the image for the second LF image, and performs factorization based on the obtained information on the quality of the image.
- a model can be trained to perform
- information about the quality of the image for the second LF image may be obtained through a loss function.
- the electronic device may continuously learn a model for performing factorization by repeating the above-described process.
- expressions such as “have,” “may have,” “includes,” or “may include” refer to the presence of a corresponding characteristic (eg, a numerical value, function, operation, or component such as a part). and does not exclude the presence of additional features.
- expressions such as “A or B,” “at least one of A or/and B,” or “one or more of A or/and B” may include all possible combinations of the items listed together.
- “A or B,” “at least one of A and B,” or “at least one of A or B” means (1) includes at least one A, (2) includes at least one B; Or (3) it may refer to all cases including both at least one A and at least one B.
- Expressions such as “first,” “second,” “first,” or “second,” used in this document may modify various elements, regardless of order and/or importance, and refer to one element. It is used only to distinguish it from other components, and does not limit the components.
- a component eg, a first component is "coupled with/to (operatively or communicatively)" to another component (eg, a second component);
- another component eg, a second component
- the certain element may be directly connected to the other element or may be connected through another element (eg, a third element).
- a component eg, a first component
- another component eg, a second component
- a device configured to may mean that the device is “capable of” with other devices or parts.
- a coprocessor configured (or configured to perform) A, B, and C may refer to a dedicated processor (eg, an embedded processor), or one or more software programs stored on a memory device, to perform the corresponding operations. By doing so, it may mean a generic-purpose processor (eg, a CPU or an application processor) capable of performing corresponding operations.
- unit or “module” used in the present disclosure includes a unit composed of hardware, software, or firmware, and may be used interchangeably with terms such as, for example, logic, logic block, part, or circuit.
- a “unit” or “module” may be an integrally formed part or a minimum unit or a part that performs one or more functions.
- the module may be configured as an application-specific integrated circuit (ASIC).
- ASIC application-specific integrated circuit
- Various embodiments of the present disclosure may be implemented as software including instructions stored in a machine-readable storage media readable by a machine (eg, a computer).
- a device that is called and can operate according to the called command it may include an electronic device (eg, the display device 100) according to the disclosed embodiments.
- the processor directly or A function corresponding to the instruction may be performed using other components under the control of the processor.
- the instruction may include code generated or executed by a compiler or an interpreter.
- a device-readable storage medium includes: It may be provided in the form of a non-transitory storage medium, where 'non-transitory' means that the storage medium does not include a signal and is tangible, but data is semi-permanent in the storage medium or temporarily stored.
- the method according to various embodiments disclosed in this document may be provided as included in a computer program product.
- Computer program products may be traded between sellers and buyers as commodities.
- the computer program product may be distributed in the form of a machine-readable storage medium (eg, compact disc read only memory (CD-ROM)) or online through an application store (eg, Play StoreTM).
- an application store eg, Play StoreTM
- at least a portion of the computer program product may be temporarily stored or temporarily generated in a storage medium such as a memory of a server of a manufacturer, a server of an application store, or a relay server.
- Each of the components may be composed of a singular or a plurality of entities, and some sub-components of the aforementioned sub-components may be omitted, or other sub-components may be various. It may be further included in the embodiment. Alternatively or additionally, some components (eg, a module or a program) may be integrated into a single entity, so that functions performed by each corresponding component prior to integration may be performed identically or similarly. According to various embodiments, operations performed by a module, program, or other component may be sequentially, parallel, repetitively or heuristically executed, or at least some operations may be executed in a different order, omitted, or other operations may be added. can
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
전자 장치 및 전자 장치의 제어 방법이 개시된다. 본 개시에 따른 전자 장치의 제어 방법은 적어도 하나의 오브젝트를 서로 다른 시점(view point)으로 촬영한 제1 LF(Light Field) 영상을 획득하는 단계; 팩토리제이션(factorization)을 수행하기 위한 인공지능 모델에 상기 제1 LF 영상을 입력하여, 복수의 제1 레이어 스택 및 복수의 시프팅 파라미터를 획득하는 단계; 상기 복수의 제1 레이어 스택 및 복수의 시프팅 파라미터를 이용하여 제2 LF 영상을 복원하는 단계; 및 상기 제1 LF 영상 및 제2 LF 영상을 바탕으로, 상기 인공지능 모델을 학습하는 단계;를 포함한다.
Description
본 발명은 전자 장치 및 이의 제어 방법에 관한 것으로, 더욱 상세하게는 적층형 영상에 대한 레이어 스택 영상을 획득하는 인공지능 모델을 학습하기 위한 전자 장치 및 이의 제어 방법에 관한 것이다.
CROSS-REFERENCE TO RELATED APPLICATION
본 출원은 2020년 8월 20일에 출원된 대한민국 특허출원 제 10-2020-0104844 호에 기초하여 우선권을 주장하며, 해당 출원의 모든 내용은 그 전체가 본 출원에 레퍼런스로 포함된다.
전자 기술의 발달에 힘입어 다양한 유형의 전자기기가 개발 및 보급 되고 있다. 특히, 일반 가정에서 가장 많이 사용되고 있는 가전 제품 중 하나인 TV와 같은 디스플레이 장치는 최근 수년 간 급속도로 발전하고 있다.
디스플레이 장치의 성능이 고급화면서, 디스플레이 장치에서 디스플레이하는 컨텐츠의 종류도 다양하게 증대되었다. 특히, 최근에는 3D 컨텐츠까지 시청할 수 있는 입체 디스플레이 시스템이 개발되어 보급되고 있다.
입체 디스플레이 시스템은 크게 안경 없이 시청 가능한 무안경식 시스템과, 안경을 착용하여 시청하여야 하는 안경식 시스템으로 분류될 수 있다.
안경식 시스템은 만족스러운 입체감을 제공할 수 있으나, 시청자가 반드시 안경을 사용하여야만 한다는 불편함이 있었다. 이에 비해, 무안경식 시스템은 안경 없이도 3D 이미지를 시청할 수 있다는 장점이 있어, 무안경식 시스템에 대한 개발 논의가 지속적으로 이루어지고 있다.
한편, 기존의 무안경식 시스템의 경우, 서로 다른 시점(view point)으로 촬영한 LF(Light Field)영상을 이용하거나, LF(Light Field)영상을 팩토리제이션 하여 획득한 복수의 레이어를 포함하는 적층형 영상인 레이어 스택을 이용하여, 이미지 렌더링을 수행하였다. 즉, 종래에는 LF(Light Field) 영상에 대한 팩토리제이션을 수행하기 위한 NTF(Non-negative tensor factorization)모델 또는 NMF(Non-negative Matric factorization) 모델에 복수의 LF(Light Field) 영상을 입력하여 복수의 LF(Light Field) 복수의 레이어를 포함하는 레이어 스택을 획득하고, 복수의 레이어를 동시에 겹쳐서 표시하는 방식으로, 이미지 렌더링을 수행하였다.
다만, 종래 방식에 따른 레이어 스택의 경우, 표현 가능한 뎁스 범위에 한계가 존재 하였다. 또한, 종래 방식에 따라 레이어 스택에 대한 이미지 렌더링을 수행하는 경우, 기존 LF 영상에 비해 영상 품질이 저하되고, 아티팩트(artifact)가 발생되는 문제점이 있었다.
본 개시는 상술한 필요성에 따라 안출된 것으로, 본 개시는 LF(Light Field) 영상에 포함된 오브젝트에 대한 뎁스 정보가 반영된 레이어 스택을 생성하기 위한 인공지능 모델을 학습하기 위한 전자 장치 및 이의 제어 방법을 제공하는 것을 목적으로 한다.
상술한 목적을 달성하기 위한 일 실시 예에 따른 전자 장치의 제어 방법은, 적어도 하나의 오브젝트를 서로 다른 시점(view point)으로 촬영한 제1 LF(Light Field) 영상을 획득하는 단계; 팩토리제이션(factorization)을 수행하기 위한 인공지능 모델에 상기 제1 LF 영상을 입력하여, 복수의 제1 레이어 스택 및 복수의 시프팅 파라미터를 획득하는 단계; 상기 복수의 제1 레이어 스택 및 복수의 시프팅 파라미터를 이용하여 제2 LF 영상을 복원하는 단계; 및 상기 제1 LF 영상 및 제2 LF 영상을 바탕으로, 상기 인공지능 모델을 학습하는 단계;를 포함한다.
그리고, 상기 복원하는 단계는, 복수의 레이어 스택으로부터 LF 영상을 복원하기 위한 시뮬레이터 모델에 상기 복수의 제1 레이어 스택 및 복수의 시프팅 파라미터를 입력하여, 상기 복수의 제1 레이어 스택에서 상기 시프팅 파라미터 각각이 적용된 복수의 제3 LF 영상을 획득하는 단계; 및 상기 복수의 제3 LF 영상을 이용하여 상기 제2 LF 영상을 획득하는 단계;를 포함할 수 있다.
그리고, 상기 시뮬레이터 모델은 STN(Spatial transformer networks)모듈을 포함하며, 상기 시뮬레이터 모델은 상기 복수의 시프팅 파라미터가 변수로 사용되는 것을 특징으로 할 수 있다.
그리고, 상기 복수의 제1 레이어 스택 각각은 3개의 레이어 영상을 포함하며, 상기 시뮬레이터 모델은 상기 복수의 제1 레이어 스택에 각각에 포함된 3개의 레이어 영상을 상기 복수의 제1 레이어 스택 각각에 대응되는 시프팅 파라미터에 따라 시점(view) 단위 별로 시프팅하여 상기 복수의 제3 LF 영상을 획득하는 것을 특징으로 할 수 있다.
그리고, 상기 학습하는 단계는, 상기 제1 LF 영상과 상기 제2 LF 영상을 비교하여 손실함수를 획득하는 단계; 및 상기 손실함수를 바탕으로, 상기 인공지능 모델의 가중치를 학습하는 단계;를 포함할 수 있다.
그리고, 상기 학습하는 단계는, 상기 복수의 시프팅 파라미터를 기 설정 주기 동안 고정시킨 상태로, 상기 인공지능 모델의 가중치를 학습하는 단계인 것을 특징으로 할 수 있다.
그리고, 상기 인공지능 모델은 DNN(Deep Neural Network) 모델이며, 상기 복수의 시프팅 파라미터를 획득하는 단계는, 상기 제1 LF 영상을 상기 DNN 모델에 입력하여, 상기 복수의 제1 레이어 스택 및 상기 복수의 제1 레이어 스택 각각에 대응되는 복수의 시프팅 파라미터를 획득하는 단계인 것을 특징으로 할 수 있다.
그리고, 상기 제어방법은 상기 학습된 인공지능 모델에 상기 제1 LF 영상을 입력하여, 복수의 제2 레이어 스택을 획득하는 단계; 및 상기 복수의 제2 레이어 스택을 반복하여 고속 재생하는 단계;를 더 포함할 수 있다.
그리고, 상기 복수의 시프팅 파라미터를 획득하는 단계는, 상기 제1 LF 영상을 제1 인공지능 모델에 입력하여, 상기 복수의 제1 레이어 스택을 획득하는 단계; 및 상기 복수의 제1 레이어 스택을 제2 인공지능 모델에 입력하여, 상기 복수의 시프팅 파라미터를 획득하는 단계;를 포함하는 것을 특징으로 할 수 있다.
한편, 본 개시의 상술한 목적을 달성하기 위한 일 실시 예에 따른, 전자 장치는, 적어도 하나의 인스트럭션을 저장하는 메모리, 및 프로세서를 포함하고, 상기 프로세서는 상기 인스트럭션을 실행함으로써, 적어도 하나의 오브젝트를 서로 다른 시점(view point)으로 촬영한 제1 LF(Light Field) 영상을 획득하고, 팩토리제이션(factorization)을 수행하기 위한 인공지능 모델에 상기 제1 LF 영상을 입력하여, 복수의 제1 레이어 스택 및 복수의 시프팅 파라미터를 획득하고, 상기 복수의 제1 레이어 스택 및 복수의 시프팅 파라미터를 이용하여 제2 LF 영상을 복원하고, 상기 제1 LF 영상 및 제2 LF 영상을 바탕으로, 상기 인공지능 모델을 학습한다.
본 개시에 따른, 인공지능 모델을 통해 획득된 레이어 스택을 통해 렌더링이 수행되는 경우, 전자 장치는 전반적인 팩토리제이션(factorization) 성능 향상에 따른 시야각이 향상된 렌더링 영상을 획득할 수 있다.
도 1은 본 개시의 일 실시 예에 따른, 전자 장치의 동작을 설명하기 위한 도면이다.
도 2는 본 개시의 일 실시 예에 따른, 전자 장치의 구성을 나타내는 블록도이다.
도 3은 본 개시의 일 실시 예에 따른, 팩토리제이션을 수행하기 위한 인공지능 모델을 설명하기 위한 도면이다.
도 4는 본 개시의 일 실시 예에 따른, 팩토리제이션을 수행하기 위한 인공지능 모델을 설명하기 위한 도면이다.
도 5a는 본 개시의 일 실시 예에 따른, 레이어 스택을 통해 복원된 제2 LF 영상을 나타내는 도면이다.
도 5b는 본 개시의 일 실시 예에 따른, 레이어 스택에 시프팅 파라미터를 시점 단위별로 각각 적용하여 LF 영상을 복원하는 방법을 설명하기 위한 도면이다.
도 6은 본 개시의 일 실시 예에 따른, 시뮬레이터 모델의 일부를 나타낸 도면이다.
도 7은 본 개시의 일 실시 예에 따른, LF 영상을 통해, 팩토리제이션을 수행하기 위한 인공지능 모델을 학습하는 방법을 설명하기 위한 도면이다.
도 8a는 본 개시의 일 실시 예에 따른 시프팅 파라미터를 설명하기 위한 도면이다.
도 8b는 본 개시의 일 실시 예에 따른 타임 멀티플렉싱을 적용하기 위한 복수의 레이어 스택을 도시한 도면이다.
도 8c는 본 개시의 일 실시 예에 따른, 타임 멀티플렉싱을 수행하는 방법을 설명하기 위한 도면이다.
도 9는 본 개시의 일 실시 예에 따른, 전자 장치의 제어 방법을 나타내는 흐름도이다.
이하에서는 본 개시의 다양한 실시 예를 첨부된 도면을 참조하여 상세히 설명한다.
도 1은 본 개시의 일 실시 예에 따른, 전자 장치의 동작을 설명하기 위한 도면이다.
본 개시에 따른 전자 장치는 적어도 하나의 오브젝트를 서로 다른 시점(view point)으로 촬영한 제1 LF(Light Field) 영상(110)을 획득할 수 있다. LF(Light Field) 영상이란, LF(Light Field) 카메라를 통해 촬영된 영상으로, LF 카메라는 적어도 하나의 오브젝트를 서로 다른 시점(view point)으로 촬영할 수 있다. 즉, LF 카메라를 통해 적어도 하나의 오브젝트가 복수의 시점(view point)으로 촬영된 복수의 LF 영상이 획득될 수 있다. 따라서, 본 개시에 따른 제1 LF 영상(110)은 적어도 하나의 오브젝트를 LF 카메라로 촬영하여 획득된 복수의 영상을 포함할 수 있다.
그리고, 전자 장치는 본 개시에 따른, 팩토리제이션(factorization)을 수행하기 위한 인공지능 모델(10)에 제1 LF 영상(110)을 입력하여, 복수의 제1 레이어 스택(120-1, 120-2, …, 120-N) 및 복수의 시프팅 파라미터(130-1, 130-2, …, 130-N)를 획득할 수 있다. 구체적으로, 인공지능 모델(10)은 제1 LF 영상(110)을 입력 받아 복수의 제1레이어 스택(120-1, 120-2, …, 120-N) 및 복수의 시프팅 파라미터(130-1, 130-2, …, 130-N)를 출력하기 위한 인공지능 모델이다. 일 실시 예로, 인공지능 모델(10)은, 제1 LF 영상(110)과 복수의 제1 레이어 스택(120-1, 120-2, …, 120-N)이 복원된 제2 LF 영상(140)을 바탕으로 학습이 수행될 수 있다.
본 개시에 따른 팩토리제이션(factorization)은 LF(Light Field) 영상을 LF(Light Field) 디스플레이에 렌더링을 수행하기위한 레이어 스택 영상으로 변환하기 위한 기법이다. 구체적으로, LF 디스플레이의 디스플레이 패널(panel)의 개수가 3개인 경우, LF 영상이 팩토리제이션 기법을 통해 3개의 레이어 스택 영상으로 변환될 수 있다.
즉, 적어도 하나의 오브젝트를 LF 카메라로 촬영하여 획득된 복수의 영상이 팩토리제이션 기법을 통해, LF(Light Field) 디스플레이의 디스플레이 패널의 개수에 대응되는 복수의 레이어 스택 영상으로 변환될 수 있다.
일 실시 예로, 전자 장치는 팩토리제이션(factorization) 기법을 통해, 레이어 스택 각각에 시프팅 파라미터를 적용하여 영상의 블러 현상이 제거된 영상을 렌더링 할 수 있다.
레이어 스택이란, 적층형 디스플레이에 사용되는 복수의 디스플레이 패널 각각에 디스플레이되는 복수의 레이어 영상의 집합이다. 일 실시 예로, 3개의 디스플레이 패널을 사용하는 적층형 디스플레이의 경우, 하나의 레이어 스택에는 3개의 레이어 영상이 포함될 수 있으며, 3개의 레이어 영상 각각은 3개의 디스플레이 패널 각각에 디스플레이될 수 있다. 본 개시에 따르면, 하나의 레이어 스택에는 서로 상이한 시프팅 파라미터가 반영된 복수의 레이어 영상을 포함할 수 있으며, 이에 대한 자세한 내용은 후술하도록 한다.
레이어 스택이란, LF 영상에 대한 팩토리제이션이 수행되어 획득될 수 있는 복수의 멀티 레이어 영상으로, 일 실시 예로, 전자 장치는 복수의 레이어 스택을 고속하여 재생하는 타임멀티플렉싱(time multiplexing) 기법을 이용하여, 복수의 레이어 스택을 렌더링 하여 표시할 수 있다. 타임멀티플렉싱(time multiplexing) 기법이란, 복수의 레이어 스택을 순서대로 렌더링하여 표시하는 기법으로, 타임멀티플렉싱 기법을 통해, LF 영상에 포함된 적어도 하나의 오브젝트 각각이 선명하게 렌더링 될 수 있다. 타임멀티플렉싱 기법에 대해서는 도 8a, 8b 및 8c를 통해 후술하도록 한다.
복수의 시프팅 파라미터(130-1, 130-2, …, 130-N)란 본 개시에 따른 레이어 스택을 시프팅하기 위한 파라미터로, 본 개시에 따른 복수의 제1 LF 영상(110)에 포함된 적어도 하나의 오브젝트간의 거리 정보를 나타낼 수 있다. 예로, 복수의 제1 LF 영상(110)에 포함된 적어도 하나의 오브젝트 중 시프팅 파라미터의 크기가 0인 기준 오브젝트가 설정될 수 있다. 그리고, 복수의 시프팅 파라미터 중 제1 시프팅 파라미터가 제2 시프팅 파라미터보다 큰 경우, 복수의 제1 LF 영상(110)에 포함된 적어도 하나의 오브젝트 중 제2 시프팅 파라미터에 대응되는 오브젝트는 제1 시프팅 파라미터에 대응되는 오브젝트보다 상대적으로 기준 오브젝트와 더 가까울 수 있다.
전자 장치는, 본 개시에 따른 복수의 제1 레이어 스택(120-1, 120-2, …, 120-N)에 대응되는 개수만큼의 복수의 시프팅 파라미터(130-1, 130-2, …, 130-N)를 획득할 수 있다. 예로, 제1 레이어 스택의 개수가 3개이면, 전자 장치는 3개의 제1 레이어 스택에 각각 대응되는 3개의 시프팅 파라미터를 획득할 수 있다. 그리고, 3개의 제1 레이어 스택 및 3개의 시프팅 파라미터를 통해, 전자 장치는 제1 LF 영상(110)을 촬영한 위치로부터 각각 상이한 위치에 있는 3개의 오브젝트가 선명하게 표현되도록 렌더링을 수행할 수 있다. 일 실시 예로, 복수의 제1 레이어 스택(120-1, 120-2, …, 120-N)의 개수는 사용자에 의해 기 설정될 수 있다. 다만 이에 한정되지 않고, 복수의 제1 LF 영상(110)에 포함된 오브젝트의 개수가 N개 인 경우, 복수의 제1 레이어 스택의 개수도 N개일 수 있다.
즉, 본 개시에 따른 복수의 제1 LF 영상(110)에 포함된 오브젝트의 개수는 복수의 제1 LF 영상(110)에 포함된 물체의 개수에 한정되지 않으며, 복수의 제1 LF 영상(110)의 개수에 따라, 복수의 제1 LF 영상(110)에 포함된 물체의 개수보다 많거나 적을 수도 있다.
전자 장치는 인공지능 모델(10)에서 출력된 복수의 제1 레이어 스택(120-1, 120-2, …, 120-N) 및 복수의 시프팅 파라미터(130-1, 130-2, …, 130-N)를 본 개시에 따른 시뮬레이터 모델(20)에 입력하여, 제2 LF 영상(140)을 획득할 수 있다. 시뮬레이터 모델(20)을 통해 제2 LF 영상(140)이 획득되는 구체적인 방법에 대해서는 도 5a, 도 5b 및 도 6을 통해 후술하도록 한다.
시뮬레이터 모델(20)이란, 시프팅 파라미터가 각각 적용된 복수의 레이어 스택을 LF 영상 형식으로 복원하기 위한 모델로, 인공지능 모델(10)을 학습하기 위해 사용되는 모델이다. 본 개시에 따른 시뮬레이터 모델(20)은 복수의 시프팅 파라미터(130-1, 130-2, …, 130-N)가 변수로 사용될 수 있다. 즉, 시뮬레이터 모델(20)이 STN(Spatial Transformer Networks) 모듈을 더 포함하는 경우, 시뮬레이터 모델(20)에서 복수의 시프팅 파라미터(130-1, 130-2, …, 130-N)에 대해 미분이 가능하게 되어, 복수의 시프팅 파라미터(130-1, 130-2, …, 130-N)가 변수로 사용될 수 있다. 본 개시에 따른 STN(Spatial Transformer Networks)을 포함하는 시뮬레이터 모델(20)은 네트워크 구조 내에서 Spatial manipulation이 가능한 모델로 복수의 시프팅 파라미터(130-1, 130-2, …, 130-N)가 학습 가능한 형태로 활용될 수 있다.
기존의 시뮬레이터 모델은 복수의 시프팅 파라미터(130-1, 130-2, …, 130-N)에 대해 미분 불가능한 형태로 구현되어 복수의 시프팅 파라미터(130-1, 130-2, …, 130-N)가 시뮬레이터 모델의 변수로 사용될 수 없었다. 이러한 시뮬레이터 모델을 이용하는 경우, 복수의 시프팅 파라미터(130-1, 130-2, …, 130-N)에 대한 학습 또한 불가능한 한계가 존재하였다. 이에, 본 개시에 따른 복수의 시프팅 파라미터(130-1, 130-2, …, 130-N)가 변수로 사용되는 시뮬레이터 모델(20)을 통해 인공지능 모델(10)이 학습되는 경우, 인공지능 모델(10)을 통해, 복수의 제1 레이어 스택(120-1, 120-2, …, 120-N)뿐만 아니라, 복수의 시프팅 파라미터(130-1, 130-2, …, 130-N)까지 학습이 수행될 수 있다.
전자 장치는 제1 LF 영상(110) 및 제2 LF 영상(140)을 이용하여, 인공지능 모델(10)에 대한 학습을 수행할 수 있다. 일 실시 예로, 전자 장치는 제1 LF 영상(110)과 제2 LF 영상(140)을 비교하여 손실함수(Loss function)를 획득하고, 손실함수를 통해 인공지능 모델(10)의 가중치를 업데이트함으로, 인공지능 모델(10)에 대한 학습이 수행될 수 있다. 손실함수(Loss Function)란 인공지능 모델(10)의 현재 학습 상태를 나타내는 지표로, 손실함수를 바탕으로 인공지능 모델(10)의 현재 학습 상태가 나타날 수 있다. 본 개시의 일 실시 예로, 수학식1과 같이 손실함수를 바탕으로 인공 지능 모델(10)의 학습이 수행될 수 있다.
수학식1에서 Xi는 제1 LF 영상에 포함된 복수의 영상 중 i번째 영상이며,fi 는 복수의 제1 레이어 스택 중 j번째의 레이어 스택을 나타낸다. 그리고, 'total-view-num'는 제1 LF 영상의 총 개수를 나타내며, 'number-of-layer'는 복수의 제1 레이어 스택의 총 개수를 나타낸다.
그리고, simulator(f1,...,fnumber-of-layer)는 복수의 제1 레이어 스택 모두를 이용하여 복원된 제2 LF 영상을 의미할 수 있다. 즉, 수학식 1은 제1 LF 영상에 포함된 복수의 영상 각각과, 제1 레이어 스택을 통해 복원된 제2 LF 영상을 비교하여 손실을 계산(Loss computation)하고, 계산된 손실 각각을 모두 더한 값인 손실함수를 나타낸다. 그리고, 전자 장치는 손실함수가 최소가 되는 방향으로 인공지능 모델(10)에 대한 학습을 수행할 수 있다.
즉, 인공지능 모델(10)은 손실함수를 통해, 제1 LF 영상에 포함된 적어도 하나의 오브젝트 각각이 더욱 선명하게 표현될 수 있는 복수의 제1 레이어 스택(120-1, 120-2, …, 120-N) 및 복수의 시프팅 파라미터(130-1, 130-2, …, 130-N)가 획득되도록 학습이 수행될 수 있다. 일 실시 예로, 복수의 제1 레이어 스택(120-1, 120-2, …, 120-N) 및 복수의 시프팅 파라미터(130-1, 130-2, …, 130-N)가 동시에 업데이트되도록 인공지능 모델(10)이 학습될 수 있으나, 이에 한정되지 않는다. 즉, 복수의 시프팅 파라미터(130-1, 130-2, …, 130-N)를 기 설정 주기(예, 5회 업데이트) 동안 고정시킨 상태로 인공지능 모델(10)의 가중치를 학습하여, 복수의 제1 레이어 스택(120-1, 120-2, …, 120-N)에 대해서만 학습이 수행될 수 있다.
전자 장치는 본 개시에 따른 시뮬레이터 모델(20)을 통해, 인공지능 모델(10)의 학습을 수행하여, LF 영상에 포함된 오브젝트들을 더욱 선명하게 표현할 수 있는 레이어 스택을 획득할 수 있다.
본 개시에 따른 일 실시 예로, 전자 장치는 상술한 바와 같이 학습된 인공지능 모델(10)에 제1 LF 영상(110)을 입력하여, 복수의 제2 레이어 스택을 획득할 수 있다. 본 개시에 따른 복수의 제2 레이어 스택은 복수의 제1 레이어 스택(120-1, 120-2, …, 120-N)에 비해 LF 영상에 포함된 오브젝트들을 더욱 선명하게 표현할 수 있는 레이어 스택일 수 있다.
그리고, 전자 장치는 복수의 제2 레이어 스택을 고속하여 반복 재생하는 타임멀티플렉싱(time multiplexing) 기법을 통해 렌더링을 수행하여, PSNR(Peak to Noise Ratio)이 향상된 렌더링 영상을 획득할 수 있다. 즉, 본 개시에 따른, 복수의 제2 레이어 스택을 통해 렌더링이 수행되는 경우, 전자 장치는 전반적인 팩토리제이션(factorization) 성능 향상에 따른 시야각이 향상된 렌더링 영상을 획득할 수 있다.
도 2는 본 개시의 일 실시 예에 따른, 전자 장치의 구성을 나타내는 블록도이다.
도 2를 참조하면, 전자 장치(200)는 메모리(210) 및 프로세서(220)를 포함할 수 있다.
메모리(210)는 전자 장치(200)의 동작에 필요한 각종 프로그램 및 데이터를 저장할 수 있다. 구체적으로, 메모리(210)에는 적어도 하나의 인스트럭션이 저장될 수 있다. 프로세서(220)는 메모리(210)에 저장된 인스트럭션을 실행함으로써 전자 장치(200)의 동작을 수행할 수 있다.
구체적으로, 메모리(210)는 전자 장치(200)의 적어도 하나의 다른 구성요소에 관계된 명령(instruction) 또는 데이터를 저장할 수 있다. 특히, 메모리(210)는 비휘발성 메모리, 휘발성 메모리, 플래시메모리(flash-memory), 하드디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 등으로 구현될 수 있다. 메모리(210)는 프로세서(220)에 의해 액세스되며, 프로세서(220)에 의한 데이터의 독취/기록/수정/삭제/갱신 등이 수행될 수 있다. 본 개시에서 메모리라는 용어는 메모리(210), 프로세서(220) 내 롬(미도시), 램(미도시) 또는 전자 장치(200)에 장착되는 메모리 카드(미도시)(예를 들어, micro SD 카드, 메모리 스틱)를 포함할 수 있다.
본 개시에 따른 인공지능과 관련된 기능은 프로세서(220)와 메모리(210)를 통해 동작된다.
프로세서(220)는 하나 또는 복수의 프로세서로 구성될 수 있다. 이때, 하나 또는 복수의 프로세서는 CPU(Central Processing Unit), AP(application processor) 등과 같은 범용 프로세서, GPU(Graphics Processing Unit). VPU(Visual Processing Unit) 등과 같은 그래픽 전용 프로세서 또는 NPU(Neural Processing Unit) 와 같은 인공지능 전용 프로세서일 수 있다.
하나 또는 복수의 프로세서는, 메모리에 저장된 기 정의된 동작 규칙 또는 인공지능 모델에 따라, 입력 데이터를 처리하도록 제어한다. 기 정의된 동작 규칙 또는 인공지능 모델은 학습을 통해 만들어진 것을 특징으로 한다. 여기서, 학습을 통해 만들어진다는 것은, 다수의 학습 데이터들에 학습 알고리즘을 적용함으로써, 원하는 특성의 기 정의된 동작 규칙 또는 인공지능 모델이 만들어짐을 의미한다. 이러한 학습은 본 개시에 따른 인공지능이 수행되는 기기 자체에서 이루어질 수도 있고, 별도의 서버/시스템을 통해 이루어 질 수도 있다.
인공지능 모델은, 복수의 신경망 레이어들로 구성될 수 있다. 각 레이어는 복수의 가중치(weight values)을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 복수의 가중치의 연산을 통해 레이어의 연산을 수행한다. 신경망의 예로는, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 및 심층 Q-네트워크 (Deep Q-Networks)이 있으며, 본 개시에서의 신경망은 명시한 경우를 제외하고 전술한 예에 한정되지 않는다.
프로세서(220)는 메모리(210)와 전기적으로 연결되어 전자 장치(200)의 전반적인 동작 및 기능을 제어할 수 있다. 특히, 프로세서(220)는 메모리(210)에 저장된 적어도 하나의 명령어를 실행함으로써, 적어도 하나의 오브젝트를 서로 다른 시점(view point)으로 촬영한 제1 LF 영상을 획득할 수 있다. 본 개시에 따른 복수의 제1 LF 영상은 적어도 하나의 오브젝트를 LF 카메라로 촬영하여 획득된 복수의 영상일 수 있다.
그리고, 프로세서(220)는, 팩토리제이션(factorization)을 수행하기 위한 인공지능 모델에 제1 LF 영상을 입력하여, 복수의 제1 레이어 스택 및 복수의 시프팅 파라미터를 획득할 수 있다. 일 실시 예로, 인공지능 모델은 DNN(Deep Neural Network) 모델일 수 있으며, 프로세서(220)는 제1 LF 영상을 DNN 모델에 입력하여, 복수의 제1 레이어 스택 및 복수의 제1 레이어 스택 각각에 대응되는 복수의 시프팅 파라미터를 획득할 수 있다.
상술한 바와 같이, 프로세서(220)는, 팩토리제이션(factorization)을 수행하기 위한 인공지능 모델에 제1 LF 영상을 입력하여, 복수의 제1 레이어 스택 및 복수의 시프팅 파라미터를 획득할 수 있으나, 이에 한정되지 않는다. 즉, 프로세서(220)는, 제1 LF 영상을 제1 인공지능 모델에 입력하여, 상기 복수의 제1 레이어 스택을 획득하고, 복수의 제1 레이어 스택을 제2 인공지능 모델에 입력하여, 복수의 시프팅 파라미터를 획득할 수 있다. 이에 대한 자세한 내용은 도 3및 도 4를 통해 후술하도록 한다.
그리고, 프로세서(220)는 복수의 제1 레이어 스택 및 복수의 시프팅 파라미터를 이용하여 제2 LF 영상을 복원할 수 있다. 제2 LF 영상은 팩토리제이션을 수행하기 위한 인공지능 모델을 학습하기 위한 LF 영상이다. 본 개시에 따른, 일 실시 예로, 프로세서(220)는 복수의 레이어 스택으로부터 LF 영상을 복원하기 위한 시뮬레이터 모델에 복수의 제1 레이어 스택 및 복수의 시프팅 파라미터를 입력하여, 복수의 제1 레이어 스택에서 시프팅 파라미터 각각이 적용된 복수의 제3 LF 영상을 획득할 수 있다. 그리고, 프로세서(220)는 복수의 제3 LF 영상을 이용하여 상기 제2 LF 영상을 획득할 수 있다.
본 개시에 따른 일 실시 예로, 복수의 제1 레이어 스택 각각은 3개의 레이어 영상을 포함하며, 프로세서(220)는 시뮬레이터 모델을 통해 복수의 제1 레이어 스택에 각각에 포함된 3개의 레이어 영상 복수의 제1 레이어 스택 각각에 대응되는 시프팅 파라미터에 따라 시점 단위별로 시프팅하여 제2 LF 영상을 획득할 수 있다. 본 개시에 따른, 복수의 제1 레이어 스택을 시프팅 파라미터에 따라 시점 단위별로 시프팅하는 방법에 대해서는 도 5a 및 5b를 통해 후술하도록 한다.
본 개시에 따른, 일 실시 예로, 시뮬레이터 모델은 STN(Spatial transformer networks)모듈을 포함하며, 시뮬레이터 모델은 복수의 시프팅 파라미터가 변수로 사용될 수 있다. 즉, 복수의 시프팅 파라미터가 변수로 사용될 수 있는 시뮬레이터 모델을 통해, 팩토리제이션을 수행하기 위한 인공지능 모델에서 시프팅 파라미터에 대한 학습이 수행될 수 있다. 본 개시에 따른 시뮬레이터 모델에 대한 구체적인 내용은 도 6을 통해 후술하도록 한다.
그리고, 프로세서(220)는 제1 LF 영상과 제2 LF 영상을 비교하여 손실함 수를 획득할 수 있다. 본 개시에 따른 손실함수를 획득하는 방법은, 평균 제곱의 오차를 이용하여 손실함수를 계산하는 Mean squared error 방법, 영상에 대한 화질을 측정하여 손실함수를 계산하는 SSIM(structural similarity index) 방법, 최소절대편차(least absolute deviations) 또는 최소절대오차(least absolute errors)를 이용하여 손실함수를 계산하는 L1 norm 방법 및 최소제곱오차(least squares errors)를 이용하여 손실함수를 계산하는 L2 norm 방법 등이 있다. 다만, 이에 한정되지 않고, 상술한 방법을 조합하여 이용하거나, 다른 방법에 의해서도 손실함수가 획득될 수 있다.
그리고, 프로세서(220)는 손실함수를 바탕으로, 팩토리제이션을 수행하기 위한 인공지능 모델의 가중치를 학습하여, 인공지능 모델의 가중치를 업데이트 할 수 있다. 인공지능 모델의 가중치란, 인공지능 모델에 대한 학습이 수행되면서 자동적으로 업데이트되는 파라미터이다. 인공지능 모델은 복수의 신경망 레이어(layer)들로 구성될 수 있으며, 각각 레이어는 복수의 가중치(weight)을 가질 수 있다. 그리고, 인공지능 모델에서 이전(previous) 레이어의 연산 결과와 복수의 가중치간의 연산을 통해 레이어 간의 연산이 수행될 수 있다.
본 개시에 따른 일 실시 예로, 프로세서(220)는 복수의 제1 레이어 스택 및 복수의 시프팅 파라미터가 동시에 업데이트되도록 인공지능 모델(10)의 가중치를 업데이트시킬 수 있으나, 이에 한정되지 않는다. 즉, 복수의 시프팅 파라미터를 기 설정 주기(예, 5회 업데이트) 동안 고정시킨 상태로 인공지능 모델의 가중치를 업데이트하여, 복수의 제1 레이어 스택에 대해서만 학습이 수행되도록 인공지능 모델을 학습 시킬 수 있다.
그리고, 프로세서(220)는 상술한 과정을 통해 학습이 완료된 인공지능 모델에 제1 LF 영상을 입력하여, 복수의 제2 레이어 스택을 획득할 수 있다. 즉, 프로세서(220)는 학습된 인공지능 모델을 통해, 복수의 LF 영상에 포함된 적어도 하나의 오브젝트에 대한 뎁스 정보가 반영된 복수의 제2 레이어 스택을 획득할 수 있다. 그리고, 프로세서(220)는 복수의 제2 레이어 스택을 반복하여 고속 재생하는 타임 멀티플렉싱 기법을 통해, 이미지 렌더링을 수행할 수 있다. 타임 멀티플렉싱 기법에 대해서는 도 8a, 8b 및 8c를 통해 후술하도록 한다.
도 3은 본 개시의 일 실시 예에 따른, 팩토리제이션을 수행하기 위한 인공지능 모델을 설명하기 위한 도면이다.
도 3을 참조하면, 전자 장치(200)는 LF 영상(310)을 팩토리제이션을 수행하기 위한 인공지능 모델(10)에 입력하여, 복수의 제1 레이어 스택(320-1, 320-2, … , 320-N) 및 복수의 시프팅 파라미터(330-1, 330-2, … , 330-N)를 획득할 수 있다. 본 개시에 따른 일 실시 예로, 인공지능 모델(10)은 복수의 레이어 스택을 획득하기 위한 제1 인공지능 모델(30-1) 및 복수의 시프팅 파라미터를 획득하기 위한 제2 인공지능 모델(30-2)을 포함할 수 있다. 즉, 인공지능 모델(10)의 제1 인공지능 모델(30-1)에 LF 영상(310)이 입력되어, 복수의 제1 레이어 스택(320-1, 320-2, …, 320-N)이 획득되고, 인공지능 모델(10)의 제2 인공지능 모델(30-2)에 LF 영상(310)이 입력되어, 복수의 시프팅 파라미터(330-1, 330-2, …, 330-N)가 획득될 수 있다.
일 실시 예로, 인공지능 모델(10)의 학습 상태에 따라, 인공지능 모델(10)에서 획득되는 복수의 제1 레이어 스택(320-1, 320-2, … , 320-N)의 성능이 결정될 수 있다. 즉, 인공지능 모델(10)에서 획득된 복수의 제1 레이어 스택(320-1, 320-2, … , 320-N)을 통해 복원된 제2 LF영상과 제1 LF 영상을 비교하여 획득된 손실함수의 값이 적을수록 인공지능 모델(10)에서 획득된 복수의 제1 레이어 스택(320-1, 320-2, …, 320-N)의 성능이 좋을 수 있다. 일 실시 예로, 복수의 레이어 스택을 멀티플렉싱 기법을 통해 렌더링을 하여 획득된 영상의 PSNR(Peak to Noise Ratio) 값이 높을수록 복수의 레이어 스택의 성능이 좋을 수 있다. 또는 복수의 레이어 스택을 멀티플렉싱 기법을 통해 렌더링을 하여 획득된 영상의 시야 각이 넓을수록 복수의 레이어 스택의 성능이 좋을 수 있다.
도 4는 본 개시의 일 실시 예에 따른, 팩토리제이션을 수행하기 위한 인공지능 모델을 설명하기 위한 도면이다.
도 4를 참조하면, 전자 장치(200)는 LF 영상(410)을 제1 인공지능 모델(40-1)에 입력하여, 복수의 제1 레이어 스택(420-1, 420-2, … , 420-N)을 획득할 수 있다. 본 개시에 따른, 제1 인공지능 모델(40-1)은 LF 영상으로부터 복수의 레이어 스택을 획득하기 위한 인공지능 모델로, DNN(Deep Neural Network) 모델로 구현될 수 있다. 도 4에서는 복수의 제1 레이어 스택 각각이 3개의 레이어 영상을 포함하는 것으로 도시되어 있지만 이에 한정되지 않는다. 즉, 복수의 레이어 스택을 타임 멀티플렉싱(time multiplexing) 기법을 통해 렌더링 하기 위한 전자 장치의 하드웨어 성능에 따라, 복수의 제1 레이어 스택의 개수가 변경될 수 있다.
그리고, 전자 장치(200)는 제1 인공지능 모델(40-1)을 통해 획득한 복수의 제1 레이어 스택(420-1, 420-2, … , 420-N)을 제2 인공지능 모델(40-2)에 입력하여, 복수의 시프팅 파라미터(430-1, 430-2, …, 430-N)를 획득할 수 있다. 본 개시에 따른, 제2 인공지능 모델(40-2)은 복수의 레이어 스택으로부터 복수의 시프팅 파라미터를 획득하기 위한 모델로, LF 영상이 입력되는 도 3의 제2 인공지능 모델(30-2)과 달리, 도 4의 제2 인공지능 모델(40-2)은 복수의 레이어 스택이 입력될 수 있다.
그리고, 전자 장치(200)는 제1 인공지능 모델(40-1)을 통해 획득한 복수의 제1 레이어 스택(420-1, 420-2, … , 420-N) 및 제2 인공지능 모델(40-2)을 통해 획득한 복수의 시프팅 파라미터(430-1, 430-2, …, 430-N)를 이용하여 제2 LF 영상을 복원할 수 있다.
도 5a는 본 개시의 일 실시 예에 따른, 레이어 스택을 통해 복원된 제2 LF 영상을 나타내는 도면이다.
도 5a의 제2 LF 영상(500)는 본 개시의 일 실시 예에 따른, 복수의 제1 레이어 스택 중 제1-1 레이어 스택 및 제1-1 레이어 스택에 대응되는 시프팅 파라미터(Sn)를 이용하여 획득된 제2 LF 영상(500)이다. 일 실시 예로, 제1-1 레이어 스택은 도 5b와 같이 3개의 레이어 영상(510, 520, 530)를 포함할 수 있으며, 3개의 레이어 영상 (510, 520, 530)에서 시점 별로 시프팅 파라미터(Sn)가 적용되어 제2 LF 영상(500)이 복원될 수 있다. 즉, 본 개시에 따르면, 시점(view) 단위 별로 각각 상이한 시점(view) 간 디스페리티가 적용되어 제2 LF 영상(500)이 획득될 수 있다. 시점(view) 간 디스페리티란 본 개시에 따른 렌더링된 레이어 스택을 바라보는 사용자의 시점(view)에 따른 뎁스 차를 나타내는 척도로, 사용자의 시점 별 시점 간 디스페리티가 적용된 시프팅 파라미터에 따라 제2 LF 영상(500)이 복원될 수 있다. 즉, 도 5a의 제2 LF 영상(500)은 서로 다른 시점에서 제1-1 레이어 스택에 포함된 적어도 하나의 오브젝트를 촬영된 것으로 복원된 복수의 영상을 포함할 수 있다. 일 실시 예로, 제2 LF 영상(500)은 제1-1 레이어 스택에 포함된 적어도 하나의 오브젝트를 정면에서 촬영된 것으로 복원된 (2,2) 영상을 포함할 수 있다. 즉, (2, 2) 영상은 사용자가 렌더링된 제1-1 레이어 스택을 정면에서 바라보는 것으로 복원된 영상일 수 있다. 이 경우, 제1-1 레이어 스택에 포함된 레이어들 간의 정면 시점에 따른 뎁스 차는 없으므로, (2, 2) 영상에서의 시점 간 디스페리티를 (0, 0)으로 설정할 수 있다. 그리고, 제1-1 레이어 스택에서 (0, 0)의 시점 간 디스페리티를 적용되어, 시프팅 파라미터가 적용되지 않은 LF 영상으로 (2, 2) 영상이 복원될 수 있다.
그리고, 제2 LF 영상(500)은 제1-1 레이어 스택에 포함된 적어도 하나의 오브젝트를 정면 (2,2) 기준에서 왼쪽으로 2 시점(view) 간격, 위쪽으로 2(view) 간격 떨어진 시점에서 촬영된 것으로 복원된 (0,0) 영상(500-1)을 포함할 수 있다. 즉, (0, 0) 영상(500-1)은 사용자가 렌더링된 제1-1 레이어 스택을 정면 시점 기준 왼쪽으로 2 시점(view) 간격, 위쪽으로 2(view) 간격 떨어진 시점에서 바라보는 것으로 복원된 영상일 수 있다. 이 경우, 제1-1 레이어 스택에 포함된 레이어들 간의 시점 간 디스페리티를 (2, 2)로 설정할 수 있다. 그리고, 제1-1 레이어 스택에서 (2, 2)의 시점 간 디스페리티가 적용된 시프팅 파라미터에 따라 (0, 0) 영상(500-1)이 복원될 수 있다.
즉, (0,0) 영상(500-1)은 제1-1 레이어 스택에 포함된 적어도 하나의 오브젝트를 정면 시점(view)인 (2,2) 기준에서 (-2, +2) 시점(view)에서 촬영된 것으로 복원된 영상일 수 있다. 즉, 본 개시에 따른 제2 LF 영상(500)은 도 5a와 같이 25개의 시점(view)에서 촬영된 것으로 복원된 복수의 영상을 포함할 수 있다.
도 5a에서는 제2 LF 영상이 25개의 시점(view)에서 촬영된 것으로 복원된 25개의 영상을 포함하는 것으로 도시되어 있으나, 이에 한정되지 않고, 제2 LF 영상이 16개, 36개, 49개, 64개 등 (n*n)개의 영상을 포함할 수 있다.
또한, 도 5a에서는 제1-1 레이어 스택만을 통해 제2 LF 영상이 복원되는 것으로 설명하였으나, 이에 한정되지 않는다. 즉, 일 실시 예로, 전자 장치(200)는 제1-1 레이어 스택을 통해 제3-1 LF 영상을 복원하고, 제1-2 레이어 스택을 통해 제3-2 LF 영상이 복원하고, 제1-N 레이어 스택을 통해 제3-N 영상이 복원하여, N개의 LF 영상을 포함하는 복수의 제3 LF 영상을 획득할 수 있다. 즉, 복수의 제3 LF 영상은 N개의 LF 영상을 포함하고, 전자 장치(200)는 복수의 제3 LF 영상에 포함된 N개의 LF 영상들을 통해, 하나의 제2 LF 영상을 획득할 수 있다. 복수의 제3 LF 영상에 포함된 N개의 LF 영상들을 통해, 하나의 제2 LF 영상을 획득하는 구체적인 방법에 대해서는 도 7을 통해 후술하도록 한다.
도 5b는 본 개시의 일 실시 예에 따른, 레이어 스택에 시프팅 파라미터를 시점 단위 별로 각각 적용하여 LF 영상을 복원하는 방법을 설명하기 위한 도면이다.
도 5b는 제1-1 레이어 스택에 포함된 3개의 레이어 영상(510, 520, 530)을 도시하고 있으며, 제1-1 레이어 스택은 구체적으로, 후면 레이어 영상(510), 중간 레이어 영상(520) 및 전면 레이어 영상(530)를 포함할 수 있다.
그리고, 본 개시의 일 실시 예에 따른, 팩토리제이션을 수행하기 위한 모델에 대한 학습을 위해, 전자 장치는 제1-1 레이어 스택에 포함된 후면 레이어 영상(510), 중간 레이어 영상(520) 및 전면 레이어 영상(530) 각각에 시프팅 파라미터를 시점(view) 간 디스페리티에 따라 적용하여, 후면 레이어 영상(510), 중간 레이어 영상(520) 및 전면 레이어 영상(530)가 포함된 제1-1 레이어 스택을 제2 LF 영상(500)으로 복원할 수 있다. 그리고, 전자 장치는 복원된 제2 LF 영상(500) 및 제1 LF 영상을 바탕으로 팩토리제이션을 수행하기 위한 모델을 학습할 수 있다.
본 개시에 따르면, 시점(view)간 디스페리티에 따라 각각의 LF 영상의 시프팅 파라미터의 계수가 결정될 수 있다. 일 실시 예로, 정면 시점(view)을 나타내는 (2, 2) 영상은 레이어가 시프팅 되지 않을 수 있다. 즉, 시프팅 파라미터 계수에 대한 기준점은 정면 시점(view)인 (2, 2) 영상이 되며, (2, 2) 영상에서는 시점 간 디스페리티가 (0, 0)이 될 수 있다.
그리고, 본 개시에 따르면, 중간 레이어(620)는 시프팅의 기준이 되는 레이어로 시프팅되지 않을 수 있다. 따라서, 중간 레이어(620)에는 시프팅 파라미터가 적용되지 않을 수 있다. 그리고, 시점(view)에 따라 후면 레이어(610) 및 전면 레이어(630)에 대한 시프팅 파라미터(Sn)의 계수가 달라질 수 있다. 일 실시 예로, (0, 0) 시점(view)을 나타내는 제2-1 LF 영상(500-1)에는 (2, 2)의 시점 간 디스페리티가 적용되어, 후면 레이어(610)에 (-2, -2)로 시프팅 파라미터(Sn)의 계수가 적용되고, 전면 레이어(630)에는 (+2, +2)로 시프팅 파라미터(Sn)의 계수가 적용될 수 있다. 따라서, (0, 0) LF 영상(500-1)은 후면 레이어 영상(510)를 (-2Snx, -2Sny) 만큼 시프팅 하고, 전면 레이어 영상(520)를 (+2Snx, +2Sny) 만큼 시프팅 하여 생성된 LF 영상일 수 있다. 본 개시에 따른 Snx는 X축 방향에 대한 시프팅 파라미터이며, Sny는 Y축 방향에 대한 시프팅 파라미터일 수 있으며, 일 실시 예로, Snx와 Sny의 값이 동일할 수 있다.
그리고, (1, 0) 시점(view)을 나타내는 (1, 0) LF 영상(500-2)에서는 (2, 1)의 시점 간 디스페리티가 적용될 수 있다. 따라서, (1, 0) LF 영상(500-2)은 후면 레이어(610)를 (-2Snx, -Sny) 만큼 시프팅 하고, 전면 레이어(620)를 (2Snx, +Sny) 만큼 시프팅 하여 생성된 LF 영상일 수 있다.
또한, (2, 0) 시점(view)을 나타내는 (2, 0) LF 영상(500-3)에서는 (2, 0)의 시점 간 디스페리티가 적용될 수 있다. 따라서, (2, 0) LF 영상(500-3)은 후면 레이어(610)를 (-2Snx, 0)만큼 시프팅 하고, 전면 레이어(620)를 (2Snx, 0)만큼 시프팅 하여 생성된 LF 영상일 수 있다. 또한, (3, 2) 시점(view)을 나타내는 (3, 2) LF 영상(500-6)에서는 (0, -2)의 시점 간 디스페리티가 적용될 수 있다. 따라서, (3, 2) LF 영상(500-6)은 후면 레이어(610)를 (0, +2Sny) 만큼 시프팅 하고, 전면 레이어(620)를 (0, -2Sny) 만큼 시프팅 하여 생성된 LF 영상일 수 있다.
도 5b에서는 제1-1 레이어 스택이 3개의 레이어 영상(510, 520, 530)를 포함하고 있는 것으로 설명하였으나, 이에 한정되지 않고, 제1-1 레이어 스택의 개수는 렌더링을 수행하는 전자 장치(200)의 성능에 따라 변경될 수 있다.
도 6은 본 개시의 일 실시 예에 따른, 시뮬레이터 모델의 일부를 나타낸 도면이다.
본 개시에 따르면, 전자 장치(200)는 팩토리제이션(factorization)을 수행하기 위한 인공지능 모델을 통해 획득한 복수의 제1 레이어 스택 및 복수의 시프팅 파라미터를 시뮬레이터(Simulator) 모델에 입력하여, 복수의 제1 레이어 스택에서 상기 시프팅 파라미터 각각이 적용된 복수의 제3 LF 영상을 획득할 수 있다. 그리고, 전자 장치(200)는 복수의 제3 LF 영상을 이용하여 제2 LF 영상을 획득할 수 있다.
시뮬레이터 모델이란, 시프팅 파라미터가 각각 적용된 복수의 레이어 스택을 LF 영상 형식으로 복원하기 위한 모델로, 팩토리제이션(factorization)을 수행하기 위한 인공지능 모델을 학습하기 위해 사용되는 모델이다. 본 개시에 따른 시뮬레이터 모델을 이용하는 경우, 복수의 시프팅 파라미터가 인공지능 모델의 변수로 사용될 수 있다. 즉, 시뮬레이터 모델이 도 6과 같이 STN(Spatial Transformer Networks) 모듈을 더 포함하는 경우, 시뮬레이터 모델 내에서 복수의 시프팅 파라미터에 대한 미분 연산이 수행될 수 있다. 따라서, 시뮬레이터 모델을 통해 미분 연산이 수행되는 복수의 시프팅 파라미터를 통해, 해당 복수의 시프팅 파라미터가 팩토리제이션(factorization)을 수행하기 위한 인공지능 모델에 대한 변수로 사용될 수 있다. 즉, 본 개시에 따른 STN(Spatial Transformer Networks)을 포함하는 시뮬레이터 모델은 네트워크 구조 내에서 Spatial manipulation이 가능한 모델로 복수의 시프팅 파라미터가 학습 가능한 변수 형태로 활용될 수 있다.
본 개시에 따른 STN(Spatial Transformer Networks) 모듈을 포함하는 시뮬레이터 모델은 Spatial Transformer 기법을 이용하여 복수의 레이어 스택에서 LF 영상을 복원할 수 있다. Spatial Transformer 기법이란 인공지능 모델 내에서 spatial manipulation을 가능하게 하는 기법으로, 전체 인공지능 모델의 시스템이 transformation 파라미터에 대해 미분 연산이 가능하게 하는 기법이다. 본 개시에 따르면, 시프팅 파라미터를 transformation 파라미터로 보아 Spatial Transformer 기법을 수행할 수 있다. 구체적으로, STN(Spatial Transformer Networks) 모듈은 도 6에 도시된 바와 같이, Grid Generator를 포함하며, Grid Generator를 통해 시프팅 파라미터가 적용된 레이어 스택을 획득할 수 있다. 일 실시 예로, 본 개시에 따른 STN(Spatial Transformer Networks) 모듈은 수학식 2과 같은 연산을 통해, 시프팅 파라미터가 적용된 레이어 스택을 획득할 수 있다.
수학식2의 Snx 및 Sny는 본 개시에 따른 시프팅 파라미터 변수를 의미하여, xi
t및 yi
t는 본 개시에 따른 시프팅 파라미터가 적용되기 전의 레이어 스택에 대한 행렬 정보,xi
s및 yi
s는 본 개시에 따른 시프팅 파라미터가 적용된 레이어 스택에 대한 행렬 정보를 의미할 수 있다.
일 실시 예로, Spatial Transformer 기법에 따라 유의미한 행렬 정보를 추출하기 위해 시뮬레이터 모델의 마지막 레이어는 선형 연산만을 수행하는 Regression 레이어로 구성될 수 있다. 또한, 시뮬레이터 모델의 마지막 레이어인 Regression 레이어에서 본 개시에 따른 시프팅 파라미터 변수를 획득하기 위해 시뮬레이터 모델 내의 kernel과 bias들이 양수로 설정될 수 있다.
그리고, Grid Generator를 통해, 시프팅 파라미터가 적용된 레이어 스택이 획득되면, 시뮬레이터 모델은 획득된 레이어 스택을 LF 영상 형식으로 복원할 수 있다. 이에 대한 구체적인 내용은 도7을 통해 후술하도록 한다.
도 7은 본 개시의 일 실시 예에 따른, LF 영상을 통해, 팩토리제이션을 수행하기 위한 인공지능 모델을 학습하는 방법을 설명하기 위한 도면이다.
도 7을 참조하면, 전자 장치(200)는 제1 LF 영상(710)을 인공지능 모델(10)에 입력하여, 제1-1 레이어 스택(720-1) 및 제1-1 레이어 스택(720-1)에 대응되는 제1 시프팅 파라미터(S1), 제1-2 레이어 스택(720-2) 및 제1-2 레이어 스택(720-2)에 대응되는 제2 시프팅 파라미터(S2) 및 제1-3 레이어 스택(720-3) 및 제1-3 레이어 스택(720-3)에 대응되는 제3 시프팅 파라미터(S3)를 획득할 수 있다. 그리고, 전자 장치(200)는 인공지능 모델(10)에서 획득된 3개의 레이어 스택(720-1, 720-2, 720-3) 및 3개의 시프팅 파라미터(S1, S2, S3)를 시뮬레이터 모델(20)에 입력하여, 복수의 제3 LF 영상(730-1, 730-2, 730-3)을 획득할 수 있다. 복수의 제3 LF 영상(730-1, 730-2, 730-3)은 제1-1 레이어 스택(720-1)에 제1 시프팅 파라미터(S1)가 적용된 제3-1 LF 영상(730-1), 제1-2 레이어 스택(720-2)에 제2 시프팅 파라미터(S2)가 적용된 제3-2 LF 영상(730-2) 및 제1-3 레이어 스택(720-3)에 제3 시프팅 파라미터(S3)가 적용된 제3-3 LF 영상(730-3)을 획득할 수 있다.
그리고, 전자 장치는 복수의 제3 LF 영상(730-1, 730-2, 730-3)을 이용하여 제2 LF 영상(740)을 획득할 수 있다. 일 실시 예로, 제2 LF 영상(740)은 복수의 제3 LF 영상(730-1, 730-2, 730-3)들의 평균 값을 바탕으로 복원된 LF 영상일 수 있다. 즉, 제2 LF 영상(740)은 복수의 제3 LF 영상(730-1, 730-2, 730-3)에 포함된 픽셀 값을 각각 평균 내어 합친 영상일 수 있다.
제2 LF 영상(740)이 획득되면, 전자 장치(200)는 제1 LF 영상(710) 및 제2 LF 영상(740)을 이용하여, 인공지능 모델(10)을 학습할 수 있다. 일 실시 예로, 전자 장치(200)는 제1 LF 영상(710) 및 제2 LF 영상(740)을 통해 손실함수를 획득하고, 획득된 손실함수를 바탕으로, 인공지능 모델(10)을 학습할 수 있다. 손실함수에 대해서는 도 1에서 설명하였으므로, 자세한 설명은 생략하도록 한다.
도 7에는 인공지능 모델(10)을 통해 3개의 레이어 스택(720-1, 720-2, 720-3)이 획득되는 것으로 도시 되었지만 이에 한정되지 않고, 전자 장치(200)는 인공지능 모델(10)을 통해, 4개 이상의 레이어 스택을 획득하여, 획득된 복수의 레이어 스택을 시뮬레이터 모델(20)에 입력할 수 있다.
도 8a는 본 개시의 일 실시 예에 따른 시프팅 파라미터를 설명하기 위한 도면이다.
도 8a의 영상(800)은 본 개시에 따른, 전자 장치(200)가 복수의 레이어 스택을 반복하여 고속 재생하는 타임 멀티플렉싱(time multiplexing) 기법을 통해 복수의 레이어 스택에 대한 이미지 렌더링을 수행한 영상(800)이다.
도 8a를 참조하면, 전자 장치(200)는 영상(800)을 획득하기 위해, 영상(800)에 대응되는 제1 LF 영상에서 3개의 시프팅 파라미터(shift 1, shift 5, shift 15)를 획득할 수 있다.
도 8a에 도시된 영상(800)은 3개의 레이어 스택을 반복하여 고속 재생하는 타임 멀티 플렉싱 기법을 통해 3개의 레이어 스택에 대한 이미지 렌더링이 수행된 영상(800)일 수 있으며, 이 경우, 시프팅 파라미터의 개수는 레이어 스택의 개수와 동일하게 3개일 수 있다.
구체적으로, 전자 장치(200)는 영상(800)에서 뎁스의 기준이 되는 영역을 설정할 수 있다. 구체적으로, 시프팅 파라미터는 영상(800)에 포함된 어느 영역이 뎁스의 기준이 되는 영역과 떨어진 정도를 수치로 나타낸 파라미터이다.
예로, 도 8a를 참조하면, 전자 장치(200)는 뎁스의 기준이 되는 영역 근처의 영역을 shift 1의 시프팅 파라미터를 갖는 영역(810)으로 설정할 수 있다. 즉, 전자 장치(200)는 영상(800)에서 공룡의 허벅지에 해당되는 영역을 뎁스의 기준이 되는 영역으로 설정할 수 있다. 그리고, 뎁스의 기준이 되는 영역으로부터 1의 계수만큼 떨어진 공룡의 허벅지 근처의 영역을 Shift 1의 시프팅 파라미터를 갖는 영역(910)으로 설정할 수 있다. 일 실시 예로, 뎁스의 기준이 되는 영역에서 큰 계수만큼 떨어진 영역일수록 뎁스의 기준이 되는 영역과의 실제적인 거리가 멀 수 있다. 또한, 일 실시 예로, 뎁스의 기준이 되는 영역에서 1계수 만큼 떨어진 영역은 뎁스의 기준이 되는 영역으로부터 카메라와 1계수만큼 가깝거나 1 계수만큼 먼 영역 모두를 포함할 수 있다.
그리고, 전자 장치(200)는 뎁스의 기준이 되는 영역에서 15의 계수만큼 떨어진 shift 15의 시프팅 파라미터를 갖는 영역(930)으로 설정할 수 있다. 즉, 도 8a를 참조하면, 뎁스의 기준이 되는 영역에서 15의 계수만큼 떨어진 영역(830)은 영상(800)에서 하늘에 해당되는 영역일 수 있다.
그리고, 전자 장치(200)는 뎁스의 기준이 되는 영역에서 5의 계수만큼 떨어진 영역을 shift 5의 시프팅 파라미터를 갖는 영역(820)으로 설정할 수 있다. 즉, 도 8a를 참조하면, shift 5의 시프팅 파라미터를 갖는 영역(820)은 영상(800)에서 공룡의 머리에 해당되는 영역일 수 있다.
본 개시의 일 실시 예에 따르면, 영상(800)에 포함된 하나의 공룡 오브젝트에 shift 1 및 shift 5의 시프팅 파라미터를 갖는 영역이 설정될 수 있다. 즉, 본 개시의 일 실시 예에 따르면, 영상에 포함된 복수개의 오브젝트 각각에 대응되는 시프팅 파라미터를 갖는 영역이 설정될 수 있으나, 이에 한정되지 않고, 영상에 포함된 하나의 오브젝트에 복수 개의 시프팅 파라미터를 갖는 영역이 설정될 수 있다.
도 8b는 본 개시의 일 실시 예에 따른 타임 멀티플렉싱을 적용하기 위한 복수의 레이어 스택을 도시한 도면이며, 도 8c는 본 개시의 일 실시 예에 따른, 타임 멀티플렉싱을 수행하는 방법을 설명하기 위한 도면이다.
전자 장치는 도 8b에 도시된 복수의 제2 레이어 스택(810-1, 810-2, 810-3)을 반복하여 고속 재생하는 타임 멀티플렉싱(time multiplexing) 기법을 이용해 이미지 렌더링을 수행하여, 도 8a에 도시된 영상(800)을 획득할 수 있다. 구체적으로 도 8b를 참조하면, 복수의 제2 레이어 스택은 제2-1 레이어 스택(810-1), 제2-2 레이어 스택(810-2) 및 제2-3 레이어 스택(810-3)을 포함할 수 있다. 그리고, 복수의 제2 레이어 스택(810-1, 810-2, 810-3)각각은 3개의 레이어(L1, L2, L3)를 포함할 수 있다. 본 개시의 일 실시 예에 따르면, 제2-1 레이어 스택(810-1), 제2-2 레이어 스택(810-2) 및 제2-3 레이어 스택(810-3)은 학습이 완료된 팩토리제이션을 수행하기 위한 모델에 복수의 제1 LF 영상을 입력하여 획득된 복수의 레이어 스택일 수 있다. 일 실시 예로, 제2-1 레이어 스택(810-1)은 복수의 제1 LF 영상에서 shift 1의 시프팅 파라미터가 적용된 레이어 스택일 수 있으며, 제2-2 레이어 스택(810-2)은 복수의 제1 LF 영상에서 shift 5의 시프팅 파라미터가 적용된 레이어 스택일 수 있다. 그리고, 제2-3 레이어 스택(810-3)은 복수의 제1 LF 영상에서 shift 15의 시프팅 파라미터가 적용된 레이어 스택일 수 있다.
그리고, 전자 장치는 도 9c에 도시된 바와 같이, t1의 시간에 제2-1 레이어 스택(810-1)에 포함된 3개의 레이어 영상을 렌더링 하여 표시하고, t2의 시간에 제2-2 레이어 스택(810-2)에 포함된 3개의 레이어 영상을 렌더링 하여 표시할 수 있다. 일 실시 예로, 렌더링을 수행하기 위한 디스플레이 패널이 3개인 경우, 하나의 레이어 스택은 3개의 레이어 영상으로 구성될 수 있으며, 3개의 레이어 영상 각각이 3개의 디스플레이 패널 각각에 표시되어 렌더링이 수행될 수 있다.
그리고, 전자 장치는 t3의 시간에 제2-3 레이어 스택(810-3)에 포함된 3개의 레이어 영상을 렌더링 하여 표시할 수 있다. 그리고, 전자 장치는 t4의 시간에 제2-1 레이어 스택(810-1)에 포함된 3개의 레이어 영상을 렌더링 하여 표시하고, t5의 시간에 제2-2 레이어 스택(810-2)에 포함된 3개의 레이어 영상을 렌더링 하여 표시하고, t6의 시간에 제2-3 레이어 스택(810-3)에 포함된 3개의 레이어 영상을 렌더링 하여 복수의 제2 레이어 스택을 반복하여 고속 재생할 수 있다. 즉, 전자 장치는 t1 ~ t3의 주기로 복수의 제2 레이어 스택을 반복하여 고속 재생할 수 있다.
즉, 도 8a 내지 도 8c에서 상술한 바와 같이 전자 장치(200)는 시프팅 파라미터가 적용된 복수의 제2 레이어 스택을 바탕으로 타임 멀티플렉싱을 이용한 이미지 렌더링을 수행하여, 복수의 LF 영상에 포함된 적어도 하나의 오브젝트에 대한 뎁스 정보가 반영된 영상을 제공할 수 있다.
도 9는 본 개시의 일 실시 예에 따른, 전자 장치의 제어 방법을 나타내는 흐름도이다.
도 9를 참조하면, 우선 전자 장치(200)는 적어도 하나의 오브젝트를 서로 다른 시점으로 촬영한 제1 LF 영상을 획득할 수 있다(S910). 구체적으로 제1 LF 영상은 적어도 하나의 오브젝트를 서로 다른 시점(view point)으로 촬영한 LF 영상일 수 있다.
그리고, 팩토리제이션을 수행하기 위한 인공지능 모델에 제1 LF 영상을 입력하여 복수의 제1 레이어 스택 및 복수의 시프팅 파라미터를 획득할 수 있다(S920). 팩토리제이션을 수행하기 위한 모델은 복수의 LF영상을 복수의 레이어 스택으로 변환하기 위한 모델이며, 본 개시의 일 실시 예에 따르면, 팩토리제이션을 수행하기 위한 모델은 DNN(Deep Neural Network) 모델일 수 있다. 그리고, 복수의 제1 레이어 스택 각각은 복수의 제1 LF 영상에 포함된 적어도 하나의 오브젝트 중 하나의 오브젝트를 선명하게 표현하기 위한 레이어 스택일 수 있으며, 복수의 제1 레이어 스택 각각은 복수의 레이어 영상을 포함할 수 있다. 그리고, 본 개시의 일 실시 예에 따르면, 복수의 시프팅 파라미터의 개수는 복수의 제1 레이어 스택의 개수와 동일할 수 있다.
그리고, 전자 장치(200)는 복수의 제1 레이어 스택 및 복수의 시프팅 파라미터를 이용하여 제2 LF 영상을 복원할 수 있다(S930). 제2 LF 영상은 팩토리제이션을 수행하기 위한 모델을 학습하기 위한 LF 영상이다.
그리고, 전자 장치(200)는 제1 LF 영상 및 제2 LF 영상을 바탕으로, 인공지능 모델을 학습할 수 있다(S940). 구체적으로, 전자 장치(200)는 제2 LF 영상을 제1 LF 영상과 비교하여 제2 LF 영상에 대한 영상의 품질에 관한 정보를 획득하고, 획득된 영상의 품질에 관한 정보를 바탕으로 팩토리제이션을 수행하기 위한 모델을 학습할 수 있다. 본 개시의 일 실시 예에 따르면, 제2 LF 영상에 대한 영상의 품질에 관한 정보는 손실함수(loss function)를 통해 획득될 수 있다. 본 개시의 일 실시 예에 따르면, 전자 장치는 상술한 과정을 반복하여 수행함으로, 팩토리제이션을 수행하기 위한 모델을 계속하여 학습할 수 있다.
본 개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 문서의 실시 예의 다양한 변경(modifications), 균등물(equivalents), 및/또는 대체물(alternatives)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
본 문서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 문서에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상"등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다. 본 문서에서 사용된 "제1," "제2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제 3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 문서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 부프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
한편, 본 개시에서 사용된 용어 "부" 또는 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구성된 유닛을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. "부" 또는 "모듈"은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 모듈은 ASIC(application-specific integrated circuit)으로 구성될 수 있다.
본 개시의 다양한 실시 예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시 예들에 따른 전자 장치(예: 디스플레이 장치(100))를 포함할 수 있다. 상기 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 상기 프로세서의 제어하에 다른 구성요소들을 이용하여 상기 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
일 실시 예에 따르면, 본 문서에 개시된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시 예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시 예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
Claims (15)
- 전자 장치의 제어방법에 있어서,적어도 하나의 오브젝트를 서로 다른 시점(view point)으로 촬영한 제1 LF(Light Field) 영상을 획득하는 단계;팩토리제이션(factorization)을 수행하기 위한 인공지능 모델에 상기 제1 LF 영상을 입력하여, 복수의 제1 레이어 스택 및 복수의 시프팅 파라미터를 획득하는 단계;상기 복수의 제1 레이어 스택 및 복수의 시프팅 파라미터를 이용하여 제2 LF 영상을 복원하는 단계; 및상기 제1 LF 영상 및 제2 LF 영상을 바탕으로, 상기 인공지능 모델을 학습하는 단계;를 포함하는 제어 방법.
- 제1항에 있어서,상기 복원하는 단계는,복수의 레이어 스택으로부터 LF 영상을 복원하기 위한 시뮬레이터 모델에 상기 복수의 제1 레이어 스택 및 복수의 시프팅 파라미터를 입력하여, 상기 복수의 제1 레이어 스택에서 상기 시프팅 파라미터 각각이 적용된 복수의 제3 LF 영상을 획득하는 단계; 및상기 복수의 제3 LF 영상을 이용하여 상기 제2 LF 영상을 획득하는 단계;를 포함하는 제어 방법.
- 제2항에 있어서,상기 시뮬레이터 모델은 STN(Spatial transformer networks)모듈을 포함하며, 상기 시뮬레이터 모델은 상기 복수의 시프팅 파라미터가 변수로 사용되는 것을 특징으로 하는 제어 방법.
- 제2항에 있어서,상기 복수의 제1 레이어 스택 각각은 3개의 레이어 영상을 포함하며,상기 시뮬레이터 모델은 상기 복수의 제1 레이어 스택에 각각에 포함된 3개의 레이어 영상을 상기 복수의 제1 레이어 스택 각각에 대응되는 시프팅 파라미터에 따라 시점(view) 단위 별로 시프팅하여 상기 복수의 제3 LF 영상을 획득하는 것을 특징으로 하는 제어 방법.
- 제1항에 있어서,상기 학습하는 단계는,상기 제1 LF 영상과 상기 제2 LF 영상을 비교하여 손실함수를 획득하는 단계; 및상기 손실함수를 바탕으로, 상기 인공지능 모델의 가중치를 학습하는 단계;를 포함하는 제어 방법.
- 제5항에 있어서,상기 학습하는 단계는,상기 복수의 시프팅 파라미터를 기 설정 주기 동안 고정시킨 상태로, 상기 인공지능 모델의 가중치를 학습하는 단계인 것을 특징으로 하는 제어 방법.
- 제1항에 있어서,상기 인공지능 모델은 DNN(Deep Neural Network) 모델이며,상기 복수의 시프팅 파라미터를 획득하는 단계는,상기 제1 LF 영상을 상기 DNN 모델에 입력하여, 상기 복수의 제1 레이어 스택 및 상기 복수의 제1 레이어 스택 각각에 대응되는 복수의 시프팅 파라미터를 획득하는 단계인 것을 특징으로 하는 제어 방법.
- 제1항에 있어서,상기 학습된 인공지능 모델에 상기 제1 LF 영상을 입력하여, 복수의 제2 레이어 스택을 획득하는 단계; 및상기 복수의 제2 레이어 스택을 반복하여 고속 재생하는 단계;를 더 포함하는 제어 방법.
- 제1항에 있어서,상기 복수의 시프팅 파라미터를 획득하는 단계는,상기 제1 LF 영상을 제1 인공지능 모델에 입력하여, 상기 복수의 제1 레이어 스택을 획득하는 단계; 및상기 복수의 제1 레이어 스택을 제2 인공지능 모델에 입력하여, 상기 복수의 시프팅 파라미터를 획득하는 단계;를 포함하는 것을 특징으로 하는 제어 방법.
- 전자 장치에 있어서,적어도 하나의 인스트럭션을 저장하는 메모리, 및프로세서를 포함하고,상기 프로세서는 상기 인스트럭션을 실행함으로써,적어도 하나의 오브젝트를 서로 다른 시점(view point)으로 촬영한 제1 LF(Light Field) 영상을 획득하고,팩토리제이션(factorization)을 수행하기 위한 인공지능 모델에 상기 제1 LF 영상을 입력하여, 복수의 제1 레이어 스택 및 복수의 시프팅 파라미터를 획득하고,상기 복수의 제1 레이어 스택 및 복수의 시프팅 파라미터를 이용하여 제2 LF 영상을 복원하고,상기 제1 LF 영상 및 제2 LF 영상을 바탕으로, 상기 인공지능 모델을 학습하는 전자 장치.
- 제10항에 있어서,상기 프로세서는,복수의 레이어 스택으로부터 LF 영상을 복원하기 위한 시뮬레이터 모델에 상기 복수의 제1 레이어 스택 및 복수의 시프팅 파라미터를 입력하여, 상기 복수의 제1 레이어 스택에서 상기 시프팅 파라미터 각각이 적용된 복수의 제3 LF 영상을 획득하고,상기 복수의 제3 LF 영상을 이용하여 상기 제2 LF 영상을 획득하는 전자 장치.
- 제11항에 있어서,상기 시뮬레이터 모델은 STN(Spatial transformer networks)모듈을 포함하며, 상기 시뮬레이터 모델은 상기 복수의 시프팅 파라미터가 변수로 사용되는 것을 특징으로 하는 전자 장치.
- 제11항에 있어서,상기 복수의 제1 레이어 스택 각각은 3개의 레이어 영상을 포함하며,상기 시뮬레이터 모델은 상기 복수의 제1 레이어 스택에 각각에 포함된 3개의 레이어 영상을 상기 복수의 제1 레이어 스택 각각에 대응되는 시프팅 파라미터에 따라 시점(view) 단위 별로 시프팅하여 상기 복수의 제3 LF 영상을 획득하는 것을 특징으로 하는 전자 장치.
- 제10항에 있어서,상기 프로세서는,상기 제1 LF 영상과 상기 제2 LF 영상을 비교하여 손실함수를 획득하고,상기 손실함수를 바탕으로, 상기 인공지능 모델의 가중치를 학습하여 상기 인공지능 모델을 학습하는 전자 장치.
- 제14항에 있어서,상기 프로세서는,상기 복수의 시프팅 파라미터를 기 설정 주기 동안 고정시킨 상태로, 상기 인공지능 모델의 가중치를 학습하는 것을 특징으로 하는 전자 장치.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2020-0104844 | 2020-08-20 | ||
KR1020200104844A KR20220023229A (ko) | 2020-08-20 | 2020-08-20 | 전자 장치 및 이의 제어 방법 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2022039542A1 true WO2022039542A1 (ko) | 2022-02-24 |
Family
ID=80323093
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/KR2021/011085 WO2022039542A1 (ko) | 2020-08-20 | 2021-08-20 | 전자 장치 및 이의 제어 방법 |
Country Status (2)
Country | Link |
---|---|
KR (1) | KR20220023229A (ko) |
WO (1) | WO2022039542A1 (ko) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019160303A (ja) * | 2018-03-09 | 2019-09-19 | 株式会社リコー | ライトフィールドカメラによりキャプチャされる対象物の分類のための深層学習アーキテクチャ |
KR20200021891A (ko) * | 2018-08-21 | 2020-03-02 | 삼성전자주식회사 | 라이트 필드의 중간 뷰 합성 방법, 라이트 필드의 중간 뷰 합성 시스템과 라이트 필드 압축 방법 |
CN110866426A (zh) * | 2018-08-28 | 2020-03-06 | 天津理工大学 | 基于光场相机和深度学习的行人识别方法 |
-
2020
- 2020-08-20 KR KR1020200104844A patent/KR20220023229A/ko active Search and Examination
-
2021
- 2021-08-20 WO PCT/KR2021/011085 patent/WO2022039542A1/ko active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019160303A (ja) * | 2018-03-09 | 2019-09-19 | 株式会社リコー | ライトフィールドカメラによりキャプチャされる対象物の分類のための深層学習アーキテクチャ |
KR20200021891A (ko) * | 2018-08-21 | 2020-03-02 | 삼성전자주식회사 | 라이트 필드의 중간 뷰 합성 방법, 라이트 필드의 중간 뷰 합성 시스템과 라이트 필드 압축 방법 |
CN110866426A (zh) * | 2018-08-28 | 2020-03-06 | 天津理工大学 | 基于光场相机和深度学习的行人识别方法 |
Non-Patent Citations (2)
Title |
---|
ANIL BAS; PATRIK HUBER; WILLIAM A. P. SMITH; MUHAMMAD AWAIS; JOSEF KITTLER: "3D Morphable Models as Spatial Transformer Networks", ARXIV.ORG, 24 August 2017 (2017-08-24), 201 Olin Library Cornell University Ithaca, NY 14853 , XP080954286, DOI: 10.1109/ICCVW.2017.110 * |
HUANG ZHENGYU; FESSLER JEFFREY A.; NORRIS THEODORE B.; CHUN IL YONG: "Light-Field Reconstruction and Depth Estimation from Focal Stack Images Using Convolutional Neural Networks", ICASSP 2020 - 2020 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH AND SIGNAL PROCESSING (ICASSP), 4 May 2020 (2020-05-04), pages 8648 - 8652, XP033793248, DOI: 10.1109/ICASSP40776.2020.9053586 * |
Also Published As
Publication number | Publication date |
---|---|
KR20220023229A (ko) | 2022-03-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US4276570A (en) | Method and apparatus for producing an image of a person's face at a different age | |
CN107818554B (zh) | 信息处理设备和信息处理方法 | |
US10542249B2 (en) | Stereoscopic video generation method based on 3D convolution neural network | |
WO2021206284A1 (ko) | 사이클 gan과 세그맨테이션을 사용한 깊이 추정 방법 및 시스템 | |
WO2009151292A2 (ko) | 영상 변환 방법 및 장치 | |
WO2019172546A1 (en) | Electronic apparatus and control method thereof | |
US9424231B2 (en) | Image reconstruction method and system | |
WO2020222382A1 (en) | Electronic apparatus and image processing method thereof | |
WO2013105720A1 (ko) | 3차원 입체영상의 품질 분석 장치 및 방법 | |
CN105761251A (zh) | 一种基于低秩和结构稀疏的视频前景背景分离方法 | |
WO2020017871A1 (ko) | 영상 처리 장치 및 그 동작방법 | |
CN112734890A (zh) | 基于三维重建的人脸替换方法及装置 | |
CN114170286B (zh) | 一种基于无监督深度学习的单目深度估计方法 | |
WO2022045495A1 (en) | Methods for depth map reconstruction and electronic computing device for implementing the same | |
CN115830094A (zh) | 一种基于无监督的立体匹配方法 | |
Meng et al. | Perception inspired deep neural networks for spectral snapshot compressive imaging | |
WO2022039542A1 (ko) | 전자 장치 및 이의 제어 방법 | |
WO2023075508A1 (ko) | 전자 장치 및 그 제어 방법 | |
WO2023177108A1 (en) | Method and system for learning to share weights across transformer backbones in vision and language tasks | |
WO2021133139A1 (en) | Electronic apparatus and control method thereof | |
JP3091644B2 (ja) | 2次元画像の3次元化方法 | |
Gao et al. | Self-attention underwater image enhancement by data augmentation | |
CN113096176B (zh) | 一种语义分割辅助的双目视觉无监督深度估计方法 | |
WO2022019389A1 (ko) | 데이터 증강 기반 공간 분석 모델 학습 장치 및 방법 | |
WO2020071845A1 (ko) | 3차원 영상을 부호화하는 방법 및 장치, 3차원 영상을 복호화하는 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21858629 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 21858629 Country of ref document: EP Kind code of ref document: A1 |