WO2022270683A1 - 깊이 맵 이미지 생성 방법 및 그를 위한 컴퓨팅 장치 - Google Patents

깊이 맵 이미지 생성 방법 및 그를 위한 컴퓨팅 장치 Download PDF

Info

Publication number
WO2022270683A1
WO2022270683A1 PCT/KR2021/012652 KR2021012652W WO2022270683A1 WO 2022270683 A1 WO2022270683 A1 WO 2022270683A1 KR 2021012652 W KR2021012652 W KR 2021012652W WO 2022270683 A1 WO2022270683 A1 WO 2022270683A1
Authority
WO
WIPO (PCT)
Prior art keywords
depth map
image
training
map image
neural network
Prior art date
Application number
PCT/KR2021/012652
Other languages
English (en)
French (fr)
Inventor
김켄
정지욱
루스탐 욱리 후다이베르가노브파르호드
이미하일
Original Assignee
주식회사 쓰리아이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020210081814A external-priority patent/KR102536096B1/ko
Priority claimed from KR1020210081608A external-priority patent/KR102551467B1/ko
Application filed by 주식회사 쓰리아이 filed Critical 주식회사 쓰리아이
Priority to EP21939986.2A priority Critical patent/EP4174773A1/en
Priority to JP2022545059A priority patent/JP7414332B2/ja
Priority to US17/878,206 priority patent/US20220414909A1/en
Publication of WO2022270683A1 publication Critical patent/WO2022270683A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics

Definitions

  • FIG. 7 is a diagram for explaining an example of a neural network architecture according to an embodiment disclosed in the present application.
  • FIG. 9 is a diagram explaining a training method using a neural network according to an embodiment disclosed in the present application.
  • FIG. 10 is a diagram illustrating a difference between an equirectangular projection image according to an embodiment disclosed in the present application and a spherical virtual image generated using the same.
  • FIG. 14 is a diagram illustrating an architecture for generating a spherical virtual image according to an embodiment disclosed in the present application.
  • 16 is a diagram for explaining spherical transformation according to an embodiment disclosed in the present application.
  • a or B at least one of A and B, “at least one of A or B”, “A, B or C”, “at least one of A, B and C” and “A,
  • Each of the phrases such as “at least one of B or C” may include any one of the items listed together in the corresponding one of the phrases, or all possible combinations thereof.
  • Terms such as “first”, “second”, or “first” or “second” may simply be used to distinguish that component from other corresponding components, and may refer to that component in other aspects (e.g., importance or order).
  • a (e.g., first) component is “coupled” to another (e.g., second) component, with or without the terms “functionally” or “communicatively”.
  • connected When referred to as “connected” or “connected”, it means that the certain component can be connected to the other component directly or through a third component.
  • module used in this application means a unit that processes at least one function or operation, which may be implemented as software or a combination of hardware and software.
  • Various embodiments of the present application are software (eg, user terminal 100 or computing device 300) including one or more instructions stored in a storage medium readable by a machine (eg, the user terminal 100 or the computing device 300).
  • a machine eg, the user terminal 100 or the computing device 300
  • the processor 301 may call at least one command among one or more commands stored from a storage medium and execute it. This enables the device to be operated to perform at least one function according to the at least one command invoked.
  • the one or more instructions may include code generated by a compiler or code executable by an interpreter.
  • the device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-temporary' only means that the storage medium is a tangible device and does not contain a signal (eg, electromagnetic wave), and this term means that data is stored semi-permanently in the storage medium. It does not distinguish between the case and the case of temporary storage.
  • a signal eg, electromagnetic wave
  • each component eg, module or program of the components described above may include singular or plural entities.
  • one or more components or operations among the aforementioned components may be omitted, or one or more other components or operations may be added.
  • a plurality of components eg modules or programs
  • the integrated component may perform one or more functions of each of the plurality of components identically or similarly to those performed by a corresponding component of the plurality of components prior to the integration. .
  • FIG. 1 is an exemplary diagram for explaining a system for providing a spherical virtual image based on a depth map image according to an embodiment disclosed in the present application.
  • the image acquisition device 200 is a device for generating a color image and/or a depth map image, which is used to create a spherical virtual image.
  • RGB image is only a representative name encompassing all color images expressed in color, and is not limited to a specific expression method. Therefore, not only color images expressed in RGB (Red Green Bule), but also color images expressed in CMYK (Cyan Magenta Yellow Key) correspond to the RGB images of the present application specification.
  • the imaging device 220 may be, for example, a mobile phone, a smart phone, a laptop computer, a personal digital assistant (PDA), a tablet PC, an ultrabook, or a wearable device.
  • PDA personal digital assistant
  • tablet PC a tablet PC
  • ultrabook or a wearable device.
  • wearable device for example, a glass type terminal (smart glass) and the like.
  • a depth map image encompasses an image including depth information about a Pisa region. That is, the depth map image refers to an image represented by distance information from a capturing point to each point with respect to each point of the photographed subject area. For example, each pixel of the depth map image may be distance information measured from an imaging point. In such a depth map image, distance information can be expressed in color, and figure (c) of FIG. 13 shows an example of such a depth map image.
  • An image generated by the imaging device 220 is referred to as a basic RGB image
  • an image generated by the distance measuring device 210 is referred to as a basic depth map image. Since the basic RGB image generated by the imaging device 220 and the basic depth map image generated by the distance measuring device 210 are generated for the same subject area under the same conditions (eg, resolution, etc.), each other is 1: matches with 1
  • the computing device 300 may generate a spherical virtual image based on the progressed learning.
  • the computing device 300 provides the generated spherical virtual image to the user terminal 100 .
  • the provision of the spherical virtual image may be made in various forms, and as an example, a spherical virtual image is provided to be driven in the user terminal 100, or as another example, the user for the spherical virtual image implemented in the computing device 300 It includes providing an interface for
  • the provision of a spherical virtual image from the computing device 300 to the user terminal 100 may also be provided through a network.
  • the computing device 300 may generate a plurality of training RGB images and training depth map images by converting the basic RGB image and the basic depth map image. This is by using a characteristic environment using a spherical virtual image, and after sphericalizing the basic RGB image and the basic depth map image, a plurality of training RGB images and training depth map images can be generated through slight adjustment.
  • FIG. 2 is a block diagram illustrating a computing device according to an exemplary embodiment disclosed in the present application.
  • the processor 301 may generate a spherical virtual image based on the basic RGB image transmitted from the imaging device 220 and the basic depth map image input from the distance measuring device 210 .
  • the training data generation module 310 may generate a plurality of training data, that is, a training RGB image and a training depth map image by performing spherical transformation on the basic RGB image and the basic depth map image and adjusting them.
  • the learning data generating module 310 may transform the basic RGB image transmitted from the imaging device 220 and the basic depth map image transmitted from the distance measuring device 210 into a sphere.
  • Various training data can be acquired while changing the rotation angle of the converted image based on several axes of the spherical image.
  • the training RGB image refers to an RGB image provided to the neural network module 320 for learning
  • the training depth map image refers to a depth map image provided to the neural network module 320 for learning.
  • the training RGB image is an image generated from the basic RGB image
  • the training depth map image is an image generated from the basic depth map image.
  • the neural network module 320 learns based on a learning RGB image for learning and a learning depth map image corresponding thereto.
  • the training depth map image is associated 1:1 with the training RGB image.
  • the learning depth map image is created by actually measuring the distance using a lidar sensor for the Pisa area where the learning RGB image was created - including a distance estimation method using a stereo camera - so it is a ground truth depth map. .
  • the neural network module 320 may generate an estimated depth map image for the input RGB image based on the learned content.
  • the training module 330 may train the neural network module 320 based on the accuracy of the estimated depth map generated by the neural network module 320 .
  • the training module 330 compares the estimated depth map generated by the neural network module 320 for the training RGB image with the training depth map, which is a measured depth map, and compares the estimated depth map with the training depth map.
  • the neural network module 320 may be continuously trained to reduce the difference.
  • the neural network module 320 receives the query RGB image and generates an estimated depth map.
  • the virtual image providing module 340 may generate a spherical virtual image based on the query RGB image and the estimated depth map.
  • the spherical virtual image may be an image provided to the user terminal 100 from the computing device 300, for example, a virtual space that can be implemented in the user terminal 100.
  • the memory 302 may store programs for processing and control of the processor 301 and may store data input to or output from the computing device 300 .
  • the memory 302 may be a flash memory type, a hard disk type, a multimedia card micro type, or a card type memory (eg, SD or XD memory, etc.) ), RAM (RAM, Random Access Memory) SRAM (Static Random Access Memory), ROM (ROM, Read-Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory), magnetic memory , a magnetic disk, and an optical disk may include at least one type of storage medium.
  • the communication unit 303 enables communication between the computing device 300 and another electronic device, for example, the user terminal 100 or the image acquisition device 200, or between the computing device 300 and a network where the other electronic device is located. It may contain one or more modules that
  • FIG. 3 is a diagram illustrating an architecture for generating learning data according to an embodiment disclosed in the present application.
  • the basic RGB image shown in FIG. 3 is transmitted from the imaging device 220 and the basic depth map image is transmitted from the distance measuring device 210 .
  • the basic RGB image and the basic depth map image may be equirectangular projection images used for omnidirectional virtual reality.
  • Various types of RGB images and depth map images described below may be equirectangular projection images used to generate an omnidirectional virtual space.
  • FIG. 4 is a diagram illustrating an equirectangular projection image and a spherical virtual image generated using the equirectangular projection image according to an embodiment disclosed in the present application.
  • the equirectangular projection image can be converted into a spherical omnidirectional virtual image (hereinafter referred to as a 'spherical virtual image') providing a spherical viewpoint by the computing device 300 Do.
  • a 'spherical virtual image' a spherical omnidirectional virtual image
  • a panoramic image (eg, a 2:1 panoramic image, etc.) will be described as an example of an equirectangular projection image.
  • a panoramic image has the advantage of being able to derive an omnidirectional image of a space by taking a single shot, and being able to convert it easily in a spherical transformation.
  • the image delivered from the image acquisition device 200 is composed of a panoramic image as an example for implementing the present application
  • the image delivered from the image acquisition device 200 is a general image taken according to the user's use and convenience. image(s).
  • the computing device 300 may convert these general images into equirectangular projection images.
  • the learning data generation module 310 may receive a basic RGB image and a basic depth map image, and generate a basic spherical virtual image by performing spherical transformation on them.
  • the basic depth map image may be a panoramic depth map image including distance information about the Pisa region.
  • the basic depth map image is matched 1:1 with the basic RGB image having the same subject area.
  • the training data generation module 310 may transform the basic spherical virtual image in various ways to generate a plurality of training data, that is, a training RGB image and a training depth map image.
  • the training data generation module 310 may provide the generated training RGB image to the neural network module 320 and the training depth map image to the training module 330 .
  • the training data generation module 310 generates a basic spherical virtual image using the basic RGB image and the basic depth map image, changes the setting information of the basic spherical virtual image to generate a plurality of training spherical images, and then generates a plurality of training spherical images. Based on this, various training data sets can be created.
  • FIG. 5 is a diagram for explaining a method for generating learning data according to an embodiment disclosed in the present application
  • FIG. 6 is a reference diagram for explaining the method for generating learning data in FIG. 5 .
  • the training data generation module 310 may generate a basic spherical virtual image using the basic RGB image and the basic depth map image (S501).
  • the learning data generation module 310 may generate a basic spherical virtual image by performing spherical conversion on the basis of the basic RGB image and the basic depth map image.
  • the basic spherical virtual image may be one basic spherical virtual image obtained from one basic RGB image and one basic depth map image.
  • the training data generation module 310 generates a basic spherical virtual image using the basic RGB image, and converts depth information corresponding to each pixel of the basic spherical virtual image into a basic depth map image. Based on , it is possible to generate a basic spherical virtual image.
  • the learning data generating module 310 may generate a basic spherical virtual image in which the distance of each pixel is expressed as an equal distance by performing spherical conversion on the basic RGB image.
  • the learning data generation module 310 may store distance information corresponding to each pixel of the basic RGB image in association with the basic spherical virtual image by using the basic depth map image.
  • distance information corresponding to each pixel of the RGB image may be stored as a table including identification information and distance information for each pixel.
  • the learning data generation module 310 may change the storage of distance information in response to such a change. For example, when a basic spherical virtual image is rotated in a specific direction and at a specific angle with respect to a specific rotation axis, distance information may be obtained from a table by reflecting a position change of a pixel changed by such rotation.
  • the training data generating module 310 may generate spherical virtual images for each of the basic RGB image and the basic depth map image.
  • the learning data generation module 310 performs spherical transformation on the basic RGB image to generate a first basic spherical virtual image in which the distance of each pixel is expressed as an equal distance, and spherical transformation on the basic depth map image so that each pixel is a distance
  • a second basic spherical virtual image represented by information may be generated.
  • the learning data generation module 310 changes the setting information identically for a pair of the first basic spherical virtual image and the second basic spherical virtual image, and - the pair of first and second basic spherical virtual images in which the setting information is converted.
  • the second basic spherical virtual image corresponds to the training spherical virtual image, and a pair of training RGB images and a training depth map image may be generated by performing a planar transformation on the training spherical virtual image.
  • the training data generation module 310 may generate a 3D stereoscopic basic depth map image by reflecting both color information and distance information to one pixel. That is, in the above-described embodiments, as in the example shown in FIG. 6, since the distance of each pixel is set to be constant, the shape of the basic spherical virtual image is displayed as a round rectangle. Therefore, it is displayed as a three-dimensional shape in a three-dimensional space, not a round sphere.
  • the learning data generation module 310 obtains color information for each pixel from the basic RGB image and obtains distance information for each pixel from the basic depth map image, and obtains color information and distance for each pixel. information can be set.
  • the learning data generation module 310 may generate a basic spherical virtual image by expressing color information and distance information for each set pixel in 3D coordinates. This basic spherical virtual image is expressed as a three-dimensional shape displayed on a three-dimensional space rather than a circular shape.
  • the training data generation module 310 may generate a plurality of training spherical images by changing the setting information of the basic spherical virtual image (S502).
  • the setting information may include a rotation axis, a rotation direction, or a rotation angle of the spherical image.
  • the training data generating module 310 may generate a plurality of training sphere images from the basic sphere virtual image by changing at least one of the rotation axis, rotation direction, and rotation angle of the basic sphere virtual image.
  • Step (b) of FIG. 6 shows an example of generating a plurality of training spherical images by changing the setting information of the basic spherical virtual image.
  • the learning data generation module 310 plane-converts the plurality of training spherical images again to obtain a plurality of training data sets -a training data set means a training RGB image and a pair of training depth map images 1:1 matched thereto- can be generated (S503).
  • the planar transformation is the inverse transformation of the spherical transformation, and a set of training RGB images and training depth map images may be generated by performing a planar transformation of one training spherical image.
  • generating a plurality of training spherical images by changing basic spherical virtual image setting information provides an effect of generating a large amount of training data from one basic spherical image. That is, although the accurate calculation capability of the neural network module 320 is based on a lot of training data, it is difficult to actually secure a lot of training data.
  • a plurality of training spherical images can be generated by applying various transformations based on the basic spherical virtual image, and a large amount of training data set can be easily secured by inverse transformation. there is.
  • the plurality of training RGB images and training depth map images generated in this way may be provided to the neural network module 320 and used as training information.
  • FIG. 7 is a diagram for explaining an example of a neural network architecture according to an embodiment disclosed in this application
  • FIG. 8 is a diagram for explaining another example of a neural network architecture according to an embodiment disclosed in this application. .
  • the neural network module 320 shown in FIGS. 7 and 8 is implemented using the computing device 300 described in FIG. 2 . That is, it may be implemented by executing at least one instruction performed by the memory 302 and the processor 301 of the computing device 300 .
  • the neural network module 320 may be used in any other suitable device(s) and any other suitable system(s).
  • the neural network module 320 is described as being used to perform image processing related tasks. However, the neural network module 320 may be used to perform any other suitable task in conjunction, including non-image processing tasks.
  • the neural network module 320 learns based on a learning RGB image for learning and a depth map image for the learning RGB image.
  • the neural network module 320 is a deep learning-based image conversion learning model, and may generate an estimated depth map image based on conversion of an input training RGB image through a learning neural network.
  • the neural network module 320 may be expressed as a mathematical model using nodes and edges.
  • the neural network module 320 may be an architecture of a deep neural network (DNN) or n-layers neural networks.
  • DNN or n-layer neural networks include Convolutional Neural Networks (CNN), Convolutional Neural Networks (CNN) based on HRNet (Deep High-Resolution Network), and Recurrent Neural Networks (RNN). ), Deep Belief Networks, and Restricted Boltzman Machines.
  • the neural network module 320 may receive a training RGB image and generate an estimated depth map image for the received RGB image.
  • the neural network module 320 may generate an estimated depth map image based on a random value in each node of the neural network.
  • the neural network module 320 may improve the accuracy of the estimated depth map by repeatedly performing feedback training on the generated estimated depth map image.
  • the neural network module 320 receives a training RGB image and a training depth map set matching the training RGB image, and learns a correlation between the RGB image and the depth map image based on learning therefrom. and, based on such correlation, an estimated depth map image for the input learning RGB can be generated. Even in this example, the accuracy of the estimated depth map may be improved by repeatedly performing feedback training on the estimated depth map image.
  • FIG. 9 is a diagram for explaining a training method using a neural network according to an embodiment disclosed in the present application, which will be further described with reference to FIG. 9 .
  • the training RGB image, the estimated depth map image, and the training depth map image may all be equirectangular projection images. That is, since this equirectangular projection image is used in a spherical transformed state, in order to more accurately determine the difference between the estimated depth map image and the learning depth map image in the use state, the training module 330 uses the estimated depth map and the learning depth. After transforming the maps into spherical shapes, they are compared to perform training. This will be further described with reference to FIG. 10 .
  • FIG. 10 is a diagram illustrating a difference between an equirectangular projection image according to an embodiment disclosed in the present application and a spherical virtual image generated using the same.
  • Area A (1010) and area B (1020) have the same area and shape in a spherical virtual image, but when converted to an equirectangular projection image, area A' (1011) and area B' (1021) are different from each other. and have a shape. This is due to conversion between a spherical virtual image and a planar equirectangular projection image (panoramic image).
  • the training module 330 may perform training after performing spherical transformation on the estimated depth map and the learning depth map, respectively, thereby increasing the accuracy of training and, accordingly, the accuracy of the estimated depth map image.
  • FIG. 11 is a diagram for explaining a training method using a training module according to an embodiment disclosed in the present application, which will be described with reference to FIGS. 8 and 11 below.
  • the training module 330 may include a spherical transformation module 331 , a loss calculation module 332 and an optimization module 333 .
  • the spherical transformation module 331 performs spherical transformation so that the equirectangular projection image corresponds to the spherical transformation.
  • the spherical transform module 331 may receive an estimated depth map image and a learning depth map image, and perform spherical transform on each of them (S1101).
  • the learning depth map image subjected to spherical transformation by the spherical transformation module 331 is displayed as 'learning depth map*', and the estimated depth map image subjected to spherical transformation is indicated as 'estimated depth map*'.
  • the rectangle transformation module 331 may perform rectangle transformation using Equation 1 below.
  • Equation 1 A detailed description of Equation 1 can be easily understood with reference to the description shown in FIG. 16 .
  • the loss calculation module 332 may calculate a loss between the spherical transformed estimated depth map (estimated depth map*) and the spherically transformed learning depth map (learning depth map*) (S1102).
  • the loss calculation module 332 may quantify (loss value) the difference between the spherically transformed estimated depth map and the spherically transformed learning depth map.
  • the loss value determined by the loss calculation module 332 may be determined in the range of 0 to 1.
  • the optimizing module 333 may receive the calculated loss from the loss calculating module 332 and perform optimization by changing parameters of the neural network in response to the loss (S1103).
  • the optimization module 333 may perform optimization by adjusting the weight parameter W of the neural network. As another example, the optimization module 333 may perform optimization by adjusting at least one of the weight parameter W and the bias b of the neural network.
  • Optimizing methods of various types can be applied to the optimization module 333 .
  • the optimization module 333 may perform batch gradient descent, stochastic gradient descent, mini-batch gradient descent, momentum, Optimization can be performed using Adagrad, RMSprop, etc.
  • FIG. 12 is a diagram explaining a loss calculation method according to an embodiment disclosed in the present application.
  • the loss calculation module 332 may determine a loss by applying a plurality of loss calculation methods and calculating a representative value from the resultant values.
  • the loss calculation module 332 may calculate a first loss function result between the spherical transformed estimated depth map and the spherically transformed learning depth map using a first loss calculation method ( S1201 ).
  • Equation 2 is an equation explaining an example of the first loss calculation equation.
  • T is the number of samples
  • y is the training depth map
  • y* is the estimated depth map
  • the loss calculation module 332 may calculate a second loss function result between the sphere-transformed estimated depth map and the sphere-transformed learning depth map in a second loss calculation method ( S1202 ).
  • T is the number of samples and d is the difference between the training depth map and the estimated depth map in log space.
  • the loss calculation module 332 may calculate a third loss function result between the sphere-transformed estimation depth map and the sphere-transformed learning depth map using the third loss calculation method (S1203).
  • Equation 4 is an equation explaining an example of the third loss calculation equation.
  • ytrue means the training depth map and ypredicted means the estimated depth map.
  • the loss calculation module 332 may calculate a representative value for the result of the first loss function to the result of the third loss function and determine it as a loss (S1204).
  • the average value, the median value, the mode value, etc. can be applied as the representative value.
  • FIG. 13 is a diagram illustrating a training RGB image, a training depth map image, an estimated depth map image, and a difference image between the estimated depth map image and the training depth map image according to an example.
  • Figure (a) shows an example of a training RGB image input to the neural network module 320.
  • Figure (b) shows an example of an estimated depth map image generated by the neural network module 320 receiving the training RGB image.
  • Figure (c) shows an example of a training depth map image providing measured depth values corresponding to the training RGB image.
  • Figure (d) illustrates a difference image between the estimated depth map image and the training depth map image.
  • the training module 330 performs spherical transformation on the estimated depth map image and the training depth map image. If the difference is calculated after doing so, it may be displayed differently from Figure (d).
  • FIG. 14 is a diagram for explaining a spherical virtual image generation architecture according to an embodiment disclosed in the present application
  • FIG. 15 is a diagram for explaining a method for providing a spherical virtual image to a user according to an embodiment disclosed in the present application. .
  • FIGS. 14 and 15 A method of providing a spherical virtual image to a user according to an exemplary embodiment disclosed in the present application will be described with reference to FIGS. 14 and 15 .
  • the neural network module 320 When the neural network module 320 receives the query RGB image, it generates an estimated depth map corresponding to the query RGB image using the neural network trained as described above (S1501).
  • the query RGB image is an RGB image used to generate a spherical virtual image and does not have a ground truth map matched thereto. Accordingly, an estimated depth map is generated using the neural network module 320 and used to generate a spherical virtual image.
  • the neural network module 320 provides the generated estimated depth map to the virtual image providing module 340 .
  • the virtual image providing module 340 may generate a spherical virtual image based on the query RGB image and the estimated depth map image provided by the neural network module 320 (S1502).
  • the virtual image providing module 340 may check the estimated depth map generated by the neural network module 320 and generate a spherical virtual image using the query RGB image and the estimated depth map.
  • the spherical virtual image collectively refers to an image for providing a virtual space that a user can experience.
  • the virtual image providing module 340 may provide a spherical virtual image to the user.
  • the virtual image providing module 340 may provide the user terminal 100 with a user interface including an access function to a spherical virtual image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

본 출원의 일 기술적 측면에 따른 컴퓨팅 장치는, 하나 이상의 인스트럭션을 저장하는 메모리; 및 상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고, 상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써, 상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써, 뉴럴 네트워크를 이용하여 학습 RGB 이미지에 대한 제1 추정 깊이 맵 이미지를 생성하고, 깊이 정보를 가지는 학습 깊이 맵 이미지와 상기 제1 추정 깊이 맵 이미지 간의 차이를 기초로 상기 뉴럴 네트워크를 트레이닝 할 수 있다. 여기에서, 상기 학습 RGB 이미지와 상기 학습 깊이 맵 이미지는, 서로 1:1로 매치되고, 기초 구형 이미지에 대해 동일한 설정 변경을 기초로 생성될 수 있다.

Description

깊이 맵 이미지 생성 방법 및 그를 위한 컴퓨팅 장치
본 발명은 깊이 맵 이미지 생성 방법, 그를 위한 학습 데이터 생성 방법 및 그를 위한 컴퓨팅 장치에 관한 것이다.
근래에 들어서는 실제 공간에 대응되는 온라인 상의 가상 공간을 제공받음으로써, 사용자가 직접 실제 공간에 방문하지 않고서도 실제 공간에 있는 듯한 체험이 가능한 가상공간 구현기술이 개발되고 있다.
이러한 가상공간을 구현하기 위해서는, 구현하고자 하는 실제 공간을 대상으로 촬영된 평면 이미지를 획득하고, 이를 기초로 입체적인 가상 이미지를 생성하여 가상 공간을 제공하는 과정이 필요하다.
이러한 종래 기술의 경우, 평면 이미지를 기초로 가상 이미지를 제공하나, 종래의 가상 공간에서는 거리 정보를 알 수 없어 실체감 및 입체적 정보가 결여되어 있는 한계가 있다.
본 출원의 일 기술적 측면은 상기한 종래 기술의 문제점을 해결하기 위한 것으로, 본 출원에 개시되는 일 실시예에 따르면, 가상 공간에 대하여 거리 정보를 제공하는 것을 목적으로 한다.
본 출원에 개시되는 일 실시예에 따르면, 하나의 RGB 이미지와 그에 대한 거리 맵 이미지를 이용하여 다양한 학습 데이터 셋을 생성하는 것을 목적으로 한다.
본 출원에 개시되는 일 실시예에 따르면, 뉴럴 네트워크 모델을 이용하여 학습을 기반으로 RGB 이미지로부터 깊이 맵 이미지를 생성하는 것을 목적으로 한다.
본 출원의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 출원의 일 기술적 측면은 컴퓨팅 장치를 제안한다. 상기 컴퓨팅 장치는, 하나 이상의 인스트럭션을 저장하는 메모리; 및 상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고, 상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써, 상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써, 뉴럴 네트워크를 이용하여 학습 RGB 이미지에 대한 제1 추정 깊이 맵 이미지를 생성하고, 깊이 정보를 가지는 학습 깊이 맵 이미지와 상기 제1 추정 깊이 맵 이미지 간의 차이를 기초로 상기 뉴럴 네트워크를 트레이닝 할 수 있다. 여기에서, 상기 학습 RGB 이미지와 상기 학습 깊이 맵 이미지는, 서로 1:1로 매치되고, 기초 구형 이미지에 대해 동일한 설정 변경을 기초로 생성될 수 있다.
본 출원의 다른 일 기술적 측면은 컴퓨팅 장치를 제안한다. 상기 컴퓨팅 장치는 RGB 이미지와 깊이 맵 이미지를 이용하여 구형 가상 이미지를 생성하는 컴퓨팅 장치로서, 하나 이상의 인스트럭션을 저장하는 메모리, 및 상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고, 상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써, 뉴럴 네트워크를 이용하여 질의 RGB 이미지에 대한 추정 깊이 맵 이미지를 생성하고, 상기 질의 RGB 이미지와 상기 추정 깊이 맵 이미지를 이용하여 상기 구형 가상 이미지 - 상기 구형 가상 이미지는 가상 이미지에 포함된 적어도 하나의 지점에 대한 거리 정보를 포함하고, 상기 거리 정보는 상기 추정 깊이 맵을 기초로 결정됨- 를 생성할 수 있다.
본 출원의 다른 일 기술적 측면은 깊이 맵 이미지 생성 방법을 제안한다. 상기 깊이 맵 이미지 생성 방법은, 컴퓨팅 장치에서 수행되는 깊이 맵 이미지 생성 방법으로서, 뉴럴 네트워크를 이용하여 학습 RGB 이미지에 대한 추정 깊이 맵을 생성하는 동작 및 구형 변환을 기반으로 생성된, 학습 깊이 맵 -상기 학습 깊이 맵은 상기 학습 RGB 이미지에 매치되고 깊이 정보를 가짐- 및 상기 추정 깊이 맵 간의 차이를 기초로 상기 뉴럴 네트워크를 트레이닝 하는 동작을 포함할 수 있다.
본 출원의 다른 일 기술적 측면은 저장 매체를 제안한다. 상기 저장 매체는, 컴퓨터 판독 가능한 인스트럭션들(instructions)을 저장하고 있는 저장 매체이다. 상기 인스트럭션들은, 컴퓨팅 장치에 의해 실행될 때, 상기 컴퓨팅 장치로 하여금, 뉴럴 네트워크를 이용하여 학습 RGB 이미지에 대한 추정 깊이 맵을 생성하는 동작 및 구형 변환을 기반으로 생성된, 학습 깊이 맵 -상기 학습 깊이 맵은 상기 학습 RGB 이미지에 매치되고 깊이 정보를 가짐- 및 상기 추정 깊이 맵 간의 차이를 기초로 상기 뉴럴 네트워크를 트레이닝 하는 동작을 수행하도록 할 수 있다.
본 출원의 일 기술적 측면은 컴퓨팅 장치를 제안한다. 상기 컴퓨팅 장치는, 하나 이상의 인스트럭션을 저장하는 메모리 및 상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고, 상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써, 기초 RGB 이미지 및 그에 대응되는 기초 깊이 맵 이미지를 제공받고, 상기 기초 RGB 이미지 및 상기 기초 깊이 맵 이미지를 기초로 구형 변환하여 생성된 기초 구형 가상 이미지의 설정 정보를 변경하여 복수의 학습 RGB 이미지 및 복수의 학습 깊이 맵 이미지를 생성할 수 있다. 상기 복수의 학습 RGB 이미지와 복수의 학습 깊이 맵 이미지는 각각 1:1로 매칭될 수 있다.
본 출원의 다른 일 기술적 측면은 깊이 맵 이미지 생성 방법을 제안한다. 상기 깊이 맵 이미지 생성 방법은, 컴퓨팅 장치에서 수행되는 깊이 맵 이미지 생성 방법으로서, 상기 하나 이상의 인스트럭션을 실행함으로써, 기초 RGB 이미지 및 그에 대응되는 기초 깊이 맵 이미지를 제공받는 동작, 상기 기초 RGB 이미지 및 상기 기초 깊이 맵 이미지를 기초로 구형 변환하여 생성된 기초 구형 가상 이미지의 설정 정보를 변경하여 복수의 학습 RGB 이미지 및 복수의 학습 깊이 맵 이미지를 생성하는 동작을 포함할 수 있다. 상기 복수의 학습 RGB 이미지와 복수의 학습 깊이 맵 이미지는 각각 1:1로 매칭될 수 있다.
본 출원의 다른 일 기술적 측면은 저장 매체를 제안한다. 상기 저장 매체는, 컴퓨터 판독 가능한 인스트럭션들(instructions)을 저장하고 있는 저장 매체이다. 상기 인스트럭션들은, 컴퓨팅 장치에 의해 실행될 때, 상기 컴퓨팅 장치로 하여금, 기초 RGB 이미지 및 그에 대응되는 기초 깊이 맵 이미지를 제공받는 동작, 상기 기초 RGB 이미지 및 상기 기초 깊이 맵 이미지를 기초로 구형 변환하여 생성된 기초 구형 가상 이미지의 설정 정보를 변경하여 복수의 학습 RGB 이미지 및 복수의 학습 깊이 맵 이미지를 생성하는 동작을 포함할 수 있다. 상기 복수의 학습 RGB 이미지와 복수의 학습 깊이 맵 이미지는 각각 1:1로 매칭될 수 있다.
상기한 과제의 해결 수단은, 본 발명의 특징을 모두 열거한 것은 아니다. 본 발명의 과제 해결을 위한 다양한 수단들은 이하의 상세한 설명의 구체적인 실시형태를 참조하여 보다 상세하게 이해될 수 있을 것이다.
본 출원에 따르면 다음과 같은 효과가 하나 혹은 그 이상 있다.
본 출원에 개시되는 일 실시예에 따르면, 가상 공간에 대하여 거리 정보를 제공할 수 있는 효과가 있다.
본 출원에 개시되는 일 실시예에 따르면, 하나의 RGB 이미지와 그에 대한 거리 맵 이미지를 이용하여 다수의 학습 데이터 셋을 생성할 수 있는 효과가 있다.
본 출원에 개시되는 일 실시예에 따르면, 뉴럴 네트워크 모델을 이용하여 학습을 기반으로 RBG 이미지로부터 깊이 맵 이미지를 생성할 수 있으며, 이를 이용하여, RGB 이미지만으로도 깊이 정보를 포함하는 가상 공간을 제공할 수 있는 효과가 있다.
본 출원에 개시되는 일 실시예에 따르면, 뉴럴 네트워크의 학습을 위하여 사용되는 로스(Loss)를 산출함에 있어서, 다수의 함수를 조합적으로 사용함으로써, 로스 범위를 최소한으로 감소시킬 수 있는 효과가 있다.
본 출원의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 출원에 개시되는 일 실시예에 따른 깊이 맵 이미지를 기반으로 하여 구형 가상 이미지를 제공하는 시스템을 설명하기 위한 하나의 예시 도면이다.
도 2는 본 출원에 개시되는 일 실시예에 따른 컴퓨팅 장치를 설명하는 블록 구성도이다.
도 3은 본 출원에 개시되는 일 실시예에 따른 학습 데이터 생성 아키텍처를 설명하는 도면이다.
도 4는 본 출원에 개시되는 일 실시예에 따른 등장방형 투영 이미지와, 그를 이용하여 생성된 구형 가상 이미지를 도시하는 도면이다.
도 5는 본 출원에 개시되는 일 실시예에 따른 학습 데이터가 생성되는 방법을 설명하는 도면이다.
도 6은 일 예에 따른 기초 RGB 및 기초 깊이 맵을 기초로 다량의 학습 데이터 셋을 생성하는 예를 설명하기 위한 도면이다.
도 7은 본 출원에 개시되는 일 실시예에 따른 뉴럴 네트워크 아키텍처의 일예를 설명하는 도면이다.
도 8은 본 출원에 개시되는 일 실시예에 따른 뉴럴 네트워크 아키텍처의 다른 일 예를 설명하는 도면이다.
도 9는 본 출원에 개시되는 일 실시예에 따른 뉴럴 네트워크를 이용한 트레이닝 방법을 설명하는 도면이다.
도 10은 본 출원에 개시되는 일 실시예에 따른 등장방형 투영 이미지와, 그를 이용하여 생성된 구형 가상 이미지 간의 차이를 예시하는 도면이다.
도 11은 본 출원에 개시되는 일 실시예에 따른 트레이닝 모듈에 의한 트레이닝 방법을 설명하는 도면이다.
도 12는 본 출원에 개시되는 일 실시예에 따른 로스 산출 방법을 설명하는 도면이다.
도 13은 일 예에 따른 학습 RGB, 학습 깊이 맵, 추정 깊이 맵 및 추정 깊이 맵과 학습 깊이 맵 간의 차이 이미지를 도시하는 도면이다.
도 14는 본 출원에 개시되는 일 실시예에 따른 구형 가상 이미지 생성 아키텍처를 설명하는 도면이다.
도 15는 본 출원에 개시되는 일 실시예에 따른 구형 가상 이미지를 사용자에게 제공하는 방법을 설명하는 도면이다.
도 16은 본 출원에 개시되는 일 실시예에 따른 구형 변환을 설명하기 위한 도면이다.
이하, 첨부된 도면을 참조하여 본 출원의 바람직한 실시 형태들을 설명한다.
그러나, 본 출원의 실시형태는 여러 가지 다른 형태로 변형될 수 있으며, 본 출원의 범위가 이하 설명하는 실시 형태로 한정되는 것은 아니다. 또한, 본 출원의 실시형태는 당해 기술분야에서 평균적인 지식을 가진 자에게 본 출원을 더욱 완전하게 설명하기 위해서 제공되는 것이다.
본 출원의 다양한 실시 예들 및 이에 사용된 용어들은 본 출원에 기재된 기술적 특징들을 특정한 실시 예들로 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 출원에서, "A 또는 B", "A 및 B 중 적어도 하나","A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나" 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예를 들어, 중요성 또는 순서)에서 한정하지 않는다. 어떤(예를 들어, 제 1) 구성요소가 다른(예를 들어, 제 2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드", "커넥티드" 또는 "연결된" 이라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 출원에서 사용된 용어 "모듈"은 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
본 출원의 다양한 실시 예들은 기기(machine)(예를 들어, 사용자 단말(100)이나 컴퓨팅 장치(300))에 의해 읽을 수 있는 저장 매체(storage medium)에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예를 들어, 프로그램)로서 구현될 수 있다. 예를 들면, 프로세서(301)는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 장치가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 실재(tangible)하는 장치이고, 신호(signal)(예를 들어, 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
실시 예에 따르면, 본 출원에 개시된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예를 들어, compact disc read only memory (CDROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예를 들어, 플레이 스토어쪠)를 통해 또는 두개의 사용자 장치들(예를 들어, 스마트폰들) 간에 직접, 온라인으로 배포(예를 들어, 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시 예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예를 들어, 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있다. 다양한 실시 예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예를 들어, 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.
본 출원의 실시형태를 설명하기 위하여 다양한 순서도가 개시되고 있으나, 이는 각 단계의 설명의 편의를 위한 것으로, 반드시 순서도의 순서에 따라 각 단계가 수행되는 것은 아니다. 즉, 순서도에서의 각 단계는, 서로 동시에 수행되거나, 순서도에 따른 순서대로 수행되거나, 또는 순서도에서의 순서와 반대의 순서로도 수행될 수 있다.
본 출원에서는, 전방위 파노라마 이미지를 제공하는 일 변환으로서, 구형 변환 또는 구형 가상 이미지를 예로 들어 설명한다. 즉, 이러한 구형 변환 또는 구형 가상 이미지는 예시적인 것에 불과하며, 본 출원의 실시예들이 이에 한정되는 것은 아니다. 따라서, 구형 변환 또는 구형 가상 이미지를 대체하여 큐브 변환 또는 큐브 가상 이미지 등과 같이 다양한 변형 실시가 가능하다.
도 1은 본 출원에 개시되는 일 실시예에 따른 깊이 맵 이미지를 기반으로 하여 구형 가상 이미지를 제공하는 시스템을 설명하기 위한 하나의 예시 도면이다.
깊이 맵 이미지를 기반으로 하여 구형 가상 이미지를 제공하는 시스템(10)은 사용자 단말기(100), 이미지 취득 장치(200) 및 컴퓨팅 장치(300)를 포함할 수 있다.
사용자 단말기(100)는 사용자가 컴퓨팅 장치(300)에 접근하기 위하여 사용 가능한 전자 기기로서, 예를 들어, 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 퍼스널 컴퓨터(PC), 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(wearable device, 예를 들어, 워치형 단말기 (smartwatch), 글래스형 단말기 (smart glass), HMD(head mounted display)) 등을 포괄한다. 그러나, 그 외에도 사용자 단말기(100)는 VR(Virtual Reality), AR(Augmented Reality)에 사용되는 전자 기기를 포함할 수 있다.
이미지 취득 장치(200)는 구형 가상 이미지를 생성하는데 사용되는, 색상 이미지 및/또는 깊이 맵 이미지를 생성하는 장치이다.
도시된 예에서, 이미지 취득 장치(200)는 거리측정 장치(210) 및 촬상 장치(220)로 구분되어 도시되어 있으나, 이는 예시적인 것으로서, 하나의 이미지 취득 장치(200)-예컨대, LiDAR 센서를 구비한 스마트 폰 등-을 이용하여 거리 측정 및 촬상을 수행할 수도 있다.
촬상 장치(220)는 촬영 기능을 가진 휴대용 전자 기기로서, 피사 영역 -즉, RGB 이미지로 촬영된 촬영 영역-에 대하여 색으로 표현되는 RGB 이미지를 생성한다.
즉, 본 출원 명세서에서, RGB 이미지는 색으로 표현되는 색상 이미지를 모두 포괄하는 대표 명칭일 뿐으로, 특정한 표현 방식으로 제한하는 것은 아니다. 따라서, RGB(Red Green Bule)로 표현되는 색상 이미지 뿐만 아니라, CMYK(Cyan Magenta Yellow Key)로 표현되는 색상 이미지도, 본 출원 명세서의 RGB 이미지에 해당된다.
촬상 장치(220)는, 예를 들어, 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), PDA(personal digital assistants), 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 촬영 디바이스(wearable device, 예를 들어, 글래스형 단말기 (smart glass)) 등을 포괄한다.
거리측정 장치(210)는 촬영 영역, 즉, 피사 영역에 대하여 깊이 정보를 생성하여 깊이 맵 이미지를 생성할 수 있는 장치이다.
본 출원 명세서에서, 깊이 맵 이미지는 피사 영역에 대하여 깊이 정보를 포함하는 이미지를 포괄한다. 즉, 깊이 맵 이미지는, 촬영된 피사 영역의 각 지점에 대하여, 촬상 지점에서 각 지점까지의 거리 정보로 표현되는 이미지를 의미한다. 예컨대, 깊이 맵 이미지의 각 픽셀은, 촬상 지점에서부터 측정된 거리 정보일 수 있다. 이러한 깊이 맵 이미지에서 거리 정보는 색상으로 표현될 수 있으며, 도 13의 그림 (c)는 이러한 깊이 맵 이미지의 일 예를 도시하고 있다.
거리측정 장치(210)는, 거리 측정을 위한 소정의 센서, 예컨대, 라이다 센서, 적외선 센서, 초음파 센서 등을 포함할 수 있다. 또는, 거리 측정 촬상 장치(220)는 센서를 대체하여 거리 정보를 측정할 수 있는 스테레오 카메라(stereo camera), 스테레오스코픽 카메라(stereoscopic camera), 3D 깊이 카메라(3D, depth camera) 등을 포함할 수 있다.
촬상 장치(220)에 의하여 생성된 이미지는 기초 RGB 이미지라 하고, 거리 측정 장치(210)에 의하여 생성된 이미지는 기초 깊이 맵 이미지라 한다. 촬상 장치(220)에 의하여 생성된 기초 RGB 이미지와 거리 측정 장치(210)에 의하여 생성된 기초 깊이 맵 이미지는 동일한 피사 영역에 대하여 동일한 조건(예컨대, 해상도 등)을 대상으로 생성되므로, 서로 1:1로 매칭된다.
컴퓨팅 장치(300)는 기초 RGB 이미지와 기초 깊이 맵 이미지를 전달받아, 학습을 진행할 수 있다. 여기서 기초 RGB 이미지와 기초 깊이 맵 이미지를 전달은 네트워크를 통해 전달될 수 있다.
컴퓨팅 장치(300)는 진행된 학습을 기반으로 구형 가상 이미지를 생성할 수 있다. 또한, 컴퓨팅 장치(300)는, 생성된 구형 가상 이미지를 사용자 단말(100)에 제공하게 된다. 여기에서, 구형 가상 이미지 제공은 다양한 형태로 이루어질 수 있으며, 일 예로 사용자 단말(100)에서 구동되도록 구형 가상 이미지를 제공하거나, 또는 다른 예로, 컴퓨팅 장치(300)에서 구현된 구형 가상 이미지에 대한 사용자의 인터페이스를 제공하는 것을 포함한다.
컴퓨팅 장치(300)에서 사용자 단말(100)로의 구형 가상 이미지 제공 또한 네트워크를 통해 제공될 수 있다.
컴퓨팅 장치(300)는 기초 RGB 이미지와 기초 깊이 맵 이미지를 변환하여, 다수의 학습 RGB 이미지와 학습 깊이 맵 이미지를 생성할 수 있다. 이는, 구형 가상 이미지를 사용하는 특징적인 환경을 이용한 것으로, 기초 RGB 이미지와 기초 깊이 맵 이미지를 구형화 한 후 약간의 조정을 통하여 다수의 학습 RGB 이미지와 학습 깊이 맵 이미지를 생성할 수 있다.
이하, 도 2 내지 도 15를 참조하여, 구형 가상 이미지를 제공하는 시스템(10)를 구성하는 구성요소들의 다양한 실시예들에 대하여 설명한다.
도 2는 본 출원에 개시되는 일 실시예에 따른 컴퓨팅 장치를 설명하는 블록 구성도이다.
컴퓨팅 장치(300)는 프로세서(301), 메모리(302) 및 통신부(303)를 포함할 수 있다.
프로세서(301)는 컴퓨팅 장치(300)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(301)는, 메모리(302)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 본 개시서에 기재된 컴퓨팅 장치(300)의 기능을 수행할 수 있다.
프로세서(301)는 촬상 장치(220)로부터 전달된 기초 RGB 이미지 및 거리측정 장치(210)로부터 입력된 기초 깊이 맵 이미지를 기반으로, 구형 가상 이미지를 생성할 수 있다.
프로세서(301)는, 기초 RGB 이미지 및 기초 깊이 맵 이미지를 기초로 다양한 학습 데이터를 생성하는 학습 데이터 생성 모듈(310), 학습 데이터를 기초로 학습을 진행하는 뉴럴 네트워크 모듈(320), 추정 깊이 맵과 학습 깊이 맵을 비교하여 뉴럴 네트워크 모듈(320)을 트레이닝하는 트레이닝 모듈(330) 및 구형 가상 이미지를 생성하여 피사 영역의 거리 정보 등을 사용자 단말기에 제공하는 가상 이미지 제공 모듈(340)을 포함할 수 있다.
학습 데이터 생성 모듈(310)은 기초 RGB 이미지 및 기초 깊이 맵 이미지를 구형 변환하고, 이를 조정하여 복수의 학습 데이터, 즉, 학습 RGB 이미지 및 학습 깊이 맵 이미지를 생성할 수 있다.
예를 들어, 학습 데이터 생성 모듈(310)은 촬상 장치(220)로부터 전달된 기초 RGB 이미지 및 거리측정 장치(210)로부터 전달된 기초 깊이 맵 이미지를 구형 변환할 수 있다. 이렇게 변환된 이미지는 구형 이미지의 여러 축을 기초로 회전 각도를 변경하면서 다양한 학습 데이터를 획득할 수 있다. 이때, 학습 RGB 이미지는, 학습을 위하여 뉴럴 네트워크 모듈(320)에 제공되는 RGB 이미지를 지칭하고, 학습 깊이 맵 이미지는, 학습을 위하여 뉴럴 네트워크 모듈(320)에 제공되는 깊이 맵 이미지를 지칭한다. 따라서, 학습 RGB 이미지는 기초 RGB 이미지로부터 생성된 이미지, 학습 깊이 맵 이미지는 기초 깊이 맵 이미지로부터 생성된 이미지이다.
뉴럴 네트워크 모듈(320)은 학습을 위한 학습 RGB 이미지와, 그에 대한 학습 깊이 맵(Depth map) 이미지를 기반으로 학습한다. 예컨대, 학습 깊이 맵 이미지는 학습 RGB 이미지와 1:1로 연관된다. 학습 깊이 맵 이미지는 학습 RGB 이미지가 생성된 피사 영역에 대하여, Lidar 센서 등을 이용하여 거리를 실측 -스테레오 카메라를 이용한 거리 추정 방식 등을 포함- 하여 생성되므로, 실측 깊이(Ground Truth Depth) 맵이다. 뉴럴 네트워크 모듈(320)은 학습 RGB 이미지 및 학습 깊이 맵 이미지를 기반으로 학습한 후, 학습된 내용을 기반으로 입력된 RGB 이미지 대한 추정 깊이 맵 이미지를 생성할 수 있다.
트레이닝 모듈(330)은 뉴럴 네트워크 모듈(320)에서 생성한 추정 깊이 맵의 정확도를 기초로, 뉴럴 네트워크 모듈(320)을 트레이닝 할 수 있다.
예를 들어, 트레이닝 모듈(330)은 학습 RGB 이미지에 대하여 뉴럴 네트워크 모듈(320)이 생성한 추정 깊이 맵과, 학습 깊이 맵-이는 실측 깊이 맵임-을 비교하고, 추정 깊이 맵과 학습 깊이 맵의 그 차이가 적어지도록 뉴럴 네트워크 모듈(320)을 계속적으로 트레이닝 할 수 있다.
뉴럴 네트워크 모듈(320)은 질의 RGB 이미지를 입력받고, 추정 깊이 맵을 생성한다. 가상 이미지 제공 모듈(340)은 질의 RGB 이미지와 추정 깊이 맵을 기반으로 구형 가상 이미지를 생성할 수 있다. 구형 가상 이미지는 컴퓨팅 장치(300)로부터 사용자 단말(100)에 제공되는 이미지, 예를 들어, 사용자 단말(100)에서 구현될 수 있는 가상 공간일 수 있다.
메모리(302)는 프로세서(301)의 처리 및 제어를 위한 프로그램을 저장할 수 있고, 컴퓨팅 장치(300)로 입력되거나 컴퓨팅 장치(300)로부터 출력되는 데이터를 저장할 수 있다. 일 예로, 메모리(302)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM,Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory),EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
통신부(303)는 컴퓨팅 장치(300)와 다른 전자 장치, 예컨대, 사용자 단말(100) 또는 이미지 취득 장치(200)사이, 또는 컴퓨팅 장치(300)와 다른 전자 장치가 위치한 네트워크 사이의 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다.
도 3은 본 출원에 개시되는 일 실시예에 따른 학습 데이터 생성 아키텍처를 설명하는 도면이다.
도 3에 도시된 기초 RGB 이미지는 촬상 장치(220)로부터 전달되고, 기초 깊이 맵 이미지는 거리측정 장치(210)에서 전달된다.
여기서의 기초 RGB 이미지 및 기초 깊이 맵 이미지는 전방위 가상현실에 사용되는 등장방형 투영(Equirectangular Projection) 이미지일 수 있다. 이하에서 설명하는 다양한 종류의 RGB 이미지 및 깊이 맵 이미지는, 전방위 가상 공간을 생성하기 위하여 사용되는 등장방형 투영(Equirectangular Projection) 이미지일 수 있다.
도 4은 본 출원에 개시되는 일 실시예에 따른 등장방형 투영 이미지와, 그를 이용하여 생성된 구형 가상 이미지를 도시하는 도면이다.
그림 (a)에 도시된 예와 같이, 등장방형 투영 이미지는, 컴퓨팅 장치(300)에 의하여 구형태의 시점을 제공하는 구형의 전방위 가상 이미지(이하, ＇구형 가상 이미지＇라 칭함)로 변환 가능하다.
그림 (b)는 그림 (a)의 등장방형 투영 이미지를 구형 가상 이미지로서 변환한 예를 도시하고 있다. 그림 (b)에 도시된 구형 가상 이미지는, RGB 등장방형 투영 이미지를 기초로 생성한 구형 가상 이미지로서, 각 픽셀의 거리값을 균등하게 설정한 예에 관한 것이다. 한편, 그림 (b)는 구형 가상 이미지의 외부에서 구형 가상 이미지를 도시하고 있으나, 설명의 편의를 위한 것이다. 따라서, 구형 가상 이미지는, 도시된 구형 가상 이미지의 내부에서, 좌우 360도 상하 360도의 전방위에 대하여 가상의 이미지를 제공할 수도 있다.
이하에서는 등장방형 투영 이미지의 일 실시예로서, 파노라마 이미지(예를 들어, 2:1 파노라마 이미지 등)를 설명한다. 파노라마 이미지는 한번의 촬영에 의해 공간의 전방위 이미지를 도출할 수 있고, 구형 변환에서 용이하게 변환이 가능한 이점이 있다.
다만, 이미지 취득 장치(200)로부터 전달된 이미지가 파노라마 이미지로 이루어지는 것은 본 출원을 실시하기 위한 하나의 예시이므로, 이미지 취득 장치(200)로부터 전달되는 이미지는 사용자의 이용 및 편의에 따라 촬영된 일반적인 이미지(들) 일 수 있다. 그리고 컴퓨팅 장치(300)는 이러한 일반적인 이미지들을 등장방형 투영 이미지로 변환할 수 있다.
학습 데이터 생성 모듈(310)은 기초 RGB 이미지 및 기초 깊이 맵 이미지를 입력받고, 이들을 구형 변환하여 기초 구형 가상 이미지를 생성 할 수 있다.
기초 깊이 맵 이미지는, 피사 영역에 대한 거리 정보를 포함하는 파노라마 깊이 맵 이미지일 수 있다. 기초 깊이 맵 이미지는 동일한 피사 영역을 가지는 기초 RGB 이미지와 1:1로 매칭된다.
학습 데이터 생성 모듈(310)은 기초 구형 가상 이미지를 다양하게 변형하여 복수의 학습 데이터, 즉, 학습 RGB 이미지 및 학습 깊이 맵 이미지를 생성할 수 있다. 학습 데이터 생성 모듈(310)은 생성된 학습 RGB 이미지는 뉴럴 네트워크 모듈(320)에 제공하고, 학습 깊이 맵 이미지는 트레이닝 모듈(330)에 제공할 수 있다.
즉, 학습 데이터 생성 모듈(310)은 기초 RGB 이미지 및 기초 깊이 맵 이미지를 이용하여 기초 구형 가상 이미지를 생성하고, 기초 구형 가상 이미지의 설정 정보를 변경하여 다수의 학습 구형 이미지를 생성한 후, 이를 기반으로 다양한 학습 데이터 셋을 생성할 수 있다.
이러한 학습 데이터 생성 모듈(310)의 일 실시례에 대해, 도 5 내지 도 6을 더 참조하여 설명한다.
도 5는 본 출원에 개시되는 일 실시예에 따른 학습 데이터 생성 방법을 설명하는 도면이고, 도 6은 도 5에서의 학습 데이터 생성 방법을 설명하기 위한 참고도이다.
도 5를 참조하면, 학습 데이터 생성 모듈(310)은 기초 RGB 이미지 및 기초 깊이 맵 이미지를 이용하여 기초 구형 가상 이미지를 생성할 수 있다(S501).
예컨대, 학습 데이터 생성 모듈(310)은 기초 RGB 이미지 및 기초 깊이 맵 이미지를 기초로 구형 변환하여 기초 구형 가상 이미지를 생성할 수 있다.
이는 도 6의 단계 (a)에 예시되어 있다. 즉, 기초 구형 가상 이미지는 하나의 기초 RGB 이미지 및 기초 깊이 맵 이미지에서 얻어진 하나의 기초 구형 가상 이미지일 수 있다.
기초 구형 가상 이미지를 생성하는 일 실시예에서, 학습 데이터 생성 모듈(310)은, 기초 RGB 이미지로 기초 구형 가상 이미지를 생성하고, 기초 구형 가상 이미지의 각 픽셀에 대응되는 깊이 정보를 기초 깊이 맵 이미지를 기초로 연관하여, 기초 구형 가상 이미지를 생성할 수 있다.
예를 들어, 학습 데이터 생성 모듈(310)은, 기초 RGB 이미지를 구형 변환하여 각 픽셀의 거리가 동등한 거리로 표현되는 상기 기초 구형 가상 이미지를 생성할 수 있다. 학습 데이터 생성 모듈(310)은, 기초 깊이 맵 이미지를 이용하여 기초 RGB 이미지의 각 픽셀에 대응되는 거리 정보를, 기초 구형 가상 이미지와 연관하여 저장할 수 있다. 예컨대, RGB 이미지의 각 픽셀에 대응되는 거리 정보는 각 픽셀에 대한 식별 정보 및 그에 대한 거리 정보를 포함하는 테이블로 저장될 수 있다.
이러한 일 실시예에서, 기초 구형 가상 이미지에 대한 설정 정보의 변경이 발생하면, 학습 데이터 생성 모듈(310)은, 그러한 변경에 대응하여 거리 정보의 저장을 변경할 수 있다. 예컨대, 기초 구형 가상 이미지에 대하여 특정 회전 축을 기준으로 특정 방향으로 특정 각도로 회전이 발생하는 경우, 그러한 회전에 의하여 변경되는 픽셀의 위치 변경을 반영하여 테이블로부터 거리 정보를 취득할 수 있다.
기초 구형 가상 이미지를 생성하는 다른 일 실시예에서, 학습 데이터 생성 모듈(310)은, 기초 RGB 이미지와 기초 깊이 맵 이미지에 대해 각각 구형 가상 이미지를 생성할 수 있다.
예컨대, 학습 데이터 생성 모듈(310)은, 기초 RGB 이미지를 구형 변환하여 각 픽셀의 거리가 동등한 거리로 표현되는 제1 기초 구형 가상 이미지를 생성하고, 기초 깊이 맵 이미지를 구형 변환하여 각 픽셀이 거리 정보로 표현되는 제2 기초 구형 가상 이미지를 생성할 수 있다.
이러한 실시예에서, 학습 데이터 생성 모듈(310)은, 제1 기초 구형 가상 이미지 및 제2 기초 구형 가상 이미지 한 쌍에 대하여 동일하게 설정 정보를 변경하고 -설정 정보가 변환된 한 쌍의 제1 및 제2 기초 구형 가상 이미지는 학습 구형 가상 이미지에 대응됨-, 그에 대한 평면 변환을 수행하여 한 쌍의 학습 RGB 이미지 및 학습 깊이 맵 이미지를 생성할 수 있다.
기초 구형 가상 이미지를 생성하는 또 다른 일 실시예에서, 학습 데이터 생성 모듈(310)은, 하나의 픽셀에 색상 정보 및 거리 정보를 모두 반영하여 3차원의 입체적인 기초 깊이 맵 이미지를 생성할 수 있다. 즉, 상술한 실시예들은, 도 6에 도시된 예와 같이, 각 픽셀의 거리가 일정하게 설정되어 있으므로 기초 구형 가상 이미지의 형태가 동그란 구형으로 표시되나, 본 실시예에서는 각 픽셀이 거리 정보에 따라 표시되므로, 동그란 구형이 아닌, 3차원 공간에서 입체적인 형상으로 표시된다.
예를 들어, 학습 데이터 생성 모듈(310)은, 기초 RGB 이미지로부터 각 픽셀에서의 색상 정보를 획득하고 상기 기초 깊이 맵 이미지로부터 각 픽셀에서의 거리 정보를 획득하여, 각 픽셀에 대한 색상 정보 및 거리 정보를 설정할 수 있다. 학습 데이터 생성 모듈(310)은, 설정된 각 픽셀에 대한 색상 정보 및 거리 정보를 3차원 좌표에서 표현하여 기초 구형 가상 이미지를 생성할 수 있다. 이러한 기초 구형 가상 이미지는 원형 형태가 아닌 3차원 공간 상에 표시된 입체적인 형상으로 표현된다.
학습 데이터 생성 모듈(310)은, 기초 구형 가상 이미지의 설정 정보를 변경하여, 다수의 학습 구형 이미지를 생성할 수 있다(S502). 예를 들어, 설정 정보는 구형 이미지의 회전 축, 회전 방향 또는 회전 각도 등을 포함할 수 있다.
예컨대, 학습 데이터 생성 모듈(310)은, 기초 구형 가상 이미지에 대하여 상기 회전 축, 회전 방향 또는 회전 각도 중 적어도 하나를 변경하여 기초 구형 가상 이미지로부터 복수의 학습 구형 이미지를 생성할 수 있다.
도 6의 단계 (b)는 기초 구형 가상 이미지의 설정 정보를 변경하여 복수의 학습 구형 이미지를 생성하는 예를 도시하고 있다.
학습 데이터 생성 모듈(310)은, 다수 학습 구형 이미지를 다시 평면 변환하여, 다수의 학습 데이터 셋 -학습 데이터 셋은 학습 RGB 이미지와, 그에 1:1 매칭되는 학습 깊이맵 이미지 한 쌍을 의미함- 을 생성할 수 있다(S503). 여기에서, 평면 변환은 구형 변환의 역 변환으로서, 하나의 학습 구형 이미지를 평면 변환함으로써 학습 RGB 이미지 및 학습 깊이 맵 이미지 셋을 생성할 수 있다.
이와 같이, 기초 구형 가상 이미지 설정 정보를 변경하여 다수의 학습 구형 이미지를 생성하는 것은, 하나의 기초 구형 이미지에서 많은 양의 학습 데이터를 생성할 수 있는 효과를 제공한다. 즉, 뉴럴 네트워크 모듈(320)의 정확한 연산 능력은 많은 학습 데이터를 기반으로 이루어지나, 실제적으로는 다수의 학습 데이터를 확보하는 것은 어려운 것이다. 그러나, 본 출원의 일 실시예에서는, 기초 구형 가상 이미지를 기초로 다양한 변형을 적용하여 다수의 학습 구형 이미지를 생성할 수 있으며, 또한 역변환하여 다량의 학습 데이터 셋을 용이하게 확보할 수 있는 효과가 있다.
이렇게 생성된 다수의 학습 RGB 이미지 및 학습 깊이 맵 이미지는 뉴럴 네트워크 모듈(320)에 제공되어 학습 정보로 사용될 수 있다.
도 7은 본 출원에 개시되는 일 실시예에 따른 뉴럴 네트워크 아키텍처의 일 예를 설명하는 도면이고, 도 8은 본 출원에 개시되는 일 실시예에 따른 뉴럴 네트워크 아키텍처의 다른 일 예를 설명하는 도면이다.
설명의 용이성을 위해, 도 7 및 도 8에 도시된 뉴럴 네트워크 모듈(320)은 도 2에서 설명한 컴퓨팅 장치(300)를 이용하여 구현되는 것으로 설명된다. 즉, 컴퓨팅 장치(300)의 메모리(302)와 프로세서(301)에 의하여 수행되는 적어도 하나의 인스트럭션의 실행에 의하여 구현될 수 있다. 그러나, 그 외에도 뉴럴 네트워크 모듈(320)은 다른 어떤 적절한 장치(들) 및 다른 어떤 적절한 시스템(들)에서도 이용될 수 있다. 또한, 뉴럴 네트워크 모듈(320)은 이미지 처리 관련 태스크들을 수행하는 데 이용되는 것으로 설명된다. 그러나, 뉴럴 네트워크 모듈(320)은 비-이미지 처리 태스크들을 포함하여, 다른 어떤 적절한 태스크들을 함께 수행하는 데 이용될 수 있다.
뉴럴 네트워크 모듈(320)은 학습을 위한 학습 RGB 이미지와, 그에 대한 깊이 맵(Depth map) 이미지를 기반으로 학습한다.
뉴럴 네트워크 모듈(320)은 딥 러닝 기반의 이미지 전환 학습 모델로서, 입력된 학습 RGB 이미지에 대하여 학습 신경망을 통한 변환을 기초로, 추정 깊이 맵 이미지를 생성할 수 있다.
뉴럴 네트워크 모듈(320)은 노드들과 에지들을 이용하여 수학적 모델로 표현될 수 있다. 뉴럴 네트워크 모듈(320)은 딥 뉴럴 네트워크(Deep Neural Network, DNN) 또는 n-계층 뉴럴 네트워크(n-layers neural networks)의 아키텍처일 수 있다. DNN 또는 n-계층 뉴럴 네트워크는 컨볼루션 뉴럴 네트워크(Convolutional Neural Networks, CNN), HRNet(Deep High-Resolution Network)을 기반으로 하는 컨볼루션 뉴럴 네트워크(CNN), 리커런트 뉴럴 네트워크(Recurrent Neural Networks, RNN), Deep Belief Networks, Restricted Boltzman Machines 등에 해당될 수 있다.
일 예로, 뉴럴 네트워크 모듈(320)은, 도 7에 도시된 예와 같이, 학습 RGB 이미지를 입력받고 그에 대한 추정 깊이 맵 이미지를 생성할 수 있다. 이러한 예에서, 최초 동작에서 뉴럴 네트워크 모듈(320)은 학습된 내용이 없으므로, 뉴럴 네트워크의 각 노드에서 랜덤한 값을 기반으로 추정 깊이 맵 이미지를 생성할 수 있다. 뉴럴 네트워크 모듈(320)은, 생성된 추정 깊이 맵 이미지에 대한 피드백 트레이닝을 반복적으로 수행하여 추정 깊이 맵의 정확도를 향상 시킬 수 있다.
다른 예로, 뉴럴 네트워크 모듈(320)은, 도 8에 도시된 바와 같이, 학습 RGB 이미지와 그에 매칭되는 학습 깊이 맵 셋을 입력받고, 그에 대한 학습을 기반으로 RGB 이미지와 깊이 맵 이미지 간의 연관성을 학습하고, 그러한 연관성을 기반으로 입력된 학습 RGB에 대한 추정 깊이 맵 이미지를 생성할 수 있다. 이러한 예에서도, 추정 깊이 맵 이미지에 대한 피드백 트레이닝을 반복적으로 수행하여 추정 깊이 맵의 정확도를 향상 시킬 수 있다.
도 9는 본 출원에 개시되는 일 실시예에 따른 뉴럴 네트워크를 이용한 트레이닝 방법을 설명하는 도면으로, 이하에서, 도 9를 더 참조하여 설명한다.
뉴럴 네트워크 모듈(320)은 학습 RGB 이미지를 입력받고, 학습된 내용을 바탕으로 이에 대한 추정 깊이(Predicted Depth) 맵 이미지를 생성한다(S901).
학습 RGB 이미지는, 학습을 위하여 뉴럴 네트워크 모듈 (320)에 제공된 RGB 이미지를 지칭한다. 학습 깊이 맵 이미지는, 학습을 위하여 뉴럴 네트워크 모듈(320) 또는 트레이닝 모듈(330)에 제공된 깊이 맵 이미지를 지칭한다. 학습 깊이 맵 이미지는 학습 RGB 이미지와 1:1로 연관된다. 학습 깊이 맵 이미지는 학습 RGB 이미지가 생성된 피사 영역에 대하여, Lidar 센서 등을 이용하여 거리를 실측하여 생성되므로, 실측 깊이(Ground Truth Depth) 맵이다.
뉴럴 네트워크 모듈(320)은 딥 러닝 기반의 이미지 전환 학습 모델로서, 입력된 학습 RGB 이미지에 대하여 학습 신경망을 통한 변환을 기초로, 추정 깊이 맵 이미지를 생성할 수 있다.
이후, 후술하는 트레이닝 과정을 통하여 뉴럴 네트워크 모듈(320)이 학습을 수행한다(S902). 뉴럴 네트워크 모듈(320)은 전술한 바와 같이, 학습 데이터 생성 모듈(310)에 의하여 생성된 다수의 학습 RGB 이미지 및 학습 깊이 맵을 대상으로 학습을 수행할 수 있으므로, 그 정확도를 쉽게 높일 수 있다.
추정 깊이 맵 이미지는, 학습된 뉴럴 네트워크 모듈(320)가 생성한 깊이 맵이다. 이러한 추정 깊이 맵 이미지는, Lidar 센서 등을 이용하여 거리를 실측하여 생성된 실측(Ground Truth) 깊이 맵인 학습 깊이 맵 이미지와 차이가 있다. 따라서, 이러한 추정 깊이 맵 이미지와 학습 깊이 맵(실측 깊이 맵) 이미지 간의 차이가 작아지도록 뉴럴 네트워크 모듈(320)이 학습될 수 있으며, 이러한 뉴럴 네트워크 모듈(320)에 대한 학습은 트레이닝 모듈(330)에 의하여 수행된다.
트레이닝 모듈(330)은 뉴럴 네트워크 모듈(320)에서 생성한 추정 깊이 맵과, 학습 깊이 맵을 비교하고 그 차이를 기초로 뉴럴 네트워크 모듈(320)을 트레이닝 할 수 있다.
일 실시예에서, 트레이닝 모듈(330)은 구형 변환을 기초로 트레이닝을 수행할 수 있다. 예컨대, 트레이닝 모듈(330)은 추정 깊이 맵과 학습 깊이 맵을 각각 구형 변환 한 후에, 구형 변환 된 추정 깊이맵과 구형 변환 된 학습 깊이맵 간의 차이를 기초로 뉴럴 네트워크 모듈(320)을 트레이닝 시킬 수 있다.
이러한 실시예에서, 학습 RGB 이미지, 추정 깊이 맵 이미지 및 학습 깊이 맵 이미지 모두 등장방형 투영 이미지일 수 있다. 즉, 이러한 등장방형 투영 이미지는 구형 변환 된 상태에서 사용되므로, 추정 깊이 맵 이미지와 학습 깊이 맵 이미지 간의 사용 상태에서의 차이점을 보다 정확하게 판단하기 위하여, 트레이닝 모듈(330)은 추정 깊이 맵과 학습 깊이 맵을 각각 구형 변환 한 후에 이들을 비교하여 트레이닝을 수행한다. 이에 대하여 도 10을 더 참조하여 설명한다.
도 10은 본 출원에 개시되는 일 실시예에 따른 등장방형 투영 이미지와, 그를 이용하여 생성된 구형 가상 이미지 간의 차이를 예시하는 도면이다.
면적 A(1010)와 면적 B(1020)는 구형 가상 이미지에서 동일한 면적 및 형태를 가지지만, 이를 등장방형 투영 이미지로 변환하는 경우 면적 A＇(1011)과 면적 B＇(1021)는 서로 상이한 면적 및 형태를 가지게 된다. 이는, 구형 가상 이미지와, 평면 등장방형 투영 이미지(파노라마 이미지) 간의 변환에 의한 것이다.
따라서, 트레이닝 모듈(330)은 추정 깊이 맵과 학습 깊이 맵을 각각 구형 변환 한 후에 트레이닝을 수행함으로써, 트레이닝의 정확도를 상승시키고 그에 따라 추정 깊이 맵 이미지의 정확도를 증가시킬 수 있다.
도 11은 본 출원에 개시되는 일 실시예에 따른 트레이닝 모듈에 의한 트레이닝 방법을 설명하는 도면으로, 이하 도 8 및 도 11을 참조하여 설명한다.
도 8에 도시된 바와 같이, 트레이닝 모듈(330)은 구형 변환 모듈(331), 로스 산출 모듈(332) 및 옵티마이징 모듈(333)을 포함할 수 있다.
도 11을 더 참조하면, 구형 변환 모듈(331)은 등장방형 투영 이미지를 구형 변환된 것에 대응되도록 구형 변환을 수행한다. 구형 변환 모듈(331)은 추정 깊이 맵 이미지와 학습 깊이 맵 이미지를 입력받고, 이들을 각각 구형 변환할 수 있다(S1101).
도 8에서, 구형 변환 모듈(331)에 의하여 구형 변환 된 학습 깊이 맵 이미지를 ＇학습 깊이 맵*＇으로, 구형 변환 된 추정 깊이 맵 이미지를 ＇추정 깊이 맵*＇으로 표시하고 있다.
일 실시예에서, 구형 변환 모듈(331)은 아래의 수학식 1을 이용하여, 구형 변환을 수행할 수 있다.
Figure PCTKR2021012652-appb-img-000001
수학식 1에 대한 상세한 설명은 도 16에 도시된 설명을 참조하여 쉽게 이해할 수 있다.
로스 산출 모듈(332)은 구형 변환 된 추정 깊이 맵(추정 깊이 맵*)과 구형 변환 된 학습 깊이 맵(학습 깊이 맵*) 간의 로스를 산출할 수 있다(S1102).
즉, 로스 산출 모듈(332)은 구형 변환 된 추정 깊이 맵과 구형 변환 된 학습 깊이 맵 간의 차이를 수치화(로스값) 할 수 있다. 일 예로, 로스 산출 모듈(332)에 의하여 결정된 로스값은 0 내지 1 사이의 범위로 결정될 수 있다.
옵티마이징 모듈(333)은 로스 산출 모듈(332)로부터 계산된 로스를 제공받고, 해당 로스에 대응하여 뉴럴 네트워크의 매개 변수를 변경하여 옵티마이징을 수행할 수 있다(S1103).
일 예로, 옵티마이징 모듈(333)은 뉴럴 네트워크의 가중치 매개변수 W를 조절하여 옵티마이징을 수행할 수 있다. 다른 예로, 옵티마이징 모듈(333)은 뉴럴 네트워크의 가중치 매개변수 W 및 편향 b 중 적어도 하나를 조절하여 옵티마이징을 수행할 수 있다.
다양한 방식의 옵티마이징 방법이 옵티마이징 모듈(333)에 적용 가능하다. 예를 들어, 옵티마이징 모듈(333)은, 배치 경사 하강법(Batch Gradient Descent), 확률적 경사 하강법(Stochastic Gradient Descent), 미니 배치 경사 하강법(Mini-Batch Gradient Descent), 모멘텀(Momentum), 아다그라드(Adagrad), 알엠에스프롭(RMSprop) 등을 사용하여 옵티마이징을 수행할 수 있다.
도 12는 본 출원에 개시되는 일 실시예에 따른 로스 산출 방법을 설명하는 도면이다.
도 12에 도시된 일 실시예에서, 로스 산출 모듈(332)은 복수의 로스 산출 방법을 적용하고, 그 결과값들로부터 대표값을 산출하여 로스를 결정할 수 있다.
도 12를 참조하면, 로스 산출 모듈(332)은 제1 로스 계산방식으로, 구형 변환 된 추정 깊이 맵과 구형 변환 된 학습 깊이 맵 간의 제1 로스 함수 결과를 계산할 수 있다(S1201).
이하의 수학식 2는, 제1 로스 계산식의 일 예를 설명하는 수학식이다.
Figure PCTKR2021012652-appb-img-000002
여기에서, T는 샘플의 수, y는 학습 깊이 맵, y*는 추정 깊이 맵을 의미한다.
로스 산출 모듈(332)은 제2 로스 계산방식으로, 구형 변환 된 추정 깊이 맵과 구형 변환 된 학습 깊이 맵 간의 제2 로스 함수 결과를 계산할 수 있다(S1202).
이하의 수학식 3은, 제2 로스 계산식의 일 예를 설명하는 수학식이다.
Figure PCTKR2021012652-appb-img-000003
여기에서, T는 샘플의 수, d는 로그 공간에서의 학습 깊이 맵과 추정 깊이 맵 간의 차이이다.
로스 산출 모듈(332)은 제3 로스 계산방식으로 구형 변환 된 추정 깊이 맵과 구형 변환 된 학습 깊이 맵 간의 제3 로스 함수 결과를 계산할 수 있다(S1203).
이하의 수학식 4는, 제3 로스 계산식의 일 예를 설명하는 수학식이다.
Figure PCTKR2021012652-appb-img-000004
여기에서, ytrue는 학습 깊이 맵을, ypredicted는 추정 깊이 맵을 의미한다.
로스 산출 모듈(332)은 제1 로스 함수 결과 내지 제3 로스 함수 결과에 대한 대표값을 산출하여, 로스로 결정할 수 있다(S1204). 여기에서, 대표값으로 평균, 중앙값, 최빈값 등이 적용 가능하다.
도 13은 일 예에 따른 학습 RGB 이미지, 학습 깊이 맵 이미지, 추정 깊이 맵 이미지 및 추정 깊이 맵 이미지와 학습 깊이 맵 이미지 간의 차이 이미지를 도시하는 도면이다.
그림 (a)는 뉴럴 네트워크 모듈(320)에 입력되는 학습 RGB 이미지의 일 예를 도시한다.
그림 (b)는 학습 RGB 이미지를 입력받은 뉴럴 네트워크 모듈(320)가 생성한 추정 깊이 맵 이미지의 일 예를 도시한다.
그림 (c)는 학습 RGB 이미지에 대응되는 실측 깊이 값을 제공하는 학습 깊이 맵 이미지의 일 예를 도시한다.
그림 (d)는 추정 깊이 맵 이미지와 학습 깊이 맵 이미지 간의 차이 이미지를 예시한다. 다만, 그림 (d)는 설명의 직관적인 설명을 위한 것으로, 전술한 바와 같이, 본 출원에 개시된 일 실시예에서 트레이닝 모듈(330)은 추정 깊이 맵 이미지와 학습 깊이 맵 이미지에 대하여 구형 변환을 수행한 후 차이를 계산하는 경우, 그림 (d)와 다르게 표시될 수 있다.
도 14는 본 출원에 개시되는 일 실시예에 따른 구형 가상 이미지 생성 아키텍처를 설명하는 도면이고, 도 15 본 출원에 개시되는 일 실시예에 따른 구형 가상 이미지를 사용자에게 제공하는 방법을 설명하는 도면이다.
도 14 및 도 15를 참조하여, 본 출원에 개시되는 일 실시예에 따른 구형 가상 이미지를 사용자에게 제공하는 방법에 대하여 설명한다.
뉴럴 네트워크 모듈(320)은 질의 RGB 이미지를 입력받으면, 전술한 바와 같이 학습된 신경망을 이용하여, 질의 RGB 이미지에 대응되는 추정 깊이 맵을 생성한다(S1501).
여기에서, 질의 RGB 이미지란, 구형 가상 이미지를 생성하는데 사용되는 RGB 이미지로서, 그에 매칭되는 실측 깊이 맵(Ground Truth Map)이 없는 이미지이다. 따라서, 뉴럴 네트워크 모듈(320)을 이용하여 추정 깊이 맵을 생성하고, 이를 구형 가상 이미지의 생성에 이용한다.
뉴럴 네트워크 모듈(320)은 생성된 추정 깊이 맵을 가상 이미지 제공 모듈(340)에게 제공한다.
가상 이미지 제공 모듈(340)은, 질의 RGB 이미지와, 뉴럴 네트워크 모듈(320)에서 제공된 추정 깊이 맵 이미지를 기반으로, 구형 가상 이미지를 생성할 수 있다(S1502).
예컨대, 가상 이미지 제공 모듈(340)은 뉴럴 네트워크 모듈(320)이 생성한 추정 깊이 맵을 확인하고, 질의 RGB 이미지와 추정 깊이 맵을 이용하여 구형 가상 이미지를 생성할 수 있다.
여기에서, 구형 가상 이미지란, 사용자가 체험할 수 있는 가상의 공간을 제공하기 위한 이미지를 통칭한다.
일 예로, 구형 가상 이미지는 질의 RGB 이미지를 기초로 구형 가상 이미지를 생성하고, 그러한 구형 가상 이미지의 각 픽셀에 대하여 추정 깊이 맵 이미지에 포함된 각 픽셀에서의 거리 정보를 포함할 수 있다. 도 4의 그림 (b)는 이러한 구형 가상 이미지의 일 예를 도시하고 있으며, 도 4의 그림 (b)는 각 픽셀이 동일한 거리에 있는 것으로 표시되어 있어 완벽한 구의 형태로 가상 이미지가 표시되는 예를 도시하고 있다. 이와 같이 표시되더라도, 각 픽셀에 대한 거리 정보를 포함하고 있으므로, 구형 가상 이미지 내의 어느 픽셀에 대해서도 각각 거리정보를 취득할 수 있다.
다른 일 예로, 구형 가상 이미지는 질의 RGB 이미지에서 취득된 각 픽셀에 대한 색 정보와, 추정 깊이 맵 이미지에서 취득된 각 픽셀에 대한 거리 정보를 이용하여 3차원 좌표 상에서 각 픽셀의 위치 및 색을 표시할 수 있다. 이러한 구형 가상 이미지의 다른 일 예는, 3차원 좌표 상에서 표시되는 입체적인 공간으로 표시될 수 있다.
즉, 구형 가상 이미지는, 가상 이미지에 포함된 적어도 하나의 지점(예컨대, 픽셀)에 대한 거리 정보를 포함할 수 있다. 여기에서, 거리 정보는 추정 깊이 맵을 기초로 결정된다.
가상 이미지 제공 모듈(340)은, 구형 가상 이미지를 사용자에게 제공할 수 있다. 예컨대, 가상 이미지 제공 모듈(340)은, 사용자 단말(100)에 구형 가상 이미지에 대한 접근 기능을 포함하는 사용자 인터페이스를 제공할 수 있다.
가상 이미지 제공 모듈(340)은, 사용자 인터페이스를 통하여 사용자로부터 사용자 요청을 수신할 수 있다(S1503). 예컨대, 가상 이미지 제공 모듈(340)은, 구형 가상 이미지 내의 적어도 하나의 화점에 대한 거리 확인 요청, 즉, 사용자 쿼리를 제공받을 수 있다. 가상 이미지 제공 모듈(340)은, 사용자의 쿼리에 대응하여, 구형 가상 이미지 내의 화점에 대한 거리 정보를 확인하여 사용자에게 제공할 수 있다. 예를 들어, 사용자 단말(100)에 제공된 구형 가상 이미지에서 사용자는 원하는 물체 또는 공간상의 위치를 설정할 수 있고, 가상 이미지 제공 모듈(340)은, 이에 대한 거리 정보를 확인하여 사용자 단말(100)로 제공할 수 있다.
이상에서 설명한 본 출원은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고 후술하는 특허청구범위에 의해 한정되며, 본 출원의 구성은 본 출원의 기술적 사상을 벗어나지 않는 범위 내에서 그 구성을 다양하게 변경 및 개조할 수 있다는 것을 본 출원이 속하는 기술 분야에서 통상의 지식을 가진 자는 쉽게 알 수 있다.
본 발명은 깊이 맵 이미지 생성 방법 및 그를 위한 컴퓨팅 장치에 관한 것으로, 가상 공간에 대하여 거리 정보를 제공하고, 하나의 RGB 이미지와 그에 대한 거리 맵 이미지를 이용하여 다양한 학습 데이터 셋을 생성하며, 뉴럴 네트워크 모델을 이용하여 학습을 기반으로 RGB 이미지로부터 깊이 맵 이미지를 생성할 수 있어 산업상 이용가능성이 높다.

Claims (15)

  1. 컴퓨팅 장치로서,
    하나 이상의 인스트럭션을 저장하는 메모리; 및
    상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고,
    상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
    뉴럴 네트워크를 이용하여 학습 RGB 이미지에 대한 제1 추정 깊이 맵 이미지를 생성하고, 깊이 정보를 가지는 학습 깊이 맵 이미지와 상기 제1 추정 깊이 맵 이미지 간의 차이를 기초로 상기 뉴럴 네트워크를 트레이닝 하며,
    상기 학습 RGB 이미지와 상기 학습 깊이 맵 이미지는,
    서로 1:1로 매치되고, 기초 구형 이미지에 대해 동일한 설정 변경을 기초로 생성되는
    컴퓨팅 장치.
  2. 제1항에 있어서,
    상기 학습 깊이 맵 이미지 및 상기 제1 추정 깊이 맵 이미지는 등장방형 투영 이미지인,
    컴퓨팅 장치.
  3. 제1항에 있어서,
    상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
    상기 학습 깊이 맵 이미지 및 상기 제1 추정 깊이 맵 이미지를 구형 변환하고,
    구형 변환된 학습 깊이 맵 이미지와 구형 변환된 제1 추정 깊이 맵 이미지 간의 로스를 결정하고,
    결정된 로스에 대응하여 상기 뉴럴 네트워크의 매개 변수를 변경하여 상기 뉴럴 네트워크를 트레이닝 하는,
    컴퓨팅 장치.
  4. 제3항에 있어서,
    상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
    서로 상이한 복수의 로스 함수 이용하여 상기 구형 변환된 학습 깊이 맵 이미지와 상기 구형 변환된 제1 추정 깊이 맵 이미지 간의 로스 함수 결과를 각각 계산하고,
    계산된 복수의 로스 함수 결과에 대하여 대표값을 산출하여 상기 로스로서 결정하는,
    컴퓨팅 장치.
  5. 제1항에 있어서,
    상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
    트레이닝이 수행된 상기 뉴럴 네트워크에 질의 RGB 이미지를 입력하고,
    상기 질의 RGB 이미지에 대응하여 상기 뉴럴 네트워크가 생성한 제2 추정 깊이 맵 이미지를 확인하고,
    상기 질의 RGB 이미지와 상기 제2 추정 깊이 맵 이미지를 이용하여 구형 가상 이미지 -상기 구형 가상 이미지는 가상 이미지에 포함된 적어도 하나의 지점에 대한 거리 정보를 포함하고, 상기 거리 정보는 상기 제2 추정 깊이 맵 이미지를 기초로 결정됨- 를 생성하는,
    컴퓨팅 장치.
  6. 제5항에 있어서,
    상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
    사용자 단말을 통하여 사용자에게 상기 구형 가상 이미지를 제공하고,
    상기 사용자로부터 상기 구형 가상 이미지의 적어도 한 지점에 대한 사용자 요청을 수신하면, 상기 적어도 한 지점에 대한 깊이 정보를 추출하여 상기 사용자 단말에 제공하는,
    컴퓨팅 장치.
  7. 컴퓨팅 장치로서,
    하나 이상의 인스트럭션을 저장하는 메모리; 및
    상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고,
    상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
    뉴럴 네트워크를 이용하여 질의 RGB 이미지에 대한 추정 깊이 맵 이미지를 생성하고,
    상기 질의 RGB 이미지와 상기 추정 깊이 맵 이미지를 이용하여 구형 가상 이미지 - 상기 구형 가상 이미지는 가상 이미지에 포함된 적어도 하나의 지점에 대한 거리 정보를 포함하고, 상기 거리 정보는 상기 추정 깊이 맵 이미지를 기초로 결정됨- 를 생성하는,
    컴퓨팅 장치.
  8. 제7항에 있어서,
    상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
    사용자 단말을 통하여 사용자에게 상기 구형 가상 이미지를 제공하고,
    상기 사용자로부터 상기 구형 가상 이미지의 적어도 한 지점에 대한 사용자 요청을 수신하면, 상기 적어도 한 지점에 대한 깊이 정보를 추출하여 상기 사용자 단말에 제공하는,
    컴퓨팅 장치.
  9. 컴퓨팅 장치에서 수행되는 깊이 맵 이미지 생성 방법으로서,
    뉴럴 네트워크를 이용하여 학습 RGB 이미지에 대한 제1 추정 깊이 맵 이미지를 생성하는 동작; 및
    구형 변환을 기반으로 생성된, 학습 깊이 맵 이미지-상기 학습 깊이 맵 이미지는 상기 학습 RGB 이미지에 매치되고 깊이 정보를 가짐- 및 상기 제1 추정 깊이 맵 이미지 간의 차이를 기초로 상기 뉴럴 네트워크를 트레이닝 하는 동작;
    을 포함하는 깊이 맵 이미지 생성 방법.
  10. 제9항에 있어서,
    상기 학습 깊이 맵 이미지 및 상기 제1 추정 깊이 맵 이미지는 등장방형 투영 이미지인,
    깊이 맵 이미지 생성 방법.
  11. 제9항에 있어서, 상기 뉴럴 네트워크를 트레이닝 하는 동작은,
    상기 학습 깊이 맵 이미지 및 상기 제1 추정 깊이 맵 이미지를 구형 변환하는 동작;
    구형 변환된 학습 깊이 맵 이미지와 구형 변환된 제1 추정 깊이 맵 이미지 간의 로스를 결정하는 동작; 및
    결정된 로스에 대응하여 상기 뉴럴 네트워크의 매개 변수를 변경하여 상기 뉴럴 네트워크를 트레이닝 하는 동작;
    을 포함하는 깊이 맵 이미지 생성 방법.
  12. 제11항에 있어서, 상기 뉴럴 네트워크를 트레이닝 하는 동작은,
    서로 상이한 복수의 로스 함수 이용하여 상기 구형 변환된 학습 깊이 맵 이미지와 상기 구형 변환된 제1 추정 깊이 맵 이미지 간의 로스 함수 결과를 각각 계산하는 동작; 및
    계산된 복수의 로스 함수 결과에 대하여 대표값을 산출하여 상기 로스로서 결정하는 동작;
    을 포함하는 깊이 맵 이미지 생성 방법.
  13. 제9항에 있어서, 상기 깊이 맵 이미지 생성 방법은,
    트레이닝이 수행된 상기 뉴럴 네트워크에 질의 RGB 이미지를 입력하는 동작;
    상기 질의 RGB 이미지에 대응하여 상기 뉴럴 네트워크가 생성한 제2 추정 깊이 맵 이미지를 확인 하는 동작; 및
    상기 질의 RGB 이미지와 상기 제2 추정 깊이 맵 이미지를 이용하여 구형 가상 이미지 -상기 구형 가상 이미지는 가상 이미지에 포함된 적어도 하나의 지점에 대한 거리 정보를 포함하고, 상기 거리 정보는 상기 제2 추정 깊이 맵 이미지를 기초로 결정됨- 를 생성 하는 동작;
    을 더 포함하는 깊이 맵 이미지 생성 방법.
  14. 제13항에 있어서, 상기 깊이 맵 이미지 생성 방법은,
    사용자 단말을 통하여 사용자에게 상기 구형 가상 이미지를 제공하는 동작; 및
    상기 사용자로부터 상기 구형 가상 이미지의 적어도 한 지점에 대한 사용자 요청을 수신하면, 상기 적어도 한 지점에 대한 깊이 정보를 추출하여 상기 사용자 단말에 제공하는 동작;
    을 더 포함하는 깊이 맵 이미지 생성 방법.
  15. 컴퓨터 판독 가능한 인스트럭션들(instructions)을 저장하고 있는 저장 매체에 있어서,
    상기 인스트럭션들은, 컴퓨팅 장치에 의해 실행될 때, 상기 컴퓨팅 장치로 하여금,
    뉴럴 네트워크를 이용하여 학습 RGB 이미지에 대한 추정 깊이 맵을 생성하는 동작; 및
    구형 변환을 기반으로 생성된, 학습 깊이 맵 -상기 학습 깊이 맵은 상기 학습 RGB 이미지에 매치되고 깊이 정보를 가짐- 및 상기 추정 깊이 맵 간의 차이를 기초로 상기 뉴럴 네트워크를 트레이닝 하는 동작;
    을 수행하도록 하는 저장 매체.
PCT/KR2021/012652 2021-06-23 2021-09-16 깊이 맵 이미지 생성 방법 및 그를 위한 컴퓨팅 장치 WO2022270683A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP21939986.2A EP4174773A1 (en) 2021-06-23 2021-09-16 Depth map image generation method and computing device for same
JP2022545059A JP7414332B2 (ja) 2021-06-23 2021-09-16 深度マップイメージ生成方法およびそのためのコンピューティング装置
US17/878,206 US20220414909A1 (en) 2021-06-23 2022-08-01 Depth map image generation method and computing device therefor

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2021-0081608 2021-06-23
KR10-2021-0081814 2021-06-23
KR1020210081814A KR102536096B1 (ko) 2021-06-23 2021-06-23 학습 데이터 생성 방법 및 그를 위한 컴퓨팅 장치
KR1020210081608A KR102551467B1 (ko) 2021-06-23 2021-06-23 깊이 맵 이미지 생성 방법 및 그를 위한 컴퓨팅 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/878,206 Continuation US20220414909A1 (en) 2021-06-23 2022-08-01 Depth map image generation method and computing device therefor

Publications (1)

Publication Number Publication Date
WO2022270683A1 true WO2022270683A1 (ko) 2022-12-29

Family

ID=84544523

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/012652 WO2022270683A1 (ko) 2021-06-23 2021-09-16 깊이 맵 이미지 생성 방법 및 그를 위한 컴퓨팅 장치

Country Status (1)

Country Link
WO (1) WO2022270683A1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190026957A1 (en) * 2012-02-24 2019-01-24 Matterport, Inc. Employing three-dimensional (3d) data predicted from two-dimensional (2d) images using neural networks for 3d modeling applications and other applications
KR20210019221A (ko) * 2019-08-12 2021-02-22 네이버랩스 주식회사 ２ｄ 지도를 이용하여 거리뷰 이미지의 깊이 정보를 생성하는 방법 및 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190026957A1 (en) * 2012-02-24 2019-01-24 Matterport, Inc. Employing three-dimensional (3d) data predicted from two-dimensional (2d) images using neural networks for 3d modeling applications and other applications
KR20210019221A (ko) * 2019-08-12 2021-02-22 네이버랩스 주식회사 ２ｄ 지도를 이용하여 거리뷰 이미지의 깊이 정보를 생성하는 방법 및 시스템

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
PINTORE GIOVANNI; AGUS MARCO; ALMANSA EVA; SCHNEIDER JENS; GOBBETTI ENRICO: "SliceNet: deep dense depth estimation from a single indoor panorama using a slice-based representation", 2021 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR), IEEE, 20 June 2021 (2021-06-20), pages 11531 - 11540, XP034007341, DOI: 10.1109/CVPR46437.2021.01137 *
YANG JIHEE, SO MI, KIM, HYE JEON JI, MAN GOO, PARK: "Implement Free-Viewpoint Image through Spherical Mapping of 360 degree Panorama Image", PROCEEDINGS OF THE KOREAN INSTITUTE OF COMMUNICATION SCIENCES CONFERENCE, 31 January 2015 (2015-01-31), XP093016830 *
ZIOULIS NIKOLAOS; KARAKOTTAS ANTONIS; ZARPALAS DIMITRIOS; ALVAREZ FEDERICO; DARAS PETROS: "Spherical View Synthesis for Self-Supervised 360° Depth Estimation", 2019 INTERNATIONAL CONFERENCE ON 3D VISION (3DV), IEEE, 16 September 2019 (2019-09-16), pages 690 - 699, XP033653324, DOI: 10.1109/3DV.2019.00081 *

Similar Documents

Publication Publication Date Title
WO2020013545A1 (en) Apparatus and method for authenticating object in electronic device
WO2019059505A1 (ko) 객체를 인식하는 방법 및 장치
WO2019203579A1 (en) Method for generating depth information and electronic device supporting the same
WO2019221464A1 (en) Apparatus and method for recognizing an object in electronic device
WO2020130691A1 (en) Electronic device and method for providing information thereof
WO2020159149A1 (en) Electronic device and method for processing image
WO2020032497A1 (en) Method and apparatus for incorporating noise pattern into image on which bokeh processing has been performed
US11423510B2 (en) System and method for providing dolly zoom view synthesis
WO2019142997A1 (ko) 광학식 이미지 안정화 움직임에 의한 이미지의 변화를 보상하기 위한 장치 및 방법
WO2015199502A1 (ko) 증강현실 상호 작용 서비스 제공 장치 및 방법
WO2018124500A1 (ko) 객체의 인식 결과를 제공하는 방법 및 전자 장치
WO2019156428A1 (en) Electronic device and method for correcting images using external electronic device
WO2021137402A1 (en) Electronic device detecting location and method thereof
WO2019172642A1 (ko) 심장 박동을 측정하기 위한 전자 장치 및 방법
WO2021002681A1 (ko) 객체를 인식하기 위한 전자 장치 및 그의 동작 방법
WO2022065763A1 (en) Display apparatus and method for controlling thereof
WO2022270683A1 (ko) 깊이 맵 이미지 생성 방법 및 그를 위한 컴퓨팅 장치
WO2023277298A1 (ko) 이미지 안정화 방법 및 이를 위한 전자 장치
WO2021221333A1 (ko) 맵 정보과 영상 매칭을 통한 실시간 로봇 위치 예측 방법 및 로봇
WO2022030943A1 (ko) 딥러닝에 기반한 이미지 분할 장치 및 방법
WO2023068527A1 (ko) 콘텐트를 식별하기 위한 전자 장치 및 방법
WO2020075953A1 (ko) 외부 객체에 투사된 구조광을 이용하여 깊이 정보를 생성하는 방법 및 이를 사용하는 전자 장치
WO2024143731A1 (ko) 선택적 초해상화에 기반한 다중시점 리얼타임 메타버스 컨텐츠데이터를 구축하는 방법 및 시스템
WO2023224326A1 (ko) 깊이 정보를 획득하는 증강 현실 디바이스 및 그 동작 방법
WO2019245085A1 (en) Method, apparatus and medium for performing 3d model creation of people and identification of people via model matching

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2022545059

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2021939986

Country of ref document: EP

Effective date: 20221116

NENP Non-entry into the national phase

Ref country code: DE