WO2019168264A1 - 전자 장치 및 그 제어 방법 - Google Patents

전자 장치 및 그 제어 방법 Download PDF

Info

Publication number
WO2019168264A1
WO2019168264A1 PCT/KR2019/000101 KR2019000101W WO2019168264A1 WO 2019168264 A1 WO2019168264 A1 WO 2019168264A1 KR 2019000101 W KR2019000101 W KR 2019000101W WO 2019168264 A1 WO2019168264 A1 WO 2019168264A1
Authority
WO
WIPO (PCT)
Prior art keywords
depth
learning model
depth information
information
image
Prior art date
Application number
PCT/KR2019/000101
Other languages
English (en)
French (fr)
Inventor
반대현
박우진
한성원
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US16/771,922 priority Critical patent/US11657520B2/en
Priority to CN201980008878.0A priority patent/CN111630568B/zh
Publication of WO2019168264A1 publication Critical patent/WO2019168264A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12—Acquisition of 3D measurements of objects

Definitions

  • the present invention relates to an electronic device for obtaining three-dimensional information from a two-dimensional image and a control method thereof.
  • 3D image data is used in various fields, such as the electronics industry, the medical industry, and the entertainment industry.
  • three-dimensional data is acquired by a photographing apparatus that separately acquires depth information such as a stereo camera.
  • depth information such as a stereo camera.
  • the general public has a problem that it is difficult to apply to the two-dimensional image by processing the depth information.
  • the three-dimensional image data obtained by the stereo camera has a problem that it is difficult to use in various industries because there is no information on the type of the object photographed.
  • the present invention is in accordance with the necessity described above, and an object of the present invention is to provide three-dimensional image information by applying a two-dimensional image to an artificial intelligence learning model according to an artificial intelligence algorithm.
  • an electronic device including a learning model trained according to an artificial intelligence algorithm
  • the 2D image is received.
  • the first depth information is obtained by applying the first learning model to the at least one object
  • the depth information of the at least one object is applied to the second learning model by applying the first depth information and the measured depth data of the at least one object.
  • a processor configured to obtain second depth information on the second depth information, and obtain three-dimensional information on the two-dimensional image based on the second depth information, wherein the first depth information corresponds to a type of the at least one object. According to the depth data.
  • the processor obtains information on the type of the at least one object by applying the 2D image to a first learning model.
  • the first depth information includes a depth value corresponding to each of a plurality of pixels included in the object
  • the processor applies the depth value to the second learning model, thereby providing the depth value and the plurality of depth values.
  • the second depth information is obtained by adjusting the depth value according to an Euclidean distance between the measured depth data corresponding to each pixel of.
  • the depth data included in the first learning model may be a representative depth value generalized according to the type of the object, and the measured depth data included in the second learning model may include the at least one object as a stereo camera.
  • the measured depth value obtained by photographing with.
  • the electronic device may include a photographing unit, and the photographing unit includes a mono camera, and the 2D image is an image photographed by the mono camera.
  • a method for controlling the at least one object is applied by applying the two-dimensional image to a first learning model.
  • the information about the type of the at least one object is obtained by applying the 2D image to a first learning model.
  • the first depth information may include a depth value corresponding to each of a plurality of pixels included in the object, and the obtaining of the second depth information may include applying the depth value to the second learning model. And adjusting the depth value according to an Euclidean distance between the depth value and the measured depth data corresponding to each of the plurality of pixels to obtain the second depth information.
  • the depth data included in the first learning model may be a representative depth value generalized according to the type of the object, and the measured depth data included in the second learning model may include the at least one object as a stereo camera.
  • the measured depth value obtained by photographing with.
  • the 2D image is an image photographed by a mono camera.
  • the operation includes at least one object.
  • the 2D image is received, obtaining the first depth information of the at least one object by applying the 2D image to a first learning model, the first depth information and the measured depth data of the at least one object.
  • the first depth information may include depth data according to the type of the at least one object.
  • the information about the type of the at least one object may be obtained by applying the 2D image to the first learning model.
  • the first depth information may include a depth value corresponding to each of a plurality of pixels included in the object, and the obtaining of the second depth information may include applying the depth value to the second learning model.
  • the second depth information may be obtained by adjusting the depth value according to an Euclidean distance between the depth value and the measured depth data corresponding to each of the plurality of pixels.
  • the depth data included in the first learning model may be a representative depth value generalized according to the type of the object, and the measured depth data included in the second learning model may include the at least one object as a stereo camera.
  • the measured depth value obtained by photographing with.
  • the 2D image is an image photographed by a mono camera.
  • the user may easily acquire 3D information about the 2D image by only photographing the 2D image.
  • FIG. 1 is a diagram for describing an operation of obtaining 3D information from a 2D image using an electronic device according to an embodiment of the present disclosure.
  • FIG. 2 is a block diagram illustrating a configuration of an electronic device according to an embodiment of the present disclosure.
  • FIG. 3 is a block diagram illustrating a detailed configuration of an electronic device according to an embodiment of the present disclosure.
  • 4A is a diagram illustrating a configuration of a processor for implementing an artificial intelligence algorithm according to an embodiment of the present invention.
  • 4B is a diagram illustrating a detailed configuration of a learner and a recognizer according to an exemplary embodiment.
  • FIG. 5 is a diagram for describing an image including 3D information obtained according to an exemplary embodiment.
  • FIG. 6 is a flowchart illustrating a control method of an electronic device according to an embodiment of the present disclosure.
  • Embodiments of the present disclosure may be variously modified and have various embodiments, and specific embodiments will be illustrated in the drawings and described in detail in the written description. However, this is not intended to limit the scope to the specific embodiment, it should be understood to include all transformations, equivalents, and substitutes included in the spirit and technical scope of the invention. In describing the embodiments, when it is determined that the detailed description of the related known technology may obscure the gist, the detailed description thereof will be omitted.
  • first and second may be used to describe various components, but the components should not be limited by the terms. The terms are only used to distinguish one component from another.
  • a "module” or “unit” performs at least one function or operation, and may be implemented in hardware or software or in a combination of hardware and software.
  • a plurality of “modules” or a plurality of “units” may be integrated into at least one module except for "modules” or “units”, which need to be implemented with specific hardware, and are implemented with at least one processor (not shown). Can be.
  • FIG. 1 is a diagram for describing an operation of obtaining 3D information from a 2D image using an electronic device according to an embodiment of the present disclosure.
  • the electronic device 100 may be implemented as a smart phone including a mono camera. However, this is for convenience of description, and when the electronic device 100 does not include a camera, the electronic device 100 may include various electronic devices capable of receiving a 2D image from the outside. Accordingly, the electronic device 100 may be implemented as various devices such as a computer, a TV, a set top box, a smart phone, and a smart watch. Meanwhile, the electronic device 100 may of course include a camera and a receiver capable of receiving a 2D image at the same time.
  • the electronic device 100 may photograph an external foreground.
  • the electronic device 100 may obtain 3D information from the 2D image of the external foreground.
  • the electronic device 100 may receive the photographed 2D image from an external device to obtain 3D information.
  • the 3D information may be obtained as a depth map.
  • the electronic device 100 may obtain 3D information by applying various learning models based on an artificial intelligence algorithm to the 2D image.
  • the electronic device 100 may obtain approximate depth information according to the type of the object included in the 2D image by applying the 2D image to the first learning model.
  • the electronic device 100 may obtain depth information with high accuracy by applying the acquired depth information and the measured depth data to the second learning model. That is, after obtaining the approximate depth information through the classification learning according to the object type, the electronic device 100 may adjust the approximate depth information to be closer to the measured depth data to obtain sophisticated depth information.
  • FIG. 2 is a block diagram illustrating a configuration of an electronic device according to an embodiment of the present disclosure.
  • the electronic device 100 may include an input unit 110 and a processor 120.
  • the input unit 110 may obtain a 2D image and transmit the 2D image to the processor 120.
  • the 2D image may include at least one object.
  • the input unit 110 may receive a 2D image from an external device.
  • the input unit 110 may include at least one input port capable of receiving a 2D image.
  • Each port may include, for example, DP, USB, HDMI, RGB, DVI, Thunderbolt, MHL, AES / EBU, Optical, Coaxial, and the like.
  • the input unit 110 may include at least one communication module.
  • the input unit 110 may receive a 2D image from an external device or a server.
  • the input unit 110 may be various, such as infrared (IR), wireless fidelity (WI-FI), bluetooh, zigbee, beacon, near field communication (NFC), WAN, Ethernet, IEEE 1394, and the like. Communication may be performed through a communication method.
  • the input unit 110 may include both an input port and a communication module.
  • the processor 120 controls the overall operation of the electronic device 100.
  • the processor 120 may be implemented as a digital signal processor (DSP), a microprocessor, or a time controller (TCON) that processes digital signals.
  • DSP digital signal processor
  • the present invention is not limited thereto, and may include a central processing unit (CPU), a micro controller unit (MCU), a micro processing unit (MPU), a controller, an application processor (AP), or a communication processor (
  • the processor 120 may include one or more of a communication processor (CP), an ARM processor, or may be defined in a corresponding term, and the processor 120 may include a system on chip (SoC) and a large scale integration (LSI) in which processing algorithms are embedded. ) Or may be implemented in the form of a field programmable gate array (FPGA).
  • SoC system on chip
  • LSI large scale integration
  • FPGA field programmable gate array
  • the processor 120 may obtain first depth information of the at least one object by applying the 2D image to the first learning model. have. In detail, the processor 120 may perform learning by classification among various learning methods of deep learning.
  • the first depth information may include depth data according to the type of at least one object.
  • the processor 120 may apply the 2D image to the first learning model to obtain a depth value corresponding to each type of the object included in the 2D image and each pixel included in the object.
  • the processor 120 may train depth data according to the type of the object to the first learning model.
  • the depth data may include a representative depth value generalized according to the type of the object.
  • the processor 120 may acquire a depth value generalized for each type of an object according to the first learning model, and the processor 120 may learn a depth value for each type of the object to the first learning model to determine an object's depth.
  • the representative depth value generalized for each type can be learned.
  • the car generally has the headlight portion located on the front side of the windshield.
  • the processor 130 may learn and acquire a generalized depth value that the depth value of the headlight of the vehicle is lower than the depth value of the windshield according to the first learning model.
  • the processor 130 may identify characteristic shapes of a vehicle such as a headlight and a windshield according to the first learning model, and may identify that a type of an object included in the 2D image is a vehicle according to the first learning model. .
  • the processor 120 may obtain first depth information corresponding to each pixel included in the object by applying each pixel value included in the object of the 2D image to the first learning model. That is, the processor 120 may train the first learning model with first depth information corresponding to each pixel value.
  • the processor 120 may obtain first depth information according to the type of the object by the first learning model.
  • the processor 120 obtains second depth information by applying first depth information and ground truth depth data of at least one object to a second learning model, and based on the second depth information, the two-dimensional image. Three-dimensional information about can be obtained.
  • the first depth information acquired by the processor 120 includes an approximated depth value according to the object type. Accordingly, the processor 120 obtains 3D information based on the second learning model using the measured depth data in order to obtain a sophisticated depth value.
  • the measured depth data may include a depth value obtained by the stereo camera.
  • the measured depth data may be provided in a simulator environment capable of obtaining accurate depth data.
  • the measured depth data may be stored in the storage 130 or may be received from an external device and a server.
  • the processor 120 may apply a depth value corresponding to each of the plurality of pixels included in the first depth information to the second learning model, and thus the Euclidean distance between the depth value and the measured depth data corresponding to each of the plurality of pixels.
  • the second depth information may be obtained by adjusting the depth value according to (Euclidean distance).
  • the processor 120 obtains the Euclidean distance between the first depth information predicted by the first learning model and the measured depth data using the second learning model, and based on the obtained distance, the loss of the depth ( Second depth information with minimized loss) may be obtained.
  • the processor 120 associates each pixel included in the first depth information with each pixel included in the measured depth data by using the second learning model, and Euclidean the depth value included in each pixel. Obtain a distance from Diane.
  • the processor 120 may obtain the second depth information by adjusting the depth value of the first depth information such that the average of the plurality of Euclidean distances obtained using the second learning model is minimized.
  • the second depth information obtained by the processor 120 may include information about an object type.
  • the processor 120 may obtain information about the type of the object based on the depth value included in the second depth information that is more sophisticated than the depth value included in the first depth information.
  • the processor 120 may obtain information having higher accuracy than information about the type of the object obtained based on the depth value included in the first depth information.
  • the processor 120 may obtain second depth information more sophisticated than the first depth information based on the first depth information and the measured depth data acquired according to the type of the object.
  • the processor 120 may obtain 3D information about the 2D image based on the second depth information.
  • the processor 120 may obtain three-dimensional information such as a distance of the object, a relative position, an XYZ coordinate value, and the like based on the second depth information.
  • FIG. 3 is a block diagram illustrating a detailed configuration of an electronic device according to an embodiment of the present disclosure.
  • the electronic device 100 may include an input unit 110, a processor 120, a storage unit 130, and a photographing unit 140.
  • the storage unit 130 stores various data necessary for the operation of the electronic device 100.
  • the storage unit 130 may store various learning models learned according to an artificial intelligence algorithm for obtaining 3D information from a 2D image.
  • the storage unit 130 stores data necessary for the processor 120 to execute various processes.
  • the processor 120 may be implemented as an internal memory such as a ROM, a RAM, or the like, or may be implemented as a memory separate from the processor 120.
  • the storage unit 130 may be implemented in the form of a memory embedded in the electronic device 100 according to the data storage purpose, or may be implemented in the form of a memory that can be attached to and detached from the electronic device 100.
  • data for driving the electronic device 100 is stored in a memory embedded in the electronic device 100, and data for expansion function of the electronic device 100 is detachable from the electronic device 100. Possible memory can be stored.
  • the memory embedded in the electronic device 100 may be implemented in the form of a nonvolatile memory, a volatile memory, a flash memory, a hard disk drive (HDD), or a solid state drive (SSD), and may be attached to or detached from the electronic device 100.
  • the memory may be implemented in the form of a memory card (eg, micro SD card, USB memory, etc.), an external memory (eg, USB memory) connectable to a USB port, or the like.
  • the photographing unit 140 may photograph an external foreground as a 2D image.
  • the photographing unit 140 may include a mono camera.
  • the photographing unit 140 may obtain a 2D image composed of a plurality of pixels with respect to a specific area of the external foreground.
  • the photographing unit 140 may transmit the obtained 2D image to the processor 120.
  • a mono camera refers to a camera that cannot directly obtain 3D information (eg, a depth value) by photographing an external foreground.
  • the image sensor may be implemented as a charge coupled device (CCD) or a complementary metal oxide semiconductor (CMOS).
  • CCD is a device in which charge carriers are stored and transported in a capacitor while each metal-oxide-silicon (MOS) capacitor is in close proximity to each other.
  • MOS metal-oxide-silicon
  • the CMOS image sensor adopts a switching method that uses a CMOS technology that uses a control circuit and a signal processing circuit as peripheral circuits to make MOS transistors by the number of pixels, and sequentially detects the output using the same. It is an element to make.
  • 4A is a diagram illustrating a configuration of a processor for implementing an artificial intelligence algorithm according to an embodiment of the present invention.
  • the processor 400 may include at least one of the learner 410 and the recognizer 420.
  • the processor 400 of FIG. 4A corresponds to the processor 120 of FIGS. 2 and 3.
  • the learner 410 may generate or learn a recognition model having a criterion for determining a predetermined situation.
  • the learner 410 may generate a recognition model having a criterion based on the collected training data.
  • the learner 410 generates, learns, or updates an object recognition model having a criterion for determining a type of an object included in an image using at least one of a two-dimensional image including an object and a depth value as learning data. You can.
  • the learner 410 may generate, learn, or update a depth recognition model having a criterion for determining the depth of the object by using at least one of a two-dimensional image including the object and a depth value as learning data.
  • the above-described recognition model may be included in the first learning model and the second learning model.
  • the recognition unit 420 may estimate the recognition target included in the predetermined data using the predetermined data as input data of the learned recognition model.
  • the recognizer 420 obtains, estimates, or obtains information on the type of the object included in the 2D image using at least one of the 2D image including the object and the depth value as input data of the learned recognition model. Can deduce.
  • the recognizer 420 obtains, estimates, or infers depth information of an object included in the 2D image using at least one of a 2D image including the object and a depth value as input data of the learned recognition model. can do.
  • At least a part of the learner 410 and at least a part of the recognizer 420 may be implemented as a software module or manufactured in the form of at least one hardware chip and mounted on the electronic device 100.
  • at least one of the learner 410 and the recognizer 420 may be manufactured in the form of a dedicated hardware chip for artificial intelligence (AI), or an existing general purpose processor (eg, a CPU or an application). It may be manufactured as a part of a processor or a graphics dedicated processor (eg, a GPU) and mounted on the aforementioned various electronic devices or object recognition devices.
  • AI artificial intelligence
  • a graphics dedicated processor eg, a GPU
  • a dedicated hardware chip for artificial intelligence is a dedicated processor specialized for probability calculation, and has higher parallelism performance than a conventional general-purpose processor, so that a computational task in artificial intelligence such as machine learning can be processed quickly.
  • the software module may be a computer readable non-transitory readable recording medium. transitory computer readable media).
  • the software module may be provided by an operating system (OS) or by a predetermined application. Alternatively, some of the software modules may be provided by an operating system (OS), and others may be provided by a predetermined application.
  • the learner 410 and the recognizer 420 may be mounted on one electronic device or may be mounted on separate electronic devices, respectively.
  • one of the learner 410 and the recognizer 420 may be included in the electronic device 100, and the other may be included in an external server.
  • the learner 410 and the recognizer 420 may provide model information constructed by the learner 410 to the recognizer 420 through a wired or wireless connection, or may be input to the recognizer 420.
  • the data may be provided to the learner 410 as additional learning data.
  • 4B is a diagram illustrating a detailed configuration of a learner and a recognizer according to an exemplary embodiment.
  • the learner 410 may include a training data acquirer 410-1 and a model learner 410-4.
  • the learner 410 may further include at least one of a learning data preprocessor 410-2, a learning data selector 410-3, and a model evaluator 410-5.
  • the training data acquisition unit 410-1 may acquire training data necessary for a recognition model for inferring a recognition target.
  • the training data acquisition unit 410-1 acquires at least one of a two-dimensional image including an object, information on a type of an object, first depth information, and measured depth data of the object as learning data. can do.
  • the learning data may be data collected or tested by the learner 410 or the manufacturer of the learner 410.
  • the model learner 410-4 may train the recognition model to have a criterion regarding how the recognition model determines a predetermined recognition object by using the training data. For example, the model learner 410-4 may train the recognition model through supervised learning using at least some of the training data as a criterion. Alternatively, the model learner 410-4 learns the recognition model through unsupervised learning, for example, by discovering a criterion for determining a situation by learning by using learning data without any guidance. I can learn. In addition, the model learner 410-4 may train the recognition model through, for example, reinforcement learning using feedback on whether the result of the situation determination according to the learning is correct. In addition, the model learner 410-4 may train the recognition model using, for example, a learning algorithm including an error back-propagation method or a gradient descent method.
  • model learner 410-4 may learn a selection criterion about what training data should be used to estimate the recognition object using the input data.
  • the model learner 410-4 may determine a recognition model for learning that has a high correlation between the input training data and the basic training data.
  • the basic training data may be previously classified according to the type of data, and the recognition model may be built in advance for each type of data. For example, the basic training data is classified based on various criteria such as the region where the training data is generated, the time at which the training data is generated, the size of the training data, the genre of the training data, the creator of the training data, and the types of objects in the training data. It may be.
  • the model learner 410-4 may store the learned recognition model.
  • the model learner 410-4 may store the learned recognition model in the storage 130 of the electronic device 100.
  • the model learner 410-4 may store the learned recognition model in a memory of a server connected to the electronic device 100 through a wired or wireless network.
  • the learning unit 410 may include the training data preprocessor 410-2 and the training data selection unit 410-3 in order to improve analysis results of the recognition model or to save resources or time required for generating the recognition model. It may further include.
  • the training data preprocessor 410-2 may preprocess the acquired data so that the data acquired for learning for situation determination may be used.
  • the training data preprocessor 410-2 may process the acquired data into a preset format so that the model learner 410-4 may use the acquired data for learning to acquire depth information.
  • the training data selection unit 410-3 may select data required for learning from data acquired by the training data acquisition unit 410-1 or data preprocessed by the training data preprocessor 410-2.
  • the selected training data may be provided to the model learner 410-4.
  • the training data selector 410-3 may select the training data necessary for learning from the acquired or preprocessed data according to a predetermined selection criterion.
  • the training data selector 410-3 may select the training data according to a predetermined selection criterion by learning by the model learner 410-4.
  • the learner 410 may further include a model evaluator 410-5 in order to improve an analysis result of the data recognition model.
  • the model evaluator 410-5 may input the evaluation data into the recognition model, and may cause the model learner 410-4 to relearn if the analysis result output from the evaluation data does not satisfy a predetermined criterion.
  • the evaluation data may be predefined data for evaluating the recognition model.
  • the model evaluator 410-5 satisfies a predetermined criterion when the number or ratio of the evaluation data that is not accurate among the analysis results of the learned recognition model for the evaluation data exceeds a preset threshold. You can evaluate it as not.
  • the model evaluator 410-5 evaluates whether each learned recognition model satisfies a predetermined criterion, and determines a model satisfying the predetermined criterion as a final recognition model. Can be. In this case, when there are a plurality of models satisfying a predetermined criterion, the model evaluator 410-5 may determine any one or a predetermined number of models that are preset in the order of the highest evaluation score as the final recognition model.
  • the recognizer 420 may include a recognition data acquirer 420-1 and a recognition result provider 420-4.
  • the recognition unit 420 may further include at least one of the recognition data preprocessor 420-2, the recognition data selector 420-3, and the model updater 420-5.
  • the recognition data acquirer 420-1 may acquire data necessary for obtaining depth information.
  • the recognition result provider 420-4 may acquire depth information by applying the data acquired by the recognition data acquirer 420-1 to the recognition model learned as an input value.
  • the recognition result providing unit 420-4 may provide an analysis result according to the analysis purpose of the data.
  • the recognition result providing unit 420-4 may obtain the analysis result by applying the data selected by the recognition data preprocessor 420-2 or the recognition data selection unit 420-3 to be described later as an input value to the recognition model. have.
  • the analysis result can be determined by the recognition model.
  • the recognition result providing unit 420-4 may apply the trained recognition model to the 2D image including the object acquired by the recognition data obtaining unit 420-1 to obtain first depth information corresponding to the object. Can be acquired (or estimated).
  • the recognition result providing unit 420-4 may apply the first depth information acquired by the recognition data obtaining unit 420-1 and the measured depth data of the object to the learned recognition model to correspond to the object. 2 depth information may be obtained (or estimated).
  • the recognition unit 420 may use the recognition data preprocessor 420-2 and the recognition data selection unit 420-3 to improve analysis results of the recognition model or to save resources or time for providing the analysis results. It may further include.
  • the recognition data preprocessor 420-2 may preprocess the acquired data so that the obtained data may be used for obtaining depth information.
  • the recognition data preprocessor 420-2 may process the acquired data into a predefined format so that the recognition result providing unit 420-4 may use the acquired data for obtaining depth information.
  • the recognition data selector 420-3 may select data necessary for obtaining depth information from data acquired by the recognition data acquirer 420-1 or data preprocessed by the recognition data preprocessor 420-2. The selected data may be provided to the recognition result provider 420-4. The recognition data selector 420-3 may select some or all of the acquired or preprocessed data according to preset selection criteria for determining a situation. In addition, the recognition data selector 420-3 may select data according to a predetermined selection criterion by learning by the model learner 410-4.
  • the model updater 420-5 may control the recognition model to be updated based on the evaluation of the analysis result provided by the recognition result provider 420-4. For example, the model updater 420-5 provides the analysis result provided by the recognition result provider 420-4 to the model learner 410-4 so that the model learner 410-4 can be used. You can request to learn or update your recognition model.
  • FIG. 5 is a diagram for describing an image including 3D information obtained according to an exemplary embodiment.
  • the processor 120 may apply the obtained 3D information to the 2D image.
  • the processor 120 may apply three-dimensional information corresponding to the pixels included in the two-dimensional image to each pixel. Accordingly, the processor 120 may obtain a virtual 3D image using the 2D image.
  • the processor 120 may rotate the 3D image according to a user input.
  • the image when the 3D image obtained by the prior art is rotated, the image may be distorted because the depth information included in the 3D image is not accurate.
  • FIG. 5B when the 3D image obtained according to the exemplary embodiment of the present invention is rotated, the distortion of the image is less because the accuracy of the depth information included in the 3D image is high.
  • FIG. 6 is a flowchart illustrating a control method of an electronic device according to an embodiment of the present disclosure.
  • the electronic device 100 when the 2D image including the at least one object is received, applies the 2D image to the first learning model to determine first depth information of the at least one object. It can be obtained (S710).
  • the first depth information may include depth data according to the type of at least one object.
  • the first depth information may include information about an object type.
  • the electronic device 100 may identify the type of the object included in the 2D image using the first learning model to obtain a representative depth value of the object according to the identified type.
  • the electronic device 100 may obtain second depth information of at least one object by applying first depth information and measured depth data of at least one object to the second learning model in operation S720.
  • the electronic device 100 may obtain second depth information having higher accuracy than the first depth information by using the first depth information and the measured depth data acquired according to the object type.
  • the electronic device 100 may obtain 3D information on the 2D image based on the second depth information (S730).
  • the 3D information may include various spatial information such as a distance of an object included in the 2D image, a 3D shape, and the like.
  • At least some components of the various embodiments described above may be implemented in a recording medium readable by a computer or a similar device using software, hardware, or a combination thereof. .
  • at least some of the embodiments described herein may be implemented in the processor itself.
  • at least some components of the embodiments, such as the procedures and functions described herein may be implemented as separate software modules. Each of the software modules may perform one or more functions and operations described herein.
  • computer instructions for performing a processing operation of the electronic device may be stored in a non-transitory computer-readable medium.
  • the computer instructions stored in the non-transitory computer readable medium allow the specific device to perform processing operations in the electronic device according to the above-described various embodiments when executed by the processor of the specific device.
  • a non-transitory computer readable medium refers to a medium that stores data semi-permanently and is readable by a device, not a medium storing data for a short time such as a register, a cache, a memory, and the like.
  • Specific examples of non-transitory computer readable media may include CD, DVD, hard disk, Blu-ray disk, USB, memory card, ROM, and the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

인공 지능 알고리즘에 따라 학습된 학습 모델을 포함하는 전자 장치를 개시한다. 본 개시에 따른 전자 장치는 입력부 및 적어도 하나의 객체를 포함하는 2차원 영상이 입력부를 통해 수신되면, 2차원 영상을 제1 학습 모델에 적용하여 적어도 하나의 객체에 대한 제1 뎁스 정보를 획득하고, 제1 뎁스 정보 및 적어도 하나의 객체의 실측 뎁스 데이터를 제2 학습 모델에 적용하여 적어도 하나의 객체에 대한 제2 뎁스 정보를 획득하며, 제2 뎁스 정보에 기초하여 2차원 영상에 대한 3차원 정보를 획득하는 프로세서를 포함하며, 제1 뎁스 정보는, 적어도 하나의 객체의 타입에 따른 뎁스 데이터를 포함하도록 구현될 수 있다.

Description

전자 장치 및 그 제어 방법
본 발명은 2차원 영상으로부터 3차원 정보를 획득하는 전자 장치 및 그 제어 방법에 관한 것이다.
전자 기술의 발달에 힘입어 3차원 영상 데이터를 활용한 전자 기기가 보급되고 있다. 특히, 3차원 영상 데이터는 전자 산업, 의료 산업, 엔터테인먼트 산업 등 다양한 분야에서 활용되고 있다.
일반적으로, 스테레오 카메라와 같이 뎁스 정보를 별도로 획득하는 촬영 장치에 의해 3차원 데이터를 획득한다. 그러나, 일반인에게 보급된 일반적인 모노 카메라로는 뎁스 정보와 같은 3차원 영상 데이터를 획득하기 어려운 문제점이 있었다. 또한, 스테레오 카메라를 사용하더라도 일반인들은 뎁스 정보를 처리하여 2차원 영상에 응용하기 어려운 문제점이 있었다.
한편, 스테레오 카메라로 획득된 3차원 영상 데이터에는 촬영된 객체의 종류에 관한 정보가 없어 다양한 산업 분야에서 활용하기 어려운 문제점이 있었다.
본 발명은 상술한 필요성에 따른 것으로, 본 발명의 목적은, 인공 지능 알고리즘에 따라, 2차원 영상을 인공 지능 학습 모델에 적용하여 3차원 영상 정보를 제공함에 있다.
본 발명의 일 실시 예에 따르면 인공 지능 알고리즘에 따라 학습된 학습 모델을 포함하는 전자 장치에 있어서, 입력부 및 적어도 하나의 객체를 포함하는 2차원 영상이 상기 입력부를 통해 수신되면, 상기 2차원 영상을 제1 학습 모델에 적용하여 상기 적어도 하나의 객체에 대한 제1 뎁스 정보를 획득하고, 상기 제1 뎁스 정보 및 상기 적어도 하나의 객체의 실측 뎁스 데이터를 제2 학습 모델에 적용하여 상기 적어도 하나의 객체에 대한 제2 뎁스 정보를 획득하며, 상기 제2 뎁스 정보에 기초하여 상기 2차원 영상에 대한 3차원 정보를 획득하는 프로세서를 포함하며, 상기 제1 뎁스 정보는, 상기 적어도 하나의 객체의 타입에 따른 뎁스 데이터를 포함한다.
또한, 상기 프로세서는, 상기 2차원 영상을 제1 학습 모델에 적용하여 상기 적어도 하나의 객체의 타입에 대한 정보를 획득한다.
또한, 상기 제1 뎁스 정보는, 상기 객체에 포함된 복수의 픽셀 각각에 대응하는 뎁스 값을 포함하고, 상기 프로세서는, 상기 뎁스 값을 상기 제2 학습 모델에 적용하여, 상기 뎁스 값과 상기 복수의 픽셀 각각에 대응하는 상기 실측 뎁스 데이터 간의 유클리디언 거리(Euclidean distance)에 따라 상기 뎁스 값을 조정하여, 상기 제2 뎁스 정보를 획득한다.
한편, 상기 제1 학습 모델에 포함된 상기 뎁스 데이터는, 상기 객체의 타입에 따라 일반화된 대표 뎁스 값이며, 상기 제2 학습 모델에 포함된 상기 실측 뎁스 데이터는, 상기 적어도 하나의 객체를 스테레오 카메라로 촬영하여 획득된 실측 뎁스 값이다.
한편, 전자 장치는 촬영부를 포함할 수 있으며, 상기 촬영부는, 모노 카메라를 포함하며, 상기 2차원 영상은 상기 모노 카메라에 의해 촬영된 영상이다.
본 발명의 일 실시 예에 따른 전자 장치의 제어 방법에 있어서, 적어도 하나의 객체를 포함하는 2차원 영상이 수신되면, 상기 2차원 영상을 제1 학습 모델에 적용하여 상기 적어도 하나의 객체에 대한 제1 뎁스 정보를 획득하는 단계, 상기 제1 뎁스 정보 및 상기 적어도 하나의 객체의 실측 뎁스 데이터를 제2 학습 모델에 적용하여 상기 적어도 하나의 객체에 대한 제2 뎁스 정보를 획득하는 단계 및 상기 제2 뎁스 정보에 기초하여 상기 2차원 영상에 대한 3차원 정보를 획득하는 단계를 포함하고, 상기 제1 뎁스 정보는, 상기 적어도 하나의 객체의 타입에 따른 뎁스 데이터를 포함한다.
또한, 상기 제1 뎁스 정보를 획득하는 단계는, 상기 2차원 영상을 제1 학습 모델에 적용하여 상기 적어도 하나의 객체의 타입에 대한 정보를 획득한다.
또한, 상기 제1 뎁스 정보는, 상기 객체에 포함된 복수의 픽셀 각각에 대응하는 뎁스 값을 포함하고, 상기 제2 뎁스 정보를 획득하는 단계는, 상기 뎁스 값을 상기 제2 학습 모델에 적용하여, 상기 뎁스 값과 상기 복수의 픽셀 각각에 대응하는 상기 실측 뎁스 데이터 간의 유클리디언 거리(Euclidean distance)에 따라 상기 뎁스 값을 조정하여, 상기 제2 뎁스 정보를 획득한다.
한편, 상기 제1 학습 모델에 포함된 상기 뎁스 데이터는, 상기 객체의 타입에 따라 일반화된 대표 뎁스 값이며, 상기 제2 학습 모델에 포함된 상기 실측 뎁스 데이터는, 상기 적어도 하나의 객체를 스테레오 카메라로 촬영하여 획득된 실측 뎁스 값이다.
한편, 상기 2차원 영상은 모노 카메라에 의해 촬영된 영상이다.
본 발명의 일 실시 예에 따라 전자 장치의 프로세서에 의해 실행되는 경우 상기 전자 장치가 동작을 수행하도록 컴퓨터 명령을 저장하는 비일시적 컴퓨터 판독 가능 매체에 있어서, 상기 동작은, 적어도 하나의 객체를 포함하는 2차원 영상이 수신되면, 상기 2차원 영상을 제1 학습 모델에 적용하여 상기 적어도 하나의 객체에 대한 제1 뎁스 정보를 획득하는 단계, 상기 제1 뎁스 정보 및 상기 적어도 하나의 객체의 실측 뎁스 데이터를 제2 학습 모델에 적용하여 상기 적어도 하나의 객체에 대한 제2 뎁스 정보를 획득하는 단계 및 상기 제2 뎁스 정보에 기초하여 상기 2차원 영상에 대한 3차원 정보를 획득하는 단계를 포함하고, 상기 제1 뎁스 정보는, 상기 적어도 하나의 객체의 타입에 따른 뎁스 데이터를 포함할 수 있다.
또한, 상기 제1 뎁스 정보를 획득하는 단계는, 상기 2차원 영상을 제1 학습 모델에 적용하여 상기 적어도 하나의 객체의 타입에 대한 정보를 획득할 수 있다.
또한, 상기 제1 뎁스 정보는, 상기 객체에 포함된 복수의 픽셀 각각에 대응하는 뎁스 값을 포함하고, 상기 제2 뎁스 정보를 획득하는 단계는, 상기 뎁스 값을 상기 제2 학습 모델에 적용하여, 상기 뎁스 값과 상기 복수의 픽셀 각각에 대응하는 상기 실측 뎁스 데이터 간의 유클리디언 거리(Euclidean distance)에 따라 상기 뎁스 값을 조정하여, 상기 제2 뎁스 정보를 획득할 수 있다.
한편, 상기 제1 학습 모델에 포함된 상기 뎁스 데이터는, 상기 객체의 타입에 따라 일반화된 대표 뎁스 값이며, 상기 제2 학습 모델에 포함된 상기 실측 뎁스 데이터는, 상기 적어도 하나의 객체를 스테레오 카메라로 촬영하여 획득된 실측 뎁스 값이다.
한편, 상기 2차원 영상은 모노 카메라에 의해 촬영된 영상이다.
상술한 바와 같이 본 발명의 다양한 실시 예에 따르면, 사용자가 2차원 영상을 촬영하는 것 만으로 2차원 영상에 관한 3차원 정보를 용이하게 획득할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 전자 장치를 이용하여 2차원 영상에서 3차원 정보를 획득하는 동작을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시 예에 따른 전자 장치의 구성을 설명하기 위한 블록도이다.
도 3은 본 발명의 일 실시 예에 따른 전자 장치의 세부 구성을 설명하기 위한 블록도이다.
도 4a는 본 발명의 일 실시 예에 따른 인공 지능 알고리즘을 구현하기 위한 프로세서의 구성을 설명하기 위한 도면이다.
도 4b는 본 발명의 일 실시 예에 따른 학습부 및 인식부의 세부 구성을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시 예에 따라 획득한 3차원 정보를 포함하는 영상을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 개시에 대해 구체적으로 설명하기로 한다.　
본 개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 개시의 실시 예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 발명된 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 실시 예들을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 개시에서 "모듈" 혹은 "부"는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈" 혹은 복수의 "부"는 특정한 하드웨어로 구현될 필요가 있는 "모듈" 혹은 "부"를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.　그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1은 본 발명의 일 실시 예에 따른 전자 장치를 이용하여 2차원 영상에서 3차원 정보를 획득하는 동작을 설명하기 위한 도면이다.
본 발명의 일 실시 예에 따르면 전자 장치(100)는 모노 카메라를 포함하는 스마트폰으로 구현될 수 있다. 다만, 이는 설명의 편의를 위함이며, 전자 장치(100)는 카메라를 포함하지 않는 경우 외부에서 2차원 영상을 수신할 수 있는 다양한 전자 장치를 포함할 수 있다. 이에 따라, 전자 장치(100)는 컴퓨터, TV, 셋탑박스, 스마트폰, 스마트 워치 등 다양한 기기로 구현될 수 있다. 한편, 전자 장치(100)는 카메라와 2차원 영상을 수신할 수 있는 수신부를 동시에 포함할 수 있음은 물론이다.
본 발명의 일 실시 예에 따르면 전자 장치(100)는 외부 전경을 촬영할 수 있다. 전자 장치(100)는 외부 전경이 촬영된 2차원 이미지로부터 3차원 정보를 획득할 수 있다. 한편, 다른 실시 예에 따른 전자 장치(100)는 촬영된 2차원 이미지를 외부 장치로부터 수신하여 3차원 정보를 획득할 수 있다. 예를 들어, 3차원 정보는 뎁스 맵으로 획득할 수 있다.
전자 장치(100)는 2차원 이미지를 인공 지능 알고리즘에 따른 다양한 학습 모델을 적용하여 3차원 정보를 획득할 수 있다.
이 경우, 전자 장치(100)는 2차원 이미지를 제1 학습 모델에 적용하여 2차원 이미지에 포함된 객체의 타입에 따른 대략적인 뎁스 정보를 획득할 수 있다.
이 후, 전자 장치(100)는 획득한 뎁스 정보 및 실측 뎁스 데이터를 제2 학습 모델에 적용하여 정확도가 높은 뎁스 정보를 획득할 수 있다. 즉, 전자 장치(100)는 객체 타입에 따른 분류 학습을 통해 대략적인 뎁스 정보를 획득한 이후, 대략적인 뎁스 정보를 실측 뎁스 데이터에 가깝게 조정하여 정교한 뎁스 정보를 획득할 수 있다.
도 2는 본 발명의 일 실시 예에 따른 전자 장치의 구성을 설명하기 위한 블록도이다.
본 발명의 일 실시 예에 따른 전자 장치(100)는 입력부(110) 및 프로세서(120)를 포함할 수 있다.
입력부(110)는 2차원 영상을 획득하여 프로세서(120)로 전송할 수 있다. 이 경우, 2차원 영상은 적어도 하나의 객체를 포함할 수 있다.
본 발명의 일 실시 예에 따르면, 입력부(110)는 외부 장치로부터 2차원 영상을 수신할 수 있다. 구체적으로, 입력부(110)는 2차원 영상을 수신할 수 있는 적어도 하나의 인풋 포트를 포함할 수 있다. 각각의 포트는 예를 들어, DP, USB, HDMI, RGB, DVI, 썬더볼트, MHL, AES/EBU, 옵티컬(Optical), 코액셜(Coaxial) 등을 포함할 수 있다.
본 발명의 다른 실시 예에 따르면, 입력부(110)는 적어도 하나의 통신 모듈을 포함할 수 있다. 이 경우, 입력부(110)는 외부 장치 또는 서버로부터 2차원 영상을 수신할 수 있다. 예를 들어, 입력부(110)는 IR(Infrared), WI-FI(Wireless Fidelity), Bluetooh, Zigbee, 비콘(Beacon), NFC(near field communication), WAN, 이더넷(Ethernet), IEEE 1394 등과 같은 다양한 통신 방식을 통해 통신을 수행할 수도 있다. 한편, 입력부(110)는 입력 포트와 통신 모듈을 모두 포함할 수 있음은 물론이다.
프로세서(120)는 전자 장치(100)의 전반적인 동작을 제어한다.
본 발명의 일 실시 예에 따라, 프로세서(120)는 디지털 신호를 처리하는 디지털 시그널 프로세서(digital signal processor(DSP), 마이크로 프로세서(microprocessor), TCON(Time controller)으로 구현될 수 있다. 다만, 이에 한정되는 것은 아니며, 중앙처리장치(central processing unit(CPU)), MCU(Micro Controller Unit), MPU(micro processing unit), 컨트롤러(controller), 어플리케이션 프로세서(application processor(AP)), 또는 커뮤니케이션 프로세서(communication processor(CP)), ARM 프로세서 중 하나 또는 그 이상을 포함하거나, 해당 용어로 정의될 수 있다. 또한, 프로세서(120)는 프로세싱 알고리즘이 내장된 SoC(System on Chip), LSI(large scale integration)로 구현될 수도 있고, FPGA(Field Programmable gate array) 형태로 구현될 수도 있다.
프로세서(120)는 적어도 하나의 객체를 포함하는 2차원 영상이 입력부(110)를 통해 수신되면, 2차원 영상을 제1 학습 모델에 적용하여 적어도 하나의 객체에 대한 제1 뎁스 정보를 획득할 수 있다. 구체적으로, 프로세서(120)는 딥러닝의 다양한 학습 방법 중 분류(classification)에 의한 학습을 수행할 수 있다.
제1 뎁스 정보는 적어도 하나의 객체의 타입에 따른 뎁스 데이터를 포함할 수 있다. 예를 들어, 프로세서(120)는 2차원 영상을 제1 학습 모델에 적용하여 2차원 영상에 포함된 객체의 타입과 객체에 포함된 픽셀 각각에 대응하는 뎁스 값을 획득할 수 있다.
이 경우, 프로세서(120)는 객체의 타입에 따른 뎁스 데이터를 제1 학습 모델에 학습시킬 수 있으며,
한편, 뎁스 데이터는 객체의 타입에 따라 일반화된 대표 뎁스 값을 포함할 수 있다. 구체적으로, 프로세서(120)는 제1 학습 모델에 따라 객체의 타입 별로 일반화된 뎁스 값을 획득할 수 있으며, 프로세서(120)는 객체의 타입 별로 뎁스 값을 제1 학습 모델에 학습시켜, 객체의 타입 별로 일반화된 대표 뎁스 값을 학습시킬 수 있다.
예를 들어, 객체의 타입이 자동차인 경우, 일반적으로 자동차는 헤드라이트 부분이 앞유리보다 전면부에 위치한다. 프로세서(130)는 제1 학습 모델에 따라 자동차의 헤드라이트의 뎁스 값이 자동차 앞유리의 뎁스 값보다 낮다는 일반화된 뎁스 값을 학습하여 획득할 수 있다. 또한, 프로세서(130)는 제1 학습 모델에 따라 헤드라이트와 앞유리 등 자동차의 특징적인 형상을 식별하고, 제1 학습 모델에 따라 2차원 영상에 포함된 객체의 타입이 자동차임을 식별할 수 있다.
한편, 프로세서(120)는 2차원 영상의 객체에 포함된 각각의 픽셀 값을 제1 학습 모델에 적용하여, 객체에 포함된 각각의 픽셀에 대응하는 제1 뎁스 정보를 획득할 수 있다. 즉, 프로세서(120)는 각각의 픽셀 값에 대응되는 제1 뎁스 정보를 제1 학습 모델에 학습시킬 수 있다.
이에 따라, 프로세서(120)는 제1 학습 모델에 의해 객체의 타입에 따른 제1 뎁스 정보를 획득할 수 있다.
한편, 프로세서(120)는 제1 뎁스 정보 및 적어도 하나의 객체의 실측(ground truth) 뎁스 데이터를 제2 학습 모델에 적용하여 제2 뎁스 정보를 획득하며, 제2 뎁스 정보에 기초하여 2차원 영상에 대한 3차원 정보를 획득할 수 있다.
일 예로, 프로세서(120)가 획득한 제1 뎁스 정보는 객체 타입에 따라 근사화된 뎁스 값을 포함한다. 이에 따라, 프로세서(120)는 정교한 뎁스 값을 획득하기 위하여 실측 뎁스 데이터를 이용한 제2 학습 모델에 기초하여 3차원 정보를 획득한다.
이 경우, 실측 뎁스 데이터는 스테레오 카메라에 의해 획득된 뎁스 값을 포함할 수 있다. 또한, 실측 뎁스 데이터는 정확한 뎁스 데이터를 획득할 수 있는 시뮬레이터 환경에서 제공될 수 있다. 한편, 실측 뎁스 데이터는 저장부(130)에 저장되어 있거나, 외부 장치 및 서버로부터 수신할 수 있다.
또한, 프로세서(120)는 제1 뎁스 정보에 포함된 복수의 픽셀 각각에 대응하는 뎁스 값을 제2 학습 모델에 적용하여, 뎁스 값과 복수의 픽셀 각각에 대응하는 실측 뎁스 데이터 간의 유클리디언 거리(Euclidean distance)에 따라 상기 뎁스 값을 조정하여, 제2 뎁스 정보를 획득할 수 있다.
구체적으로, 프로세서(120)는 제1 학습 모델에 의해 예측된 제1 뎁스 정보와 실측 뎁스 데이터 간의 유클리디언 거리를 제2 학습 모델을 이용하여 획득하고, 획득된 거리에 기초하여 뎁스의 손실(loss)을 최소화시킨 제2 뎁스 정보를 획득할 수 있다.
이 경우, 프로세서(120)는 제2 학습 모델을 이용하여 제1 뎁스 정보에 포함된 각각의 픽셀과 실측 뎁스 데이터에 포함된 각각의 픽셀을 대응시켜, 각각의 픽셀에 포함된 뎁스 값의 유클리디언 거리를 획득할 수 있다.
또한, 프로세서(120)는 제2 학습 모델을 이용하여 획득된 복수의 유클리디언 거리의 평균이 최소화되도록 제1 뎁스 정보의 뎁스 값을 조정하여, 제2 뎁스 정보를 획득할 수 있다.
한편, 프로세서(120)가 획득한 제2 뎁스 정보는 객체의 타입에 관한 정보를 포함할 수 있다. 구체적으로, 프로세서(120)는 제1 뎁스 정보에 포함된 뎁스 값보다 정교한 제2 뎁스 정보에 포함된 뎁스 값에 기초하여, 객체의 타입에 관한 정보를 획득할 수 있다. 이 경우, 프로세서(120)는 제1 뎁스 정보에 포함된 뎁스 값에 기초하여 획득한 객체의 타입에 관한 정보보다 정확도가 높은 정보를 획득할 수 있다.
이에 따라, 프로세서(120)는 객체의 타입에 따라 획득한 제1 뎁스 정보 및 실측 뎁스 데이터에 기초하여 제1 뎁스 정보보다 정교한 제2 뎁스 정보를 획득할 수 있다.
한편, 프로세서(120)는 제2 뎁스 정보에 기초하여 2차원 영상에 대한 3차원 정보를 획득할 수 있다. 일 예로, 프로세서(120)는 제2 뎁스 정보에 기초하여 객체의 거리, 상대적 위치, XYZ좌표 값 등과 같은 3차원 정보를 획득할 수 있다.
도 3은 본 발명의 일 실시 예에 따른 전자 장치의 세부 구성을 설명하기 위한 블록도이다.
본 발명의 일 실시 예에 따른 전자 장치(100)는 입력부(110), 프로세서(120), 저장부(130) 및 촬영부(140)를 포함할 수 있다.
저장부(130)는 전자 장치(100)의 동작에 필요한 다양한 데이터를 저장한다. 일 예로, 저장부(130)는 2차원 영상으로부터 3차원 정보를 획득하기 위한 인공 지능 알고리즘에 따라 학습된 다양한 학습 모델을 저장할 수 있다.
특히, 저장부(130)는 프로세서(120)가 각종 처리를 실행하기 위해 필요한 데이터를 저장한다. 일 예로, 프로세서(120)에 포함된 롬(ROM), 램(RAM) 등의 내부 메모리로 구현되거나, 프로세서(120)와 별도의 메모리로 구현될 수도 있다. 이 경우, 저장부(130)는 데이터 저장 용도에 따라 전자 장치(100)에 임베디드된 메모리 형태로 구현되거나, 전자 장치(100)에 탈부착이 가능한 메모리 형태로 구현될 수도 있다. 예를 들어, 전자 장치(100)의 구동을 위한 데이터의 경우 전자 장치(100)에 임베디드된 메모리에 저장되고, 전자 장치(100)의 확장 기능을 위한 데이터의 경우 전자 장치(100)에 탈부착이 가능한 메모리에 저장될 수 있다. 한편, 전자 장치(100)에 임베디드된 메모리의 경우 비휘발성 메모리, 휘발성 메모리, 플래시 메모리, 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 등과 같은 형태로 구현되고, 전자 장치(100)에 탈부착이 가능한 메모리의 경우 메모리 카드(예를 들어, micro SD 카드, USB 메모리 등), USB 포트에 연결가능한 외부 메모리(예를 들어, USB 메모리) 등과 같은 형태로 구현될 수 있다.
촬영부(140)는 외부 전경을 2차원 영상으로 촬영할 수 있다. 일 실시 예에 따르면, 촬영부(140)는 모노 카메라를 포함할 수 있다. 촬영부(140)는 외부 전경의 특정 영역에 대해 복수의 픽셀로 구성된 2차원 영상을 획득할 수 있다. 촬영부(140)는 획득된 2차원 영상을 프로세서(120)로 전송할 수 있다.
한편, 모노 카메라는 스테레오 카메라와 달리 3차원 정보(예를 들어, 뎁스값)를 외부 전경을 촬영하여 직접 획득할 수 없는 카메라를 의미한다. 이 경우, CCD(Charge Coupled Device), CMOS(Complementary Metal Oxide Semiconductor) 등의 이미지 센서로 구현될 수 있다. CCD는 각각의 MOS(Metal-Oxide-Silicon) 커패시터가 서로 매우 근접한 위치에 있으면서 전하 캐리어가 커패시터에 저장되고 이송되는 소자이다. CMOS 이미지 센서는 제어회로(control circuit) 및 신호처리회로(signal processing circuit)를 주변회로로 사용하는 CMOS 기술을 이용하여 화소 수만큼 MOS 트랜지스터를 만들고 이것을 이용하여 차례차례 출력을 검출하는 스위칭 방식을 채용하는 소자이다.
도 4a는 본 발명의 일 실시 예에 따른 인공 지능 알고리즘을 구현하기 위한 프로세서의 구성을 설명하기 위한 도면이다.
도 4a를 참조하면, 프로세서(400)는 학습부(410) 및 인식부(420) 중 적어도 하나를 포함할 수 있다. 도 4a의 프로세서(400)는 도 2 및 도 3의 프로세서(120)에 대응된다.
학습부(410)는 소정의 상황 판단을 위한 기준을 갖는 인식 모델을 생성 또는 학습시킬 수 있다. 학습부(410)는 수집된 학습 데이터를 이용하여 판단 기준을 갖는 인식 모델을 생성할 수 있다.
일 예로, 학습부(410)는 객체가 포함된 2차원 영상 및 뎁스 값 중 적어도 하나를 학습 데이터로서 이용하여 영상에 포함된 객체의 타입을 판단하는 기준을 갖는 객체 인식 모델을 생성, 학습 또는 갱신시킬 수 있다.
다른 예로, 학습부(410)는 객체가 포함된 2차원 영상 및 뎁스 값 중 적어도 하나를 학습 데이터로 사용하여 객체의 뎁스를 판단하는 기준을 갖는 뎁스 인식 모델을 생성, 학습 또는 갱신 시킬 수 있다.
상술한 인식 모델은 제1 학습 모델 및 제2 학습 모델에 포함될 수 있다.
인식부(420)는 소정의 데이터를 학습된 인식 모델의 입력 데이터로 사용하여, 소정의 데이터에 포함된 인식 대상을 추정할 수 있다.
일 예로, 인식부(420)는 객체가 포함된 2차원 영상 및 뎁스 값 중 적어도 하나를 학습된 인식 모델의 입력 데이터로 사용하여 2차원 영상에 포함된 객체의 타입에 관한 정보를 획득, 추정 또는 추론할 수 있다.
다른 예로, 인식부(420)는 객체가 포함된 2차원 영상 및 뎁스 값 중 적어도 하나를 학습된 인식 모델의 입력 데이터로 사용하여 2차원 영상에 포함된 객체에 대한 뎁스 정보를 획득, 추정 또는 추론할 수 있다.
학습부(410)의 적어도 일부 및 인식부(420)의 적어도 일부는, 소프트웨어 모듈로 구현되거나 적어도 하나의 하드웨어 칩 형태로 제작되어 전자 장치(100)에 탑재될 수 있다. 예를 들어, 학습부(410) 및 인식부(420) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 전술한 각종 전자 장치 또는 객체 인식 장치에 탑재될 수도 있다. 이 때, 인공 지능을 위한 전용 하드웨어 칩은 확률 연산에 특화된 전용 프로세서로서, 기존의 범용 프로세서보다 병렬처리 성능이 높아 기계 학습과 같은 인공 지능 분야의 연산 작업을 빠르게 처리할 수 있다. 학습부(410) 및 인식부(420)가 소프트웨어 모듈(또는, 인스트럭션(instruction) 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 이 경우, 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 애플리케이션에 의해 제공될 수 있다. 또는, 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 애플리케이션에 의해 제공될 수 있다.
이 경우, 학습부(410) 및 인식부(420)는 하나의 전자 장치에 탑재될 수도 있으며, 또는 별개의 전자 장치들에 각각 탑재될 수도 있다. 예를 들어, 학습부(410) 및 인식부(420) 중 하나는 전자 장치(100)에 포함되고, 나머지 하나는 외부의 서버에 포함될 수 있다. 또한, 학습부(410) 및 인식부(420)는 유선 또는 무선으로 통하여, 학습부(410)가 구축한 모델 정보를 인식부(420)로 제공할 수도 있고, 인식부(420)로 입력된 데이터가 추가 학습 데이터로서 학습부(410)로 제공될 수도 있다.
도 4b는 본 발명의 일 실시 예에 따른 학습부 및 인식부의 세부 구성을 설명하기 위한 도면이다.
도 4b의 (a)를 참조하면, 일부 실시예에 따른 학습부(410)는 학습 데이터 획득부(410-1) 및 모델 학습부(410-4)를 포함할 수 있다. 또한, 학습부(410)는 학습 데이터 전처리부(410-2), 학습 데이터 선택부(410-3) 및 모델 평가부(410-5) 중 적어도 하나를 선택적으로 더 포함할 수 있다.
학습 데이터 획득부(410-1)는 인식 대상을 추론하기 위한 인식 모델에 필요한 학습 데이터를 획득할 수 있다. 본 문서의 실시예로, 학습 데이터 획득부(410-1)는 객체를 포함하는 2차원 영상, 객체의 타입에 관한 정보, 제1 뎁스 정보 및 객체의 실측 뎁스 데이터 중 적어도 하나를 학습 데이터로서 획득할 수 있다. 학습 데이터는 학습부(410) 또는 학습부(410)의 제조사가 수집 또는 테스트한 데이터가 될 수도 있다.
모델 학습부(410-4)는 학습 데이터를 이용하여, 인식 모델이 소정의 인식 대상을 어떻게 판단할 지에 관한 판단 기준을 갖도록 학습시킬 수 있다. 예로, 모델 학습부(410-4)는 학습 데이터 중 적어도 일부를 판단 기준으로 이용하는 지도 학습(supervised learning)을 통하여, 인식 모델을 학습시킬 수 있다. 또는, 모델 학습부(410-4)는, 예를 들어, 별다른 지도 없이 학습 데이터를 이용하여 스스로 학습함으로써, 상황의 판단을 위한 판단 기준을 발견하는 비지도 학습(unsupervisedlearning)을 통하여, 인식 모델을 학습시킬 수 있다. 또한, 모델 학습부(410-4)는, 예를 들어, 학습에 따른 상황 판단의 결과가 올바른 지에 대한 피드백을 이용하는 강화 학습(reinforcement learning)을 통하여, 인식 모델을 학습시킬 수 있다. 또한, 모델 학습부(410-4)는, 예를 들어, 오류 역전파법(error back-propagation) 또는 경사 하강법(gradient descent)을 포함하는 학습 알고리즘 등을 이용하여 인식 모델을 학습시킬 수 있다
또한, 모델 학습부(410-4)는 입력 데이터를 이용하여 인식 대상을 추정하기 위하여 어떤 학습 데이터를 이용해야 하는 지에 대한 선별 기준을 학습할 수도 있다.
모델 학습부(410-4)는 미리 구축된 인식 모델이 복수 개가 존재하는 경우, 입력된 학습 데이터와 기본 학습 데이터의 관련성이 큰 인식 모델을 학습할 인식 모델로 결정할 수 있다. 이 경우, 기본 학습 데이터는 데이터의 타입 별로 기 분류되어 있을 수 있으며, 인식 모델은 데이터의 타입 별로 미리 구축되어 있을 수 있다. 예를 들어, 기본 학습 데이터는 학습 데이터가 생성된 지역, 학습 데이터가 생성된 시간, 학습 데이터의 크기, 학습 데이터의 장르, 학습 데이터의 생성자, 학습 데이터 내의 오브젝트의 종류 등과 같은 다양한 기준으로 기 분류되어 있을 수 있다.
일 예로, 인식 모델이 학습되면, 모델 학습부(410-4)는 학습된 인식 모델을 저장할 수 있다. 이 경우, 모델 학습부(410-4)는 학습된 인식 모델을 전자 장치(100)의 저장부(130)에 저장할 수 있다. 또는, 모델 학습부(410-4)는 학습된 인식 모델을 전자 장치(100)와 유선 또는 무선 네트워크로 연결되는 서버의 메모리에 저장할 수도 있다.
학습부(410)는 인식 모델의 분석 결과를 향상시키거나, 인식 모델의 생성에 필요한 자원 또는 시간을 절약하기 위하여, 학습 데이터 전처리부(410-2) 및 학습 데이터 선택부(410-3)를 더 포함할 수도 있다.
학습 데이터 전처리부(410-2)는 상황 판단을 위한 학습에 획득된 데이터가 이용될 수 있도록, 획득된 데이터를 전처리할 수 있다. 학습 데이터 전처리부(410-2)는 모델 학습부(410-4)가 뎁스 정보 획득을 위한 학습을 위하여 획득된 데이터를 이용할 수 있도록, 획득된 데이터를 기 설정된 포맷으로 가공할 수 있다.
학습 데이터 선택부(410-3)는 학습 데이터 획득부(410-1)에서 획득된 데이터 또는 학습 데이터 전처리부(410-2)에서 전처리된 데이터 중에서 학습에 필요한 데이터를 선택할 수 있다. 선택된 학습 데이터는 모델 학습부(410-4)에 제공될 수 있다. 학습 데이터 선택부(410-3)는 기 설정된 선별 기준에 따라, 획득되거나 전처리된 데이터 중에서 학습에 필요한 학습 데이터를 선택할 수 있다. 또한, 학습 데이터 선택부(410-3)는 모델 학습부(410-4)에 의한 학습에 의해 기 설정된 선별 기준에 따라 학습 데이터를 선택할 수도 있다.
학습부(410)는 데이터 인식 모델의 분석 결과를 향상시키기 위하여, 모델 평가부(410-5)를 더 포함할 수도 있다.
모델 평가부(410-5)는 인식 모델에 평가 데이터를 입력하고, 평가 데이터로부터 출력되는 분석 결과가 소정 기준을 만족하지 못하는 경우, 모델 학습부(410-4)로 하여금 다시 학습하도록 할 수 있다. 이 경우, 평가 데이터는 인식 모델을 평가하기 위한 기 정의된 데이터일 수 있다.
예를 들어, 모델 평가부(410-5)는 평가 데이터에 대한 학습된 인식 모델의 분석 결과 중에서, 분석 결과가 정확하지 않은 평가 데이터의 개수 또는 비율이 미리 설정된 임계치를 초과하는 경우 소정 기준을 만족하지 못한 것으로 평가할 수 있다.
한편, 학습된 인식 모델이 복수 개가 존재하는 경우, 모델 평가부(410-5)는 각각의 학습된 인식 모델에 대하여 소정 기준을 만족하는지를 평가하고, 소정 기준을 만족하는 모델을 최종 인식 모델로서 결정할 수 있다. 이 경우, 소정 기준을 만족하는 모델이 복수 개인 경우, 모델 평가부(410-5)는 평가 점수가 높은 순으로 미리 설정된 어느 하나 또는 소정 개수의 모델을 최종 인식 모델로서 결정할 수 있다.
도 4b의 (b)를 참조하면, 일부 실시예에 따른 인식부(420)는 인식 데이터 획득부(420-1) 및 인식 결과 제공부(420-4)를 포함할 수 있다.
또한, 인식부(420)는 인식 데이터 전처리부(420-2), 인식 데이터 선택부(420-3) 및 모델 갱신부(420-5) 중 적어도 하나를 선택적으로 더 포함할 수 있다.
인식 데이터 획득부(420-1)는 뎁스 정보를 획득하는데 필요한 데이터를 획득할 수 있다. 인식 결과 제공부(420-4)는 인식 데이터 획득부(420-1)에서 획득된 데이터를 입력 값으로 학습된 인식 모델에 적용하여 뎁스 정보를 획득할 수 있다. 인식 결과 제공부(420-4)는 데이터의 분석 목적에 따른 분석 결과를 제공할 수 있다. 인식 결과 제공부(420-4)는 후술할 인식 데이터 전처리부(420-2) 또는 인식 데이터 선택부(420-3)에 의해 선택된 데이터를 입력 값으로 인식 모델에 적용하여 분석 결과를 획득할 수 있다. 분석 결과는 인식 모델에 의해 결정될 수 있다.
일 실시예로, 인식 결과 제공부(420-4)는 인식 데이터 획득부(420-1)에서 획득한 객체가 포함된 2차원 영상을 학습된 인식 모델 적용하여 객체에 대응하는 제1 뎁스 정보를 획득(또는, 추정)할 수 있다.
다른 실시예로, 인식 결과 제공부(420-4)는 인식 데이터 획득부(420-1)에서 획득한 제1 뎁스 정보 및 객체의 실측 뎁스 데이터를 학습된 인식 모델에 적용하여 객체에 대응하는 제2 뎁스 정보를 획득(또는, 추정)할 수 있다
인식부(420)는 인식 모델의 분석 결과를 향상시키거나, 분석 결과의 제공을 위한 자원 또는 시간을 절약하기 위하여, 인식 데이터 전처리부(420-2) 및 인식 데이터 선택부(420-3)를 더 포함할 수도 있다.
인식 데이터 전처리부(420-2)는 뎁스 정보 획득을 위해 획득된 데이터가 이용될 수 있도록, 획득된 데이터를 전처리할 수 있다. 인식 데이터 전처리부(420-2)는 인식 결과 제공부(420-4)가 뎁스 정보 획득을 위하여 획득된 데이터를 이용할 수 있도록, 획득된 데이터를 기 정의된 포맷으로 가공할 수 있다.
인식 데이터 선택부(420-3)는 인식 데이터 획득부(420-1)에서 획득된 데이터 또는 인식 데이터 전처리부(420-2)에서 전처리된 데이터 중에서 뎁스 정보 획득에 필요한 데이터를 선택할 수 있다. 선택된 데이터는 인식 결과 제공부(420-4)에게 제공될 수 있다. 인식 데이터 선택부(420-3)는 상황 판단을 위한 기 설정된 선별 기준에 따라, 획득되거나 전처리된 데이터 중에서 일부 또는 전부를 선택할 수 있다. 또한, 인식 데이터 선택부(420-3)는 모델 학습부(410-4)에 의한 학습에 의해 기 설정된 선별 기준에 따라 데이터를 선택할 수도 있다.
모델 갱신부(420-5)는 인식 결과 제공부(420-4)에 의해 제공되는 분석 결과에 대한 평가에 기초하여, 인식 모델이 갱신되도록 제어할 수 있다. 예를 들어, 모델 갱신부(420-5)는 인식 결과 제공부(420-4)에 의해 제공되는 분석 결과를 모델 학습부(410-4)에게 제공함으로써, 모델 학습부(410-4)가 인식 모델을 추가 학습 또는 갱신하도록 요청할 수 있다.
도 5는 본 발명의 일 실시 예에 따라 획득한 3차원 정보를 포함하는 영상을 설명하기 위한 도면이다.
본 발명의 일 실시 예에 따르면, 프로세서(120)는 획득된 3차원 정보를 2차원 영상에 적용할 수 있다. 구체적으로, 프로세서(120)는 2차원 영상에 포함된 픽셀에 대응되는 3차원 정보를 각각의 픽셀에 적용시킬 수 있다. 이에 따라, 프로세서(120)는 2차원 영상을 이용하여 가상의 3차원 영상을 획득할 수 있다.
프로세서(120)는 사용자의 입력에 따라 3차원 영상을 회전시킬 수 있다.
도 5의 (a)에 따르면, 종래 기술에 의해 획득된 3차원 영상을 회전시키는 경우, 3차원 영상에 포함된 뎁스 정보의 정확도가 떨어져 영상이 왜곡될 수 있다. 그러나, 도 5의 (b)에 따르면, 본 발명의 일 실시 예에 따라 획득된 3차원 영상을 회전시키는 경우, 3차원 영상에 포함된 뎁스 정보의 정확도가 높기 때문에 영상의 왜곡이 적다.
도 6은 본 발명의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
본 발명의 일 실시 예에 따르면, 전자 장치(100)는 적어도 하나의 객체를 포함하는 2차원 영상이 수신되면, 2차원 영상을 제1 학습 모델에 적용하여 적어도 하나의 객체에 대한 제1 뎁스 정보를 획득(S710)할 수 있다.
구체적으로, 제1 뎁스 정보는 적어도 하나의 객체의 타입에 따른 뎁스 데이터를 포함할 수 있다. 또한, 제1 뎁스 정보는 뎁스 값 이외에도 객체의 타입에 관한 정보를 포함할 수 있다.
또한, 전자 장치(100)는 제1 학습 모델을 이용하여 2차원 영상에 포함된 객체의 타입을 식별하여 식별된 타입에 따른 객체의 대표 뎁스 값을 획득할 수 있다.
한편, 전자 장치(100)는 제1 뎁스 정보 및 적어도 하나의 객체의 실측 뎁스 데이터를 제2 학습 모델에 적용하여 적어도 하나의 객체에 대한 제2 뎁스 정보를 획득(S720)할 수 있다.
구체적으로, 전자 장치(100)는 객체의 타입에 따라 획득한 제1 뎁스 정보와 실측 뎁스 데이터를 이용하여 제1 뎁스 정보보다 정확도가 높은 제2 뎁스 정보를 획득할 수 있다.
한편, 전자 장치(100)는 제2 뎁스 정보에 기초하여 2차원 영상에 대한 3차원 정보를 획득(S730)할 수 있다.
이 경우, 3차원 정보는 2차원 영상에 포함된 객체의 거리, 3차원 형상 등과 같은 다양한 공간 정보를 포함할 수 있다.
한편, 상술한 본 발명의 다양한 실시 예들에 따른 방법들 중 적어도 일부 구성은 기존 전자 장치에 설치 가능한 어플리케이션 형태로 구현될 수 있다.
또한, 상술한 본 발명의 다양한 실시 예들에 따른 방법들 중 적어도 일부 구성은, 기존 전자 장치에 대한 소프트웨어 업그레이드, 또는 하드웨어 업그레이드 만으로도 구현될 수 있다.
또한, 상술한 본 발명의 다양한 실시 예들 중 적어도 일부 구성은 전자 장치 에 구비된 임베디드 서버, 또는 전자 장치의 외부 서버를 통해 수행되는 것도 가능하다.
한편, 이상에서 설명된 다양한 실시 예들 중 적어도 일부 구성은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 일부 경우에 있어 본 명세서에서 설명되는 실시 예들 중 적어도 일부 구성이 프로세서 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들 중 적어도 일부 구성은 별도의 소프트웨어 모듈들로 구현될 수 있다. 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 동작을 수행할 수 있다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 전자 장치의 프로세싱 동작을 수행하기 위한 컴퓨터 명령어(computer instructions)는 비일시적 컴퓨터 판독 가능 매체(non-transitory computer-readable medium) 에 저장될 수 있다. 이러한 비일시적 컴퓨터 판독 가능 매체에 저장된 컴퓨터 명령어는 특정 기기의 프로세서에 의해 실행되었을 때 상술한 다양한 실시 예에 따른 전자 장치에서의 처리 동작을 특정 기기가 수행하도록 한다.
비일시적 컴퓨터 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 비일시적 컴퓨터 판독 가능 매체의 구체적인 예로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 있을 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (15)

  1. 인공 지능 알고리즘에 따라 학습된 학습 모델을 포함하는 전자 장치에 있어서,
    입력부; 및
    적어도 하나의 객체를 포함하는 2차원 영상이 상기 입력부를 통해 수신되면,
    상기 2차원 영상을 제1 학습 모델에 적용하여 상기 적어도 하나의 객체에 대한 제1 뎁스 정보를 획득하고,
    상기 제1 뎁스 정보 및 상기 적어도 하나의 객체의 실측 뎁스 데이터를 제2 학습 모델에 적용하여 상기 적어도 하나의 객체에 대한 제2 뎁스 정보를 획득하며,
    상기 제2 뎁스 정보에 기초하여 상기 2차원 영상에 대한 3차원 정보를 획득하는 프로세서;를 포함하며,
    상기 제1 뎁스 정보는, 상기 적어도 하나의 객체의 타입에 따른 뎁스 데이터를 포함하는, 전자 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 2차원 영상을 제1 학습 모델에 적용하여 상기 적어도 하나의 객체의 타입에 대한 정보를 획득하는, 전자 장치.
  3. 제2항에 있어서,
    상기 제1 뎁스 정보는, 상기 객체에 포함된 복수의 픽셀 각각에 대응하는 뎁스 값을 포함하고,
    상기 프로세서는,
    상기 뎁스 값을 상기 제2 학습 모델에 적용하여, 상기 뎁스 값과 상기 복수의 픽셀 각각에 대응하는 상기 실측 뎁스 데이터 간의 유클리디언 거리(Euclidean distance)에 따라 상기 뎁스 값을 조정하여, 상기 제2 뎁스 정보를 획득하는, 전자 장치.
  4. 제1항에 있어서,
    상기 제1 학습 모델에 포함된 상기 뎁스 데이터는, 상기 객체의 타입에 따라 일반화된 대표 뎁스 값이며,
    상기 제2 학습 모델에 포함된 상기 실측 뎁스 데이터는, 상기 적어도 하나의 객체를 스테레오 카메라로 촬영하여 획득된 실측 뎁스 값인, 전자 장치.
  5. 제1항에 있어서,
    촬영부;를 포함하며,
    상기 촬영부는, 모노 카메라를 포함하며,
    상기 2차원 영상은 상기 모노 카메라에 의해 촬영된 영상인, 전자 장치.
  6. 인공 지능 알고리즘에 따라 학습된 학습 모델을 포함하는 전자 장치의 제어 방법에 있어서,
    적어도 하나의 객체를 포함하는 2차원 영상이 수신되면, 상기 2차원 영상을 제1 학습 모델에 적용하여 상기 적어도 하나의 객체에 대한 제1 뎁스 정보를 획득하는 단계;
    상기 제1 뎁스 정보 및 상기 적어도 하나의 객체의 실측 뎁스 데이터를 제2 학습 모델에 적용하여 상기 적어도 하나의 객체에 대한 제2 뎁스 정보를 획득하는 단계; 및
    상기 제2 뎁스 정보에 기초하여 상기 2차원 영상에 대한 3차원 정보를 획득하는 단계;를 포함하고,
    상기 제1 뎁스 정보는, 상기 적어도 하나의 객체의 타입에 따른 뎁스 데이터를 포함하는, 제어 방법.
  7. 제6항에 있어서,
    상기 제1 뎁스 정보를 획득하는 단계는,
    상기 2차원 영상을 제1 학습 모델에 적용하여 상기 적어도 하나의 객체의 타입에 대한 정보를 획득하는, 제어 방법.
  8. 제7항에 있어서,
    상기 제1 뎁스 정보는, 상기 객체에 포함된 복수의 픽셀 각각에 대응하는 뎁스 값을 포함하고,
    상기 제2 뎁스 정보를 획득하는 단계는,
    상기 뎁스 값을 상기 제2 학습 모델에 적용하여, 상기 뎁스 값과 상기 복수의 픽셀 각각에 대응하는 상기 실측 뎁스 데이터 간의 유클리디언 거리(Euclidean distance)에 따라 상기 뎁스 값을 조정하여, 상기 제2 뎁스 정보를 획득하는, 제어 방법.
  9. 제6항에 있어서,
    상기 제1 학습 모델에 포함된 상기 뎁스 데이터는, 상기 객체의 타입에 따라 일반화된 대표 뎁스 값이며,
    상기 제2 학습 모델에 포함된 상기 실측 뎁스 데이터는, 상기 적어도 하나의 객체를 스테레오 카메라로 촬영하여 획득된 실측 뎁스 값인, 제어 방법.
  10. 제6항에 있어서,
    상기 2차원 영상은 모노 카메라에 의해 촬영된 영상인, 제어 방법.
  11. 인공 지능 알고리즘에 따라 학습된 학습 모델을 포함하는 전자 장치의 프로세서에 의해 실행되는 경우 상기 전자 장치가 동작을 수행하도록 컴퓨터 명령을 저장하는 비일시적 컴퓨터 판독 가능 매체에 있어서, 상기 동작은,
    적어도 하나의 객체를 포함하는 2차원 영상이 수신되면, 상기 2차원 영상을 제1 학습 모델에 적용하여 상기 적어도 하나의 객체에 대한 제1 뎁스 정보를 획득하는 단계;
    상기 제1 뎁스 정보 및 상기 적어도 하나의 객체의 실측 뎁스 데이터를 제2 학습 모델에 적용하여 상기 적어도 하나의 객체에 대한 제2 뎁스 정보를 획득하는 단계; 및
    상기 제2 뎁스 정보에 기초하여 상기 2차원 영상에 대한 3차원 정보를 획득하는 단계;를 포함하고,
    상기 제1 뎁스 정보는, 상기 적어도 하나의 객체의 타입에 따른 뎁스 데이터를 포함하는, 비일시적 컴퓨터 판독 가능 매체.
  12. 제11항에 있어서,
    상기 제1 뎁스 정보를 획득하는 단계는,
    상기 2차원 영상을 제1 학습 모델에 적용하여 상기 적어도 하나의 객체의 타입에 대한 정보를 획득하는, 비일시적 컴퓨터 판독 가능 매체.
  13. 제12항에 있어서,
    상기 제1 뎁스 정보는, 상기 객체에 포함된 복수의 픽셀 각각에 대응하는 뎁스 값을 포함하고,
    상기 제2 뎁스 정보를 획득하는 단계는,
    상기 뎁스 값을 상기 제2 학습 모델에 적용하여, 상기 뎁스 값과 상기 복수의 픽셀 각각에 대응하는 상기 실측 뎁스 데이터 간의 유클리디언 거리(Euclidean distance)에 따라 상기 뎁스 값을 조정하여, 상기 제2 뎁스 정보를 획득하는, 비일시적 컴퓨터 판독 가능 매체.
  14. 제11항에 있어서,
    상기 제1 학습 모델에 포함된 상기 뎁스 데이터는, 상기 객체의 타입에 따라 일반화된 대표 뎁스 값이며,
    상기 제2 학습 모델에 포함된 상기 실측 뎁스 데이터는, 상기 적어도 하나의 객체를 스테레오 카메라로 촬영하여 획득된 실측 뎁스 값인, 비일시적 컴퓨터 판독 가능 매체.
  15. 제11항에 있어서,
    상기 2차원 영상은 모노 카메라에 의해 촬영된 영상인, 비일시적 컴퓨터 판독 가능 매체.
PCT/KR2019/000101 2018-02-27 2019-01-03 전자 장치 및 그 제어 방법 WO2019168264A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/771,922 US11657520B2 (en) 2018-02-27 2019-01-03 Electronic device and method for controlling same
CN201980008878.0A CN111630568B (zh) 2018-02-27 2019-01-03 电子装置及其控制方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0023986 2018-02-27
KR1020180023986A KR102595787B1 (ko) 2018-02-27 2018-02-27 전자 장치 및 그 제어 방법

Publications (1)

Publication Number Publication Date
WO2019168264A1 true WO2019168264A1 (ko) 2019-09-06

Family

ID=67805040

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/000101 WO2019168264A1 (ko) 2018-02-27 2019-01-03 전자 장치 및 그 제어 방법

Country Status (4)

Country Link
US (1) US11657520B2 (ko)
KR (1) KR102595787B1 (ko)
CN (1) CN111630568B (ko)
WO (1) WO2019168264A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11503266B2 (en) 2020-03-06 2022-11-15 Samsung Electronics Co., Ltd. Super-resolution depth map generation for multi-camera or other environments

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110148196B (zh) * 2018-09-12 2022-03-25 腾讯大地通途（北京）科技有限公司 一种图像处理方法、装置以及相关设备
KR20200143960A (ko) * 2019-06-17 2020-12-28 현대자동차주식회사 영상을 이용한 객체 인식 장치 및 그 방법
JP7372076B2 (ja) * 2019-08-07 2023-10-31 ファナック株式会社 画像処理システム
KR20210061839A (ko) * 2019-11-20 2021-05-28 삼성전자주식회사 전자 장치 및 그 제어 방법
EP4097680A1 (en) * 2021-04-19 2022-12-07 Google LLC Depth estimation using a neural network

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170000748A (ko) * 2015-06-24 2017-01-03 삼성전자주식회사 얼굴 인식 방법 및 장치
US20170304732A1 (en) * 2014-11-10 2017-10-26 Lego A/S System and method for toy recognition
US9811756B2 (en) * 2015-02-23 2017-11-07 Mitsubishi Electric Research Laboratories, Inc. Method for labeling images of street scenes
KR101808840B1 (ko) * 2015-09-04 2017-12-13 한국전자통신연구원 학습 기반 깊이 정보 추출 방법 및 장치
KR20180004635A (ko) * 2016-07-04 2018-01-12 한양대학교 에리카산학협력단 신경망을 이용한 3차원 얼굴 복원 방법 및 장치

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130141433A1 (en) 2011-12-02 2013-06-06 Per Astrand Methods, Systems and Computer Program Products for Creating Three Dimensional Meshes from Two Dimensional Images
US11282287B2 (en) * 2012-02-24 2022-03-22 Matterport, Inc. Employing three-dimensional (3D) data predicted from two-dimensional (2D) images using neural networks for 3D modeling applications and other applications
KR101399274B1 (ko) 2012-09-27 2014-05-27 오승태 다중 패턴 빔을 이용하는 3차원 촬영 장치 및 방법
US9275078B2 (en) 2013-09-05 2016-03-01 Ebay Inc. Estimating depth from a single image
TWI524307B (zh) 2013-11-22 2016-03-01 Univ Nat Yunlin Sci & Tech Two - dimensional image depth value estimation method and its system
US10769453B2 (en) 2017-05-16 2020-09-08 Samsung Electronics Co., Ltd. Electronic device and method of controlling operation of vehicle
US9609307B1 (en) 2015-09-17 2017-03-28 Legend3D, Inc. Method of converting 2D video to 3D video using machine learning
EP3179407B1 (en) 2015-12-07 2022-07-13 Dassault Systèmes Recognition of a 3d modeled object from a 2d image
DE102016200225B4 (de) 2016-01-12 2017-10-19 Siemens Healthcare Gmbh Perspektivisches Darstellen eines virtuellen Szenebestandteils
US9792821B1 (en) 2016-03-25 2017-10-17 Toyota Jidosha Kabushiki Kaisha Understanding road scene situation and semantic representation of road scene situation for reliable sharing
CN106157307B (zh) * 2016-06-27 2018-09-11 浙江工商大学 一种基于多尺度cnn和连续crf的单目图像深度估计方法
KR102360181B1 (ko) 2017-05-16 2022-02-08 삼성전자주식회사 차량의 동작을 제어하는 전자 장치 및 방법
US10929654B2 (en) * 2018-03-12 2021-02-23 Nvidia Corporation Three-dimensional (3D) pose estimation from a monocular camera
US10861225B2 (en) * 2018-08-10 2020-12-08 Intel Corporation Neural network processing for multi-object 3D modeling
US10771763B2 (en) * 2018-11-27 2020-09-08 At&T Intellectual Property I, L.P. Volumetric video-based augmentation with user-generated content
KR102526700B1 (ko) * 2018-12-12 2023-04-28 삼성전자주식회사 전자 장치 및 그의 3d 이미지 표시 방법
US11087494B1 (en) * 2019-05-09 2021-08-10 Zoox, Inc. Image-based depth data and localization
US11657527B2 (en) * 2019-05-28 2023-05-23 X Development Llc Robotic control based on 3D bounding shape, for an object, generated using edge-depth values for the object
US11650597B2 (en) * 2019-07-09 2023-05-16 Samsung Electronics Co., Ltd. Electronic apparatus for identifying object through warped image and control method thereof
US11568650B2 (en) * 2020-12-14 2023-01-31 Woven Planet North America, Inc. Learning across 2D and 3D pipelines for improved object detection

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170304732A1 (en) * 2014-11-10 2017-10-26 Lego A/S System and method for toy recognition
US9811756B2 (en) * 2015-02-23 2017-11-07 Mitsubishi Electric Research Laboratories, Inc. Method for labeling images of street scenes
KR20170000748A (ko) * 2015-06-24 2017-01-03 삼성전자주식회사 얼굴 인식 방법 및 장치
KR101808840B1 (ko) * 2015-09-04 2017-12-13 한국전자통신연구원 학습 기반 깊이 정보 추출 방법 및 장치
KR20180004635A (ko) * 2016-07-04 2018-01-12 한양대학교 에리카산학협력단 신경망을 이용한 3차원 얼굴 복원 방법 및 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11503266B2 (en) 2020-03-06 2022-11-15 Samsung Electronics Co., Ltd. Super-resolution depth map generation for multi-camera or other environments

Also Published As

Publication number Publication date
CN111630568B (zh) 2023-11-10
US20200402251A1 (en) 2020-12-24
KR102595787B1 (ko) 2023-11-24
CN111630568A (zh) 2020-09-04
US11657520B2 (en) 2023-05-23
KR20190102906A (ko) 2019-09-04

Similar Documents

Publication Publication Date Title
WO2019168264A1 (ko) 전자 장치 및 그 제어 방법
WO2018212494A1 (ko) 객체를 식별하는 방법 및 디바이스
WO2017010695A1 (en) Three dimensional content generating apparatus and three dimensional content generating method thereof
WO2019221464A1 (en) Apparatus and method for recognizing an object in electronic device
WO2019164288A1 (en) Method for providing text translation managing data related to application, and electronic device thereof
WO2020204659A1 (en) Electronic device, method, and computer-readable medium for providing bokeh effect in video
WO2020032383A1 (ko) 이미지에 대한 인식 정보, 인식 정보와 관련된 유사 인식 정보, 및 계층 정보를 이용하여 외부 객체에 대한 인식 결과를 제공하는 전자 장치 및 그의 동작 방법
CN115699082A (zh) 缺陷检测方法及装置、存储介质及电子设备
WO2020085874A1 (en) Method and apparatus for dynamic image capturing based on motion information in image
WO2021045552A1 (en) Electronic device for image synthesis and operating method thereof
WO2021157904A1 (en) Electronic apparatus and controlling method thereof
WO2015056893A1 (en) Image processing apparatus and control method thereof
WO2021162353A1 (ko) 카메라를 포함하는 전자 장치 및 그의 동작 방법
WO2021157996A1 (en) Electronic device and method for processing image thereof
WO2016104990A1 (ko) 컨텐츠 제공 장치, 디스플레이 장치 및 그 제어 방법
EP3753237A1 (en) Electronic device and control method thereof
WO2021040345A1 (ko) 전자 장치 및 전자 장치의 제어 방법
WO2022098164A1 (ko) 전자 장치 및 전자 장치의 제어 방법
WO2019225875A1 (ko) 재고 추적 방법 및 장치
WO2022235075A1 (ko) 전자 장치 및 전자 장치의 동작 방법
WO2022177069A1 (ko) 라벨링 방법 및 이를 위한 컴퓨팅 장치
WO2022030943A1 (ko) 딥러닝에 기반한 이미지 분할 장치 및 방법
CN115240125A (zh) 一种场景图像中对象的检测方法及装置
WO2020067674A1 (ko) 자동 초점 방법 및 이를 수행하는 전자 장치
WO2019164352A1 (en) Electronic device for compressing image based on compression loss data related to compression of multiple blocks, which are segments of the image, and method for operating the same

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19761628

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19761628

Country of ref document: EP

Kind code of ref document: A1