WO2019031714A1 - 객체를 인식하는 방법 및 장치 - Google Patents

객체를 인식하는 방법 및 장치 Download PDF

Info

Publication number
WO2019031714A1
WO2019031714A1 PCT/KR2018/007828 KR2018007828W WO2019031714A1 WO 2019031714 A1 WO2019031714 A1 WO 2019031714A1 KR 2018007828 W KR2018007828 W KR 2018007828W WO 2019031714 A1 WO2019031714 A1 WO 2019031714A1
Authority
WO
WIPO (PCT)
Prior art keywords
characteristic information
images
unit
network model
learning
Prior art date
Application number
PCT/KR2018/007828
Other languages
English (en)
French (fr)
Inventor
정현주
이건희
최인권
김성진
최현수
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to US16/633,825 priority Critical patent/US11216694B2/en
Priority to CN201880051548.5A priority patent/CN110998601B/zh
Priority to EP18843146.4A priority patent/EP3629238A4/en
Publication of WO2019031714A1 publication Critical patent/WO2019031714A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Definitions

  • the disclosed embodiments relate to a method for recognizing an object, an apparatus for recognizing an object, and a recording medium on which a program for performing a method for recognizing an object is recorded.
  • AI Artificial intelligence
  • AI is a computer system that implements human-level intelligence. Unlike existing Rule-based smart systems, AI is a system in which machines learn, judge and become smart. Artificial intelligence systems are increasingly recognized and improving their understanding of user preferences as they are used, and existing rule-based smart systems are gradually being replaced by deep-run-based artificial intelligence systems.
  • Artificial intelligence technology consists of element technologies that utilize deep learning and machine learning.
  • Machine learning is an algorithm technology that classifies / learns the characteristics of input data by itself.
  • Element technology is a technology that simulates functions such as recognition and judgment of human brain using machine learning algorithms such as deep learning. Understanding, reasoning / prediction, knowledge representation, and motion control.
  • Linguistic understanding is a technology for recognizing, applying, and processing human language / characters, including natural language processing, machine translation, dialogue system, query response, speech recognition / synthesis, and the like.
  • Visual understanding is a technology for recognizing and processing objects as human vision, including object recognition, object tracking, image search, human recognition, scene understanding, spatial understanding, and image enhancement.
  • Inference prediction is a technique for judging and logically inferring and predicting information, including knowledge / probability based reasoning, optimization prediction, preference base planning, and recommendation.
  • Knowledge representation is a technology for automating human experience information into knowledge data, including knowledge building (data generation / classification) and knowledge management (data utilization).
  • the motion control is a technique for controlling the autonomous travel of the vehicle and the motion of the robot, and includes motion control (navigation, collision, traveling), operation control (behavior control), and the like.
  • the disclosed embodiment extracts the characteristics of the non-standardized object from a plurality of images including a specific object and uses the combined result of the characteristics of the extracted object to recognize the object, A device, and a recording medium.
  • the present invention relates to an artificial intelligence system and a method of recognizing an object according to an application thereof, which extracts first characteristic information of each of a plurality of images including an object, combines first characteristic information of each of the plurality of extracted images, A method of generating at least one second characteristic information related to an association between a plurality of images and recognizing an object included in a plurality of images using the created learning network model based on at least one second characteristic information .
  • FIG. 1 is a conceptual diagram for explaining a method of recognizing an object by an object recognition apparatus according to an embodiment.
  • FIG. 2 is a flowchart illustrating a method of an object recognition apparatus recognizing an object according to an exemplary embodiment of the present invention.
  • FIG. 3 is a view for explaining a method of recognizing an object included in a target image through combination of characteristic information of a plurality of images according to another embodiment of the present invention.
  • FIG. 4 is a flowchart illustrating a method of recognizing an object of a target image using an image selected from a plurality of images according to an embodiment of the present invention.
  • FIG. 5 is a flowchart illustrating a method of selecting an image used for object recognition by the object recognition apparatus according to an exemplary embodiment of the present invention.
  • FIG. 6 is a diagram for explaining a method of extracting a specific region for object recognition from a plurality of images based on motion information, according to an embodiment of the present invention.
  • FIG. 7 is a diagram for explaining a learning network model used by an object recognition apparatus according to an embodiment to recognize an object.
  • FIG. 8 is a diagram for explaining the second learning network model used by the object recognition apparatus according to an embodiment in more detail.
  • FIG. 9 is a diagram for explaining a difference learning layer of the second learning network model according to an embodiment.
  • FIG. 10 is a diagram for explaining a common learning layer of a second learning network model according to an embodiment.
  • 11 is a view for explaining a combining layer of the second learning network model according to an embodiment.
  • FIG. 12 is a block diagram of an object recognition apparatus for recognizing an object according to an embodiment.
  • FIG. 13 is a diagram for explaining a processor according to an embodiment.
  • FIG. 14 is a block diagram of a data learning unit according to an embodiment.
  • 15 is a block diagram of a data recognition unit according to an embodiment.
  • 16 is a block diagram of an object recognition apparatus according to another embodiment.
  • a method of recognizing an object includes extracting first characteristic information of each of a plurality of images including at least an object included in the content; Combining at least one second characteristic information of each of the plurality of extracted images to generate at least one second characteristic information about an association between the plurality of images; And recognizing an object included in the plurality of images using the pre-generated learning network model based on the at least one second characteristic information.
  • a method of recognizing an object including generating second characteristic information by linearly combining first characteristic information of each of a plurality of extracted images, It is possible to generate second characteristic information indicating one.
  • an apparatus for recognizing an object comprises: a memory for storing one or more instructions; An output section; And a processor for executing one or more instructions stored in the memory, the processor extracting first characteristic information of each of the plurality of images including the object, combining the first characteristic information of each of the extracted plurality of images, Generating at least one second characteristic information related to an association between a plurality of images and recognizing an object included in the plurality of images using the generated learning network model based on the at least one second characteristic information .
  • first, second, etc. may be used to describe various elements, but the elements are not limited by terms. Terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component.
  • the term " and / or " includes any combination of a plurality of related items or any of a plurality of related items.
  • part refers to a hardware component such as software, FPGA or ASIC, and “ part " However, “ part “ is not meant to be limited to software or hardware. &Quot; Part " may be configured to reside on an addressable storage medium and may be configured to play back one or more processors.
  • a is intended to be broadly interpreted as encompassing any and all patentable subject matter, including components such as software components, object oriented software components, class components and task components, Subroutines, segments of program code, drivers, firmware, microcode, circuitry, data, databases, data structures, tables, arrays and variables.
  • components such as software components, object oriented software components, class components and task components, Subroutines, segments of program code, drivers, firmware, microcode, circuitry, data, databases, data structures, tables, arrays and variables.
  • the functions provided in the components and " parts " may be combined into a smaller number of components and “ parts “ or further separated into additional components and " parts ".
  • FIG. 1 is a conceptual diagram for explaining a method of recognizing an object by the object recognition apparatus 100 according to an embodiment.
  • the object recognition apparatus 100 may acquire a plurality of images 10, 20, and 30 including an object.
  • the object recognition apparatus 100 may receive a plurality of images 10, 20, and 30 from an external device.
  • a plurality of images 10, 20, and 30 including an object may be acquired by using a camera provided in the object recognition apparatus 100.
  • the image can be used with the same meaning as the terms scene, frame, and the like.
  • the plurality of images 10, 20, and 30 may include images temporally and taxonomically related to each other.
  • the plurality of images 10, 20, and 30 may be images generated as a result of shooting the same object or objects of the same category at different times or at different positions.
  • an image to be recognized among a plurality of images 10, 20, and 30 is described as a target image 30, and other images related to the target image 30 are referred to as a first image 10, 2 image (20).
  • the object recognition apparatus 100 may acquire first characteristic information on each of the plurality of images 10, 20, and 30 using the first learning network model 40 generated beforehand.
  • the first learning network model 40 may be described herein as a feature extraction network.
  • the first characteristic information of the image e.g., 30
  • the object recognition apparatus 100 combines the first characteristic information of each of the plurality of images 10, 20 and 30 to acquire at least the first characteristic information of the plurality of images 10, 20, One second characteristic information can be obtained.
  • the object recognition apparatus 100 may obtain at least one second characteristic information through a linear combination of adding or subtracting the first characteristic information obtained from each of the plurality of images 10, 20, 30.
  • the first characteristic information may be obtained in a vector form, but this is only an embodiment, and the first characteristic information is not limited to a vector form.
  • the object recognition apparatus 100 recognizes an object 32 included in the target image 30 by using a second learning network model generated based on the obtained at least one second characteristic information can do.
  • the second learning network model 50 may be described in this specification as a characteristic combining network.
  • the object recognition apparatus 100 can extract an object from a plurality of images including an object even if the shape and size of the object are irregular by moving the object, By combining characteristic information and using it for object recognition, the accuracy of object recognition can be increased.
  • the object recognition apparatus 100 may be a smart phone, a tablet PC, a PC, a smart TV, a mobile phone, a personal digital assistant (PDA), a laptop, a media player, a micro server, , MP3 players, digital cameras, robot cleaners, consumer electronics, and other mobile or non-mobile computing devices.
  • the object recognition apparatus 100 may be a wearable apparatus such as a clock, a pair of glasses, a hair band, and a ring having a communication function and a data processing function.
  • FIG. 2 is a flowchart illustrating a method of an object recognition apparatus recognizing an object according to an exemplary embodiment of the present invention.
  • the object recognition apparatus may extract the first characteristic information of each of the plurality of images including the object.
  • the object recognition apparatus may acquire first characteristic information from each of a plurality of images using the first learning network model generated.
  • the first learning network model may be composed of a plurality of neural networks for extracting the first characteristic information in parallel from each of the plurality of images.
  • this is an embodiment only, and the object recognition apparatus may sequentially acquire the first characteristic information from each of the plurality of images using the first learning network model generated.
  • the first learning network model may be stored in the object recognition apparatus, but according to another embodiment, the object recognition apparatus may use the first learning network model stored in the external server to store the first characteristic information of each of the plurality of images It can also be obtained.
  • the object recognition apparatus can request the external server to extract the first characteristic information by transmitting a plurality of images to an external server, or by transmitting position information or the like capable of acquiring a plurality of images.
  • the object recognition apparatus may analyze each of the images to obtain the first characteristic information without using the first learning network model.
  • the object recognition apparatus may combine the first characteristic information of each of the plurality of extracted images to generate at least one second characteristic information on the relation between the plurality of images.
  • the object recognition apparatus may combine the first characteristic information of each of the plurality of extracted images.
  • the object recognition apparatus can linearly combine the first characteristic information by adding or subtracting the first characteristic vector constituting the first characteristic information of each of the plurality of extracted images.
  • the object recognition apparatus can generate at least one second characteristic information each representing a difference and a similarity between a plurality of images.
  • the object information may include characteristic information that can be changed depending on the photographing situation such as the position and time at which the object is photographed.
  • the similarity may include unique information of an object that does not change depending on the shooting situation.
  • the object recognition apparatus can recognize the object included in the plurality of images using the pre-generated learning network model based on the at least one second characteristic information.
  • the object recognition apparatus can acquire recognition results of the objects included in the target image among the plurality of images as output data have.
  • FIG. 3 is a view for explaining a method of recognizing an object included in a target image through combination of characteristic information of a plurality of images according to another embodiment of the present invention.
  • an object recognition apparatus 100 may acquire a plurality of images 310, 320, 340 through 370 associated with a target image 330 to recognize an object contained in the target image 330 have.
  • the plurality of images 310, 320, 340 to 370 associated with the target image 330 are temporally / taxonomically related images that have taken the object at different times, or have objects corresponding to the same category as the object . ≪ / RTI >
  • the object recognition apparatus 100 can acquire at least one first characteristic information for each of the plurality of images 310 to 370 using the first learning network model 40. [ The object recognition apparatus 100 may input at least one second characteristic information generated as a result of combining at least one first characteristic information into the second learning network model 50. [
  • the object recognition apparatus 100 can display information on an association between a plurality of images 310 to 370 obtained by combining first characteristic information. For example, when the first characteristic information of the target image 330 including the airplane is compared with the first characteristic information of the third image 340 including the automobile, the wing portion, which is one of the differences between the airplane and the automobile, The second characteristic information indicating that the non-existence is present may be generated. According to another example, a fourth image 350 including an airplane photographed at an angle different from the first characteristic information of the target image 330, and first characteristic information 350 of a fifth image 360 including another type of airplane The second characteristic information indicating the wing portion, which is a common point, can be generated.
  • the object recognition apparatus 100 applies the generated at least one second characteristic information to the input data of the second learning network model 50 to obtain the recognition result of the object included in the target image 330 as output data .
  • the recognition result of the object may be output as a value indicating the probability of coincidence with each of the plurality of objects, but this is only an example, and the form of the output data is not limited to the example described above.
  • FIG. 4 is a flowchart illustrating a method of recognizing an object of a target image using an image selected from a plurality of images according to an embodiment of the present invention.
  • the object recognition apparatus can select a plurality of images used for object recognition of the target image, based on at least one of the object recognition result and the difference between the frames.
  • the object recognition apparatus may select a plurality of images based on at least one of an object recognition result of a previous image among the acquired whole image sets and a difference between frames in order to increase object recognition efficiency. For example, the object recognition apparatus can select an image whose characteristic difference between images is within a predetermined range as a result of comparing each of the images included in the entire image set. The object recognizing apparatus can select an image whose characteristic difference between images is within a predetermined range to exclude an image unnecessary for recognizing an entirely different object or object and can not provide new information according to the characteristic as the difference is small Images can be excluded.
  • the object recognition apparatus may preprocess each of the plurality of selected images.
  • the object recognition apparatus can adjust parameters related to image quality such as brightness, sharpness, etc. of a plurality of images through preprocessing in order to set the environment equally in a comparison between a plurality of images.
  • image quality adjustment process described above is not included in the preprocessing process.
  • step S430 the object recognition apparatus can select the characteristic extraction region of each of the preprocessed images.
  • the object recognition apparatus can estimate an area including an object in an image based on motion information of the object recognition apparatus when the object is photographed. Thereby, the object recognition apparatus can select the estimated region as the characteristic extraction region of each image. For example, when the object recognizing apparatus moves to the left, the object recognizing apparatus can move the characteristic extracting region, which is an area estimated to be an object, relatively to the right.
  • the object recognition apparatus selects a characteristic extraction region of each image and uses it for object recognition, thereby reducing resources required for object recognition.
  • the object recognition apparatus can extract the characteristic information in each of the selected characteristic extraction regions using the first learning network model.
  • the extracted characteristic information can be described by the first characteristic information.
  • a method for the object recognition apparatus to extract the first characteristic information using the first learning network model may be the same as the method described above with reference to Figs. 1 to 3.
  • the object recognition apparatus can set the weight of each characteristic extraction region input to the first learning network model to be the same.
  • step S450 the object recognition apparatus can combine the extracted characteristic information.
  • the combined characteristic information can be described by the second characteristic information.
  • step S460 the object recognition apparatus can recognize an object included in the target image using the second learning network model based on the combined characteristic information.
  • the object recognition apparatus may set different weights of the at least one second characteristic information input to the second learning network according to the combination of the extracted characteristic information. However, this is only an embodiment, and the object recognition apparatus may set the same weight of at least one second characteristic information inputted to the first learning network.
  • FIG. 5 is a flowchart illustrating a method of selecting an image 510, 560 used for object recognition by an object recognition apparatus according to an exemplary embodiment of the present invention.
  • the object recognition apparatus may acquire a plurality of images 510 to 560 having temporal or taxonomic association with a target image.
  • the object recognition apparatus can select images 510 and 560 to be used for object recognition among the plurality of images 510 to 560 based on the difference between the plurality of images 510 to 560 and the object recognition result of the previous image.
  • the object recognition apparatus may select the first image 510 and the sixth image 560 whose differences are within a predetermined range as a result of comparing the characteristics between the plurality of images 510 to 560.
  • the image acquisition interval is short, and there may be little change in the objects included in each of them.
  • the benefit to be used for object recognition may be small.
  • the object recognition apparatus can further increase the image extraction interval so that only the first image 510 and the sixth image 560 of the plurality of images 510 to 560 can be selected.
  • the selected first image 510 and the selected sixth image 560 may be used for object recognition of the target image.
  • the object recognition apparatus can shorten the image extraction interval.
  • FIG. 6 is a diagram for explaining a method of extracting specific areas 612 to 632 for object recognition in a plurality of images 610 to 630 based on motion information according to an embodiment of the present invention.
  • the object recognition apparatus can acquire motion information of the photographing apparatus at the time when a plurality of images 610 to 630 are photographed.
  • the photographing apparatus may be an object recognizing apparatus, but may be an external apparatus.
  • the object recognition apparatus may set different regions to be extracted in the image based on the motion information for each of the plurality of images 610 to 630.
  • the first area 612 which is an extraction area for the first image 610, is predetermined through object recognition of the previous frame or the like.
  • the object recognition apparatus can confirm that the photographing apparatus moves to the left between the time of photographing the first image 610 and the time of photographing the second image 620 through the motion information. Accordingly, the object recognizing device determines the second area 622 corresponding to the portion of the second image 620, which is the extracted area of the first image 610, to the right, as the extraction area .
  • the object recognition apparatus can confirm that the photographing apparatus moves to the left between the time of photographing the second image 620 and the time of photographing the third image 630 through the motion information. Accordingly, the object recognition apparatus determines the third region 632 corresponding to the portion in which the second region 622, which is the extraction region of the second image 620, is shifted to the right in the third image 630, as the extraction region .
  • FIG. 7 is a diagram for explaining a learning network model used by an object recognition apparatus according to an embodiment to recognize an object.
  • the object recognition apparatus can acquire a target image 704 and a first image 702 having a temporal or taxonomic relationship with the target image.
  • the object recognition apparatus may use the first learning network model 710 to obtain at least one first characteristic information from the target image 704 and the first image 702, respectively.
  • the first learning network model 710 may be composed of a plurality of layers of different sizes (for example, 55x55x96, 55x55x128), and in FIG. 7, the first learning network model 710 may be divided into a plurality of images 702 and 704 It is assumed that the first learning network model 710 is composed of a plurality of neural networks so as to acquire one characteristic information. However, this is only an example, and the object recognition apparatus can acquire the first characteristic information sequentially from each of the plurality of images 702 and 704 using the first learning network model 710 composed of one neural network have.
  • the object recognition apparatus can linearly combine at least one first characteristic information obtained from each of the plurality of images 702, 704.
  • the linear combination may include a first linear combination to add the first characteristic information obtained in a vector form and a second linear combination to subtract the first characteristic information obtained in a vector form.
  • this is only an embodiment, and the method by which the object recognition apparatus combines at least one first characteristic information is not limited to the above-described example.
  • the object recognition apparatus may combine at least one first characteristic information with different weights, or may combine at least one first characteristic information according to a nonlinear method.
  • the object recognition apparatus can obtain at least one second characteristic information as a result of linearly combining at least one first characteristic information.
  • the object recognition apparatus can obtain the recognition result of the object included in the target image 704 as the output data 730 by applying the obtained at least one second characteristic information to the second learning network model 720 as input data have.
  • C represents the number of the class.
  • FIG. 8 is a diagram for explaining the second learning network model 820 used by the object recognition apparatus according to an embodiment.
  • the object recognition apparatus may obtain at least one first characteristic information of the target image 810 and at least one first characteristic information of the associated image 805.
  • the related image 805 may represent an image temporally or taxonomically related to the target image 810.
  • the object recognition apparatus may further include a second characteristic information generation unit that linearly combines at least one first characteristic information of the related image 805 with at least one first characteristic information of the target image 810, 2 < / RTI > learning network model 820 of FIG.
  • the second learning network model 820 may include a difference learning layer 822, a consistency learning layer 824, and an integration layer 825, 2 Learning Network Model 820, and the second learning network model 820 may be composed of a larger number of layers.
  • the difference learning layer 822, the common learning layer 824, and the combining layer 825 will be described later in more detail with reference to Figs. 9 to 11.
  • At least one pooling layer 832, 834 (for example, ). ≪ / RTI >
  • at least one pooling layer 832, 834 may be learned so that characteristics that can well represent the category of each image in addition to differences and similarities between images can be extracted.
  • FIG. 9 is a diagram for explaining a difference learning layer of the second learning network model according to an embodiment.
  • the difference learning layer may include a channel-wise difference layer 915 and at least one convolution layer 920.
  • the object recognition apparatus may include at least one second characteristic information obtained as a result of combining at least one first characteristic information of the target image 910 and at least one first characteristic information of the related image 905 into a second learning network model Can be input.
  • the difference learning layer uses a difference between the target image 910 and the related image 905 acquired through the combination of the at least one first characteristic information, so that the object recognition accuracy of the target frame 910 is improved You can learn the layer that creates the property.
  • the object recognition apparatus can acquire a new characteristic 930 calculated from the difference between images as a result of applying at least one second characteristic information to the difference learning layer as input data.
  • FIG. 10 is a diagram for explaining a common learning layer of a second learning network model according to an embodiment.
  • the common learning layer may include a channel-wise addition layer 1015 and at least one convolution layer 1020.
  • this is only an example, and the common learning layer of the present invention is not limited to the above-described example.
  • the object recognition apparatus may include at least one second characteristic information obtained by combining at least one first characteristic information of the target image 1010 and at least one first characteristic information of the related image 1005 to a second learning network model Can be input.
  • the common learning layer uses a sum of the target image 1010 and the related image 1005 acquired through the combination of the at least one first characteristic information, so that the object recognition accuracy of the target frame 1010 is improved You can learn the layer that creates the property.
  • the object recognition apparatus can acquire a new characteristic 1030 calculated from the sum between images as a result of applying at least one second characteristic information to the common point learning layer as input data.
  • 11 is a view for explaining a combining layer of the second learning network model according to an embodiment.
  • the binding layer includes a concatenation layer 1130, at least one convolution layer 1140 to 1160, a pooling layer 1170, and a soft-max layer 1180, . ≪ / RTI >
  • the object recognition apparatus can apply the new characteristic 1120 calculated from the difference between the images and the new characteristic 1120 calculated from the sum between the images, as described above with reference to Fig. 9, as the input data of the combining layer.
  • the combining layer can learn the convolution layer so that the object recognition accuracy of the target frame can be enhanced through the new characteristics 1110 and 1120 inputted.
  • the object recognition result in the target image can be output.
  • FIG. 12 is a block diagram of an object recognition apparatus 100 that recognizes an object according to an embodiment.
  • the object recognition apparatus 100 may include a memory 110, a processor 120, and a display 130.
  • Memory 110 may store programs (one or more instructions) for processing and control of processor 120. Programs stored in the memory 110 may be divided into a plurality of modules according to functions. According to one embodiment, the memory 110 may be configured with a data learning unit and a data recognition unit software module to be described later with reference to FIG. Further, the data learning unit and the data recognition unit may independently include a learning network model or may share one learning network model.
  • the processor 120 may include one or more cores (not shown) and a connection path (e.g., a bus, etc.) to transmit and receive signals to and / or from a graphics processing unit (not shown) .
  • a connection path e.g., a bus, etc.
  • the processor 120 may perform the operations of the object recognition apparatus described above with reference to Figs.
  • the processor 120 may obtain a target image including an object and at least one associated image associated with the target image.
  • the processor 120 may use the first learning network model to obtain the first characteristic information from each of the acquired plurality of images.
  • the processor 120 may combine the first characteristic information of each of the acquired plurality of images to obtain at least one second characteristic information.
  • the processor 120 may recognize an object of the target image using the generated second learning network model based on the obtained at least one second characteristic information.
  • the processor 120 may include a random access memory (RAM) (not shown) and a read only memory (ROM) for temporarily and / or permanently storing signals (or data) , Not shown).
  • the processor 120 may be implemented as a system-on-chip (SoC) including at least one of a graphics processing unit, a RAM, and a ROM.
  • SoC system-on-chip
  • the output unit 130 may display at least a part of the acquired plurality of images. Also, the output unit 130 may display the recognition result of the object included in the target image.
  • FIG. 13 is a diagram for explaining a processor 120 according to an embodiment.
  • the processor 120 may include a data learning unit 1310 and a data recognition unit 1320.
  • the data learning unit 1310 may learn a criterion for acquiring the first characteristic information from each of the plurality of images. Further, according to another embodiment, the data learning unit 1310 may learn a criterion for recognizing an object from at least one second characteristic information generated by combining first characteristic information of each of a plurality of images.
  • the data recognition unit 1320 may extract characteristic information of each of the plurality of images or recognize an object included in the target image based on the learned criterion through the data learning unit 1310.
  • At least one of the data learning unit 1310 and the data recognizing unit 1320 may be manufactured in at least one hardware chip form and mounted on the object recognizing apparatus.
  • at least one of the data learning unit 1310 and the data recognition unit 1320 may be fabricated in the form of a dedicated hardware chip for artificial intelligence (AI) or a conventional general purpose processor Or an application processor) or a graphics processor (e.g., a GPU), and may be mounted on various object recognition devices as described above.
  • AI artificial intelligence
  • a conventional general purpose processor Or an application processor an application processor
  • a graphics processor e.g., a GPU
  • the data learning unit 1310 and the data recognizing unit 1320 may be mounted on one object recognizing apparatus, or may be mounted on separate object recognizing apparatuses, respectively.
  • one of the data learning unit 1310 and the data recognition unit 1320 may be included in the object recognition apparatus, and the other may be included in the server.
  • the data learning unit 1310 and the data recognition unit 1320 may provide the model information constructed by the data learning unit 1310 to the data recognition unit 1320 via a wire or wireless communication, 1320 may be provided to the data learning unit 1310 as additional learning data.
  • At least one of the data learning unit 1310 and the data recognition unit 1320 may be implemented as a software module.
  • the software module may be a computer-readable, And may be stored in non-transitory computer readable media.
  • at least one software module may be provided by an operating system (OS) or by a predetermined application.
  • OS operating system
  • OS operating system
  • OS operating system
  • FIG. 14 is a block diagram of a data learning unit 1310 according to an embodiment.
  • a data learning unit 1310 includes a data obtaining unit 1410, a preprocessing unit 1420, a learning data selecting unit 1430, a model learning unit 1440, 1450).
  • the data learning unit 1310 may be configured with fewer components than the above-described configurations, or other components other than the above-described configurations may be additionally included in the data learning unit 1310.
  • the data acquisition unit 1410 may acquire at least one image in which other objects included in the same category as the object or the object are captured as learning data.
  • the data acquisition unit 1410 may acquire at least one image from an external object recognition apparatus capable of communicating with the object recognition apparatus including the data learning unit 1310 or the data learning unit 1310 can do.
  • At least one image acquired by the data acquisition unit 1410 may be one of images classified according to categories.
  • the data acquisition unit 1410 may perform learning based on images classified by species.
  • the preprocessing unit 1420 can preprocess the acquired image so that the acquired image can be used for learning the characteristic information of the image or learning for object recognition in the image.
  • the preprocessing unit 1420 can process the acquired at least one image into a predetermined format so that the model learning unit 1440, which will be described later, can use at least one image obtained for learning.
  • the learning data selection unit 1430 can select an image required for learning from the preprocessed data.
  • the selected image may be provided to the model learning unit 1440.
  • the learning data selection unit 1430 can select an image necessary for learning from among the preprocessed images according to a set criterion.
  • the model learning unit 1440 can learn a criterion for using the information from the image at a plurality of layers in the learning network model to acquire the characteristic information or recognize the object in the image.
  • the model learning unit 1440 may learn a first criterion on which layer of the plurality of layers included in the learning network model should use the extracted characteristic information for object recognition.
  • the first criterion includes the type and number of the first characteristic information or the second characteristic information of the image used for recognizing the object, the type and level of the combining operation, and the like, using the learning network model by the object recognition apparatus can do.
  • the model learning unit 1440 can determine a data recognition model in which the input learning data and the basic learning data are highly relevant, have.
  • the basic learning data may be pre-classified according to the type of data, and the data recognition model may be pre-built for each data type.
  • the basic learning data may be pre-classified by various criteria such as an area where the learning data is generated, a time at which the learning data is generated, a size of the learning data, a genre of the learning data, a creator of the learning data, .
  • model learning unit 1440 can learn the data recognition model through reinforcement learning using, for example, feedback as to whether the recognized object is correct according to learning.
  • the model learning unit 1440 can store the learned data recognition model.
  • the model learning unit 1440 can store the learned data recognition model in the memory of the object recognition apparatus including the data recognition unit 1320.
  • the model learning unit 1440 may store the learned data recognition model in the memory of the object recognition apparatus including the data recognition unit 1320 to be described later.
  • the model learning unit 1440 may store the learned data recognition model in a memory of a server connected to the object recognition apparatus via a wired or wireless network.
  • the memory in which the learned data recognition model is stored may also store, for example, a command or data associated with at least one other component of the object recognition apparatus.
  • the memory may also store software and / or programs.
  • the program may include, for example, a kernel, a middleware, an application programming interface (API) and / or an application program (or " application ").
  • the model evaluation unit 1450 inputs evaluation data to the data recognition model, and if the recognition result output from the evaluation data does not satisfy the predetermined criterion, the model evaluation unit 1450 can cause the model learning unit 1440 to learn again.
  • the evaluation data may be predetermined data for evaluating the data recognition model.
  • the evaluation data may include a matching ratio between the category of the recognized object and the category of the actual object based on the learning network model.
  • the model evaluating unit 1450 can evaluate whether each learning network model satisfies a predetermined criterion, and determine a model satisfying a predetermined criterion as a final learning network model.
  • At least one of the data acquisition unit 1410, the preprocessing unit 1420, the learning data selection unit 1430, the model learning unit 1440, and the model evaluation unit 1450 in the data learning unit 1310 includes at least one And can be mounted on the object recognition apparatus.
  • at least one of the data acquisition unit 1410, the preprocessor 1420, the learning data selection unit 1430, the model learning unit 1440, and the model evaluation unit 1450 may be an artificial intelligence (AI) (E.g., a CPU or an application processor) or a graphics processor (e.g., a GPU), and may be mounted on various object recognition devices as described above.
  • AI artificial intelligence
  • GPU graphics processor
  • the data acquisition unit 1410, the preprocessor 1420, the learning data selection unit 1430, the model learning unit 1440, and the model evaluation unit 1450 may be mounted on one object recognition apparatus, Respectively, of the object recognition apparatuses.
  • some of the data acquisition unit 1410, the preprocessing unit 1420, the learning data selection unit 1430, the model learning unit 1440, and the model evaluation unit 1450 are included in the object recognition apparatus, May be included in the server.
  • At least one of the data acquisition unit 1410, the preprocessor 1420, the learning data selection unit 1430, the model learning unit 1440, and the model evaluation unit 1450 may be implemented as a software module.
  • At least one of the data acquisition unit 1410, the preprocessing unit 1420, the learning data selection unit 1430, the model learning unit 1440, and the model evaluation unit 1450 is a software module (or a program including an instruction) Module), the software module may be stored in a computer-readable, readable non-transitory computer readable media.
  • the at least one software module may be provided by an operating system (OS) or by a predetermined application.
  • OS operating system
  • OS Operating System
  • some of the software module may be provided by an Operating System (OS)
  • some of the software modules may be provided by a predetermined application.
  • 15 is a block diagram of a data recognition unit 1320 according to an embodiment.
  • the data acquisition unit 1510 may acquire at least one image necessary for extracting characteristic information of an image or recognizing an object in an image
  • the preprocessor 1520 may acquire at least one image
  • the acquired image can be preprocessed so that at least one image can be used.
  • the preprocessing unit 1520 can process the acquired image into a predetermined format so that the recognition result providing unit 1540, which will be described later, can use the acquired image for extracting the characteristic information of the image or recognizing the object in the image.
  • the recognition data selection unit 1530 can select an image for characteristic extraction or object recognition from the preprocessed data. The selected data may be provided to the recognition result providing unit 1540.
  • the recognition result providing unit 1540 may apply the selected image to the learning network model according to an embodiment to extract characteristic information of the image or recognize an object in the image.
  • the method of extracting characteristic information or recognizing an object by inputting at least one image to the learning network model may correspond to the method described above with reference to FIGS.
  • the recognition result providing unit 1540 may provide a result of recognizing an object included in at least one image.
  • the model updating unit 1550 updates the classification classification network included in the learning network model or the parameters of at least one characteristic extraction layer based on the evaluation of the object recognition result in the image provided by the recognition result providing unit 1540 Information about evaluation to be updated so that the model learning unit 1440 can be provided with reference to FIG.
  • At least one of the data acquiring unit 1510, the preprocessing unit 1520, the recognition data selecting unit 1530, the recognition result providing unit 1540 and the model updating unit 1550 in the data recognizing unit 1320 may be, It can be manufactured in the form of one hardware chip and mounted on the object recognition device.
  • at least one of the data acquisition unit 1510, the preprocessing unit 1520, the recognition data selection unit 1530, the recognition result providing unit 1540, and the model updating unit 1550 may be a dedicated hardware chip for artificial intelligence Or may be mounted on a variety of object recognition devices that are manufactured as part of a conventional general purpose processor (e.g., a CPU or an application processor) or a graphics processor (e.g., a GPU).
  • the data acquisition unit 1510, the preprocessing unit 1520, the recognition data selection unit 1530, the recognition result providing unit 1540 and the model updating unit 1550 may be installed in one object recognition apparatus, Or may be mounted on separate object recognition devices, respectively.
  • some of the data acquiring unit 1510, the preprocessing unit 1520, the recognition data selecting unit 1530, the recognition result providing unit 1540, and the model updating unit 1550 are included in the object recognizing apparatus, Some may be included in the server.
  • At least one of the data acquisition unit 1510, the preprocessing unit 1520, the recognition data selection unit 1530, the recognition result providing unit 1540, and the model updating unit 1550 may be implemented as a software module.
  • At least one of the data acquisition unit 1510, the preprocessing unit 1520, the recognition data selection unit 1530, the recognition result providing unit 1540 and the model updating unit 1550 may be a software module (or an instruction) Program modules), the software modules may be stored in a computer-readable, readable non-transitory computer readable media.
  • at least one software module may be provided by an operating system (OS) or by a predetermined application.
  • some of the at least one software module may be provided by an operating system (OS), and some of the software modules may be provided by a predetermined application.
  • 16 is a block diagram of an object recognition apparatus 1600 according to another embodiment.
  • an object recognition apparatus 1600 includes a memory 1660 corresponding to the memory 110, the processor 120 and the output unit 130, a processor 1620, And may further include an input unit 1610, an A / V input unit 1640, and a communication unit 1650 in addition to the input unit 1630.
  • the input unit 1610 means a means for the user to input data for controlling the object recognition apparatus 1600.
  • the input unit 1610 may include a key pad, a dome switch, a touch pad (contact type capacitance type, pressure type resistive type, infrared ray detection type, surface ultrasonic wave conduction type, A measurement method, a piezo effect method, etc.), a jog wheel, a jog switch, and the like, but is not limited thereto.
  • the input unit 1610 may use a touchpad to receive a user input that requests the capture of an image or the display of an image.
  • a touchpad may be used to receive a user input that requests the capture of an image or the display of an image.
  • the input unit 1610 may receive a user input requesting reproduction of the content from the user through an input device such as a remote controller.
  • the processor 1620 typically controls the overall operation of the object recognition device 1600 and the signal flow between the internal components of the object recognition device 1000 and performs processing of the data.
  • the processor 1620 may include an input 1610, an output 1630, an A / V input 1640, and a communications unit 1650, such as by executing programs (one or more instructions) ) Can be generally controlled.
  • the processor 1620 may be configured to extract first characteristic information from an image using a learning network model to perform the functions of the object recognition apparatus 100 described above with reference to FIGS. 1 to 11, And may control the components of the object recognition apparatus 1600 to recognize the object included in the target image from the at least one second characteristic information generated by combining the characteristic information.
  • the processor 1620 corresponds to the processor 120 of FIG. 12, and thus a detailed description thereof will be omitted.
  • the output unit 1630 can output the acquired image to the object recognition apparatus 1600. [ Also, the output unit 1630 may output the recognition result of the object included in the target image.
  • the output unit 1630 may include a display unit 1631 and an audio output unit 1632.
  • the display unit 1631 displays and outputs the information processed by the object recognizing apparatus 1600.
  • the display unit 1631 and the touch pad have a layer structure and are configured as a touch screen
  • the display unit 1631 may be used as an input device in addition to the output device.
  • the sound output unit 1632 outputs audio data received from the communication unit 1650 or stored in the memory 1660.
  • the A / V (Audio / Video) input unit 1640 is for inputting an audio signal or a video signal, and may include a camera 1641, a microphone 1642, and the like.
  • the camera 1641 captures an image in the camera recognition range.
  • the image captured by the camera 1641 in accordance with one embodiment may be imaged by the processor 1620 and displayed and output through the display portion 1631.
  • the communication unit 1650 may include one or more components for communicating with an external server (e.g., an SNS server, a cloud server, a content providing server, etc.) and other external devices.
  • the communication unit 1650 may include a short-range communication unit 1651, a mobile communication unit 1652, and a broadcast reception unit 1653.
  • the short-range wireless communication unit 1651 includes a Bluetooth communication unit, a Bluetooth low energy (BLE) communication unit, a near field communication unit, a WLAN communication unit, a Zigbee communication unit, IrDA, an infrared data association) communication unit, a WFD (Wi-Fi Direct) communication unit, an UWB (ultra wideband) communication unit, an Ant + communication unit, and the like.
  • BLE Bluetooth low energy
  • the mobile communication unit 1652 transmits and receives a radio signal to at least one of a base station, an external terminal, and a server on a mobile communication network.
  • the radio signal may include various types of data according to the content transmission / reception.
  • the broadcast receiving unit 1653 receives broadcast signals and / or broadcast-related information from outside through a broadcast channel.
  • the object recognition apparatus 1600 may not include the broadcast receiver 1653 according to the embodiment.
  • communication portion 1650 may receive an image from an external server and provide the received image to processor 1620.
  • the memory 1660 may store programs (e.g., one or more instructions, a first learning network model, a second learning network model) for processing and controlling the processor 1620, (E.g., an object recognition result) that is input from the object recognition apparatus 1600 or that is output from the object recognition apparatus 1600.
  • programs e.g., one or more instructions, a first learning network model, a second learning network model
  • Programs stored in the memory 1660 can be classified into a plurality of modules according to their functions, for example, a UI module 1661 and a touch screen module 1662.
  • the UI module 1661 can provide a specialized UI, a GUI, and the like that are interlocked with the object recognition apparatus 1600 for each application.
  • the touchscreen module 1662 can detect a touch gesture on the user's touch screen and pass information to the processor 1620 about the touch gesture.
  • the touch screen module 1662 according to an embodiment of the present invention can recognize and analyze the touch code.
  • the touch screen module 1662 may be configured as separate hardware including a controller.
  • the memory 1660 may be a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (e.g., SD or XD memory), a RAM (RAM), a static random access memory (SRAM), a ROM, an electrically erasable programmable read-only memory (EEPROM), a programmable read-only memory (PROM) Storage media.
  • a card type memory e.g., SD or XD memory
  • RAM random access memory
  • SRAM static random access memory
  • ROM read-only memory
  • EEPROM electrically erasable programmable read-only memory
  • PROM programmable read-only memory
  • the configuration of the object recognition apparatus 1600 shown in FIG. 16 is an embodiment, and each element of the object recognition apparatus 1600 may be integrated, added, or omitted according to the specification of the object recognition apparatus to be implemented . That is, two or more constituent elements may be combined into one constituent element, or one constituent element may be constituted by two or more constituent elements, if necessary.
  • the functions performed in each configuration (or module) are intended to illustrate embodiments, and the specific operation or apparatus does not limit the scope of the present invention.
  • the computer readable recording medium may be a magnetic storage medium such as a ROM, a floppy disk, a hard disk, etc., an optical reading medium such as a CD-ROM or a DVD and a carrier wave such as the Internet Lt; / RTI > transmission).

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 개시는 딥러닝 등의 기계 학습 알고리즘을 활용하여 인간 두뇌의 인지, 판단 등의 기능을 모사하는 인공지능(AI) 시스템 및 그 응용에 관련된 것이다. 특히, 본 개시는 인공지능 시스템 및 그 응용에 따라 객체를 인식하는 방법으로, 객체가 포함된 복수의 이미지 각각의 제 1 특성 정보를 추출하고, 추출된 복수의 이미지 각각의 제 1 특성 정보를 결합하여, 복수의 이미지 간의 연관 관계에 관한 적어도 하나의 제 2 특성 정보를 생성하며, 적어도 하나의 제 2 특성 정보를 기초로, 기 생성된 학습 네트워크 모델을 이용하여 복수의 이미지에 포함된 객체를 인식하는 방법을 개시한다.

Description

객체를 인식하는 방법 및 장치
개시된 실시예는 객체를 인식하는 방법, 객체를 인식하는 장치 및 객체를 인식하는 방법을 수행하는 프로그램이 기록된 기록매체에 관한 것이다.
인공지능(Artificial Intelligence, AI) 시스템은 인간 수준의 지능을 구현하는 컴퓨터 시스템이며, 기존 Rule 기반 스마트 시스템과 달리 기계가 스스로 학습하고 판단하며 똑똑해지는 시스템이다. 인공지능 시스템은 사용할수록 인식률이 향상되고 사용자 취향을 보다 정확하게 이해할 수 있게 되어, 기존 Rule 기반 스마트 시스템은 점차 딥러닝 기반 인공지능 시스템으로 대체되고 있다.
인공지능 기술은 기계학습(딥러닝) 및 기계학습을 활용한 요소 기술들로 구성된다.
기계학습은 입력 데이터들의 특징을 스스로 분류/학습하는 알고리즘 기술이며, 요소기술은 딥러닝 등의 기계학습 알고리즘을 활용하여 인간 두뇌의 인지, 판단 등의 기능을 모사하는 기술로서, 언어적 이해, 시각적 이해, 추론/예측, 지식 표현, 동작 제어 등의 기술 분야로 구성된다.
인공지능 기술이 응용되는 다양한 분야는 다음과 같다. 언어적 이해는 인간의 언어/문자를 인식하고 응용/처리하는 기술로서, 자연어 처리, 기계 번역, 대화시스템, 질의 응답, 음성 인식/합성 등을 포함한다. 시각적 이해는 사물을 인간의 시각처럼 인식하여 처리하는 기술로서, 객체 인식, 객체 추적, 영상 검색, 사람 인식, 장면 이해, 공간 이해, 영상 개선 등을 포함한다. 추론 예측은 정보를 판단하여 논리적으로 추론하고 예측하는 기술로서, 지식/확률 기반 추론, 최적화 예측, 선호 기반 계획, 추천 등을 포함한다. 지식 표현은 인간의 경험정보를 지식데이터로 자동화 처리하는 기술로서, 지식 구축(데이터 생성/분류), 지식 관리(데이터 활용) 등을 포함한다. 동작 제어는 차량의 자율 주행, 로봇의 움직임을 제어하는 기술로서, 움직임 제어(항법, 충돌, 주행), 조작 제어(행동 제어) 등을 포함한다.
개시된 실시예는 특정 객체가 포함된 복수의 이미지로부터 비정형화된 객체의 특성을 추출하고, 추출된 객체의 특성을 결합한 결과를 객체의 인식에 이용함으로써, 보다 효과적으로 이미지의 객체를 인식할 수 있는 객체를 인식하는 방법, 장치 및 기록매체를 제공할 수 있다.
본 개시는 인공지능 시스템 및 그 응용에 따라 객체를 인식하는 방법으로, 객체가 포함된 복수의 이미지 각각의 제 1 특성 정보를 추출하고, 추출된 복수의 이미지 각각의 제 1 특성 정보를 결합하여, 복수의 이미지 간의 연관 관계에 관한 적어도 하나의 제 2 특성 정보를 생성하며, 적어도 하나의 제 2 특성 정보를 기초로, 기 생성된 학습 네트워크 모델을 이용하여 복수의 이미지에 포함된 객체를 인식하는 방법을 개시한다.
도 1은 일 실시예에 따른 객체 인식 장치가 객체를 인식하는 방법을 설명하기 위한 개념도이다.
도 2는 일 실시예에 따른 객체 인식 장치가 객체를 인식하는 방법을 설명하기 위한 흐름도이다.
도 3은 일 실시예에 다른 따른 객체 인식 장치가 복수의 이미지의 특성 정보의 결합을 통해 타겟 이미지에 포함된 객체를 인식하는 방법을 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 객체 인식 장치가 복수의 이미지 중 선택된 이미지를 이용하여 타겟 이미지의 객체를 인식하는 방법을 설명하기 위한 흐름도이다.
도 5는 일 실시예에 따른 객체 인식 장치가 객체 인식에 이용되는 이미지를 선택하는 방법을 설명하기 위한 흐름도이다.
도 6은 일 실시예에 따른 객체 인식 장치가 움직임 정보를 기초로 복수의 이미지에서 객체 인식을 위한 특정 영역을 추출하는 방법을 설명하기 위한 도면이다.
도 7은 일 실시예에 따른 객체 인식 장치가 객체를 인식하는데 이용하는 학습 네트워크 모델을 설명하기 위한 도면이다.
도 8은 일 실시예에 따른 객체 인식 장치가 객체 인식에 이용하는 제 2 학습 네트워크 모델을 보다 구체적으로 설명하기 위한 도면이다.
도 9는 일 실시예에 따른 제 2 학습 네트워크 모델의 차이점 학습 레이어를 설명하기 위한 도면이다.
도 10은 일 실시예에 따른 제 2 학습 네트워크 모델의 공통점 학습 레이어를 설명하기 위한 도면이다.
도 11은 일 실시예에 따른 제 2 학습 네트워크 모델의 결합 레이어를 설명하기 위한 도면이다.
도 12는 일 실시예에 따라 객체를 인식하는 객체 인식 장치의 블록도이다.
도 13은 일 실시예에 따른 프로세서를 설명하기 위한 도면이다.
도 14는 일 실시예에 따른 데이터 학습부의 블록도이다.
도 15는 일 실시예에 따른 데이터 인식부의 블록도이다.
도 16은 다른 실시예에 따른 객체 인식 장치의 블록도이다.
일 실시예에 따라 객체를 인식하는 방법은, 컨텐트에 포함된 적어도 객체가 포함된 복수의 이미지 각각의 제 1 특성 정보를 추출하는 단계; 추출된 복수의 이미지 각각의 제 1 특성 정보를 결합하여, 복수의 이미지 간의 연관 관계에 관한 적어도 하나의 제 2 특성 정보를 생성하는 단계; 및 적어도 하나의 제 2 특성 정보를 기초로, 기 생성된 학습 네트워크 모델을 이용하여 복수의 이미지에 포함된 객체를 인식하는 단계를 포함할 수 있다.
일 실시예에 따라 객체를 인식하는 방법에 있어서, 제 2 특성 정보를 생성하는 단계는, 추출된 복수의 이미지 각각의 제 1 특성 정보를 선형 결합하여, 복수의 이미지 간의 유사도 값 및 차이값 중 적어도 하나를 나타내는 제 2 특성 정보를 생성할 수 있다.
일 실시예에 따라 객체를 인식하는 장치는, 하나 이상의 인스트럭션을 저장하는 메모리; 출력부; 및 메모리에 저장된 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고, 프로세서는, 객체가 포함된 복수의 이미지 각각의 제 1 특성 정보를 추출하고, 추출된 복수의 이미지 각각의 제 1 특성 정보를 결합하여, 복수의 이미지 간의 연관 관계에 관한 적어도 하나의 제 2 특성 정보를 생성하며, 적어도 하나의 제 2 특성 정보를 기초로, 기 생성된 학습 네트워크 모델을 이용하여 상기 복수의 이미지에 포함된 객체를 인식할 수 있다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 용어들에 의해 한정되지는 않는다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 항목들의 조합 또는 복수의 관련된 항목들 중의 어느 하나의 항목을 포함한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에서 사용되는 "부"라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부"는 어떤 역할들을 수행한다. 그렇지만 "부"는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부"는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부"는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 특성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부"들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부"들로 결합되거나 추가적인 구성요소들과 "부"들로 더 분리될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1은 일 실시예에 따른 객체 인식 장치(100)가 객체를 인식하는 방법을 설명하기 위한 개념도이다.
도 1을 참조하면, 객체 인식 장치(100)는 객체가 포함된 복수의 이미지(10, 20, 30)를 획득할 수 있다. 예를 들어, 객체 인식 장치(100)는 외부의 디바이스로부터 복수의 이미지(10, 20, 30)를 수신할 수 있다. 다른 예에 따라, 객체 인식 장치(100)에 구비된 카메라를 이용하여 객체가 포함된 복수의 이미지(10, 20, 30)를 획득할 수도 있다. 여기에서, 이미지는 장면, 프레임 등의 용어와 동일한 의미로 사용될 수 있다. 또한, 복수의 이미지(10, 20, 30)는 서로 시간적, 분류학적으로 관계가 있는 이미지를 포함할 수 있다. 예를 들어, 복수의 이미지(10, 20, 30)는 동일한 객체 또는 동일한 카테고리의 객체를 서로 다른 시간 또는 서로 다른 위치에서 촬영한 결과 생성된 이미지일 수 있다.
한편, 설명의 편의상 복수의 이미지(10, 20, 30) 중 인식의 대상이 되는 이미지를 타겟 이미지(30)로 설명하고, 타겟 이미지(30)와 관련된 다른 이미지들을 제 1 이미지(10) 및 제 2 이미지(20)로 설명하도록 한다.
객체 인식 장치(100)는 기 생성된 제 1 학습 네트워크 모델(40)을 이용하여, 복수의 이미지(10, 20, 30) 각각에 대한 제 1 특성 정보를 획득할 수 있다. 여기에서, 제 1 학습 네트워크 모델(40)은 본 명세서에서, 특성 추출 네트워크로 설명될 수도 있다. 또한, 이미지(예를 들어, 30)의 제 1 특성 정보는 이미지를 구성하는 색상, 엣지(edge), 폴리건(polygon), 채도(saturation), 명도(brightness), 색온도, 블러(blur), 선명도(sharpness) 및 명도비(contrast) 등을 포함할 수 있으나, 제1 특성 정보가 이에 한정되는 것은 아니다.
일 실시예에 따른 객체 인식 장치(100)는 획득된 복수의 이미지(10, 20, 30) 각각의 제 1 특성 정보를 결합하여, 복수의 이미지(10, 20, 30) 간의 연관 관계를 나타내는 적어도 하나의 제 2 특성 정보를 획득할 수 있다. 예를 들어, 객체 인식 장치(100)는 복수의 이미지(10, 20, 30) 각각으로부터 획득된 제 1 특성 정보를 더하거나 빼는 선형 결합을 통해 적어도 하나의 제 2 특성 정보를 획득할 수 있다. 여기에서, 제 1 특성 정보는 벡터 형태로 획득될 수 있으나, 이는 일 실시예일 뿐, 제 1 특성 정보가 벡터 형태로 한정되는 것은 아니다.
일 실시예에 따른 객체 인식 장치(100)는 획득된 적어도 하나의 제 2 특성 정보를 기초로 기 생성된 제 2 학습 네트워크 모델을 이용하여, 타겟 이미지(30)에 포함된 객체(32)를 인식할 수 있다. 여기에서, 제 2 학습 네트워크 모델(50)은 본 명세서에서, 특성 결합 네트워크로 설명될 수도 있다.
일 실시예에 따른 객체 인식 장치(100)는 객체가 움직이는 경우 또는 촬영 장치나 객체 인식 장치가 움직이는 경우에 의해 객체의 형태 및 크기가 비정형화되는 경우에도, 객체가 포함된 복수의 이미지로부터 추출된 특성 정보를 결합하여 객체 인식에 이용함으로써, 객체 인식의 정확도를 높일 수 있다.
한편, 객체 인식 장치(100)는 스마트폰, 태블릿 PC, PC, 스마트 TV, 휴대폰, PDA(personal digital assistant), 랩톱, 미디어 플레이어, 마이크로 서버, 전자책 객체 인식 장치, 디지털방송용 객체 인식 장치, 키오스크, MP3 플레이어, 디지털 카메라, 로봇 청소기, 가전기기 및 기타 모바일 또는 비모바일 컴퓨팅 장치일 수 있으나, 이에 제한되지 않는다. 또한, 객체 인식 장치(100)는 통신 기능 및 데이터 프로세싱 기능을 구비한 시계, 안경, 헤어 밴드 및 반지 등의 웨어러블 장치일 수 있다.
도 2는 일 실시예에 따른 객체 인식 장치가 객체를 인식하는 방법을 설명하기 위한 흐름도이다.
단계 S210에서, 객체 인식 장치는 객체가 포함된 복수의 이미지 각각의 제 1 특성 정보를 추출할 수 있다.
일 실시예에 따른 객체 인식 장치는 기 생성된 제 1 학습 네트워크 모델을 이용하여 복수의 이미지 각각으로부터 제 1 특성 정보를 획득할 수 있다. 여기에서, 제 1 학습 네트워크 모델은 복수의 이미지 각각으로부터 병렬적으로 제1 특성 정보를 추출하기 위한 복수의 뉴럴 네트워크로 구성될 수 있다. 다만, 이는 일 실시예일 뿐, 객체 인식 장치는 기 생성된 제 1 학습 네트워크 모델을 이용하여, 복수의 이미지 각각으로부터 순차적으로 제 1 특성 정보를 획득할 수도 있다.
또한, 제 1 학습 네트워크 모델은 객체 인식 장치 내에 저장될 수 있으나, 다른 실시예에 따라, 객체 인식 장치는 외부의 서버에 저장된 제 1 학습 네트워크 모델을 이용하여 복수의 이미지 각각의 제 1 특성 정보를 획득할 수도 있다. 이 경우, 객체 인식 장치는 외부의 서버에 복수의 이미지를 전송하거나, 복수의 이미지를 획득할 수 잇는 위치 정보 등을 전송함으로써, 제 1 특성 정보의 추출을 외부 서버에 요청할 수 있다.
한편, 다른 실시예에 따라, 객체 인식 장치는 제 1 학습 네트워크 모델을 이용하지 않고, 이미지 각각을 분석하여 제 1 특성 정보를 획득할 수도 있다.
단계 S220에서, 객체 인식 장치는 추출된 복수의 이미지 각각의 제 1 특성 정보를 결합하여, 복수의 이미지 간의 연관 관계에 관한 적어도 하나의 제 2 특성 정보를 생성할 수 있다.
일 실시예에 따른 객체 인식 장치는 추출된 복수의 이미지 각각의 제 1 특성 정보를 결합할 수 있다. 예를 들어, 객체 인식 장치는 추출된 복수의 이미지 각각의 제 1 특성 정보를 구성하는 제 1 특성 벡터를 더하거나 빼는 연산을 통해 제 1 특성 정보를 선형적으로 결합할 수 있다. 이를 통해, 객체 인식 장치는 복수의 이미지 간의 차이점과 유사점을 각각 나타내는 적어도 하나의 제 2 특성 정보를 생성할 수 있다. 차이점의 경우, 객체가 촬영된 위치 및 시간 등의 촬영 상황에 따라 달라질 수 있는 특성 정보를 포함할 수 있다. 유사점은 촬영 상황에 따라 변하지 않는 객체의 고유 정보를 포함할 수 있다.
단계 S230에서, 객체 인식 장치는 적어도 하나의 제 2 특성 정보를 기초로 기 생성된 학습 네트워크 모델을 이용하여 복수의 이미지에 포함된 객체를 인식할 수 있다.
일 실시예에 따른 객체 인식 장치는 기 생성된 학습 네트워크 모델에 적어도 하나의 제 2 특성 정보를 입력 데이터로 적용한 결과, 복수의 이미지 중 타겟 이미지에 포함된 객체의 인식 결과를 출력 데이터로 획득할 수 있다.
도 3은 일 실시예에 다른 따른 객체 인식 장치가 복수의 이미지의 특성 정보의 결합을 통해 타겟 이미지에 포함된 객체를 인식하는 방법을 설명하기 위한 도면이다.
도 3을 참조하면, 객체 인식 장치(100)는 타겟 이미지(330)에 포함된 객체를 인식하기 위해, 타겟 이미지(330)와 관련된 복수의 이미지(310, 320, 340 내지 370)을 획득할 수 있다. 여기에서, 타겟 이미지(330)와 관련된 복수의 이미지(310, 320, 340 내지 370)는 시간적/분류학적으로 연관이 있는 이미지로서, 객체를 다른 시간에 촬영하였거나, 객체와 동일한 카테고리에 해당하는 객체를 포함할 수 있다.
객체 인식 장치(100)는 제 1 학습 네트워크 모델(40)을 이용하여, 복수의 이미지(310 내지 370) 각각에 대한 적어도 하나의 제 1 특성 정보를 획득할 수 있다. 객체 인식 장치(100)는 적어도 하나의 제 1 특성 정보를 결합한 결과 생성된 적어도 하나의 제 2 특성 정보를 제 2 학습 네트워크 모델(50)에 입력할 수 있다.
객체 인식 장치(100)는, 제 1 특성 정보를 결합함으로써 획득된, 복수의 이미지(310 내지 370) 간의 연관 관계에 관한 정보를 나타낼 수 있다. 예를 들어, 비행기가 포함된 타겟 이미지(330)의 제 1 특성 정보와 자동차가 포함된 제 3 이미지(340)의 제 1 특성 정보를 비교한 결과, 비행기와 자동차 간의 차이점 중 하나인 날개 부분이 존재하지 않음을 나타내는 제 2 특성 정보가 생성될 수 있다. 다른 예에 따라, 타겟 이미지(330)의 제 1 특성 정보와 다른 각도에서 촬영된 비행기가 포함된 제 4 이미지(350) 및 다른 종류의 비행기가 포함된 제 5 이미지(360)의 제 1 특성 정보를 각각 비교한 결과, 공통점인 날개 부분을 나타내는 제 2 특성 정보가 생성될 수 있다.
객체 인식 장치(100)는 생성된 적어도 하나의 제 2 특성 정보를 제 2 학습 네트워크 모델(50)의 입력 데이터로 적용하여, 타겟 이미지(330)에 포함된 객체의 인식 결과를 출력 데이터로 획득할 수 있다. 여기에서, 객체의 인식 결과는, 복수의 객체 각각과 일치할 확률을 나타내는 값으로 출력될 수 있으나, 이는 일 실시예일 뿐, 출력 데이터의 형태가 전술한 예에 한정되는 것은 아니다.
도 4는 일 실시예에 따른 객체 인식 장치가 복수의 이미지 중 선택된 이미지를 이용하여 타겟 이미지의 객체를 인식하는 방법을 설명하기 위한 흐름도이다.
단계 S410에서, 객체 인식 장치는 객체 인식 결과 및 프레임 간의 차이 중 적어도 하나에 기초하여, 타겟 이미지의 객체 인식에 이용되는 복수의 이미지를 선택할 수 있다.
일 실시예에 따른 객체 인식 장치는 객체 인식의 효율을 높이기 위해, 획득된 전체의 이미지 셋 중 이전 이미지의 객체 인식 결과 및 프레임 간의 차이 중 적어도 하나에 기초하여, 복수의 이미지를 선택할 수 있다. 예를 들어, 객체 인식 장치는 전체의 이미지 셋에 포함된 이미지들 각각을 비교한 결과, 이미지 간의 특성 차이가 기 설정된 범위 이내인 이미지를 선택할 수 있다. 객체 인식 장치는 이미지 간의 특성 차이가 기 설정된 범위 이내인 이미지를 선택함으로써, 전혀 다른 객체 또는 객체를 인식하는데 불필요한 이미지를 배제할 수 있고, 차이가 적음에 따라 특성에 따라 새로운 정보를 제공할 수 없는 이미지를 배제할 수 있다.
단계 S420에서, 객체 인식 장치는 선택된 복수의 이미지 각각을 전처리 할 수 있다.
일 실시예에 따른 객체 인식 장치는 복수의 이미지 간의 비교 시, 환경을 동일하게 설정하기 위해, 전처리를 통해 복수의 이미지의 밝기, 선명도 등의 화질에 관한 파라미터를 조절할 수 있다. 다만, 이는 일 실시예일 뿐, 전처리 과정에 전술한 화질 조절 프로세스 만이 포함되는 것은 아니다.
단계 S430에서, 객체 인식 장치는 전처리된 각 이미지의 특성 추출 영역을 선택할 수 있다.
일 실시예에 따른 객체 인식 장치는 객체 촬영 시, 객체 인식 장치의 움직임 정보를 기초로 이미지 내에서 객체가 포함되는 영역을 추정할 수 있다. 이에 따라, 객체 인식 장치는 추정된 영역을 각 이미지의 특성 추출 영역으로서 선택할 수 있다. 예를 들어, 객체 인식 장치가 왼쪽으로 이동한 경우, 객체 인식 장치는 객체가 있을 것으로 추정되는 영역인 특성 추출 영역을 상대적으로 오른쪽으로 이동시킬 수 있다.
객체 인식 장치는 각 이미지의 특성 추출 영역을 선택하여, 객체 인식에 이용함으로써, 객체 인식에 소요되는 자원을 줄일 수 있다.
단계 S440에서, 객체 인식 장치는 제 1 학습 네트워크 모델을 이용하여, 선택된 각각의 특성 추출 영역에서 특성 정보를 추출할 수 있다. 여기에서, 추출된 특성 정보는 제 1 특성 정보로 설명될 수 있다. 한편, 객체 인식 장치가 제 1 학습 네트워크 모델을 이용하여 제 1 특성 정보를 추출하는 방법은 도 1 내지 도 3을 참조하여 전술한 방법과 동일할 수 있다. 여기에서, 객체 인식 장치는 제 1 학습 네트워크 모델에 입력되는 각각의 특성 추출 영역의 가중치를 동일하게 설정할 수 있다. 다만, 이는 일 실시예일 뿐 객체 인식 장치는 특정 특성 추출 영역의 가중치를 상대적으로 더 높게 설정할 수도 있다.
단계 S450에서, 객체 인식 장치는 추출된 특성 정보를 결합할 수 있다. 여기에서, 결합된 특성 정보는 제 2 특성 정보로 설명될 수 있다.
단계 S460에서, 객체 인식 장치는 결합된 특성 정보를 기초로 제 2 학습 네트워크 모델을 이용하여, 타겟 이미지에 포함된 객체를 인식할 수 있다.
일 실시예에 따른 객체 인식 장치는 추출된 특성 정보의 결합 형태별로, 제 2 학습 네트워크에 입력되는 적어도 하나의 제 2 특성 정보의 가중치를 다르게 설정할 수 있다. 다만, 이는 일 실시예일 뿐, 객체 인식 장치는 제 1 학습 네트워크에 입력되는 적어도 하나의 제 2 특성 정보의 가중치를 동일하게 설정할 수도 있다.
도 5는 일 실시예에 따른 객체 인식 장치가 객체 인식에 이용되는 이미지(510, 560)를 선택하는 방법을 설명하기 위한 흐름도이다.
도 5를 참조하면, 객체 인식 장치는 타겟 이미지와 시간적 또는 분류학적으로 연관 관계가 존재하는 복수의 이미지(510 내지 560)를 획득할 수 있다. 객체 인식 장치는, 복수의 이미지(510 내지 560) 간의 차이 및 이전 이미지의 객체 인식 결과를 기초로 복수의 이미지(510 내지 560) 중 객체 인식에 이용되는 이미지(510, 560)를 선택할 수 있다.
예를 들어, 객체 인식 장치는 복수의 이미지(510 내지 560)간의 특성을 비교한 결과, 차이가 기 설정된 범위 이내인 제 1 이미지(510) 및 제 6 이미지(560)를 선택할 수 있다. 여기에서, 제 2 이미지(520) 내지 제 5 이미지(550)의 경우에는, 이미지 획득 간격이 짧아, 각각에 포함된 객체의 변화가 거의 없을 수 있다. 이러한 경우, 타겟 이미지의 객체를 인식하는데 제공할 수 있는 정보 보다 이미지의 처리에 소요되는 자원이 더 커짐에 따라, 객체 인식에 사용될 실익이 적을 수 있다.
이에 따라, 객체 인식 장치는 이미지 추출 간격을 더 늘려서, 복수의 이미지(510 내지 560) 중 제 1 이미지(510) 및 제 6 이미지(560)만을 선택할 수 있다. 선택된 제 1 이미지(510) 및 제 6 이미지(560)는 타겟 이미지의 객체 인식에 사용될 수 있다.
한편, 이는 일 실시예일 뿐, 객체 인식 장치는 이전 이미지에서 객체가 인식된 경우, 이미지 추출 간격을 짧게 설정할 수 있다.
도 6은 일 실시예에 따른 객체 인식 장치가 움직임 정보를 기초로 복수의 이미지(610 내지 630)에서 객체 인식을 위한 특정 영역(612 내지 632)을 추출하는 방법을 설명하기 위한 도면이다.
도 6을 참조하면, 객체 인식 장치는 복수의 이미지(610 내지 630)가 촬영된 당시의 촬영 장치의 움직임 정보를 획득할 수 있다. 여기에서, 촬영 장치는 객체 인식 장치일 수도 있으나, 외부의 장치일 수도 있다.
객체 인식 장치는 복수의 이미지(610 내지 630) 각각에 대한 움직임 정보를 기초로 이미지 내에서 추출되는 영역을 다르게 설정할 수 있다. 여기에서, 제 1 이미지(610)에 대한 추출 영역인 제 1 영역(612)은 이전 프레임의 객체 인식 등을 통해 미리 결정된 것으로 가정한다.
한편, 객체 인식 장치는 움직임 정보를 통해 제 1 이미지(610)를 촬영한 시점과 제 2 이미지(620)를 촬영한 시점 사이에, 촬영 장치가 왼쪽으로 움직임을 확인할 수 있다. 이에 따라, 객체 인식 장치는 제 2 이미지(620)에서 제 1 이미지(610)의 추출 영역인 제 1 영역(612)을 오른쪽으로 이동시킨 부분에 대응되는 제 2 영역(622)을 추출 영역으로 결정할 수 있다.
또한, 객체 인식 장치는 움직임 정보를 통해 제 2 이미지(620)를 촬영한 시점과 제 3 이미지(630)를 촬영한 시점 사이에, 촬영 장치가 왼쪽으로 움직임을 확인할 수 있다. 이에 따라, 객체 인식 장치는 제 3 이미지(630)에서 제 2 이미지(620)의 추출 영역인 제 2 영역(622)을 오른쪽으로 이동시킨 부분에 대응되는 제 3 영역(632)을 추출 영역으로 결정할 수 있다.
도 7은 일 실시예에 따른 객체 인식 장치가 객체를 인식하는데 이용하는 학습 네트워크 모델을 설명하기 위한 도면이다.
도 7을 참조하면, 객체 인식 장치는 타겟 이미지(704) 및 타겟 이미지와 시간적 또는 분류학적 관계를 갖는 제 1 이미지(702)를 획득할 수 있다. 객체 인식 장치는 제 1 학습 네트워크 모델(710)을 이용하여, 타겟 이미지(704) 및 제 1 이미지(702)로부터 각각 적어도 하나의 제 1 특성 정보를 획득할 수 있다.
여기에서, 제 1 학습 네트워크 모델(710)은 서로 다른 크기의 복수의 레이어(예를 들어, 55x55x96, 55x55x128)로 구성될 수 있으며, 도 7에서는 복수의 이미지(702, 704)로부터 병렬적으로 제 1 특성 정보를 획득할 수 있도록 제 1 학습 네트워크 모델(710)이 복수의 뉴럴 네트워크로 구성된 것으로 가정하였다. 다만, 이는 일 실시예일 뿐, 객체 인식 장치는 하나의 뉴럴 네트워크로 구성된 제 1 학습 네트워크 모델(710)을 이용하여, 복수의 이미지(702, 704) 각각으로부터 순차적으로 제 1 특성 정보를 획득할 수 있다.
객체 인식 장치는 복수의 이미지(702, 704) 각각으로부터 획득된 적어도 하나의 제 1 특성 정보를 선형 결합할 수 있다. 여기에서, 선형 결합은 벡터 형태로 획득된 제 1 특성 정보를 더하는 제 1 선형 결합과 벡터 형태로 획득된 제 1 특성 정보를 빼는 제 2 선형 결합을 포함할 수 있다. 다만, 이는 일 실시예일 뿐, 객체 인식 장치가 적어도 하나의 제 1 특성 정보를 결합하는 방법이 전술한 예에 한정되는 것은 아니다. 예를 들어, 객체 인식 장치는 적어도 하나의 제 1 특성 정보에 서로 다른 가중치를 두어 결합하거나, 비선형 방식에 따라 적어도 하나의 제 1 특성 정보를 결합할 수 있다.
한편, 객체 인식 장치는 적어도 하나의 제 1 특성 정보를 선형 결합한 결과, 적어도 하나의 제 2 특성 정보를 획득할 수 있다. 객체 인식 장치는 획득된 적어도 하나의 제 2 특성 정보를 제 2 학습 네트워크 모델(720)에 입력 데이터로 적용함으로써 타겟 이미지(704)에 포함된 객체의 인식 결과를 출력 데이터(730)로 획득할 수 있다. 도 7에서, C는 클래스의 번호를 나타낸다.
도 8은 일 실시예에 따른 객체 인식 장치가 객체 인식에 이용하는 제 2 학습 네트워크 모델(820)을 보다 구체적으로 설명하기 위한 도면이다.
도 8을 참조하면, 객체 인식 장치는 타겟 이미지(810)의 적어도 하나의 제 1 특성 정보와 관련 이미지(805)의 적어도 하나의 제 1 특성 정보를 획득할 수 있다. 여기에서, 관련 이미지(805)란 타겟 이미지(810)와 시간적 또는 분류학적으로 관계가 있는 이미지를 나타낼 수 있다.
일 실시예에 따른 객체 인식 장치는 타겟 이미지(810)의 적어도 하나의 제 1 특성 정보와 관련 이미지(805)의 적어도 하나의 제 1 특성 정보를 선형적으로 결합한 결과 생성된 제 2 특성 정보를 제 2 학습 네트워크 모델(820)의 입력 데이터로 적용할 수 있다. 여기에서, 제 2 학습 네트워크 모델(820)은 차이점 학습 레이어(difference learning layer, 822), 공통점 학습 레이어(consistency learning layer, 824) 및 결합 레이어(integration layer, 825)를 포함할 수 있으나, 이는 제 2 학습 네트워크 모델(820)의 동작을 설명하기 위해 기능적으로 분류된 레이어일 뿐, 제 2 학습 네트워크 모델(820)은 더 많은 개수의 레이어로 구성될 수도 있다.
일 실시예에 따른 차이점 학습 레이어(822), 공통점 학습 레이어(824) 및 결합 레이어(825)에 대해서는 도 9 내지 도 11을 참조하여 보다 구체적으로 후술하도록 한다.
한편, 일 실시예에 따른 제 2 학습 네트워크 모델(820)에는 적어도 하나의 제 2 특성 정보를 기초로 객체 인식을 도출하는데에 대한 표현력을 향상시키기 위한 학습 목적으로 적어도 하나의 풀링 레이어(832, 834)를 추가적으로 포함할 수 있다. 예를 들어, 적어도 하나의 풀링 레이어(832, 834)는 이미지간 차이점 및 유사점 이외에도 이미지 각각의 카테고리를 잘 표현할 수 있는 특성이 추출될 수 있도록 학습될 수 있다.
도 9는 일 실시예에 따른 제 2 학습 네트워크 모델의 차이점 학습 레이어를 설명하기 위한 도면이다.
도 9를 참조하면, 차이점 학습 레이어는 채널-와이즈 차이점 레이어(channel-wise difference layer, 915) 및 적어도 하나의 컨볼루션 레이어(convolution layer, 920)를 포함할 수 있다. 다만, 이는 일 실시예일 뿐, 본 발명의 차이점 학습 레이어가 전술한 예에 한정되는 것은 아니다.
객체 인식 장치는 타겟 이미지(910)의 적어도 하나의 제 1 특성 정보와 관련 이미지(905)의 적어도 하나의 제 1 특성 정보를 결합한 결과 획득된 적어도 하나의 제 2 특성 정보를 제 2 학습 네트워크 모델에 입력할 수 있다. 여기에서, 차이점 학습 레이어는 적어도 하나의 제 1 특성 정보의 결합을 통해 획득된 타겟 이미지(910)와 관련 이미지(905) 간의 차이를 이용하여, 타겟 프레임(910)의 객체 인식 정확도가 높아지도록 새로운 특성을 생성하는 레이어를 학습할 수 있다.
객체 인식 장치는 적어도 하나의 제 2 특성 정보를 차이점 학습 레이어에 입력 데이터로 적용한 결과, 이미지들 간의 차이로부터 산출된 새로운 특성(930)을 획득할 수 있다.
도 10은 일 실시예에 따른 제 2 학습 네트워크 모델의 공통점 학습 레이어를 설명하기 위한 도면이다.
도 10을 참조하면, 공통점 학습 레이어는 채널-와이즈 덧셈 레이어(channel-wise addition layer, 1015) 및 적어도 하나의 컨볼루션 레이어(convolution layer, 1020)를 포함할 수 있다. 다만, 이는 일 실시예일 뿐, 본 발명의 공통점 학습 레이어가 전술한 예에 한정되는 것은 아니다.
객체 인식 장치는 타겟 이미지(1010)의 적어도 하나의 제 1 특성 정보와 관련 이미지(1005)의 적어도 하나의 제 1 특성 정보를 결합한 결과 획득된 적어도 하나의 제 2 특성 정보를 제 2 학습 네트워크 모델에 입력할 수 있다. 여기에서, 공통점 학습 레이어는 적어도 하나의 제 1 특성 정보의 결합을 통해 획득된 타겟 이미지(1010)와 관련 이미지(1005) 간의 합을 이용하여, 타겟 프레임(1010)의 객체 인식 정확도가 높아지도록 새로운 특성을 생성하는 레이어를 학습할 수 있다.
객체 인식 장치는 적어도 하나의 제 2 특성 정보를 공통점 학습 레이어에 입력 데이터로 적용한 결과, 이미지들 간의 합로부터 산출된 새로운 특성(1030)을 획득할 수 있다.
도 11은 일 실시예에 따른 제 2 학습 네트워크 모델의 결합 레이어를 설명하기 위한 도면이다.
도 11을 참조하면, 결합 레이어는 접합 레이어(concatenation layer, 1130), 적어도 하나의 컨볼루션 레이어(1140 내지 1160), 풀링 레이어(pooling layer, 1170) 및 소프트 맥스 레이어(soft-max layer, 1180)를 포함할 수 있다.
다만, 이는 일 실시예일 뿐, 본 발명의 결합 레이어가 전술한 예에 한정되는 것은 아니다.
객체 인식 장치는 도 9를 참조하여 전술한, 이미지들 간의 차이로부터 산출된 새로운 특성(1110) 및 이미지들 간의 합으로부터 산출된 새로운 특성(1120)을 결합 레이어의 입력 데이터로 적용할 수 있다. 결합 레이어는 입력된 새로운 특성(1110, 1120)을 통해 타겟 프레임의 객체 인식 정확도가 높아질 수 있도록 컨볼루션 레이어를 학습시킬 수 있다. 결합 레이어에 이미지들 간의 차이로부터 산출된 새로운 특성(1110) 및 이미지들 간의 합으로부터 산출된 새로운 특성(1120)이 입력 데이터로 적용됨에 따라, 타겟 이미지 내의 객체 인식 결과가 출력될 수 있다.
도 12는 일 실시예에 따라 객체를 인식하는 객체 인식 장치(100)의 블록도이다.
도 12를 참조하면, 객체 인식 장치(100)는 메모리(110), 프로세서(120) 및 디스플레이(130)를 포함할 수 있다.
메모리(110)는 프로세서(120)의 처리 및 제어를 위한 프로그램들(하나 이상의 인스트럭션들)을 저장할 수 있다. 메모리(110)에 저장된 프로그램들은 기능에 따라 복수 개의 모듈들로 구분될 수 있다. 일 실시예에 따라 메모리(110)는 도 13을 참고하여 후술할 데이터 학습부 및 데이터 인식부가 소프트웨어 모듈로 구성될 수 있다. 또한, 데이터 학습부 및 데이터 인식부는 각각 독립적으로 학습 네트워크 모델을 포함하거나, 하나의 학습 네트워크 모델을 공유할 수 있다.
프로세서(120)는 하나 이상의 코어(core, 미도시) 및 그래픽 처리부(미도시) 및/또는 다른 구성 요소와 신호를 송수신하는 연결 통로(예를 들어, 버스(bus) 등)를 포함할 수 있다.
일 실시예에 따라 프로세서(120)는 도 1 내지 도 11을 참고하여 전술한 객체 인식 장치의 동작을 수행할 수 있다.
예를 들어, 프로세서(120)는 객체를 포함한 타겟 이미지 및 타겟 이미지와 관련된 적어도 하나의 관련 이미지를 획득할 수 있다. 또한, 프로세서(120)는 제 1 학습 네트워크 모델을 이용하여, 획득된 복수의 이미지 각각으로부터 제 1 특성 정보를 획득할 수 있다. 프로세서(120)는 획득된 복수의 이미지 각각의 제 1 특성 정보를 결합하여 적어도 하나의 제 2 특성 정보를 획득할 수 있다. 프로세서(120)는 획득된 적어도 하나의 제 2 특성 정보를 기초로, 기 생성된 제 2 학습 네트워크 모델을 이용하여, 타겟 이미지의 객체를 인식할 수 있다.
한편, 프로세서(120)는 프로세서(120) 내부에서 처리되는 신호(또는, 데이터)를 일시적 및/또는 영구적으로 저장하는 램(RAM: Random Access Memory, 미도시) 및 롬(ROM: Read-Only Memory, 미도시)을 더 포함할 수 있다. 또한, 프로세서(120)는 그래픽 처리부, 램 및 롬 중 적어도 하나를 포함하는 시스템온칩(SoC: system on chip) 형태로 구현될 수 있다.
출력부(130)는 획득된 복수의 이미지 중 적어도 일부를 표시할 수 있다. 또한, 출력부(130)는 타겟 이미지에 포함된 객체의 인식 결과를 표시할 수도 있다.
도 13은 일 실시예에 따른 프로세서(120)를 설명하기 위한 도면이다.
도 13을 참조하면, 일 실시예에 따른 프로세서(120)는 데이터 학습부(1310) 및 데이터 인식부(1320)를 포함할 수 있다.
데이터 학습부(1310)는 복수의 이미지 각각으로부터 제 1 특성 정보를 획득하기 위한 기준을 학습할 수 있다. 또한, 다른 실시예에 따라, 데이터 학습부(1310)는 복수의 이미지 각각의 제 1 특성 정보를 결합한 결과 생성된 적어도 하나의 제 2 특성 정보로부터 객체를 인식하기 위한 기준을 학습할 수 있다.
데이터 인식부(1320)는 데이터 학습부(1310)를 통해 학습된 기준에 기초하여, 복수의 이미지 각각의 특성 정보를 추출하거나, 타겟 이미지에 포함된 객체를 인식할 수 있다.
데이터 학습부(1310) 및 데이터 인식부(1320) 중 적어도 하나는, 적어도 하나의 하드웨어 칩 형태로 제작되어 객체 인식 장치에 탑재될 수 있다. 예를 들어, 데이터 학습부(1310) 및 데이터 인식부(1320) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 전술한 각종 객체 인식 장치에 탑재될 수도 있다.
이 경우, 데이터 학습부(1310) 및 데이터 인식부(1320)는 하나의 객체 인식 장치에 탑재될 수도 있으며, 또는 별개의 객체 인식 장치들에 각각 탑재될 수도 있다. 예를 들어, 데이터 학습부(1310) 및 데이터 인식부(1320) 중 하나는 객체 인식 장치에 포함되고, 나머지 하나는 서버에 포함될 수 있다. 또한, 데이터 학습부(1310) 및 데이터 인식부(1320)는 유선 또는 무선으로 통하여, 데이터 학습부(1310)가 구축한 모델 정보를 데이터 인식부(1320)로 제공할 수도 있고, 데이터 인식부(1320)로 입력된 데이터가 추가 학습 데이터로서 데이터 학습부(1310)로 제공될 수도 있다.
한편, 데이터 학습부(1310) 및 데이터 인식부(1320) 중 적어도 하나는 소프트웨어 모듈로 구현될 수 있다. 데이터 학습부(1310) 및 데이터 인식부(1320) 중 적어도 하나가 소프트웨어 모듈(또는, 인스트럭션(instruction) 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 또한, 이 경우, 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 어플리케이션에 의해 제공될 수 있다. 또는, 적어도 하나의 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 어플리케이션에 의해 제공될 수 있다.
도 14는 일 실시예에 따른 데이터 학습부(1310)의 블록도이다.
도 14를 참조하면, 일부 실시예에 따른 데이터 학습부(1310)는 데이터 획득부(1410), 전처리부(1420), 학습 데이터 선택부(1430), 모델 학습부(1440) 및 모델 평가부(1450)를 포함할 수 있다. 다만, 이는 일 실시예일 뿐, 전술한 구성 들 보다 적은 구성 요소로 데이터 학습부(1310)가 구성되거나, 전술한 구성들 이외에 다른 구성 요소가 추가적으로 데이터 학습부(1310)에 포함될 수 있다.
데이터 획득부(1410)는 객체 또는 객체와 동일한 카테고리에 포함된 다른 객체가 촬영된 적어도 하나의 이미지를 학습 데이터로 획득할 수 있다. 일 예로, 데이터 획득부(1410)는 데이터 학습부(1310)를 포함하는 객체 인식 장치 또는 데이터 학습부(1310)를 포함하는 객체 인식 장치와 통신 가능한 외부의 객체 인식 장치로부터 적어도 하나의 이미지를 획득할 수 있다.
한편, 일 실시예에 따른 데이터 획득부(1410)에서 획득하는 적어도 하나의 이미지는 카테고리에 따라 분류된 이미지 중 하나일 수 있다. 예를 들어, 데이터 획득부(1410)는 종 별로 분류된 이미지를 기초로 학습을 수행할 수 있다.
전처리부(1420)는 이미지의 특성 정보 추출 또는 이미지 내의 객체 인식을 위한 학습에 획득된 이미지가 이용될 수 있도록, 획득된 이미지를 전처리할 수 있다. 전처리부(1420)는 후술할 모델 학습부(1440)가 학습을 위하여 획득된 적어도 하나의 이미지를 이용할 수 있도록, 획득된 적어도 하나의 이미지를 기 설정된 포맷으로 가공할 수 있다.
학습 데이터 선택부(1430)는 전처리된 데이터 중에서 학습에 필요한 이미지를 선택할 수 있다. 선택된 이미지는 모델 학습부(1440)에 제공될 수 있다. 학습 데이터 선택부(1430)는 설정된 기준에 따라, 전처리된 이미지 중에서 학습에 필요한 이미지를 선택할 수 있다.
모델 학습부(1440)는 학습 네트워크 모델 내의 복수의 레이어에서 이미지로부터 어떠한 정보를 이용하여, 특성 정보를 획득하거나, 이미지 내의 객체를 인식하는지에 대한 기준을 학습할 수 있다. 예를 들어, 모델 학습부(1440)는 객체의 인식을 위하여 학습 네트워크 모델에 포함된 복수의 레이어 중 어떤 레이어로부터 추출된 특성 정보를 이용해야 하는지에 대한 제 1 기준을 학습할 수도 있다. 여기에서, 제1 기준은, 객체 인식 장치가 학습 네트워크 모델을 이용하여, 객체를 인식하는데 이용되는 이미지의 제 1 특성 정보 또는 제 2 특성 정보의 종류 및 개수, 결합 연산의 종류 및 수준 등을 포함할 수 있다.
다양한 실시예에 따르면, 모델 학습부(1440)는 미리 구축된 데이터 인식 모델이 복수 개가 존재하는 경우, 입력된 학습 데이터와 기본 학습 데이터의 관련성이 큰 데이터 인식 모델을 학습할 데이터 인식 모델로 결정할 수 있다. 이 경우, 기본 학습 데이터는 데이터의 타입 별로 기 분류되어 있을 수 있으며, 데이터 인식 모델은 데이터의 타입 별로 미리 구축되어 있을 수 있다. 예를 들어, 기본 학습 데이터는 학습 데이터가 생성된 지역, 학습 데이터가 생성된 시간, 학습 데이터의 크기, 학습 데이터의 장르, 학습 데이터의 생성자, 학습 데이터 내의 객체의 종류 등과 같은 다양한 기준으로 기 분류되어 있을 수 있다.
또한, 모델 학습부(1440)는, 예를 들어, 학습에 따라 인식된 객체가 올바른 지에 대한 피드백을 이용하는 강화 학습(reinforcement learning)을 통하여, 데이터 인식 모델을 학습시킬 수 있다.
또한, 데이터 인식 모델이 학습되면, 모델 학습부(1440)는 학습된 데이터 인식 모델을 저장할 수 있다. 이 경우, 모델 학습부(1440)는 학습된 데이터 인식 모델을 데이터 인식부(1320)를 포함하는 객체 인식 장치의 메모리에 저장할 수 있다. 또는, 모델 학습부(1440)는 학습된 데이터 인식 모델을 후술할 데이터 인식부(1320)를 포함하는 객체 인식 장치의 메모리에 저장할 수 있다. 또는, 모델 학습부(1440)는 학습된 데이터 인식 모델을 객체 인식 장치와 유선 또는 무선 네트워크로 연결되는 서버의 메모리에 저장할 수도 있다.
이 경우, 학습된 데이터 인식 모델이 저장되는 메모리는, 예를 들면, 객체 인식 장치의 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 함께 저장할 수도 있다. 또한, 메모리는 소프트웨어 및/또는 프로그램을 저장할 수도 있다. 프로그램은, 예를 들면, 커널, 미들웨어, 애플리케이션 프로그래밍 인터페이스(API) 및/또는 애플리케이션 프로그램(또는 "애플리케이션") 등을 포함할 수 있다.
모델 평가부(1450)는 데이터 인식 모델에 평가 데이터를 입력하고, 평가 데이터로부터 출력되는 인식 결과가 소정 기준을 만족하지 못하는 경우, 모델 학습부(1440)로 하여금 다시 학습하도록 할 수 있다. 이 경우, 평가 데이터는 데이터 인식 모델을 평가하기 위한 기 설정된 데이터일 수 있다. 여기에서, 평가 데이터는 학습 네트워크 모델을 기반으로 인식된 객체의 카테고리와 실제의 객체의 카테고리 간의 일치 비율 등을 포함할 수 있다.
한편, 학습 네트워크 모델이 복수 개 존재하는 경우, 모델 평가부(1450)는 각각의 학습 네트워크 모델에 대하여 소정 기준을 만족하는지를 평가하고, 소정 기준을 만족하는 모델을 최종 학습 네트워크 모델로서 결정할 수 있다.
한편, 데이터 학습부(1310) 내의 데이터 획득부(1410), 전처리부(1420), 학습 데이터 선택부(1430), 모델 학습부(1440) 및 모델 평가부(1450) 중 적어도 하나는, 적어도 하나의 하드웨어 칩 형태로 제작되어 객체 인식 장치에 탑재될 수 있다. 예를 들어, 데이터 획득부(1410), 전처리부(1420), 학습 데이터 선택부(1430), 모델 학습부(1440) 및 모델 평가부(1450) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 전술한 각종 객체 인식 장치 에 탑재될 수도 있다.
또한, 데이터 획득부(1410), 전처리부(1420), 학습 데이터 선택부(1430), 모델 학습부(1440) 및 모델 평가부(1450)는 하나의 객체 인식 장치에 탑재될 수도 있으며, 또는 별개의 객체 인식 장치들에 각각 탑재될 수도 있다. 예를 들어, 데이터 획득부(1410), 전처리부(1420), 학습 데이터 선택부(1430), 모델 학습부(1440) 및 모델 평가부(1450) 중 일부는 객체 인식 장치에 포함되고, 나머지 일부는 서버에 포함될 수 있다.
또한, 데이터 획득부(1410), 전처리부(1420), 학습 데이터 선택부(1430), 모델 학습부(1440) 및 모델 평가부(1450) 중 적어도 하나는 소프트웨어 모듈로 구현될 수 있다. 데이터 획득부(1410), 전처리부(1420), 학습 데이터 선택부(1430), 모델 학습부(1440) 및 모델 평가부(1450) 중 적어도 하나가 소프트웨어 모듈(또는, 인스트럭션(instruction) 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 또한, 이 경우, 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 애플리케이션에 의해 제공될 수 있다. 또는, 적어도 하나의 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 애플리케이션에 의해 제공될 수 있다.
도 15는 일 실시예에 따른 데이터 인식부(1320)의 블록도이다.
도 15를 참조하면, 일부 실시예에 따른 데이터 인식부(1320)는 데이터 획득부(1510), 전처리부(1520), 인식 데이터 선택부(1530), 인식 결과 제공부(1540) 및 모델 갱신부(1550)를 포함할 수 있다.
데이터 획득부(1510)는 이미지의 특성 정보 추출 또는 이미지 내의 객체 인식에 필요한 적어도 하나의 이미지를 획득할 수 있으며, 전처리부(1520)는 이미지의 특성 정보 추출 또는 이미지 내의 객체의 인식을 위해 획득된 적어도 하나의 이미지가 이용될 수 있도록, 획득된 이미지를 전처리할 수 있다. 전처리부(1520)는 후술할 인식 결과 제공부(1540)가 이미지의 특성 정보 추출 또는 이미지 내의 객체 인식을 위하여 획득된 이미지를 이용할 수 있도록, 획득된 이미지를 기 설정된 포맷으로 가공할 수 있다. 인식 데이터 선택부(1530)는 전처리된 데이터 중에서 특성 추출 또는 객체 인식에 필요한 이미지를 선택할 수 있다. 선택된 데이터는 인식 결과 제공부(1540)에게 제공될 수 있다.
인식 결과 제공부(1540)는 선택된 이미지를 일 실시예에 따른 학습 네트워크 모델에 적용하여 이미지의 특성 정보를 추출하거나, 이미지 내의 객체를 인식할 수 있다. 학습 네트워크 모델에 적어도 하나의 이미지를 입력하여 특성 정보를 추출하거나 객체를 인식하는 방법은 도 1 내지 11을 참고하여 전술한 방법과 대응될 수 있다.
인식 결과 제공부(1540)는 적어도 하나의 이미지 내에 포함된 객체를 인식한 결과를 제공할 수 있다.
모델 갱신부(1550)는 인식 결과 제공부(1540)에 의해 제공되는 이미지 내의 객체 인식 결과에 대한 평가에 기초하여, 학습 네트워크 모델에 포함된 종분류 네트워크 또는 적어도 하나의 특성 추출 레이어의 파라미터 등이 갱신되도록 평가에 대한 정보를 도 14를 참고하여 전술한 모델 학습부(1440)에게 제공할 수 있다.
한편, 데이터 인식부(1320) 내의 데이터 획득부(1510), 전처리부(1520), 인식 데이터 선택부(1530), 인식 결과 제공부(1540) 및 모델 갱신부(1550) 중 적어도 하나는, 적어도 하나의 하드웨어 칩 형태로 제작되어 객체 인식 장치에 탑재될 수 있다. 예를 들어, 데이터 획득부(1510), 전처리부(1520), 인식 데이터 선택부(1530), 인식 결과 제공부(1540) 및 모델 갱신부(1550) 중 적어도 하나는 인공 지능을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 전술한 각종 객체 인식 장치에 탑재될 수도 있다.
또한, 데이터 획득부(1510), 전처리부(1520), 인식 데이터 선택부(1530), 인식 결과 제공부(1540) 및 모델 갱신부(1550)는 하나의 객체 인식 장치에 탑재될 수도 있으며, 또는 별개의 객체 인식 장치들에 각각 탑재될 수도 있다. 예를 들어, 데이터 획득부(1510), 전처리부(1520), 인식 데이터 선택부(1530), 인식 결과 제공부(1540) 및 모델 갱신부(1550) 중 일부는 객체 인식 장치에 포함되고, 나머지 일부는 서버에 포함될 수 있다.
또한, 데이터 획득부(1510), 전처리부(1520), 인식 데이터 선택부(1530), 인식 결과 제공부(1540) 및 모델 갱신부(1550) 중 적어도 하나는 소프트웨어 모듈로 구현될 수 있다. 데이터 획득부(1510), 전처리부(1520), 인식 데이터 선택부(1530), 인식 결과 제공부(1540) 및 모델 갱신부(1550) 중 적어도 하나가 소프트웨어 모듈(또는, 인스트럭션(instruction) 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 또한, 이 경우, 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 어플리케이션에 의해 제공될 수 있다. 또는, 적어도 하나의 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 어플리케이션에 의해 제공될 수 있다.
도 16은 다른 실시예에 따른 객체 인식 장치(1600)의 블록도이다.
도 16을 참조하면, 일 실시예에 따른 객체 인식 장치(1600)는 도 12의 메모리(110), 프로세서(120) 및 출력부(130)에 대응되는 메모리(1660), 프로세서(1620) 및 출력부(1630) 이외에, 입력부(1610), A/V 입력부(1640) 및 통신부(1650)를 더 포함할 수 있다.
입력부(1610)는 사용자가 객체 인식 장치(1600)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 입력부(1610)에는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다.
일 실시예에 따라 입력부(1610)는 터치 패드를 이용하여, 이미지의 촬영 또는 이미지의 표시를 요청하는 사용자 입력을 수신할 수 있다. 다만, 이는 일 실시예일 뿐, 입력부(1610)는 리모컨 등의 입력 장치를 통해 사용자로부터 컨텐트의 재생을 요청하는 사용자 입력을 수신할 수도 있다.
프로세서(1620)는 통상적으로 객체 인식 장치(1600)의 전반적인 동작 및 객체 인식 장치(1000)의 내부 구성 요소들 사이의 신호 흐름을 제어하고, 데이터를 처리하는 기능을 수행한다. 예를 들어, 프로세서(1620)는, 메모리(1660)에 저장된 프로그램들(하나 이상의 인스트럭션들)을 실행함으로써, 입력부(1610), 출력부(1630), A/V 입력부(1640) 및 통신부(1650) 등을 전반적으로 제어할 수 있다.
일 실시예에 따라 프로세서(1620)는, 도 1 내지 도 11에서 전술한 객체 인식 장치(100)의 기능을 수행하기 위하여, 학습 네트워크 모델을 이용하여 이미지로부터 제 1 특성 정보를 추출하고, 제 1 특성 정보를 결합한 결과 생성된 적어도 하나의 제 2 특성 정보로부터 타겟 이미지에 포함된 객체를 인식하도록 객체 인식 장치(1600)의 구성 요소들을 제어할 수 있다. 프로세서(1620)는 도 12의 프로세서(120)에 대응되므로, 자세한 설명은 생략한다.
출력부(1630)는 객체 인식 장치(1600)에 획득된 이미지를 출력할 수 있다. 또한, 출력부(1630)는 타겟 이미지에 포함된 객체의 인식 결과를 출력할 수도 있다. 출력부(1630)는 디스플레이부(1631) 및 음향 출력부(1632)를 포함할 수 있다.
디스플레이부(1631)는 객체 인식 장치(1600)에서 처리되는 정보를 표시 출력한다. 디스플레이부(1631)와 터치 패드가 레이어 구조를 이루어 터치 스크린으로 구성되는 경우, 디스플레이부(1631)는 출력 장치 이외에 입력 장치로도 사용될 수 있다.
음향 출력부(1632)는 통신부(1650)로부터 수신되거나 메모리(1660)에 저장된 오디오 데이터를 출력한다.
A/V(Audio/Video) 입력부(1640)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(1641)와 마이크로폰(1642) 등이 포함될 수 있다.
카메라(1641)는 카메라 인식 범위에서 이미지를 캡처한다. 일 실시예에 따라 카메라(1641)에 의해 캡처된 이미지는, 프로세서(1620)에 의해 이미지 처리되어 디스플레이부(1631)를 통해 표시 출력될 수 있다.
통신부(1650)는 외부 서버(예를 들어, SNS 서버, 클라우드 서버, 콘텐트 제공 서버 등) 및 기타 외부 장치와 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 예를 들어, 통신부(1650)는 근거리 통신부(1651), 이동 통신부(1652), 방송 수신부(1653)를 포함할 수 있다.
근거리 통신부(short-range wireless communication unit)(1651)는, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
이동 통신부(1652)는 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 컨텐트 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
방송 수신부(1653)는 방송 채널을 통하여 외부로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 실시예에 따라서 객체 인식 장치(1600)가 방송 수신부(1653)를 포함하지 않을 수도 있다.
일 실시예에 따라 통신부(1650)는 외부 서버로부터 이미지를 수신하고, 수신된 이미지를 프로세서(1620)로 제공할 수 있다.
메모리(1660)는 프로세서(1620)의 처리 및 제어를 위한 프로그램들(예를 들어, 하나 이상의 인스트럭션들, 제 1 학습 네트워크 모델, 제 2 학습 네트워크 모델)을 저장할 수 있고, 객체 인식 장치(1600)로 입력되거나 객체 인식 장치(1600)로부터 출력되는 데이터(예를 들어, 객체 인식 결과)를 저장할 수도 있다.
메모리(1660)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있는데, 예를 들어, UI 모듈(1661) 및 터치 스크린 모듈(1662) 등으로 분류될 수 있다.
UI 모듈(1661)은, 애플리케이션 별로 객체 인식 장치(1600)와 연동되는 특화된 UI, GUI 등을 제공할 수 있다. 터치 스크린 모듈(1662)은 사용자의 터치 스크린 상의 터치 제스처를 감지하고, 터치 제스처에 관한 정보를 프로세서(1620)로 전달할 수 있다. 본 발명의 일 실시예에 따른 터치 스크린 모듈(1662)은 터치 코드를 인식하고 분석할 수 있다. 터치 스크린 모듈(1662)은 컨트롤러를 포함하는 별도의 하드웨어로 구성될 수도 있다.
메모리(1660)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM), SRAM(Static Random Access Memory), 롬(ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
한편, 도 16에 도시된 객체 인식 장치(1600)의 구성은 일 실시예이며, 객체 인식 장치(1600)의 각 구성요소는 구현되는 객체 인식 장치의 사양에 따라 통합, 추가, 또는 생략될 수 있다. 즉, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다. 또한, 각 구성(또는, 모듈)에서 수행하는 기능은 실시예들을 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 발명의 권리범위를 제한하지 아니한다.
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다.
상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다.
이상과 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

Claims (15)

  1. 객체가 포함된 복수의 이미지 각각의 제 1 특성 정보를 추출하는 단계;
    상기 추출된 복수의 이미지 각각의 제 1 특성 정보를 결합하여, 복수의 이미지 간의 연관 관계에 관한 적어도 하나의 제 2 특성 정보를 생성하는 단계; 및
    상기 적어도 하나의 제 2 특성 정보를 기초로, 기 생성된 학습 네트워크 모델을 이용하여 상기 복수의 이미지에 포함된 객체를 인식하는 단계를 포함하는, 객체를 인식하는 방법.
  2. 제 1항에 있어서, 상기 제 2 특성 정보를 생성하는 단계는,
    상기 추출된 복수의 이미지 각각의 제 1 특성 정보를 선형 결합하여, 상기 복수의 이미지 간의 유사점 및 차이점 중 적어도 하나를 나타내는 제 2 특성 정보를 생성하는, 객체를 인식하는 방법.
  3. 제 1항에 있어서, 상기 제 2 특성 정보를 생성하는 단계는,
    상기 추출된 복수의 이미지 각각의 제 1 특성 정보를 비교하여, 상기 복수의 이미지 중 제 1 특성 정보의 차이가 기 설정된 범위에 포함되는 복수의 이미지를 선택하는 단계; 및
    상기 선택된 복수의 이미지 각각의 제 1 특성 정보를 결합하는 단계를 포함하는, 객체를 인식하는 방법.
  4. 제 1항에 있어서,
    상기 복수의 이미지 각각에서 상기 객체가 위치하는 영역을 결정하는 단계를 더 포함하고,
    상기 제 1 특성 정보를 추출하는 단계는,
    상기 결정된 영역으로부터 상기 객체의 제 1 특성 정보를 추출하는, 객체를 인식하는 방법.
  5. 제 1항에 있어서, 상기 객체를 인식하는 단계는,
    상기 제 2 특성 정보를 생성하는데 기초가 된 제 1 특성 정보의 결합 방식에 따라, 상기 기 생성된 학습 네트워크 모델에 입력되는 적어도 하나의 제 2 특성 정보에 대한 가중치를 설정하는 단계; 및
    상기 설정된 가중치에 따라 상기 적어도 하나의 제 2 특성 정보를 상기 기 생성된 학습 네트워크 모델에 적용하여, 상기 객체를 인식하는 단계를 포함하는, 객체를 인식하는 방법.
  6. 제 1항에 있어서, 상기 객체를 인식하는 단계는,
    상기 적어도 하나의 제 2 특성 정보 및 상기 복수의 이미지 중 적어도 일부의 제 1 특성 정보를 기초로, 상기 기 생성된 학습 네트워크 모델을 이용하여, 상기 객체를 인식하는, 객체를 인식하는 방법.
  7. 제 1항에 있어서,
    상기 객체의 특성, 상기 객체의 움직임 및 촬영 장치의 움직임 중 적어도 하나에 따라 서로 다른 상기 객체의 형태가 촬영된 복수의 학습 이미지를 획득하는 단계; 및
    상기 획득된 복수의 학습 이미지를 기초로, 상기 학습 네트워크 모델을 구성하는 복수의 레이어의 파라미터를 결정하는 단계를 더 포함하는, 객체를 인식하는 방법.
  8. 하나 이상의 인스트럭션을 저장하는 메모리;
    출력부; 및
    상기 메모리에 저장된 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고,
    상기 프로세서는,
    객체가 포함된 복수의 이미지 각각의 제 1 특성 정보를 추출하고,
    상기 추출된 복수의 이미지 각각의 제 1 특성 정보를 결합하여, 복수의 이미지 간의 연관 관계에 관한 적어도 하나의 제 2 특성 정보를 생성하며,
    상기 적어도 하나의 제 2 특성 정보를 기초로, 기 생성된 학습 네트워크 모델을 이용하여 상기 복수의 이미지에 포함된 객체를 인식하는, 객체를 인식하는 장치.
  9. 제 8항에 있어서,
    상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
    상기 추출된 복수의 이미지 각각의 제 1 특성 정보를 선형 결합하여, 상기 복수의 이미지 간의 유사점 및 차이점 중 적어도 하나를 나타내는 제 2 특성 정보를 생성하는, 객체를 인식하는 장치.
  10. 제 8항에 있어서,
    상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
    상기 추출된 복수의 이미지 각각의 제 1 특성 정보를 비교하여, 상기 복수의 이미지 중 제 1 특성 정보의 차이가 기 설정된 범위에 포함되는 복수의 이미지를 선택하고,
    상기 선택된 복수의 이미지 각각의 제 1 특성 정보를 결합하는, 객체를 인식하는 장치.
  11. 제 8항에 있어서,
    상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
    상기 복수의 이미지 각각에서 상기 객체가 위치하는 영역을 결정하고,
    상기 결정된 영역으로부터 상기 객체의 제 1 특성 정보를 추출하는, 객체를 인식하는 장치
  12. 제 8항에 있어서,
    상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
    상기 제 2 특성 정보를 생성하는데 기초가 된 제 1 특성 정보의 결합 방식에 따라, 상기 기 생성된 학습 네트워크 모델에 입력되는 적어도 하나의 제 2 특성 정보에 대한 가중치를 설정하고,
    상기 설정된 가중치에 따라 상기 적어도 하나의 제 2 특성 정보를 상기 기 생성된 학습 네트워크 모델에 적용하여 상기 객체를 인식하는, 객체를 인식하는 장치.
  13. 제 8항에 있어서,
    상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
    상기 적어도 하나의 제 2 특성 정보 및 상기 복수의 이미지 중 적어도 일부의 제 1 특성 정보를 기초로, 상기 기 생성된 학습 네트워크 모델을 이용하여 상기 객체를 인식하는, 객체를 인식하는 장치.
  14. 제 8항에 있어서,
    상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
    상기 객체의 특성, 상기 객체의 움직임 및 촬영 장치의 움직임 중 적어도 하나에 따라 서로 다른 상기 객체의 형태가 촬영된 복수의 학습 이미지를 획득하고,
    상기 획득된 복수의 학습 이미지를 기초로, 상기 학습 네트워크 모델을 구성하는 복수의 레이어의 파라미터를 결정하는, 객체를 인식하는 장치.
  15. 제 1항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
PCT/KR2018/007828 2017-08-08 2018-07-11 객체를 인식하는 방법 및 장치 WO2019031714A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/633,825 US11216694B2 (en) 2017-08-08 2018-07-11 Method and apparatus for recognizing object
CN201880051548.5A CN110998601B (zh) 2017-08-08 2018-07-11 用于识别对象的方法和装置
EP18843146.4A EP3629238A4 (en) 2017-08-08 2018-07-11 METHOD AND DEVICE FOR DETECTING AN OBJECT

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2017-0100514 2017-08-08
KR1020170100514A KR102425578B1 (ko) 2017-08-08 2017-08-08 객체를 인식하는 방법 및 장치

Publications (1)

Publication Number Publication Date
WO2019031714A1 true WO2019031714A1 (ko) 2019-02-14

Family

ID=65271687

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/007828 WO2019031714A1 (ko) 2017-08-08 2018-07-11 객체를 인식하는 방법 및 장치

Country Status (5)

Country Link
US (1) US11216694B2 (ko)
EP (1) EP3629238A4 (ko)
KR (1) KR102425578B1 (ko)
CN (1) CN110998601B (ko)
WO (1) WO2019031714A1 (ko)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10763904B2 (en) 2018-05-25 2020-09-01 Nanosemi, Inc. Digital predistortion in varying operating conditions
CN111612034A (zh) * 2020-04-15 2020-09-01 中国科学院上海微系统与信息技术研究所 一种对象识别模型的确定方法、装置、电子设备及存储介质
US10812166B2 (en) 2016-10-07 2020-10-20 Nanosemi, Inc. Beam steering digital predistortion
US10862517B2 (en) 2015-11-30 2020-12-08 Nanosemi, Inc. Digital compensator
US10931238B2 (en) 2018-05-25 2021-02-23 Nanosemi, Inc. Linearization with envelope tracking or average power tracking
US10931318B2 (en) 2017-06-09 2021-02-23 Nanosemi, Inc. Subsampled linearization system
US10992326B1 (en) 2020-05-19 2021-04-27 Nanosemi, Inc. Buffer management for adaptive digital predistortion
US11057004B2 (en) 2017-02-25 2021-07-06 Nanosemi, Inc. Multiband digital predistorter
US11115067B2 (en) 2017-06-09 2021-09-07 Nanosemi, Inc. Multi-band linearization system
CN113496141A (zh) * 2020-03-18 2021-10-12 阿里巴巴集团控股有限公司 目标对象的识别方法和系统、存储介质及计算设备
CN113574537A (zh) * 2019-03-29 2021-10-29 创新先进技术有限公司 使用复合手部图像的生物特征识别
US11171614B2 (en) 2018-05-11 2021-11-09 Nanosemi, Inc. Multi-band digital compensator for a non-linear system
US11303251B2 (en) 2017-10-02 2022-04-12 Nanosemi, Inc. Digital predistortion adjustment based on determination of load condition characteristics
US11323188B2 (en) 2017-07-12 2022-05-03 Nanosemi, Inc. Monitoring systems and methods for radios implemented with digital predistortion
US11664836B2 (en) 2017-05-18 2023-05-30 Nanosemi, Inc. Passive intermodulation cancellation
US11863210B2 (en) 2018-05-25 2024-01-02 Nanosemi, Inc. Linearization with level tracking

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018217280A1 (en) 2017-05-23 2018-11-29 Walmart Apollo, Llc Automated inspection system
US10685233B2 (en) * 2017-10-24 2020-06-16 Google Llc Sensor based semantic object generation
JPWO2019097784A1 (ja) * 2017-11-16 2020-10-01 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US11461996B2 (en) * 2018-03-05 2022-10-04 Omron Corporation Method, apparatus and system for determining feature data of image data, and storage medium
US11448632B2 (en) 2018-03-19 2022-09-20 Walmart Apollo, Llc System and method for the determination of produce shelf life
WO2020023762A1 (en) 2018-07-26 2020-01-30 Walmart Apollo, Llc System and method for produce detection and classification
CN109086709B (zh) * 2018-07-27 2023-04-07 腾讯科技（深圳）有限公司 特征提取模型训练方法、装置及存储介质
US11715059B2 (en) 2018-10-12 2023-08-01 Walmart Apollo, Llc Systems and methods for condition compliance
WO2020106332A1 (en) 2018-11-20 2020-05-28 Walmart Apollo, Llc Systems and methods for assessing products
KR102097905B1 (ko) * 2019-06-04 2020-04-06 주식회사 딥엑스 이미지 객체 인식 장치 및 방법
KR102702849B1 (ko) 2019-03-05 2024-09-03 한화비전 주식회사 인공 지능 카메라를 이용한 감시 시스템
KR102224218B1 (ko) * 2019-04-30 2021-03-08 한양대학교 산학협력단 비디오 시간 정보를 활용하는 딥러닝 기반 물체 검출 방법 및 장치
JPWO2021024805A1 (ko) * 2019-08-06 2021-02-11
US20220092735A1 (en) * 2019-11-21 2022-03-24 Samsung Electronics Co., Ltd. Electronic apparatus and controlling method thereof
KR20210062477A (ko) * 2019-11-21 2021-05-31 삼성전자주식회사 전자 장치 및 그 제어 방법
KR102267835B1 (ko) * 2019-12-11 2021-06-22 광주과학기술원 딥러닝을 이용한 타겟 객체의 매력도 분석 방법 및 장치
CN111523647B (zh) * 2020-04-26 2023-11-14 南开大学 网络模型训练方法及装置、特征选择模型、方法及装置
KR102469120B1 (ko) * 2020-08-26 2022-11-21 국방과학연구소 위성 영상 표적 식별 장치, 방법, 컴퓨터 판독 가능한 기록매체 및 컴퓨터 프로그램
CN112784760B (zh) * 2021-01-25 2024-04-12 北京百度网讯科技有限公司 人体行为识别方法、装置、设备以及存储介质
KR102663632B1 (ko) * 2021-07-29 2024-05-09 (주)위세아이텍 인공지능 기반의 미술품 거래의 트랜드 예측 장치 및 방법
KR102662978B1 (ko) * 2021-09-23 2024-05-03 광주과학기술원 실환경 물체 인식 방법 및 장치
KR102342843B1 (ko) * 2021-10-01 2021-12-23 주식회사 빛글림 주변 환경 및 사용자의 선호도를 고려한 맞춤형 컨텐츠 제공 방법
KR102556606B1 (ko) * 2021-10-29 2023-07-19 가온그룹 주식회사 클라우드 ai 기반의 xr 디바이스 운영 시스템
KR102375541B1 (ko) * 2021-11-02 2022-03-17 주식회사 스누아이랩 구조적 일관성 손실을 갖는 인공지능서비스장치 및 그 장치의 구동방법
KR20230116549A (ko) * 2022-01-28 2023-08-04 삼성전자주식회사 이미지를 분류하는 서버 및 그 동작 방법
KR20240023905A (ko) * 2022-08-16 2024-02-23 주식회사 맨드언맨드 편집된 인공 신경망을 이용한 데이터 처리 방법
WO2024145225A2 (en) * 2022-12-27 2024-07-04 Moiiai Inc. Sensor data processing system and method
KR102653971B1 (ko) * 2023-08-25 2024-04-03 옴니스랩스 주식회사 인공지능을 기반으로 한 공간상 변화를 탐지하는 방법 및 이러한 방법을 수행하는 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160125273A1 (en) * 2014-10-31 2016-05-05 Casio Computer Co., Ltd. Machine learning device and classification device for accurately classifying into category to which content belongs
KR20160072768A (ko) * 2014-12-15 2016-06-23 삼성전자주식회사 영상 인식 방법, 영상 검증 방법, 장치, 및 영상 인식 및 검증에 대한 학습 방법 및 장치
KR101657495B1 (ko) * 2015-09-04 2016-09-30 (주)한국플랫폼서비스기술 딥러닝 분석을 위한 모듈화시스템 및 이를 이용한 영상 인식 방법
KR20160131848A (ko) * 2015-05-08 2016-11-16 삼성전자주식회사 객체 인식 장치 및 방법
KR20170030332A (ko) * 2015-09-09 2017-03-17 한국과학기술연구원 객체 고유의 구조적 특징을 이용한 객체 인식 장치 및 그 방법

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7760917B2 (en) 2005-05-09 2010-07-20 Like.Com Computer-implemented method for performing similarity searches
JP5671928B2 (ja) * 2010-10-12 2015-02-18 ソニー株式会社 学習装置、学習方法、識別装置、識別方法、およびプログラム
KR102158691B1 (ko) * 2014-01-08 2020-09-22 엘지전자 주식회사 이동 단말기 및 그 제어 방법
US9552519B2 (en) * 2014-06-02 2017-01-24 General Motors Llc Providing vehicle owner's manual information using object recognition in a mobile device
US9754192B2 (en) * 2014-06-30 2017-09-05 Microsoft Technology Licensing, Llc Object detection utilizing geometric information fused with image data
US10346726B2 (en) * 2014-12-15 2019-07-09 Samsung Electronics Co., Ltd. Image recognition method and apparatus, image verification method and apparatus, learning method and apparatus to recognize image, and learning method and apparatus to verify image
US9940539B2 (en) * 2015-05-08 2018-04-10 Samsung Electronics Co., Ltd. Object recognition apparatus and method
US9633282B2 (en) * 2015-07-30 2017-04-25 Xerox Corporation Cross-trained convolutional neural networks using multimodal images
US20180039853A1 (en) * 2016-08-02 2018-02-08 Mitsubishi Electric Research Laboratories, Inc. Object Detection System and Object Detection Method
JP6964234B2 (ja) * 2016-11-09 2021-11-10 パナソニックＩｐマネジメント株式会社 情報処理方法、情報処理装置およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160125273A1 (en) * 2014-10-31 2016-05-05 Casio Computer Co., Ltd. Machine learning device and classification device for accurately classifying into category to which content belongs
KR20160072768A (ko) * 2014-12-15 2016-06-23 삼성전자주식회사 영상 인식 방법, 영상 검증 방법, 장치, 및 영상 인식 및 검증에 대한 학습 방법 및 장치
KR20160131848A (ko) * 2015-05-08 2016-11-16 삼성전자주식회사 객체 인식 장치 및 방법
KR101657495B1 (ko) * 2015-09-04 2016-09-30 (주)한국플랫폼서비스기술 딥러닝 분석을 위한 모듈화시스템 및 이를 이용한 영상 인식 방법
KR20170030332A (ko) * 2015-09-09 2017-03-17 한국과학기술연구원 객체 고유의 구조적 특징을 이용한 객체 인식 장치 및 그 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3629238A4 *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10862517B2 (en) 2015-11-30 2020-12-08 Nanosemi, Inc. Digital compensator
US10812166B2 (en) 2016-10-07 2020-10-20 Nanosemi, Inc. Beam steering digital predistortion
US11057004B2 (en) 2017-02-25 2021-07-06 Nanosemi, Inc. Multiband digital predistorter
US11664836B2 (en) 2017-05-18 2023-05-30 Nanosemi, Inc. Passive intermodulation cancellation
US10931318B2 (en) 2017-06-09 2021-02-23 Nanosemi, Inc. Subsampled linearization system
US11115067B2 (en) 2017-06-09 2021-09-07 Nanosemi, Inc. Multi-band linearization system
US11323188B2 (en) 2017-07-12 2022-05-03 Nanosemi, Inc. Monitoring systems and methods for radios implemented with digital predistortion
US11303251B2 (en) 2017-10-02 2022-04-12 Nanosemi, Inc. Digital predistortion adjustment based on determination of load condition characteristics
US11171614B2 (en) 2018-05-11 2021-11-09 Nanosemi, Inc. Multi-band digital compensator for a non-linear system
US10897276B2 (en) 2018-05-25 2021-01-19 Nanosemi, Inc. Digital predistortion in varying operating conditions
US10931320B2 (en) 2018-05-25 2021-02-23 Nanosemi, Inc. Digital predistortion in varying operating conditions
US10931238B2 (en) 2018-05-25 2021-02-23 Nanosemi, Inc. Linearization with envelope tracking or average power tracking
US10763904B2 (en) 2018-05-25 2020-09-01 Nanosemi, Inc. Digital predistortion in varying operating conditions
US11863210B2 (en) 2018-05-25 2024-01-02 Nanosemi, Inc. Linearization with level tracking
CN113574537A (zh) * 2019-03-29 2021-10-29 创新先进技术有限公司 使用复合手部图像的生物特征识别
CN113574537B (zh) * 2019-03-29 2024-04-19 创新先进技术有限公司 使用复合手部图像的生物特征识别
CN113496141A (zh) * 2020-03-18 2021-10-12 阿里巴巴集团控股有限公司 目标对象的识别方法和系统、存储介质及计算设备
CN111612034A (zh) * 2020-04-15 2020-09-01 中国科学院上海微系统与信息技术研究所 一种对象识别模型的确定方法、装置、电子设备及存储介质
CN111612034B (zh) * 2020-04-15 2024-04-12 中国科学院上海微系统与信息技术研究所 一种对象识别模型的确定方法、装置、电子设备及存储介质
US10992326B1 (en) 2020-05-19 2021-04-27 Nanosemi, Inc. Buffer management for adaptive digital predistortion

Also Published As

Publication number Publication date
US20200242402A1 (en) 2020-07-30
KR20190016367A (ko) 2019-02-18
CN110998601B (zh) 2023-11-17
KR102425578B1 (ko) 2022-07-26
CN110998601A (zh) 2020-04-10
US11216694B2 (en) 2022-01-04
EP3629238A1 (en) 2020-04-01
EP3629238A4 (en) 2020-07-15

Similar Documents

Publication Publication Date Title
WO2019031714A1 (ko) 객체를 인식하는 방법 및 장치
WO2019059505A1 (ko) 객체를 인식하는 방법 및 장치
WO2018117704A1 (en) Electronic apparatus and operation method thereof
WO2018212538A1 (en) Electronic device and method of detecting driving event of vehicle
WO2020080773A1 (en) System and method for providing content based on knowledge graph
EP3602497A1 (en) Electronic device and method of detecting driving event of vehicle
WO2020085694A1 (ko) 이미지 획득 장치 및 그의 제어 방법
WO2019050247A2 (ko) 클래스 인식을 위한 뉴럴 네트워크 학습 방법 및 디바이스
WO2018128362A1 (en) Electronic apparatus and method of operating the same
WO2019182346A1 (ko) 인공지능 모델을 이용하여 사용자 음성을 변조하기 위한 전자 장치 및 이의 제어 방법
WO2019164232A1 (ko) 전자 장치, 이의 영상 처리 방법 및 컴퓨터 판독가능 기록 매체
WO2019027141A1 (en) ELECTRONIC DEVICE AND METHOD FOR CONTROLLING THE OPERATION OF A VEHICLE
EP3539056A1 (en) Electronic apparatus and operation method thereof
WO2020130747A1 (ko) 스타일 변환을 위한 영상 처리 장치 및 방법
WO2019231130A1 (ko) 전자 장치 및 그의 제어방법
EP3545436A1 (en) Electronic apparatus and method of operating the same
WO2019093819A1 (ko) 전자 장치 및 그 동작 방법
WO2021006482A1 (en) Apparatus and method for generating image
WO2018117538A1 (ko) 차선 정보를 추정하는 방법 및 전자 장치
WO2018131875A1 (en) Display apparatus and method for providing service thereof
WO2018124500A1 (ko) 객체의 인식 결과를 제공하는 방법 및 전자 장치
WO2019132410A1 (en) Electronic device and control method thereof
WO2021112631A1 (en) Device, method, and program for enhancing output content through iterative generation
WO2021101134A1 (en) Electronic apparatus and control method thereof
WO2021206221A1 (en) Artificial intelligence apparatus using a plurality of output layers and method for same

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18843146

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018843146

Country of ref document: EP

Effective date: 20191222

NENP Non-entry into the national phase

Ref country code: DE