WO2020091253A1 - 전자 장치 및 전자 장치의 제어 방법 - Google Patents

전자 장치 및 전자 장치의 제어 방법 Download PDF

Info

Publication number
WO2020091253A1
WO2020091253A1 PCT/KR2019/013172 KR2019013172W WO2020091253A1 WO 2020091253 A1 WO2020091253 A1 WO 2020091253A1 KR 2019013172 W KR2019013172 W KR 2019013172W WO 2020091253 A1 WO2020091253 A1 WO 2020091253A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
electronic device
layer
information
artificial intelligence
Prior art date
Application number
PCT/KR2019/013172
Other languages
English (en)
French (fr)
Inventor
김지만
박찬종
반동하
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US17/281,885 priority Critical patent/US20210397890A1/en
Publication of WO2020091253A1 publication Critical patent/WO2020091253A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects

Definitions

  • the present disclosure relates to an electronic device and a control method of the electronic device, and more particularly, to an electronic device capable of performing image recognition and a control method thereof.
  • artificial intelligence-based image recognition technology has been developed and applied to various industries.
  • artificial intelligence-based image recognition technology it is applied not only to image search services, but also to various industries, such as video security control systems or autonomous vehicles.
  • the image recognition technology to date does not efficiently reflect the characteristics of field data in various technical fields, and thus does not satisfy the wide needs of various industries.
  • the present disclosure has been devised according to the necessity as described above, and the purpose of the present disclosure is to provide electronic devices and electronics capable of performing image recognition that can efficiently reflect field data characteristics of various technical fields while having higher accuracy. It is to provide a control method of the device.
  • the electronic device includes a memory including at least one command and a processor connected to the memory to control the electronic device.
  • the processor acquires an image, inputs the acquired image into a learned artificial intelligence model to obtain information about the image, and the artificial intelligence model is classified according to the upper and lower concepts of objects included in the image. It includes a plurality of classifiers corresponding to each of a plurality of layers, and acquires information about the image from each of the plurality of classifiers.
  • the plurality of layers includes a plurality of categories for classifying objects included in the image for each of the plurality of layers, and information on the image is applied to the image among the plurality of categories included in each of the plurality of layers.
  • Information about a category corresponding to the included object may be included.
  • the processor acquires a plurality of loss function values corresponding to each of the plurality of layers based on information on an image obtained from each of the plurality of classifiers, and sums the total loss obtained by summing the plurality of loss function values.
  • the artificial intelligence model can be trained such that the total loss function value is minimal.
  • the processor inputs the image to the artificial intelligence model to obtain a feature value of the image, and inputs the feature value of the acquired image to the plurality of classifiers for information on the image from each of the plurality of classifiers Can be obtained.
  • the plurality of layers includes a first layer and a second layer including a plurality of sub-categories for each of a plurality of categories included in the first layer
  • the processor is configured from a classifier corresponding to the second layer. Based on the obtained image information, a category corresponding to an object included in the image may be identified among a plurality of categories included in the first layer.
  • the information on the image obtained from the classifier corresponding to the second layer includes information on the probability that objects included in the image correspond to each of a plurality of categories included in the second layer, and the processor Based on the information on the probability, information about a probability that an object included in the image corresponds to each of a plurality of categories included in the first layer, and the image among a plurality of categories included in the first layer A category corresponding to the object included in may be identified.
  • the first layer includes a plurality of categories for identifying whether a product included in the image is defective
  • the second layer includes a category for a defective type of the product and a category for a normal type of the product. It includes a plurality of sub-categories
  • the processor acquires the appearance image of the product, and inputs the acquired appearance image to the artificial intelligence model to obtain information about the image corresponding to the second layer, Based on the information on the image corresponding to the second layer, information on the image corresponding to the first layer can be obtained to identify whether the product is defective.
  • the artificial intelligence model may include at least one artificial neural network of a convolutional neural network (CNN) and a recurrent neural network (RNN).
  • CNN convolutional neural network
  • RNN recurrent neural network
  • the processor may convert the acquired image into a gray scale image and input the converted gray scale image into the artificial intelligence model.
  • control method of the electronic device for achieving the object of the present disclosure is classified according to the steps of acquiring an image, inputting the acquired image into a learned artificial intelligence model, and upper and lower concepts of objects included in the image. And acquiring information about the image from each of a plurality of classifiers corresponding to each of the plurality of layers and included in the artificial intelligence model.
  • the plurality of layers includes a plurality of categories for classifying objects included in the image for each of the plurality of layers, and information on the image is applied to the image among the plurality of categories included in each of the plurality of layers.
  • Information about a category corresponding to the included object may be included.
  • control method of the electronic device further includes learning an artificial intelligence model, and the step of obtaining information about the image is based on information about the image obtained from each of the plurality of classifiers, respectively. Acquiring a plurality of loss function values corresponding to, and training the artificial intelligence model, backpropagation the total loss function value obtained by summing the plurality of loss function values, so that the total loss function value is It may be to train the artificial intelligence model to be the minimum.
  • control method of the electronic device further includes the step of acquiring the feature value of the image by inputting the image into the artificial intelligence model, and the step of acquiring information about the image determines the feature value of the acquired image. It may be input to the plurality of classifiers to obtain information about the image from each of the plurality of classifiers.
  • control method of the electronic device further includes identifying a category, and the plurality of layers includes a first layer and a second layer including a plurality of sub-categories for each of the plurality of categories included in the first layer.
  • the step of identifying the category is based on information on the image obtained from the classifier corresponding to the second layer, the plurality of categories included in the first layer corresponding to the object included in the image It may be to identify a category.
  • the information on the image obtained from the classifier corresponding to the second layer includes information on the probability that an object included in the image corresponds to each of a plurality of categories included in the second layer, and the category
  • the identifying step may obtain information on a probability that an object included in the image corresponds to each of a plurality of categories included in the first layer, based on the information on the probability, and include a plurality of items included in the first layer. It may be to identify a category corresponding to an object included in the image among the categories.
  • the first layer includes a plurality of categories for identifying whether a product included in the image is defective
  • the second layer includes a category for a defective type of the product and a category for a normal type of the product. It includes a plurality of sub-categories, including the step of acquiring the image to obtain the appearance image of the product, the step of acquiring information about the image input to the artificial intelligence model the appearance image of the obtained product
  • the step of identifying the category is to obtain information about the image corresponding to the first layer based on the information on the image corresponding to the second layer , It may be to identify whether the product is defective.
  • the artificial intelligence model may include at least one artificial neural network of a convolutional neural network (CNN) and a recurrent neural network (RNN).
  • CNN convolutional neural network
  • RNN recurrent neural network
  • the step of inputting the image into the learned artificial intelligence model may be converting the acquired image into a gray scale image and inputting the converted gray scale image into the artificial intelligence model.
  • the control method of the electronic device comprises: obtaining an image, learning the acquired image Input to an artificial intelligence model and corresponding to each of a plurality of layers divided according to upper and lower concepts of an object included in the image, and information about the image from each of a plurality of classifiers included in the artificial intelligence model And obtaining.
  • FIG. 1 is a view for briefly showing a process in which an electronic device acquires information about an image using an artificial intelligence model according to an embodiment of the present disclosure
  • FIG. 2 is a block diagram schematically illustrating a configuration of an electronic device according to an embodiment of the present disclosure
  • FIG. 3 is a view showing in detail the configuration of an electronic device according to an embodiment of the present disclosure.
  • FIG. 4 is a view for explaining a plurality of layers and a plurality of categories according to an embodiment of the present disclosure
  • FIG. 5 is a view for explaining a learning process of the artificial intelligence model according to an embodiment of the present disclosure
  • FIG. 6 is a diagram for explaining a process of performing image recognition using an artificial intelligence model according to an embodiment
  • FIGS. 7 to 9 are diagrams for explaining a plurality of hierarchies and a plurality of categories, a learning process of an AI model, and a process of using the AI model according to an embodiment of identification of product defects of the present disclosure, respectively.
  • FIG. 10 is a diagram illustrating a control method of an electronic device according to an embodiment of the present disclosure.
  • 11 to 13 are block diagrams showing a configuration of a processor according to an embodiment of the present disclosure.
  • FIG. 14 is a diagram illustrating an example of learning and recognizing data by interworking with an electronic device and a server according to an embodiment of the present disclosure.
  • expressions such as “have,” “can have,” “includes,” or “can include,” include the presence of a corresponding feature (eg, a component such as a numerical value, function, operation, or part). And does not exclude the presence of additional features.
  • expressions such as “A or B,” “at least one of A or / and B,” or “one or more of A or / and B”, etc. may include all possible combinations of the items listed together. .
  • Some component eg, first component
  • another component eg, second component
  • any of the above components may be directly connected to the other component or may be connected through another component (eg, a third component).
  • a component eg, a first component
  • another component eg, a second component
  • the component and the component It can be understood that there are no other components (eg, the third component) between the other components.
  • the expression "a device configured to” may mean that the device “can” with other devices or parts.
  • processors configured (or set) to perform A, B, and C means by executing a dedicated processor (eg, an embedded processor) to perform the operation, or one or more software programs stored in the memory device.
  • a dedicated processor eg, an embedded processor
  • It may mean a general-purpose processor (eg, CPU or application processor) capable of performing the corresponding operations.
  • the 'module' or 'unit' performs at least one function or operation, and may be implemented in hardware or software, or a combination of hardware and software.
  • a plurality of 'modules' or a plurality of 'units' may be integrated into at least one module except for a 'module' or a 'unit' that needs to be implemented with specific hardware to be implemented with at least one processor.
  • FIG. 1 is a view for briefly showing a process of an electronic device acquiring information about an image using an artificial intelligence model according to an embodiment of the present disclosure.
  • the electronic device acquires an image and inputs the acquired image into the learned artificial intelligence model 10 to obtain information about the image.
  • the artificial intelligence model 10 according to an embodiment of the present disclosure includes a plurality of classifiers.
  • the artificial intelligence model 10 may be an artificial intelligence model 10 learned using at least one of artificial intelligence algorithms such as machine learning, neural networks, genes, deep learning and classification algorithms.
  • the artificial intelligence model 10 according to the present disclosure may include an artificial neural network such as a convolutional neural network (CNN), but is not limited thereto. Details of the artificial intelligence model 10 according to the present disclosure will be described later.
  • CNN convolutional neural network
  • the classifier serves to classify the input image into any one of a plurality of categories and output information corresponding to the classification result, and may be implemented based on an artificial neural network such as CNN.
  • the artificial intelligence model 10 includes a plurality of classifiers, and the plurality of classifiers correspond to each of the plurality of layers. Specifically, as shown in FIG. 1, the artificial intelligence model 10 includes a first classifier corresponding to a first layer, a second classifier corresponding to a second layer,. And, it may include an n-th classifier corresponding to the n-th layer.
  • the plurality of layers are divided according to the upper and lower concepts of the object included in the image.
  • the plurality of layers includes a plurality of categories for classifying objects included in an image for each of the plurality of layers.
  • the plurality of layers and the plurality of categories may be configured by reflecting field data characteristics of various technical fields.
  • the plurality of layers may include a first layer and a second layer including a plurality of sub-categories for each of a plurality of categories included in the first layer. Also, the plurality of layers may further include a third layer including a plurality of sub-categories for each of the plurality of categories included in the second layer.
  • the plurality of layers and the plurality of categories may be pre-configured based on a known data set and stored in the electronic device.
  • the plurality of layers or the plurality of categories may be configured according to a user's command. .
  • the image input to the artificial intelligence model 10 specifically refers to digital image data, and may also be digital image data that has been pre-processed for the speed and efficiency of the calculation process.
  • information on the image output from the artificial intelligence model 10 may include information on a category corresponding to an object included in the image among a plurality of categories included in each of the plurality of layers.
  • the information on the image may include information on the probability that an object included in the image corresponds to each of a plurality of categories included in each of the plurality of layers.
  • the electronic device acquires information about an image from each of a plurality of classifiers corresponding to each of a plurality of layers divided according to upper and lower concepts of an object included in the image. Accordingly, the electronic device may acquire various information under different distinguishing criteria according to each of the plurality of layers.
  • the electronic device does not acquire information about an image based on a plurality of categories defined horizontally under one layer, but a plurality of vertically divided objects according to an upper and lower concept of an object included in the image.
  • information about an image may be acquired based on a plurality of categories defined horizontally.
  • the electronic device may train the artificial intelligence model 10 based on information about an image obtained from each of the plurality of classifiers.
  • the electronic device may display information about an image obtained from a classifier corresponding to the first layer, information about an image obtained from a classifier corresponding to the second layer, and an image obtained from a classifier corresponding to the third layer.
  • the artificial intelligence model 10 can be trained using information comprehensively.
  • the electronic device may obtain a plurality of loss function values corresponding to each of the plurality of layers based on information on the image obtained from each of the plurality of classifiers. Also, the electronic device may train the artificial intelligence model 10 so that the total loss function value is minimized by backpropagating the total loss function value obtained by summing the plurality of loss function values.
  • the loss function is a kind of an index for determining an optimal weight parameter through learning in an AI model, that is, learning of the AI model uses a weight parameter to make the result (error) of the loss function small. It can be said to be a process of coordination.
  • a mean squared error (MSE) or a cross entropy error (CEE) is generally used, but the present disclosure is not limited to a type of constant loss function, and As long as the purpose of the disclosure can be achieved, the present disclosure is not limited to a specific method for AI learning.
  • the electronic device may use information of various features obtained under different distinguishing criteria according to each of a plurality of layers while being organically related to each other according to upper and lower concepts. Can be. That is, according to the present disclosure, the artificial intelligence model 10 may be trained based on the characteristics of various levels according to a plurality of layers. Accordingly, the learning effect can be improved compared to the case where the artificial intelligence model 10 is trained based on information obtained under one layer.
  • the electronic device may perform image recognition using the learned artificial intelligence model 10 as described above. That is, the electronic device may input the image into the artificial intelligence model 10 to obtain information about the image, and identify a category corresponding to an object included in the image based on the obtained image information.
  • Image recognition according to the present disclosure is directly related to classification of images, but hereinafter, for convenience, image recognition and image classification are collectively referred to as image recognition.
  • a category corresponding to an object included in the image may be identified among a plurality of categories included in the first layer.
  • the electronic device according to the present disclosure can improve the accuracy of image recognition of the electronic device by using the learned artificial intelligence model 10.
  • FIG. 2 is a block diagram briefly illustrating a configuration of an electronic device according to an embodiment of the present disclosure
  • FIG. 3 is a diagram showing a detailed configuration of an electronic device according to an embodiment of the present disclosure.
  • the electronic device 100 includes a memory 110 and a processor 120. And, as shown in FIG. 3, the electronic device 100 according to an embodiment of the present disclosure further includes a communication unit 130, an image sensor 140, an output unit 150, and a user interface unit 160 can do.
  • a configuration is exemplary, and in the implementation of the present disclosure, a new configuration may be added or some components may be omitted in addition to the configuration.
  • At least one command related to the electronic device 100 may be stored in the memory 110.
  • an operating system (O / S) for driving the electronic device 100 may be stored in the memory 110.
  • various software programs or applications for operating the electronic device 100 may be stored in the memory 110 according to various embodiments of the present disclosure.
  • the memory 110 may include a semiconductor memory such as a flash memory or a magnetic storage medium such as a hard disk.
  • various software modules for operating the electronic device 100 may be stored in the memory 110 according to various embodiments of the present disclosure, and the processor 120 executes various software modules stored in the memory 110. By doing so, the operation of the electronic device 100 can be controlled.
  • the artificial intelligence model may be implemented in software and stored in the memory 110, and the processor 120 executes software stored in the memory 110 to execute an image according to the present disclosure. Recognition process.
  • a data set used to configure a plurality of layers and a plurality of categories according to the present disclosure may be stored in the memory 110.
  • the communication unit 130 performs communication with an external device (not shown) or a server (not shown).
  • the communication unit 130 may include at least one of a WiFi chip, a Bluetooth chip, a wireless communication chip, and an NFC chip.
  • the communication unit 130 performs a communication connection with an external device (not shown) or a server (not shown), and images from an external device (not shown) or a server (not shown) Data can be received. Then, the processor 120 may acquire an image through the communication unit 130.
  • the communication unit 130 may perform a communication connection with a server (not shown) as its premise.
  • the image sensor 140 may convert light coming through the lens into an electrical image signal. Then, the processor 120 may acquire an image of the subject through the image sensor 140.
  • the output unit 150 may output various functions that the electronic device 100 can perform.
  • the output unit 150 may include at least one of a display and a speaker.
  • the user interface 160 may receive a user interaction for controlling the overall operation of the electronic device 100.
  • the user interface unit 160 may include at least one of a camera, a microphone, and a remote control signal receiving unit. Meanwhile, the user interface unit 160 may be implemented as a touch screen and included in a display.
  • the processor 120 controls the overall operation of the electronic device 100. Specifically, the processor 120 is connected to the configuration of the electronic device 100 including the memory 110 as described above to control the overall operation of the electronic device 100.
  • the processor 120 can be implemented in various ways.
  • the processor 120 may be an application specific integrated circuit (ASIC), embedded processor, microprocessor, hardware control logic, hardware finite state machine (FSM), digital signal processor (Digital Signal) Processor, DSP).
  • ASIC application specific integrated circuit
  • FSM hardware finite state machine
  • DSP digital signal processor
  • the processor 120 may include a ROM, RAM, a Graphic Processing Unit (GPU), a CPU, and a bus, and the ROM, RAM, a Graphic Processing Unit (GPU), a CPU, etc. may be connected to each other through a bus.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • GPU Graphic Processing Unit
  • CPU Central Processing Unit
  • the processor 120 controls overall operations ranging from acquiring an image, acquiring information about an image, learning an artificial intelligence model, and recognizing an image using an artificial intelligence model.
  • the processor 120 acquires an image through the communication unit 130 or the image sensor 140, and inputs the acquired image into the learned artificial intelligence model to obtain information about the image.
  • the image input to the artificial intelligence model specifically refers to digital image data, and may also be digital image data that has been pre-processed for the speed and efficiency of the calculation process.
  • information about an image output from the artificial intelligence model may include information on a category corresponding to an object included in the image among a plurality of categories included in each of the plurality of layers.
  • the information on the image may include information on the probability that an object included in the image corresponds to each of a plurality of categories included in each of the plurality of layers.
  • the processor 120 obtains information about the image from each of the plurality of classifiers corresponding to each of the plurality of layers divided according to the upper and lower concepts of the objects included in the image. Accordingly, the processor 120 may acquire various information under different distinguishing criteria according to each of the plurality of layers.
  • the processor 120 may train the artificial intelligence model based on information on the images obtained from each of the plurality of classifiers, and perform image recognition using the learned artificial intelligence model.
  • the processor 120 may obtain a plurality of loss function values corresponding to each of the plurality of layers based on information about the image obtained from each of the plurality of classifiers. In addition, the processor 120 may train the artificial intelligence model so that the total loss function value is minimized by backpropagating the total loss function value obtained by summing a plurality of loss function values.
  • the processor 120 may use information of various features obtained under different distinguishing criteria according to each of the plurality of layers while being organically related to each other according to the upper and lower concepts. Accordingly, the learning effect can be improved compared to the case of training the artificial intelligence model based on the information obtained under one layer.
  • the processor 120 may input an image to the artificial intelligence model to obtain information about the image, and identify a category corresponding to an object included in the image based on the obtained image information.
  • the processor 120 when a plurality of layers includes a first layer and a second layer including a plurality of sub-categories for each of a plurality of categories included in the first layer, the processor 120 ) May identify a category corresponding to an object included in the image among a plurality of categories included in the first layer, based on information on the image obtained from the classifier corresponding to the second layer.
  • the processor 120 uses only information on the image obtained from the classifier corresponding to the lowest layer, which is a layer including a plurality of categories according to the most detailed classification criteria among the plurality of layers. , By identifying a category corresponding to an object included in an image among a plurality of categories included in an upper layer, more efficient and accurate image recognition can be performed.
  • FIG. 4 is a view for explaining a plurality of layers and a plurality of categories according to an embodiment of the present disclosure.
  • the AI model according to the present disclosure includes a plurality of classifiers, and the plurality of classifiers correspond to each of the plurality of layers.
  • the plurality of layers are divided according to the upper and lower concepts of the object included in the image.
  • the plurality of layers includes a plurality of categories for classifying objects included in an image for each of the plurality of layers.
  • the plurality of layers may include a first layer and a second layer that is a lower layer for the first layer. Furthermore, the plurality of layers may include an n-th layer that is a lower layer for the n-1 layer.
  • categories 1-1 and categories 1-2 which are categories for classifying objects included in the image may be included, and in the case of the second layer, for each of a plurality of categories included in the first layer. It may include a plurality of sub-categories Category 2-1, Category 2-2, and Category 2-3.
  • the n-th layer may include categories n-1 to n-m.
  • the number of layers is not particularly limited, and the number of categories included in each of the plurality of layers is not limited. That is, n and m mean an arbitrary natural number.
  • a first layer among a plurality of layers may include a category called “instrument” and a category called “animal”.
  • the second layer includes categories such as 'Other' 'Base' and 'Drum', which are sub-categories of the 'Musical Instrument' category of the first layer, and 'Cattle', which is a sub-category of the 'Animal' category of the first layer. , 'Reptiles' and 'Birds'.
  • the third layer includes categories such as 'electric guitar' and 'acoustic guitar', which are sub-categories of the 'other' category of the second layer, and 'cat', which is a sub-category of the category 'mammals' of the second layer,
  • the categories 'fox' and 'wolf' can be included.
  • the plurality of layers and the plurality of categories as described above may be configured by reflecting field data characteristics of various technical fields. Further, the plurality of layers and the plurality of categories may be pre-configured based on a known data set and stored in the electronic device, but the plurality of layers or the plurality of categories may be configured according to a user's command.
  • FIG. 5 is a diagram for explaining a learning process of an artificial intelligence model according to an embodiment of the present disclosure.
  • the artificial intelligence model according to the present disclosure includes a plurality of classifiers.
  • the artificial intelligence model may be an artificial intelligence model learned using at least one of artificial intelligence algorithms such as machine learning, neural networks, genes, deep learning, and classification algorithms.
  • the artificial intelligence model is a model based on an artificial neural network, and may include a plurality of network nodes having weights to simulate neurons of a human neural network.
  • a plurality of network nodes may form a connection relationship so that neurons simulate synaptic activity of neurons that send and receive signals through synapses.
  • a plurality of network nodes may be located at different depths (or layers) and exchange data according to a convolution connection relationship.
  • Examples of the artificial neural network included in the artificial intelligence model according to the present disclosure may include a convolutional neural network (CNN) and a recurrent neural network (RNN), but the type thereof is within the scope of achieving the purpose of the present disclosure. There are no restrictions.
  • CNN convolutional neural network
  • RNN recurrent neural network
  • CNN is a kind of artificial neural network using a convolution operation, and is generally used in artificial intelligence models for image classification.
  • the feature values of the image may be acquired through the convolutional layer of the CNN, and the feature values of the acquired image features may be input to the classifier.
  • the classifier serves to classify the input image into any one of a plurality of categories and output information corresponding to the classification result, and may be implemented based on the artificial neural network as described above.
  • the electronic device inputs the acquired image into the learned artificial intelligence model.
  • the image input to the artificial intelligence model means specifically digitized image data 50.
  • the image data 50 may perform a pre-processing process for speed and efficiency of the calculation process.
  • a data augmentation process may be performed, and the amplified data 51 may be input to the AI model.
  • Data amplification is a method of obtaining modified image data by changing pixels without changing the label of the acquired image data 50.
  • the degree and type of data amplification may vary depending on the specific embodiment and the amount of learning data.
  • a process of converting the obtained color image into a gray scale image may be performed.
  • a method using color luminance has been mainly used, but the process of obtaining a grayscale image according to the present disclosure is not limited to a specific method.
  • the electronic device acquires information about the image by inputting the obtained image or the image that has undergone the pre-processing as described above into the artificial intelligence model. Specifically, the electronic device inputs an image to the trained artificial intelligence model, and acquires information about the image from each of a plurality of classifiers corresponding to each of a plurality of layers divided according to upper and lower concepts of objects included in the image.
  • the electronic device may acquire an image characteristic value by inputting the image into the artificial intelligence model, and input the feature value of the acquired image into a plurality of classifiers, thereby obtaining information about the image from each of the plurality of classifiers. have.
  • the plurality of classifiers corresponds to each of the plurality of layers. Further, the plurality of layers are divided according to the upper and lower concepts of the objects included in the image. Also, the plurality of layers includes a plurality of categories for classifying objects included in an image for each of the plurality of layers.
  • the first classifier includes categories 1-1 and category 1-2
  • the second classifier includes categories 2-1, category 2-2, and category 2-3.
  • the n-th classifier may include categories n-1 to n-6.
  • the electronic device may train an artificial intelligence model based on information about an image obtained from each of a plurality of classifiers.
  • the electronic device provides information about the image obtained from the classifier corresponding to the first layer, information about the image obtained from the classifier corresponding to the second layer, and information about the image obtained from the classifier corresponding to the n-th layer. It can be used comprehensively to train artificial intelligence models.
  • the electronic device may use information of various characteristics obtained under different distinguishing criteria according to each of a plurality of layers while being organically related to each other according to upper and lower concepts. Accordingly, the learning effect can be improved compared to the case of training the artificial intelligence model based on the information obtained under one layer.
  • the electronic device may obtain a plurality of loss function values corresponding to each of the plurality of layers based on information about the image obtained from each of the plurality of classifiers. Then, the electronic device may train the artificial intelligence model such that the total loss function value is minimized by backpropagation of the total loss function value obtained by summing a plurality of loss function values.
  • the electronic device may obtain a first loss function value corresponding to the first layer from the first classifier, and a second loss function corresponding to the second layer from the second classifier. You can get the value. Furthermore. The electronic device may obtain an nth loss function value corresponding to the nth layer from the nth classifier.
  • the electronic device may train the artificial intelligence model based on the total loss function value obtained by adding the first loss function value to the nth loss function value. Specifically, the electronic device may train the artificial intelligence model so that the total loss function value is minimized by back propagating the total loss function value.
  • the loss function is a kind of an index for determining an optimal weight parameter through learning in an AI model, that is, learning of the AI model uses a weight parameter to make the result (error) of the loss function small. It can be said to be a process of coordination.
  • a mean squared error (MSE) or a cross entropy error (CEE) is generally used, but the present disclosure is not limited to a type of constant loss function, and As long as the purpose of the disclosure can be achieved, the present disclosure is not limited to a specific method for AI learning.
  • the artificial intelligence model as an end-to-end using an image as an input value and a total loss function value obtained by summing the loss function values of each of the plurality of classifiers as an output value.
  • a learning effect such as using multiple AI models in one AI model can be obtained.
  • FIG. 6 is a diagram for explaining a process of performing image recognition using an artificial intelligence model according to an embodiment.
  • the electronic device may perform image recognition by inputting an image into an artificial intelligence model. That is, the electronic device may input an image to the artificial intelligence model to obtain information about the image, and identify a category corresponding to an object included in the image based on the obtained image information.
  • a plurality of layers includes a first layer, a second layer that is a lower layer for the first layer, and further includes an n layer that is a lower layer for the n-1 layer. If it does, based on information on the image obtained from the classifier corresponding to the n-th layer, a category corresponding to an object included in the image may be identified among a plurality of categories included in an upper layer for the n-th layer.
  • the electronic device based on the information on the image obtained from the classifier corresponding to the second layer, the first layer A category corresponding to an object included in an image may be identified among a plurality of categories included in.
  • the electronic device may acquire information about the image from the classifier corresponding to the second layer, where the image
  • the information on may include information about a probability that an object included in the image corresponds to each of a plurality of categories included in the second layer.
  • the electronic device obtains information on the probability that the object included in the image corresponds to each of the plurality of categories included in the first layer, based on the information on the probability obtained from the classifier corresponding to the second layer.
  • a category corresponding to an object included in an image may be identified among a plurality of categories included in the first layer.
  • FIGS. 7 to 9 are diagrams for explaining a plurality of hierarchies and a plurality of categories, a learning process of an AI model, and a process of using the AI model according to an embodiment of identification of product defects of the present disclosure.
  • a plurality of layers according to an embodiment of identifying whether a product is defective in the present disclosure may include a first layer and a second layer that is a lower layer for the first layer.
  • the first layer is a category for identifying whether a product is defective, and may include “normal” and “bad” categories.
  • the second layer is a category for a defect type of a product, and the sub-categories' unusual ',' nothing ',' that are sub-categories of the 'OK' category included in the first layer. It can include limit limit and 'stain (bui)' categories, and sub-categories 'scratch (ban)' and 'retest required' for the 'bad (NG)' category included in the first layer ( rework 'and' defect 'categories.
  • the plurality of layers and the plurality of categories as described above may be variously configured by reflecting field data characteristics of various technical fields.
  • a plurality of layers and categories may be configured differently from the above.
  • a filter for 'unusual' may be separately provided to perform a defect test only for the normal input, but may be configured as one of the normal types of categories as described above in consideration of its performance and efficiency. .
  • the electronic device may acquire an external appearance image of a product.
  • the electronic device may acquire information on the appearance image of the product from each of the plurality of classifiers corresponding to each of the plurality of layers by inputting the obtained appearance image of the product into the artificial intelligence model.
  • the electronic device may train the artificial intelligence model by comprehensively using information about the image obtained from the classifier corresponding to the first layer and information about the image obtained from the classifier corresponding to the second layer.
  • the learning effect can be improved as compared to the case of training the artificial intelligence model based only on information acquired in one layer.
  • the categories included in the second layer are 'unusual', 'nothing', 'limit limit', 'stain (bui)', 'scratch (ban)', Compared to the case where only the information according to the classification criteria of the categories 'rework' and 'defect' is used, the categories included in the first layer are 'normal' and 'bad' (NG).
  • the learning effect of the AI model may be improved when information according to the classification criteria of the category is used together.
  • the electronic device may obtain a first loss function value corresponding to the first layer from the first classifier, and also a second loss function corresponding to the second layer from the second classifier. You can get the value.
  • the electronic device may train the artificial intelligence model based on the total loss function value obtained by adding the first loss function value and the second loss function value. Specifically, the electronic device may train the artificial intelligence model so that the total loss function value is minimized by back propagating the total loss function value.
  • the electronic device may identify whether the product is defective by using the learned artificial intelligence model. Specifically, the electronic device acquires information on the external image of the product by inputting the external image of the obtained product into the artificial intelligence model, and based on the information on the external image of the obtained product, whether the product is defective or not. The type and normal type of product can be identified.
  • the product may be efficient to identify whether the product is defective or not based on information on the defect type and the normal type obtained from the classifier corresponding to the lowest layer among the plurality of layers.
  • the electronic device may obtain information about an image from a classifier corresponding to the second layer, where information on the image includes an object included in the appearance image of the product in the second layer
  • Multiple categories of 'unusual', 'nothing', 'limit limit', 'stain (bui)', 'scratch (ban)', 'rework required (rework)' 'And' defect ' may include information about a probability corresponding to each.
  • the electronic device based on the information on the probability obtained from the classifier corresponding to the second layer, the object included in the appearance image of the product is a plurality of categories included in the first layer, 'OK' and 'Poor' (NG) ', it is possible to identify whether a product is defective by obtaining information about a probability corresponding to each.
  • the electronic device may obtain a probability value corresponding to each of a plurality of categories of objects included in the second layer from the classifier corresponding to the second layer.
  • the electronic device sums each obtained probability value into categories of 'OK' and 'Poor' (NG), so that objects included in the appearance image of the product are 'OK' and 'Poor' (NG). ) ', It is possible to identify whether a product is defective by obtaining a probability value corresponding to each.
  • an artificial intelligence model capable of performing accurate image recognition to identify whether a product is defective, a more reliable defect inspection result can be obtained.
  • DNN deep neural network
  • FIG. 10 is a diagram illustrating a control method of an electronic device according to an embodiment of the present disclosure.
  • the electronic device acquires an image (S1010).
  • the image input to the AI model specifically refers to digital image data.
  • the electronic device inputs the acquired image into the learned artificial intelligence model (S1020).
  • the artificial intelligence model includes a plurality of classifiers, and the plurality of classifiers correspond to each of the plurality of layers.
  • the plurality of layers are divided according to the upper and lower concepts of the object included in the image.
  • the plurality of layers includes a plurality of categories for classifying objects included in an image for each of the plurality of layers.
  • the electronic device acquires information about the image from each of the plurality of classifiers included in the artificial intelligence model (S1030).
  • information on an image output from the artificial intelligence model may include information on a category corresponding to an object included in the image among a plurality of categories included in each of the plurality of layers.
  • control method of the electronic device may further include training an artificial intelligence model based on information on the acquired image.
  • the electronic device may obtain a plurality of loss function values corresponding to each of the plurality of layers based on information about the image obtained from each of the plurality of classifiers.
  • the electronic device may obtain a total loss function value by summing the obtained plurality of loss function values, and backpropagation the obtained total loss function value, so that the total loss function value becomes the minimum. You can train an intelligence model.
  • a method of controlling an electronic device uses an artificial intelligence model based on information on an acquired image, to an object included in the image among a plurality of categories included in at least one layer of the plurality of layers.
  • the method may further include identifying a corresponding category.
  • the electronic device when a plurality of layers includes a first layer and a second layer including a plurality of sub-categories for each of a plurality of categories included in the first layer, the electronic device includes the object included in the image as the second layer. Information about a probability corresponding to each of a plurality of categories included in a layer may be obtained.
  • the electronic device obtains information on the probability that the object included in the image corresponds to each of the plurality of categories included in the first layer, based on the information about the probability corresponding to each of the plurality of categories included in the second layer.
  • a category corresponding to an object included in an image may be identified among a plurality of categories included in the first layer.
  • a method of controlling an electronic device may be implemented as a program and provided to the electronic device.
  • a program including a control method of an electronic device may be stored and provided in a non-transitory computer readable medium.
  • control method of the electronic device includes: acquiring an image, inputting the acquired image into a learned artificial intelligence model, and image It corresponds to each of the plurality of layers divided according to the upper and lower concepts of the object included in, and includes obtaining information about the image from each of the plurality of classifiers included in the artificial intelligence model.
  • the non-transitory readable medium means a medium that stores data semi-permanently and that can be read by a device, rather than a medium that stores data for a short time, such as registers, caches, and memory.
  • a non-transitory readable medium such as a CD, DVD, hard disk, Blu-ray disk, USB, memory card, ROM, and the like.
  • 11 to 13 are block diagrams showing a configuration of a processor according to an embodiment of the present disclosure.
  • the processor 1100 may include a data learning unit 1110 and a data recognition unit 1120.
  • the data learning unit 1110 may learn criteria for image recognition according to the present disclosure.
  • the data learning unit 1110 may learn criteria on which data to use for image recognition and how to perform image recognition using the data.
  • the data learning unit 1110 may learn the criteria for image recognition by acquiring data to be used for learning and applying the acquired data to an artificial intelligence model.
  • the data recognition unit 1120 may output a result related to image recognition.
  • the data recognition unit 1120 may output a result of image recognition from predetermined data using the learned artificial intelligence model.
  • the data recognition unit 1120 may obtain predetermined data according to a preset criterion by learning, and use the artificial intelligence model using the obtained data as an input value, thereby outputting a result of image recognition.
  • the result value output by the data recognition model using the obtained data as an input value may be used to update the artificial intelligence model.
  • At least one of the data learning unit 1110 and the data recognition unit 1120 may be manufactured in the form of at least one hardware chip and mounted on an electronic device.
  • at least one of the data learning unit 1110 and the data recognition unit 1120 may be manufactured in the form of a dedicated hardware chip for artificial intelligence (AI), or an existing general-purpose processor (for example, a CPU) Alternatively, it may be manufactured as a part of an application processor or a graphics-only processor (for example, a GPU) and mounted on various electronic devices described above.
  • AI artificial intelligence
  • an existing general-purpose processor for example, a CPU
  • it may be manufactured as a part of an application processor or a graphics-only processor (for example, a GPU) and mounted on various electronic devices described above.
  • the data learning unit 1110 and the data recognition unit 1120 may be mounted on one electronic device 100 or may be mounted on separate electronic devices.
  • one of the data learning unit 1110 and the data recognition unit 1120 may be included in the electronic device 100 and the other may be included in the server.
  • the data learning unit 1110 and the data recognition unit 1120 may provide the model information constructed by the data learning unit 1110 to the data recognition unit 1120 through wired or wireless communication.
  • the data input to 1120 may be provided to the data learning unit 1110 as additional learning data.
  • At least one of the data learning unit 1110 and the data recognition unit 1120 may be implemented as a software module.
  • the software module is a computer-readable, non-transitory readable It may be stored in a readable media (non-transitory computer readable media).
  • At least one software module may be provided by an operating system (OS) or may be provided by a predetermined application.
  • OS operating system
  • some of the at least one software module may be provided by an operating system (OS), and the other may be provided by a predetermined application.
  • FIG. 12 is a block diagram of a data learning unit according to some embodiments of the present disclosure.
  • the data learning unit 1110 includes a data acquisition unit 1110-1, a pre-processing unit 1110-2, a training data selection unit 1110-3, and a model training It may include a unit 1110-4 and a model evaluation unit 1110-5.
  • the data acquisition unit 1110-1 may acquire data for image recognition. Also, the data acquisition unit 1110-1 may acquire data necessary for learning for image recognition.
  • the pre-processing unit 1110-2 may pre-process the acquired data so that the acquired data can be used for learning for image recognition.
  • the preprocessing unit 1110-2 may process the acquired data in a preset format so that the model learning unit 1110-4, which will be described later, can use the acquired data for learning image recognition.
  • the learning data selecting unit 1110-3 may select data necessary for learning from pre-processed data.
  • the selected data may be provided to the model learning unit 1110-4.
  • the learning data selector 1110-3 may select data necessary for learning from pre-processed data according to preset criteria for image recognition. Further, the learning data selection unit 1110-3 may select data according to a preset criterion by learning by the model learning unit 1110-4, which will be described later.
  • the model learning unit 1110-4 may learn criteria on how to perform image recognition based on the training data. In addition, the model learning unit 1110-4 may learn criteria for which learning data to use for image recognition.
  • the model learning unit 1110-4 may train an artificial intelligence model used for image recognition using training data.
  • the artificial intelligence model may be a pre-built model.
  • the artificial intelligence model may be a pre-built model that receives basic learning data.
  • the artificial intelligence model may be constructed in consideration of the application field of the recognition model, the purpose of learning, or the computer performance of the device.
  • the artificial intelligence model may be, for example, a model based on a neural network.
  • a model such as a Convolutional Neural Network (CNN), a Recurrent Neural Network (RNN), or a Bidirectional Recurrent Deep Neural Network (BRDNN) may be used as a training model, but is not limited thereto.
  • CNN Convolutional Neural Network
  • RNN Recurrent Neural Network
  • BBDNN Bidirectional Recurrent Deep Neural Network
  • the model learning unit 1110-4 may include a plurality of pre-built first learning models, second learning models, and third learning models, respectively, of input learning data and basic learning data. You can choose a learning model that is relevant.
  • the basic learning data may be pre-classified for each type of data, and the learning model may be pre-built for each type of data.
  • the basic training data is classified into various criteria such as the region where the training data is generated, the time when the training data is generated, the size of the training data, the genre of the training data, the creator of the training data, and the type of object in the training data. It may be.
  • model learning unit 1110-4 may train a data recognition model using, for example, a learning algorithm including an error back-propagation or a gradient descent method. , But is not limited to this.
  • model learning unit 1110-4 may train the artificial intelligence model, for example, through supervised learning using learning data as an input value.
  • the model learning unit 1110-4 may train the artificial intelligence model, for example, through unsupervised learning, in which the type of required data is self-learning without much guidance.
  • the model learning unit 1110-4 may train the artificial intelligence model through, for example, reinforcement learning using feedback on whether an output result according to learning is correct.
  • the model learning unit 1110-4 may store the learned artificial intelligence model.
  • the model learning unit 1110-4 may store the learned artificial intelligence model in a memory of the electronic device 110 including the data recognition unit 1120.
  • the model learning unit 1110-4 may store the learned artificial intelligence model in the memory of the electronic device 100 including the data recognition unit 1120, which will be described later.
  • the model learning unit 1110-4 may store the learned artificial intelligence model in a memory of a server connected to an electronic device through a wired or wireless network.
  • the memory in which the learned artificial intelligence model is stored may store, for example, instructions or data related to at least one other component of the electronic device.
  • the memory may store software and / or programs.
  • the program may include, for example, a kernel, middleware, application programming interface (API) and / or application program (or "application”), and the like.
  • the model evaluation unit 1110-5 may input evaluation data into the artificial intelligence model, and when the result output from the evaluation data does not satisfy a predetermined criterion, the model learning unit 1110-4 may cause the model learning unit 1110-4 to learn again.
  • the evaluation data may be preset data for evaluating the artificial intelligence model.
  • the data acquisition unit 1110-1, the pre-processing unit 1110-2, the training data selection unit 1110-3, the model learning unit 1110-4, and the model evaluation unit 1110 in the data learning unit 1110 At least one of -5) may be manufactured in the form of at least one hardware chip and mounted on an electronic device.
  • At least one of the data acquisition unit 1110-1, the pre-processing unit 1110-2, the training data selection unit 1110-3, the model learning unit 1110-4, and the model evaluation unit 1110-5 may be manufactured in the form of a dedicated hardware chip for artificial intelligence (AI), or as part of an existing general-purpose processor (eg, CPU or application processor) or graphics-only processor (eg, GPU), as described above. It may be mounted on various electronic devices.
  • AI artificial intelligence
  • the data acquisition unit 1110-1, the pre-processing unit 1110-2, the training data selection unit 1110-3, the model learning unit 1110-4 and the model evaluation unit 1110-5 are one electronic It may be mounted on the device, or may be mounted on separate electronic devices, respectively.
  • some of the data acquisition unit 1110-1, pre-processing unit 1110-2, training data selection unit 1110-3, model learning unit 1110-4, and model evaluation unit 1110-5 Is included in the electronic device, and the other part may be included in the server.
  • At least one of the data acquisition unit 1110-1, the pre-processing unit 1110-2, the training data selection unit 1110-3, the model learning unit 1110-4 and the model evaluation unit 1110-5 It can be implemented as a software module. At least one of the data acquisition unit 1110-1, the pre-processing unit 1110-2, the training data selection unit 1110-3, the model learning unit 1110-4, and the model evaluation unit 1110-5 is a software module When implemented as (or a program module including an instruction), the software module may be stored in a computer-readable non-transitory computer readable media.
  • At least one software module may be provided by an operating system (OS) or may be provided by a predetermined application.
  • OS operating system
  • some of the at least one software module may be provided by an operating system (OS), and the other may be provided by a predetermined application.
  • FIG. 13 is a block diagram of a data recognition unit according to some embodiments.
  • the data recognition unit 1120 includes a data acquisition unit 1120-1, a preprocessing unit 1120-2, a recognition data selection unit 1120-3, and a recognition result providing unit ( 1120-4) and a model update unit 1120-5.
  • the data acquisition unit 1120-1 may acquire data for image recognition, and the pre-processing unit 1120-2 may preprocess the acquired data so that the acquired data for image recognition can be used.
  • the pre-processing unit 1120-2 may process the acquired data in a predetermined format so that the recognition result providing unit 1120-4 can use the acquired data for image recognition.
  • the recognition data selection unit 1120-3 may select data necessary for image recognition from pre-processed data.
  • the selected data may be provided to the recognition result providing unit 1120-4.
  • the recognition data selector 1120-3 may select some or all of the pre-processed data according to preset criteria for image recognition. Further, the recognition data selection unit 1120-3 may select data according to a preset criterion by learning by the model learning unit 1110-4 described later.
  • the recognition result providing unit 1120-4 may perform image recognition by applying the selected data to a data recognition model.
  • the recognition result providing unit 1120-4 may apply the selected data to the artificial intelligence model by using the data selected by the recognition data selection unit 1120-3 as an input value.
  • the model updating unit 1120-5 may cause the data recognition model to be updated based on the evaluation of the output value provided by the recognition result providing unit 1120-4. For example, the model updating unit 1120-5 provides the model learning unit 1110-4 with the output result provided by the recognition result providing unit 1120-4 to the model learning unit 1110-4. It is possible to update the data recognition model.
  • the data acquisition unit 1120-1 in the data recognition unit 1120, the pre-processing unit 1120-2, the recognition data selection unit 1120-3, the recognition result providing unit 1120-4 and the model update unit may be manufactured in the form of at least one hardware chip and mounted on an electronic device.
  • At least one may be manufactured in the form of a dedicated hardware chip for artificial intelligence (AI), or may be manufactured as part of an existing general-purpose processor (eg, CPU or application processor) or graphics-only processor (eg, GPU), It may be mounted on various electronic devices.
  • AI artificial intelligence
  • the data acquisition unit 1120-1, the pre-processing unit 1120-2, the recognition data selection unit 1120-3, the recognition result providing unit 1120-4 and the model update unit 1120-5 are one It may be mounted on an electronic device, or may be mounted on separate electronic devices, respectively.
  • data acquisition unit 1120-1, pre-processing unit 1120-2, recognition data selection unit 1120-3, recognition result providing unit 1120-4 and model update unit 1120-5 Some may be included in the electronic device, and others may be included in the server.
  • At least one of the data acquisition unit 1120-1, the pre-processing unit 1120-2, the recognition data selection unit 1120-3, the recognition result providing unit 1120-4 and the model update unit 1120-5 Can be implemented as a software module.
  • At least one of the data acquisition unit 1120-1, the pre-processing unit 1120-2, the recognition data selection unit 1120-3, the recognition result providing unit 1120-4, and the model update unit 1120-5 is software When implemented as a module (or a program module including an instruction), the software module may be stored in a computer-readable non-transitory computer readable media.
  • At least one software module may be provided by an operating system (OS) or may be provided by a predetermined application.
  • OS operating system
  • some of the at least one software module may be provided by an operating system (OS), and the other may be provided by a predetermined application.
  • FIG. 14 is a diagram illustrating an example of learning and recognizing data by interworking with an electronic device and a server according to an embodiment of the present disclosure.
  • the server 2000 may learn criteria for image recognition, and the electronic device 100 may perform image recognition based on the learning result by the server 1400.
  • model learning unit 1410 of the server 1400 may perform the function of the data learning unit 1110 illustrated in FIG. 12.
  • the model learning unit 1410 of the server 1400 can learn criteria to use what data to perform image recognition and how to perform image recognition using the data.
  • the model learning unit 1410 acquires data to be used for training, and applies the acquired data to an artificial intelligence model, thereby learning criteria for image recognition.
  • data related to the user's privacy of the electronic device 100 may be data abstracted by the electronic device 100 according to a predetermined criterion.
  • the recognition result providing unit 1120-4 of the electronic device 100 performs image recognition by applying the data selected by the recognition data selection unit 1120-3 to the artificial intelligence model generated by the server 1400. can do.
  • the recognition result providing unit 1120-4 transmits data selected by the recognition data selection unit 1120-3 to the server 1400, and the server 1400 recognizes the data selection unit 1120-3. It is possible to request to perform image recognition by applying the data selected by the AI model.
  • the recognition result providing unit 1120-4 and the recognition data selection unit 1120-3 are according to a predetermined criterion. It can be data abstracted by. Also, the recognition result providing unit 1120-4 may receive a result value performed by the server 1400 from the server 1400.
  • the recognition result providing unit 1120-4 of the electronic device 100 receives the artificial intelligence model generated by the server 1400 from the server 1400, and performs image recognition using the received artificial intelligence model. can do.
  • the recognition result providing unit 1120-4 of the electronic device 100 performs image recognition by applying the data selected by the recognition data selecting unit 1120-3 to the artificial intelligence model received from the server 1400. can do.
  • the artificial intelligence model 10 may be trained based on the characteristics of various levels according to a plurality of layers. Accordingly, the learning effect can be improved compared to the case of training the artificial intelligence model based on the information obtained under one layer.
  • the artificial intelligence model may be trained end-to-end using an image as an input value and a total loss function value obtained by summing the loss function values of the plurality of classifiers as an output value. Accordingly, a learning effect such as using multiple AI models in one AI model can be obtained.
  • the electronic device performs image recognition using an artificial intelligence model according to the learning effect described above, and as a result, it is possible to improve the accuracy of image recognition of the electronic device.
  • an artificial intelligence model capable of performing accurate image recognition to identify whether a product is defective, a more reliable defect inspection result can be obtained.
  • the term “unit” or “module” used in the present disclosure includes a unit composed of hardware, software, or firmware, and may be used interchangeably with terms such as, for example, logic, logic block, component, or circuit. You can.
  • the "unit” or the “module” may be an integrally configured component or a minimum unit performing one or more functions or a part thereof.
  • the module can be configured with an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • Various embodiments of the present disclosure may be implemented with software including instructions stored in a machine (eg, computer) readable storage media. And, it is possible to operate according to the called command, and may include an electronic device (eg, the electronic device 100) according to the disclosed embodiments.
  • the processor may perform a function corresponding to the instruction directly or using other components under the control of the processor.
  • Instructions can include code generated or executed by a compiler or interpreter.
  • the storage medium readable by the device may be provided in the form of a non-transitory storage medium.
  • 'non-transitory' means that the storage medium does not contain a signal and is tangible, but does not distinguish between data being stored semi-permanently or temporarily on the storage medium.
  • a method according to various embodiments disclosed in this document may be provided as being included in a computer program product.
  • Computer program products are commodities that can be traded between sellers and buyers.
  • the computer program product may be distributed online in the form of a storage medium readable by the device (eg compact disc read only memory (CD-ROM)) or through an application store (eg Play StoreTM).
  • a storage medium eg compact disc read only memory (CD-ROM)
  • an application store eg Play StoreTM
  • at least a portion of the computer program product may be temporarily stored at least temporarily on a storage medium such as a memory of a manufacturer's server, an application store's server, or a relay server, or may be temporarily generated.
  • Each component eg, module or program
  • each component may be composed of a singular or a plurality of entities, and some of the aforementioned sub-components may be omitted, or other sub-components may be various. It may be further included in the embodiment. Alternatively or additionally, some components (eg, modules or programs) may be integrated into one entity, performing the same or similar functions performed by each corresponding component before being integrated.
  • operations performed by a module, program, or other component may be sequentially, parallelly, repeatedly, or heuristically executed, at least some operations may be executed in a different order, omitted, or other operations may be added. You can.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

전자 장치 및 전자 장치의 제어 방법이 개시된다. 구체적으로, 본 개시는 획득된 이미지를 학습된 인공 지능 모델에 입력하고, 이미지에 포함된 오브젝트의 상하위 개념에 따라 구분되는 복수의 계층 각각에 대응되며, 인공지능 모델에 포함되는 복수의 분류기 각각으로부터 이미지에 대한 정보를 획득하며, 획득된 이미지에 대한 정보를 바탕으로 인공지능 모델을 학습시키고, 학습된 이공지능 모델을 이용하여 이미지 인식을 수행하는 전자 장치 및 전자 장치의 제어 방법에 관한 것이다.

Description

전자 장치 및 전자 장치의 제어 방법
본 개시는 전자 장치 및 전자 장치의 제어 방법에 관한 것으로서, 구체적으로는 이미지 인식을 수행할 수 있는 전자 장치 및 그 제어 방법에 관한 것이다.
근래에는 인공지능 기반의 이미지 인식 기술이 획기적으로 발전하면서 다양한 산업 분야에 적용되고 있다. 특히, 인공 지능 기반의 이미지 인식 기술의 경우 이미지 검색 서비스는 물론, 영상 보안관제 시스템 내지는 자율주행 자동차 분야 등 다양한 산업 분야에 적용되고 있다.
그런데, 지속적인 발전에도 불구하고, 현재까지의 이미지 인식 기술은 그 정확도에 있어서 한계가 지적되고 있다. 특히, 근래에는 인공지능 모델의 구조를 개선하기 위한 노력, 그리고 복수의 인공지능 모델의 전체 경로(pipeline)를 joint training함으로써 이미지 인식의 정확도를 향상시키기 위한 노력 등이 이루어지고 있으나, 여전히 더 높은 정확도의 기술 수준이 요구되고 있는 실정이다.
또한, 현재까지의 이미지 인식 기술의 경우, 다양한 기술분야의 현장 데이터 특성을 효율적으로 반영하지 못하여, 다양한 업계의 폭 넓은 니즈(needs)를 충족시키지 못하고 있다.
따라서, 보다 높은 정확도를 가지면서도 다양한 기술분야의 현장 데이터 특성을 효율적으로 반영할 수 있는 이미지 인식 기술의 필요성이 대두되고 있다.
본 개시는 상술한 바와 같은 필요성에 따라 안출된 것으로서, 본 개시의 목적은 보다 높은 정확도를 가지면서도 다양한 기술분야의 현장 데이터 특성을 효율적으로 반영할 수 있는 이미지 인식을 수행할 수 있는 전자 장치 및 전자 장치의 제어 방법을 제공함에 있다.
상술한 바와 같은 목적을 달성하기 위한 본 개시의 일 실시 예에 따르면, 전자 장치는 적어도 하나의 명령을 포함하는 메모리 및 상기 메모리와 연결되어 상기 전자 장치를 제어하는 프로세서를 포함한다.
그리고, 상기 프로세서는 이미지를 획득하고, 상기 획득된 이미지를 학습된 인공 지능 모델에 입력하여 상기 이미지에 대한 정보를 획득하며, 상기 인공지능 모델은 상기 이미지에 포함된 오브젝트의 상하위 개념에 따라 구분되는 복수의 계층 각각에 대응되는 복수의 분류기(classifier)를 포함하고, 상기 복수의 분류기 각각으로부터 상기 이미지에 대한 정보를 획득한다.
여기서, 상기 복수의 계층은 상기 복수의 계층 별로 상기 이미지에 포함된 오브젝트를 분류하기 위한 복수의 카테고리를 포함하고, 상기 이미지에 대한 정보는 상기 복수의 계층 각각에 포함된 복수의 카테고리 중 상기 이미지에 포함된 오브젝트에 대응되는 카테고리에 대한 정보를 포함할 수 있다.
한편, 상기 프로세서는 상기 복수의 분류기 각각으로부터 획득된 이미지에 대한 정보를 바탕으로 상기 복수의 계층 각각에 대응되는 복수의 손실 함수 값을 획득하고, 상기 복수의 손실 함수 값을 합산하여 획득된 총 손실 함수 값을 역전파(backpropagation)하여, 상기 총 손실 함수 값이 최소가 되도록 상기 인공지능 모델을 학습시킬 수 있다.
한편, 상기 프로세서는 상기 이미지를 상기 인공지능 모델에 입력하여 상기 이미지의 특징 값을 획득하고, 상기 획득된 이미지의 특징 값을 상기 복수의 분류기에 입력하여 상기 복수의 분류기 각각으로부터 상기 이미지에 대한 정보를 획득할 수 있다.
한편, 상기 복수의 계층은 제1 계층 및 상기 제1 계층에 포함되는 복수의 카테고리 각각에 대한 복수의 하위 카테고리를 포함하는 제2 계층을 포함하고, 상기 프로세서는 상기 제2 계층에 대응되는 분류기로부터 획득된 이미지에 대한 정보를 바탕으로, 상기 제1 계층에 포함되는 복수의 카테고리 중 상기 이미지에 포함된 오브젝트에 대응되는 카테고리를 식별할 수 있다.
여기서, 상기 제2 계층에 대응되는 분류기로부터 획득된 이미지에 대한 정보는 상기 이미지에 포함된 오브젝트가 상기 제2 계층에 포함되는 복수의 카테고리 각각에 대응될 확률에 대한 정보를 포함하며, 상기 프로세서는 상기 확률에 대한 정보를 바탕으로 상기 이미지에 포함된 오브젝트가 상기 제1 계층에 포함되는 복수의 카테고리 각각에 대응될 확률에 대한 정보를 획득하여, 상기 제1 계층에 포함되는 복수의 카테고리 중 상기 이미지에 포함된 오브젝트에 대응되는 카테고리를 식별할 수 있다.
한편, 상기 제1 계층은 상기 이미지에 포함된 제품의 불량 여부를 식별하기 위한 복수의 카테고리를 포함하고, 상기 제2 계층은 상기 제품의 불량 유형에 대한 카테고리 및 상기 제품의 정상 유형에 대한 카테고리를 포함하는 복수의 하위 카테고리를 포함하며, 상기 프로세서는 상기 제품의 외관 이미지를 획득하고, 상기 획득된 외관 이미지를 상기 인공 지능 모델에 입력하여 상기 제2 계층에 대응되는 이미지에 대한 정보를 획득하며, 상기 제2 계층에 대응되는 이미지에 대한 정보를 바탕으로 상기 1 계층에 대응되는 이미지에 대한 정보를 획득하여, 상기 제품의 불량 여부를 식별할 수 있다.
한편, 상기 인공지능 모델은 CNN(Convolutional Neural Network) 및 RNN (Recurrent Neural Network) 중 적어도 하나의 인공 신경망을 포함할 수 있다.
한편, 상기 프로세서는 상기 획득된 이미지를 그레이 스케일 이미지로 변환하고, 상기 변환된 그레이 스케일 이미지를 상기 인공지능 모델에 입력할 수 있다.
한편, 본 개시의 목적을 달성하기 위한 전자 장치의 제어 방법은 이미지를 획득하는 단계, 상기 획득된 이미지를 학습된 인공 지능 모델에 입력하는 단계 및 상기 이미지에 포함된 오브젝트의 상하위 개념에 따라 구분되는 복수의 계층 각각에 대응되며, 상기 인공지능 모델에 포함되는 복수의 분류기(classifier) 각각으로부터 상기 이미지에 대한 정보를 획득하는 단계를 포함한다.
여기서, 상기 복수의 계층은 상기 복수의 계층 별로 상기 이미지에 포함된 오브젝트를 분류하기 위한 복수의 카테고리를 포함하고, 상기 이미지에 대한 정보는 상기 복수의 계층 각각에 포함된 복수의 카테고리 중 상기 이미지에 포함된 오브젝트에 대응되는 카테고리에 대한 정보를 포함할 수 있다.
한편, 전자 장치의 제어 방법은 인공지능 모델을 학습시키는 단계를 더 포함하고, 상기 이미지에 대한 정보를 획득하는 단계는 상기 복수의 분류기 각각으로부터 획득된 이미지에 대한 정보를 바탕으로 상기 복수의 계층 각각에 대응되는 복수의 손실 함수 값을 획득하며, 상기 인공지능 모델을 학습시키는 단계는 상기 복수의 손실 함수 값을 합산하여 획득된 총 손실 함수 값을 역전파(backpropagation)하여, 상기 총 손실 함수 값이 최소가 되도록 상기 인공지능 모델을 학습시키는 것일 수 있다.
한편, 전자 장치의 제어 방법은 상기 이미지를 상기 인공지능 모델에 입력하여 상기 이미지의 특징 값을 획득하는 단계를 더 포함하고, 상기 이미지에 대한 정보를 획득하는 단계는 상기 획득된 이미지의 특징 값을 상기 복수의 분류기에 입력하여 상기 복수의 분류기 각각으로부터 상기 이미지에 대한 정보를 획득하는 것일 수 있다.
한편, 전자 장치의 제어 방법은 카테고리를 식별하는 단계를 더 포함하고, 상기 복수의 계층은 제1 계층 및 상기 제1 계층에 포함되는 복수의 카테고리 각각에 대한 복수의 하위 카테고리를 포함하는 제2 계층을 포함하며, 상기 카테고리를 식별하는 단계는 상기 제2 계층에 대응되는 분류기로부터 획득된 이미지에 대한 정보를 바탕으로, 상기 제1 계층에 포함되는 복수의 카테고리 중 상기 이미지에 포함된 오브젝트에 대응되는 카테고리를 식별하는 것일 수 있다.
여기서, 상기 제2 계층에 대응되는 분류기로부터 획득된 이미지에 대한 정보는 상기 이미지에 포함된 오브젝트가 상기 제2 계층에 포함되는 복수의 카테고리 각각에 대응될 확률에 대한 정보를 포함하며, 상기 카테고리를 식별하는 단계는 상기 확률에 대한 정보를 바탕으로 상기 이미지에 포함된 오브젝트가 상기 제1 계층에 포함되는 복수의 카테고리 각각에 대응될 확률에 대한 정보를 획득하여, 상기 제1 계층에 포함되는 복수의 카테고리 중 상기 이미지에 포함된 오브젝트에 대응되는 카테고리를 식별하는 것일 수 있다.
한편, 상기 제1 계층은 상기 이미지에 포함된 제품의 불량 여부를 식별하기 위한 복수의 카테고리를 포함하고, 상기 제2 계층은 상기 제품의 불량 유형에 대한 카테고리 및 상기 제품의 정상 유형에 대한 카테고리를 포함하는 복수의 하위 카테고리를 포함하며, 상기 이미지를 획득하는 단계는 상기 제품의 외관 이미지를 획득하고, 상기 이미지에 대한 정보를 획득하는 단계는 상기 획득된 제품의 외관 이미지를 상기 인공 지능 모델에 입력하여 상기 제2 계층에 대응되는 이미지에 대한 정보를 획득하며, 상기 카테고리를 식별하는 단계는 상기 제2 계층에 대응되는 이미지에 대한 정보를 바탕으로 상기 1 계층에 대응되는 이미지에 대한 정보를 획득하여, 상기 제품의 불량 여부를 식별하는 것일 수 있다.
한편, 상기 인공지능 모델은 CNN(Convolutional Neural Network) 및 RNN (Recurrent Neural Network) 중 적어도 하나의 인공 신경망을 포함할 수 있다.
한편, 상기 이미지를 학습된 인공 지능 모델에 입력하는 단계는 상기 획득된 이미지를 그레이 스케일 이미지로 변환하고, 상기 변환된 그레이 스케일 이미지를 상기 인공지능 모델에 입력하는 것일 수 있다.
한편, 본 개시의 목적을 달성하기 위한 전자 장치의 제어 방법을 실행하는 프로그램을 포함하는 컴퓨터 판독가능 기록매체에 있어서, 상기 전자 장치의 제어 방법은 이미지를 획득하는 단계, 상기 획득된 이미지를 학습된 인공 지능 모델에 입력하는 단계 및 상기 이미지에 포함된 오브젝트의 상하위 개념에 따라 구분되는 복수의 계층 각각에 대응되며, 상기 인공지능 모델에 포함되는 복수의 분류기(classifier) 각각으로부터 상기 이미지에 대한 정보를 획득하는 단계를 포함한다.
도 1은 본 개시의 일 실시 예에 따른 전자 장치가 인공지능 모델을 이용하여 이미지에 대한 정보를 획득하는 과정을 간략하게 나타내기 위한 도면,
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 간략하게 나타내는 블록도,
도 3은 본 개시의 일 실시 예에 따른 전자 장치의 구성을 상세하게 나타내는 도면,
도 4는 본 개시의 일 실시 예에 따른 복수의 계층 및 복수의 카테고리를 설명하기 위한 도면,
도 5는 본 개시의 일 실시 예에 따른 인공지능 모델의 학습 과정을 설명하기 위한 도면,
도 6은 일 실시 예에 따른 인공지능 모델을 이용하여 이미지 인식을 수행하는 과정을 설명하기 위한 도면,
도 7 내지 도 9는 각각 본 개시의 제품 불량 여부 식별에 관한 실시 예에 따른 복수의 계층 및 복수의 카테고리, 인공지능 모델의 학습 과정 및 인공지능 모델의 이용 과정에 대하여 설명하기 위한 도면,
도 10은 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 나타내는 도면,
도 11 내지 도 13은 본 개시의 일 실시 에 따른 프로세서의 구성을 나타내는 블록도, 그리고,
도 14는 본 개시의 일 실시 에 따른 전자 장치 및 서버가 서로 연동함으로써 데이터를 학습하고 인식하는 예시를 나타내는 도면이다.
본 실시 예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 본 개시의 실시 예의 다양한 변경(modifications), 균등물(equivalents), 및/또는 대체물(alternatives)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
본 개시를 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략한다.
덧붙여, 하기 실시 예는 여러 가지 다른 형태로 변형될 수 있으며, 본 개시의 기술적 사상의 범위가 하기 실시 예에 한정되는 것은 아니다. 오히려, 이들 실시 예는 본 개시를 더욱 충실하고 완전하게 하고, 당업자에게 본 개시의 기술적 사상을 완전하게 전달하기 위하여 제공되는 것이다.
본 개시에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 권리범위를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 개시에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 개시에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상"등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 개시에서 사용된 "제1," "제2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다.
반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제 3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 개시에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다.
대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
실시 예에 있어서 ‘모듈’ 혹은 ‘부’는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 ‘모듈’ 혹은 복수의 ‘부’는 특정한 하드웨어로 구현될 필요가 있는 ‘모듈’ 혹은 ‘부’를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.
한편, 도면에서의 다양한 요소와 영역은 개략적으로 그려진 것이다. 따라서, 본 발명의 기술적 사상은 첨부한 도면에 그려진 상대적인 크기나 간격에 의해 제한되지 않는다.
이하에서는 첨부한 도면을 참고하여 본 개시에 따른 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
도 1은 본 개시의 일 실시 예에 따른 전자 장치가 인공지능 모델을 이용하여 이미지에 대한 정보를 획득하는 과정을 간략하게 나타내기 위한 도면이다.
도 1에 도시된 바와 같이, 본 개시에 따른 전자 장치는 이미지를 획득하고, 획득된 이미지를 학습된 인공지능 모델(10)에 입력하여 이미지에 대한 정보를 획득한다. 그리고, 본 개시의 일 실시 예에 따른 인공지능 모델(10)은 복수의 분류기(classifier)를 포함한다.
인공지능 모델(10)은 기계학습, 신경망, 유전자, 딥러닝 및 분류 알고리즘과 같은 인공지능 알고리즘 중 적어도 하나를 이용하여 학습된 인공지능 모델(10)일 수 있다. 특히, 본 개시에 따른 인공지능 모델(10)은 CNN(Convolutional Neural Network)과 같은 인공 신경망을 포함할 수 있으며, 다만 이에 한정되는 것은 아니다. 본 개시에 따른 인공지능 모델(10)의 구체적인 내용에 대해서는 후술한다.
분류기는 입력된 이미지를 복수의 카테고리 중 어느 하나의 카테고리로 분류하고 그 분류 결과에 대응되는 정보를 출력하는 역할을 하며, CNN과 같은 인공 신경망을 기반으로 구현될 수 있다.
한편, 본 개시에 따른 인공지능 모델(10)은 복수의 분류기를 포함하는바, 복수의 분류기는 복수의 계층 각각에 대응된다. 구체적으로, 도 1에 도시된 바와 같이, 인공지능 모델(10)은 제1 계층에 대응되는 제1 분류기, 제2 계층에 대응되는 제2 분류기, … , 그리고 제n 계층에 대응되는 제n 분류기를 포함할 수 있다.
그리고, 복수의 계층은 이미지에 포함된 오브젝트의 상하위 개념에 따라 구분된다. 또한, 복수의 계층은 복수의 계층 별로 이미지에 포함된 오브젝트를 분류하기 위한 복수의 카테고리를 포함한다. 여기서, 복수의 계층 및 복수의 카테고리는 다양한 기술분야의 현장 데이터 특성을 반영하여 구성될 수 있다.
구체적으로, 복수의 계층은 제1 계층, 그리고 제1 계층에 포함되는 복수의 카테고리 각각에 대한 복수의 하위 카테고리를 포함하는 제2 계층을 포함할 수 있다. 또한, 복수의 계층은 제2 계층에 포함되는 복수의 카테고리 각각에 대한 복수의 하위 카테고리를 포함하는 제3 계층을 더 포함할 수 있다.
한편, 상술한 바와 같은 복수의 계층 및 복수의 카테고리는 공지된 데이터 세트를 바탕으로 기 구성되어 전자 장치에 저장될 수 있으며, 다만 복수의 계층 또는 복수의 카테고리는 사용자의 명령에 의하여 구성될 수도 있다.
인공지능 모델(10)에 입력되는 이미지는 구체적으로 디지털 이미지 데이터를 의미하며, 또한 연산 과정의 속도와 효율성을 위한 전처리 과정을 거친 디지털 이미지 데이터일 수도 있다.
그리고, 인공지능 모델(10)로부터 출력되는 이미지에 대한 정보는 복수의 계층 각각에 포함된 복수의 카테고리 중 이미지에 포함된 오브젝트에 대응되는 카테고리에 대한 정보를 포함할 수 있다. 구체적으로, 이미지에 대한 정보는 이미지에 포함된 오브젝트가 복수의 계층 각각에 포함되는 복수의 카테고리 각각에 대응될 확률에 대한 정보를 포함할 수 있다.
한편, 전자 장치는 이미지에 포함된 오브젝트의 상하위 개념에 따라 구분되는 복수의 계층 각각에 대응되는 복수의 분류기 각각으로부터, 이미지에 대한 정보를 획득한다. 따라서, 전자 장치는 복수의 계층 각각에 따른 상이한 구별 기준 하에서 다양한 정보를 획득할 수 있다.
즉, 본 개시에 따른 전자 장치는 하나의 계층 하에서 수평적으로 정의된 복수의 카테고리를 기준으로 이미지에 대한 정보를 획득하는 것이 아니라, 이미지에 포함된 오브젝트의 상하위 개념에 따라 수직적으로 구분되는 복수의 계층 각각에서, 수평적으로 정의된 복수의 카테고리를 기준으로 이미지에 대한 정보를 획득할 수 있다.
한편, 전자 장치는 복수의 분류기 각각으로부터 획득된 이미지에 대한 정보를 바탕으로 인공지능 모델(10)을 학습시킬 수 있다.
예를 들어, 전자 장치는 제1 계층에 대응되는 분류기로부터 획득된 이미지에 대한 정보, 제2 계층에 대응되는 분류기로부터 획득된 이미지에 대한 정보 및 제3 계층에 대응되는 분류기로부터 획득된 이미지에 대한 정보를 종합적으로 이용하여 인공지능 모델(10)을 학습시킬 수 있다.
구체적으로, 전자 장치는 복수의 분류기 각각으로부터 획득된 이미지에 대한 정보를 바탕으로 복수의 계층 각각에 대응되는 복수의 손실 함수(loss function) 값을 획득할 수 있다. 또한, 전자 장치는 복수의 손실 함수 값을 합산하여 획득된 총 손실 함수 값을 역전파(backpropagation)하여, 총 손실 함수 값이 최소가 되도록 인공지능 모델(10)을 학습시킬 수 있다.
여기서, 손실 함수란 인공지능 모델에서 학습을 통해 최적의 가중치 매개변수를 결정하기 위한 지표의 일종으로서, 다시 말해 인공지능 모델의 학습은 손실 함수의 결과 값(오차)를 작게 만들기 위해서 가중치 매개변수를 조정해 나가는 과정이라고 할 수 있다.
일반적으로, 손실 함수로는 평균 제곱 오차(Mean Squared Error, MSE) 또는 교차 엔트로피 오차(Cross Entropy Error, CEE)가 일반적으로 사용되지만, 본 개시가 일정한 손실 함수의 종류에 국한되는 것은 아닐뿐더러, 본 개시의 목적을 달성할 수 있는 범위 내에서라면, 본 개시는 인공지능 학습에 관한 구체적인 방법에 대해서도 제한되지 않는다.
상술한 바와 같이, 본 개시에 따른 전자 장치는 인공지능 모델(10)의 학습에 있어서, 상하위 개념에 따라 상호 유기적으로 관련되면서도 복수의 계층 각각에 따른 상이한 구별 기준 하에서 획득된 다양한 특징의 정보를 이용할 수 있다. 즉, 본 개시에 따르면, 복수의 계층에 따른 다양한 레벨의 특징을 바탕으로 인공지능 모델(10)을 학습시킬 수 있다. 이에 따라, 하나의 계층 하에서 획득된 정보를 바탕으로 인공지능 모델(10)을 학습시키는 경우에 비하여 학습 효과가 향상될 수 있다.
또한, 다양한 기술분야의 현장 데이터 특성이 반영된 복수의 계층 및 복수의 카테고리에 대응되는 이미지에 대한 정보를 획득함으로써, 다양한 기술분야에서 요구되는 이미지 인식의 특성을 충족시킬 수 있게 된다.
한편, 전자 장치는 상술한 바와 같이 학습된 인공지능 모델(10)을 이용하여 이미지 인식을 수행할 수 있다. 즉, 전자 장치는 이미지를 인공지능 모델(10)에 입력하여 이미지에 대한 정보를 획득하고, 획득된 이미지에 대한 정보를 바탕으로 이미지에 포함된 오브젝트에 대응되는 카테고리를 식별할 수 있다. 본 개시에 따른 이미지 인식은 이미지의 분류로 직결되지만, 이하에서는 편의상 이미지 인식 및 이미지 분류를 통칭하여, 이미지 인식으로 지칭한다.
한편, 전술한 바와 같이, 인공지능 모델(10)의 훈련에 있어서는 훈련 데이터의 양과 다양성이 높을수록 높은 훈련 효과를 기재할 수 있기 때문에, 복수의 계층 각각에 대응되는 복수의 분류기 각각으로부터 획득된 이미지에 대한 정보를 모두 이용하는 것이 효율적일 수 있다.
그러나, 인공지능 모델(10)의 이용에 있어서는 복수의 분류기 각각으로부터 획득된 이미지에 대한 정보 중 정확한 이미지 인식에 기여할 수 있는 일부의 정보만을 이용하는 것이, 복수의 분류기 각각으로부터 획득된 이미지에 대한 정보 모두를 이용하는 것보다 효율적일 수 있다.
특히, 인공지능 모델(10)을 이용한 이미지 인식에 있어서는, 복수의 계층 중 가장 세부적인 분류기준에 따른 복수의 카테고리를 포함하는 계층인 최하위 계층에 대응되는 분류기로부터 획득된 이미지에 대한 정보만을 이용하여, 그보다 상위 계층에 포함되는 복수의 카테고리 중 이미지에 포함된 오브젝트에 대응되는 카테고리를 식별하는 것이 효율적일 수 있다.
구체적으로, 본 개시의 일 실시 예에 따르면, 복수의 계층이 제1 계층 및 제1 계층에 포함되는 복수의 카테고리 각각에 대한 복수의 하위 카테고리를 포함하는 제2 계층을 포함하는 경우, 전자 장치는 제2 계층에 대응되는 분류기로부터 획득된 이미지에 대한 정보를 바탕으로, 제1 계층에 포함되는 복수의 카테고리 중 이미지에 포함된 오브젝트에 대응되는 카테고리를 식별할 수 있다.
상술한 바와 같이, 본 개시에 따른 전자 장치는 학습된 인공지능 모델(10)을 이용함으로써, 전자 장치의 이미지 인식의 정확도를 향상시킬 수 있다.
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 간략하게 나타내는 블록도이며, 도 3은 본 개시의 일 실시 예에 따른 전자 장치의 구성을 상세하게 나타내는 도면이다.
도 2에 도시된 바와 같이, 본 개시의 일 실시 예에 따른 전자 장치(100)는 메모리(110) 및 프로세서(120)를 포함한다. 그리고, 도 3에 도시된 바와 같이, 본 개시의 일 실시 예에 따른 전자 장치(100)는 통신부(130), 이미지 센서(140), 출력부(150) 및 사용자 인터페이스부(160)를 더 포함할 수 있다. 그러나, 이와 같은 구성은 예시적인 것으로서, 본 개시를 실시함에 있어 이와 같은 구성에 더하여 새로운 구성이 추가되거나 일부 구성이 생략될 수 있음을 물론이다.
메모리(110)에는 전자 장치(100)에 관한 적어도 하나의 명령이 저장될 수 있다. 그리고, 메모리(110)에는 전자 장치(100)를 구동시키기 위한 O/S(Operating System)가 저장될 수 있다. 또한, 메모리(110)에는 본 개시의 다양한 실시 예들에 따라 전자 장치(100)가 동작하기 위한 각종 소프트웨어 프로그램이나 애플리케이션이 저장될 수도 있다. 그리고, 메모리(110)는 플래시 메모리(Flash Memory) 등과 같은 반도체 메모리나 하드디스크(Hard Disk) 등과 같은 자기 저장 매체 등을 포함할 수 있다.
구체적으로, 메모리(110)에는 본 개시의 다양한 실시 예에 따라 전자 장치(100)가 동작하기 위한 각종 소프트웨어 모듈이 저장될 수 있으며, 프로세서(120)는 메모리(110)에 저장된 각종 소프트웨어 모듈을 실행하여 전자 장치(100)의 동작을 제어할 수 있다.
특히, 본 개시의 다양한 실시 예에 있어서, 인공 지능 모델은 소프트웨어로 구현되어 메모리(110)에 저장될 수 있으며, 프로세서(120)는 메모리(110)에 저장된 소프트웨어를 실행하여, 본 개시에 따른 이미지 인식 과정 등을 수행할 수 있다.
또한, 메모리(110)에는 본 개시에 따른 복수의 계층 및 복수의 카테고리를 구성하는데 이용되는 데이터 세트가 저장될 수 있다.
통신부(130)는 외부 장치(미도시) 또는 서버(미도시)와의 통신을 수행한다. 그리고, 통신부(130)는 WiFi 칩, Bluetooth 칩, 무선 통신 칩, 및 NFC 칩 중 적어도 하나를 포함할 수 있다.
특히, 본 개시에 관한 다양한 실시 예에 있어서, 통신부(130)는 외부 장치(미도시) 또는 서버(미도시)와 통신 연결을 수행하여, 외부 장치(미도시) 또는 서버(미도시)로부터 이미지 데이터를 수신할 수 있다. 그리고, 프로세서(120)는 통신부(130)를 통하여 이미지를 획득할 수 있다.
또한, 본 개시에 따른 전자 장치(100)가 서버(미도시)와 연동하여 데이터를 학습하고 인식하는 경우, 통신부(130)는 그 전제로서 서버(미도시)와의 통신 연결을 수행할 수도 있다.
이미지 센서(140)는 렌즈를 통해 들어오는 빛을 전기적인 영상 신호로 변환할 수 있다. 그리고, 프로세서(120)는 이미지 센서(140)를 통하여 피사체에 대한 이미지를 획득할 수 있다.
출력부(150)는 전자 장치(100)가 수행할 수 있는 다양한 기능을 출력할 수 있다. 그리고, 출력부(150)는 디스플레이 및 스피커 중 적어도 하나를 포함할 수 있다.
사용자 인터페이스부(160)는 전자 장치(100)의 전반적인 동작을 제어하기 위한 사용자 인터렉션을 수신할 수 있다. 구체적으로, 사용자 인터페이스부(160)는 카메라, 마이크 및 리모컨 신호 수신부 중 적어도 하나를 포함할 수 있다. 한편, 사용자 인터페이스부(160)는 터치 스크린으로서 디스플레이에 포함된 형태로 구현될 수도 있다.
프로세서(120)는 전자 장치(100)의 전반적인 동작을 제어한다. 구체적으로, 프로세서(120)는 상술한 바와 같은 메모리(110)를 포함하는 전자 장치(100)의 구성과 연결되어 전자 장치(100)의 동작을 전반적으로 제어한다.
프로세서(120)는 다양한 방식으로 구현될 수 있다. 예를 들어, 프로세서(120)는 주문형 집적 회로(Application Specific Integrated Circuit, ASIC), 임베디드 프로세서, 마이크로프로세서, 하드웨어 컨트롤 로직, 하드웨어 유한 상태 기계(hardware Finite State Machine, FSM), 디지털 신호 프로세서 (Digital Signal Processor, DSP) 중 적어도 하나로 구현될 수 있다.
또한, 프로세서(120)는 ROM, RAM, GPU(Graphic Processing Unit), CPU 및 버스를 포함할 수 있으며, ROM, RAM, GPU(Graphic Processing Unit), CPU 등은 버스를 통해 서로 연결될 수 있다.
특히, 본 개시에 따른 다양한 실시 예에 있어서, 프로세서(120)는 이미지의 획득, 이미지에 대한 정보의 획득, 인공지능 모델의 학습, 인공지능 모델을 이용한 이미지 인식 과정에 이르는 전반적인 동작을 제어한다.
구체적으로, 프로세서(120)는 통신부(130) 또는 이미지 센서(140)를 통하여 이미지를 획득하고, 획득된 이미지를 학습된 인공지능 모델에 입력하여 이미지에 대한 정보를 획득한다.
여기서, 인공지능 모델에 입력되는 이미지는 구체적으로 디지털 이미지 데이터를 의미하며, 연산 과정의 속도와 효율성을 위한 전처리 과정을 거친 디지털 이미지 데이터일 수도 있다.
그리고, 인공지능 모델로부터 출력되는 이미지에 대한 정보는 복수의 계층 각각에 포함된 복수의 카테고리 중 이미지에 포함된 오브젝트에 대응되는 카테고리에 대한 정보를 포함할 수 있다. 구체적으로, 이미지에 대한 정보는 이미지에 포함된 오브젝트가 복수의 계층 각각에 포함되는 복수의 카테고리 각각에 대응될 확률에 대한 정보를 포함할 수 있다.
한편, 프로세서(120)는 이미지에 포함된 오브젝트의 상하위 개념에 따라 구분되는 복수의 계층 각각에 대응되는 복수의 분류기 각각으로부터, 이미지에 대한 정보를 획득한다. 따라서, 프로세서(120)는 복수의 계층 각각에 따른 상이한 구별 기준 하에서 다양한 정보를 획득할 수 있다.
한편, 프로세서(120)는 복수의 분류기 각각으로부터 획득된 이미지에 대한 정보를 바탕으로 인공지능 모델을 학습시킬 수 있으며, 학습된 인공지능 모델을 이용하여 이미지 인식을 수행할 수 있다.
구체적으로, 프로세서(120)는 복수의 분류기 각각으로부터 획득된 이미지에 대한 정보를 바탕으로 복수의 계층 각각에 대응되는 복수의 손실 함수 값을 획득할 수 있다. 그리고, 프로세서(120)는 복수의 손실 함수 값을 합산하여 획득된 총 손실 함수 값을 역전파(backpropagation)하여, 총 손실 함수 값이 최소가 되도록 상기 인공지능 모델을 학습시킬 수 있다.
즉, 인공지능 모델의 학습에 있어서, 프로세서(120)는 상하위 개념에 따라 상호 유기적으로 관련되면서도, 복수의 계층 각각에 따른 상이한 구별 기준 하에서 획득된 다양한 특징의 정보를 이용할 수 있다. 이에 따라, 하나의 계층 하에서 획득된 정보를 바탕으로 인공지능 모델을 학습시키는 경우에 비하여 학습 효과가 향상될 수 있다.
한편, 프로세서(120)는 이미지를 인공지능 모델에 입력하여 이미지에 대한 정보를 획득하고, 획득된 이미지에 대한 정보를 바탕으로 이미지에 포함된 오브젝트에 대응되는 카테고리를 식별할 수 있다.
구체적으로, 본 개시의 일 실시 예에 따르면, 복수의 계층이 제1 계층 및 제1 계층에 포함되는 복수의 카테고리 각각에 대한 복수의 하위 카테고리를 포함하는 제2 계층을 포함하는 경우, 프로세서(120)는 제2 계층에 대응되는 분류기로부터 획득된 이미지에 대한 정보를 바탕으로, 제1 계층에 포함되는 복수의 카테고리 중 이미지에 포함된 오브젝트에 대응되는 카테고리를 식별할 수 있다.
즉, 인공지능 모델의 이용에 있어서, 프로세서(120)는 복수의 계층 중 가장 세부적인 분류기준에 따른 복수의 카테고리를 포함하는 계층인 최하위 계층에 대응되는 분류기로부터 획득된 이미지에 대한 정보만을 이용하여, 그보다 상위 계층에 포함되는 복수의 카테고리 중 이미지에 포함된 오브젝트에 대응되는 카테고리를 식별함으로써, 보다 효율적이면서도 정확도 높은 이미지 인식을 수행할 수 있다.
이하에서는 본 개시의 일 실시 예에 따른 인공지능 모델의 구조, 인공지능 모델의 학습 과정 및 인공지능 모델을 이용한 이미지 인식 과정에 대하여 보다 구체적으로 설명한다.
도 4는 본 개시의 일 실시 예에 따른 복수의 계층 및 복수의 카테고리를 설명하기 위한 도면이다.
전술한 바와 같이, 본 개시에 따른 인공지능 모델은 복수의 분류기를 포함하며, 복수의 분류기는 복수의 계층 각각에 대응된다. 여기서, 복수의 계층은 이미지에 포함된 오브젝트의 상하위 개념에 따라 구분된다. 그리고, 복수의 계층은 복수의 계층 별로 이미지에 포함된 오브젝트를 분류하기 위한 복수의 카테고리를 포함한다.
구체적으로, 도 4에 도시된 바와 같이, 복수의 계층은 제1 계층 및 제1 계층에 대한 하위 계층인 제2 계층을 포함할 수 있다. 나아가, 복수의 계층은 제n-1 계층에 대한 하위 계층인 제n 계층을 포함할 수 있다.
그리고, 제1 계층의 경우 이미지에 포함된 오브젝트를 분류하기 위한 카테고리인 카테고리 1-1 및 카테고리 1-2를 포함할 수 있으며, 제2 계층의 경우 제1 계층에 포함되는 복수의 카테고리 각각에 대한 복수의 하위 카테고리인 카테고리 2-1, 카테고리 2-2 및 카테고리 2-3을 포함할 수 있다. 나아가, 제n 계층은 카테고리 n-1 내지 카테고리 n-m을 포함할 수 있다. 여기서, 계층의 개수에 특별한 제한이 있는 것은 아니며, 복수의 계층 각각에 포함되는 카테고리의 개수에도 특별한 제한이 있는 것은 아니다. 즉, n과 m은 임의의 자연수를 의미한다.
예를 들어, 복수의 계층 중 제1 계층은 ‘악기’이라는 카테고리와 ‘동물’라는 카테고리를 포함할 수 있다. 그리고, 제2 계층은 제1 계층의 ‘악기’이라는 카테고리의 하위 카테고리인 ‘기타’ ‘베이스’ 및 ‘드럼’ 등의 카테고리와, 제1 계층의 ‘동물’라는 카테고리의 하위 카테고리인 ‘포유류’, ‘파충류’ 및 ‘조류’ 등의 카테고리를 포함할 수 있다. 나아가, 제3 계층은 제2 계층의 ‘기타’라는 카테고리의 하위 카테고리인 ‘일렉트릭 기타’ 및 ‘어쿠스틱 기타’ 등의 카테고리와, 제2 계층의 ‘포유류’라는 카테고리의 하위 카테고리인 ‘고양이’, ‘여우’ 및 ‘늑대’라는 카테고리를 포함할 수 있다.
한편, 상술한 바와 같은 복수의 계층 및 복수의 카테고리는 다양한 기술분야의 현장 데이터 특성을 반영하여 구성될 수 있다. 그리고, 복수의 계층 및 복수의 카테고리는 공지된 데이터 세트를 바탕으로 기 구성되어 전자 장치에 저장될 수 있으며, 다만 복수의 계층 또는 복수의 카테고리는 사용자의 명령에 의하여 구성될 수도 있다.
도 5는 본 개시의 일 실시 예에 따른 인공지능 모델의 학습 과정을 설명하기 위한 도면이다.
상술한 바와 같이, 본 개시에 따른 인공지능 모델은 복수의 분류기(classifier)를 포함한다.
인공지능 모델은 기계학습, 신경망, 유전자, 딥러닝 및 분류 알고리즘과 같은 인공지능 알고리즘 중 적어도 하나를 이용하여 학습된 인공지능 모델일 수 있다.
특히, 인공지능 모델은 인공 신경망(artificial neural network)을 기반으로 하는 모델로서, 인간의 신경망의 뉴런(neuron)을 모의하도록, 가중치를 가지는 복수의 네트워크 노드들을 포함할 수 있다.
그리고, 복수의 네트워크 노드들은 뉴런이 시냅스(synapse)를 통하여 신호를 주고 받는 뉴런의 시냅틱(synaptic) 활동을 모의하도록, 각각 연결 관계를 형성할 수 있다. 또한, 복수의 네트워크 노드들은 서로 다른 깊이(또는 레이어)에 위치하면서 컨볼루션(convolution) 연결 관계에 따라 데이터를 주고 받을 수 있다.
본 개시에 따른 인공지능 모델에 포함되는 인공 신경망의 예에는 CNN(Convolutional Neural Network) 및 RNN(Recurrent Neural Network) 등이 있을 수 있으나, 본 개시의 목적을 달성할 수 있는 범위 내에서라면 그 종류에 제한이 있는 것은 아니다.
특히, CNN은 합성곱(convolution) 연산을 사용하는 인공 신경망의 한 종류로서, 이미지 분류를 위한 인공지능 모델에 일반적으로 사용된다. 특히, 본 개시에 따른 인공지능 모델의 경우에도 CNN의 convolutional layer를 통해 이미지의 특징 값을 획득하고, 획득된 이미지 특징의 특징 값을 분류기에 입력할 수 있다.
분류기는 입력된 이미지를 복수의 카테고리 중 어느 하나의 카테고리로 분류하고 그 분류 결과에 대응되는 정보를 출력하는 역할을 하며, 상술한 바와 같은 인공 신경망을 기반으로 구현될 수 있다.
한편, 도 5에 도시된 바와 같이, 본 개시에 따른 전자 장치는 획득된 이미지를 학습된 인공지능 모델에 입력한다.
인공지능 모델에 입력되는 이미지는 구체적으로 디지털화된 이미지 데이터(50)를 의미한다. 그리고, 이미지 데이터(50)는 연산 과정의 속도와 효율성을 위한 전처리 과정을 수행할 수 있다.
구체적으로, 인공지능 모델의 학습 효과를 높이기 위한 일반적인 방법 중 하나로서, 데이터 증폭(data augmentation) 과정을 수행하고, 증폭된 데이터(51)를 인공지능 모델에 입력할 수 있다. 데이터 증폭은 획득된 이미지 데이터(50)의 레이블을 변경하지 않고 픽셀을 변화시킴으로써, 변형된 이미지 데이터를 획득하는 방법이다. 물론, 데이터 증폭의 정도와 유형은 구체적인 실시 예와 학습 데이터의 양에 따라서 달라질 수 있다.
또한, 인공지능 모델의 학습 속도를 높이기 위한 일반적인 방법 중 하나로서, 획득된 컬러 이미지를 그레이 스케일(gray scale) 이미지로 변환하는 과정을 수행할 수 있다. 그레이 스케일 이미지를 획득하는 과정에는 컬러의 휘도를 이용하는 방법이 주요 사용되어 왔으나, 본 개시에 따른 그레이스케일 영상의 획득 과정이 특정한 방법에 국한되는 것은 아니다.
전자 장치는 획득된 이미지 또는 상술한 바와 같은 전처리 과정을 거친 이미지를 인공 지능 모델에 입력하여 이미지에 대한 정보를 획득한다. 구체적으로, 전자 장치는 이미지를 학습된 인공 지능 모델에 입력하여, 이미지에 포함된 오브젝트의 상하위 개념에 따라 구분되는 복수의 계층 각각에 대응되는 복수의 분류기 각각으로부터 이미지에 대한 정보를 획득한다.
보다 구체적으로, 전자 장치는 이미지를 인공지능 모델에 입력하여 이미지의 특징 값을 획득하고, 획득된 이미지의 특징 값을 복수의 분류기에 입력하여, 복수의 분류기 각각으로부터 이미지에 대한 정보를 획득할 수 있다.
한편, 복수의 분류기는 복수의 계층 각각에 대응된다. 또한, 복수의 계층은 이미지에 포함된 오브젝트의 상하위 개념에 따라 구분된다. 그리고, 복수의 계층은 복수의 계층 별로 이미지에 포함된 오브젝트를 분류하기 위한 복수의 카테고리를 포함한다.
도 5를 참조하면, 본 개시에 따른 복수의 분류기 중 제1 분류기는 카테고리 1-1 및 카테고리 1-2를 포함하고, 제2 분류기는 카테고리 2-1, 카테고리 2-2 및 카테고리 2-3을 포함하며, 제n 분류기는 카테고리 n-1 내지 카테고리 n-6을 포함할 수 있다.
한편, 본 개시에 따른 전자 장치는 복수의 분류기 각각으로부터 획득된 이미지에 대한 정보를 바탕으로 인공지능 모델을 학습시킬 수 있다.
즉, 전자 장치는 제1 계층에 대응되는 분류기로부터 획득된 이미지에 대한 정보, 제2 계층에 대응되는 분류기로부터 획득된 이미지에 대한 정보 및 제n 계층에 대응되는 분류기로부터 획득된 이미지에 대한 정보를 종합적으로 이용하여 인공지능 모델을 학습시킬 수 있다.
다시 말해, 전자 장치는 인공지능 모델의 학습에 있어서, 상하위 개념에 따라 상호 유기적으로 관련되면서도, 복수의 계층 각각에 따른 상이한 구별 기준 하에서 획득된 다양한 특징의 정보를 이용할 수 있다. 이에 따라, 하나의 계층 하에서 획득된 정보를 바탕으로 인공지능 모델을 학습시키는 경우에 비하여 학습 효과가 향상될 수 있다.
구체적으로, 전자 장치는 복수의 분류기 각각으로부터 획득된 이미지에 대한 정보를 바탕으로 복수의 계층 각각에 대응되는 복수의 손실 함수 값을 획득할 수 있다. 그리고, 전자 장치는 복수의 손실 함수 값을 합산하여 획득된 총 손실 함수 값을 역전파(backpropagation)하여, 총 손실 함수 값이 최소가 되도록 상기 인공지능 모델을 학습시킬 수 있다.
예를 들어, 도 5에 도시된 바와 같이, 전자 장치는 제1 분류기로부터 제1 계층에 대응되는 제1 손실 함수 값을 획득할 수 있으며, 제2 분류기로부터 제2 계층에 대응되는 제2 손실 함수 값을 획득할 수 있다. 나아가. 전자 장치는 제n 분류기로부터 제n 계층에 대응되는 제n 손실 함수 값을 획득할 수 있다.
그리고, 전자 장치는 제1 손실 함수 값 내지 제n 손실 함수 값을 합산한 총 손실 함수 값을 바탕으로 인공지능 모델을 학습시킬 수 있다. 구체적으로, 전자 장치는 총 손실 함수 값을 역전파하여, 상기 총 손실 함수 값이 최소가 되도록 상기 인공지능 모델을 학습시킬 수 있다.
여기서, 손실 함수란 인공지능 모델에서 학습을 통해 최적의 가중치 매개변수를 결정하기 위한 지표의 일종으로서, 다시 말해 인공지능 모델의 학습은 손실 함수의 결과 값(오차)를 작게 만들기 위해서 가중치 매개변수를 조정해 나가는 과정이라고 할 수 있다.
일반적으로, 손실 함수로는 평균 제곱 오차(Mean Squared Error, MSE) 또는 교차 엔트로피 오차(Cross Entropy Error, CEE)가 일반적으로 사용되지만, 본 개시가 일정한 손실 함수의 종류에 국한되는 것은 아닐뿐더러, 본 개시의 목적을 달성할 수 있는 범위 내에서라면, 본 개시는 인공지능 학습에 관한 구체적인 방법에 대해서도 제한되지 않는다.
상술한 바와 같은 본 개시의 일 실시 예에 따르면, 이미지를 입력 값으로 하고, 복수의 분류기 각각의 손실 함수 값을 합산한 총 손실 함수 값을 출력 값으로 하여, end-to-end로 인공지능 모델을 학습시킬 수 있다. 이에 따라, 하나의 인공지능 모델에서 다중의 인공지능 모델을 이용하는 것과 같은 학습 효과를 얻을 수 있게 된다.
도 6은 일 실시 예에 따른 인공지능 모델을 이용하여 이미지 인식을 수행하는 과정을 설명하기 위한 도면이다.
도 6에 도시된 바와 같이, 본 개시에 따른 전자 장치는 이미지를 인공지능 모델에 입력하여 이미지 인식을 수행할 수 있다. 즉, 전자 장치는 이미지를 인공지능 모델에 입력하여 이미지에 대한 정보를 획득하고, 획득된 이미지에 대한 정보를 바탕으로 이미지에 포함된 오브젝트에 대응되는 카테고리를 식별할 수 있다.
그런데, 인공지능 모델의 훈련에 있어서는 훈련 데이터의 양과 다양성이 높을수록 높은 훈련 효과를 기재할 수 있기 때문에, 상하위 개념에 따라 구분되는 복수의 계층 각각에 대응되는 복수의 분류기 각각으로부터, 획득된 이미지에 대한 정보를 모두 이용하는 것이 효율적일 수 있다.
그러나, 인공지능 모델의 이용에 있어서는 복수의 분류기 각각으로부터 획득된 이미지에 대한 정보 중 보다 정확한 이미지 인식에 기여할 수 있는 일부의 정보만을 이용하는 것이 복수의 분류기 각각으로부터 획득된 이미지에 대한 정보 모두를 이용하는 것보다 효율적일 수 있다. 여기서, 정확한 이미지 인식에 기여할 수 있는 일부의 정보는 본 개시가 적용될 수 있는 다양한 기술분야의 현장 데이터 특성 등에 따라 달라질 수 있다.
특히, 인공지능 모델을 이용한 이미지 인식에 있어서는, 복수의 계층 중 가장 세부적인 분류기준에 따른 복수의 카테고리를 포함하는 계층인 최하위 계층에 대응되는 분류기로부터 획득된 이미지에 대한 정보만을 이용하여, 그보다 상위 계층에 포함되는 복수의 카테고리 중 이미지에 포함된 오브젝트에 대응되는 카테고리를 식별하는 것이 효율적일 수 있다.
구체적으로, 도 6에 도시된 바와 같이, 복수의 계층이 제1 계층, 제1 계층에 대한 하위 계층인 제2 계층을 포함하고, 나아가 제n-1 계층에 대한 하위 계층인 제n 계층을 포함하는 경우, 제n 계층에 대응되는 분류기로부터 획득된 이미지에 대한 정보를 바탕으로, 제n 계층에 대한 상위 계층에 포함되는 복수의 카테고리 중 이미지에 포함된 오브젝트에 대응되는 카테고리를 식별할 수 있다.
또한, 복수의 계층이 제1 계층 및 제1 계층에 대한 하위 계층인 제2 계층을 포함하는 경우, 전자 장치는 제2 계층에 대응되는 분류기로부터 획득된 이미지에 대한 정보를 바탕으로, 제1 계층에 포함되는 복수의 카테고리 중 이미지에 포함된 오브젝트에 대응되는 카테고리를 식별할 수 있다.
구체적으로, 복수의 계층이 제1 계층 및 제1 계층에 대한 하위 계층인 제2 계층을 포함하는 경우, 전자 장치는 제2 계층에 대응되는 분류기로부터 이미지에 대한 정보를 획득할 수 있으며, 여기서 이미지에 대한 정보는 이미지에 포함된 오브젝트가 제2 계층에 포함되는 복수의 카테고리 각각에 대응될 확률에 대한 정보를 포함할 수 있다.
그리고, 전자 장치는 제2 계층에 대응되는 분류기로부터 획득된 확률에 대한 정보를 바탕으로 이미지에 포함된 오브젝트가 제1 계층에 포함되는 복수의 카테고리 각각에 대응될 확률에 대한 정보를 획득하여, 제1 계층에 포함되는 복수의 카테고리 중 이미지에 포함된 오브젝트에 대응되는 카테고리를 식별할 수 있다.
이상에서는 본 개시에 따른 인공지능 모델을 학습시키고, 학습된 인공지능 모델을 이용하여 이미지 인식을 수행하는 전자 장치에 관한 실시 예에 대하여 설명하였다.
이하에서는 보다 구체적인 실시 예로서, 본 개시에 따른 전자 장치를 제품의 불량 여부 식별에 이용하는 경우에 관한 실시 예에 대하여 설명한다. 다만, 도 1 내지 도 6에서 상술한 내용에 대한 중복 설명은 생략한다.
도 7 내지 도 9는 각각 본 개시의 제품 불량 여부 식별에 관한 실시 예에 따른 복수의 계층 및 복수의 카테고리, 인공지능 모델의 학습 과정 및 인공지능 모델의 이용 과정에 대하여 설명하기 위한 도면이다.
도 7에 도시된 바와 같이, 본 개시의 제품 불량 여부 식별에 관한 실시 예에 따른 복수의 계층은 제1 계층 및 제1 계층에 대한 하위 계층인 제2 계층을 포함할 수 있다. 그리고, 제1 계층은 제품의 불량 여부를 식별하기 위한 카테고리로서, ‘정상(OK)’ 및 ‘불량(NG)’ 카테고리를 포함할 수 있다.
또한, 제2 계층은 제품의 불량 유형에 대한 카테고리로서, 제1 계층에 포함되는 ‘정상(OK)’ 카테고리에 대한 하위 카테고리인 ‘비정상 입력(unusual)’, ‘결함 없음(nothing)’, ‘한도성 불량(limit)’ 및 ‘얼룩(bui)’ 카테고리를 포함할 수 있고, 제1 계층에 포함되는 ‘불량(NG)’ 카테고리에 대한 하위 카테고리인 ‘스크래치(ban)’, ‘재검사 필요(rework)’ 및 ‘결합(defect)’ 카테고리를 포함할 수 있다.
한편, 상술한 바와 같은 복수의 계층 및 복수의 카테고리는 다양한 기술분야의 현장 데이터 특성을 반영하여 다양하게 구성될 수 있다.
즉, 대상 제품의 종류 및 불량 검사에 대한 구체적인 기준에 따라, 복수의 계층 및 카테고리는 위와 상이하게 구성될 수 있음은 물론이다. 특히, ‘비정상 입력(unusual)’에 관한 필터를 별도로 구비하여 정상 입력에 대해서만 불량 검사를 수행할 수도 있으나, 그 성능과 효율성을 고려하여 상술한 바와 같이, 정상 유형의 카테고리 중 하나로 구성할 수도 있다.
한편, 본 개시에 따른 전자 장치는 제품의 외관 이미지를 획득할 수 있다. 그리고, 전자 장치는 획득된 제품의 외관 이미지를 인공지능 모델에 입력하여 복수의 계층 각각에 대응되는 복수의 분류기 각각으로부터 제품의 외관 이미지에 대한 정보를 획득할 수 있다.
그리고, 전자 장치는 제1 계층에 대응되는 분류기로부터 획득된 이미지에 대한 정보 및 제2 계층에 대응되는 분류기로부터 획득된 이미지에 대한 정보를 종합적으로 이용하여 인공지능 모델을 학습시킬 수 있다. 이 경우 하나의 계층에서 획득된 정보만을 바탕으로 인공지능 모델을 학습시키는 경우에 비하여 학습 효과가 향상될 수 있다는 점은 전술한 바 있다.
구체적으로, 제2 계층에 포함되는 카테고리인 ‘비정상 입력(unusual)’, ‘결함 없음(nothing)’, ‘한도성 불량(limit)’, ‘얼룩(bui)’, ‘스크래치(ban)’, ‘재검사 필요(rework)’ 및 ‘결합(defect)’이라는 카테고리의 분류 기준에 따른 정보만을 이용하는 경우에 비하여, 제1 계층에 포함되는 카테고리인 ‘정상(OK)’ 및 ‘불량(NG)’라는 카테고리의 분류 기준에 따른 정보를 함께 이용하는 경우에 인공지능 모델의 학습 효과가 향상될 수 있다.
구체적으로, 도 8에 도시된 바와 같이, 전자 장치는 제1 분류기로부터 제1 계층에 대응되는 제1 손실 함수 값을 획득할 수 있으며, 또한 제2 분류기로부터 제2 계층에 대응되는 제2 손실 함수 값을 획득할 수 있다.
그리고, 전자 장치는 제1 손실 함수 값 및 제2 손실 함수 값을 합산한 총 손실 함수 값을 바탕으로 인공지능 모델을 학습시킬 수 있다. 구체적으로, 전자 장치는 총 손실 함수 값을 역전파하여, 상기 총 손실 함수 값이 최소가 되도록 상기 인공지능 모델을 학습시킬 수 있다.
한편, 전자 장치는 학습된 인공지능 모델을 이용하여, 제품의 불량 여부를 식별할 수 있다. 구체적으로, 전자 장치는 획득된 제품의 외관 이미지를 인공지능 모델에 입력하여 제품의 외관 이미지에 대한 정보를 획득하고, 획득된 제품의 외관 이미지에 대한 정보를 바탕으로 제품의 불량 여부, 제품의 불량 유형 및 제품의 정상 유형 등을 식별할 수 있다.
상술한 바와 같이, 인공지능 모델을 이용한 이미지 인식에 있어서는, 복수의 계층 중 가장 세부적인 분류기준에 따른 복수의 카테고리를 포함하는 계층인 최하위 계층에 대응되는 분류기로부터 획득된 이미지에 대한 정보만을 이용하여, 그보다 상위 계층에 포함되는 복수의 카테고리 중 이미지에 포함된 오브젝트에 대응되는 카테고리를 식별하는 것이 효율적일 수 있다.
그리고, 제품의 불량 여부 식별에 관한 실시 예에 있어서도 복수의 계층 중 최하위 계층에 대응되는 분류기로부터 획득된 불량 유형 및 정상 유형에 대한 정보를 바탕으로, 제품의 불량 여부를 식별하는 것이 효율적일 수 있다.
구체적으로, 도 9를 참조하면, 전자 장치는 제2 계층에 대응되는 분류기로부터 이미지에 대한 정보를 획득할 수 있으며, 여기서 이미지에 대한 정보는 제품의 외관 이미지에 포함된 오브젝트가 제2 계층에 포함되는 복수의 카테고리인 ‘비정상 입력(unusual)’, ‘결함 없음(nothing)’, ‘한도성 불량(limit)’, ‘얼룩(bui)’, ‘스크래치(ban)’, ‘재검사 필요(rework)’ 및 ‘결합(defect)’ 각각에 대응될 확률에 대한 정보를 포함할 수 있다.
그리고, 전자 장치는 제2 계층에 대응되는 분류기로부터 획득된 확률에 대한 정보를 바탕으로 제품의 외관 이미지에 포함된 오브젝트가 제1 계층에 포함되는 복수의 카테고리인 ‘정상(OK)’ 및 ‘불량(NG)’ 각각에 대응될 확률에 대한 정보를 획득하여, 제품의 불량 여부를 식별할 수 있다.
구체적으로, 전자 장치는 제2 계층에 대응되는 분류기로부터, 제품의 외관이미지에 포함된 오브젝트가 제2 계층에 포함되는 복수의 카테고리 각각에 대응될 확률 값을 획득할 수 있다. 그리고, 전자 장치는 획득된 각각의 확률 값을 ‘정상(OK)’ 및 ‘불량(NG)’ 카테고리 별로 합산하여, 제품의 외관 이미지에 포함된 오브젝트가 ‘정상(OK)’ 및 ‘불량(NG)’ 각각에 대응될 확률 값을 획득하여, 제품의 불량 여부를 식별할 수 있다.
상술한 바와 같은 본 개시의 일 실시 예에 따르면, 정확한 이미지 인식을 수행할 수 있는 인공지능 모델을 이용하여 제품의 불량여부를 식별함으로써, 보다 신뢰성 있는 불량 검사 결과를 획득할 수 있다.
이에 따라, 최근에 불량 검사를 위하여 도입된 기술의 경우 기본적인 DNN(Deep Neural Network)의 구조를 사용하기 때문에, 현장 데이터 특성이 충분히 반영되지 않아 성능 개선에 한계가 있다는 문제점을 해소할 수 있게 된다.
도 10은 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 나타내는 도면이다.
도 10에 도시된 바와 같이, 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법에 따르면, 전자 장치는 이미지를 획득한다(S1010). 인공지능 모델에 입력되는 이미지는 구체적으로 디지털 이미지 데이터를 의미한다.
이미지가 획득되면, 전자 장치는 획득된 이미지를 학습된 인공지능 모델에 입력한다(S1020). 인공지능 모델은 복수의 분류기(classifier)를 포함하는바, 복수의 분류기는 복수의 계층 각각에 대응된다. 그리고, 복수의 계층은 이미지에 포함된 오브젝트의 상하위 개념에 따라 구분된다. 또한, 복수의 계층은 복수의 계층 별로 이미지에 포함된 오브젝트를 분류하기 위한 복수의 카테고리를 포함한다.
획득된 이미지가 인공지능 모델에 입력되면, 전자 장치는 인공지능 모델에 포함되는 복수의 분류기 각각으로부터 이미지에 대한 정보를 획득한다(S1030). 구체적으로, 인공지능 모델로부터 출력되는 이미지에 대한 정보는 복수의 계층 각각에 포함된 복수의 카테고리 중 이미지에 포함된 오브젝트에 대응되는 카테고리에 대한 정보를 포함할 수 있다.
한편, 본 개시에 따른 전자 장치의 제어 방법은 획득된 이미지에 대한 정보를 바탕으로 인공지능 모델을 학습시키는 단계를 더 포함할 수 있다.
구체적으로, 전자 장치는 복수의 분류기 각각으로부터 획득된 이미지에 대한 정보를 바탕으로 복수의 계층 각각에 대응되는 복수의 손실 함수 값을 획득할 수 있다. 그리고, 전자 장치는 획득된 복수의 손실 함수 값을 합산하여 총 손실 함수 값을 획득할 수 있으며, 획득된 총 손실 함수 값을 역전파(backpropagation)하여, 상기 총 손실 함수 값이 최소가 되도록 상기 인공지능 모델을 학습시킬 수 있다.
한편, 본 개시에 따른 전자 장치의 제어 방법은 획득된 이미지에 대한 정보를 바탕으로 인공지능 모델을 이용하여, 복수의 계층 중 적어도 하나의 계층에 포함되는 복수의 카테고리 중 상기 이미지에 포함된 오브젝트에 대응되는 카테고리를 식별하는 단계를 더 포함할 수 있다.
구체적으로, 복수의 계층이 제1 계층 및 제1 계층에 포함되는 복수의 카테고리 각각에 대한 복수의 하위 카테고리를 포함하는 제2 계층을 포함하는 경우, 전자 장치는 이미지에 포함된 오브젝트가 상기 제2 계층에 포함되는 복수의 카테고리 각각에 대응될 확률에 대한 정보를 획득할 수 있다.
그리고, 전자 장치는 제2 계층에 포함되는 복수의 카테고리 각각에 대응될 확률에 대한 정보를 바탕으로 이미지에 포함된 오브젝트가 제1 계층에 포함되는 복수의 카테고리 각각에 대응될 확률에 대한 정보를 획득하여, 제1 계층에 포함되는 복수의 카테고리 중 이미지에 포함된 오브젝트에 대응되는 카테고리를 식별할 수 있다.
한편, 상술한 실시 예에 따른 전자 장치의 제어 방법은 프로그램으로 구현되어 전자 장치에 제공될 수 있다. 특히, 전자 장치의 제어 방법을 포함하는 프로그램은 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장되어 제공될 수 있다.
구체적으로, 전자 장치의 제어 방법을 실행하는 프로그램을 포함하는 컴퓨터 판독 가능 기록매체에 있어서, 전자 장치의 제어 방법은 이미지를 획득하는 단계, 획득된 이미지를 학습된 인공 지능 모델에 입력하는 단계 및 이미지에 포함된 오브젝트의 상하위 개념에 따라 구분되는 복수의 계층 각각에 대응되며, 인공지능 모델에 포함되는 복수의 분류기(classifier) 각각으로부터 이미지에 대한 정보를 획득하는 단계를 포함한다.
한편, 비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
도 11 내지 도 13은 본 개시의 일 실시 에 따른 프로세서의 구성을 나타내는 블록도이다.
도 11을 참조하면, 일부 실시 예에 따른 프로세서(1100)는 데이터 학습부(1110) 및 데이터 인식부(1120)를 포함할 수 있다.
데이터 학습부(1110)는 본 개시에 따른 이미지 인식을 위한 기준을 학습할 수 있다. 데이터 학습부(1110)는 이미지 인식을 위하여 어떤 데이터를 이용할 지, 데이터를 이용하여 이미지 인식을 어떻게 수행할 지에 관한 기준을 학습할 수 있다. 데이터 학습부(1110)는 학습에 이용될 데이터를 획득하고, 획득된 데이터를 인공지능 모델에 적용함으로써, 이미지 인식 위한 기준을 학습할 수 있다.
데이터 인식부(1120)는 이미지 인식에 관한 결과를 출력할 수 있다. 데이터 인식부(1120)는 학습된 인공지능 모델을 이용하여, 소정의 데이터로부터 이미지 인식에 관한 결과를 출력할 수 있다.
구체적으로, 데이터 인식부(1120)는 학습에 의한 기 설정된 기준에 따라 소정의 데이터를 획득하고, 획득된 데이터를 입력 값으로 하여 인공지능 모델을 이용함으로써, 이미지 인식에 관한 결과를 출력할 수 있다. 또한, 획득된 데이터를 입력 값으로 하여 데이터 인식 모델에 의해 출력된 결과 값은 인공지능 모델을 갱신하는데 이용될 수 있다.
데이터 학습부(1110) 및 데이터 인식부(1120) 중 적어도 하나는, 적어도 하나의 하드웨어 칩 형태로 제작되어 전자 장치에 탑재될 수 있다. 예를 들어, 데이터 학습부(1110) 및 데이터 인식부(1120) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 전술한 각종 전자 장치에 탑재될 수도 있다.
이 경우, 데이터 학습부(1110) 및 데이터 인식부(1120)는 하나의 전자 장치(100)에 탑재될 수도 있으며, 또는 별개의 전자 장치들에 각각 탑재될 수도 있다. 예를 들어, 데이터 학습부(1110) 및 데이터 인식부(1120) 중 하나는 전자 장치(100)에 포함되고, 나머지 하나는 서버에 포함될 수 있다.
또한, 데이터 학습부(1110) 및 데이터 인식부(1120)는 유선 또는 무선으로 통하여, 데이터 학습부(1110)가 구축한 모델 정보를 데이터 인식부(1120)로 제공할 수도 있고, 데이터 인식부(1120)로 입력된 데이터가 추가 학습 데이터로서 데이터 학습부(1110)로 제공될 수도 있다.
한편, 데이터 학습부(1110) 및 데이터 인식부(1120) 중 적어도 하나는 소프트웨어 모듈로 구현될 수 있다. 데이터 학습부(1110) 및 데이터 인식부(1120) 중 적어도 하나가 소프트웨어 모듈(또는, 인스터력션(instruction) 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다.
또한, 이 경우, 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 애플리케이션에 의해 제공될 수 있다. 또는, 적어도 하나의 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 애플리케이션에 의해 제공될 수 있다.
도 12는 본 개시의 일부 실시 예에 따른 데이터 학습부의 블록도이다.
도 12를 참조하면, 본 개시의 일부 실시 예에 따른 데이터 학습부(1110)는 데이터 획득부(1110-1), 전처리부(1110-2), 학습 데이터 선택부(1110-3), 모델 학습부(1110-4) 및 모델 평가부(1110-5)를 포함할 수 있다.
데이터 획득부(1110-1)는 이미지 인식을 위한 데이터를 획득할 수 있다. 또한, 데이터 획득부(1110-1)는 이미지 인식을 위한 학습에 필요한 데이터를 획득할 수 있다.
전처리부(1110-2)는 이미지 인식을 위한 학습에 획득된 데이터가 이용될 수 있도록, 획득된 데이터를 전처리할 수 있다. 전처리부(1110-2)는 후술할 모델 학습부(1110-4)가 이미지 인식의 학습을 위하여 획득된 데이터를 이용할 수 있도록, 획득된 데이터를 기 설정된 포맷으로 가공할 수 있다.
학습 데이터 선택부(1110-3)는 전처리된 데이터 중에서 학습에 필요한 데이터를 선택할 수 있다. 선택된 데이터는 모델 학습부(1110-4)에 제공될 수 있다. 학습 데이터 선택부(1110-3)는 이미지 인식을 위한 기 설정된 기준에 따라, 전처리된 데이터 중에서 학습에 필요한 데이터를 선택할 수 있다. 또한, 학습 데이터 선택부(1110-3)는 후술할 모델 학습부(1110-4)에 의한 학습에 의해 기 설정된 기준에 따라 데이터를 선택할 수도 있다.
모델 학습부(1110-4)는 학습 데이터에 기초하여 이미지 인식을 어떻게 수행할 지에 관한 기준을 학습할 수 있다. 또한, 모델 학습부(1110-4)는 이미지 인식을 위하여 어떤 학습 데이터를 이용해야 하는 지에 대한 기준을 학습할 수도 있다.
또한, 모델 학습부(1110-4)는 이미지 인식에 이용되는 인공지능 모델을 학습 데이터를 이용하여 학습시킬 수 있다. 이 경우, 인공지능 모델은 미리 구축된 모델일 수 있다. 예를 들어, 인공지능 모델은 기본 학습 데이터을 입력 받아 미리 구축된 모델일 수 있다.
인공지능 모델은 인식 모델의 적용 분야, 학습의 목적 또는 장치의 컴퓨터 성능 등을 고려하여 구축될 수 있다. 인공지능 모델은, 예를 들어, 신경망(Neural Network)을 기반으로 하는 모델일 수 있다. 예컨대, CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), BRDNN(Bidirectional Recurrent Deep Neural Network)과 같은 모델이 학습 모델로서 사용될 수 있으나, 이에 한정되지 않는다.
다양한 실시 예에 따르면, 모델 학습부(1110-4)는 미리 구축된 제1 학습 모델, 제2 학습 모델, 및 제3 학습 모델이 각각 복수 개가 존재하는 경우, 입력된 학습 데이터와 기본 학습 데이터의 관련성이 큰 학습 모델을 선택할 수 있다.
이 경우, 기본 학습 데이터는 데이터의 타입 별로 기 분류되어 있을 수 있으며, 학습 모델은 데이터의 타입 별로 미리 구축되어 있을 수 있다. 예를 들어, 기본 학습 데이터는 학습 데이터가 생성된 지역, 학습 데이터가 생성된 시간, 학습 데이터의 크기, 학습 데이터의 장르, 학습 데이터의 생성자, 학습 데이터 내의 오브젝트의 종류 등과 같은 다양한 기준으로 기 분류되어 있을 수 있다.
또한, 모델 학습부(1110-4)는, 예를 들어, 오류 역전파법(error back-propagation) 또는 경사 하강법(gradient descent)을 포함하는 학습 알고리즘 등을 이용하여 데이터 인식 모델을 학습시킬 수 있으나, 이에 제한되지 않는다.
또한, 모델 학습부(1110-4)는, 예를 들어, 학습 데이터를 입력 값으로 하는 지도 학습(supervised learning) 을 통하여, 인공지능 모델을 학습시킬 수 있다. 또한, 모델 학습부(1110-4)는, 예를 들어, 별다른 지도없이 필요한 데이터의 종류를 스스로 학습하는 비지도 학습(unsupervised learning)을 통하여, 인공지능 모델을 학습시킬 수 있다. 또한, 모델 학습부(1110-4)는, 예를 들어, 학습에 따른 출력 결과가 올바른 지에 대한 피드백을 이용하는 강화 학습(reinforcement learning)을 통하여, 인공지능 모델을 학습시킬 수 있다.
또한, 인공지능 모델이 학습되면, 모델 학습부(1110-4)는 학습된 인공지능 모델을 저장할 수 있다. 이 경우, 모델 학습부(1110-4)는 학습된 인공지능 모델을 데이터 인식부(1120)를 포함하는 전자 장치(110)의 메모리에 저장할 수 있다.
또는, 모델 학습부(1110-4)는 학습된 인공지능 모델을 후술할 데이터 인식부(1120)를 포함하는 전자 장치(100)의 메모리에 저장할 수 있다. 또는, 모델 학습부(1110-4)는 학습된 인공지능 모델을 전자 장치와 유선 또는 무선 네트워크로 연결되는 서버의 메모리에 저장할 수도 있다.
이 경우, 학습된 인공지능 모델이 저장되는 메모리는, 예를 들면, 전자 장치의 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 함께 저장할 수도 있다. 또한, 메모리는 소프트웨어 및/또는 프로그램을 저장할 수도 있다. 프로그램은, 예를 들면, 커널, 미들웨어, 어플리케이션 프로그래밍 인터페이스(API) 및/또는 어플리케이션 프로그램(또는 "어플리케이션") 등을 포함할 수 있다.
모델 평가부(1110-5)는 인공지능 모델에 평가 데이터를 입력하고, 평가 데이터로부터 출력되는 결과가 소정 기준을 만족하지 못하는 경우, 모델 학습부(1110-4)로 하여금 다시 학습하도록 할 수 있다. 이 경우, 평가 데이터는 인공지능 모델을 평가하기 위한 기 설정된 데이터일 수 있다.
한편, 데이터 학습부(1110) 내의 데이터 획득부(1110-1), 전처리부(1110-2), 학습 데이터 선택부(1110-3), 모델 학습부(1110-4) 및 모델 평가부(1110-5) 중 적어도 하나는, 적어도 하나의 하드웨어 칩 형태로 제작되어 전자 장치에 탑재될 수 있다.
예를 들어, 데이터 획득부(1110-1), 전처리부(1110-2), 학습 데이터 선택부(1110-3), 모델 학습부(1110-4) 및 모델 평가부(1110-5) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 전술한 각종 전자 장치에 탑재될 수도 있다.
또한, 데이터 획득부(1110-1), 전처리부(1110-2), 학습 데이터 선택부(1110-3), 모델 학습부(1110-4) 및 모델 평가부(1110-5)는 하나의 전자 장치에 탑재될 수도 있으며, 또는 별개의 전자 장치들에 각각 탑재될 수도 있다. 예를 들어, 데이터 획득부(1110-1), 전처리부(1110-2), 학습 데이터 선택부(1110-3), 모델 학습부(1110-4) 및 모델 평가부(1110-5) 중 일부는 전자 장치에 포함되고, 나머지 일부는 서버에 포함될 수 있다.
또한, 데이터 획득부(1110-1), 전처리부(1110-2), 학습 데이터 선택부(1110-3), 모델 학습부(1110-4) 및 모델 평가부(1110-5) 중 적어도 하나는 소프트웨어 모듈로 구현될 수 있다. 데이터 획득부(1110-1), 전처리부(1110-2), 학습 데이터 선택부(1110-3), 모델 학습부(1110-4) 및 모델 평가부(1110-5) 중 적어도 하나가 소프트웨어 모듈(또는, 인스터력션(instruction) 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다.
또한, 이 경우 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 애플리케이션에 의해 제공될 수 있다. 또는, 적어도 하나의 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 애플리케이션에 의해 제공될 수 있다.
도 13은 일부 실시 예에 따른 데이터 인식부의 블록도이다.
도 13을 참조하면, 일부 실시 예에 따른 데이터 인식부(1120)는 데이터 획득부(1120-1), 전처리부(1120-2), 인식 데이터 선택부(1120-3), 인식 결과 제공부(1120-4) 및 모델 갱신부(1120-5)를 포함할 수 있다.
데이터 획득부(1120-1)는 이미지 인식 위한 데이터를 획득할 수 있으며, 전처리부(1120-2)는 이미지 인식을 위해 획득된 데이터가 이용될 수 있도록, 획득된 데이터를 전처리할 수 있다. 전처리부(1120-2)는 인식 결과 제공부(1120-4)가 이미지 인식을 위하여 획득된 데이터를 이용할 수 있도록, 획득된 데이터를 기 설정된 포맷으로 가공할 수 있다.
인식 데이터 선택부(1120-3)는 전처리된 데이터 중에서 이미지 인식에 필요한 데이터를 선택할 수 있다. 선택된 데이터는 인식 결과 제공부(1120-4)에게 제공될 수 있다. 인식 데이터 선택부(1120-3)는 이미지 인식을 위한 기 설정된 기준에 따라, 전처리된 데이터 중에서 일부 또는 전부를 선택할 수 있다. 또한, 인식 데이터 선택부(1120-3)는 후술할 모델 학습부(1110-4)에 의한 학습에 의해 기 설정된 기준에 따라 데이터를 선택할 수도 있다.
인식 결과 제공부(1120-4)는 선택된 데이터를 데이터 인식 모델에 적용하여 이미지 인식을 수행할 수 있다. 인식 결과 제공부(1120-4)는 인식 데이터 선택부(1120-3)에 의해 선택된 데이터를 입력 값으로 이용함으로써, 선택된 데이터를 인공지능 모델에 적용할 수 있다.
모델 갱신부(1120-5)는 인식 결과 제공부(1120-4)에 의해 제공되는 출력 값에 대한 평가에 기초하여, 데이터 인식 모델이 갱신되도록 할 수 있다. 예를 들어, 모델 갱신부(1120-5)는 인식 결과 제공부(1120-4)에 의해 제공되는 출력 결과를 모델 학습부(1110-4)에게 제공함으로써, 모델 학습부(1110-4)가 데이터 인식 모델을 갱신하도록 할 수 있다.
한편, 데이터 인식부(1120) 내의 데이터 획득부(1120-1), 전처리부(1120-2), 인식 데이터 선택부(1120-3), 인식 결과 제공부(1120-4) 및 모델 갱신부(1120-5) 중 적어도 하나는, 적어도 하나의 하드웨어 칩 형태로 제작되어 전자 장치에 탑재될 수 있다.
예를 들어, 데이터 획득부(1120-1), 전처리부(1120-2), 인식 데이터 선택부(1120-3), 인식 결과 제공부(1120-4) 및 모델 갱신부(1120-5) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 전술한 각종 전자 장치에 탑재될 수도 있다.
또한, 데이터 획득부(1120-1), 전처리부(1120-2), 인식 데이터 선택부(1120-3), 인식 결과 제공부(1120-4) 및 모델 갱신부(1120-5)는 하나의 전자 장치에 탑재될 수도 있으며, 또는 별개의 전자 장치들에 각각 탑재될 수도 있다. 예를 들어, 데이터 획득부(1120-1), 전처리부(1120-2), 인식 데이터 선택부(1120-3), 인식 결과 제공부(1120-4) 및 모델 갱신부(1120-5) 중 일부는 전자 장치에 포함되고, 나머지 일부는 서버에 포함될 수 있다.
또한, 데이터 획득부(1120-1), 전처리부(1120-2), 인식 데이터 선택부(1120-3), 인식 결과 제공부(1120-4) 및 모델 갱신부(1120-5) 중 적어도 하나는 소프트웨어 모듈로 구현될 수 있다. 데이터 획득부(1120-1), 전처리부(1120-2), 인식 데이터 선택부(1120-3), 인식 결과 제공부(1120-4) 및 모델 갱신부(1120-5) 중 적어도 하나가 소프트웨어 모듈(또는, 인스터력션(instruction) 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다.
또한, 이 경우, 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 애플리케이션에 의해 제공될 수 있다. 또는, 적어도 하나의 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 애플리케이션에 의해 제공될 수 있다.
도 14는 본 개시의 일 실시 에 따른 전자 장치 및 서버가 서로 연동함으로써 데이터를 학습하고 인식하는 예시를 나타내는 도면이다.
도 14를 참조하면, 서버(2000)는 이미지 인식을 위한 기준을 학습할 수 있으며, 전자 장치(100)는 서버(1400)에 의한 학습 결과에 기초하여 이미지 인식을 수행할 수 있다.
이 경우, 서버(1400)의 모델 학습부(1410)는 도 12에 도시된 데이터 학습부(1110)의 기능을 수행할 수 있다.
서버(1400)의 모델 학습부(1410)는 이미지 인식을 수행하기 위하여 어떤 데이터를 이용할 지, 데이터를 이용하여 이미지 인식을 어떻게 수행할 지에 관한 기준을 학습할 수 있다. 모델 학습부(1410)는 학습에 이용될 데이터를 획득하고, 획득된 데이터를 인공지능 모델에 적용함으로써, 이미지 인식을 위한 기준을 학습할 수 있다.
이 경우, 모델 학습부(1410)가 이용하는 데이터 중에서, 전자 장치(100)의 사용자의 프라이버시에 관련된 데이터는, 소정 기준에 따라 전자 장치(100)에 의해 추상화된 데이터일 수 있다.
또한, 전자 장치(100)의 인식 결과 제공부(1120-4)는 인식 데이터 선택부(1120-3)에 의해 선택된 데이터를 서버(1400)에 의해 생성된 인공지능 모델에 적용하여 이미지 인식을 수행할 수 있다. 예를 들어, 인식 결과 제공부(1120-4)는 인식 데이터 선택부(1120-3)에 의해 선택된 데이터를 서버(1400)에게 전송하고, 서버(1400)가 인식 데이터 선택부(1120-3)에 의해 선택된 데이터를 인공지능 모델에 적용하여 이미지 인식을 수행할 것을 요청할 수 있다.
이 경우, 인식 결과 제공부(1120-4) 및 인식 데이터 선택부(1120-3)가 이용하는 데이터 중에서, 전자 장치(100)의 사용자의 프라이버시에 관련된 데이터는, 소정 기준에 따라 전자 장치(100)에 의해 추상화된 데이터일 수 있다. 또한, 인식 결과 제공부(1120-4)는 서버(1400)에 의해 수행된 결과 값을 서버(1400)로부터 수신할 수 있다.
또는, 전자 장치(100)의 인식 결과 제공부(1120-4)는 서버(1400)에 의해 생성된 인공지능 모델을 서버(1400)로부터 수신하고, 수신된 인공지능 모델을 이용하여 이미지 인식을 수행할 수 있다. 이 경우, 전자 장치(100)의 인식 결과 제공부(1120-4)는 인식 데이터 선택부(1120-3)에 의해 선택된 데이터를 서버(1400)로부터 수신된 인공지능 모델에 적용하여 이미지 인식을 수행할 수 있다.
이상에서 상술한 바와 같은 본 개시의 다양한 실시 예에 따르면, 인공지능 모델의 학습에 있어서, 상하위 개념에 따라 상호 유기적으로 관련되면서도 복수의 계층 각각에 따른 상이한 구별 기준 하에서 획득된 다양한 특징의 정보를 이용할 수 있다. 즉, 본 개시에 따르면, 복수의 계층에 따른 다양한 레벨의 특징을 바탕으로 인공지능 모델(10)을 학습시킬 수 있다. 이에 따라, 하나의 계층 하에서 획득된 정보를 바탕으로 인공지능 모델을 학습시키는 경우에 비하여 학습 효과가 향상될 수 있다.
그리고, 이미지를 입력 값으로 하고, 복수의 분류기 각각의 손실 함수 값을 합산한 총 손실 함수 값을 출력 값으로 하여, end-to-end로 인공지능 모델을 학습시킬 수 있다. 이에 따라, 하나의 인공지능 모델에서 다중의 인공지능 모델을 이용하는 것과 같은 학습 효과를 얻을 수 있게 된다.
또한, 다양한 기술분야의 현장 데이터 특성이 반영된 복수의 계층 및 복수의 카테고리에 대응되는 이미지에 대한 정보를 획득함으로써, 다양한 기술분야에서 요구되는 이미지 인식의 특성을 충족시킬 수 있게 된다.
나아가, 전자 장치는 상술한 바와 같은 학습 효과에 따른 인공지능 모델을 이용하여 이미지 인식을 수행함으로써, 결과적으로 전자 장치의 이미지 인식의 정확도를 향상시킬 수 있다.
특히, 본 개시의 일 실시 예에 따르면, 정확한 이미지 인식을 수행할 수 있는 인공지능 모델을 이용하여 제품의 불량여부를 식별함으로써, 보다 신뢰성 있는 불량 검사 결과를 획득할 수 있다.
그리고 이에 따라, 최근에 불량 검사를 위하여 도입된 기술의 경우 기본적인 DNN(Deep Neural Network)의 구조를 사용하기 때문에, 현장 데이터 특성이 충분히 반영되지 않아 성능 개선에 한계가 있다는 문제점을 해소할 수 있게 된다.
한편, 본 개시에서 사용된 용어 "부" 또는 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구성된 유닛을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. "부" 또는 "모듈"은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 모듈은 ASIC(application-specific integrated circuit)으로 구성될 수 있다.
본 개시의 다양한 실시 예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시 예들에 따른 전자 장치(예: 전자 장치(100))를 포함할 수 있다.
상기 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접 또는 상기 프로세서의 제어 하에 다른 구성요소들을 이용하여 상기 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다.
기기로 읽을 수 있는 저장매체는 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
일시예에 따르면, 본 문서에 개시된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다.
컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시 예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시 예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다.
다양한 실시 예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시가 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.

Claims (15)

  1. 전자 장치에 있어서,
    적어도 하나의 명령을 포함하는 메모리; 및
    상기 메모리와 연결되어 상기 전자 장치를 제어하는 프로세서; 를 포함하고,
    상기 프로세서는,
    이미지를 획득하고,
    상기 획득된 이미지를 학습된 인공 지능 모델에 입력하여 상기 이미지에 대한 정보를 획득하며,
    상기 인공지능 모델은,
    상기 이미지에 포함된 오브젝트의 상하위 개념에 따라 구분되는 복수의 계층 각각에 대응되는 복수의 분류기(classifier)를 포함하고,
    상기 복수의 분류기 각각으로부터 상기 이미지에 대한 정보를 획득하는 전자 장치.
  2. 제1 항에 있어서,
    상기 복수의 계층은,
    상기 복수의 계층 별로 상기 이미지에 포함된 오브젝트를 분류하기 위한 복수의 카테고리를 포함하고,
    상기 이미지에 대한 정보는,
    상기 복수의 계층 각각에 포함된 복수의 카테고리 중 상기 이미지에 포함된 오브젝트에 대응되는 카테고리에 대한 정보를 포함하는 전자 장치.
  3. 제1 항에 있어서,
    상기 프로세서는,
    상기 복수의 분류기 각각으로부터 획득된 이미지에 대한 정보를 바탕으로 상기 복수의 계층 각각에 대응되는 복수의 손실 함수 값을 획득하고,
    상기 복수의 손실 함수 값을 합산하여 획득된 총 손실 함수 값을 역전파(backpropagation)하여, 상기 총 손실 함수 값이 최소가 되도록 상기 인공지능 모델을 학습시키는 전자 장치.
  4. 제1 항에 있어서,
    상기 프로세서는,
    상기 이미지를 상기 인공지능 모델에 입력하여 상기 이미지의 특징 값을 획득하고,
    상기 획득된 이미지의 특징 값을 상기 복수의 분류기에 입력하여 상기 복수의 분류기 각각으로부터 상기 이미지에 대한 정보를 획득하는 전자 장치.
  5. 제1 항에 있어서,
    상기 복수의 계층은,
    제1 계층 및 상기 제1 계층에 포함되는 복수의 카테고리 각각에 대한 복수의 하위 카테고리를 포함하는 제2 계층을 포함하고,
    상기 프로세서는,
    상기 제2 계층에 대응되는 분류기로부터 획득된 이미지에 대한 정보를 바탕으로, 상기 제1 계층에 포함되는 복수의 카테고리 중 상기 이미지에 포함된 오브젝트에 대응되는 카테고리를 식별하는 전자 장치.
  6. 제5 항에 있어서,
    상기 제2 계층에 대응되는 분류기로부터 획득된 이미지에 대한 정보는,
    상기 이미지에 포함된 오브젝트가 상기 제2 계층에 포함되는 복수의 카테고리 각각에 대응될 확률에 대한 정보를 포함하며,
    상기 프로세서는,
    상기 확률에 대한 정보를 바탕으로 상기 이미지에 포함된 오브젝트가 상기 제1 계층에 포함되는 복수의 카테고리 각각에 대응될 확률에 대한 정보를 획득하여, 상기 제1 계층에 포함되는 복수의 카테고리 중 상기 이미지에 포함된 오브젝트에 대응되는 카테고리를 식별하는 전자 장치.
  7. 제5 항에 있어서,
    상기 제1 계층은,
    상기 이미지에 포함된 제품의 불량 여부를 식별하기 위한 복수의 카테고리를 포함하고,
    상기 제2 계층은,
    상기 제품의 불량 유형에 대한 카테고리 및 상기 제품의 정상 유형에 대한 카테고리를 포함하는 복수의 하위 카테고리를 포함하며,
    상기 프로세서는,
    상기 제품의 외관 이미지를 획득하고,
    상기 획득된 외관 이미지를 상기 인공 지능 모델에 입력하여 상기 제2 계층에 대응되는 이미지에 대한 정보를 획득하며,
    상기 제2 계층에 대응되는 이미지에 대한 정보를 바탕으로 상기 1 계층에 대응되는 이미지에 대한 정보를 획득하여, 상기 제품의 불량 여부를 식별하는 전자 장치.
  8. 제1 항에 있어서,
    상기 인공지능 모델은,
    CNN(Convolutional Neural Network) 및 RNN (Recurrent Neural Network) 중 적어도 하나의 인공 신경망을 포함하는 전자 장치.
  9. 제1 항에 있어서,
    상기 프로세서는,
    상기 획득된 이미지를 그레이 스케일 이미지로 변환하고, 상기 변환된 그레이 스케일 이미지를 상기 인공지능 모델에 입력하는 전자 장치.
  10. 전자 장치의 제어 방법에 있어서,
    이미지를 획득하는 단계;
    상기 획득된 이미지를 학습된 인공 지능 모델에 입력하는 단계; 및
    상기 이미지에 포함된 오브젝트의 상하위 개념에 따라 구분되는 복수의 계층 각각에 대응되며, 상기 인공지능 모델에 포함되는 복수의 분류기(classifier) 각각으로부터 상기 이미지에 대한 정보를 획득하는 단계; 를 포함하는 전자 장치의 제어 방법.
  11. 제10 항에 있어서,
    상기 복수의 계층은,
    상기 복수의 계층 별로 상기 이미지에 포함된 오브젝트를 분류하기 위한 복수의 카테고리를 포함하고,
    상기 이미지에 대한 정보는,
    상기 복수의 계층 각각에 포함된 복수의 카테고리 중 상기 이미지에 포함된 오브젝트에 대응되는 카테고리에 대한 정보를 포함하는 전자 장치의 제어 방법
  12. 제10 항에 있어서,
    인공지능 모델을 학습시키는 단계; 를 더 포함하고,
    상기 이미지에 대한 정보를 획득하는 단계는,
    상기 복수의 분류기 각각으로부터 획득된 이미지에 대한 정보를 바탕으로 상기 복수의 계층 각각에 대응되는 복수의 손실 함수 값을 획득하며,
    상기 인공지능 모델을 학습시키는 단계는,
    상기 복수의 손실 함수 값을 합산하여 획득된 총 손실 함수 값을 역전파(backpropagation)하여, 상기 총 손실 함수 값이 최소가 되도록 상기 인공지능 모델을 학습시키는 전자 장치의 제어 방법.
  13. 제10 항에 있어서,
    상기 이미지를 상기 인공지능 모델에 입력하여 상기 이미지의 특징 값을 획득하는 단계; 를 더 포함하고,
    상기 이미지에 대한 정보를 획득하는 단계는,
    상기 획득된 이미지의 특징 값을 상기 복수의 분류기에 입력하여 상기 복수의 분류기 각각으로부터 상기 이미지에 대한 정보를 획득하는 전자 장치.
  14. 제10 항에 있어서,
    카테고리를 식별하는 단계; 를 더 포함하고,
    상기 복수의 계층은,
    제1 계층 및 상기 제1 계층에 포함되는 복수의 카테고리 각각에 대한 복수의 하위 카테고리를 포함하는 제2 계층을 포함하며,
    상기 카테고리를 식별하는 단계는,
    상기 제2 계층에 대응되는 분류기로부터 획득된 이미지에 대한 정보를 바탕으로, 상기 제1 계층에 포함되는 복수의 카테고리 중 상기 이미지에 포함된 오브젝트에 대응되는 카테고리를 식별하는 전자 장치의 제어 방법.
  15. 전자 장치의 제어 방법을 실행하는 프로그램을 포함하는 컴퓨터 판독가능 기록매체에 있어서,
    상기 전자 장치의 제어 방법은,
    이미지를 획득하는 단계;
    상기 획득된 이미지를 학습된 인공 지능 모델에 입력하는 단계; 및
    상기 이미지에 포함된 오브젝트의 상하위 개념에 따라 구분되는 복수의 계층 각각에 대응되며, 상기 인공지능 모델에 포함되는 복수의 분류기(classifier) 각각으로부터 상기 이미지에 대한 정보를 획득하는 단계; 를 포함하는 컴퓨터 판독가능 기록매체.
PCT/KR2019/013172 2018-10-29 2019-10-08 전자 장치 및 전자 장치의 제어 방법 WO2020091253A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/281,885 US20210397890A1 (en) 2018-10-29 2019-10-08 Electronic device and method for controlling electronic device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180130209A KR20200052440A (ko) 2018-10-29 2018-10-29 전자 장치 및 전자 장치의 제어 방법
KR10-2018-0130209 2018-10-29

Publications (1)

Publication Number Publication Date
WO2020091253A1 true WO2020091253A1 (ko) 2020-05-07

Family

ID=70462582

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/013172 WO2020091253A1 (ko) 2018-10-29 2019-10-08 전자 장치 및 전자 장치의 제어 방법

Country Status (3)

Country Link
US (1) US20210397890A1 (ko)
KR (1) KR20200052440A (ko)
WO (1) WO2020091253A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7082239B1 (ja) 2021-06-09 2022-06-07 京セラ株式会社 認識装置、端末装置、認識器構築装置、認識器修正装置、構築方法、及び修正方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220151932A (ko) * 2021-05-07 2022-11-15 삼성전자주식회사 전자 장치 및 전자 장치의 동작 방법
KR102413051B1 (ko) * 2021-11-26 2022-06-24 윤통현 시설 키오스크 운영 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150104646A (ko) * 2008-06-06 2015-09-15 톰슨 라이센싱 이미지들의 유사성 검색을 위한 시스템 및 방법
KR20170077183A (ko) * 2014-10-27 2017-07-05 이베이 인크. 계층적인 심층 합성곱 신경망
KR20170091140A (ko) * 2015-04-02 2017-08-08 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 컨볼루션 신경망 모델의 트레이닝 방법 및 장치
US20180268234A1 (en) * 2016-10-10 2018-09-20 Gyrfalcon Technology Inc. Object Detection And Recognition Apparatus Based On CNN Based Integrated Circuits

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10169852B1 (en) * 2018-07-03 2019-01-01 Nanotronics Imaging, Inc. Systems, devices, and methods for providing feedback on and improving the accuracy of super-resolution imaging

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150104646A (ko) * 2008-06-06 2015-09-15 톰슨 라이센싱 이미지들의 유사성 검색을 위한 시스템 및 방법
KR20170077183A (ko) * 2014-10-27 2017-07-05 이베이 인크. 계층적인 심층 합성곱 신경망
KR20170091140A (ko) * 2015-04-02 2017-08-08 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 컨볼루션 신경망 모델의 트레이닝 방법 및 장치
US20180268234A1 (en) * 2016-10-10 2018-09-20 Gyrfalcon Technology Inc. Object Detection And Recognition Apparatus Based On CNN Based Integrated Circuits

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CHOI, HYUNGWON: "Exploiting hierarchical structure of classes in object classification using deep convolutional neural networks", THESIS, 28 February 2018 (2018-02-28), pages 1 - 40, XP009520962, Retrieved from the Internet <URL:http://koasas.kaist.ac.kr/handle/10203/206760> *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7082239B1 (ja) 2021-06-09 2022-06-07 京セラ株式会社 認識装置、端末装置、認識器構築装置、認識器修正装置、構築方法、及び修正方法
WO2022260148A1 (ja) * 2021-06-09 2022-12-15 京セラ株式会社 認識装置、端末装置、認識器構築装置、認識器修正装置、構築方法、及び修正方法
JP2022188754A (ja) * 2021-06-09 2022-12-21 京セラ株式会社 認識装置、端末装置、認識器構築装置、認識器修正装置、構築方法、及び修正方法
JP2022188727A (ja) * 2021-06-09 2022-12-21 京セラ株式会社 認識装置、端末装置、認識器構築装置、認識器修正装置、構築方法、及び修正方法
JP7262650B2 (ja) 2021-06-09 2023-04-21 京セラ株式会社 認識装置、端末装置、認識器構築装置、認識器修正装置、構築方法、及び修正方法

Also Published As

Publication number Publication date
KR20200052440A (ko) 2020-05-15
US20210397890A1 (en) 2021-12-23

Similar Documents

Publication Publication Date Title
WO2020159232A1 (en) Method, apparatus, electronic device and computer readable storage medium for image searching
WO2020235712A1 (ko) 콘텐츠 기반의 스타일을 갖는 텍스트 또는 음성을 생성하는 인공 지능 장치 및 그 방법
WO2020091253A1 (ko) 전자 장치 및 전자 장치의 제어 방법
WO2018128362A1 (en) Electronic apparatus and method of operating the same
WO2019182265A1 (ko) 인공 지능 기기 및 그의 동작 방법
WO2021225256A1 (ko) 전자 장치 및 이의 제어 방법
EP3545436A1 (en) Electronic apparatus and method of operating the same
WO2019151735A1 (en) Vision inspection management method and vision inspection system
WO2015088179A1 (ko) 얼굴의 키 포인트들에 대한 포지셔닝 방법 및 장치
WO2021006404A1 (ko) 인공지능 서버
WO2020230933A1 (ko) 사용자의 음성을 인식하는 인공 지능 장치 및 그 방법
WO2020213758A1 (ko) 음성으로 상호작용하는 인공 지능 장치 및 그 방법
WO2020036297A1 (en) Electronic apparatus and controlling method thereof
WO2020130260A1 (en) Mobile terminal and method of operating the same
WO2020130262A1 (ko) 컴퓨팅 장치 및 그 동작 방법
WO2020184753A1 (ko) 음성 추출 필터를 이용하여 음성 제어를 수행하는 인공 지능 장치 및 그 방법
WO2021246812A1 (ko) 딥러닝 nlp 모델을 활용한 뉴스 긍정도 분석 솔루션 및 장치
WO2021221372A1 (ko) 제품의 불량과 연관된 정보를 제공하기 위한 전자 장치 및 그 동작 방법
WO2011068315A4 (ko) 최대 개념강도 인지기법을 이용한 최적의 데이터베이스 선택장치 및 그 방법
WO2019059579A1 (en) DEVICE AND METHOD FOR PROVIDING AN ANSWER TO A DEVICE USE INTERROGATION
WO2021194105A1 (ko) 전문가 모사 모델 학습 방법 및 그 학습을 위한 장치
WO2021230469A1 (ko) 아이템 추천 방법
WO2021125521A1 (ko) 순차적 특징 데이터 이용한 행동 인식 방법 및 그를 위한 장치
WO2022045613A1 (ko) 비디오 품질 향상 방법 및 장치
WO2021158040A1 (ko) 대화의 맥락에 대응하는 발화를 제공하는 전자 장치 및 이의 동작 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19879627

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19879627

Country of ref document: EP

Kind code of ref document: A1