WO2021091022A1 - 머신 러닝 시스템 및 머신 러닝 시스템의 동작 방법 - Google Patents

머신 러닝 시스템 및 머신 러닝 시스템의 동작 방법 Download PDF

Info

Publication number
WO2021091022A1
WO2021091022A1 PCT/KR2020/001361 KR2020001361W WO2021091022A1 WO 2021091022 A1 WO2021091022 A1 WO 2021091022A1 KR 2020001361 W KR2020001361 W KR 2020001361W WO 2021091022 A1 WO2021091022 A1 WO 2021091022A1
Authority
WO
WIPO (PCT)
Prior art keywords
similarity
image
extracted image
machine learning
degree
Prior art date
Application number
PCT/KR2020/001361
Other languages
English (en)
French (fr)
Inventor
김정훈
백용호
정자연
황영규
김정배
Original Assignee
주식회사 알체라
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 알체라 filed Critical 주식회사 알체라
Publication of WO2021091022A1 publication Critical patent/WO2021091022A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification

Definitions

  • the present invention relates to a machine learning system and a method of operating the machine learning system.
  • Machine learning is a technology that allows a computer to solve problems on its own without executing an explicit program, and is a representative machine learning algorithm such as supervised learning, unsupervised learning, and reinforcement learning. reinforcement learning).
  • Supervised learning refers to an algorithm that infers features of new data based on data to which features are assigned, that is, labeled data
  • unsupervised learning is an algorithm that analyzes data not assigned features.
  • supervised learning for example, regression and classification may be mentioned
  • unsupervised learning for example, clustering may be mentioned.
  • the machine learning model used in supervised learning performs learning with label data (or training data, training data) and then infers characteristics of new data, so the more diverse and more label data the better. Therefore, when new data is generated, it is necessary to continuously update the label data pool by labeling the new data and adding it to a label data pool including existing label data. Therefore, there is a need for a method for efficiently labeling new data.
  • the problem to be solved by the present invention is to provide a machine learning system capable of self-selecting data requiring labeling from a plurality of unlabeled data and a method of operating the machine learning system.
  • a machine learning system includes: a first similarity determination module for receiving a first extracted image and a second extracted image and determining a first similarity between the first extracted image and the second extracted image; A machine learning model that receives the first extracted image and the second extracted image, and performs model prediction on each of the first extracted image and the second extracted image; A second similarity determination module for receiving a first prediction image and a second prediction image corresponding to a result of model prediction from the machine learning model, and determining a second similarity between the first prediction image and the second prediction image; And a training data selection module that selects training data for training the machine learning model based on the first similarity and the second similarity.
  • the machine learning system receives video data, extracts the first extracted image and the second extracted image from the video data, and provides it to the first similarity determination module and the machine learning model. It may further include.
  • the first extracted image and the second extracted image may correspond to consecutive image frames among moving picture data.
  • the first similarity determination module performs a distance calculation based on Sum of Absolute Differences (SAD) on the first extracted image and the second extracted image, and based on the result of the distance calculation. 1 Can judge the degree of similarity.
  • SAD Sum of Absolute Differences
  • the second similarity determination module may perform SAD-based distance calculation on the first prediction image and the second prediction image, and determine a second similarity based on a result of the distance calculation. have.
  • the first similarity determination module performs an ED (Euclidean Distance)-based distance calculation for the first extracted image and the second extracted image, and based on the result of the distance calculation, the first similarity level determination module Can be judged.
  • ED Euclidean Distance
  • the second similarity determination module may perform an ED-based distance operation on the first predicted image and the second predicted image, and determine a second similarity based on the result of the distance operation. have.
  • the training data selection module when the first similarity degree is greater than or equal to a first predefined threshold and the second similarity is less than a second predefined threshold, the training data selection module includes: At least one can be selected as training data.
  • the training data selection module wherein the first similarity is greater than or equal to a first threshold selected from a first predefined threshold set, and the second similarity is greater than or equal to a first threshold selected from a first predefined threshold set. If it is less than the selected second threshold, at least one of the first extracted image and the second extracted image may be selected as the training data.
  • the first threshold and the second threshold may be selected from the first threshold set and the second threshold set according to a user input or a predefined policy.
  • a machine learning system includes: a first similarity determination module for determining a first similarity between a first extracted image and a second extracted image extracted from an unlabeled image pool; A machine learning model that performs model prediction on each of the first extracted image and the second extracted image; A second similarity determination module for receiving a first prediction image and a second prediction image corresponding to a result of model prediction from the machine learning model, and determining a second similarity between the first prediction image and the second prediction image; And a label image pool update module that updates the label image pool based on the first degree of similarity and the second degree of similarity.
  • the label image pool update module when the first similarity degree is greater than or equal to a first predefined threshold and the second similarity is less than a second predefined threshold, the first extracted image and the second extracted image
  • the label image pool can be updated based on.
  • the label image pool update module wherein the first similarity degree is greater than or equal to a first threshold selected from a first predefined threshold set, and the second similarity degree is a second predefined threshold set. If it is less than the second threshold selected from among, the label image pool may be updated based on the first extracted image and the second extracted image.
  • the first threshold and the second threshold may be selected from the first threshold set and the second threshold set according to a user input or a predefined policy.
  • a method of operating a machine learning system includes performing prediction using a machine learning model on each of a first extracted image and a second extracted image; Determining a first degree of similarity between the first extracted image and the second extracted image; Determining a second degree of similarity between the first predicted image and the second predicted image corresponding to a result of model prediction; And selecting training data for training the machine learning model based on the first degree of similarity and the second degree of similarity.
  • the determining of the first similarity may include performing SAD-based distance calculation for the first extracted image and the second extracted image, and calculating a first similarity based on a result of the distance calculation. It may include the step of determining.
  • determining the second similarity may include performing SAD-based distance calculation for the first prediction image and the second prediction image, and calculating a second similarity based on the result of the distance calculation. It may include the step of determining.
  • the determining of the first similarity may include performing an ED-based distance calculation for the first extracted image and the second extracted image, and calculating a first similarity based on the result of the distance calculation. It may include the step of determining.
  • the determining of the second similarity may include performing an ED-based distance calculation for the first prediction image and the second prediction image, and calculating a second similarity based on the result of the distance calculation. It may include the step of determining.
  • the selecting of the training data includes: when the first similarity degree is greater than or equal to the first predefined threshold and the second similarity is less than the second predefined threshold, the first extracted image and the second extracted It may include selecting at least one of the images as training data.
  • sample data is extracted from a plurality of unlabeled data included in a video, and it is self-determined whether the extracted sample data is data requiring labeling, that is, whether additional training is required for the current machine learning model. can do.
  • the machine learning system can propose data that needs to be labeled by itself, without the need for a person to select the data that needs to be individually labeled, and the learning cost of the machine learning system This decreases, and as a result, a machine learning model can be trained with more training data, resulting in a highly trained machine learning system.
  • FIG. 1 is a block diagram illustrating a machine learning system according to an embodiment of the present invention.
  • FIG. 2 is a flowchart illustrating a method of operating a machine learning system according to an embodiment of the present invention.
  • FIG. 3 is a flowchart illustrating a method of operating a machine learning system according to an embodiment of the present invention.
  • FIG. 4 is a flowchart illustrating a method of operating a machine learning system according to an embodiment of the present invention.
  • FIG. 5 is a block diagram illustrating a machine learning system according to an embodiment of the present invention.
  • FIG. 6 is a flowchart illustrating a method of operating a machine learning system according to an embodiment of the present invention.
  • FIG. 7 is a block diagram illustrating a machine learning system according to an embodiment of the present invention.
  • FIG. 8 is a flowchart illustrating a method of operating a machine learning system according to an embodiment of the present invention.
  • 9 and 10 are diagrams for explaining an operation example of a machine learning system according to an embodiment of the present invention.
  • FIG. 1 is a block diagram illustrating a machine learning system according to an embodiment of the present invention.
  • the machine learning system 1 may be a computer system implementing various embodiments described herein.
  • the machine learning system 1 includes a processor and a memory, the memory includes computer-readable instructions, and the processor executes instructions stored in the memory, thereby implementing various embodiments described herein. .
  • the machine learning system 1 may be implemented as a super computer, a server, a main frame, a workstation, a personal computer, a notebook computer, a tablet computer, an embedded computer, a wearable computer, etc., but the scope of the present invention is The present invention is not limited thereto, and the machine learning system 1 may be any computing device capable of implementing various embodiments described herein.
  • the machine learning system 1 may be implemented as a single computer device or may be implemented as a plurality of computer devices.
  • the machine learning model 30 and the learning module 32 to be described later may be implemented in the same single computer device, the machine learning model 30 is implemented as a first computer device, and the learning module 32 is a first computer device. It may be implemented as a second computer device different from the first computer device.
  • a machine learning system 1 is a machine learning system that learns video data, and includes an image extraction module 10, a first similarity determination module 20, and a machine learning model. (30), a learning module 32, a second similarity determination module 40, and a learning data selection module 50.
  • the image extraction module 10 receives video data, extracts the first extracted image I1 and the second extracted image I2 from the video data, and is then added to the first similarity determination module 20 and the machine learning model 30. Can provide.
  • the moving picture data may include a plurality of consecutive image frames.
  • the video data may be, for example, video data for the machine learning system 1 to perform image recognition. That is, the machine learning system 1 may perform an operation of identifying and recognizing an object from the moving image data using the appropriately trained machine learning model 30.
  • a label image is created by labeling image frames constituting video data, and a machine learning model 30 using the label image Need to learn.
  • the image extraction module 10 extracts candidate data that may become label data (ie, label image) for training the machine learning model 30 as described above. Specifically, the image extraction module 10 may extract the first extracted image I1 and the second extracted image I2 as candidate data from the moving picture data.
  • the training data selection module 50 which will be described later, whether labeling is required for the first extracted image I1 and the second extracted image I2 extracted by the image extraction module 10 (i.e., these data, Whether to select the machine learning model 30 as training data for training) may be determined.
  • the first similarity determination module 20 receives the first extracted image I1 and the second extracted image I2, and the first similarity S( I)) can be judged.
  • the first similarity determination module 20 may calculate a similarity based on a first sum of absolute differences (SAD) between the first extracted image I1 and the second extracted image I2. have. Specifically, the first similarity determination module 20 performs SAD-based distance calculation on the first extracted image I1 and the second extracted image I2, and the result of the distance calculation (D SAD (I) ) Based on the first similarity (S(I)), that is, the first SAD-based similarity (S SAD (I)). D SAD (I) and S SAD (I) can be calculated as follows.
  • n a is the p-dimensional vector corresponding to the I (t n)
  • I ( t n) is the image extracted at time t n
  • p is a number of pixels of the extracted image.
  • abs() means an operation that outputs the absolute values of vector elements
  • sum() means an operation that outputs the sum of vector elements.
  • K SAD (I) is a distance-similarity conversion coefficient and may be determined as a non-negative arbitrary constant.
  • K SAD (I) may be 1 / 50,000, but the scope of the present invention is not limited thereto.
  • the first similarity determination module 20 includes two p-dimensional vectors corresponding to the first extracted image I1, for example I(t n-1 ) and the second extracted image I2, for example I(t n) Based on the difference of, calculate the SAD-based distance D SAD (I) of the first extracted image I1 and the second extracted image I2 , and calculate S SAD (I) based on the calculated D SAD (I). Can be obtained.
  • the first similarity determination module 20 may calculate a similarity based on a first ED (Euclidean Distance) between the first extracted image I1 and the second extracted image I2. have. Specifically, the first similarity determination module 20 performs an ED-based distance calculation for the first extracted image I1 and the second extracted image I2, and the result of the distance calculation (D EUC (I) ) Based on the first similarity (S(I)), that is, the first ED-based similarity (S EUC (I)). D EUC (I) and S EUC (I) can be calculated as follows.
  • D EUC (I) (a n -a n-1 ) T (a n -a n-1 )
  • n is a p-D columns corresponding to the I (t n) vector
  • I (t n) is the image extracted at time t n
  • p is a number of pixels of the extracted image.
  • T means transpose operation.
  • K EUC (I) is a distance-similarity conversion coefficient and may be determined as a non-negative arbitrary constant.
  • K EUC (I) may be 1 / 50,000, but the scope of the present invention is not limited thereto.
  • the first similarity determination module 20 includes two p-dimensional vectors corresponding to the first extracted image I1, for example I(t n-1 ) and the second extracted image I2, for example I(t n) Based on the difference of, the ED-based distance D EUC (I) of the first extracted image I1 and the second extracted image I2 is calculated, and S EUC (I) is calculated based on the calculated D EUC (I). Can be obtained.
  • the first similarity determination module 20 determines a first similarity (S(I)) between the first extracted image I1 and the second extracted image I2.
  • S(I) first similarity
  • the first similarity determination module 20 may provide the learning data selection module 50 with the first similarity S(I) between the first extracted image I1 and the second extracted image I2 determined as described above. .
  • the machine learning model 30 receives the first extracted image I1 and the second extracted image I2, and predicts a model for each of the first extracted image I1 and the second extracted image I2. You can do it.
  • the machine learning model 30 is a model that has been trained with existing training data or label image data before receiving new data (that is, the first extracted image I1 and the second extracted image I2).
  • model prediction is performed on new data (that is, the first extracted image I1 and the second extracted image I2), and the first prediction image PI1 and the second prediction image corresponding to the model prediction result (PI2) may be provided to the second similarity determination module 40.
  • the second similarity determination module 40 receives a first prediction image PI1 and a second prediction image PI2 corresponding to the result of model prediction from the machine learning model 30, and receives the first prediction image PI1 and the second prediction image PI1.
  • a second degree of similarity S(O) between the second predicted images PI2 may be determined.
  • the predicted image may be referred to as “model output”.
  • the second similarity determination module 40 may calculate a second SAD-based similarity between the first predicted image PI1 and the second predicted image PI2. Specifically, the second similarity determination module 40 performs SAD-based distance calculation on the first prediction image PI1 and the second prediction image PI2, and the result of the distance calculation (D SAD (O) ) Based on the second similarity (S(O)), that is, the second SAD-based similarity (S SAD (O)). D SAD (O) and S SAD (O) can be calculated as follows.
  • z n is Q and r-dimensional column vector corresponding to a (t n)
  • Q (t n) is the result of applying the masking (masking) to P (t n)
  • P ( t n) at time t n Is the model output
  • the model output may be a b * m dimensional matrix.
  • b is the machine learning model 30, that is, the number of detection boxes of the detection model (e.g., the number of anchor boxes based on Yolo, the default box based on a single shot detector (SSD)). (the number of default boxes), and m corresponds to the dimension of the prediction output vector for each detection box.
  • K SAD (O) is a distance-similarity conversion coefficient, and may be determined as a non-negative arbitrary constant. For example, K SAD (O) may be 1, but the scope of the present invention is not limited thereto.
  • masking is an operation that converts the vector into a zero vector when the objectness score indicating the probability that the detection box of the detection model contains an object is less than a predefined threshold in each m-dimensional vector. to be.
  • abs() means an operation that outputs the absolute values of vector elements
  • sum() means an operation that outputs the sum of vector elements
  • the result may be converted into an output probability image.
  • z n may correspond to a column vector derived from the output probability image.
  • the second degree of similarity determination module 40 a first prediction image of the corresponding Q to derive from (PI1), for example, P (t n-1) and the second prediction image (PI2), for example, P (t n) ( Based on the difference between the two r-dimensional vectors of t n-1 ) and Q(t n ), the SAD-based distance D SAD (O) of the first predicted image PI1 and the second predicted image PI2 is calculated, and S SAD (O) can be obtained based on the calculated D SAD (O).
  • the second similarity determination module 40 may calculate a second ED-based similarity between the first predicted image PI1 and the second predicted image PI2. Specifically, the second similarity determination module 40 performs an ED-based distance calculation on the first prediction image PI1 and the second prediction image PI2, and the result of the distance calculation (D EUC (O) ) Based on the second similarity (S(O)), that is, the second ED-based similarity (S EUC (O)). D EUC (O) and S EUC (O) can be calculated as follows.
  • D EUC (O) (z n -z n-1 ) T (z n -z n-1 )
  • z n is the r-dimensional column vector corresponding to Q (t n)
  • Q ( t n) is the result of applying a masking to the P (t n)
  • P ( t n) is the model output at the time t n
  • the model output may be a b * m dimensional matrix.
  • b corresponds to the machine learning model 30, that is, the number of detection boxes of the detection model (for example, the number of anchor boxes based on Yolo, the number of default boxes based on SSD), and m is the prediction output for each detection box.
  • K EUC (O) is a distance-similarity conversion coefficient, and may be determined as a non-negative arbitrary constant.
  • K EUC (O) may be 1, but the scope of the present invention is not limited thereto.
  • masking is an operation of converting the vector into a zero vector when the object likelihood score indicating the probability that the detection box of the detection model contains an object in each m-dimensional vector is less than a predefined threshold.
  • abs() means an operation that outputs the absolute values of vector elements
  • sum() means an operation that outputs the sum of vector elements
  • the result may be converted into an output probability image.
  • z n may correspond to a column vector derived from the output probability image.
  • the second similarity determination module 40 determines a second similarity S(O) between the first predicted image PI1 and the second predicted image PI2.
  • a second similarity S(O) between the first predicted image PI1 and the second predicted image PI2.
  • apply and modify the above-described SAD-based operation apply and modify the above-described ED-based operation, or combine the above-described SAD-based operation and ED-based operation, or two images different from the aforementioned SAD and ED-based operations. Any method that can measure the similarity between frames can be used.
  • the second similarity determination module 40 may measure the similarity by using the same method as the method used by the first similarity determination module 20 to measure the similarity, or the first similarity determination module 20 Similarity can also be measured using a method different from the method used to measure the similarity.
  • the second similarity determination module 40 may provide a second similarity S(O) between the first predicted image PI1 and the second predicted image PI2 determined as described above to the learning data selection module 50. .
  • the training data selection module 50 may select training data for training the machine learning model 30 based on the first similarity S(I) and the second similarity S(O). Specifically, the training data selection module 50 compares the first degree of similarity (S(I)) and the second degree of similarity (S(O)) with a predefined threshold to train the machine learning model 30 You can choose.
  • a first threshold T(I) and a second threshold T(O) may be predefined.
  • the first threshold T(I) and the second threshold T(O) may have values that may be determined and changed according to a specific implementation purpose, environment, etc. in various embodiments of the present disclosure.
  • the training data selection module 50 uses the following conditional expressions to determine a first degree of similarity (S(I)) and a second degree of similarity (S(O)) as threshold values (T(I), T(O)). Can be compared with
  • the training data selection module 50 has a first similarity degree (S(I)) equal to or greater than a predefined first threshold value (T(I)) and a second similarity degree (S(O)) in advance. When it is less than the defined second threshold T(O), at least one of the first extracted image I1 and the second extracted image I2 may be selected as the training data.
  • the degree of similarity between the first extracted image I1 and the second extracted image I2 will generally be high, except when the scene changes.
  • the first similarity (S(I)) corresponding to the similarity between the first extracted image I1 and the second extracted image I2 is relatively high
  • the second similarity S(O) corresponding to the similarity of the predicted image PI2 is relatively low, this may mean that the uncertainty of the model prediction or inference result is high. Accordingly, in this case, it may be determined that additional learning is required for the first extracted image I1 and the second extracted image I2.
  • the training data selection module 50 performs labeling on at least one of the first extracted image I1 and the second extracted image I2, or externally, the first extracted image I1 and the second 2 In a method of requesting labeling for at least one of the extracted images I2 and receiving the result, at least one of the first extracted image I1 and the second extracted image I2 is selected as the training data TD, That is, it can be converted into label image data.
  • the learning data selection module 50 may provide the selected learning data TD to the learning module 32, and the learning module 32 uses the learning data TD provided from the learning data selection module 50.
  • Machine learning model 30 can be trained.
  • the machine learning system 1 extracts sample data (i.e., the first extracted image I1 and the second extracted image I2) from a plurality of unlabeled data included in the video, and extracted Whether the sample data is data requiring labeling, that is, whether additional training is required for the current machine learning model 30 may be determined by itself.
  • the machine learning system 1 provides the data that needs to be labeled by itself, without the need for a person to individually select the data that needs to be labeled. It can be proposed, the learning cost of the machine learning system is reduced, and as a result, a machine learning model can be trained with more training data, and as a result, a highly trained machine learning system 1 can be obtained.
  • the learning data selection module 50 includes a first threshold selected from a first set of predefined thresholds according to a user input or a predefined policy, and a second predefined threshold.
  • the training data may be selected using the second threshold selected from the threshold set.
  • the first predefined threshold set may include a plurality of first threshold candidates
  • the second predefined threshold set may include a plurality of second threshold candidates.
  • the training data selection module 50 For example, if the user selects one of a plurality of first threshold candidates in the first threshold set, the training data selection module 50, as described above, the first threshold selected by the user and the first similarity ( S(I)) can be compared. Similarly, when the user selects one of the plurality of second threshold candidates of the second threshold set, the training data selection module 50, as described above, the second threshold selected by the user and the second similarity (S( O)) can be compared.
  • a first threshold value and a second threshold value are selected from the first threshold value set and the second threshold value set.
  • the learning data selection module 50 first selects the training data, and then, when it is necessary to expand the range in which the first and second extracted images I1 and I2 are judged to be similar, the first extracted image If it is necessary to narrow the range in which (I1) and the second extracted image (I2) are judged to be similar, it is necessary to widen the range in which the first predicted image (PI1) and the second predicted image (PI2) are judged to be dissimilar. When there is a need to narrow the range in which the first predicted image PI1 and the second predicted image PI2 are judged to be dissimilar, the first threshold and the second threshold from the first threshold set and the second threshold set, etc.
  • the training data may be reselected and secondarily selected based on the reselected first and second thresholds.
  • FIG. 2 is a flowchart illustrating a method of operating a machine learning system according to an embodiment of the present invention.
  • a method of operating a machine learning system may include extracting an image from a video (S201).
  • step S201 may include extracting the first extracted image and the second extracted image I2 from the moving picture data.
  • the method may include performing model prediction using the extracted image (S203).
  • step S203 may include performing prediction using a machine learning model for each of the first extracted image and the second extracted image.
  • the method may include determining a first degree of similarity between the extracted images (S205).
  • step S205 may include determining a first degree of similarity between the first extracted image and the second extracted image.
  • the method may include determining a second degree of similarity between predicted images (S207).
  • step S207 may include determining a second similarity between the first prediction image and the second prediction image corresponding to the result of model prediction.
  • the method may include comparing the first degree of similarity and the second degree of similarity with a threshold (S209).
  • the method may include a step (S211) of selecting an extracted image as training data based on a result of the comparison. That is, steps S209 and S211 may include comparing the first similarity degree and the second similarity degree with a threshold value, and selecting training data for training the machine learning model.
  • step S211 when the first similarity degree is greater than or equal to the first predefined threshold and the second similarity is less than the second predefined threshold, at least one of the first extracted image and the second extracted image is selected as the training data. It may include the step of.
  • FIG. 1 For more detailed information related to the present embodiment, reference may be made to the description of FIG. 1, and the descriptions of FIG. 1 may be applied as it is to the method of operating the machine learning system according to the present embodiment.
  • FIG. 3 is a flowchart illustrating a method of operating a machine learning system according to an embodiment of the present invention.
  • a method of operating a machine learning system may include performing model prediction using an extracted image (S301 ).
  • Step S301 may correspond to step S203 of FIG. 2.
  • step S301 may include performing prediction using a machine learning model for each of the first extracted image and the second extracted image.
  • the method may include determining a first SAD-based similarity between the extracted images (S303).
  • step S303 may include determining a first SAD-based similarity between the first extracted image and the second extracted image, and the step is SAD based on the first extracted image and the second extracted image. And determining a first SAD similarity based on a result of the distance calculation.
  • the method may include determining a second SAD-based similarity between predicted images (S305).
  • step S305 may include determining a second SAD-based similarity between the first prediction image and the second prediction image corresponding to the result of model prediction, and the step includes: 2 It may include performing SAD-based distance calculation on the predicted image and determining a second SAD-based similarity based on a result of the distance calculation.
  • the method may include comparing the first SAD-based similarity degree and the second SAD-based similarity degree with a threshold (S307).
  • step S307 may include comparing the first SAD-based similarity and the second SAD-based similarity with a threshold value to select training data for training the machine learning model.
  • FIG. 1 For more detailed information related to the present embodiment, reference may be made to the description of FIG. 1, and the descriptions of FIG. 1 may be applied as it is to the method of operating the machine learning system according to the present embodiment.
  • FIG. 4 is a flowchart illustrating a method of operating a machine learning system according to an embodiment of the present invention.
  • a method of operating a machine learning system may include performing model prediction using an extracted image (S401 ).
  • Step S401 may correspond to step S203 of FIG. 2.
  • step S401 may include performing prediction using a machine learning model for each of the first extracted image and the second extracted image.
  • the method may include determining a first ED-based similarity between the extracted images (S403).
  • step (S403) may include the step of determining a first ED-based similarity between the first extracted image and the second extracted image, the step, ED-based for the first extracted image and the second extracted image And determining a first ED similarity based on a result of the distance calculation.
  • the method may include determining a second ED-based similarity between predicted images (S405).
  • step S405 may include determining a second ED-based similarity between the first prediction image and the second prediction image corresponding to the result of model prediction, and the step includes: 2 It may include performing an ED-based distance operation on the predicted image and determining a second ED-based similarity based on a result of the distance operation.
  • the method may include comparing the first ED-based similarity and the second ED-based similarity with a threshold (S407).
  • step S407 may include comparing the first ED-based similarity and the second ED-based similarity with a threshold to select training data for training the machine learning model.
  • FIG. 1 For more detailed information related to the present embodiment, reference may be made to the description of FIG. 1, and the descriptions of FIG. 1 may be applied as it is to the method of operating the machine learning system according to the present embodiment.
  • FIG. 5 is a block diagram illustrating a machine learning system according to an embodiment of the present invention.
  • the machine learning system 2 includes an unlabeled image pool 34, a first similarity determination module 20, a machine learning model 30, and a second similarity determination.
  • a module 40, a label image pool 36, and a label image pool update module 38 may be included.
  • the unlabeled image pool 34 may include a plurality of unlabeled image data.
  • the unlabeled image pool 34 may include a plurality of image data that does not necessarily have a video format.
  • the first similarity determination module 20 may determine a first similarity S(I) between the first extracted image I1 and the second extracted image I2 extracted from the unlabeled image pool 34.
  • the machine learning model 30 may perform model prediction for each of the first extracted image I1 and the second extracted image I2.
  • the second similarity determination module 40 receives a first prediction image PI1 and a second prediction image PI2 corresponding to the result of model prediction from the machine learning model 30, and receives the first prediction image PI1 and the second prediction image PI1.
  • a second degree of similarity S(O) between the second predicted images PI2 may be determined.
  • the label image pool update module 38 compares the first degree of similarity (S(I)) and the second degree of similarity (S(O)) with a threshold value (T(I), T(O)) to determine the label image pool 26. Can be updated. That is, the label image pool update module 38 has a first degree of similarity (S(I)) equal to or greater than a first predefined threshold value (T(I)) and a second degree of similarity (S(O)) If less than the threshold T(O), based on the first extracted image I1 and the second extracted image I2 (e.g., at least one of the first extracted image I1 and the second extracted image I2) The label image pool 36 can be updated (by performing labeling on one and adding it to the label image pool 36).
  • the machine learning system 2 extracts sample data (ie, a first extracted image and a second extracted image) from a plurality of unlabeled data (not limited to a video), and the extracted sample data is It is possible to determine whether data needs to be labeled, that is, whether it needs to be added to the current label image pool 36 by itself.
  • sample data ie, a first extracted image and a second extracted image
  • the machine learning system (2) can propose data that needs to be labeled by itself, without the need for a person to individually select the data that needs to be labeled from a large amount of data, reducing the learning cost of the machine learning system, A machine learning model can be trained from the training data, resulting in a highly trained machine learning system (2).
  • the label image pool update module 38 may change a threshold value used in the conditional expression as described in FIG. 1 according to a predetermined priority or policy.
  • the label image pool update module 38 when the first degree of similarity (S(I)) is less than the first threshold value (T(I)), the first degree of similarity (S(I)) is predefined and When the first threshold (T(I)) is equal to or higher than the third threshold (T'(I)) and the second similarity (S(O)) is less than the second threshold (T(O)), the first The label image pool 36 may be updated based on the extracted image I1 and the second extracted image I2.
  • the label image pool update module 38 has a first degree of similarity (S(I)) equal to or greater than a first threshold value (T(I)) and a second degree of similarity (S(O)) equal to or greater than a second threshold value (T). (O)) or higher, the first degree of similarity (S(I)) is equal to or greater than the first threshold value (T(I)) and the second degree of similarity (S(O)) is predefined and the second threshold value (T(O)) If it is less than the fourth threshold T'(0) having a value higher than ), the label image pool 36 may be updated based on the first extracted image I1 and the second extracted image I2.
  • the machine learning system 1 can finely adjust the decision criterion for suggesting data that needs to be labeled by itself, and a machine capable of performing the threshold change by itself according to a predetermined policy as needed during operation.
  • a learning system (1) can be implemented.
  • FIG. 1 For more details related to the present embodiment, reference may be made to the description of FIG. 1, and the descriptions of FIG. 1 may be applied to the machine learning system according to the present embodiment as it is.
  • FIG. 6 is a flowchart illustrating a method of operating a machine learning system according to an embodiment of the present invention.
  • a method of operating a machine learning system may include extracting an image from an unlabeled image pool (S601).
  • the method may include performing model prediction using the extracted image (S603).
  • the method may include determining a first degree of similarity between the extracted images (S605).
  • the method may include determining a second degree of similarity between predicted images (S607).
  • the method may include comparing the first degree of similarity and the second degree of similarity with a threshold (S609).
  • the method may include updating the label image pool based on the comparison result (S611).
  • FIG. 1 For more detailed information related to the present embodiment, reference may be made to the description of FIG. 1, and the descriptions of FIG. 1 may be applied as it is to the method of operating the machine learning system according to the present embodiment.
  • FIG. 7 is a block diagram illustrating a machine learning system according to an embodiment of the present invention.
  • the difference between the machine learning system 3 according to the embodiment of the present invention and the machine learning system 1 according to the embodiment of FIG. 1 is the image extraction module 10, determining a first degree of similarity.
  • the module 20, the machine learning model 30, and the second similarity determination module 40 operate on three or more extracted images I1, I2, and I3, that is, an extracted image sequence. .
  • the image extraction module 10 may receive video data, extract the extracted image sequences I1, I2, and I3 from the video data, and provide the extracted image sequences I1, I2, and I3 to the first similarity determination module 20 and the machine learning model 30.
  • the first similarity determination module 20 may receive the extracted image sequences I1, I2, and I3, and may determine a first similarity S(I) between the extracted image sequences I1, I2, and I3. For example, the first similarity determination module 20 calculates all similarities for two temporally adjacent extracted images among the extracted image sequences I1, I2, and I3, and then averages the values to obtain a first similarity ( S(I)) can be calculated.
  • the machine learning model 30 may receive the extracted image sequences I1, I2, and I3, and perform model prediction for each of the extracted image sequences I1, I2, and I3.
  • the second similarity determination module 40 receives a prediction image sequence (PI1, PI2, PI3) corresponding to the result of model prediction from the machine learning model 30, and receives a second prediction image sequence (PI1, PI2, PI3).
  • the degree of similarity (S(O)) can be determined.
  • the second similarity determination module 40 calculates all similarities for two temporally adjacent prediction images among the predicted image sequences PI1, PI2, and PI3, and then averages the values to obtain a second similarity ( S(O)) can be calculated.
  • the training data selection module 50 may select training data for training the machine learning model 30 based on the first similarity S(I) and the second similarity S(O). Specifically, the training data selection module 50 compares the first degree of similarity (S(I)) and the second degree of similarity (S(O)) with a predefined threshold to train the machine learning model 30 You can choose.
  • a first threshold T(I) and a second threshold T(O) may be predefined.
  • the first threshold T(I) and the second threshold T(O) may have values that may be determined and changed according to a specific implementation purpose, environment, etc. in various embodiments of the present disclosure.
  • the training data selection module 50 uses the following conditional expressions to determine a first degree of similarity (S(I)) and a second degree of similarity (S(O)) as threshold values (T(I), T(O)). Can be compared with
  • the training data selection module 50 has a first similarity degree (S(I)) equal to or greater than a predefined first threshold value (T(I)) and a second similarity degree (S(O)) in advance. If it is less than the defined second threshold T(O), at least one of the extracted image sequences I1, I2, and I3 may be selected as the training data.
  • S(I) first similarity degree
  • T(I) predefined first threshold value
  • S(O) second similarity degree
  • the similarity of the extracted image sequences I1, I2, I3 will generally be high, except when the scene changes.
  • the first similarity (S(I)) corresponding to the similarity of the extracted image sequences (I1, I2, I3) is relatively high, it corresponds to the similarity of the predicted image sequences (PI1, PI2, PI3) corresponding to the model prediction result.
  • the second similarity (S(O)) is relatively low, this may mean that the uncertainty of the model prediction or inference result is high. Therefore, in this case, it may be determined that additional learning is required for the extracted image sequences I1, I2, and I3.
  • the training data selection module 50 performs labeling on at least one of the extracted image sequences (I1, I2, I3), or externally to at least one of the extracted image sequences (I1, I2, I3).
  • at least one of the extracted image sequences I1, I2, and I3 may be selected as training data TD, that is, converted into label image data.
  • the learning data selection module 50 may provide the selected learning data TD to the learning module 32, and the learning module 32 uses the learning data TD provided from the learning data selection module 50.
  • Machine learning model 30 can be trained.
  • FIG. 1 For more details related to the present embodiment, reference may be made to the description of FIG. 1, and the descriptions of FIG. 1 may be applied to the machine learning system according to the present embodiment as it is.
  • FIG. 8 is a flowchart illustrating a method of operating a machine learning system according to an embodiment of the present invention.
  • a method of operating a machine learning system may include extracting an image sequence from a video (S801).
  • the method may include performing model prediction using the extracted image sequence (S803).
  • the method may include determining a first degree of similarity between extracted image sequences (S805).
  • the method may include determining a second degree of similarity between predicted image sequences (S807).
  • the method may include comparing the first degree of similarity and the second degree of similarity with a threshold (S809).
  • the method may include selecting the extracted image sequence as training data based on the comparison result (S811).
  • FIGS. 1 and 7 For more detailed information related to the present embodiment, reference may be made to the descriptions of FIGS. 1 and 7 described above, and the descriptions of FIGS. 1 and 7 may be applied as they are to the method of operating the machine learning system according to the present embodiment. have.
  • 9 and 10 are diagrams for explaining an operation example of a machine learning system according to an embodiment of the present invention.
  • FIG. 9 may correspond to, for example, a first extracted image I1
  • FIG. 10 may correspond to, for example, a second extracted image I2.
  • a first similarity (S(I)) between the first extracted image I1 and the second extracted image I2 is calculated as 0.7521
  • the second similarity determination module 40 This is the case where the second similarity S(O) between the first predicted image PI1 and the second predicted image PI2 is calculated as 0.1454.
  • the reason that the second similarity (S(O)) between the first predicted image PI1 and the second predicted image PI2 is relatively low is that the detection box for the truck OBJ1 shown in FIG. 11 does not exist in FIG. 12. , Because there is a difference in the prediction result.
  • the training data selection module 50 may select at least one of the first extracted image I1 and the second extracted image I2 as the training data. That is, the training data selection module 50 may determine that additional learning is required for at least one of the first extracted image I1 and the second extracted image I2.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

머신 러닝 시스템 및 머신 러닝 시스템의 동작 방법이 제공된다. 머신 러닝시스템은, 제1 추출 이미지 및 제2 추출 이미지를 입력 받고, 상기 제1 추출 이미지와 상기 제2 추출 이미지 간 제1 유사도를 판단하는 제1 유사도 판단 모듈; 상기 제1 추출 이미지 및 제2 추출 이미지를 입력 받고, 상기 제1 추출 이미지 및 제2 추출 이미지 각각에 대한 모델 예측을 수행하는 머신 러닝 모델; 상기 머신 러닝 모델로부터 상기 모델 예측의 결과에 해당하는 제1 예측 이미지 및 제2 예측 이미지를 입력 받고, 상기 제1 예측 이미지와 상기 제2 예측 이미지 간 제2 유사도를 판단하는 제2 유사도 판단 모듈; 및 상기 제1 유사도와 상기 제2 유사도에 기초하여 상기 머신 러닝 모델을 학습시키기 위한 학습 데이터를 선택하는 학습 데이터 선택 모듈을 포함한다.

Description

머신 러닝 시스템 및 머신 러닝 시스템의 동작 방법
본 발명은 머신 러닝 시스템 및 머신 러닝 시스템의 동작 방법에 관한 것이다.
머신 러닝(machine learning)은 명시적인 프로그램을 실행하지 않고도 컴퓨터가 스스로 문제를 해결할 수 있도록 학습하는 기술로, 대표적인 머신 러닝 알고리즘으로 지도 학습(supervised learning), 비지도 학습(unsupervised learning), 강화 학습(reinforcement learning) 등을 들 수 있다. 지도 학습은, 특징(feature)이 부여된 데이터, 즉 레이블 데이터(labeled data)를 기반으로 새로운 데이터에 대한 특징을 추론하는 알고리즘을 말하며, 비지도 학습은, 특징이 부여되지 않은 데이터들을 분석하는 알고리즘을 말한다. 지도 학습의 유형으로, 예를 들어, 회귀 분석(regression), 분류(classification)를 들 수 있고, 비지도 학습의 유형으로, 예를 들어, 클러스터링(clustering)을 들 수 있다.
지도 학습에서 사용되는 머신 러닝 모델은 레이블 데이터(또는 학습 데이터, 훈련 데이터)로 학습을 수행한 후 새로운 데이터에 대한 특징을 추론하므로, 레이블 데이터는 다양하고 많을수록 좋다. 따라서, 새로운 데이터가 발생한 경우, 새로운 데이터에 대한 레이블링(labeling)을 하고, 기존 레이블 데이터들이 포함된 레이블 데이터 풀(labeled data pool)에 추가함으로써, 레이블 데이터 풀을 갱신해 나가는 작업은 계속 필요하다. 그러므로, 새로운 데이터에 대한 레이블링을 효율적으로 수행하기 위한 방안이 요구된다.
본 발명이 해결하고자 하는 과제는 다수의 언레이블 데이터(unlabeled data)에서 레이블링이 필요한 데이터를 스스로 선택할 수 있는 머신 러닝 시스템 및 머신 러닝 시스템의 동작 방법을 제공하는 것이다.
본 발명의 일 실시 예에 따른 머신 러닝 시스템은, 제1 추출 이미지 및 제2 추출 이미지를 입력 받고, 제1 추출 이미지와 제2 추출 이미지 간 제1 유사도를 판단하는 제1 유사도 판단 모듈; 제1 추출 이미지 및 제2 추출 이미지를 입력 받고, 제1 추출 이미지 및 제2 추출 이미지 각각에 대한 모델 예측을 수행하는 머신 러닝 모델; 머신 러닝 모델로부터 모델 예측의 결과에 해당하는 제1 예측 이미지 및 제2 예측 이미지를 입력 받고, 제1 예측 이미지와 제2 예측 이미지 간 제2 유사도를 판단하는 제2 유사도 판단 모듈; 및 제1 유사도와 제2 유사도에 기초하여 머신 러닝 모델을 학습시키기 위한 학습 데이터를 선택하는 학습 데이터 선택 모듈을 포함할 수 있다.
본 발명의 몇몇의 실시 예에서, 머신 러닝 시스템은, 동영상 데이터를 입력 받고, 동영상 데이터에서 제1 추출 이미지 및 제2 추출 이미지를 추출하여 제1 유사도 판단 모듈 및 머신 러닝 모델에 제공하는 이미지 추출 모듈을 더 포함할 수 있다.
본 발명의 몇몇의 실시 예에서, 제1 추출 이미지와 제2 추출 이미지는 동영상 데이터 중 연속된 이미지 프레임에 해당할 수 있다.
본 발명의 몇몇의 실시 예에서, 제1 유사도 판단 모듈은, 제1 추출 이미지와 제2 추출 이미지에 대해 SAD(Sum of Absolute Differences) 기반의 거리 연산을 수행하고, 거리 연산의 결과에 기초하여 제1 유사도를 판단할 수 있다.
본 발명의 몇몇의 실시 예에서, 제2 유사도 판단 모듈은, 제1 예측 이미지와 제2 예측 이미지에 대해 SAD 기반의 거리 연산을 수행하고, 거리 연산의 결과에 기초하여 제2 유사도를 판단할 수 있다.
본 발명의 몇몇의 실시 예에서, 제1 유사도 판단 모듈은, 제1 추출 이미지와 제2 추출 이미지에 대해 ED(Euclidean Distance) 기반의 거리 연산을 수행하고, 거리 연산의 결과에 기초하여 제1 유사도를 판단할 수 있다.
본 발명의 몇몇의 실시 예에서, 제2 유사도 판단 모듈은, 제1 예측 이미지와 제2 예측 이미지에 대해 ED 기반의 거리 연산을 수행하고, 거리 연산의 결과에 기초하여 제2 유사도를 판단할 수 있다.
본 발명의 몇몇의 실시 예에서, 학습 데이터 선택 모듈은, 제1 유사도가 사전 정의된 제1 임계치 이상이고 제2 유사도가 사전 정의된 제2 임계치 미만인 경우, 제1 추출 이미지 및 제2 추출 이미지 중 적어도 하나를 학습 데이터로 선택할 수 있다.
본 발명의 몇몇의 실시 예에서, 학습 데이터 선택 모듈은, 상기 제1 유사도가, 사전 정의된 제1 임계치 세트 중에서 선택된 제1 임계치 이상이고, 상기 제2 유사도가, 사전 정의된 제2 임계치 세트 중에서 선택된 제2 임계치 미만인 경우, 제1 추출 이미지 및 제2 추출 이미지 중 적어도 하나를 학습 데이터로 선택할 수 있다.
본 발명의 몇몇의 실시 예에서, 상기 제1 임계치 및 상기 제2 임계치는, 사용자 입력 또는 사전 정의된 정책(policy)에 따라, 상기 제1 임계치 세트 및 상기 제2 임계치 세트로부터 선택될 수 있다.
본 발명의 일 실시 예에 따른 머신 러닝 시스템은, 언레이블 이미지 풀에서 추출된 제1 추출 이미지와 제2 추출 이미지 간 제1 유사도를 판단하는 제1 유사도 판단 모듈; 제1 추출 이미지 및 제2 추출 이미지 각각에 대한 모델 예측을 수행하는 머신 러닝 모델; 머신 러닝 모델로부터 모델 예측의 결과에 해당하는 제1 예측 이미지 및 제2 예측 이미지를 입력 받고, 제1 예측 이미지와 제2 예측 이미지 간 제2 유사도를 판단하는 제2 유사도 판단 모듈; 및 제1 유사도와 제2 유사도에 기초하여 레이블 이미지 풀을 갱신하는 레이블 이미지 풀 갱신 모듈을 포함할 수 있다.
본 발명의 몇몇의 실시 예에서, 레이블 이미지 풀 갱신 모듈은, 제1 유사도가 사전 정의된 제1 임계치 이상이고 제2 유사도가 사전 정의된 제2 임계치 미만인 경우, 제1 추출 이미지 및 제2 추출 이미지에 기초하여 레이블 이미지 풀을 갱신할 수 있다.
본 발명의 몇몇의 실시 예에서, 레이블 이미지 풀 갱신 모듈은, 상기 제1 유사도가, 사전 정의된 제1 임계치 세트 중에서 선택된 제1 임계치 이상이고, 상기 제2 유사도가, 사전 정의된 제2 임계치 세트 중에서 선택된 제2 임계치 미만인 경우, 제1 추출 이미지 및 제2 추출 이미지에 기초하여 레이블 이미지 풀을 갱신할 수 있다.
본 발명의 몇몇의 실시 예에서, 상기 제1 임계치 및 상기 제2 임계치는, 사용자 입력 또는 사전 정의된 정책에 따라, 상기 제1 임계치 세트 및 상기 제2 임계치 세트로부터 선택될 수 있다.
본 발명의 일 실시 예에 따른 머신 러닝 시스템의 동작 방법은, 제1 추출 이미지와 제2 추출 이미지 각각에 대해 머신 러닝 모델을 이용한 예측을 수행하는 단계; 제1 추출 이미지와 제2 추출 이미지 간 제1 유사도를 판단하는 단계; 모델 예측의 결과에 해당하는 제1 예측 이미지와 제2 예측 이미지 간 제2 유사도를 판단하는 단계; 및 제1 유사도와 제2 유사도에 기초하여 머신 러닝 모델을 학습시키기 위한 학습 데이터를 선택하는 단계를 포함할 수 있다.
본 발명의 몇몇의 실시 예에서, 제1 유사도를 판단하는 단계는, 제1 추출 이미지와 제2 추출 이미지에 대해 SAD 기반의 거리 연산을 수행하는 단계 및 거리 연산의 결과에 기초하여 제1 유사도를 판단하는 단계를 포함할 수 있다.
본 발명의 몇몇의 실시 예에서, 제2 유사도를 판단하는 단계는, 제1 예측 이미지와 제2 예측 이미지에 대해 SAD 기반의 거리 연산을 수행하는 단계 및 거리 연산의 결과에 기초하여 제2 유사도를 판단하는 단계를 포함할 수 있다.
본 발명의 몇몇의 실시 예에서, 제1 유사도를 판단하는 단계는, 제1 추출 이미지와 제2 추출 이미지에 대해 ED 기반의 거리 연산을 수행하는 단계 및 거리 연산의 결과에 기초하여 제1 유사도를 판단하는 단계를 포함할 수 있다.
본 발명의 몇몇의 실시 예에서, 제2 유사도를 판단하는 단계는, 제1 예측 이미지와 제2 예측 이미지에 대해 ED 기반의 거리 연산을 수행하는 단계 및 거리 연산의 결과에 기초하여 제2 유사도를 판단하는 단계를 포함할 수 있다.
본 발명의 몇몇의 실시 예에서, 학습 데이터를 선택하는 단계는, 제1 유사도가 사전 정의된 제1 임계치 이상이고 제2 유사도가 사전 정의된 제2 임계치 미만인 경우, 제1 추출 이미지 및 제2 추출 이미지 중 적어도 하나를 학습 데이터로 선택하는 단계를 포함할 수 있다.
본 발명의 머신 러닝 시스템에 따르면, 동영상에 포함된 다수의 언레이블 데이터에서 샘플 데이터를 추출하고, 추출한 샘플 데이터가 레이블링이 필요한 데이터인지 여부, 즉 현재 머신 러닝 모델에 추가적인 학습이 필요한지 여부를 스스로 판단할 수 있다.
따라서, 동영상 데이터와 같이 다량의 데이터가 계속 새롭게 제공되는 환경에서, 사람이 일일이 레이블링이 필요한 데이터를 골라 낼 필요 없이, 머신 러닝 시스템 스스로 레이블링이 필요한 데이터를 제안할 수 있어, 머신 러닝 시스템의 학습 비용이 감소하고, 그 만큼 더 많은 학습 데이터로 머신 러닝 모델을 학습시킬 수 있어, 결과적으로 고도로 학습된 머신 러닝 시스템을 얻을 수 있게 된다.
도 1은 본 발명의 일 실시 예에 따른 머신 러닝 시스템을 설명하기 위한 블록도이다.
도 2는 본 발명의 일 실시 예에 따른 머신 러닝 시스템의 동작 방법을 설명하기 위한 흐름도이다.
도 3은 본 발명의 일 실시 예에 따른 머신 러닝 시스템의 동작 방법을 설명하기 위한 흐름도이다.
도 4는 본 발명의 일 실시 예에 따른 머신 러닝 시스템의 동작 방법을 설명하기 위한 흐름도이다.
도 5는 본 발명의 일 실시 예에 따른 머신 러닝 시스템을 설명하기 위한 블록도이다.
도 6은 본 발명의 일 실시 예에 따른 머신 러닝 시스템의 동작 방법을 설명하기 위한 흐름도이다.
도 7은 본 발명의 일 실시 예에 따른 머신 러닝 시스템을 설명하기 위한 블록도이다.
도 8은 본 발명의 일 실시 예에 따른 머신 러닝 시스템의 동작 방법을 설명하기 위한 흐름도이다.
도 9 및 도 10은 본 발명의 일 실시 예에 따른 머신 러닝 시스템의 동작 예를 설명하기 위한 도면들이다.
아래에서는 첨부한 도면을 참조하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...부", "...기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
도 1은 본 발명의 일 실시 예에 따른 머신 러닝 시스템을 설명하기 위한 블록도이다.
본 발명의 일 실시 예에 따른 머신 러닝 시스템(1)은 본 명세서에서 설명하는 다양한 실시 예들을 구현하는 컴퓨터 시스템일 수 있다. 구체적으로, 머신 러닝 시스템(1)은 프로세서 및 메모리를 포함하고, 메모리는 컴퓨터로 판독 가능한 명령을 포함하고, 프로세서는 메모리에 저장된 명령을 실행함으로써, 본 명세서에서 설명하는 다양한 실시 예들을 구현할 수 있다.
예를 들어, 머신 러닝 시스템(1)은, 수퍼 컴퓨터, 서버, 메인 프레임, 워크 스테이션, 개인용 컴퓨터, 노트북 컴퓨터, 태블릿 컴퓨터, 내장형 컴퓨터, 착용형 컴퓨터 등으로 구현될 수 있으나, 본 발명의 범위가 이에 제한되는 것은 아니고, 머신 러닝 시스템(1)은 본 명세서에서 설명하는 다양한 실시 예들을 구현할 수 있는 임의의 컴퓨팅 장치일 수 있다.
본 발명의 몇몇의 실시 예에서, 머신 러닝 시스템(1)은 단일 컴퓨터 장치로 구현될 수도 있고, 복수의 컴퓨터 장치들로 구현될 수 있다. 예를 들어, 후술하는 머신 러닝 모델(30)과 학습 모듈(32)은 동일한 단일 컴퓨터 장치로 구현될 수도 있고, 머신 러닝 모델(30)은 제1 컴퓨터 장치로 구현되고 학습 모듈(32)은 제1 컴퓨터 장치와 상이한 제2 컴퓨터 장치로 구현될 수도 있다.
도 1을 참조하면, 본 발명의 일 실시 예에 따른 머신 러닝 시스템(1)은 동영상 데이터를 학습하는 머신 러닝 시스템으로서, 이미지 추출 모듈(10), 제1 유사도 판단 모듈(20), 머신 러닝 모델(30), 학습 모듈(32), 제2 유사도 판단 모듈(40) 및 학습 데이터 선택 모듈(50)을 포함할 수 있다.
이미지 추출 모듈(10)은 동영상 데이터를 입력 받고, 동영상 데이터에서 제1 추출 이미지(I1) 및 제2 추출 이미지(I2)를 추출하여 제1 유사도 판단 모듈(20) 및 머신 러닝 모델(30)에 제공할 수 있다.
동영상 데이터는 연속적으로 이어지는 다수의 이미지 프레임을 포함할 수 있다. 한편, 동영상 데이터는, 예를 들어, 머신 러닝 시스템(1)이 영상 인식을 수행하기 위한 동영상 데이터일 수 있다. 즉, 머신 러닝 시스템(1)은 적절하게 학습된 머신 러닝 모델(30)을 이용하여 동영상 데이터로부터 객체를 식별하고 인식하는 작업을 수행할 수 있다.
머신 러닝 시스템(1)이 수행하는 작업의 질을 높이기 위해서는, 다양하고 많은 레이블 데이터로 머신 러닝 모델(30)을 학습시키는 작업이 필수적이다. 예를 들어, 머신 러닝 시스템(1)이 수행하는 영상 인식 작업의 질을 높이기 위해, 동영상 데이터를 구성하는 이미지 프레임에 대해 레이블링을 하여 레이블 이미지를 만들고, 레이블 이미지를 이용하여 머신 러닝 모델(30)을 학습시킬 필요가 있다.
이미지 추출 모듈(10)은, 이와 같이 머신 러닝 모델(30)을 학습시키기 위한 레이블 데이터(즉, 레이블 이미지)가 될 가능성이 있는 후보 데이터를 추출한다. 구체적으로, 이미지 추출 모듈(10)은, 동영상 데이터에서, 후보 데이터로서 제1 추출 이미지(I1) 및 제2 추출 이미지(I2)를 추출할 수 있다. 이후 후술할 학습 데이터 선택 모듈(50)은, 이미지 추출 모듈(10)에 의해 추출된 제1 추출 이미지(I1) 및 제2 추출 이미지(I2)에 레이블링이 필요한 지 여부(즉, 이들 데이터를, 머신 러닝 모델(30)을 학습시키기 위한 학습 데이터로 선택할 지 여부)를 결정할 수 있다.
이하에서는, 제1 추출 이미지(I1)와 제2 추출 이미지(I2)가 동영상 데이터 중 연속된 이미지 프레임에 해당하는 것으로 가정하여 설명할 것이나, 본 발명의 범위가 이에 제한되는 것은 아니고, 동영상 데이터에서 제1 추출 이미지(I1)와 제2 추출 이미지(I2) 사이에 다른 이미지 프레임이 존재할 수도 있다.
제1 유사도 판단 모듈(20)은 제1 추출 이미지(I1) 및 제2 추출 이미지(I2)를 입력 받고, 제1 추출 이미지(I1)와 제2 추출 이미지(I2) 간 제1 유사도(S(I))를 판단할 수 있다.
본 발명의 몇몇의 실시 예에서, 제1 유사도 판단 모듈(20)은, 제1 추출 이미지(I1)와 제2 추출 이미지(I2) 간 제1 SAD(Sum of Absolute Differences) 기반 유사도를 연산할 수 있다. 구체적으로, 제1 유사도 판단 모듈(20)은, 제1 추출 이미지(I1)와 제2 추출 이미지(I2)에 대해 SAD 기반의 거리 연산을 수행하고, 그 거리 연산의 결과(DSAD(I))에 기초하여 제1 유사도(S(I)), 즉, 제1 SAD 기반 유사도(SSAD(I))를 판단할 수 있다. DSAD(I) 및 SSAD(I)는 다음과 같이 연산될 수 있다.
DSAD(I) = sum(abs(an - an-1))
SSAD(I) = 1 / (1 + KSAD(I) * DSAD(I))
여기서, an은 I(tn)에 해당하는 p 차원 벡터이고, I(tn)는 시간 tn에서의 추출 이미지이고, p 는 추출 이미지의 픽셀 수이다. 그리고 abs()는 벡터 원소들의 절대값을 출력하는 연산을 의미하고, sum()은 벡터 원소들의 합을 출력하는 연산을 의미한다. 한편, KSAD(I)는 거리-유사도 변환 계수로서, 음이 아닌 임의의 상수로 정해질 수 있다. 예를 들어, KSAD(I)는 1 / 50,000일 수 있으나, 본 발명의 범위가 이에 제한되는 것은 아니다.
즉, 제1 유사도 판단 모듈(20)은, 제1 추출 이미지(I1), 예컨대 I(tn-1)와 제2 추출 이미지(I2), 예컨대 I(tn)에 대응하는 두 p 차원 벡터의 차이에 기초하여, 제1 추출 이미지(I1)와 제2 추출 이미지(I2)의 SAD 기반 거리 DSAD(I)를 연산하고, 연산된 DSAD(I)에 기초하여 SSAD(I)를 획득할 수 있다.
한편, 본 발명의 몇몇의 실시 예에서, 제1 유사도 판단 모듈(20)은, 제1 추출 이미지(I1)와 제2 추출 이미지(I2) 간 제1 ED(Euclidean Distance) 기반 유사도를 연산할 수 있다. 구체적으로, 제1 유사도 판단 모듈(20)은, 제1 추출 이미지(I1)와 제2 추출 이미지(I2)에 대해 ED 기반의 거리 연산을 수행하고, 그 거리 연산의 결과(DEUC(I))에 기초하여 제1 유사도(S(I)), 즉, 제1 ED 기반 유사도(SEUC(I))를 판단할 수 있다. DEUC(I) 및 SEUC(I)는 다음과 같이 연산될 수 있다.
DEUC(I) = (an - an-1)T (an - an-1)
SEUC(I) = 1 / (1 + KEUC(I) * DEUC(I))
여기서, an은 I(tn)에 해당하는 p 차원 열 벡터이고, I(tn)는 시간 tn에서의 추출 이미지이고, p 는 추출 이미지의 픽셀 수이다. 그리고 ()T 는 전치(transpose) 연산을 의미한다. 한편, KEUC(I)는 거리-유사도 변환 계수로서, 음이 아닌 임의의 상수로 정해질 수 있다. 예를 들어, KEUC(I)는 1 / 50,000일 수 있으나, 본 발명의 범위가 이에 제한되는 것은 아니다.
즉, 제1 유사도 판단 모듈(20)은, 제1 추출 이미지(I1), 예컨대 I(tn-1)와 제2 추출 이미지(I2), 예컨대 I(tn)에 대응하는 두 p 차원 벡터의 차이에 기초하여, 제1 추출 이미지(I1)와 제2 추출 이미지(I2)의 ED 기반 거리 DEUC(I)를 연산하고, 연산된 DEUC(I)에 기초하여 SEUC(I)를 획득할 수 있다.
그러나, 본 발명의 범위가 이에 제한되는 것은 아니고, 제1 유사도 판단 모듈(20)은, 제1 추출 이미지(I1)와 제2 추출 이미지(I2) 간 제1 유사도(S(I))를 판단하기 위해, 전술한 SAD 기반 연산을 응용 및 변형하거나, 전술한 ED 기반 연산을 응용 및 변형하거나, 전술한 SAD 기반 연산과 ED 기반 연산을 조합하거나, 아니면 전술한 SAD 및 ED 기반과 다른, 두 이미지 프레임 간의 유사도를 측정할 수 있는 임의의 방식을 사용할 수 있다.
제1 유사도 판단 모듈(20)은 이와 같이 판단한 제1 추출 이미지(I1)와 제2 추출 이미지(I2) 간 제1 유사도(S(I))를 학습 데이터 선택 모듈(50)에 제공할 수 있다.
머신 러닝 모델(30)은 제1 추출 이미지(I1) 및 제2 추출 이미지(I2)를 입력 받고, 제1 추출 이미지(I1) 및 제2 추출 이미지(I2) 각각에 대한 모델 예측(model prediction)을 수행할 수 있다.
구체적으로, 머신 러닝 모델(30)은 새로운 데이터(즉 제1 추출 이미지(I1) 및 제2 추출 이미지(I2))를 입력 받기 전의, 기존의 학습 데이터 또는 레이블 이미지 데이터로 학습이 수행된 모델을 이용하여, 새로운 데이터(즉 제1 추출 이미지(I1) 및 제2 추출 이미지(I2))에 대한 모델 예측을 수행하고, 그 모델 예측 결과에 해당하는 제1 예측 이미지(PI1) 및 제2 예측 이미지(PI2)를 제2 유사도 판단 모듈(40)에 제공할 수 있다.
제2 유사도 판단 모듈(40)은 머신 러닝 모델(30)로부터 모델 예측의 결과에 해당하는 제1 예측 이미지(PI1) 및 제2 예측 이미지(PI2)를 입력 받고, 제1 예측 이미지(PI1)와 제2 예측 이미지(PI2) 간 제2 유사도(S(O))를 판단할 수 있다. 여기서 예측 이미지는 "모델 출력"이라고 지칭될 수도 있다.
본 발명의 몇몇의 실시 예에서, 제2 유사도 판단 모듈(40)은, 제1 예측 이미지(PI1)와 제2 예측 이미지(PI2) 간 제2 SAD 기반 유사도를 연산할 수 있다. 구체적으로, 제2 유사도 판단 모듈(40)은, 제1 예측 이미지(PI1)와 제2 예측 이미지(PI2)에 대해 SAD 기반의 거리 연산을 수행하고, 그 거리 연산의 결과(DSAD(O))에 기초하여 제2 유사도(S(O)), 즉, 제2 SAD 기반 유사도(SSAD(O))를 판단할 수 있다. DSAD(O) 및 SSAD(O)는 다음과 같이 연산될 수 있다.
DSAD(O) = sum(abs(zn - zn-1))
SSAD(O) = 1 / (1 + KSAD(O) * DSAD(O))
여기서, zn은 Q(tn)에 해당하는 r 차원 열 벡터이고, Q(tn)는 P(tn)에 마스킹(masking)을 적용한 결과이고, P(tn)는 시간 tn에서의 모델 출력이고, 모델 출력은 b * m 차원 행렬일 수 있다. 그리고 b 는 머신 러닝 모델(30), 즉 검출(detection) 모델의 검출 박스(detection box)의 개수(예를 들어, Yolo 기준 앵커 박스(anchor box)의 개수, SSD(Single Shot Detector) 기준 디폴트 박스(default box)의 개수)에 해당하고, m 은 각 검출 박스에 대한 예측 출력 벡터(prediction output vector)의 차원에 해당한다. 한편, KSAD(O)는 거리-유사도 변환 계수로서, 음이 아닌 임의의 상수로 정해질 수 있다. 예를 들어, KSAD(O)는 1일 수 있으나, 본 발명의 범위가 이에 제한되는 것은 아니다.
여기서 마스킹은, 각 m 차원 벡터에서, 검출 모델의 검출 박스가 객체를 포함할 가능성을 나타내는 객체 가능성 스코어(objectness score)가 사전 정의한 임계치보다 작을 때, 해당 벡터를 영(zero) 벡터로 변환하는 연산이다.
그리고 abs()는 벡터 원소들의 절대값을 출력하는 연산을 의미하고, sum()은 벡터 원소들의 합을 출력하는 연산을 의미한다.
본 발명의 몇몇의 실시 예에서, 선택적으로, P(tn)에 마스킹을 적용한 후, 그 결과를 출력 확률 이미지(output probability image)로 변환할 수도 있다. 이에 따라, zn은 출력 확률 이미지로부터 도출된 열 벡터에 해당할 수도 있다.
즉, 제2 유사도 판단 모듈(40)은, 제1 예측 이미지(PI1), 예컨대 P(tn-1)와 제2 예측 이미지(PI2), 예컨대 P(tn)로부터 도출된 대응하는 Q(tn-1) 및 Q(tn)의 두 r 차원 벡터의 차이에 기초하여, 제1 예측 이미지(PI1)와 제2 예측 이미지(PI2)의 SAD 기반 거리 DSAD(O)를 연산하고, 연산된 DSAD(O)에 기초하여 SSAD(O)를 획득할 수 있다.
한편, 본 발명의 몇몇의 실시 예에서, 제2 유사도 판단 모듈(40)은, 제1 예측 이미지(PI1)와 제2 예측 이미지(PI2) 간 제2 ED 기반 유사도를 연산할 수 있다. 구체적으로, 제2 유사도 판단 모듈(40)은, 제1 예측 이미지(PI1)와 제2 예측 이미지(PI2)에 대해 ED 기반의 거리 연산을 수행하고, 그 거리 연산의 결과(DEUC(O))에 기초하여 제2 유사도(S(O)), 즉, 제2 ED 기반 유사도(SEUC(O))를 판단할 수 있다. DEUC(O) 및 SEUC(O)는 다음과 같이 연산될 수 있다.
DEUC(O) = (zn - zn-1)T (zn - zn-1)
SEUC(O) = 1 / (1 + KEUC(O) * DEUC(O))
여기서, zn은 Q(tn)에 해당하는 r 차원 열 벡터이고, Q(tn)는 P(tn)에 마스킹을 적용한 결과이고, P(tn)는 시간 tn에서의 모델 출력이고, 모델 출력은 b * m 차원 행렬일 수 있다. 그리고 b 는 머신 러닝 모델(30), 즉 검출 모델의 검출 박스의 개수(예를 들어, Yolo 기준 앵커 박스의 개수, SSD 기준 디폴트 박스의 개수)에 해당하고, m 은 각 검출 박스에 대한 예측 출력 벡터의 차원에 해당한다. 한편, KEUC(O)는 거리-유사도 변환 계수로서, 음이 아닌 임의의 상수로 정해질 수 있다. 예를 들어, KEUC(O)는 1일 수 있으나, 본 발명의 범위가 이에 제한되는 것은 아니다.
여기서 마스킹은, 각 m 차원 벡터에서, 검출 모델의 검출 박스가 객체를 포함할 가능성을 나타내는 객체 가능성 스코어가 사전 정의한 임계치보다 작을 때, 해당 벡터를 영 벡터로 변환하는 연산이다.
그리고 abs()는 벡터 원소들의 절대값을 출력하는 연산을 의미하고, sum()은 벡터 원소들의 합을 출력하는 연산을 의미한다.
본 발명의 몇몇의 실시 예에서, 선택적으로, P(tn)에 마스킹을 적용한 후, 그 결과를 출력 확률 이미지로 변환할 수도 있다. 이에 따라, zn은 출력 확률 이미지로부터 도출된 열 벡터에 해당할 수도 있다.
그러나, 본 발명의 범위가 이에 제한되는 것은 아니고, 제2 유사도 판단 모듈(40)은, 제1 예측 이미지(PI1)와 제2 예측 이미지(PI2) 간 제2 유사도(S(O))를 판단하기 위해, 전술한 SAD 기반 연산을 응용 및 변형하거나, 전술한 ED 기반 연산을 응용 및 변형하거나, 전술한 SAD 기반 연산과 ED 기반 연산을 조합하거나, 아니면 전술한 SAD 및 ED 기반과 다른, 두 이미지 프레임 간의 유사도를 측정할 수 있는 임의의 방식을 사용할 수 있다.
또한, 제2 유사도 판단 모듈(40)은, 제1 유사도 판단 모듈(20)이 유사도를 측정하기 위해 사용한 방식과 동일한 방식을 사용하여 유사도를 측정할 수도 있고, 제1 유사도 판단 모듈(20)이 유사도를 측정하기 위해 사용한 방식과 상이한 방식을 사용하여 유사도를 측정할 수도 있다.
제2 유사도 판단 모듈(40)은 이와 같이 판단한 제1 예측 이미지(PI1)와 제2 예측 이미지(PI2) 간 제2 유사도(S(O))를 학습 데이터 선택 모듈(50)에 제공할 수 있다.
학습 데이터 선택 모듈(50)은 제1 유사도(S(I))와 제2 유사도(S(O))에 기초하여 머신 러닝 모델(30)을 학습시키기 위한 학습 데이터를 선택할 수 있다. 구체적으로, 학습 데이터 선택 모듈(50)은 제1 유사도(S(I))와 제2 유사도(S(O))를 사전 정의된 임계치와 비교하여 머신 러닝 모델(30)을 학습시키기 위한 학습 데이터를 선택할 수 있다.
이를 위해, 제1 임계치(T(I)) 및 제2 임계치(T(O))가 사전 정의될 수 있다. 제1 임계치(T(I)) 및 제2 임계치(T(O))는 본 발명의 다양한 실시 예에서 구체적인 구현 목적, 환경 등에 따라 정해질 수 있고 변경될 수 있는 값을 가질 수 있다.
학습 데이터 선택 모듈(50)은, 다음과 같은 조건 식을 이용하여, 제1 유사도(S(I))와 제2 유사도(S(O))를 임계치(T(I), T(O))와 비교할 수 있다.
S(I) >= T(I) & S(O) < T(O)
상기 조건 식에 따르면, 학습 데이터 선택 모듈(50)은, 제1 유사도(S(I))가 사전 정의된 제1 임계치(T(I)) 이상이고 제2 유사도(S(O))가 사전 정의된 제2 임계치(T(O)) 미만인 경우, 제1 추출 이미지(I1) 및 제2 추출 이미지(I2) 중 적어도 하나를 학습 데이터로 선택할 수 있다.
동영상 데이터의 특성 상, 장면이 바뀌는 경우를 제외하고는 제1 추출 이미지(I1)와 제2 추출 이미지(I2)의 유사도는 일반적으로 높을 것이다. 그런데 제1 추출 이미지(I1)와 제2 추출 이미지(I2)의 유사도에 해당하는 제1 유사도(S(I))가 비교적 높은 반면, 모델 예측 결과에 해당하는 제1 예측 이미지(PI1)와 제2 예측 이미지(PI2)의 유사도에 해당하는 제2 유사도(S(O))가 비교적 낮다면, 이는 모델 예측 또는 추론 결과의 불확실성이 높다는 것을 의미할 수 있다. 따라서, 이러한 경우는 제1 추출 이미지(I1) 및 제2 추출 이미지(I2)에 대해 추가 학습이 필요한 상황으로 판단될 수 있다.
이와 같은 경우, 학습 데이터 선택 모듈(50)은, 제1 추출 이미지(I1) 및 제2 추출 이미지(I2) 중 적어도 하나에 대해 레이블링을 수행하거나, 또는 외부에 제1 추출 이미지(I1) 및 제2 추출 이미지(I2) 중 적어도 하나에 대한 레이블링을 요청하고 그 결과를 수신하는 방식으로, 제1 추출 이미지(I1) 및 제2 추출 이미지(I2) 중 적어도 하나를 학습 데이터(TD)로 선택, 즉 레이블 이미지 데이터로 변환할 수 있다.
학습 데이터 선택 모듈(50)은 선택한 학습 데이터(TD)를 학습 모듈(32)에 제공할 수 있고, 학습 모듈(32)은 학습 데이터 선택 모듈(50)로부터 제공 받은 학습 데이터(TD)를 이용하여 머신 러닝 모델(30)을 학습시킬 수 있다.
본 실시 예에 따르면, 머신 러닝 시스템(1)은, 동영상에 포함된 다수의 언레이블 데이터에서 샘플 데이터(즉, 제1 추출 이미지(I1) 및 제2 추출 이미지(I2))를 추출하고, 추출한 샘플 데이터가 레이블링이 필요한 데이터인지 여부, 즉 현재 머신 러닝 모델(30)에 추가적인 학습이 필요한지 여부를 스스로 판단할 수 있다.
따라서, 동영상 데이터와 같이 다량의 데이터가 계속 새롭게 제공되는 머신 러닝 시스템(1)의 구동 환경에서, 사람이 일일이 레이블링이 필요한 데이터를 골라 낼 필요 없이, 머신 러닝 시스템(1) 스스로 레이블링이 필요한 데이터를 제안할 수 있어, 머신 러닝 시스템의 학습 비용이 감소하고, 그 만큼 더 많은 학습 데이터로 머신 러닝 모델을 학습시킬 수 있어, 결과적으로 고도로 학습된 머신 러닝 시스템(1)을 얻을 수 있게 된다.
한편, 본 발명의 몇몇의 실시 예에서, 학습 데이터 선택 모듈(50)은 사용자 입력 또는 사전 정의된 정책(policy)에 따라 사전 정의된 제1 임계치 세트 중에서 선택된 제1 임계치와, 사전 정의된 제2 임계치 세트 중에서 선택된 제2 임계치를 이용하여 학습 데이터를 선택할 수 있다. 여기서 사전 정의된 제1 임계치 세트는 복수의 제1 임계치 후보를 포함하고, 사전 정의된 제2 임계치 세트는 복수의 제2 임계치 후보를 포함할 수 있다.
예를 들어, 사용자가 제1 임계치 세트의 복수의 제1 임계치 후보 중 하나의 값을 고르면, 학습 데이터 선택 모듈(50)은, 앞서 설명한 바와 같이, 사용자에 의해 선택된 제1 임계치와 제1 유사도(S(I))를 비교할 수 있다. 마찬가지로, 사용자가 제2 임계치 세트의 복수의 제2 임계치 후보 중 하나의 값을 고르면, 학습 데이터 선택 모듈(50)은, 앞서 설명한 바와 같이, 사용자에 의해 선택된 제2 임계치와 제2 유사도(S(O))를 비교할 수 있다.
이외에도, 제1 임계치 세트 및 제2 임계치 세트로부터 제1 임계치 및 제2 임계치가 선택되는 다양한 정책이 존재할 수 있다.
나아가, 학습 데이터 선택 모듈(50)은 1차로 학습 데이터를 선택한 후, 제1 추출 이미지(I1) 및 제2 추출 이미지(I2)가 유사로 판단되는 범위를 넓힐 필요가 있는 경우, 제1 추출 이미지(I1) 및 제2 추출 이미지(I2)가 유사로 판단되는 범위를 좁힐 필요가 있는 경우, 제1 예측 이미지(PI1) 및 제2 예측 이미지(PI2)가 비 유사로 판단되는 범위를 넓힐 필요가 있는 경우, 제1 예측 이미지(PI1) 및 제2 예측 이미지(PI2)가 비 유사로 판단되는 범위를 좁힐 필요가 있는 경우 등에서, 제1 임계치 세트 및 제2 임계치 세트로부터 제1 임계치 및 제2 임계치를 재선택하고, 재선택한 제1 임계치 및 제2 임계치에 기초하여 2차로 학습 데이터를 선택할 수도 있다.
이에 따라, 머신 러닝 시스템(1)이 레이블링이 필요한 데이터를 제안하는 결정 기준을 세부적으로 조절할 수 있고, 동작 중 필요에 따라 사전에 정해진 정책에 따라 임계치 변경도 가능한 머신 러닝 시스템(1)을 구현할 수 있다.
도 2는 본 발명의 일 실시 예에 따른 머신 러닝 시스템의 동작 방법을 설명하기 위한 흐름도이다.
도 2를 참조하면, 본 발명의 일 실시 예에 따른 머신 러닝 시스템의 동작 방법은, 동영상에서 이미지를 추출하는 단계(S201)를 포함할 수 있다. 구체적으로, 단계(S201)는 동영상 데이터에서 제1 추출 이미지 및 제2 추출 이미지(I2)를 추출하는 단계를 포함할 수 있다.
또한, 상기 방법은, 추출 이미지를 이용하여 모델 예측을 수행하는 단계(S203)를 포함할 수 있다. 구체적으로, 단계(S203)는 제1 추출 이미지 및 제2 추출 이미지 각각에 대해 머신 러닝 모델을 이용한 예측을 수행하는 단계를 포함할 수 있다.
또한, 상기 방법은, 추출 이미지 간 제1 유사도를 판단하는 단계(S205)를 포함할 수 있다. 구체적으로, 단계(S205)는 제1 추출 이미지와 제2 추출 이미지 간 제1 유사도를 판단하는 단계를 포함할 수 있다.
또한, 상기 방법은, 예측 이미지 간 제2 유사도를 판단하는 단계(S207)를 포함할 수 있다. 구체적으로, 단계(S207)는 모델 예측의 결과에 해당하는 제1 예측 이미지와 제2 예측 이미지 간 제2 유사도를 판단하는 단계를 포함할 수 있다.
또한, 상기 방법은, 제1 유사도와 제2 유사도를 임계치와 비교하는 단계(S209)를 포함할 수 있다. 또한, 상기 방법은, 비교 결과에 기초하여 추출 이미지를 학습 데이터로 선택하는 단계(S211)를 포함할 수 있다. 즉 단계(S209) 및 단계(S211)는 제1 유사도와 제2 유사도를 임계치와 비교하여 머신 러닝 모델을 학습시키기 위한 학습 데이터를 선택하는 단계를 포함할 수 있다.
특히, 단계(S211)는, 제1 유사도가 사전 정의된 제1 임계치 이상이고 제2 유사도가 사전 정의된 제2 임계치 미만인 경우, 제1 추출 이미지 및 제2 추출 이미지 중 적어도 하나를 학습 데이터로 선택하는 단계를 포함할 수 있다.
본 실시 예와 관련된 더욱 상세한 내용에 대해서는 전술한 도 1에 관한 설명을 참조할 수 있으며, 도 1에 관한 설명들은 본 실시 예에 따른 머신 러닝 시스템의 동작 방법에 그대로 적용될 수 있다.
도 3은 본 발명의 일 실시 예에 따른 머신 러닝 시스템의 동작 방법을 설명하기 위한 흐름도이다.
도 3을 참조하면, 본 발명의 일 실시 예에 따른 머신 러닝 시스템의 동작 방법은, 추출 이미지를 이용하여 모델 예측을 수행하는 단계(S301)를 포함할 수 있다. 단계(S301)는 도 2의 단계(S203)에 대응될 수 있다. 구체적으로, 단계(S301)는 제1 추출 이미지 및 제2 추출 이미지 각각에 대해 머신 러닝 모델을 이용한 예측을 수행하는 단계를 포함할 수 있다.
또한, 상기 방법은, 추출 이미지 간 제1 SAD 기반 유사도를 판단하는 단계(S303)를 포함할 수 있다. 구체적으로, 단계(S303)는 제1 추출 이미지와 제2 추출 이미지 간 제1 SAD 기반 유사도를 판단하는 단계를 포함할 수 있으며, 해당 단계는, 제1 추출 이미지와 제2 추출 이미지에 대해 SAD 기반의 거리 연산을 수행하는 단계 및 거리 연산의 결과에 기초하여 제1 SAD 유사도를 판단하는 단계를 포함할 수 있다.
또한, 상기 방법은, 예측 이미지 간 제2 SAD 기반 유사도를 판단하는 단계(S305)를 포함할 수 있다. 구체적으로, 단계(S305)는 모델 예측의 결과에 해당하는 제1 예측 이미지와 제2 예측 이미지 간 제2 SAD 기반 유사도를 판단하는 단계를 포함할 수 있으며, 해당 단계는, 제1 예측 이미지와 제2 예측 이미지에 대해 SAD 기반의 거리 연산을 수행하는 단계 및 거리 연산의 결과에 기초하여 제2 SAD 기반 유사도를 판단하는 단계를 포함할 수 있다.
또한, 상기 방법은, 제1 SAD 기반 유사도와 제2 SAD 기반 유사도를 임계치와 비교하는 단계(S307)를 포함할 수 있다. 구체적으로 단계(S307)는 제1 SAD 기반 유사도와 제2 SAD 기반 유사도를 임계치와 비교하여 머신 러닝 모델을 학습시키기 위한 학습 데이터를 선택하는 단계를 포함할 수 있다.
본 실시 예와 관련된 더욱 상세한 내용에 대해서는 전술한 도 1에 관한 설명을 참조할 수 있으며, 도 1에 관한 설명들은 본 실시 예에 따른 머신 러닝 시스템의 동작 방법에 그대로 적용될 수 있다.
도 4는 본 발명의 일 실시 예에 따른 머신 러닝 시스템의 동작 방법을 설명하기 위한 흐름도이다.
도 4를 참조하면, 본 발명의 일 실시 예에 따른 머신 러닝 시스템의 동작 방법은, 추출 이미지를 이용하여 모델 예측을 수행하는 단계(S401)를 포함할 수 있다. 단계(S401)는 도 2의 단계(S203)에 대응될 수 있다. 구체적으로, 단계(S401)는 제1 추출 이미지 및 제2 추출 이미지 각각에 대해 머신 러닝 모델을 이용한 예측을 수행하는 단계를 포함할 수 있다.
또한, 상기 방법은, 추출 이미지 간 제1 ED 기반 유사도를 판단하는 단계(S403)를 포함할 수 있다. 구체적으로, 단계(S403)는 제1 추출 이미지와 제2 추출 이미지 간 제1 ED 기반 유사도를 판단하는 단계를 포함할 수 있으며, 해당 단계는, 제1 추출 이미지와 제2 추출 이미지에 대해 ED 기반의 거리 연산을 수행하는 단계 및 거리 연산의 결과에 기초하여 제1 ED 유사도를 판단하는 단계를 포함할 수 있다.
또한, 상기 방법은, 예측 이미지 간 제2 ED 기반 유사도를 판단하는 단계(S405)를 포함할 수 있다. 구체적으로, 단계(S405)는 모델 예측의 결과에 해당하는 제1 예측 이미지와 제2 예측 이미지 간 제2 ED 기반 유사도를 판단하는 단계를 포함할 수 있으며, 해당 단계는, 제1 예측 이미지와 제2 예측 이미지에 대해 ED 기반의 거리 연산을 수행하는 단계 및 거리 연산의 결과에 기초하여 제2 ED 기반 유사도를 판단하는 단계를 포함할 수 있다.
또한, 상기 방법은, 제1 ED 기반 유사도와 제2 ED 기반 유사도를 임계치와 비교하는 단계(S407)를 포함할 수 있다. 구체적으로 단계(S407)는 제1 ED 기반 유사도와 제2 ED 기반 유사도를 임계치와 비교하여 머신 러닝 모델을 학습시키기 위한 학습 데이터를 선택하는 단계를 포함할 수 있다.
본 실시 예와 관련된 더욱 상세한 내용에 대해서는 전술한 도 1에 관한 설명을 참조할 수 있으며, 도 1에 관한 설명들은 본 실시 예에 따른 머신 러닝 시스템의 동작 방법에 그대로 적용될 수 있다.
도 5는 본 발명의 일 실시 예에 따른 머신 러닝 시스템을 설명하기 위한 블록도이다.
도 5를 참조하면, 본 발명의 일 실시 예에 따른 머신 러닝 시스템(2)은, 언레이블 이미지 풀(34), 제1 유사도 판단 모듈(20), 머신 러닝 모델(30), 제2 유사도 판단 모듈(40), 레이블 이미지 풀(36) 및 레이블 이미지 풀 갱신 모듈(38)을 포함할 수 있다.
언레이블 이미지 풀(34)은 레이블링이 되지 않은 다수의 이미지 데이터를 포함할 수 있다. 특히, 언레이블 이미지 풀(34)은 도 1에서와 같이 반드시 동영상의 형태를 갖지 않는 다수의 이미지 데이터를 포함할 수 있다.
제1 유사도 판단 모듈(20)은 언레이블 이미지 풀(34)에서 추출된 제1 추출 이미지(I1)와 제2 추출 이미지(I2) 간 제1 유사도(S(I))를 판단할 수 있다.
머신 러닝 모델(30)은 제1 추출 이미지(I1) 및 제2 추출 이미지(I2) 각각에 대한 모델 예측을 수행할 수 있다.
제2 유사도 판단 모듈(40)은 머신 러닝 모델(30)로부터 모델 예측의 결과에 해당하는 제1 예측 이미지(PI1) 및 제2 예측 이미지(PI2)를 입력 받고, 제1 예측 이미지(PI1)와 제2 예측 이미지(PI2) 간 제2 유사도(S(O))를 판단할 수 있다.
레이블 이미지 풀 갱신 모듈(38)은 제1 유사도(S(I))와 제2 유사도(S(O))를 임계치(T(I), T(O))와 비교하여 레이블 이미지 풀(26)을 갱신할 수 있다. 즉, 레이블 이미지 풀 갱신 모듈(38)은 제1 유사도(S(I))가 사전 정의된 제1 임계치(T(I)) 이상이고 제2 유사도(S(O))가 사전 정의된 제2 임계치(T(O)) 미만인 경우, 제1 추출 이미지(I1) 및 제2 추출 이미지(I2)에 기초하여(예를 들어, 제1 추출 이미지(I1) 및 제2 추출 이미지(I2) 중 적어도 하나에 대해 레이블링을 수행하고, 이를 레이블 이미지 풀(36)에 추가함으로써) 레이블 이미지 풀(36)을 갱신할 수 있다.
본 실시 예에 따르면, 머신 러닝 시스템(2)은, (동영상으로 한정되지 않는) 다수의 언레이블 데이터에서 샘플 데이터(즉, 제1 추출 이미지 및 제2 추출 이미지)를 추출하고, 추출한 샘플 데이터가 레이블링이 필요한 데이터인지 여부, 즉 현재 레이블 이미지 풀(36)에 추가할 필요가 있는지 여부를 스스로 판단할 수 있다.
따라서, 다량의 데이터에서 사람이 일일이 레이블링이 필요한 데이터를 골라 낼 필요 없이, 머신 러닝 시스템(2) 스스로 레이블링이 필요한 데이터를 제안할 수 있어, 머신 러닝 시스템의 학습 비용이 감소하고, 그 만큼 더 많은 학습 데이터로 머신 러닝 모델을 학습시킬 수 있어, 결과적으로 고도로 학습된 머신 러닝 시스템(2)을 얻을 수 있게 된다.
한편, 본 발명의 몇몇의 실시 예에서, 레이블 이미지 풀 갱신 모듈(38)은 사전에 정해진 우선 순위 또는 정책에 따라, 도 1에서 설명한 바와 같이, 조건 식에 사용되는 임계치를 변경할 수 있다.
예를 들어, 레이블 이미지 풀 갱신 모듈(38)은, 제1 유사도(S(I))가 제1 임계치(T(I)) 미만인 경우, 제1 유사도(S(I))가, 사전 정의되고 제1 임계치(T(I))보다 작은 값을 갖는 제3 임계치(T'(I)) 이상이고 제2 유사도(S(O))가 제2 임계치(T(O)) 미만인 경우, 제1 추출 이미지(I1) 및 제2 추출 이미지(I2)에 기초하여 레이블 이미지 풀(36)을 갱신할 수 있다.
또 다른 예로, 레이블 이미지 풀 갱신 모듈(38)은, 제1 유사도(S(I))가 제1 임계치(T(I)) 이상이고 제2 유사도(S(O))가 제2 임계치(T(O)) 이상인 경우, 제1 유사도(S(I))가 제1 임계치(T(I)) 이상이고 제2 유사도(S(O))가, 사전 정의되고 제2 임계치(T(O))보다 높은 값을 갖는 제4 임계치(T'(0)) 미만인 경우, 제1 추출 이미지(I1) 및 제2 추출 이미지(I2)에 기초하여 레이블 이미지 풀(36)을 갱신할 수 있다.
이와 같이 임계치를 변경함으로써, 머신 러닝 시스템(1) 스스로 레이블링이 필요한 데이터를 제안하는 결정 기준을 세부적으로 조절할 수 있고, 동작 중 필요에 따라 사전에 정해진 정책에 따라 임계치 변경마저 스스로 수행할 수 있는 머신 러닝 시스템(1)을 구현할 수 있다.
본 실시 예와 관련된 더욱 상세한 내용에 대해서는 전술한 도 1에 관한 설명을 참조할 수 있으며, 도 1에 관한 설명들은 본 실시 예에 따른 머신 러닝 시스템에 그대로 적용될 수 있다.
도 6은 본 발명의 일 실시 예에 따른 머신 러닝 시스템의 동작 방법을 설명하기 위한 흐름도이다.
도 6을 참조하면, 본 발명의 일 실시 예에 따른 머신 러닝 시스템의 동작 방법은, 언레이블 이미지 풀에서 이미지를 추출하는 단계(S601)를 포함할 수 있다.
또한, 상기 방법은, 추출 이미지를 이용하여 모델 예측을 수행하는 단계(S603)를 포함할 수 있다.
또한, 상기 방법은, 추출 이미지 간 제1 유사도를 판단하는 단계(S605)를 포함할 수 있다.
또한, 상기 방법은, 예측 이미지 간 제2 유사도를 판단하는 단계(S607)를 포함할 수 있다.
또한, 상기 방법은, 제1 유사도와 제2 유사도를 임계치와 비교하는 단계(S609)를 포함할 수 있다. 또한, 상기 방법은, 비교 결과에 기초하여 레이블 이미지 풀을 갱신하는 단계 (S611)를 포함할 수 있다.
본 실시 예와 관련된 더욱 상세한 내용에 대해서는 전술한 도 1에 관한 설명을 참조할 수 있으며, 도 1에 관한 설명들은 본 실시 예에 따른 머신 러닝 시스템의 동작 방법에 그대로 적용될 수 있다.
도 7은 본 발명의 일 실시 예에 따른 머신 러닝 시스템을 설명하기 위한 블록도이다.
도 7을 참조하면, 본 발명의 일 실시 예에 따른 머신 러닝 시스템(3)이 도 1의 실시 예에 따른 머신 러닝 시스템(1)과 다른 점은, 이미지 추출 모듈(10), 제1 유사도 판단 모듈(20), 머신 러닝 모델(30), 및 제2 유사도 판단 모듈(40)이 3 개 이상의 추출 이미지(I1, I2, I3), 즉, 추출 이미지 시퀀스(image sequence)에 대해 동작한다는 점이다.
이미지 추출 모듈(10)은 동영상 데이터를 입력 받고, 동영상 데이터에서 추출 이미지 시퀀스(I1, I2, I3)를 추출하여 제1 유사도 판단 모듈(20) 및 머신 러닝 모델(30)에 제공할 수 있다.
제1 유사도 판단 모듈(20)은 추출 이미지 시퀀스(I1, I2, I3)를 입력 받고, 추출 이미지 시퀀스(I1, I2, I3) 간 제1 유사도(S(I))를 판단할 수 있다. 예를 들어, 제1 유사도 판단 모듈(20)은, 추출 이미지 시퀀스(I1, I2, I3) 중 시간적으로 인접한 2 개의 추출 이미지에 대한 유사도들을 모두 연산한 후, 그 값들을 평균하여 제1 유사도(S(I))를 연산할 수 있다.
머신 러닝 모델(30)은 추출 이미지 시퀀스(I1, I2, I3)를 입력 받고, 추출 이미지 시퀀스(I1, I2, I3) 각각에 대한 모델 예측을 수행할 수 있다.
제2 유사도 판단 모듈(40)은 머신 러닝 모델(30)로부터 모델 예측의 결과에 해당하는 예측 이미지 시퀀스(PI1, PI2, PI3)를 입력 받고, 예측 이미지 시퀀스(PI1, PI2, PI3) 간 제2 유사도(S(O))를 판단할 수 있다. 예를 들어, 제2 유사도 판단 모듈(40)은, 예측 이미지 시퀀스(PI1, PI2, PI3) 중 시간적으로 인접한 2 개의 예측 이미지에 대한 유사도들을 모두 연산한 후, 그 값들을 평균하여 제2 유사도(S(O))를 연산할 수 있다.
학습 데이터 선택 모듈(50)은 제1 유사도(S(I))와 제2 유사도(S(O))에 기초하여 머신 러닝 모델(30)을 학습시키기 위한 학습 데이터를 선택할 수 있다. 구체적으로, 학습 데이터 선택 모듈(50)은 제1 유사도(S(I))와 제2 유사도(S(O))를 사전 정의된 임계치와 비교하여 머신 러닝 모델(30)을 학습시키기 위한 학습 데이터를 선택할 수 있다.
이를 위해, 제1 임계치(T(I)) 및 제2 임계치(T(O))가 사전 정의될 수 있다. 제1 임계치(T(I)) 및 제2 임계치(T(O))는 본 발명의 다양한 실시 예에서 구체적인 구현 목적, 환경 등에 따라 정해질 수 있고 변경될 수 있는 값을 가질 수 있다.
학습 데이터 선택 모듈(50)은, 다음과 같은 조건 식을 이용하여, 제1 유사도(S(I))와 제2 유사도(S(O))를 임계치(T(I), T(O))와 비교할 수 있다.
S(I) >= T(I) & S(O) < T(O)
상기 조건 식에 따르면, 학습 데이터 선택 모듈(50)은, 제1 유사도(S(I))가 사전 정의된 제1 임계치(T(I)) 이상이고 제2 유사도(S(O))가 사전 정의된 제2 임계치(T(O)) 미만인 경우, 추출 이미지 시퀀스(I1, I2, I3) 중 적어도 하나를 학습 데이터로 선택할 수 있다.
동영상 데이터의 특성 상, 장면이 바뀌는 경우를 제외하고는 추출 이미지 시퀀스(I1, I2, I3)의 유사도는 일반적으로 높을 것이다. 그런데 추출 이미지 시퀀스(I1, I2, I3)의 유사도에 해당하는 제1 유사도(S(I))가 비교적 높은 반면, 모델 예측 결과에 해당하는 예측 이미지 시퀀스(PI1, PI2, PI3)의 유사도에 해당하는 제2 유사도(S(O))가 비교적 낮다면, 이는 모델 예측 또는 추론 결과의 불확실성이 높다는 것을 의미할 수 있다. 따라서, 이러한 경우는 추출 이미지 시퀀스(I1, I2, I3)에 대해 추가 학습이 필요한 상황으로 판단될 수 있다.
이와 같은 경우, 학습 데이터 선택 모듈(50)은, 추출 이미지 시퀀스(I1, I2, I3) 중 적어도 하나에 대해 레이블링을 수행하거나, 또는 외부에 추출 이미지 시퀀스(I1, I2, I3) 중 적어도 하나에 대한 레이블링을 요청하고 그 결과를 수신하는 방식으로, 추출 이미지 시퀀스(I1, I2, I3) 중 적어도 하나를 학습 데이터(TD)로 선택, 즉 레이블 이미지 데이터로 변환할 수 있다.
학습 데이터 선택 모듈(50)은 선택한 학습 데이터(TD)를 학습 모듈(32)에 제공할 수 있고, 학습 모듈(32)은 학습 데이터 선택 모듈(50)로부터 제공 받은 학습 데이터(TD)를 이용하여 머신 러닝 모델(30)을 학습시킬 수 있다.
본 실시 예와 관련된 더욱 상세한 내용에 대해서는 전술한 도 1에 관한 설명을 참조할 수 있으며, 도 1에 관한 설명들은 본 실시 예에 따른 머신 러닝 시스템에 그대로 적용될 수 있다.
도 8은 본 발명의 일 실시 예에 따른 머신 러닝 시스템의 동작 방법을 설명하기 위한 흐름도이다.
도 8을 참조하면, 본 발명의 일 실시 예에 따른 머신 러닝 시스템의 동작 방법은, 동영상에서 이미지 시퀀스를 추출하는 단계(S801)를 포함할 수 있다.
또한, 상기 방법은, 추출 이미지 시퀀스를 이용하여 모델 예측을 수행하는 단계(S803)를 포함할 수 있다.
또한, 상기 방법은, 추출 이미지 시퀀스 간 제1 유사도를 판단하는 단계(S805)를 포함할 수 있다.
또한, 상기 방법은, 예측 이미지 시퀀스 간 제2 유사도를 판단하는 단계(S807)를 포함할 수 있다.
또한, 상기 방법은, 제1 유사도와 제2 유사도를 임계치와 비교하는 단계(S809)를 포함할 수 있다. 또한, 상기 방법은, 비교 결과에 기초하여 추출 이미지 시퀀스를 학습 데이터로 선택하는 단계(S811)를 포함할 수 있다.
본 실시 예와 관련된 더욱 상세한 내용에 대해서는 전술한 도 1 및 도 7에 관한 설명을 참조할 수 있으며, 도 1 및 도 7에 관한 설명들은 본 실시 예에 따른 머신 러닝 시스템의 동작 방법에 그대로 적용될 수 있다.
도 9 및 도 10은 본 발명의 일 실시 예에 따른 머신 러닝 시스템의 동작 예를 설명하기 위한 도면들이다.
도 9 및 도 10을 참조하면, 도 9는 예컨대 제1 추출 이미지(I1)에 해당하고, 도 10은 예컨대 제2 추출 이미지(I2)에 해당할 수 있다.
제1 유사도 판단 모듈(20)에 의해, 제1 추출 이미지(I1)와 제2 추출 이미지(I2) 간 제1 유사도(S(I))가 0.7521로 연산되고, 제2 유사도 판단 모듈(40)에 의해 제1 예측 이미지(PI1)와 제2 예측 이미지(PI2) 간 제2 유사도(S(O))가 0.1454로 연산된 경우이다. 제1 예측 이미지(PI1)와 제2 예측 이미지(PI2) 간 제2 유사도(S(O))가 비교적 낮은 이유는, 도 11에서 표시된 트럭(OBJ1)에 대한 검출 박스가 도 12에는 존재하지 않아, 그 예측 결과에 차이가 있기 때문이다.
즉, 제1 추출 이미지(I1)와 제2 추출 이미지(I2)의 유사도에 해당하는 제1 유사도(S(I))가 비교적 높은 반면, 모델 예측 결과에 해당하는 제1 예측 이미지(PI1)와 제2 예측 이미지(PI2)의 유사도에 해당하는 제2 유사도(S(O))가 비교적 낮음을 알 수 있다. 이러한 경우, 학습 데이터 선택 모듈(50)은 제1 추출 이미지(I1)와 제2 추출 이미지(I2) 중 적어도 하나를 학습 데이터로 선택할 수 있다. 즉, 학습 데이터 선택 모듈(50)은 제1 추출 이미지(I1)와 제2 추출 이미지(I2) 중 적어도 하나에 대한 추가 학습이 필요하다고 판단할 수 있다.
이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리 범위는 이에 한정되는 것은 아니고, 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자의 여러 변형 및 개량 형태 또한 본 발명의 권리 범위에 속한다.

Claims (20)

  1. 제1 추출 이미지 및 제2 추출 이미지를 입력 받고, 상기 제1 추출 이미지와 상기 제2 추출 이미지 간 제1 유사도를 판단하는 제1 유사도 판단 모듈;
    상기 제1 추출 이미지 및 제2 추출 이미지를 입력 받고, 상기 제1 추출 이미지 및 상기 제2 추출 이미지 각각에 대한 모델 예측을 수행하는 머신 러닝 모델;
    상기 머신 러닝 모델로부터 상기 모델 예측의 결과에 해당하는 제1 예측 이미지 및 제2 예측 이미지를 입력 받고, 상기 제1 예측 이미지와 상기 제2 예측 이미지 간 제2 유사도를 판단하는 제2 유사도 판단 모듈; 및
    상기 제1 유사도와 상기 제2 유사도에 기초하여 상기 머신 러닝 모델을 학습시키기 위한 학습 데이터를 선택하는 학습 데이터 선택 모듈을 포함하는
    머신 러닝 시스템.
  2. 제1항에 있어서,
    동영상 데이터를 입력 받고, 상기 동영상 데이터에서 제1 추출 이미지 및 제2 추출 이미지를 추출하여 상기 제1 유사도 판단 모듈 및 상기 머신 러닝 모델에 제공하는 이미지 추출 모듈을 더 포함하는 머신 러닝 시스템.
  3. 제2항에 있어서,
    상기 제1 추출 이미지와 상기 제2 추출 이미지는 상기 동영상 데이터 중 연속된 이미지 프레임에 해당하는 머신 러닝 시스템.
  4. 제1항에 있어서,
    상기 제1 유사도 판단 모듈은,
    상기 제1 추출 이미지와 상기 제2 추출 이미지에 대해 SAD(Sum of Absolute Differences) 기반의 거리 연산을 수행하고,
    상기 거리 연산의 결과에 기초하여 상기 제1 유사도를 판단하는, 머신 러닝 시스템.
  5. 제4항에 있어서,
    상기 제2 유사도 판단 모듈은,
    상기 제1 예측 이미지와 상기 제2 예측 이미지에 대해 상기 SAD 기반의 거리 연산을 수행하고,
    상기 거리 연산의 결과에 기초하여 상기 제2 유사도를 판단하는, 머신 러닝 시스템.
  6. 제1항에 있어서,
    상기 제1 유사도 판단 모듈은,
    상기 제1 추출 이미지와 상기 제2 추출 이미지에 대해 ED(Euclidean Distance) 기반의 거리 연산을 수행하고,
    상기 거리 연산의 결과에 기초하여 상기 제1 유사도를 판단하는, 머신 러닝 시스템.
  7. 제6항에 있어서,
    상기 제2 유사도 판단 모듈은,
    상기 제1 예측 이미지와 상기 제2 예측 이미지에 대해 상기 ED 기반의 거리 연산을 수행하고,
    상기 거리 연산의 결과에 기초하여 상기 제2 유사도를 판단하는, 머신 러닝 시스템.
  8. 제1항에 있어서,
    상기 학습 데이터 선택 모듈은,
    상기 제1 유사도가 사전 정의된 제1 임계치 이상이고 상기 제2 유사도가 사전 정의된 제2 임계치 미만인 경우, 상기 제1 추출 이미지 및 상기 제2 추출 이미지 중 적어도 하나를 상기 학습 데이터로 선택하는, 머신 러닝 시스템.
  9. 제1항에 있어서,
    상기 학습 데이터 선택 모듈은,
    상기 제1 유사도가, 사전 정의된 제1 임계치 세트 중에서 선택된 제1 임계치 이상이고, 상기 제2 유사도가, 사전 정의된 제2 임계치 세트 중에서 선택된 제2 임계치 미만인 경우, 상기 제1 추출 이미지 및 상기 제2 추출 이미지 중 적어도 하나를 상기 학습 데이터로 선택하는, 머신 러닝 시스템.
  10. 제9항에 있어서,
    상기 제1 임계치 및 상기 제2 임계치는, 사용자 입력 또는 사전 정의된 정책(policy)에 따라, 상기 제1 임계치 세트 및 상기 제2 임계치 세트로부터 선택되는, 머신 러닝 시스템.
  11. 언레이블 이미지 풀에서 추출된 제1 추출 이미지와 제2 추출 이미지 간 제1 유사도를 판단하는 제1 유사도 판단 모듈;
    상기 제1 추출 이미지 및 상기 제2 추출 이미지 각각에 대한 모델 예측을 수행하는 머신 러닝 모델;
    상기 머신 러닝 모델로부터 상기 모델 예측의 결과에 해당하는 제1 예측 이미지 및 제2 예측 이미지를 입력 받고, 상기 제1 예측 이미지와 상기 제2 예측 이미지 간 제2 유사도를 판단하는 제2 유사도 판단 모듈; 및
    상기 제1 유사도와 상기 제2 유사도에 기초하여 레이블 이미지 풀을 갱신하는 레이블 이미지 풀 갱신 모듈을 포함하는
    머신 러닝 시스템.
  12. 제11항에 있어서,
    상기 레이블 이미지 풀 갱신 모듈은,
    상기 제1 유사도가 사전 정의된 제1 임계치 이상이고 상기 제2 유사도가 사전 정의된 제2 임계치 미만인 경우, 상기 제1 추출 이미지 및 상기 제2 추출 이미지에 기초하여 레이블 이미지 풀을 갱신하는, 머신 러닝 시스템.
  13. 제11항에 있어서,
    상기 레이블 이미지 풀 갱신 모듈은,
    상기 제1 유사도가, 사전 정의된 제1 임계치 세트 중에서 선택된 제1 임계치 이상이고, 상기 제2 유사도가, 사전 정의된 제2 임계치 세트 중에서 선택된 제2 임계치 미만인 경우, 상기 제1 추출 이미지 및 상기 제2 추출 이미지에 기초하여 레이블 이미지 풀을 갱신하는, 머신 러닝 시스템.
  14. 제13항에 있어서,
    상기 제1 임계치 및 상기 제2 임계치는, 사용자 입력 또는 사전 정의된 정책에 따라, 상기 제1 임계치 세트 및 상기 제2 임계치 세트로부터 선택되는, 머신 러닝 시스템.
  15. 제1 추출 이미지와 제2 추출 이미지 각각에 대해 머신 러닝 모델을 이용한 예측을 수행하는 단계;
    상기 제1 추출 이미지와 상기 제2 추출 이미지 간 제1 유사도를 판단하는 단계;
    모델 예측의 결과에 해당하는 제1 예측 이미지와 제2 예측 이미지 간 제2 유사도를 판단하는 단계; 및
    상기 제1 유사도와 상기 제2 유사도에 기초하여 상기 머신 러닝 모델을 학습시키기 위한 학습 데이터를 선택하는 단계를 포함하는, 머신 러닝 시스템의 동작 방법.
  16. 제15항에 있어서,
    상기 제1 유사도를 판단하는 단계는,
    상기 제1 추출 이미지와 상기 제2 추출 이미지에 대해 SAD(Sum of Absolute Differences) 기반의 거리 연산을 수행하는 단계 및
    상기 거리 연산의 결과에 기초하여 상기 제1 유사도를 판단하는 단계를 포함하는, 머신 러닝 시스템의 동작 방법.
  17. 제16항에 있어서,
    상기 제2 유사도를 판단하는 단계는,
    상기 제1 예측 이미지와 상기 제2 예측 이미지에 대해 상기 SAD 기반의 거리 연산을 수행하는 단계 및
    상기 거리 연산의 결과에 기초하여 상기 제2 유사도를 판단하는 단계를 포함하는, 머신 러닝 시스템의 동작 방법.
  18. 제15항에 있어서,
    상기 제1 유사도를 판단하는 단계는,
    상기 제1 추출 이미지와 상기 제2 추출 이미지에 대해 ED(Euclidean Distance) 기반의 거리 연산을 수행하는 단계 및
    상기 거리 연산의 결과에 기초하여 상기 제1 유사도를 판단하는 단계를 포함하는, 머신 러닝 시스템의 동작 방법.
  19. 제18항에 있어서,
    상기 제2 유사도를 판단하는 단계는,
    상기 제1 예측 이미지와 상기 제2 예측 이미지에 대해 상기 ED 기반의 거리 연산을 수행하는 단계 및
    상기 거리 연산의 결과에 기초하여 상기 제2 유사도를 판단하는 단계를 포함하는, 머신 러닝 시스템의 동작 방법.
  20. 제15항에 있어서,
    상기 학습 데이터를 선택하는 단계는,
    상기 제1 유사도가 사전 정의된 제1 임계치 이상이고 상기 제2 유사도가 사전 정의된 제2 임계치 미만인 경우, 상기 제1 추출 이미지 및 상기 제2 추출 이미지 중 적어도 하나를 상기 학습 데이터로 선택하는 단계를 포함하는, 머신 러닝 시스템의 동작 방법.
PCT/KR2020/001361 2019-11-08 2020-01-29 머신 러닝 시스템 및 머신 러닝 시스템의 동작 방법 WO2021091022A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2019-0142798 2019-11-08
KR1020190142798A KR102144975B1 (ko) 2019-11-08 2019-11-08 머신 러닝 시스템 및 머신 러닝 시스템의 동작 방법

Publications (1)

Publication Number Publication Date
WO2021091022A1 true WO2021091022A1 (ko) 2021-05-14

Family

ID=72050179

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/001361 WO2021091022A1 (ko) 2019-11-08 2020-01-29 머신 러닝 시스템 및 머신 러닝 시스템의 동작 방법

Country Status (2)

Country Link
KR (1) KR102144975B1 (ko)
WO (1) WO2021091022A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11830227B2 (en) 2020-05-12 2023-11-28 Lunit Inc. Learning apparatus and learning method for three-dimensional image
KR102499861B1 (ko) * 2021-04-19 2023-02-15 주식회사우경정보기술 인공지능 기반 객체 재인식 장치
KR102504421B1 (ko) * 2021-06-11 2023-02-28 한국수력원자력 주식회사 진동 측정 오류 판단 방법 및 이를 이용하는 진동 오류 판별 시스템
CN113593219B (zh) * 2021-06-30 2023-02-28 北京百度网讯科技有限公司 车流的统计方法、装置、电子设备及存储介质
KR102564039B1 (ko) * 2023-01-17 2023-08-04 국방과학연구소 프레임간 유사도에 기초하여, 신경망 학습을 위한 프레임 데이터를 생성하는 방법 및 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018041300A (ja) * 2016-09-08 2018-03-15 富士ゼロックス株式会社 機械学習用モデル生成装置及びプログラム。
KR20180080098A (ko) * 2017-01-03 2018-07-11 삼성전자주식회사 전자 장치 및 그 동작 방법
KR20180126220A (ko) * 2017-05-17 2018-11-27 삼성전자주식회사 객체를 식별하는 방법 및 디바이스
US20190156122A1 (en) * 2017-11-17 2019-05-23 Adobe Inc. Intelligent digital image scene detection
KR20190083127A (ko) * 2018-01-03 2019-07-11 한국과학기술원 단말 클러스터 내 이미지를 이용하여 컨볼루션 뉴럴 네트워크 모델을 학습시키기 위한 시스템 및 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10346740B2 (en) * 2016-06-01 2019-07-09 Kla-Tencor Corp. Systems and methods incorporating a neural network and a forward physical model for semiconductor applications
JP6814981B2 (ja) * 2016-07-21 2021-01-20 パナソニックＩｐマネジメント株式会社 学習装置、識別装置、学習識別システム、及び、プログラム
JP6572269B2 (ja) * 2017-09-06 2019-09-04 株式会社東芝 学習装置、学習方法、およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018041300A (ja) * 2016-09-08 2018-03-15 富士ゼロックス株式会社 機械学習用モデル生成装置及びプログラム。
KR20180080098A (ko) * 2017-01-03 2018-07-11 삼성전자주식회사 전자 장치 및 그 동작 방법
KR20180126220A (ko) * 2017-05-17 2018-11-27 삼성전자주식회사 객체를 식별하는 방법 및 디바이스
US20190156122A1 (en) * 2017-11-17 2019-05-23 Adobe Inc. Intelligent digital image scene detection
KR20190083127A (ko) * 2018-01-03 2019-07-11 한국과학기술원 단말 클러스터 내 이미지를 이용하여 컨볼루션 뉴럴 네트워크 모델을 학습시키기 위한 시스템 및 방법

Also Published As

Publication number Publication date
KR102144975B1 (ko) 2020-08-14

Similar Documents

Publication Publication Date Title
WO2021091022A1 (ko) 머신 러닝 시스템 및 머신 러닝 시스템의 동작 방법
WO2019164251A1 (en) Method of performing learning of deep neural network and apparatus thereof
WO2019031714A1 (ko) 객체를 인식하는 방법 및 장치
WO2021215620A1 (ko) 시맨틱 온톨로지를 이용한 도메인특화 이미지캡션 자동 생성 장치 및 방법
WO2020242090A1 (en) Apparatus for deep representation learning and method thereof
WO2021132798A1 (en) Method and apparatus for data anonymization
WO2020168606A1 (zh) 广告视频优化方法、装置、设备及计算机可读存储介质
WO2022255529A1 (ko) 머신 러닝 기반의 립싱크 영상 생성을 위한 학습 방법 및 이를 수행하기 위한 립싱크 영상 생성 장치
WO2023171981A1 (ko) 감시카메라 관리 장치
WO2022080844A1 (ko) 스켈레톤 분석을 이용한 객체 추적 장치 및 방법
WO2022255584A1 (ko) 크라우드소싱에서 이미지에 포함된 객체의 윤곽정보에 대한 가이드정보를 제공하는 방법, 컴퓨팅장치 및 컴퓨터-판독가능 매체
WO2021125521A1 (ko) 순차적 특징 데이터 이용한 행동 인식 방법 및 그를 위한 장치
WO2020222347A1 (ko) 가상 머신 배치 방법 및 이를 구현하는 가상 머신 배치 장치
WO2019190171A1 (ko) 전자 장치 및 그 제어 방법
WO2013032198A1 (ko) 높은 연관성을 가지는 아이템을 추천하는 아이템 기반의 추천 엔진
WO2024112108A1 (ko) 실시간 drm 기반 영상 스트리밍 시스템 및 그의 영상 스트리밍 방법
WO2018124464A1 (ko) 전자 장치 및 전자 장치의 검색 서비스 제공 방법
WO2020060071A1 (en) Electronic apparatus and control method thereof
WO2016036049A1 (ko) 검색 서비스 제공 장치, 시스템, 방법 및 컴퓨터 프로그램
WO2019198900A1 (en) Electronic apparatus and control method thereof
WO2019151620A1 (ko) 컨텐츠 정보 제공 장치 및 그 방법
WO2017126715A1 (ko) 나눗셈 연산을 처리하는 방법, 장치 및 기록매체
WO2020213885A1 (en) Server and control method thereof
WO2015080440A1 (en) Method and processor for executing instructions, method and apparatus for encoding instructions, and recording medium therefor
WO2020071692A1 (ko) 냉장고, 서버 및 냉장고의 객체 인식 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20885305

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205 DATED 21/09/2022)

122 Ep: pct application non-entry in european phase

Ref document number: 20885305

Country of ref document: EP

Kind code of ref document: A1