WO2020196985A1 - 비디오 행동 인식 및 행동 구간 탐지 장치 및 방법 - Google Patents

비디오 행동 인식 및 행동 구간 탐지 장치 및 방법 Download PDF

Info

Publication number
WO2020196985A1
WO2020196985A1 PCT/KR2019/004798 KR2019004798W WO2020196985A1 WO 2020196985 A1 WO2020196985 A1 WO 2020196985A1 KR 2019004798 W KR2019004798 W KR 2019004798W WO 2020196985 A1 WO2020196985 A1 WO 2020196985A1
Authority
WO
WIPO (PCT)
Prior art keywords
reliability
class
class reliability
video
maps
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2019/004798
Other languages
English (en)
French (fr)
Inventor
손광훈
박정인
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industry Academic Cooperation Foundation of Yonsei University
Original Assignee
Industry Academic Cooperation Foundation of Yonsei University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industry Academic Cooperation Foundation of Yonsei University filed Critical Industry Academic Cooperation Foundation of Yonsei University
Publication of WO2020196985A1 publication Critical patent/WO2020196985A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/36—Monitoring, i.e. supervising the progress of recording or reproducing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Definitions

  • the present invention relates to an apparatus and method for recognizing a video behavior and detecting a behavior section, and more particularly, to an apparatus and method for recognizing an object's action in a video and extracting a section of the action.
  • Temporal action localization which recognizes various actions appearing in the video and divides the time interval in which the recognized actions appear, is essential.
  • the artificial neural network was trained by a fully supervised learning method, and the ground truth label was completely annotated for each temporal boundary of each behavior in the training video during training. was required to be.
  • Another object of the present invention is to provide a video behavior recognition and behavior section detection apparatus and method capable of performing temporal behavior localization on a video by learning through weak guidance learning.
  • Another object of the present invention is to provide an apparatus and method for recognizing a video behavior and detecting a behavior section capable of recognizing an accurate behavior for each segment from a video.
  • the video behavior recognition and behavior section detection apparatus for achieving the above object divides a plurality of frames of a video into a plurality of segments by grouping frames by a predetermined number, and uses a previously learned pattern estimation method.
  • a feature map acquisition unit that extracts features of each of the plurality of segments and obtains a plurality of segment feature maps;
  • Class reliability map for obtaining a plurality of class reliability maps by estimating a class reliability score indicating a level corresponding to each of a plurality of predetermined behavior classes by learning a pattern estimation method in advance using a weak supervised learning method Acquisition unit;
  • a normalization unit that extracts features for each of the plurality of segment feature maps according to a previously learned pattern estimation method, extracts a plurality of embedded feature maps, and generates a normalization matrix from the plurality of embedded feature maps according to a graph Laplacian normalization technique ;
  • a normal reliability inference unit for obtaining a plurality of normal class reliability maps by calculating a normal class reliability score for the class reliability scores
  • the normalization matrix generator uses the elements of the similarity matrix as an edge weight (w ij ) between the embedded feature maps (e i , e j ) in the plurality of embedded feature maps (e).
  • the normal reliability inference unit is based on an equation from the class reliability scores (s c ) of the plurality of class reliability maps and the normalization matrix (L).
  • a normal class reliability score (s * c ) may be calculated to obtain the plurality of normal class reliability maps.
  • the behavioral interval determination unit acquires a reliability average value that is a time average of the normal class reliability scores of each of the plurality of normal class reliability maps, selects a normal class reliability map having a reliability average value that is equal to or greater than a predetermined reference average value, and selected By analyzing a regular class reliability score that is equal to or greater than a reference reliability score in the regular class reliability map, it is possible to detect a segment-based behavior and a time interval.
  • the behavior section determination unit may analyze a plurality of regular class reliability scores of the plurality of regular class reliability maps for each segment section, and detect an action and time section corresponding to a regular class reliability score that is equal to or greater than a predetermined reference reliability score.
  • the video behavior recognition and behavior section detection apparatus includes: a learning unit for learning a weak map of the class reliability map acquisition unit and the normalization unit based on a training video in which only a behavior label is annotated;
  • the learning unit further includes, in response to the training video, the learning error by comparing the average of the class reliability scores of each of the plurality of class reliability maps obtained by the class reliability map acquisition unit with a predetermined learning reference reliability score.
  • the class reliability map acquisition unit is weakly supervised and learned, and the total loss (L total ) of the class reliability map acquiring unit and the normalization unit, which is then weakly supervised learning, is calculated by equation
  • L aff represents the similarity loss of the similarity matrix (A) of the normalizer
  • L cls represents the class loss between the behavior labels annotated in the training video and a plurality of normal class reliability maps
  • ⁇ represents the predetermined loss weight.
  • a plurality of frames of a video are grouped by a preset number to divide into a plurality of segments, and a pre-learned pattern estimation method is used. Extracting features of each of the plurality of segments accordingly to obtain a plurality of segment feature maps;
  • Obtaining a plurality of class reliability maps by estimating a class reliability score indicating a level corresponding to each of a plurality of predetermined behavior classes by learning a pattern estimation method in advance using a weak supervised learning method; Extracting a plurality of embedded feature maps by extracting features for each of the plurality of segment feature maps according to a pre-learned pattern estimation method, and generating a normalization matrix from the plurality of embedded feature maps according to a graph Laplacian normalization technique; Obtaining a plurality of regular class reliability maps by calculating regular class reliability scores for class reliability scores of the plurality of class reliability maps based on the normalization matrix; And analyzing the regular class reliability scores of the plurality of regular class reliability maps to determine a segment-based action and a time interval for each action. Includes.
  • the apparatus and method for video behavior recognition and behavior section detection according to an embodiment of the present invention, only a simple behavior label is annotated by learning using the annotated learning video to perform temporal behavior localization on the video, thereby obtaining a learning video. It is possible to reduce the burden of time and cost for doing so.
  • extracting the feature map for each segment from the video analyzing the behavior reliability for each segment and the semantic similarity between segments for the same behavior, and applying weights to the behavior reliability for each segment based on the semantic similarity between segments, Can recognize temporal location.
  • FIG. 1 shows a schematic structure of a video behavior recognition and behavior section detection apparatus according to an embodiment of the present invention.
  • FIG. 2 shows a detailed configuration of a feature map acquisition unit of FIG. 1.
  • FIG 3 shows a structure of a class reliability map acquired by a class reliability map acquisition unit.
  • FIG. 4 shows an example of a result of performing temporal behavior localization on a video by the video behavior recognition and behavior section detection apparatus according to the present embodiment.
  • FIG. 5 shows an example of a video for learning for weak guidance learning.
  • FIG. 6 shows an example of a learning class reliability map for calculating similarity loss.
  • FIG. 7 shows a simulation result of the video behavior recognition and behavior section detection apparatus according to the present embodiment.
  • FIG. 8 shows a method of recognizing a video behavior and detecting a behavior section according to an embodiment of the present outbreak.
  • FIG. 1 shows a schematic structure of a video behavior recognition and behavior section detection apparatus according to an embodiment of the present invention
  • FIG. 2 shows a detailed configuration of a feature map acquisition unit of FIG. 1
  • FIG. 3 is acquired by a class reliability map acquisition unit. It shows the structure of the class reliability map.
  • 4 illustrates an example of a result of performing temporal behavior localization on a video by the video behavior recognition and behavior section detection apparatus according to the present embodiment.
  • the apparatus for recognizing a video behavior and detecting a behavior section includes a feature map acquisition unit 110, a class reliability map acquisition unit 120, a normalization unit 130, and a normal reliability inference unit 140. And an action section determining unit 150.
  • the feature map acquisition unit 110 groups a plurality of frames of a video and divides them into a plurality of segments, and extracts features for each segment according to a pattern estimation method learned in advance for each of the divided segments to feature a plurality of segments. Acquire the map.
  • the feature map acquisition unit 110 may include a video acquisition unit 111, a segment classification unit 112, a feature extraction unit 113, and a feature map buffer unit 114.
  • the video acquisition unit 111 acquires a multi-frame video for which temporal behavior localization is to be performed.
  • the temporal behavior localization is to classify the temporal behavior of at least one object included in the video, and refers to recognizing the behavior of the object and discriminating a time interval in which the recognized behavior is performed.
  • the feature extraction unit 113 may be implemented as a convolutional neural network as an example, and may be implemented as a 3D convolutional neural network so that features can be easily extracted for a segment including a plurality of frames. .
  • the plurality of segment feature maps f obtained by the feature extraction unit 113 may be obtained in the form of a matrix of various dimensions according to the configuration of the artificial neural network, but may be obtained in the form of a one-dimensional matrix as an example.
  • the feature map buffer unit 114 stores a plurality of segment feature maps (f) obtained from the feature extraction unit 113 for each of the plurality of segments, and stores the plurality of segment feature maps (f) as a class activation unit 121 ) And the normalization unit 130.
  • the class reliability map acquisition unit 120 obtains a plurality of class reliability maps (c) by estimating the corresponding level of each of the plurality of segment feature maps (f) for each of a plurality of predetermined behavior classes. And save it.
  • the class reliability map acquisition unit 120 includes a class activation unit 121 and a reliability map storage unit 122.
  • the class activation unit 121 receives a plurality of segment feature maps (f) from the feature map acquisition unit 110 and obtains a plurality of class reliability maps from the plurality of segment feature maps (f).
  • a number of segment feature maps (f) correspond to a number of behaviors. It refers to a map including a class reliability score (s c ) indicating a level corresponding to each class.
  • each of the plurality of class reliability maps corresponds to one of the behaviors labeled on the video during training.
  • each of the plurality of class reliability maps includes a reliability score indicating the probability that each of the plurality of segment feature maps (f) corresponds to a corresponding behavior.
  • each of the N segments (v 1 , v 2 , ..., v N ) C behavior class labels (c (c 1 , c 2 , ..., c C ⁇ ) It can be seen that the level corresponding to each is obtained as a reliability score.
  • the class activator 121 may extract a class reliability score (s c ) for each behavior class of the segment feature map (f) by implementing an artificial neural network in which a pattern estimation method is learned in advance by weak guidance learning.
  • the class activation unit 121 may be implemented as an artificial neural network including a plurality of fully connected layers and at least one activation function layer, and the activation function layer is, for example, sigmoi. It can be implemented as a sigmoid function. Multiple fully connected layers estimate the pattern of the input segment feature map (f) to extract class reliability scores (s c ) for each of the C behavior classes (c), and the sigmoid function is a number of fully connected layers.
  • the reliability extracted from is converted to a value within a specified range (for example, 0 to 1) and output.
  • the class activation unit 121 When the class activation unit 121 includes two fully connected layers (FC1, FC2) and a sigmoid function, the class activation unit 121 is the t-th in the behavior class (c) according to Equation 1
  • the behavior class reliability score (s t c ) of the segment (v t ) can be obtained.
  • w c (k) represents the kth weight (w) of the final fully connected layer (the second fully connected layer (FC2)) for the behavior class (c)
  • ⁇ ( ⁇ ) is the sigmoid of the activation function layer Represents a function.
  • the second fully connected layer FC2 of the class activating unit 121 outputs the output f fc1,t of the first fully connected layer FC1 to the t-th segment feature map f t It is authorized and extracts class reliability for each of the C behavior classes (c).
  • the sigmoid function of the activation function layer converts the behavior class reliability score s t c extracted from the second fully connected layer FC2 into a value within a predetermined range and outputs it.
  • the normalization unit 130 receives a plurality of segment feature maps f from the feature map acquisition unit 110, extracts features for each of the plurality of segment feature maps f, and extracts the plurality of segment feature maps.
  • a similarity matrix representing semantic affinity between a plurality of segments (v) is generated from the embedded feature map, which is a feature of (f).
  • the class reliability scores for segments corresponding to the period in which the same action is being performed should appear similarly. That is, the class reliability scores in the time interval in which a specific action is performed should appear similar to each other, while the class confidence scores in the different intervals should appear differently.
  • the class reliability map obtained by the class activation unit 121 only determines the level corresponding to each segment for a plurality of behavior classes (c). That is, the similarity of the class reliability score according to the continuity of the behavior according to the temporal change is not considered, so it is not optimized to identify the time interval in the behavior of the object included in the video.
  • the normalization unit 130 extracts the features of the segment feature map f from the premise that if the segment feature maps f are similar to each other, the class reliability of the class reliability map should be similarly extracted, and the feature affinity space (feature affinity). space), and a similarity matrix is generated by determining the similarity between the segment feature maps (f) based on the distance between the features of the segment feature map (f) projected in the feature similarity space, and normalized based on the similarity matrix Create a matrix.
  • the normalization unit 130 may include an embedded feature map extraction unit 131 and a normalization matrix generation unit 132.
  • the embedded feature map extraction unit 131 receives a plurality of segment feature maps (f) from the feature map acquisition unit 110, and features a feature according to a pattern extraction method previously learned for the applied plurality of segment feature maps (f).
  • the embedded feature map (e) is extracted by re-extraction.
  • the embedded feature map extractor 131 may be implemented as a pre-learned artificial neural network, and as an example, similar to the feature extractor 113 may be implemented as a convolutional neural network including a plurality of convolutional layers.
  • the embedded feature map extraction unit 131 obtains an embedded feature map (e) by extracting features from a plurality of segment feature maps (f) according to Equation 2 in order to consider semantic similarity between a plurality of segments (v). do.
  • Equation 2 w is the weight of the artificial neural network F as a parameter for projecting the features of the input segment feature map f onto the feature similarity space.
  • a plurality of segment feature maps (f) are projected onto the feature similarity space by Equation 2 to obtain an embedded feature map (e).
  • the embedded feature map extraction unit 131 may extract features by reducing the number of elements in the same dimension as the segment feature map f.
  • each of the plurality of embedded feature maps (e) may be obtained in the form of a one-dimensional matrix having 128 elements. have. That is, each of a plurality of segment feature maps f having 1024 detailed features may be obtained as a plurality of embedded feature maps e having 128 schematic features.
  • the embedded feature map extractor 131 may be implemented as a convolutional neural network including at least one convolutional layer and at least one activation function layer, where the activation function layer may be implemented as a ReLU layer as an example.
  • the normalization matrix generator 132 obtains a graph Laplacian matrix L, which is a normalization matrix, from a plurality of embedded feature maps e according to a graph Laplacian normalization technique.
  • the graph Laplacian normalization technique gives a smoothly changing value for the adjacent graph (G), given an appropriate neighborhood graph (G) with multiple vertices.
  • This is a technique of obtaining a graph Laplacian matrix (L) for normalizing class reliability scores based on the assumption of having.
  • the normalization matrix generator 132 first includes an affinity matrix including edge weights w as an element from a plurality of embedded feature maps e extracted from the embedded feature map extracting unit 131 ( ).
  • the normalization matrix generator 132 obtains an edge weight w ij between two embedded feature maps e i and e j from a plurality of embedded feature maps e according to Equation 3.
  • ⁇ is pre-specified as a constant for adjusting the sensitivity to the distance between the embedded feature maps (e i , e j ) in the feature similarity space.
  • Equation 3 if the distance between the two embedded feature maps (e i , e j ) in the feature similarity space is close, that is, if the two segment feature maps (f i , f j ) are similar, the edge weight (w If ij ) increases and the distance between the two embedded feature maps (e i , e j ) is far, that is, if the two segment feature maps (f i , f j ) are different from each other, the edge weight (w ij ) decreases. do.
  • the graph Laplacian matrix (L) has a degree of similarity with the other segment feature maps for each of the plurality of segment feature maps (f) as an element, and when there are N segment feature maps (f), the graph Laplacian matrix (L) Is obtained as an N ⁇ N matrix.
  • the regular reliability inference unit 140 includes a plurality of class reliability scores (s c ) of a plurality of segment feature maps (f) corresponding to each of the plurality of behavior classes determined from the class reliability map acquisition unit 120 The map is applied, and a graph Laplacian matrix L, which is a normalization matrix representing the similarity between a plurality of segment feature maps f, is applied from the normalization unit 130.
  • class reliability score (s c ) and the graph Laplacian matrix (L) are used to obtain a regular class reliability score (s * c ).
  • the normal reliability inference unit 140 is the optimal class reliability score for the graph Laplacian matrix L from the class reliability score s c ). And the optimal class confidence score ( ), you need to solve the MAP (a maximum a posteriori) problem.
  • the MAP problem can be formulated as in Equation 4.
  • Equation 4 the optimal class reliability score ( Since it is not easy to obtain ), the normal reliability inference unit 133 reconstructs Equation 4 as an inverse system problem of a linear equation as shown in Equation 5 to obtain a normal class reliability score (s * c ).
  • the regular class reliability score s * c is obtained by semantic similarity between a plurality of segment feature maps f. That is, the normal reliability inference unit 140 normalizes the class reliability scores (s c ) of each of the plurality of class reliability maps according to the graph Laplacian matrix (L), so that the class reliability scores (s) of the segment feature maps (f) having high similarity By adjusting c ) to be similar to each other, a plurality of regular class reliability maps including regular class reliability scores (s * c ) are output.
  • the action interval determination unit 150 receives a plurality of normal class reliability maps normalized by the normal reliability inference unit 140, and analyzes the normal class reliability scores (s * c ) of the plurality of normal class reliability maps. In addition, by selecting a representative behavior class for each segment of the video as a result of the analysis, the representative behavior in each segment may be determined. That is, it is possible to determine an action performed by an object at a specific time of the video. In addition, the time interval in which a specific action is performed in the video can be accurately detected in units of segments.
  • the action interval determination unit 150 may select one representative action with the highest regular class reliability score (s t *c ) from each of the plurality of segments, but in some cases, all regular class reliability levels that are equal to or greater than a predetermined reference reliability score. You can also choose an action that corresponds to the score (s *c ).
  • the action interval determination unit 150 may obtain a reliability average value by performing time average pooling on the regular class reliability scores (s * c ) of each of the plurality of regular class reliability maps. And when the reliability average values of each of the plurality of normal class reliability maps are obtained, a normal class reliability map having a reliability average value equal to or greater than the predetermined reference average value is selected, and a normal class reliability score equal to or greater than the reference reliability score in the selected normal class reliability map (s * c ) can be analyzed again to detect the behavior of each time interval. That is, when the possibility that the corresponding action is included in the video as a whole is analyzed first and it is determined that the action is included, the time interval in units of segments may be detected again.
  • the action section determination unit 150 may output a time section in which at least one action class selected from the video appears. That is, the video can be temporally localized to output the start time (s 1 c , s 2 c , s 3 c ) and the end time (e 1 c , e 2 c , e 3 c ) of each action.
  • the video behavior recognition and behavior section detection apparatus may further include a learning unit 160.
  • the learning unit 160 is a configuration for learning the class reliability map acquisition unit 120 and the normalization unit 130 including the artificial neural network, and is used in the learning process of the video behavior recognition and behavior section detection device, and the learning is completed. It can be removed afterwards.
  • the feature map acquisition unit 110 is also implemented including an artificial neural network, but the learning technique for the feature map acquisition unit 110 to acquire the segment feature map f from the segment v is a known technique.
  • the feature map acquisition unit 110 may acquire a plurality of segment feature maps f by learning in advance according to an existing pattern estimation method. Therefore, the learning method of the feature map acquisition unit 110 is not separately described here.
  • the learning unit 160 learns the class reliability map acquisition unit 120 and the normalization unit 130 in a weakly-supervised learning method based on a training video in which only a simple action label is annotated.
  • FIG. 5 shows an example of a training video for weak supervised learning
  • FIG. 6 shows an example of a training class reliability map for calculating a similarity loss.
  • a training video in which only a simple action label is annotated refers to a video in which only an action label is provided for the entire video without additional annotation on a time interval or action region.
  • the learning video in this embodiment as shown in FIG. 5, only the behavior of the object is provided as an annotation, such as diving, tennis swing or cycling, walking, running, golf, etc., and the location area of the object or the object is Separate annotations are not provided for the time interval during which the action is performed.
  • the method of performing learning based on the simple action label annotated in such a video is distinguished from the fully supervised learning method in which both the annotation on the object area of the video and the annotation on the time interval for each action are provided. Is also called learning.
  • the learning unit 160 firstly learns the class reliability map acquisition unit 120 at the time of learning. At this time, the learning unit 160 may deactivate the normalization unit 130 in order to first learn the class reliability map acquisition unit 120.
  • a training video including a single action of an object and annotated with only the action label is input to the apparatus for recognizing a video action and detecting a action section during learning by the class reliability map acquisition unit 120.
  • the learning unit 160 receives and analyzes the class reliability scores (s c ) of each of the plurality of class reliability maps obtained by the class reliability map acquisition unit 120 with respect to the training video, and backpropagates the learning error, so that the class reliability map The acquisition unit 120 may be trained. For example, the learning unit 160 may obtain a learning error by comparing the class reliability score s c of each of the plurality of class reliability maps with a predetermined learning standard reliability score.
  • the class reliability score (s c ) of the class reliability map corresponding to the action included in the video in the class reliability map acquisition unit 120 is The class reliability score (s c ) of the rest of the class reliability map must be obtained below the learning criterion reliability score, while it must be obtained above the predetermined learning criterion reliability score.
  • the learning unit 160 compares the class reliability score (s c ) of each class reliability map with the learning standard reliability score to easily obtain a learning error, and backpropagates the acquired learning error to obtain a class reliability map. (120) can be learned.
  • the learning unit 160 performs a time average pooling on the class reliability score (s c ) of each class reliability map to obtain an average reliability score, and compares the obtained average reliability score with a predetermined average learning standard reliability score. It is also possible to obtain a learning error.
  • the learning unit 160 acquires a class reliability map based on a plurality of class reliability maps obtained from the first learned class reliability map acquisition unit 120 when the class reliability map acquisition unit 120 is first learned in a weak supervised learning method.
  • the unit 120 and the normalization unit 130 are trained.
  • the learning unit 160 activates the normalization unit 130. Further, the learning unit 160 calculates the total loss (L total ) according to the loss function of Equation 6, and backpropagates the calculated total loss (L total ), so that the class reliability map acquisition unit 120 and the normalization unit ( 130).
  • L total denotes the total loss of the video behavior recognition and behavior section detection device
  • L aff denotes the similarity loss of the similarity matrix (A)
  • L cls denotes the behavioral label annotated in the training video and a number of normal class reliability maps. Represents the class loss of.
  • ⁇ is a predetermined loss weight.
  • the similarity loss (L aff ) may be obtained based on a plurality of class reliability maps obtained by the class reliability map acquisition unit 120 in which weak guidance is learned.
  • the learning unit 160 receives a plurality of class reliability maps obtained from the class reliability map acquisition unit 120 and generates a class reliability map for learning as shown in FIG. 6.
  • the learning unit 160 obtains the largest class reliability score in units of segments from a plurality of class reliability maps, and generates a class reliability map for learning by combining the obtained class reliability scores. That is, a class reliability score having the largest value among class reliability scores for a specific time segment is extracted from a plurality of class reliability maps, and included as a class reliability score of the learning class reliability map. In this case, the learning unit 160 allocates a label of the class reliability map corresponding to the class reliability score obtained according to Equation 7 as a temporary class label (z t ) of the class reliability map for learning.
  • the learning unit 160 sets a label of a class reliability map c including a segment having a maximum class reliability score among segments of a specific time in a plurality of class reliability maps as a temporary class label (z t ) It is acquired and assigned.
  • the temporary class label can be changed for each segment.
  • the upper criterion reliability score ( ⁇ h ) and the lower criterion reliability score ( ⁇ l ) are set in a predetermined manner.
  • the upper criterion reliability score ⁇ h may be set as a reference reliability score for determining whether an action corresponding to a corresponding segment is included, but may be set separately from the reference reliability score.
  • the lower criterion reliability score ( ⁇ l ) may be a criterion for determining that an action corresponding to a corresponding segment is not included.
  • the learning unit 160 is the upper criterion reliability score ( ⁇ h ) or higher or the lower criterion reliability score ( ⁇ l ) among a plurality of segments of the learning class reliability map.
  • a pseudo-similarity matrix (A * ) representing the similarity between class reliability scores less than or equal to) is generated according to Equation 8.
  • the learning unit 160 is a temporary class label (z t ) in which class reliability scores that are higher than the upper reference reliability score ( ⁇ h ) or less than the lower reference reliability score ( ⁇ h ) in the class reliability map for learning are the same If it has, 1 is assigned, and if it has different temporary class labels (z t ), 0 is assigned to create a pseudo-similarity matrix (A * ). In this case, the learning unit 160 does not determine the similarity of the class reliability scores between the upper reference reliability score ( ⁇ h ) and the lower reference reliability score ( ⁇ l ). That is, if at least one of the two class reliability scores subject to similarity determination is a class reliability score between the upper reference reliability score ( ⁇ h ) and the lower reference reliability score ( ⁇ l ), the similarity is not determined.
  • the learning unit 160 uses the similarity matrix A and the pseudo-similarity matrix (A * ) obtained from the normalization unit 130 to Equation 9 Accordingly, a similarity loss (L aff ) is obtained.
  • N(i) means a semantic neighborhood for the segmenter (v i ).
  • the learning unit 160 summing the regular class reliability scores (s * c ) obtained from the normal reliability inference unit 140, and the video level score vector ( ), and the acquired video level score vector ( ) And the behavior label (y c ) annotated in the training video by calculating a standard multi-label cross-entropy loss according to Equation 10 to obtain a class loss (L cls ). .
  • the learning unit 160 obtains a total loss (L total ) according to Equation 6, and backpropagates the obtained total loss (L total ). , The class reliability map acquisition unit 120 and the normalization unit 130 are trained.
  • FIG. 7 shows a simulation result of the video behavior recognition and behavior section detection apparatus according to the present embodiment.
  • w/o GR and FE denote a case where temporal behavior localization is performed by deactivating the normalization unit 130, and w/o FE excludes the embedded feature map extraction unit 131 from the normalization unit 130
  • the score represents a case of performing temporal action localization according to the present embodiment.
  • Detection represents a time interval in which the video behavior recognition and behavior interval detection apparatus according to the present embodiment detects a behavior
  • Ground Truth represents a time interval of actions actually included in the video.
  • the video behavior recognition and behavior section detection apparatus extracts and normalizes the embedded feature map (e) to relatively accurately perform temporal behavior localization.
  • FIG. 8 shows a method of recognizing a video behavior and detecting a behavior section according to an embodiment of the present outbreak.
  • the learning unit 160 learns the class reliability map acquisition unit 120 and the normalization unit 130.
  • the class reliability map acquisition unit 120 learns the weak map (S11).
  • the learning unit 160 may deactivate the normalization unit 130 in order to learn the weak map of the class reliability map acquisition unit 120.
  • the learning unit 160 calculates a class reliability score (s c ) of each of a plurality of class reliability maps obtained from the class reliability map acquisition unit 120 for a training video in which a single action of an object is included and only the action label is annotated.
  • a learning error is obtained by comparing it with a predetermined learning reference reliability score, and the acquired learning error is back-propagated to the class reliability map obtaining unit 120 to allow the class reliability map obtaining unit 120 to learn weak guidance.
  • the learning unit 160 acquires an average reliability score, which is a time average of the class reliability scores (s c ) of each of the plurality of class reliability maps, and learns by comparing the obtained average reliability score with a predetermined average learning standard reliability score. You can also get an error.
  • the learning unit 160 learns the normalization unit 130 together with the class reliability map acquisition unit 120 (S12).
  • the learning unit 160 obtains the similarity loss (L aff ) and the class loss (L cls ), calculates the total loss (L total ) according to Equation 6 and backpropagates it, thereby normalizing it with the class reliability map acquisition unit 120
  • the unit 130 can be learned together.
  • the similarity loss (L aff ) is a loss to the normalization unit 130
  • the class loss (L cls ) is a joint loss between the class reliability map acquisition unit 120 and the normalization unit 130.
  • the learning unit 160 selects a class reliability score having a maximum value in units of segments from a plurality of class reliability maps obtained from the weakly-learned class reliability map acquisition unit 120 By combining this, a learning class reliability map is generated, and a corresponding temporary class label is assigned to each class reliability score of the learning class reliability map as shown in Equation 7.
  • a pseudo-similarity matrix (A * ) representing the similarity between the two is generated according to Equation 8.
  • the learning unit 160 obtains the similarity loss L aff according to Equation 9 by using the similarity matrix A and the pseudo-similarity matrix A * .
  • the learning unit 160 adds up the regular class reliability scores (s * c ) obtained from the normal reliability inference unit 140 to obtain a video level score vector ( ), and the acquired video level score vector ( ) And a standard multi-label cross entropy loss between the behavior label y c annotated in the training video according to Equation 10 to obtain a class loss (L cls ).
  • the learning unit 160 obtains the similarity loss (L aff ) and the class loss (L cls ), calculates the total loss (L total ) according to Equation 6 and backpropagates it, thereby normalizing it with the class reliability map acquisition unit 120
  • the unit 130 can be learned together.
  • the learning unit 160 calculates and backpropagates the total loss (L total ).
  • the video behavior recognition and behavior section detection apparatus receives the video and performs temporal behavior localization.
  • the feature map acquisition unit 110 of the video behavior recognition and behavior section detection apparatus divides a plurality of frames of the first approved video into a plurality of segments by grouping frames by a preset number according to a temporal order. And, a plurality of segment feature maps are obtained by extracting features of each of a plurality of segments classified according to a previously learned pattern estimation method (S21).
  • the class reliability map acquisition unit 120 estimates a class reliability score (s c ) representing a level corresponding to each of a plurality of predetermined behavior classes in which each of a plurality of segment feature maps according to a previously learned pattern estimation method.
  • a class reliability map is obtained (S22).
  • the normalization unit 130 extracts a feature for each of a plurality of segment feature maps according to a previously learned pattern estimation method and extracts a plurality of embedded feature maps e (S23). Then, a normalization matrix L, which is a graph Laplacian matrix, is generated from the extracted plurality of embedded feature maps e according to the graph Laplacian normalization technique (S24).
  • a normalization matrix L which is a graph Laplacian matrix
  • the normalization unit 130 obtains a similarity matrix (A) representing the similarity between segment feature maps according to Equation 3, obtains a degree matrix (D), which is a diagonal matrix, and obtains a degree matrix (A) from the degree matrix (D). By subtracting n, it is possible to generate a normalization matrix L.
  • the normal reliability inference unit 140 calculates a normal class reliability score (s * c ) with respect to the class reliability score (s c ) of a plurality of class reliability maps according to Equation 5 based on the normalization matrix (L).
  • a regular class reliability map is obtained (S25).
  • the behavior section determination unit 150 analyzes the regular class reliability scores (s *c ) of the plurality of regular class reliability maps to determine a segment-based action and a time interval for each action. That is, temporal action localization is performed on the input video.
  • the action section determination unit 150 may select one representative action having the highest regular class reliability score (s t *c ) in units of segments, or select a plurality of actions having a predetermined reference reliability score or more.
  • the reliability average value of a plurality of normal class reliability maps is obtained, and a normal class reliability map having a reliability average value that is equal to or greater than a predetermined reference average value is selected, and a normal class reliability score (s * c ) that is equal to or greater than the reference reliability score is obtained from the selected normal class reliability map. It is also possible to analyze again to detect the behavior of each time interval.
  • the method according to the present invention may be implemented as a computer program stored in a medium for execution on a computer.
  • the computer-readable medium may be any available medium that can be accessed by a computer, and may also include all computer storage media.
  • Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data, and ROM (Read Dedicated memory), RAM (random access memory), CD (compact disk)-ROM, DVD (digital video disk)-ROM, magnetic tape, floppy disk, optical data storage device, and the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 간단한 행동 레이블만이 주석된 학습용 비디오를 이용하여 학습되어 비디오에 대한 시간적 행동 로컬라이제이션을 수행할 수 있어, 학습용 비디오를 획득하기 위한 시간적 비용적 부담을 경감할 수 있으며, 비디오에서 세그먼트별 특징맵을 추출하여 세그먼트별 행동 신뢰도와 동일 행동에 대한 세그먼트 간 시멘틱 유사성을 분석하여 세그먼트별 행동 신뢰도에 세그먼트 간 시멘틱 유사성을 기반으로 가중치를 적용함으로써, 시간적 일관성을 갖고 행동의 정확한 시간적 위치를 인식할 수 있는 비디오 행동 인식 및 행동 구간 탐지 장치 및 방법을 제공할 수 있다.

Description

비디오 행동 인식 및 행동 구간 탐지 장치 및 방법
본 발명은 비디오 행동 인식 및 행동 구간 탐지 장치 및 방법에 관한 것으로, 특히 비디오에서 객체의 행동을 인식하고 행동의 구간을 추출할 수 있는 행동 인식 및 행동 구간 탐지 장치 및 방법에 관한 것이다.
비디오로부터 이벤트 탐지, 요약. 시각적 질의 응답을 포함한 다양한 작업을 수행하기 위해서는 비디오에 나타나는 각종 행동을 인식하고, 인식된 행동이 나타나는 시간 구간을 구분하는 시간적 행동 로컬라이제이션(Temporal action localization)이 필수적이다.
한편 최근에는 딥 러닝(Deep learning) 기법으로 학습된 인공 신경망(artificial neural network)을 이용하여 비디오에서 자동으로 시간적 행동 로컬라이제이션을 수행하기 위한 다양한 연구가 진행되었다. 딥 러닝 기법을 이용함에 의해 비디오에 대한 시간적 행동 로컬라이제이션 작업이 인공 신경망에 의해 자동으로 수행될 뿐만 아니라 성능이 크게 향상되었다.
기존의 딥러닝 기법에서 인공 신경망은 완전 지도(fully supervised) 학습 방식으로 학습되었으며, 학습 시에 학습용 비디오 내의 행동별 시간적 경계 각각에 대해 검증 자료 레이블(ground truth label)이 완전하게 주석(full annotation)될 것이 요구되었다.
그러나 비디오에서 각 행동 각각에 대한 시간적 경계를 수작업으로 주석 처리하는 것은 시간적으로나 비용적으로 매우 비효율적이다. 뿐만 아니라, 각 행동의 시간적 경계는 작업자에 따라 주관적으로 판단될 수 있어, 인공 신경망을 부정확하게 학습시킬 수 있다는 문제가 있다.
본 발명의 목적은 획득이 용이한 간단한 행동 레이블만이 주석된 학습용 비디오를 이용하는 약지도 학습(weakly-supervised learning) 방식을 기반으로 학습 시킬 수 있는 비디오 행동 인식 및 행동 구간 탐지 장치 및 방법을 제공하는데 있다.
본 발명의 다른 목적은 약지도 학습으로 학습되어 비디오에 대한 시간적 행동 로컬라이제이션을 수행할 수 있는 비디오 행동 인식 및 행동 구간 탐지 장치 및 방법을 제공하는데 있다.
본 발명의 또 다른 목적은 비디오로부터 각 세그먼트 별로 정확한 행동을 인식할 수 있는 비디오 행동 인식 및 행동 구간 탐지 장치 및 방법을 제공하는데 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 비디오 행동 인식 및 행동 구간 탐지 장치는 비디오의 다수 프레임을 기설정된 개수씩 프레임을 그룹화하여 다수의 세그먼트로 구분하고, 미리 학습된 패턴 추정 방식에 따라 상기 다수의 세그먼트 각각의 특징을 추출하여 다수의 세그먼트 특징맵을 획득하는 특징맵 획득부; 약지도 학습 방식으로 패턴 추정 방식이 미리 학습되어 상기 다수의 세그먼트 특징맵 각각이 기지정된 다수의 행동 클래스 각각에 대응하는 수준을 나타내는 클래스 신뢰도 점수를 추정하여 다수의 클래스 신뢰도 맵을 획득하는 클래스 신뢰도 맵 획득부; 미리 학습된 패턴 추정 방식에 따라 상기 다수의 세그먼트 특징맵 각각에 대한 특징을 추출하여 다수의 임베디드 특징맵을 추출하고, 상기 다수의 임베디드 특징맵으로부터 그래프 라플라시안 정규화 기법에 따라 정규화 행렬을 생성하는 정규화부; 상기 정규화 행렬을 기반으로 상기 다수의 클래스 신뢰도 맵의 클래스 신뢰도 점수에 대한 정규 클래스 신뢰도 점수를 계산하여 다수의 정규 클래스 신뢰도 맵을 획득하는 정규 신뢰도 추론부; 및 상기 다수의 정규 클래스 신뢰도 맵의 정규 클래스 신뢰도 점수들을 분석하여 세그먼트 단위의 행동과 행동별 시간 구간을 판별하는 행동 구간 판별부; 를 포함한다.
상기 정규화부는 미리 학습된 패턴 추정 방식에 따라 상기 다수의 세그먼트 특징맵 각각에 대한 특징을 추출하여 다수의 임베디드 특징맵을 추출하는 임베디드 특징맵 추출부; 및 상기 임베디드 특징맵으로부터 다수의 세그먼트 사이의 시멘틱 유사성을 나타내는 유사도 행렬(affinity matrix)(A)과 대각 행렬인 정도 행렬(degree matrix)(D)을 기지정된 방식으로 획득하고, 상기 정도 행렬(D)과 상기 유사도 행렬(A)의 차인 그래프 라플라시안 행렬(L = D - A)을 상기 정규화 행렬로 획득하는 정규화 행렬 생성부; 를 포함할 수 있다.
상기 정규화 행렬 생성부는 상기 유사도 행렬의 원소를 상기 다수의 임베디드 특징맵(e)에서 임베디드 특징맵(e i, e j)들 사이의 에지 가중치(w ij)로서 수학식
Figure PCTKR2019004798-appb-img-000001
(여기서 ε는 특징 유사도 공간에서 임베디드 특징맵(e i, e j)들 사이의 거리에 대한 감도를 조절하기 위해 기지정되는 상수)에 따라 획득하고, 상기 정도 행렬의 i번째 대각 원소를 수학식
Figure PCTKR2019004798-appb-img-000002
(여기서 N은 세그먼트의 개수이다)에 따라 획득할 수 있다.
상기 정규 신뢰도 추론부는 상기 다수의 클래스 신뢰도 맵의 클래스 신뢰도 점수(s c)와 상기 정규화 행렬(L)로부터 수학식
Figure PCTKR2019004798-appb-img-000003
(여기서 I는 항등 행렬이고, μ는 기지정된 하이퍼 파라미터이다.)에 따라 정규 클래스 신뢰도 점수(s *c)를 계산하여, 상기 다수의 정규 클래스 신뢰도 맵을 획득할 수 있다.
상기 행동 구간 판별부는 상기 다수의 정규 클래스 신뢰도 맵 각각의 정규 클래스 신뢰도 점수의 시간 평균인 신뢰도 평균값을 획득하고, 상기 신뢰도 평균값이 기지정된 기준 평균값 이상인 신뢰도 평균값을 갖는 정규 클래스 신뢰도 맵을 선택하며, 선택된 정규 클래스 신뢰도 맵에서 기준 신뢰도 점수 이상인 정규 클래스 신뢰도 점수를 분석하여, 세그먼트 단위의 행동 및 시간 구간을 검출할 수 있다.
상기 행동 구간 판별부는 상기 다수의 정규 클래스 신뢰도 맵의 다수의 정규 클래스 신뢰도 점수를 세그먼트 구간별로 분석하여, 기지정된 기준 신뢰도 점수 이상인 정규 클래스 신뢰도 점수에 대응하는 행동 및 시간 구간을 검출할 수 있다.
상기 비디오 행동 인식 및 행동 구간 탐지 장치는 행동 레이블만이 주석된 학습용 비디오를 기반으로 상기 클래스 신뢰도 맵 획득부 및 상기 정규화부를 약지도 학습시키는 학습부; 를 더 포함하고, 상기 학습부는 상기 학습용 비디오에 응답하여, 상기 클래스 신뢰도 맵 획득부에서 획득되는 다수의 클래스 신뢰도 맵 각각의 클래스 신뢰도 점수의 평균을 기지정된 학습 기준 신뢰도 점수와의 비교하여 학습 오차를 획득하고, 획득된 학습 오차를 역전파하여 상기 클래스 신뢰도 맵 획득부를 약지도 학습시키고, 이후 약지도 학습된 상기 클래스 신뢰도 맵 획득부와 상기 정규화부의 총 손실(L total)을 수학식
Figure PCTKR2019004798-appb-img-000004
(여기서 L aff 는 정규화부의 유사도 행렬(A)의 유사도 손실을 나타내고, L cls 는 학습용 비디오에 주석된 행동 레이블과 다수의 정규 클래스 신뢰도 맵 사이의 클래스 손실을 나타내며, λ는 기지정된 손실 가중치를 나타낸다.)에 따라 획득하고 역전파하여 상기 클래스 신뢰도 맵 획득부와 상기 정규화부를 함께 학습시킬 수 있다.
상기 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 비디오 행동 인식 및 행동 구간 탐지 방법은 비디오의 다수 프레임을 기설정된 개수씩 프레임을 그룹화하여 다수의 세그먼트로 구분하고, 미리 학습된 패턴 추정 방식에 따라 상기 다수의 세그먼트 각각의 특징을 추출하여 다수의 세그먼트 특징맵을 획득하는 단계;
약지도 학습 방식으로 패턴 추정 방식이 미리 학습되어 상기 다수의 세그먼트 특징맵 각각이 기지정된 다수의 행동 클래스 각각에 대응하는 수준을 나타내는 클래스 신뢰도 점수를 추정하여 다수의 클래스 신뢰도 맵을 획득하는 단계; 미리 학습된 패턴 추정 방식에 따라 상기 다수의 세그먼트 특징맵 각각에 대한 특징을 추출하여 다수의 임베디드 특징맵을 추출하고, 상기 다수의 임베디드 특징맵으로부터 그래프 라플라시안 정규화 기법에 따라 정규화 행렬을 생성하는 단계; 상기 정규화 행렬을 기반으로 상기 다수의 클래스 신뢰도 맵의 클래스 신뢰도 점수에 대한 정규 클래스 신뢰도 점수를 계산하여 다수의 정규 클래스 신뢰도 맵을 획득하는 단계; 및 상기 다수의 정규 클래스 신뢰도 맵의 정규 클래스 신뢰도 점수들을 분석하여 세그먼트 단위의 행동과 행동별 시간 구간을 판별하는 단계; 를 포함한다.
따라서, 본 발명의 실시예에 따른 비디오 행동 인식 및 행동 구간 탐지 장치 및 방법은 간단한 행동 레이블만이 주석된 학습용 비디오를 이용하여 학습되어 비디오에 대한 시간적 행동 로컬라이제이션을 수행할 수 있어, 학습용 비디오를 획득하기 위한 시간적 비용적 부담을 경감할 수 있다. 또한 비디오에서 세그먼트별 특징맵을 추출하여 세그먼트별 행동 신뢰도와 동일 행동에 대한 세그먼트 간 시멘틱 유사성을 분석하여 세그먼트별 행동 신뢰도에 세그먼트 간 시멘틱 유사성을 기반으로 가중치를 적용함으로써, 시간적 일관성을 갖고 행동의 정확한 시간적 위치를 인식할 수 있다.
도 1은 본 발명의 일 실시예에 따른 비디오 행동 인식 및 행동 구간 탐지 장치의 개략적 구조를 나타낸다.
도 2는 도 1의 특징맵 획득부의 상세 구성을 나타낸다.
도 3은 클래스 신뢰도 맵 획득부에서 획득되는 클래스 신뢰도 맵의 구조를 나타낸다.
도 4는 본 실시예에 따른 비디오 행동 인식 및 행동 구간 탐지 장치가 비디오에 대한 시간적 행동 로컬라이제이션을 수행한 결과의 일예를 나타낸다.
도 5는 약지도 학습을 위한 학습용 비디오의 일예를 나타낸다.
도 6은 유사도 손실을 계산하기 위한 학습용 클래스 신뢰도 맵의 일예를 나타낸다.
도 7은 본 실시예에 따른 비디오 행동 인식 및 행동 구간 탐지 장치의 성능을 시뮬레이션한 결과를 나타낸다.
도 8은 본 발병의 일 실시예에 따른 비디오 행동 인식 및 행동 구간 탐지 방법을 나타낸다.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로써, 본 발명을 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...부", "...기", "모듈", "블록" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
도 1은 본 발명의 일 실시예에 따른 비디오 행동 인식 및 행동 구간 탐지 장치의 개략적 구조를 나타내고, 도 2는 도 1의 특징맵 획득부의 상세 구성을 나타내며, 도 3은 클래스 신뢰도 맵 획득부에서 획득되는 클래스 신뢰도 맵의 구조를 나타낸다. 그리고 도 4는 본 실시예에 따른 비디오 행동 인식 및 행동 구간 탐지 장치가 비디오에 대한 시간적 행동 로컬라이제이션을 수행한 결과의 일예를 나타낸다.
도 1을 참조하면, 본 실시예에 따른 비디오 행동 인식 및 행동 구간 탐지 장치는 특징맵 획득부(110), 클래스 신뢰도 맵 획득부(120), 정규화부(130), 정규 신뢰도 추론부(140) 및 행동 구간 판별부(150)를 포함할 수 있다.
특징맵 획득부(110)는 비디오의 다수 프레임을 그룹화하여 다수의 세그먼트로 구분하고, 구분된 다수의 세그먼트 각각에 대해 미리 학습된 패턴 추정 방식에 따라 다수의 세그먼별 특징을 추출하여 다수의 세그먼트 특징맵을 획득한다.
도 2를 참조하면, 특징맵 획득부(110)는 비디오 획득부(111), 세그먼트 구분부(112), 특징 추출부(113) 및 특징맵 버퍼부(114)를 포함할 수 있다.
비디오 획득부(111)는 시간적 행동 로컬라이제이션이 수행되어야 하는 다수 프레임의 비디오를 획득한다. 여기서 시간적 행동 로컬라이제이션은 비디오 내에 포함된 적어도 하나의 객체의 시간별 행동을 구분하는 것으로서, 객체의 행동을 인지하고, 인지된 행동의 수행되는 시간 구간을 판별하는 것을 의미한다.
세그먼트 구분부(112)는 비디오 획득부(111)에서 획득된 비디오를 인가받고, 비디오를 구성하는 다수의 프레임을 시간적 순서에 따라 기설정된 개수씩 프레임을 그룹화하여 다수(여기서는 일예로 N개)의 세그먼트(v = {v 1, v 2, ..., v N})로 구분한다. 이때 다수의 세그먼트 각각에 포함되는 프레임의 개수는 다양하게 설정될 수 있으나 여기서는 일예로 세그먼트 구분부(112)가 16개의 프레임을 하나의 세그먼트로 그룹화하는 것으로 가정한다.
특징 추출부(113)는 미리 학습된 패턴 추정 방식에 따라 학습된 인공 신경망으로 구현되어 세그먼트 구분부(112)에서 구분된 다수의 세그먼트(v) 각각의 특징을 추출하여 다수의 세그먼트 특징맵(f = {f 1, f 2, ..., f N})을 획득한다. 특징 추출부(113)는 일예로 컨볼루션 신경망(Convolutional Neural Networks)으로 구현될 수 있으며, 다수의 프레임이 포함된 세그먼트에 대해 용이하게 특징을 추출할 수 있도록 3차원 컨볼루션 신경망으로 구현될 수도 있다.
특징 추출부(113)에서 획득되는 다수의 세그먼트 특징맵(f)은 인공 신경망의 구성에 따라 다양한 차원의 행렬 형태로 획득될 수 있으나, 일예로 1차원 행렬 형태로 획득할 수 있다.
특징맵 버퍼부(114)는 다수의 세그먼트 각각에 대해 특징 추출부(113)에서 획득된 다수의 세그먼트 특징맵(f)을 저장하고, 저장된 다수의 세그먼트 특징맵(f)을 클래스 활성화부(121) 및 정규화부(130)로 전달한다.
클래스 신뢰도 맵 획득부(120)는 기지정된 다수의 행동 클래스 각각에 대해 다수의 세그먼트 특징맵(f) 각각이 대응 수준을 추정하여 다수(여기서는 일예로 C개)의 클래스 신뢰도 맵(c)을 획득하여 저장한다.
한편 클래스 신뢰도 맵 획득부(120)는 클래스 활성화부(121) 및 신뢰도 맵 저장부(122)를 포함한다.
클래스 활성화부(121)는 특징맵 획득부(110)로부터 다수의 세그먼트 특징맵(f)을 인가받고, 다수의 세그먼트 특징맵(f)으로부터 다수의 클래스 신뢰도 맵을 획득한다. 여기서 다수의 클래스 신뢰도 맵 각각은 비디오에 레이블되는 다수의 행동 클래스(c = {c 1, c 2, ..., c C})에 대응하며, 다수의 세그먼트 특징맵(f)이 다수의 행동 클래스 각각에 대응하는 수준을 나타내는 클래스 신뢰도 점수(s c)가 포함된 맵을 의미한다. 여기서 다수의 클래스 신뢰도 맵 각각은 학습 시에 비디오에 레이블되는 행동 중 하나에 대응한다. 예를 들어, 학습 시에 비디오에 레이블되는 행동이 다이빙, 마라톤, 사이클, 축구의 4개인 경우, 4개의 클래스 신뢰도 맵 이 각각 다이빙, 마라톤, 사이클, 축구에 대응할 수 있다. 그리고 다수의 클래스 신뢰도 맵 각각에는 다수의 세그먼트 특징맵(f)각각이 해당 행동에 대응할 확률을 나타내는 신뢰도 점수가 포함된다.
즉 클래스 활성화부(121)는 도 3에 도시된 바와 같이, N개의 세그먼트(v 1, v 2, ..., v N) 각각이 C개의 행동 클래스 레이블(c = {c 1, c 2, ..., c C}) 각각에 대응하는 수준을 신뢰도 점수로서 획득하는 것으로 볼 수 있다.
여기서 클래스 활성화부(121)는 약지도 학습에 의해 패턴 추정 방식이 미리 학습된 인공 신경망으로 구현되어 세그먼트 특징맵(f)의 행동 클래스 각각에 대한 클래스 신뢰도 점수(s c)를 추출할 수 있다. 일예로 클래스 활성화부(121)는 다수의 완전 연결 레이어(Fully connected layer)와 적어도 하나의 활성화 함수 레이어(Activation function layer)를 포함하는 인공 신경망으로 구현될 수 있으며, 활성화 함수 레이어는 일예로 시그모이드(sigmoid) 함수로 구현될 수 있다. 다수의 완전 연결 레이어는 입력된 세그먼트 특징맵(f)의 패턴을 추정하여 C개의 행동 클래스(c) 각각에 대한 클래스 신뢰도 점수(s c)를 추출하고, 시그모이드 함수는 다수의 완전 연결 레이어에서 추출된 신뢰도가 기지정된 범위(예를 들면, 0 ~ 1) 이내의 값이 되도록 전환하여 출력한다.
클래스 활성화부(121)가 2개의 완전 연결 레이어(FC1, FC2)와 시그모이드(sigmoid) 함수를 포함하는 경우, 클래스 활성화부(121)는 수학식 1에 따라 행동클래스(c)에서 t번째 세그먼트(v t)의 행동 클래스 신뢰도 점수(s t c)를 획득할 수 있다.
Figure PCTKR2019004798-appb-img-000005
여기서 w c(k)는 행동 클래스(c)에 대한 최종 완전 연결 레이어(제2 완전 연결 레이어(FC2))의 k번째 가중치(w)를 나타내고, σ(ㅇ)는 활성화 함수 레이어의 시그모이드 함수를 나타낸다.
수학식 1에 따르면, 클래스 활성화부(121)의 제2 완전 연결 레이어(FC2)는 t번째 세그먼트 특징맵(f t)에 대한 제1 완전 연결 레이어(FC1)의 출력(f fc1,t)을 인가받아 C개의 행동 클래스(c) 각각에 대한 클래스 신뢰도를 추출한다. 그리고 활성화 함수 레이어의 시그모이드 함수는 제2 완전 연결 레이어(FC2)에서 추출된 행동 클래스 신뢰도 점수(s t c)를 기지정된 범위 이내의 값으로 전환하여 출력한다.
한편, 정규화부(130)는 특징맵 획득부(110)로부터 다수의 세그먼트 특징맵(f)을 인가받아 다수의 세그먼트 특징맵(f) 각각에 대한 특징을 추출하고, 추출된 다수의 세그먼트 특징맵(f)의 특징인 임베디드 특징맵으로부터 다수의 세그먼트(v) 사이의 시멘틱 유사성(semantic affinity)을 나타내는 유사도 행렬을 생성한다.
일반적으로 비디오에서 객체의 행동은 시간적 연속성을 갖고 수행되므로, 연속되는 다수의 세그먼트(v)에서 객체가 동일한 행동을 수행할 가능성이 높다. 따라서 다수의 클래스 신뢰도 맵 각각에서 동일한 행동이 수행되고 있는 기간에 대응하는 세그먼트들에 대한 클래스 신뢰도 점수는 유사하게 나타나야 한다. 즉 특정 행동이 수행되는 시간 구간에서의 클래스 신뢰도 점수 서로 유사하게 나타나야 하는 반면, 다른 구간에서의 클래스 신뢰도 점수는 상이하게 나타나야 한다.
그러나 클래스 활성화부(121)에서 획득되는 클래스 신뢰도 맵은 단지 다수의 행동 클래스(c)에 대해 각 세그먼트가 대응하는 수준만을 판별한다. 즉 시간적 변화에 따른 행동의 연속성에 따른 클래스 신뢰도 점수의 유사도를 고려하지 않아, 비디오에 포함된 객체의 행동에 시간 구간을 식별하기에 최적화되어 있지 않다.
이에 정규화부(130)는 세그먼트 특징맵(f)들이 서로 유사하면, 클래스 신뢰도 맵의 클래스 신뢰도 또한 서로 유사하게 추출되어야 한다는 전제로부터 세그먼트 특징맵(f)의 특징을 추출하여 특징 유사도 공간(feature affinity space)에 투영하고, 특징 유사도 공간에 투영된 세그먼트 특징맵(f)의 특징 사이의 거리를 기반으로 세그먼트 특징맵(f) 사이의 유사도를 판별하여 유사도 행렬을 생성하고, 유사도 행렬을 기반으로 정규화 행렬을 생성한다.
정규화부(130)는 임베디드 특징맵 추출부(131) 및 정규화 행렬 생성부(132)를 포함할 수 있다.
임베디드 특징맵 추출부(131)는 특징맵 획득부(110)로부터 다수의 세그먼트 특징맵(f)을 인가받고, 인가된 다수의 세그먼트 특징맵(f)에 대해 미리 학습된 패턴 추출 방식에 따라 특징을 다시 추출하여 임베디드 특징맵(e)을 추출한다.
여기서 임베디드 특징맵 추출부(131)는 미리 학습된 인공 신경망으로 구현될 수 있으며, 일예로 특징 추출부(113)와 유사하게 다수의 컨볼루션 레이어를 포함하는 컨볼루션 신경망으로 구현될 수 있다.
임베디드 특징맵 추출부(131)는 다수의 세그먼트(v) 사이의 시멘틱 유사성을 고려하기 위해, 수학식 2에 따라 다수의 세그먼트 특징맵(f)에서 특징을 추출하여 임베디드 특징맵(e)을 획득한다.
Figure PCTKR2019004798-appb-img-000006
수학식 2에서 w는 입력되는 세그먼트 특징맵(f)의 특징을 특징 유사도 공간에 투영하기 위한 매개변수로 인공 신경망(F)의 가중치이다.
수학식 2에 의해 다수의 세그먼트 특징맵(f)이 특징 유사도 공간에 투영되어 임베디드 특징맵(e)이 획득된다. 이때 임베디드 특징맵 추출부(131)는 세그먼트 특징맵(f)과 동일 차원에서 원소의 개수가 줄여 특징을 추출할 수 있다. 일예로, 다수의 세그먼트 특징맵(f) 각각이 1024개의 원소를 갖는 1차원 행렬 형태로 획득된 경우, 다수의 임베디드 특징맵(e) 각각은 128개의 원소를 갖는 1차원 행렬 형태로 획득될 수 있다. 즉 1024개의 세부적인 특징을 갖는 다수의 세그먼트 특징맵(f) 각각을 128개의 개략적 특징을 갖는 다수의 임베디드 특징맵(e)으로 획득될 수 있다.
임베디드 특징맵 추출부(131)는 적어도 하나의 컨볼루션 레이어와 적어도 하나의 활성화 함수 레이어를 포함하는 컨볼루션 신경망으로 구현될 수 있으며, 여기서 활성화 함수 레이어는 일예로 ReLU 레이어로 구현될 수 있다.
정규화 행렬 생성부(132)는 그래프 라플라시안 정규화 기법에 따라 다수의 임베디드 특징맵(e)으로부터 정규화 행렬인 그래프 라플라시안 행렬(L)을 획득한다.
그래프 라플라시안 정규화 기법은 다수의 결절점(vertex)이 있는 적절한 인접 그래프(neighborhood graph)(G)가 주어지면, 높은 친화성으로 연결된 최적의 클래스 신뢰도 점수는 인접 그래프(G)에 대해 매끄럽게 변화하는 값을 갖는다는 가정에 따라 클래스 신뢰도 점수를 정규화하기 위한 그래프 라플라시안 행렬(L)을 획득하는 기법이다.
정규화 행렬 생성부(132)는 우선 임베디드 특징맵 추출부(131)에서 추출된 다수의 임베디드 특징맵(e)으로부터 에지 가중치(w)를 원소로 포함하는 유사도 행렬(affinity matrix)(
Figure PCTKR2019004798-appb-img-000007
)을 획득한다. 여기서 정규화 행렬 생성부(132)는 다수의 임베디드 특징맵(e)에서 2개의 임베디드 특징맵(e i, e j)들 사이의 에지 가중치(w ij)를 수학식 3 에 따라 획득한다.
Figure PCTKR2019004798-appb-img-000008
여기서 ε는 특징 유사도 공간에서 임베디드 특징맵(e i, e j)들 사이의 거리에 대한 감도를 조절하기 위한 상수로 미리 지정된다.
수학식 3에 따르면, 특징 유사도 공간에서 2개의 임베디드 특징맵(e i, e j) 사이의 거리가 가까우면, 즉 2개의 세그먼트 특징맵(f i, f j)이 유사하면, 에지 가중치(w ij)가 증가하고, 2개의 임베디드 특징맵(e i, e j) 사이의 거리가 멀면, 즉 2개의 세그먼트 특징맵(f i, f j)이 서로 상이하면, 에지 가중치(w ij)가 감소한다.
또한 정규화 행렬 생성부(132)는 대각 행렬(diagonal matrix)로서 i번째 대각 원소(diagonal entry)가
Figure PCTKR2019004798-appb-img-000009
로 계산되는 정도 행렬(degree matrix)(D)을 획득한다. 그리고 정규화 행렬 생성부(132)는 정도 행렬(D)에서 유사도 행렬(A)을 차감하여, 정규화 행렬인 그래프 라플라시안 행렬(L = D - A)을 획득한다.
결과적으로 그래프 라플라시안 행렬(L)은 다수의 세그먼트 특징맵(f) 각각에 대해 다른 세그먼트 특징맵과의 유사도를 원소로 갖게 되며, 세그먼트 특징맵(f)이 N개인 경우, 그래프 라플라시안 행렬(L)은 N × N 행렬로 획득된다.
정규 신뢰도 추론부(140)는 클래스 신뢰도 맵 획득부(120)로부터 기지정된 다수의 행동 클래스 각각에 대응하여 다수의 세그먼트 특징맵(f)의 클래스 신뢰도 점수(s c)가 포함된 다수의 클래스 신뢰도 맵을 인가받고, 정규화부(130)로부터 다수의 세그먼트 특징맵(f) 사이의 유사도를 나타내는 정규화 행렬인 그래프 라플라시안 행렬(L)을 인가받는다.
그리고 클래스 신뢰도 점수(s c)와 그래프 라플라시안 행렬(L)을 이용하여 정규 클래스 신뢰도 점수(s *c)를 획득한다.
정규 신뢰도 추론부(140)는 클래스 신뢰도 점수(s c)로부터 그래프 라플라시안 행렬(L)에 대한 최적의 클래스 신뢰도 점수(
Figure PCTKR2019004798-appb-img-000010
)를 탐색해야 한다. 그리고 최적 클래스 신뢰도 점수(
Figure PCTKR2019004798-appb-img-000011
)를 획득하기 위해서는 MAP(a maximum a posteriori) 문제를 해결해야 한다. MAP 문제는 수학식 4와 같이 공식화 될 수 있다.
Figure PCTKR2019004798-appb-img-000012
여기서
Figure PCTKR2019004798-appb-img-000013
는 클래스(c)에 대한 클래스 신뢰도 점수(벡터)(s c)와 리파인 클래스 신뢰도 점수(벡터)(
Figure PCTKR2019004798-appb-img-000014
) 사이의 차를 계산하는 l 2-놈(l 2-norm) 함수이고, 나머지는 하이퍼 파라미터(μ)를 갖는 그래프 라플라시안 정규 표현이다.
다만 수학식 4로 공식화되는 MAP 문제에서 최적 클래스 신뢰도 점수(
Figure PCTKR2019004798-appb-img-000015
)를 획득하는 것은 용이하지 않으므로, 정규 신뢰도 추론부(133)는 수학식 4를 수학식 5와 같이 선형 방정식의 역 시스템 문제로 재구성하여, 정규 클래스 신뢰도 점수(s *c)를 획득한다.
Figure PCTKR2019004798-appb-img-000016
(여기서 I는 항등 행렬이고, μ는 기지정된 하이퍼 파라미터이다.)
수학식 5에서 그래프 라플라시안 행렬(L)이 클래스에 무관하기 때문에 정규 클래스 신뢰도 점수(s *c)는 다수의 세그먼트 특징맵(f) 사이의 시멘틱 유사도에 의해서 획득된다. 즉 정규 신뢰도 추론부(140)는 다수의 클래스 신뢰도 맵 각각의 클래스 신뢰도 점수(s c)를 그래프 라플라시안 행렬(L)에 따라 정규화함으로써, 유사성이 높은 세그먼트 특징맵(f)들의 클래스 신뢰도 점수(s c)가 서로 유사하게 되도록 조절하여 정규 클래스 신뢰도 점수(s *c)가 포함된 다수의 정규 클래스 신뢰도 맵을 출력한다.
행동 구간 판별부(150)는 정규 신뢰도 추론부(140)에서 정규화된 다수의 정규 클래스 신뢰도 맵을 인가받고, 다수의 정규 클래스 신뢰도 맵의 정규 클래스 신뢰도 점수(s *c)들을 분석한다. 그리고 분석 결과로 비디오의 세그먼트별 대표 행동 클래스를 선택하여, 각 세그먼트에서의 대표 행동을 판별할 수 있다. 즉 비디오의 특정 시간에서 객체가 수행하는 행동을 판별할 수 있다. 또한 비디오에서 특정 행동이 수행되는 시간 구간을 세그먼트 단위로 정확하게 검출할 수 있다.
여기서 행동 구간 판별부(150)는 다수의 세그먼트 각각에서 정규 클래스 신뢰도 점수(s t *c)가 가장 높은 하나의 대표 행동을 선택할 수도 있으나, 경우에 따라서는 기지정된 기준 신뢰도 점수 이상인 모든 정규 클래스 신뢰도 점수(s *c)에 대응하는 행동을 선택할 수도 있다.
또한 행동 구간 판별부(150)는 다수의 정규 클래스 신뢰도 맵 각각의 정규 클래스 신뢰도 점수(s *c)에 대한 시간 평균 풀링(time average pooling)를 수행하여 신뢰도 평균값을 획득할 수 있다. 그리고 각각의 다수의 정규 클래스 신뢰도 맵의 신뢰도 평균값이 획득되면, 기지정된 기준 평균값 이상인 신뢰도 평균값을 갖는 정규 클래스 신뢰도 맵을 선택하고, 선택된 정규 클래스 신뢰도 맵에서 기준 신뢰도 점수 이상인 정규 클래스 신뢰도 점수(s *c)를 다시 분석하여 각 시간 구간별 행동을 검출할 수도 있다. 즉 비디오에서 전체적으로 해당 행동이 포함된 가능성을 먼저 분석하여 해당 행동이 포함된 것으로 판별되면, 세그먼트 단위의 시간 구간을 다시 검출할 수 있다.
상기와 같이 신뢰도 평균값을 획득하여 정규 클래스 신뢰도 맵을 우선 선택한 후, 다시 선택된 정규 클래스 신뢰도 맵에서 각 시간 구간별 행동을 검출하는 경우, 비디오의 세그먼트에 의도하지 않은 행동이 검출되는 것을 방지할 수 있다.
특히 행동 구간 판별부(150)는 도 4에 도시된 바와 같이, 비디오에서 선택된 적어도 하나의 행동 클래스가 나타나는 시간 구간을 함께 출력할 수 있다. 즉 비디오를 시간적 행동 로컬라이제이션하여 각 행동의 시작 시간(s 1 c, s 2 c, s 3 c)과 종료 시간(e 1 c, e 2 c, e 3 c)을 출력할 수 있다.
한편, 비디오 행동 인식 및 행동 구간 탐지 장치는 학습부(160)를 더 포함할 수 있다. 학습부(160)는 인공 신경망이 포함되는 클래스 신뢰도 맵 획득부(120) 및 정규화부(130)를 학습시키기 위한 구성으로, 비디오 행동 인식 및 행동 구간 탐지 장치의 학습 과정에서 이용되며, 학습이 완료된 이후에는 제거 될 수 있다.
본 실시예에서 특징맵 획득부(110) 또한 인공 신경망을 포함하여 구현되지만, 특징맵 획득부(110)가 세그먼트(v)로부터 세그먼트 특징맵(f)을 획득하기 위한 학습 기법은 공지된 기술이므로, 특징맵 획득부(110)는 기존의 패턴 추정 방식에 따라 미리 학습되어 다수의 세그먼트 특징맵(f)을 획득할 수 있다. 따라서 여기서는 특징맵 획득부(110)의 학습 방식은 별도로 설명하지 않는다.
학습부(160)는 단순한 행동 레이블만이 주석된 학습용 비디오를 기반으로 클래스 신뢰도 맵 획득부(120) 및 정규화부(130)를 약지도 학습(weakly-supervised learning) 방식으로 학습시킨다.
도 5는 약지도 학습을 위한 학습용 비디오의 일예를 나타내고, 도 6은 유사도 손실을 계산하기 위한 학습용 클래스 신뢰도 맵의 일예를 나타낸다.
본 실시에에서 단순 행동 레이블만이 주석된 학습용 비디오는 시간 구간이나 행동 영역에 대한 별도의 주석 없이 비디오 전체에 대해 행동 레이블만이 제공되는 비디오를 의미한다. 일예로, 본 실시예에서 학습용 비디오에는 도 5에 도시된 바와 같이 다이빙, 테니스 스윙 또는 사이클링, 워킹, 러닝, 골프 등과 같이 단순히 객체의 행동만이 주석으로 제공되며, 객체의 위치 영역이나, 객체가 행동을 수행하는 시간 구간 등에 대해서는 별도의 주석이 제공되지 않는다.
이러한 비디오에 주석된 간단한 행동 레이블을 기반으로 학습을 수행하는 방식을 비디오의 객체 영역에 대한 주석과 각 행동에 대한 시간 구간의 주석이 모두 함께 제공되어 학습을 수행하는 완전 지도 학습 방식과 구분하여 약지도 학습이라 한다.
약지도 학습의 경우, 완전 지도 학습과 달리 행동 각각에 대한 시간적 경계를 수작업으로 주석 처리할 필요가 없으므로, 대량의 학습용 비디오를 저비용으로 용이하게 제작할 수 있다는 장점이 있다. 또한 학습 시에 작업자의 주관에 따라 상이할 수 있는 행동의 시간적 경계를 제공하지 않고 인공 신경망이 스스로 학습할 수 있도록 함으로써, 비디오 행동 인식 및 행동 구간 탐지 장치가 부정확하게 학습되는 것을 방지할 수 있다.
본 실시예에서 학습부(160)는 학습 시에 우선 클래스 신뢰도 맵 획득부(120)를 약지도 학습시킨다. 이때 학습부(160)는 클래스 신뢰도 맵 획득부(120)를 우선 학습시키기 위해, 정규화부(130)를 비활성화 할 수 있다. 그리고 클래스 신뢰도 맵 획득부(120)의 학습 시에 비디오 행동 인식 및 행동 구간 탐지 장치에는 도 5에 도시된 바와 같이, 객체의 단일 행동이 포함되고 행동 레이블만이 주석된 학습용 비디오가 입력된다.
학습부(160)는 학습용 비디오에 대해 클래스 신뢰도 맵 획득부(120)가 획득한 다수의 클래스 신뢰도 맵 각각의 클래스 신뢰도 점수(s c)를 인가받아 분석하여 학습 오차를 역전파함으로써, 클래스 신뢰도 맵 획득부(120)를 학습 시킬 수 있다. 일예로 학습부(160)는 다수의 클래스 신뢰도 맵 각각의 클래스 신뢰도 점수(s c)를 기지정된 학습 기준 신뢰도 점수와의 비교하여 학습 오차를 획득할 수 있다.
도 5에 도시된 바와 같이, 학습용 비디오는 단일 행동이 포함된 비디오로 구성되므로, 클래스 신뢰도 맵 획득부(120)에서 비디오에 포함된 행동에 대응하는 클래스 신뢰도 맵의 클래스 신뢰도 점수(s c)는 기지정된 학습 기준 신뢰도 점수 이상으로 획득되어야 하는 반면, 나머지 클래스 신뢰도 맵의 클래스 신뢰도 점수(s c)는 학습 기준 신뢰도 점수 미만으로 획득되어야 한다.
따라서 학습부(160)는 각 클래스 신뢰도 맵의 클래스 신뢰도 점수(s c)와 학습 기준 신뢰도 점수를 비교하여 용이하게 학습 오차를 용이하게 획득하고, 획득된 학습 오차를 역전파하여 클래스 신뢰도 맵 획득부(120)를 학습시킬 수 있다.
또한 학습부(160)는 각 클래스 신뢰도 맵의 클래스 신뢰도 점수(s c)에 대해 시간 평균 풀링을 수행하여, 평균 신뢰도 점수를 획득하고, 획득된 평균 신뢰도 점수가 기지정된 평균 학습 기준 신뢰도 점수와 비교하여 학습 오차를 획득할 수도 있다.
학습부(160)는 클래스 신뢰도 맵 획득부(120)가 약지도 학습 방식으로 우선 학습되면, 우선 학습된 클래스 신뢰도 맵 획득부(120)에서 획득되는 다수의 클래스 신뢰도 맵을 기반으로 클래스 신뢰도 맵 획득부(120)와 정규화부(130)를 학습시킨다.
클래스 신뢰도 맵 획득부(120)와 정규화부(130)를 모두 학습시키는 경우, 학습부(160)는 정규화부(130)를 활성화한다. 그리고 학습부(160)는 수학식 6의 손실 함수에 따라 총 손실(L total)을 계산하고, 계산된 총 손실(L total)을 역전파함으로써, 클래스 신뢰도 맵 획득부(120)와 정규화부(130)를 학습시킨다.
Figure PCTKR2019004798-appb-img-000017
여기서 L total 은 비디오 행동 인식 및 행동 구간 탐지 장치의 전체 손실을 나타내고, L aff 는 유사도 행렬(A)의 유사도 손실을 나타내며, L cls 는 학습용 비디오에 주석된 행동 레이블과 다수의 정규 클래스 신뢰도 맵 사이의 클래스 손실을 나타낸다. 그리고 λ는 기지정된 손실 가중치이다.
수학식 6에서 유사도 손실(L aff)은 약지도 학습된 클래스 신뢰도 맵 획득부(120)에서 획득되는 다수의 클래스 신뢰도 맵을 기반으로 획득될 수 있다.
학습부(160)는 유사도 손실(L aff)을 획득하기 위해, 클래스 신뢰도 맵 획득부(120)에서 획득된 다수의 클래스 신뢰도 맵을 인가받아 도 6과 같은 학습용 클래스 신뢰도 맵을 생성한다.
학습부(160)는 다수의 클래스 신뢰도 맵에서 세그먼트 단위로 가장 큰 클래스 신뢰도 점수를 획득하고, 획득된 클래스 신뢰도 점수들을 조합하여 학습용 클래스 신뢰도 맵을 생성한다. 즉 다수의 클래스 신뢰도 맵에서 특정 시간의 세그먼트에 대한 클래스 신뢰도 점수들 중 가장 큰 값을 갖는 클래스 신뢰도 점수를 추출하여, 학습용 클래스 신뢰도 맵의 클래스 신뢰도 점수로 포함시킨다. 이때, 학습부(160)는 수학식 7에 따라 획득된 클래스 신뢰도 점수에 대응하는 클래스 신뢰도 맵의 레이블을 학습용 클래스 신뢰도 맵의 임시 클래스 레이블(z t)로 할당한다.
Figure PCTKR2019004798-appb-img-000018
수학식 7에 따르면, 학습부(160)는 다수의 클래스 신뢰도 맵에서 특정 시간의 세그먼트들 중 최대 클래스 신뢰도 점수를 갖는 세그먼트가 포함된 클래스 신뢰도 맵(c)의 레이블을 임시 클래스 레이블(z t)로 획득하여 할당한다.
따라서 학습용 클래스 신뢰도 맵에서는 세그먼트 단위로 임시 클레스 레이블이 가변될 수 있다.
그리고 획득된 학습용 클래스 신뢰도 맵에 대해 기지정된 방식으로 상위 기준 신뢰도 점수(τ h)와 하위 기준 신뢰도 점수(τ l)를 설정한다. 여기서 상위 기준 신뢰도 점수(τ h)는 해당 세그먼트에 대응하는 행동이 포함되었는지 여부를 판별하는 기준 신뢰도 점수로 설정될 수 있으나, 기준 신뢰도 점수와 별도로 설정될 수도 있다. 하위 기준 신뢰도 점수(τ l)는 해당 세그먼트에 대응하는 행동이 포함되지 않았음을 판별하는 기준이 될 수 있다.
상위 및 하위 기준 신뢰도 점수(τ h, τ l)가 설정되면, 학습부(160)는 학습용 클래스 신뢰도 맵의 다수의 세그먼트들 중 상위 기준 신뢰도 점수(τ h) 이상 또는 하위 기준 신뢰도 점수(τ l) 이하인 클래스 신뢰도 점수들 사이의 유사도를 나타내는 의사 유사도 행렬(A *)을 수학식 8에 따라 생성한다.
Figure PCTKR2019004798-appb-img-000019
도 6을 참조하면, 학습부(160)는 학습용 클래스 신뢰도 맵에서 상위 기준 신뢰도 점수(τ h) 이상이거나, 하위 기준 신뢰도 점수(τ h) 이하인 클래스 신뢰도 점수들이 서로 동일한 임시 클래스 레이블(z t)을 가지면 1을 할당하고, 서로 다른 임시 클래스 레이블(z t)을 가지면 0을 할당하여, 의사 유사도 행렬(A *)을 생성한다. 이때, 학습부(160)는 상위 기준 신뢰도 점수(τ h)와 하위 기준 신뢰도 점수(τ l) 사이의 클래스 신뢰도 점수들에 대한 유사도는 판별하지 않는다. 즉 유사도 판별 대상이 되는 2개의 클래스 신뢰도 점수 중 적어도 하나가 상위 기준 신뢰도 점수(τ h)와 하위 기준 신뢰도 점수(τ l) 사이의 클래스 신뢰도 점수이면, 유사도를 판별하지 않는다.
수학식 8에 따라 의사 유사도 행렬(A *)이 획득되면, 학습부(160)는 정규화부(130)에서 획득된 유사도 행렬(A)과 의사 유사도 행렬(A *)을 이용하여 수학식 9에 따라 유사도 손실(L aff)을 획득한다.
Figure PCTKR2019004798-appb-img-000020
여기서 N(i)는 세그먼터(v i)에 대한 시멘틱 이웃(semantic neighborhood)을 의미한다.
한편 학습부(160)는 정규 신뢰도 추론부(140)에서 획득되는 정규 클래스 신뢰도 점수(s *c)를 합산하여 비디오 레벨 점수 벡터(
Figure PCTKR2019004798-appb-img-000021
)를 획득하고, 획득된 비디오 레벨 점수 벡터(
Figure PCTKR2019004798-appb-img-000022
)와 학습용 비디오에 주석되는 행동 레이블(y c) 사이의 표준 다중 레이블 교차 엔트로피 손실(standard multi-label cross-entropy loss)을 수학식 10에 따라 계산하여 클래스 손실(L cls)을 획득할 수 있다.
Figure PCTKR2019004798-appb-img-000023
학습부(160)는 유사도 손실(L aff)과 클래스 손실(L cls)이 획득되면, 수학식 6에 따라 총 손실(L total)을 획득하고, 획득된 총 손실(L total)을 역전파함으로써, 클래스 신뢰도 맵 획득부(120)와 정규화부(130)를 학습시킨다.
도 7은 본 실시예에 따른 비디오 행동 인식 및 행동 구간 탐지 장치의 성능을 시뮬레이션한 결과를 나타낸다.
도 7에서 w/o GR, FE는 정규화부(130)를 비활성화한 하여 시간 행동 로컬라이제이션을 수행한 경우를 나타내고, w/o FE는 정규화부(130)에서 임베디드 특징맵 추출부(131)를 제외하여 임베디드 특징맵(e)을 추출하지 않고, 정규화를 수행하여 시간 행동 로컬라이제이션을 수행한 경우를 나타낸다. 그리고 score는 본 실시예에 따른 시간 행동 로컬라이제이션을 수행한 경우를 나타낸다.
그리고 Detection은 본 실시예에 따른 비디오 행동 인식 및 행동 구간 탐지 장치가 행동을 검출한 시간 구간을 나타내며, Ground Truth는 비디오에 실제 포함된 행동들의 시간 구간을 나타낸다.
도 7에 도시된 바와 같이, 본 실시예에 따른 비디오 행동 인식 및 행동 구간 탐지 장치는 임베디드 특징맵(e)을 추출하고 정규화함으로써, 상대적으로 정확하게 시간 행동 로컬라이제이션을 수행할 수 있음을 확인할 수 있다.
도 8은 본 발병의 일 실시예에 따른 비디오 행동 인식 및 행동 구간 탐지 방법을 나타낸다.
도 8을 참조하면, 본 실시예에 따른 비디오 행동 인식 및 행동 구간 탐지 방법은 우선 학습부(160)가 클래스 신뢰도 맵 획득부(120) 및 정규화부(130)를 학습시킨다.
먼저 클래스 신뢰도 맵 획득부(120)가 약지도 학습된다(S11). 학습부(160)는 클래스 신뢰도 맵 획득부(120)를 약지도 학습시키기 위해, 정규화부(130)를 비활성화 시킬 수 있다. 그리고 학습부(160)는 객체의 단일 행동이 포함되고 행동 레이블만이 주석된 학습용 비디오에 대해 클래스 신뢰도 맵 획득부(120)로부터 획득된 다수의 클래스 신뢰도 맵 각각의 클래스 신뢰도 점수(s c)를 기지정된 학습 기준 신뢰도 점수와의 비교하여 학습 오차를 획득하고, 획득된 학습 오차를 클래스 신뢰도 맵 획득부(120)로 역전파하여 클래스 신뢰도 맵 획득부(120)를 약지도 학습 시킬 수 있다.
이때, 학습부(160)는 다수의 클래스 신뢰도 맵 각각의 클래스 신뢰도 점수(s c)의 시간 평균인 평균 신뢰도 점수를 획득하고, 획득된 평균 신뢰도 점수가 기지정된 평균 학습 기준 신뢰도 점수와 비교하여 학습 오차를 획득할 수도 있다.
학습부(160)는 클래스 신뢰도 맵 획득부(120)가 약지도 학습되면, 클래스 신뢰도 맵 획득부(120)와 함께 정규화부(130)를 학습시킨다(S12).
학습부(160)는 유사도 손실(L aff)과 클래스 손실(L cls)을 획득하고, 수학식 6 에 따라 총 손실(L total)을 계산하여 역전파함으로써 클래스 신뢰도 맵 획득부(120)와 정규화부(130)를 함께 학습시킬 수 있다. 여기서 유사도 손실(L aff)은 정규화부(130)에 대한 손실이고, 클래스 손실(L cls)은 클래스 신뢰도 맵 획득부(120)와 정규화부(130)의 공동 손실이다.
유사도 손실(L aff)을 획득하기 위해, 학습부(160)는 약지도 학습된 클래스 신뢰도 맵 획득부(120)에서 획득되는 다수의 클래스 신뢰도 맵에서 세그먼트 단위로 최대값을 갖는 클래스 신뢰도 점수를 선택하여 조합함으로써, 학습용 클래스 신뢰도 맵을 생성하고, 학습용 클래스 신뢰도 맵의 각 클래스 신뢰도 점수에 대해 대응하는 임시 클래스 레이블을 수학식 7과 같이 할당한다.
학습용 클래스 신뢰도 맵에 대해 상위 기준 신뢰도 점수(τ h)와 하위 기준 신뢰도 점수(τ l)를 설정하여, 상위 기준 신뢰도 점수(τ h) 이상 또는 하위 기준 신뢰도 점수(τ l) 이하인 클래스 신뢰도 점수들 사이의 유사도를 나타내는 의사 유사도 행렬(A *)을 수학식 8에 따라 생성한다.
의사 유사도 행렬(A *)이 획득되면, 학습부(160)는 유사도 행렬(A)과 의사 유사도 행렬(A *)을 이용하여 수학식 9에 따라 유사도 손실(L aff)을 획득한다.
한편, 학습부(160)는 정규 신뢰도 추론부(140)에서 획득되는 정규 클래스 신뢰도 점수(s *c)를 합산하여 비디오 레벨 점수 벡터(
Figure PCTKR2019004798-appb-img-000024
)를 획득하고, 획득된 비디오 레벨 점수 벡터(
Figure PCTKR2019004798-appb-img-000025
)와 학습용 비디오에 주석되는 행동 레이블(y c) 사이의 표준 다중 레이블 교차 엔트로피 손실을 수학식 10에 따라 계산하여 클래스 손실(L cls)을 획득한다.
학습부(160)는 유사도 손실(L aff)과 클래스 손실(L cls)을 획득하고, 수학식 6 에 따라 총 손실(L total)을 계산하여 역전파함으로써 클래스 신뢰도 맵 획득부(120)와 정규화부(130)를 함께 학습시킬 수 있다.
유사도 손실(L aff)과 클래스 손실(L cls)이 획득되면, 학습부(160)는 총 손실(L total)을 계산하여 역전파한다.
클래스 신뢰도 맵 획득부(120)와 정규화부(130)에 대한 학습이 되면, 비디오 행동 인식 및 행동 구간 탐지 장치는 비디오를 인가받아 시간적 행동 로컬라이제이션을 수행한다.
시간적 행동 로컬라이제이션을 수행하는 경우, 비디오 행동 인식 및 행동 구간 탐지 장치의 특징맵 획득부(110)가 우선 인가된 비디오의 다수 프레임을 시간적 순서에 따라 기설정된 개수씩 프레임을 그룹화하여 다수의 세그먼트로 구분하고, 미리 학습된 패턴 추정 방식에 따라 구분된 다수의 세그먼트 각각의 특징을 추출하여 다수의 세그먼트 특징맵을 획득한다(S21).
그리고 클래스 신뢰도 맵 획득부(120)는 미리 학습된 패턴 추정 방식에 따라 다수의 세그먼트 특징맵 각각이 기지정된 다수의 행동 클래스 각각에 대응하는 수준을 나타내는 클래스 신뢰도 점수(s c)를 추정하여 다수의 클래스 신뢰도 맵을 획득한다(S22).
한편, 정규화부(130)는 미리 학습된 패턴 추정 방식에 따라 다수의 세그먼트 특징맵 각각에 대한 특징을 추출하여 다수의 임베디드 특징맵(e)을 추출한다(S23). 그리고 추출된 다수의 임베디드 특징맵(e)으로부터 그래프 라플라시안 정규화 기법에 따라 그래프 라플라시안 행렬인 정규화 행렬(L)을 생성한다(S24).
정규화부(130)는 세그먼트 특징맵 사이의 유사도를 나타내는 유사도 행렬(A)을 수학식 3에 따라 획득하고, 대각 행렬인 정도 행렬(D)을 획득하여 정도 행렬(D)에서 유사도 행렬(A)을 차감함으로써, 정규화 행렬(L)을 생성할 수 있다.
정규 신뢰도 추론부(140)는 정규화 행렬(L)을 기반으로 수학식 5에 따라 다수의 클래스 신뢰도 맵의 클래스 신뢰도 점수(s c)에 대한 정규 클래스 신뢰도 점수(s *c)를 계산하여 다수의 정규 클래스 신뢰도 맵을 획득한다(S25).
다수의 정규 클래스 신뢰도 맵이 획득되면, 행동 구간 판별부(150)는 다수의 정규 클래스 신뢰도 맵의 정규 클래스 신뢰도 점수(s *c)들을 분석하여 세그먼트 단위의 행동과 행동별 시간 구간을 판별한다. 즉 입력된 비디오에 대한 시간적 행동 로컬라이제이션을 수행한다.
이때, 행동 구간 판별부(150)는 세그먼트 단위로 정규 클래스 신뢰도 점수(s t *c)가 가장 높은 하나의 대표 행동을 선택하거나, 기지정된 기준 신뢰도 점수 이상인 다수의 행동을 선택할 수 있다.
또한 다수의 정규 클래스 신뢰도 맵의 신뢰도 평균값을 획득하고, 기지정된 기준 평균값 이상인 신뢰도 평균값을 갖는 정규 클래스 신뢰도 맵을 선택하여 선택된 정규 클래스 신뢰도 맵에서 기준 신뢰도 점수 이상인 정규 클래스 신뢰도 점수(s *c)를 다시 분석하여 각 시간 구간별 행동을 검출할 수도 있다.
본 발명에 따른 방법은 컴퓨터에서 실행 시키기 위한 매체에 저장된 컴퓨터 프로그램으로 구현될 수 있다. 여기서 컴퓨터 판독가능 매체는 컴퓨터에 의해 액세스 될 수 있는 임의의 가용 매체일 수 있고, 또한 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함하며, ROM(판독 전용 메모리), RAM(랜덤 액세스 메모리), CD(컴팩트 디스크)-ROM, DVD(디지털 비디오 디스크)-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등을 포함할 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.
따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (15)

  1. 비디오의 다수 프레임을 기설정된 개수씩 프레임을 그룹화하여 다수의 세그먼트로 구분하고, 미리 학습된 패턴 추정 방식에 따라 상기 다수의 세그먼트 각각의 특징을 추출하여 다수의 세그먼트 특징맵을 획득하는 특징맵 획득부;
    약지도 학습 방식으로 패턴 추정 방식이 미리 학습되어 상기 다수의 세그먼트 특징맵 각각이 기지정된 다수의 행동 클래스 각각에 대응하는 수준을 나타내는 클래스 신뢰도 점수를 추정하여 다수의 클래스 신뢰도 맵을 획득하는 클래스 신뢰도 맵 획득부;
    미리 학습된 패턴 추정 방식에 따라 상기 다수의 세그먼트 특징맵 각각에 대한 특징을 추출하여 다수의 임베디드 특징맵을 추출하고, 상기 다수의 임베디드 특징맵으로부터 그래프 라플라시안 정규화 기법에 따라 정규화 행렬을 생성하는 정규화부;
    상기 정규화 행렬을 기반으로 상기 다수의 클래스 신뢰도 맵의 클래스 신뢰도 점수에 대한 정규 클래스 신뢰도 점수를 계산하여 다수의 정규 클래스 신뢰도 맵을 획득하는 정규 신뢰도 추론부; 및
    상기 다수의 정규 클래스 신뢰도 맵의 정규 클래스 신뢰도 점수들을 분석하여 세그먼트 단위의 행동과 행동별 시간 구간을 판별하는 행동 구간 판별부; 를 포함하는 비디오 행동 인식 및 행동 구간 탐지 장치.
  2. 제1항에 있어서, 상기 정규화부는
    미리 학습된 패턴 추정 방식에 따라 상기 다수의 세그먼트 특징맵 각각에 대한 특징을 추출하여 다수의 임베디드 특징맵을 추출하는 임베디드 특징맵 추출부; 및
    상기 임베디드 특징맵으로부터 다수의 세그먼트 사이의 시멘틱 유사성을 나타내는 유사도 행렬(affinity matrix)(A)과 대각 행렬인 정도 행렬(degree matrix)(D)을 기지정된 방식으로 획득하고, 상기 정도 행렬(D)과 상기 유사도 행렬(A)의 차인 그래프 라플라시안 행렬(L = D - A)을 상기 정규화 행렬로 획득하는 정규화 행렬 생성부; 를 포함하는 비디오 행동 인식 및 행동 구간 탐지 장치.
  3. 제2항에 있어서, 상기 정규화 행렬 생성부는
    상기 유사도 행렬의 원소를 상기 다수의 임베디드 특징맵(e)에서 임베디드 특징맵(e i, e j)들 사이의 에지 가중치(w ij)로서 수학식
    Figure PCTKR2019004798-appb-img-000026
    (여기서 ε는 특징 유사도 공간에서 임베디드 특징맵(e i, e j)들 사이의 거리에 대한 감도를 조절하기 위해 기지정되는 상수)
    에 따라 획득하고,
    상기 정도 행렬의 i번째 대각 원소를 수학식
    Figure PCTKR2019004798-appb-img-000027
    (여기서 N은 세그먼트의 개수이다)
    에 따라 획득하는 비디오 행동 인식 및 행동 구간 탐지 장치.
  4. 제3항에 있어서, 상기 정규 신뢰도 추론부는
    상기 다수의 클래스 신뢰도 맵의 클래스 신뢰도 점수(s c)와 상기 정규화 행렬(L)로부터 수학식
    Figure PCTKR2019004798-appb-img-000028
    (여기서 I는 항등 행렬이고, μ는 기지정된 하이퍼 파라미터이다.)
    에 따라 정규 클래스 신뢰도 점수(s *c)를 계산하여, 상기 다수의 정규 클래스 신뢰도 맵을 획득하는 비디오 행동 인식 및 행동 구간 탐지 장치.
  5. 제1항에 있어서, 상기 행동 구간 판별부는
    상기 다수의 정규 클래스 신뢰도 맵 각각의 정규 클래스 신뢰도 점수의 시간 평균인 신뢰도 평균값을 획득하고, 상기 신뢰도 평균값이 기지정된 기준 평균값 이상인 신뢰도 평균값을 갖는 정규 클래스 신뢰도 맵을 선택하며, 선택된 정규 클래스 신뢰도 맵에서 기준 신뢰도 점수 이상인 정규 클래스 신뢰도 점수를 분석하여, 세그먼트 단위의 행동 및 시간 구간을 검출하는 비디오 행동 인식 및 행동 구간 탐지 장치.
  6. 제1항에 있어서, 상기 행동 구간 판별부는
    상기 다수의 정규 클래스 신뢰도 맵의 다수의 정규 클래스 신뢰도 점수를 세그먼트 구간별로 분석하여, 기지정된 기준 신뢰도 점수 이상인 정규 클래스 신뢰도 점수에 대응하는 행동 및 시간 구간을 검출하는 비디오 행동 인식 및 행동 구간 탐지 장치.
  7. 제3항에 있어서, 상기 비디오 행동 인식 및 행동 구간 탐지 장치는
    행동 레이블만이 주석된 학습용 비디오를 기반으로 상기 클래스 신뢰도 맵 획득부 및 상기 정규화부를 약지도 학습시키는 학습부; 를 더 포함하고,
    상기 학습부는
    상기 학습용 비디오에 응답하여, 상기 클래스 신뢰도 맵 획득부에서 획득되는 다수의 클래스 신뢰도 맵 각각의 클래스 신뢰도 점수의 평균을 기지정된 학습 기준 신뢰도 점수와의 비교하여 학습 오차를 획득하고, 획득된 학습 오차를 역전파하여 상기 클래스 신뢰도 맵 획득부를 약지도 학습시키고,
    이후 약지도 학습된 상기 클래스 신뢰도 맵 획득부와 상기 정규화부의 총 손실(L total)을 수학식
    Figure PCTKR2019004798-appb-img-000029
    (여기서 L aff 는 정규화부의 유사도 행렬(A)의 유사도 손실을 나타내고, L cls 는 학습용 비디오에 주석된 행동 레이블과 다수의 정규 클래스 신뢰도 맵 사이의 클래스 손실을 나타내며, λ는 기지정된 손실 가중치를 나타낸다.)
    에 따라 획득하고 역전파하여 상기 클래스 신뢰도 맵 획득부와 상기 정규화부를 함께 학습시키는 비디오 행동 인식 및 행동 구간 탐지 장치.
  8. 제7항에 있어서, 상기 학습부는
    약지도 학습된 상기 클래스 신뢰도 맵 획득부에서 다시 학습용 비디오에 응답하여 상기 다수의 클래스 신뢰도 맵이 획득되면, 상기 다수의 클래스 신뢰도 맵의 클래스 신뢰도 점수를 기지정된 방식에 따라 세그먼트 단위로 선택하고, 선택된 다수의 클래스 신뢰도 점수 각각의 클래스 신뢰도 맵에 대응하는 임시 클래스 레이블을 할당하여 학습용 신뢰도 맵을 생성하며,
    상기 학습용 신뢰도 맵의 다수의 클래스 신뢰도 점수 중 기지정된 상위 기준 신뢰도 점수(τ h) 이상 또는 하위 기준 신뢰도 점수(τ l) 이하인 클래스 신뢰도 점수들 사이의 유사도를 나타내는 의사 유사도 행렬(A *)을 수학식
    Figure PCTKR2019004798-appb-img-000030
    에 따라 생성하고,
    상기 정규화부에서 획득되는 유사도 행렬(A)과 의사 유사도 행렬(A *) 사이의 유사도 손실(L aff)을 수학식
    Figure PCTKR2019004798-appb-img-000031
    (여기서 N은 세그먼트의 개수이고, N(i)는 세그먼터(v i)에 대한 시멘틱 이웃(semantic neighborhood)을 의미한다.)
    에 따라 획득하는 비디오 행동 인식 및 행동 구간 탐지 장치.
  9. 제7항에 있어서, 상기 학습부는
    상기 정규 신뢰도 추론부에서 획득되는 정규 클래스 신뢰도 점수(s *c)를 합산하여 비디오 레벨 점수 벡터(
    Figure PCTKR2019004798-appb-img-000032
    )를 획득하고, 획득된 비디오 레벨 점수 벡터(
    Figure PCTKR2019004798-appb-img-000033
    )와 학습용 비디오에 주석된 행동 레이블(y c) 사이의 표준 다중 레이블 교차 엔트로피 손실(standard multi-label cross-entropy loss)을 수학식
    Figure PCTKR2019004798-appb-img-000034
    에 따라 계산하여 상기 클래스 손실(L cls)을 획득하는 비디오 행동 인식 및 행동 구간 탐지 장치.
  10. 비디오의 다수 프레임을 기설정된 개수씩 프레임을 그룹화하여 다수의 세그먼트로 구분하고, 미리 학습된 패턴 추정 방식에 따라 상기 다수의 세그먼트 각각의 특징을 추출하여 다수의 세그먼트 특징맵을 획득하는 단계;
    약지도 학습 방식으로 패턴 추정 방식이 미리 학습되어 상기 다수의 세그먼트 특징맵 각각이 기지정된 다수의 행동 클래스 각각에 대응하는 수준을 나타내는 클래스 신뢰도 점수를 추정하여 다수의 클래스 신뢰도 맵을 획득하는 단계;
    미리 학습된 패턴 추정 방식에 따라 상기 다수의 세그먼트 특징맵 각각에 대한 특징을 추출하여 다수의 임베디드 특징맵을 추출하고, 상기 다수의 임베디드 특징맵으로부터 그래프 라플라시안 정규화 기법에 따라 정규화 행렬을 생성하는 단계;
    상기 정규화 행렬을 기반으로 상기 다수의 클래스 신뢰도 맵의 클래스 신뢰도 점수에 대한 정규 클래스 신뢰도 점수를 계산하여 다수의 정규 클래스 신뢰도 맵을 획득하는 단계; 및
    상기 다수의 정규 클래스 신뢰도 맵의 정규 클래스 신뢰도 점수들을 분석하여 세그먼트 단위의 행동과 행동별 시간 구간을 판별하는 단계; 를 포함하는 비디오 행동 인식 및 행동 구간 탐지 방법.
  11. 제10항에 있어서, 상기 정규화 행렬을 생성하는 단계는
    미리 학습된 패턴 추정 방식에 따라 상기 다수의 세그먼트 특징맵 각각에 대한 특징을 추출하여 다수의 임베디드 특징맵을 추출하는 단계; 및
    상기 임베디드 특징맵으로부터 다수의 세그먼트 사이의 시멘틱 유사성을 나타내는 유사도 행렬(affinity matrix)(A)과 대각 행렬인 정도 행렬(degree matrix)(D)을 기지정된 방식으로 획득하고, 상기 정도 행렬(D)과 상기 유사도 행렬(A)의 차인 그래프 라플라시안 행렬(L = D - A)을 상기 정규화 행렬로 획득하는 단계; 를 포함하는 비디오 행동 인식 및 행동 구간 탐지 방법.
  12. 제11항에 있어서, 상기 정규화 행렬로 획득하는 단계는
    상기 유사도 행렬의 원소를 상기 다수의 임베디드 특징맵(e)에서 임베디드 특징맵(e i, e j)들 사이의 에지 가중치(w ij)로서 수학식
    Figure PCTKR2019004798-appb-img-000035
    (여기서 ε는 특징 유사도 공간에서 임베디드 특징맵(e i, e j)들 사이의 거리에 대한 감도를 조절하기 위해 기지정되는 상수)
    에 따라 획득하는 단계; 및
    상기 정도 행렬의 i번째 대각 원소를 수학식
    Figure PCTKR2019004798-appb-img-000036
    (여기서 N은 세그먼트의 개수이다)
    에 따라 획득하는 단계; 를 포함하는 비디오 행동 인식 및 행동 구간 탐지 방법.
  13. 제12항에 있어서, 상기 다수의 정규 클래스 신뢰도 맵을 획득하는 단계는
    상기 다수의 클래스 신뢰도 맵의 클래스 신뢰도 점수(s c)와 상기 정규화 행렬(L)로부터 수학식
    Figure PCTKR2019004798-appb-img-000037
    (여기서 I는 항등 행렬이고, μ는 기지정된 하이퍼 파라미터이다.)
    에 따라 정규 클래스 신뢰도 점수(s *c)를 계산하여, 상기 다수의 정규 클래스 신뢰도 맵을 획득하는 비디오 행동 인식 및 행동 구간 탐지 방법.
  14. 제10항에 있어서, 상기 행동별 시간 구간을 판별하는 단계는
    상기 다수의 정규 클래스 신뢰도 맵 각각의 정규 클래스 신뢰도 점수의 시간 평균인 신뢰도 평균값을 획득하는 단계;
    상기 신뢰도 평균값이 기지정된 기준 평균값 이상인 신뢰도 평균값을 갖는 정규 클래스 신뢰도 맵을 선택하는 단계; 및
    선택된 정규 클래스 신뢰도 맵에서 기준 신뢰도 점수 이상인 정규 클래스 신뢰도 점수를 분석하여, 세그먼트 단위의 행동 및 시간 구간을 검출하는 단계; 를 포함하는 비디오 행동 인식 및 행동 구간 탐지 방법.
  15. 제10항에 있어서, 상기 비디오 행동 인식 및 행동 구간 탐지 방법은
    행동 레이블만이 주석된 학습용 비디오에 응답하여, 상기 다수의 클래스 신뢰도 맵 각각의 클래스 신뢰도 점수의 평균을 기지정된 학습 기준 신뢰도 점수와의 비교하여 학습 오차를 획득하고, 획득된 학습 오차를 역전파하여 약지도 학습되는 단계; 및
    상기 약지도 학습 된 이후, 다시 상기 학습용 비디오를 인가받아 총 손실(L total)을 수학식
    Figure PCTKR2019004798-appb-img-000038
    (여기서 L aff 는 상기 유사도 행렬(A)의 유사도 손실을 나타내고, L cls 는 학습용 비디오에 주석된 행동 레이블과 다수의 정규 클래스 신뢰도 맵 사이의 클래스 손실을 나타내며, λ는 기지정된 손실 가중치를 나타낸다.)
    에 따라 획득하고 역전파하여 학습되는 단계; 를 더 포함하는 비디오 행동 인식 및 행동 구간 탐지 방법.
PCT/KR2019/004798 2019-03-27 2019-04-22 비디오 행동 인식 및 행동 구간 탐지 장치 및 방법 Ceased WO2020196985A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2019-0034832 2019-03-27
KR1020190034832A KR102174658B1 (ko) 2019-03-27 2019-03-27 비디오 행동 인식 및 행동 구간 탐지 장치 및 방법

Publications (1)

Publication Number Publication Date
WO2020196985A1 true WO2020196985A1 (ko) 2020-10-01

Family

ID=72611608

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/004798 Ceased WO2020196985A1 (ko) 2019-03-27 2019-04-22 비디오 행동 인식 및 행동 구간 탐지 장치 및 방법

Country Status (2)

Country Link
KR (1) KR102174658B1 (ko)
WO (1) WO2020196985A1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112487913A (zh) * 2020-11-24 2021-03-12 北京市地铁运营有限公司运营四分公司 一种基于神经网络的标注方法、装置及电子设备
CN114022698A (zh) * 2021-10-15 2022-02-08 华中科技大学 一种基于二叉树结构的多标签行为识别方法及装置
CN114743137A (zh) * 2022-03-31 2022-07-12 大连理工大学 一种基于多实例学习的在线考试作弊识别方法
CN114818991A (zh) * 2022-06-22 2022-07-29 西南石油大学 基于卷积神经网络和加速度传感器的跑步行为识别方法
CN114882403A (zh) * 2022-05-05 2022-08-09 杭州电子科技大学 基于渐进注意力超图的视频时空动作定位方法
CN116226443A (zh) * 2023-05-11 2023-06-06 山东建筑大学 基于大规模视频语料库的弱监督视频片段定位方法及系统
WO2024103417A1 (zh) * 2022-11-18 2024-05-23 中国科学院深圳先进技术研究院 行为识别方法、存储介质及电子设备

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102488969B1 (ko) * 2020-12-28 2023-01-13 한국로봇융합연구원 학습모델 기반의 발달 장애 조기 선별을 위한 데이터에 대한 레이블링을 위한 장치 및 이를 위한 방법
KR102743436B1 (ko) 2021-08-30 2024-12-17 한국전자통신연구원 비디오 의미 구간 검출 방법 및 시스템
KR102616236B1 (ko) * 2021-10-25 2023-12-21 연세대학교 산학협력단 모방 학습을 이용한 실시간 비디오 동작 검출 장치 및 방법
KR102672722B1 (ko) * 2021-12-22 2024-06-05 경기대학교 산학협력단 동영상 관계 탐지 시스템
KR102889811B1 (ko) * 2022-12-23 2025-11-21 한양대학교 산학협력단 비디오 이해를 위한 구조 인식 기반 비디오 표현 학습 방법 및 장치
KR20250136150A (ko) * 2024-03-07 2025-09-16 삼성전자주식회사 활동 정보 기반의 개인화된 데이터베이스 구축 방법 및 이를 이용하는 사용자 디바이스

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150065370A (ko) * 2013-12-05 2015-06-15 한국전자통신연구원 행동 인식 장치 및 그 방법
US20160063335A1 (en) * 2013-05-03 2016-03-03 Nokia Technologies Oy A method and technical equipment for people identification
KR20170070298A (ko) * 2015-12-11 2017-06-22 연세대학교 산학협력단 물체-행동 관계 모델에 기반한 행동 인식 방법 및 그 장치
KR101936947B1 (ko) * 2017-12-04 2019-01-09 포항공과대학교 산학협력단 비디오 인식을 위한 영상 세그먼트 프레임별 특징점의 시간 정보 인코딩 방법
KR20190030474A (ko) * 2017-09-14 2019-03-22 삼성전자주식회사 신뢰도에 기초하여 깊이 맵을 산출하는 방법 및 장치

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101731461B1 (ko) 2015-12-09 2017-05-11 고려대학교 산학협력단 객체에 대한 행동 탐지 장치 및 이를 이용한 행동 탐지 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160063335A1 (en) * 2013-05-03 2016-03-03 Nokia Technologies Oy A method and technical equipment for people identification
KR20150065370A (ko) * 2013-12-05 2015-06-15 한국전자통신연구원 행동 인식 장치 및 그 방법
KR20170070298A (ko) * 2015-12-11 2017-06-22 연세대학교 산학협력단 물체-행동 관계 모델에 기반한 행동 인식 방법 및 그 장치
KR20190030474A (ko) * 2017-09-14 2019-03-22 삼성전자주식회사 신뢰도에 기초하여 깊이 맵을 산출하는 방법 및 장치
KR101936947B1 (ko) * 2017-12-04 2019-01-09 포항공과대학교 산학협력단 비디오 인식을 위한 영상 세그먼트 프레임별 특징점의 시간 정보 인코딩 방법

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112487913A (zh) * 2020-11-24 2021-03-12 北京市地铁运营有限公司运营四分公司 一种基于神经网络的标注方法、装置及电子设备
CN114022698A (zh) * 2021-10-15 2022-02-08 华中科技大学 一种基于二叉树结构的多标签行为识别方法及装置
CN114743137A (zh) * 2022-03-31 2022-07-12 大连理工大学 一种基于多实例学习的在线考试作弊识别方法
CN114882403A (zh) * 2022-05-05 2022-08-09 杭州电子科技大学 基于渐进注意力超图的视频时空动作定位方法
CN114882403B (zh) * 2022-05-05 2022-12-02 杭州电子科技大学 基于渐进注意力超图的视频时空动作定位方法
CN114818991A (zh) * 2022-06-22 2022-07-29 西南石油大学 基于卷积神经网络和加速度传感器的跑步行为识别方法
WO2024103417A1 (zh) * 2022-11-18 2024-05-23 中国科学院深圳先进技术研究院 行为识别方法、存储介质及电子设备
CN116226443A (zh) * 2023-05-11 2023-06-06 山东建筑大学 基于大规模视频语料库的弱监督视频片段定位方法及系统

Also Published As

Publication number Publication date
KR102174658B1 (ko) 2020-11-05
KR20200119391A (ko) 2020-10-20

Similar Documents

Publication Publication Date Title
KR102174658B1 (ko) 비디오 행동 인식 및 행동 구간 탐지 장치 및 방법
WO2020022704A1 (en) Method for training and testing obfuscation network capable of processing data to be concealed for privacy, and training device and testing device using the same
KR100474848B1 (ko) 영상시각 정보를 결합하여 실시간으로 복수의 얼굴을검출하고 추적하는 얼굴 검출 및 추적 시스템 및 방법
WO2022086146A1 (en) Method for training and testing obfuscation network capable of obfuscating data for privacy, and training device and testing device using the same
WO2021201422A1 (ko) Ar에 적용 가능한 의미적인 분할 방법 및 시스템
WO2011096651A2 (ko) 얼굴 식별 방법 및 그 장치
WO2019132170A1 (ko) 학습용 데이터 관리방법, 장치 및 프로그램
WO2019235828A1 (ko) 투 페이스 질병 진단 시스템 및 그 방법
WO2019098414A1 (ko) 약한 지도 학습에 기초한 뉴럴 네트워크의 계층적 학습 방법 및 장치
WO2021100919A1 (ko) 행동 시퀀스 기반으로 이상행동 여부를 판단하는 방법, 프로그램 및 시스템
WO2021246811A1 (ko) 중증도 판단용 뉴럴 네트워크 학습 방법 및 시스템
WO2015115681A1 (ko) 표정 동작사전을 이용한 표정인식 방법 및 장치
WO2017164478A1 (ko) 미세 얼굴 다이나믹의 딥 러닝 분석을 통한 미세 표정 인식 방법 및 장치
WO2021153861A1 (ko) 다중 객체 검출 방법 및 그 장치
WO2022086147A1 (en) Method for training and testing user learning network to be used for recognizing obfuscated data created by obfuscating original data to protect personal information and user learning device and testing device using the same
WO2020067632A1 (ko) 인공지능 영상 학습을 위한 동영상의 학습 대상 프레임 이미지 샘플링 방법, 장치, 프로그램 및 그 영상 학습 방법
WO2022065798A1 (ko) 병리 이미지 분석 결과 출력 방법 및 이를 수행하는 컴퓨팅 시스템
WO2022080844A1 (ko) 스켈레톤 분석을 이용한 객체 추적 장치 및 방법
WO2021132813A1 (ko) 딥러닝 모델을 이용한 통증 평가 방법 및 분석 장치
WO2019045147A1 (ko) 딥러닝을 pc에 적용하기 위한 메모리 최적화 방법
WO2013165048A1 (ko) 영상 검색 시스템 및 영상 분석 서버
WO2019035544A1 (ko) 학습을 이용한 얼굴 인식 장치 및 방법
WO2025028676A1 (ko) 콘텐츠를 위한 태깅 방법 및 그 시스템
WO2023113105A1 (ko) Cgam을 이용한 스포츠 동영상 내 활동 인식 장치 및 그 방법
WO2023132428A1 (ko) 재순위화를 통한 객체 검색

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19921692

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19921692

Country of ref document: EP

Kind code of ref document: A1