WO2024136115A1 - 멀티프레임 시간 축 채널 교차 알고리즘을 적용한 인간 미세 제스처 인식 시스템 및 방법 - Google Patents

멀티프레임 시간 축 채널 교차 알고리즘을 적용한 인간 미세 제스처 인식 시스템 및 방법 Download PDF

Info

Publication number
WO2024136115A1
WO2024136115A1 PCT/KR2023/017770 KR2023017770W WO2024136115A1 WO 2024136115 A1 WO2024136115 A1 WO 2024136115A1 KR 2023017770 W KR2023017770 W KR 2023017770W WO 2024136115 A1 WO2024136115 A1 WO 2024136115A1
Authority
WO
WIPO (PCT)
Prior art keywords
frame
channel
recognition system
gesture recognition
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2023/017770
Other languages
English (en)
French (fr)
Inventor
김성제
주희영
김제우
정진우
권용훈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Korea Electronics Technology Institute
Original Assignee
Korea Electronics Technology Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Korea Electronics Technology Institute filed Critical Korea Electronics Technology Institute
Publication of WO2024136115A1 publication Critical patent/WO2024136115A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes

Definitions

  • the present invention relates to a human fine gesture recognition system and method, and more specifically, to a human fine gesture recognition system and method applying a multi-frame time axis channel crossing algorithm.
  • Recognition technology that recognizes human behavior is a technology that recognizes human moving behavior in video. Recognizing human behavior can provide users with services appropriate for their intentions, so the importance of behavior recognition technology in the field of HCI (Human Computer Interaction) is increasing. It has been mentioned.
  • behavior recognition technology is an essential technology for computers or robots to express themselves in a way similar to humans, and human behavior can be classified in detail into gestures, actions, activities, etc. there is.
  • a gesture refers to the movement of an independent human body part
  • an action refers to the continuous movement of various body parts
  • an action refers to continuous movement over a long period of time.
  • gesture recognition in particular refers to the movement of a single human body part, so sign language recognition, which mainly involves hand movements, can be said to be a representative example of gesture recognition.
  • This human micro gesture recognition technology can be used endlessly in counseling or educational chatbots that require deep communication, so it is a field that requires research for the development of artificial intelligence technology that understands and imitates human psychology as well as human intelligence. .
  • Human behavior open data is a large amount of video data classified into as few as 100 or as many as 700 items, so it is related to salient human movements in various situations rather than individual individual actions.
  • a 3D convolution-based motion feature extractor including a time axis is basically modeled to fit motion occurring in input video data of 32 frames or more, so it can extract micro-gesture features that occur in less than 1 second in a 25 FPS video. Extraction requires different modeling techniques than before.
  • the present invention was created to solve the above problems, and the purpose of the present invention is to accumulate and generate feature channels according to the input order in the process of learning multi-frame input data in both directions (-1, +1 direction) to intersect two frames, and when performing zero padding operation, some of the channels of the start frame and end frame are removed to 0 to prevent information loss, the zero padding operation method can be replaced by the circular shift method.
  • the zero padding operation method can be replaced by the circular shift method.
  • a human fine gesture recognition method includes: a first step in which the recognition system extracts (sampling) multi-frame data from video data; A second step in which the recognition system applies the extracted multi-frame data to a multi-frame channel crossing algorithm; A third step in which the recognition system applies the results output through the multi-frame channel crossing algorithm to a fully connected layer; A fourth step in which the recognition system outputs a prediction tensor as many as a preset number of gesture classes based on the result of passing the fully connected layer; and a fifth step in which the recognition system applies a loss function to the prediction tensor.
  • a training input data clip having a plurality of frames (multi-frame) can be extracted by applying a segment-based sampling method to the original video data.
  • the second step performs a convolution operation consisting of multiple layers on the clip unit data extracted in the first step, but before the operation is performed for each convolution layer, the corresponding layer
  • the channel crossing algorithm can be applied.
  • the multi-frame channel intersection algorithm takes as input the output features generated after passing the previous convolution layer, and operates in both directions (+ direction and - direction) based on the time axis, and some neighboring channels in each direction. It can be formed in a structure that intersects with the corresponding channel of the current frame based on .
  • each frame feature of a neighboring channel is circularly shifted along each direction (+ direction and - direction), and the corresponding channel of the current frame is can intersect with
  • the multi-frame channel intersection algorithm is a multi-frame channel intersection algorithm that is more than two frames apart from the current frame when each frame feature of a neighboring channel is circularly moved along each direction (+ direction and - direction) to intersect with the corresponding channel of the current frame.
  • Shape resizing may be performed on some or all of the channel features of the frame.
  • the multi-frame channel intersection algorithm is the target of shape resizing along the Height axis and Width axis when Shape Resizing is performed on some or all of the channel features of a multi-frame that has an interval of more than two frames from the current frame.
  • the channel features are condensed to a preset value, and at this time, the preset value may be 1/(number of frames).
  • the loss function Cross-Entropy is applied to output the loss between the predicted tensor and the ground truth, and then the weight of each filter layer can be learned in the direction of reducing the loss.
  • a human fine gesture recognition system includes: a storage unit that stores a multi-frame channel crossing algorithm; And extract (sampling) multi-frame data from video data, apply the extracted multi-frame data to the multi-frame channel crossing algorithm, and apply the results output through the multi-frame channel crossing algorithm to the fully connected layer. and a processor that outputs a prediction tensor as many as the preset number of gesture classes based on the result of passing the fully connected layer, and applies a loss function to the prediction tensor.
  • a human fine gesture recognition method includes the steps of: a recognition system extracting (sampling) multi-frame data from video data; And a step of the recognition system applying the extracted multi-frame data to a time-weighted multi-frame feature extractor, wherein each frame feature is stored in an LSTM (Long Short Term Memory) through an Embedding Layer. It is formed as an input structure.
  • LSTM Long Short Term Memory
  • the frame features that have passed through the Embedding Layer are input to the LSTM in chronological order, and the time-weighted multi-frame feature extractor extracts the final features that model all frame information input in the short term as well as the long term based on the end frame. It can be.
  • a human fine gesture recognition system includes: a storage unit storing a time-weighted multi-frame feature extractor; And a processor that extracts (samples) multi-frame data from video data and applies the extracted multi-frame data to a time-weighted multi-frame feature extractor, where each frame feature is stored in an Embedding Layer. It is formed into a structure that is input to LSTM (Long Short Term Memory).
  • LSTM Long Short Term Memory
  • feature channels that are accumulated and generated according to the input order intersect two frames in both directions (-1, +1 directions) based on the time axis.
  • some of the channels in the start and end frames are removed to 0 to prevent information loss and at the same time recognize micro gestures. Efficient calculations can be performed.
  • modeling of not only short-term but also long-term information is possible with a strategy that includes channels containing feature information of not only neighboring frames, but also all frames that are different from the current frame by more than two frames. It can be made possible.
  • FIG. 1 is a diagram provided to explain the configuration of a human fine gesture recognition system according to an embodiment of the present invention
  • FIG. 2 is a diagram provided to explain the operation of a human fine gesture recognition system according to an embodiment of the present invention
  • FIG. 3 is a flowchart provided to explain a method for recognizing human fine gestures according to an embodiment of the present invention
  • FIG. 4 is a diagram provided to explain a multi-frame channel crossing algorithm according to an embodiment of the present invention.
  • Figure 5 is a diagram illustrating the multi-frame feature applied to the multi-frame channel crossing algorithm according to an embodiment of the present invention.
  • Figure 6 is a diagram illustrating the application of the zero padding operation technique to multi-frame features.
  • Figure 7 is a diagram illustrating the application of the circular shift technique to multi-frame features in the multi-frame channel intersection algorithm according to an embodiment of the present invention.
  • Figure 8 is a diagram provided to explain a time-weighted multi-frame feature extractor according to another embodiment of the present invention.
  • FIG. 1 is a diagram provided to explain the configuration of a human fine gesture recognition system according to an embodiment of the present invention
  • FIG. 2 is a diagram provided to explain the operation of a human fine gesture recognition system according to an embodiment of the present invention.
  • the human fine gesture recognition system (hereinafter collectively referred to as the 'human fine gesture recognition system') applying the multi-frame time axis channel crossing algorithm according to this embodiment follows the input order in the process of learning multi-frame input data.
  • the feature channels that are accumulated and created are intersected by two frames in both directions (-1, +1 directions) based on the time axis, and when performing zero padding operations, some channels in the start and end frames are removed as 0 to prevent information loss. To do this, the zero padding calculation method can be replaced with the circular shift method.
  • the human fine gesture recognition system is a strategy that includes a channel containing feature information of not only neighboring frames, but also all frames that are different from the current frame by more than two frames, so that not only short term but also long term information is included. Modeling can be supported.
  • the present human fine gesture recognition system may include a communication unit 110, a processor 120, and a storage unit 130.
  • the communication unit 110 may be connected to an external system to obtain video data.
  • the storage unit 130 is a storage medium that stores programs and data necessary for the processor 120 to operate.
  • the storage unit 130 may store information about a multi-frame channel crossing algorithm.
  • the processor 120 can process all aspects of the human fine gesture recognition system.
  • the processor 120 may extract (sample) multi-frame data from video data acquired through the communication unit 110 and apply the extracted multi-frame data to a multi-frame channel crossing algorithm.
  • the processor 120 applies the results output through the multi-frame channel crossing algorithm to the fully connected layer, outputs a prediction tensor based on the results of passing the fully connected layer, and predicts By applying a loss function to the tensor, you can output the loss between the predicted tensor and the ground truth, and then learn the weight of each filter layer in the direction of reducing the loss.
  • Figure 3 is a flowchart provided to explain a method for recognizing human fine gestures according to an embodiment of the present invention.
  • the human fine gesture recognition method according to this embodiment can be executed by the human fine gesture recognition system described above with reference to FIGS. 1 and 2.
  • the human fine gesture recognition method extracts multi-frame data from video data using a human fine gesture recognition system (S310), and the extracted multi-frame data can be applied to the multi-frame channel crossing algorithm. (S320).
  • the human fine gesture recognition system applies the Segment Based Sampling Method to the original video data to provide learning input data with multiple frames (multi-frames). Clips can be extracted.
  • the human fine gesture recognition method applies the results output through the multi-frame channel intersection algorithm to the fully connected layer (S330), outputs a prediction tensor based on the results passing the fully connected layer (S340), and predicts
  • a loss function to the tensor (S350)
  • the loss between the predicted tensor and the ground truth is output, and then the weight of each filter layer can be learned to reduce the loss.
  • the human fine gesture recognition system when the human fine gesture recognition system outputs a prediction tensor, it can output the prediction tensor as many as the preset number of gesture classes based on the result of passing the fully connected layer.
  • the Softmax function can be applied to each output prediction tensor to output the probability value for each class.
  • FIG. 4 is a diagram provided to explain a multi-frame channel crossing algorithm according to an embodiment of the present invention.
  • the multi-frame channel crossing algorithm according to this embodiment may be composed of multiple layers.
  • the human fine gesture recognition system performs a convolution operation consisting of multiple layers (L0 to LN) on the extracted input data clip.
  • the channel crossing algorithm of the corresponding layer may be applied.
  • the multi-frame channel intersection algorithm takes as input the output features generated after passing the previous convolution layer, and operates in both directions (+ direction and - direction) based on the time axis, and some neighboring channels in each direction. It can be formed in a structure that intersects with the corresponding channel of the current frame based on .
  • Figure 5 is a diagram illustrating a multi-frame feature applied to the multi-frame channel crossing algorithm according to an embodiment of the present invention.
  • Figure 6 is a diagram illustrating the application of the zero padding operation technique to multi-frame features
  • Figure 7 is a diagram illustrating circular shift to multi-frame features in the multi-frame channel crossing algorithm according to an embodiment of the present invention.
  • the multi-frame channel intersection algorithm is a multi-frame channel intersection algorithm that is more than two frames apart from the current frame when each frame feature of a neighboring channel is circularly moved along each direction (+ direction and - direction) to intersect with the corresponding channel of the current frame.
  • Shape Resizing can be performed on some or all of a frame's channel features.
  • the multi-frame channel intersection algorithm is used to create a shape along the Height and Width axes when Shape Resizing is performed on some or all of the channel features of a multi-frame with an interval of more than two frames from the current frame.
  • Channel features subject to resizing can be condensed to preset values.
  • the preset value may be 1/(number of frames).
  • Figure 8 is a diagram provided to explain a time-weighted multi-frame feature extractor according to another embodiment of the present invention.
  • the human fine gesture recognition system has the same configuration as the system described above with reference to FIG. 1, but replaces the multi-frame channel crossing algorithm and can apply clip unit data to a time-weighted multi-frame feature extractor.
  • the time-weighted multi-frame feature extractor may be structured in such a way that each frame feature is input to a Long Short Term Memory (LSTM) through an Embedding Layer.
  • LSTM Long Short Term Memory
  • Frame features that have passed through the Embedding Layer can be input to LSTM in chronological order, and the time-weighted multi-frame feature extractor models all frame information input in Long Term as well as Short Term based on the end frame. It can be extracted.
  • the final features output from the time-weighted multi-frame feature extractor can be stored in a separately provided memory space, and can then serve as a channel to be concatenated to multi-frame data applied to the multi-frame channel intersection algorithm.
  • a computer-readable recording medium can be any data storage device that can be read by a computer and store data.
  • computer-readable recording media can be ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical disk, hard disk drive, etc.
  • computer-readable codes or programs stored on a computer-readable recording medium may be transmitted through a network connected between computers.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

멀티프레임 시간 축 채널 교차 알고리즘을 적용한 인간 미세 제스처 인식 시스템 및 방법이 제공된다. 본 발명의 실시예에 따른 인간 미세 제스처 인식 방법은, 인식 시스템이, 비디오 데이터에서 멀티 프레임 데이터를 추출(Sampling)하는 제1 단계; 인식 시스템이, 추출된 멀티 프레임 데이터를 멀티 프레임 채널 교차 알고리즘에 적용하는 제2 단계; 인식 시스템이, 멀티 프레임 채널 교차 알고리즘을 통해 출력되는 결과를 완전 연결 계층(Fully Connected Layer)에 적용하는 제3 단계; 인식 시스템이, 완전 연결 계층을 통과한 결과를 기반으로 기설정된 제스처 클래스(Class) 개수만큼 예측 텐서(Tensor)가 출력되도록 하는 제4 단계; 및 인식 시스템이, 예측 텐서에 손실 함수를 적용하는 제5 단계;를 포함한다. 이에 의해, 멀티프레임 입력 데이터가 학습되는 과정에서 입력 순서에 따라 축적되며 생성되는 피처 채널들을 시간 축 기준 양 방향(-1, +1 방향) 두 프레임 교차시키고, Zero padding 연산 방법을 Circular Shift 방법으로 대체하여 Zero padding 연산 수행 시, 시작 프레임과 종료 프레임의 채널 일부를 0으로 제거하여 정보가 손실되는 것을 방지하는 동시에 미세 제스처(Micro Gesture)를 인식하기 위한 효율적 연산을 수행할 수 있다.

Description

멀티프레임 시간 축 채널 교차 알고리즘을 적용한 인간 미세 제스처 인식 시스템 및 방법
본 발명은 인간 미세 제스처 인식 시스템 및 방법에 관한 것으로, 더욱 상세하게는 멀티프레임 시간 축 채널 교차 알고리즘을 적용한 인간 미세 제스처 인식 시스템 및 방법에 관한 것이다.
인간 행동의 인식하는 인식 기술은 비디오에서 인간의 움직이는 행동을 인식하는 기술로서, 인간 행동을 인식하면 사용자에게 의도에 적합한 서비스를 제공할 수 있으므로 HCI(Human Computer Interaction) 분야에서 행동 인식 기술의 중요성이 언급되어 왔다.
또한, 행동인식 기술은 컴퓨터나 로봇이 인간과 유사한 방식으로 의사 표현을 하는 데에 필수적인 기술로서, 인간의 행동은 제스처(gesture), 액션(action), 행동(activity) 등으로 세부적으로 분류할 수 있다.
여기서, 제스처란 인간의 독립된 신체 부위의 움직임을 말하며, 액션은 다양한 신체 부위가 지속적으로 움직이는 것을 의미하고, 행동이란 긴 시간동안 연속적으로 움직이는 것을 말한다.
행동 인식 세부 분야 중 특히 제스처 인식은 인간의 단일 신체 부위 움직임을 의미하므로 손의 움직임이 주가 되는 수화 인식이 제스처 인식의 대표적 사례라 할 수 있다.
하지만 움직임의 의도가 명확히 드러나는 수화와 달리 의도가 명백히 드러나지 않는 미세한 제스처 인식의 기술적 필요성 또한 대두되고 있다.
예를 들어 인사를 하기 위해 손을 양 옆으로 흔드는 동작과 긴장하여 양 손 끝을 비비는 동작을 비교하면 전자의 경우가 후자에 비해 행동 의도가 명확히 드러나며 동작의 폭이 더 크다.
이와 같이 의도가 명백히 드러나지 않지만 인간 감정을 기저에 두어 세밀하게 드러나는 미묘한 제스처를 인식하는 인공지능 기술은 표현의 변화 폭이 적어 행동 인식 난이도가 높다.
이러한 인간 미세 제스처(Micro Gesture)인식 기술은 깊은 소통이 필요한 상담이나 교육용 챗봇 등에 무궁무진하게 활용 가능하므로 인간의 지능 뿐 아니라 인간 심리를 파악하고 이를 모사하는 인공지능 기술의 발전을 위해 연구가 필요한 분야이다.
종래의 인간 행동 인식 기술은 명확히 구분이 가능한 개인의 행동 또는 인간과 다른 물체와의 상호작용이 중심이 된 행동을 분류하는 방향으로 발전하였다.
인간 행동 오픈 데이터는 적게는 100가지, 많게는 700가지 항목으로 분류된 대용량 비디오 데이터이므로 개인의 미세한 행동이 아닌 다양한 상황 속 연출되는 인간의 두드러진 동작과 관련되어 있다.
따라서, 종래의 행동 인식 기술은 시간 축에 따른 모션 변화가 큰 행동 특징점(Feature) 추출에 적합하도록 발전하였으나, 인간 깊은 내면의 감정에 기인하여 세밀하게 드러나는 미세 제스처 인식을 위한 데이터 셋은 기존 행동인식 기술 개발에 보편적으로 사용되는 데이터로는 한계가 있다.
또한, 종래의 모션 특징점 추출 방법은 시간에 따른 인간 행동 변화가 큰 기존 데이터 셋에 적합하도록 개발되어 기존 방법으로는 미세 제스처의 변화가 상대적으로 적은 세밀한 모션을 모델링하는 데에 한계가 있다.
예를 들면, 시간 축을 포함한 3D 컨볼루션(Convolution) 기반의 모션 피처 추출기는 기본적으로 32 프레임 이상의 입력 비디오 데이터에서 발생하는 모션에 적합하도록 모델링되었기 때문에 25 FPS 영상에서 1초 미만으로 발생하는 마이크로 제스처 피처 추출을 위해서는 이전과는 다른 모델링 기술이 필요하다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 멀티프레임 입력 데이터가 학습되는 과정에서 입력 순서에 따라 축적되며 생성되는 피처 채널들을 시간 축 기준 양 방향(-1, +1 방향) 두 프레임 교차시키며, Zero padding 연산 수행 시, 시작 프레임과 종료 프레임의 채널 일부를 0으로 제거하여 정보가 손실되는 것을 방지하기 위해, Zero padding 연산 방법을 Circular Shift 방법으로 대체할 수 있는 인간 미세 제스처 인식 시스템 및 방법을 제공함에 있다.
또한, 본 발명의 다른 목적은, 이웃하는 프레임 뿐 아니라, 현재 프레임 기준 두 프레임 이상 차이가 나는 모든 프레임의 피처 정보를 담은 채널을 포함하는 전략으로 Short term 뿐만 아니라 Long term 정보에 대한 모델링이 가능한 인간 미세 제스처 인식 시스템 및 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 인간 미세 제스처 인식 방법은, 인식 시스템이, 비디오 데이터에서 멀티 프레임 데이터를 추출(Sampling)하는 제1 단계; 인식 시스템이, 추출된 멀티 프레임 데이터를 멀티 프레임 채널 교차 알고리즘에 적용하는 제2 단계; 인식 시스템이, 멀티 프레임 채널 교차 알고리즘을 통해 출력되는 결과를 완전 연결 계층(Fully Connected Layer)에 적용하는 제3 단계; 인식 시스템이, 완전 연결 계층을 통과한 결과를 기반으로 기설정된 제스처 클래스(Class) 개수만큼 예측 텐서(Tensor)가 출력되도록 하는 제4 단계; 및 인식 시스템이, 예측 텐서에 손실 함수를 적용하는 제5 단계;를 포함한다.
그리고 제1 단계는, 원본 비디오 데이터를 대상으로 세그먼트 기반 추출 기법(Segment Based Sampling Method)을 적용하여 복수의 프레임(멀티 프레임)을 갖는 학습용 입력 데이터 클립(Clip)을 추출할 수 있다.
또한, 제2 단계는, 제1 단계에서 추출된 클립 단위 데이터를 대상으로 다수 계층(Multi Layer)으로 구성된 컨볼루션(Convolution) 연산을 수행하되, 컨볼루션 계층마다 해당 연산이 수행되기 이전에 해당 계층의 채널 교차 알고리즘을 적용할 수 있다.
그리고 멀티 프레임 채널 교차 알고리즘은, 이전 컨볼루션 계층을 통과한 후 생성된 출력 피처(feature)를 입력으로 하고, 시간 축을 기준으로 양 방향(+ 방향 및 - 방향)으로, 이웃하는 채널 일부를 각 방향을 기준으로 현재 프레임의 해당 채널과 교차시키는 구조로 형성될 수 있다.
또한, 멀티 프레임 채널 교차 알고리즘은, 정보가 손실되는 것을 방지하기 위해, 이웃하는 채널의 각 프레임 피처가 각 방향(+ 방향 및 - 방향)을 따라 순환 이동(Circular Shift) 되어, 현재 프레임의 해당 채널과 교차될 수 있다.
그리고 멀티 프레임 채널 교차 알고리즘은, 이웃하는 채널의 각 프레임 피처가 각 방향(+ 방향 및 - 방향)을 따라 순환 이동되어 현재 프레임의 해당 채널과 교차되는 경우, 현재 프레임에서 두 프레임 이상 간격을 갖는 멀티 프레임의 채널 피처 중 일부 또는 전부를 대상으로 모양 크기 조정(Shape Resizing)이 수행될 수 있다.
또한, 멀티 프레임 채널 교차 알고리즘은, 현재 프레임에서 두 프레임 이상 간격을 갖는 멀티 프레임의 채널 피처 중 일부 또는 전부를 대상으로 Shape Resizing이 수행되는 경우, Height 축 및 Width 축 방향을 따라 Shape Resizing의 대상이 되는 채널 피처를 기설정된 값으로 응축시키고, 이때, 기설정된 값은, 1/(프레임 수)가 될 수 있다.
그리고 제5 단계는, 손실 함수인 Cross-Entropy를 적용하여 예측 텐서와 정답(Ground Truth) 사이의 손실(Loss)을 출력한 후, 손실을 줄이는 방향으로 각 필터 레이어 가중치를 학습할 수 있다.
한편, 본 발명의 다른 실시예에 따른, 인간 미세 제스처 인식 시스템은, 멀티 프레임 채널 교차 알고리즘이 저장되는 저장부; 및 비디오 데이터에서 멀티 프레임 데이터를 추출(Sampling)하고, 추출된 멀티 프레임 데이터를 멀티 프레임 채널 교차 알고리즘에 적용하며, 멀티 프레임 채널 교차 알고리즘을 통해 출력되는 결과를 완전 연결 계층(Fully Connected Layer)에 적용하고, 완전 연결 계층을 통과한 결과를 기반으로 기설정된 제스처 클래스(Class) 개수만큼 예측 텐서(Tensor)가 출력되도록 하며, 예측 텐서에 손실 함수를 적용하는 프로세서;를 포함한다.
그리고 본 발명의 다른 실시예에 따른, 인간 미세 제스처 인식 방법은, 인식 시스템이, 비디오 데이터에서 멀티 프레임 데이터를 추출(Sampling)하는 단계; 및 인식 시스템이, 추출된 멀티 프레임 데이터를 시간 가중치 멀티프레임 피처 추출기에 적용하는 단계;를 포함하고, 시간 가중치 멀티프레임 피처 추출기는, 각 프레임 피처가 Embedding Layer를 거쳐 LSTM(Long Short Term Memory)에 입력되는 구조로 형성된다.
그리고 Embedding Layer를 거친 프레임 피처는, 시간 순서에 따라 LSTM에 입력되며, 시간 가중치 멀티프레임 피처 추출기는, 종료 프레임을 기준으로 Short Term뿐 아니라 Long Term으로 입력되는 모든 프레임 정보가 모델링된 최종 피처가 추출될 수 있다.
또한, 본 발명의 다른 실시예에 따른, 인간 미세 제스처 인식 시스템은, 시간 가중치 멀티프레임 피처 추출기가 저장되는 저장부; 및 비디오 데이터에서 멀티 프레임 데이터를 추출(Sampling)하고, 추출된 멀티 프레임 데이터를 시간 가중치 멀티프레임 피처 추출기에 적용하는 프로세서;를 포함하며, 시간 가중치 멀티프레임 피처 추출기는, 각 프레임 피처가 Embedding Layer를 거쳐 LSTM(Long Short Term Memory)에 입력되는 구조로 형성된다.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 멀티프레임 입력 데이터가 학습되는 과정에서 입력 순서에 따라 축적되며 생성되는 피처 채널들을 시간 축 기준 양 방향(-1, +1 방향) 두 프레임 교차시키고, Zero padding 연산 방법을 Circular Shift 방법으로 대체하여 Zero padding 연산 수행 시, 시작 프레임과 종료 프레임의 채널 일부를 0으로 제거하여 정보가 손실되는 것을 방지하는 동시에 미세 제스처(Micro Gesture)를 인식하기 위한 효율적 연산을 수행할 수 있다.
또한, 본 발명의 실시예들에 따르면, 이웃하는 프레임 뿐 아니라, 현재 프레임 기준 두 프레임 이상 차이가 나는 모든 프레임의 피처 정보를 담은 채널을 포함하는 전략으로 Short term 뿐만 아니라 Long term 정보에 대한 모델링이 가능하도록 할 수 있다.
도 1은, 본 발명의 일 실시예에 따른 인간 미세 제스처 인식 시스템의 구성 설명에 제공된 도면,
도 2는, 본 발명의 일 실시예에 따른 인간 미세 제스처 인식 시스템의 동작 설명에 제공된 도면,
도 3은, 본 발명의 일 실시예에 따른 인간 미세 제스처 인식 방법의 설명에 제공된 흐름도,
도 4는, 본 발명의 일 실시예에 따른 멀티 프레임 채널 교차 알고리즘의 설명에 제공된 도면,
도 5는, 본 발명의 일 실시예에 따른 멀티 프레임 채널 교차 알고리즘에 적용되는 멀티 프레임 피처(Multi Frame feature)가 도식화된 모습이 예시된 도면,
도 6은, 멀티 프레임 피처에 Zero padding 연산 기법이 적용되는 모습이 예시된 도면,
도 7은, 본 발명의 일 실시예에 따른 멀티 프레임 채널 교차 알고리즘에서 멀티 프레임 피처에 순환 이동(Circular Shift) 기법이 적용되는 모습이 예시된 도면, 그리고
도 8은, 본 발명의 다른 실시예에 따른 시간 가중치 멀티프레임 피처 추출기의 설명에 제공된 도면이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
도 1은, 본 발명의 일 실시예에 따른 인간 미세 제스처 인식 시스템의 구성 설명에 제공된 도면이고, 도 2는, 본 발명의 일 실시예에 따른 인간 미세 제스처 인식 시스템의 동작 설명에 제공된 도면이다.
본 실시예에 따른 멀티프레임 시간 축 채널 교차 알고리즘을 적용한 인간 미세 제스처 인식 시스템(이하에서는 '인간 미세 제스처 인식 시스템'으로 총칭하기로 함)은, 멀티프레임 입력 데이터가 학습되는 과정에서 입력 순서에 따라 축적되며 생성되는 피처 채널들을 시간 축 기준 양 방향(-1, +1 방향) 두 프레임 교차시키며, Zero padding 연산 수행 시, 시작 프레임과 종료 프레임의 채널 일부를 0으로 제거하여 정보가 손실되는 것을 방지하기 위해, Zero padding 연산 방법을 Circular Shift 방법으로 대체할 수 있다.
또한, 본 실시예에 따른 인간 미세 제스처 인식 시스템은, 이웃하는 프레임 뿐 아니라, 현재 프레임 기준 두 프레임 이상 차이가 나는 모든 프레임의 피처 정보를 담은 채널을 포함하는 전략으로 Short term 뿐만 아니라 Long term 정보에 대한 모델링을 지원할 수 있다.
도 1을 참조하면, 본 인간 미세 제스처 인식 시스템은, 통신부(110), 프로세서(120) 및 저장부(130)를 포함할 수 있다.
통신부(110)는, 비디오 데이터를 획득하기 위해, 외부 시스템과 연결될 수 있다.
저장부(130)는, 프로세서(120)가 동작함에 있어 필요한 프로그램 및 데이터를 저장하는 저장매체이다.
예를 들면, 저장부(130)는, 멀티 프레임 채널 교차 알고리즘에 대한 정보가 저장될 수 있다.
프로세서(120)는, 인간 미세 제스처 인식 시스템의 제반 사항들을 처리할 수 있다.
예를 들면, 프로세서(120)는 통신부(110)를 통해 획득된 비디오 데이터에서 멀티 프레임 데이터를 추출(Sampling)하며, 추출된 멀티 프레임 데이터를 멀티 프레임 채널 교차 알고리즘에 적용할 수 있다.
그리고 프로세서(120)는 멀티 프레임 채널 교차 알고리즘을 통해 출력되는 결과를 완전 연결 계층(Fully Connected Layer)에 적용하며, 완전 연결 계층을 통과한 결과를 기반으로 예측 텐서(Tensor)가 출력되도록 하고, 예측 텐서에 손실 함수를 적용하여, 예측 텐서와 정답(Ground Truth) 사이의 손실(Loss)을 출력한 후, 손실을 줄이는 방향으로 각 필터 레이어 가중치를 학습시킬 수 있다.
도 3은, 본 발명의 일 실시예에 따른 인간 미세 제스처 인식 방법의 설명에 제공된 흐름도이다.
본 실시예에 따른 인간 미세 제스처 인식 방법은, 도 1 내지 도 2를 참조하여 전술한 인간 미세 제스처 인식 시스템에 의해 실행될 수 있다.
도 3을 참조하면, 인간 미세 제스처 인식 방법은, 인간 미세 제스처 인식 시스템을 이용하여 비디오 데이터에서 멀티 프레임 데이터를 추출하며(S310), 추출된 멀티 프레임 데이터를 멀티 프레임 채널 교차 알고리즘에 적용할 수 있다(S320).
이때, 인간 미세 제스처 인식 시스템은 비디오 데이터에서 멀티 프레임 데이터를 추출하는 경우, 원본 비디오 데이터를 대상으로 세그먼트 기반 추출 기법(Segment Based Sampling Method)을 적용하여 복수의 프레임(멀티 프레임)을 갖는 학습용 입력 데이터 클립(Clip)을 추출할 수 있다.
그리고 인간 미세 제스처 인식 방법은, 멀티 프레임 채널 교차 알고리즘을 통해 출력되는 결과를 완전 연결 계층에 적용하며(S330), 완전 연결 계층을 통과한 결과를 기반으로 예측 텐서가 출력되도록 하고(S340), 예측 텐서에 손실 함수를 적용하여(S350), 예측 텐서와 정답(Ground Truth) 사이의 손실(Loss)을 출력한 후, 손실을 줄이는 방향으로 각 필터 레이어 가중치를 학습시킬 수 있다.
여기서, 인간 미세 제스처 인식 시스템은 예측 텐서가 출력되도록 하는 경우, 완전 연결 계층을 통과한 결과를 기반으로 기설정된 제스처 클래스(Class) 개수만큼 예측 텐서가 출력되도록 할 수 있다.
그리고 인간 미세 제스처 인식 시스템은 완전 연결 계층을 통과한 결과를 기반으로 기설정된 제스처 클래스 개수만큼 예측 텐서가 출력되면, 출력된 각 예측 텐서에 Softmax 함수를 적용하여 각 클래스별 확률 값을 출력할 수 있다.
도 4는, 본 발명의 일 실시예에 따른 멀티 프레임 채널 교차 알고리즘의 설명에 제공된 도면이다.
도 4를 참조하면, 본 실시예에 따른 멀티 프레임 채널 교차 알고리즘은, 다수 계층(Multi Layer)으로 구성될 수 있다.
이를 통해, 인간 미세 제스처 인식 시스템은 복수의 프레임(멀티 프레임)을 갖는 입력 데이터 클립이 추출되면, 추출된 입력 데이터 클립을 대상으로 다수 계층(L0~LN)으로 구성된 컨볼루션(Convolution) 연산을 수행하되, 컨볼루션 계층마다 해당 연산이 수행되기 이전에 해당 계층의 채널 교차 알고리즘이 적용되도록 할 수 있다.
그리고 멀티 프레임 채널 교차 알고리즘은, 이전 컨볼루션 계층을 통과한 후 생성된 출력 피처(feature)를 입력으로 하고, 시간 축을 기준으로 양 방향(+ 방향 및 - 방향)으로, 이웃하는 채널 일부를 각 방향을 기준으로 현재 프레임의 해당 채널과 교차시키는 구조로 형성될 수 있다.
여기서, 도 5는, 본 발명의 일 실시예에 따른 멀티 프레임 채널 교차 알고리즘에 적용되는 멀티 프레임 피처(Multi Frame feature)가 도식화된 모습이 예시된 도면이다.
시간 축은 1차원이므로 교차 방향은 두 개 존재하며, 도 5에서는 이를 - 방향 및 + 방향으로 표기한다.
도 6은, 멀티 프레임 피처에 Zero padding 연산 기법이 적용되는 모습이 예시된 도면이고, 도 7은, 본 발명의 일 실시예에 따른 멀티 프레임 채널 교차 알고리즘에서 멀티 프레임 피처에 순환 이동(Circular Shift) 기법이 적용되는 모습이 예시된 도면,
멀티 프레임 채널 교차 알고리즘은, 도 6에 예시된 바와 같이 멀티 프레임 피처에 Naive Shift를 통한 Zero padding 연산 기법이 적용되는 경우, Zero padding 연산으로 채널 일부를 0으로 제거하여 정보를 온전히 활용하지 못하는 문제가 발생할 수 있다.
이에, 본 멀티 프레임 채널 교차 알고리즘은, Zero padding 연산 수행 시, 시작 프레임과 종료 프레임의 채널 일부를 0으로 제거하여 정보가 손실되는 것을 방지하기 위해, 도 7에 예시된 바와 같이 이웃하는 채널의 각 프레임 피처가 각 방향(+ 방향 및 - 방향)을 따라 순환 이동(Circular Shift) 되어, 현재 프레임의 해당 채널과 교차되도록 할 수 있다.
그리고 멀티 프레임 채널 교차 알고리즘은, 이웃하는 채널의 각 프레임 피처가 각 방향(+ 방향 및 - 방향)을 따라 순환 이동되어 현재 프레임의 해당 채널과 교차되는 경우, 현재 프레임에서 두 프레임 이상 간격을 갖는 멀티 프레임의 채널 피처 중 일부 또는 전부를 대상으로 모양 크기 조정(Shape Resizing)이 수행되도록 할 수 있다.
구체적으로 예를 들면, 멀티 프레임 채널 교차 알고리즘은, 현재 프레임에서 두 프레임 이상 간격을 갖는 멀티 프레임의 채널 피처 중 일부 또는 전부를 대상으로 Shape Resizing이 수행되는 경우, Height 축 및 Width 축 방향을 따라 Shape Resizing의 대상이 되는 채널 피처를 기설정된 값으로 응축시킬 수 있다.
이때, 기설정된 값은, 1/(프레임 수) 가 될 수 있다.
이를 통해, 기존 채널 중 일부는, 도 5에 예시된 바와 같이 응축된 멀티프레임 채널 피처로 대체될 수 있다.
도 8은, 본 발명의 다른 실시예에 따른 시간 가중치 멀티프레임 피처 추출기의 설명에 제공된 도면이다.
본 실시예에 따른 인간 미세 제스처 인식 시스템은, 도 1을 참조하여 전술한 시스템의 구성은 동일하나, 멀티 프레임 채널 교차 알고리즘을 대체하여 클립 단위 데이터를 시간 가중치 멀티프레임 피처 추출기에 적용할 수 있다.
시간 가중치 멀티프레임 피처 추출기는, 각 프레임 피처가 Embedding Layer를 거쳐 LSTM(Long Short Term Memory)에 입력되는 구조로 형성될 수 있다.
Embedding Layer를 거친 프레임 피처는, 시간 순서에 따라 LSTM에 입력될 수 있으며, 시간 가중치 멀티프레임 피처 추출기는, 종료 프레임을 기준으로 Short Term뿐 아니라 Long Term으로 입력되는 모든 프레임 정보가 모델링된 최종 피처가 추출되도록 할 수 있다.
첨언하면, 시간 가중치 멀티프레임 피처 추출기에서 출력된 최종 피처는, 별도로 마련되는 메모리 공간에 저장될 수 있으며, 이후, 멀티 프레임 채널 교차 알고리즘에 적용되는 멀티 프레임 데이터에 Concatenate되는 채널 역할을 수행할 수 있다.
한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (12)

  1. 인식 시스템이, 비디오 데이터에서 멀티 프레임 데이터를 추출(Sampling)하는 제1 단계;
    인식 시스템이, 추출된 멀티 프레임 데이터를 멀티 프레임 채널 교차 알고리즘에 적용하는 제2 단계;
    인식 시스템이, 멀티 프레임 채널 교차 알고리즘을 통해 출력되는 결과를 완전 연결 계층(Fully Connected Layer)에 적용하는 제3 단계;
    인식 시스템이, 완전 연결 계층을 통과한 결과를 기반으로 기설정된 제스처 클래스(Class) 개수만큼 예측 텐서(Tensor)가 출력되도록 하는 제4 단계; 및
    인식 시스템이, 예측 텐서에 손실 함수를 적용하는 제5 단계;를 포함하는 인간 미세 제스처 인식 방법.
  2. 청구항 1에 있어서,
    제1 단계는,
    원본 비디오 데이터를 대상으로 세그먼트 기반 추출 기법(Segment Based Sampling Method)을 적용하여 복수의 프레임(멀티 프레임)을 갖는 학습용 입력 데이터 클립(Clip)을 추출하는 것을 특징으로 하는 인간 미세 제스처 인식 방법.
  3. 청구항 2에 있어서,
    제2 단계는,
    제1 단계에서 추출된 클립 단위 데이터를 대상으로 다수 계층(Multi Layer)으로 구성된 컨볼루션(Convolution) 연산을 수행하되, 컨볼루션 계층마다 해당 연산이 수행되기 이전에 해당 계층의 채널 교차 알고리즘을 적용하는 것을 특징으로 하는 인간 미세 제스처 인식 방법.
  4. 청구항 3에 있어서,
    멀티 프레임 채널 교차 알고리즘은,
    이전 컨볼루션 계층을 통과한 후 생성된 출력 피처(feature)를 입력으로 하고,
    시간 축을 기준으로 양 방향(+ 방향 및 - 방향)으로, 이웃하는 채널 일부를 각 방향을 기준으로 현재 프레임의 해당 채널과 교차시키는 구조로 형성되는 것을 특징으로 하는 인간 미세 제스처 인식 방법.
  5. 청구항 4에 있어서,
    멀티 프레임 채널 교차 알고리즘은,
    정보가 손실되는 것을 방지하기 위해, 이웃하는 채널의 각 프레임 피처가 각 방향(+ 방향 및 - 방향)을 따라 순환 이동(Circular Shift) 되어, 현재 프레임의 해당 채널과 교차되도록 하는 것을 특징으로 하는 인간 미세 제스처 인식 방법.
  6. 청구항 5에 있어서,
    멀티 프레임 채널 교차 알고리즘은,
    이웃하는 채널의 각 프레임 피처가 각 방향(+ 방향 및 - 방향)을 따라 순환 이동되어 현재 프레임의 해당 채널과 교차되는 경우, 현재 프레임에서 두 프레임 이상 간격을 갖는 멀티 프레임의 채널 피처 중 일부 또는 전부를 대상으로 모양 크기 조정(Shape Resizing)이 수행되도록 하는 것을 특징으로 하는 인간 미세 제스처 인식 방법.
  7. 청구항 6에 있어서,
    멀티 프레임 채널 교차 알고리즘은,
    현재 프레임에서 두 프레임 이상 간격을 갖는 멀티 프레임의 채널 피처 중 일부 또는 전부를 대상으로 Shape Resizing이 수행되는 경우, Height 축 및 Width 축 방향을 따라 Shape Resizing의 대상이 되는 채널 피처를 기설정된 값으로 응축시키고,
    기설정된 값은,
    1/(프레임 수)가 되는 것을 특징으로 하는 인간 미세 제스처 인식 방법.
  8. 청구항 1에 있어서,
    제5 단계는,
    손실 함수인 Cross-Entropy를 적용하여 예측 텐서와 정답(Ground Truth) 사이의 손실(Loss)을 출력한 후, 손실을 줄이는 방향으로 각 필터 레이어 가중치를 학습하는 것을 특징으로 하는 것을 인간 미세 제스처 인식 방법.
  9. 멀티 프레임 채널 교차 알고리즘이 저장되는 저장부; 및
    비디오 데이터에서 멀티 프레임 데이터를 추출(Sampling)하고, 추출된 멀티 프레임 데이터를 멀티 프레임 채널 교차 알고리즘에 적용하며, 멀티 프레임 채널 교차 알고리즘을 통해 출력되는 결과를 완전 연결 계층(Fully Connected Layer)에 적용하고, 완전 연결 계층을 통과한 결과를 기반으로 기설정된 제스처 클래스(Class) 개수만큼 예측 텐서(Tensor)가 출력되도록 하며, 예측 텐서에 손실 함수를 적용하는 프로세서;를 포함하는 인간 미세 제스처 인식 시스템.
  10. 인식 시스템이, 비디오 데이터에서 멀티 프레임 데이터를 추출(Sampling)하는 단계; 및
    인식 시스템이, 추출된 멀티 프레임 데이터를 시간 가중치 멀티프레임 피처 추출기에 적용하는 단계;를 포함하고,
    시간 가중치 멀티프레임 피처 추출기는,
    각 프레임 피처가 Embedding Layer를 거쳐 LSTM(Long Short Term Memory)에 입력되는 구조로 형성되는 것을 특징으로 하는 인간 미세 제스처 인식 방법.
  11. 청구항 10에 있어서,
    Embedding Layer를 거친 프레임 피처는,
    시간 순서에 따라 LSTM에 입력되며,
    시간 가중치 멀티프레임 피처 추출기는,
    종료 프레임을 기준으로 Short Term뿐 아니라 Long Term으로 입력되는 모든 프레임 정보가 모델링된 최종 피처가 추출되는 것을 특징으로 하는 인간 미세 제스처 인식 방법.
  12. 시간 가중치 멀티프레임 피처 추출기가 저장되는 저장부; 및
    비디오 데이터에서 멀티 프레임 데이터를 추출(Sampling)하고, 추출된 멀티 프레임 데이터를 시간 가중치 멀티프레임 피처 추출기에 적용하는 프로세서;를 포함하며,
    시간 가중치 멀티프레임 피처 추출기는,
    각 프레임 피처가 Embedding Layer를 거쳐 LSTM(Long Short Term Memory)에 입력되는 구조로 형성되는 것을 특징으로 하는 인간 미세 제스처 인식 시스템.
PCT/KR2023/017770 2022-12-23 2023-11-07 멀티프레임 시간 축 채널 교차 알고리즘을 적용한 인간 미세 제스처 인식 시스템 및 방법 Ceased WO2024136115A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2022-0182779 2022-12-23
KR1020220182779A KR102895550B1 (ko) 2022-12-23 2022-12-23 멀티프레임 시간 축 채널 교차 알고리즘을 적용한 인간 미세 제스처 인식 시스템 및 방법

Publications (1)

Publication Number Publication Date
WO2024136115A1 true WO2024136115A1 (ko) 2024-06-27

Family

ID=91589324

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/017770 Ceased WO2024136115A1 (ko) 2022-12-23 2023-11-07 멀티프레임 시간 축 채널 교차 알고리즘을 적용한 인간 미세 제스처 인식 시스템 및 방법

Country Status (2)

Country Link
KR (1) KR102895550B1 (ko)
WO (1) WO2024136115A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190080818A (ko) * 2017-12-28 2019-07-08 한국과학기술원 부분 확률맵을 포함하는 딥 러닝 기반 객체 검출 방법 및 장치
CN111046798A (zh) * 2019-12-12 2020-04-21 智慧视通(杭州)科技发展有限公司 一种基于形体识别的视频实时分析方法
CN111860117A (zh) * 2020-06-03 2020-10-30 安徽碧耕软件有限公司 一种基于深度学习的人体行为识别方法
CN113158909A (zh) * 2021-04-25 2021-07-23 中国科学院自动化研究所 基于多目标跟踪的行为识别轻量化方法、系统、设备
CN115131710A (zh) * 2022-07-05 2022-09-30 福州大学 基于多尺度特征融合注意力的实时动作检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190080818A (ko) * 2017-12-28 2019-07-08 한국과학기술원 부분 확률맵을 포함하는 딥 러닝 기반 객체 검출 방법 및 장치
CN111046798A (zh) * 2019-12-12 2020-04-21 智慧视通(杭州)科技发展有限公司 一种基于形体识别的视频实时分析方法
CN111860117A (zh) * 2020-06-03 2020-10-30 安徽碧耕软件有限公司 一种基于深度学习的人体行为识别方法
CN113158909A (zh) * 2021-04-25 2021-07-23 中国科学院自动化研究所 基于多目标跟踪的行为识别轻量化方法、系统、设备
CN115131710A (zh) * 2022-07-05 2022-09-30 福州大学 基于多尺度特征融合注意力的实时动作检测方法

Also Published As

Publication number Publication date
KR102895550B1 (ko) 2025-12-04
KR20240100785A (ko) 2024-07-02

Similar Documents

Publication Publication Date Title
CN111134666B (zh) 一种多通道脑电数据的情绪识别方法及电子装置
Shin et al. Dynamic Korean sign language recognition using pose estimation based and attention-based neural network
CN111222486B (zh) 手部姿态识别模型的训练方法、装置、设备及存储介质
WO2018230832A1 (en) Image processing apparatus and method using multi-channel feature map
WO2017164478A1 (ko) 미세 얼굴 다이나믹의 딥 러닝 분석을 통한 미세 표정 인식 방법 및 장치
CN109062951B (zh) 基于意图分析和对话聚类的对话流程抽取方法、设备及存储介质
CN115775565B (zh) 基于多模态的情感识别方法及相关设备
CN116671918B (zh) 基于脑电信号的情绪识别方法和装置、电子设备及介质
CN113516972A (zh) 语音识别方法、装置、计算机设备及存储介质
Moustafa et al. Arabic sign language recognition systems: A systematic review
Asaad Review on deep learning and neural network implementation for emotions recognition
CN113763385A (zh) 视频目标分割方法、装置、设备及介质
Gündüz et al. Turkish sign language recognition based on multistream data fusion
Wang et al. Cornerstone network with feature extractor: a metric-based few-shot model for chinese natural sign language
CN118839301A (zh) 一种基于ai的虚拟交互方法及系统
Shetty et al. Real-time translation of sign language for speech impaired
Yan et al. Empower smart cities with sampling-wise dynamic facial expression recognition via frame-sequence contrastive learning
WO2022010149A1 (ko) 얼굴 표정에 관한 데이터 세트를 생성하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
Allam et al. Sign language recognition using CNN
Herath et al. An approach to Sri Lankan sign language recognition using deep learning with MediaPipe
Helaly et al. Deep convolution neural network implementation for emotion recognition system
Das et al. Intelligent indian sign language recognition systems: A critical review
CN119498849B (zh) 基于脑激活区多视角对比学习的情绪识别方法
Mallika et al. Hand gesture recognition using convolutional neural networks
Tan et al. Implementing Gesture Recognition in a Sign Language Learning Application

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23907401

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 23907401

Country of ref document: EP

Kind code of ref document: A1