WO2020196985A1 - Appareil et procédé de reconnaissance d'action vidéo et de détection de section d'action - Google Patents
Appareil et procédé de reconnaissance d'action vidéo et de détection de section d'action Download PDFInfo
- Publication number
- WO2020196985A1 WO2020196985A1 PCT/KR2019/004798 KR2019004798W WO2020196985A1 WO 2020196985 A1 WO2020196985 A1 WO 2020196985A1 KR 2019004798 W KR2019004798 W KR 2019004798W WO 2020196985 A1 WO2020196985 A1 WO 2020196985A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- reliability
- class
- class reliability
- video
- maps
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 76
- 230000009471 action Effects 0.000 title claims abstract description 70
- 238000001514 detection method Methods 0.000 title claims abstract description 42
- 230000006399 behavior Effects 0.000 claims description 152
- 239000011159 matrix material Substances 0.000 claims description 107
- 238000010606 normalization Methods 0.000 claims description 76
- 239000000284 extract Substances 0.000 claims description 17
- 230000003542 behavioural effect Effects 0.000 claims description 5
- 230000004044 response Effects 0.000 claims description 4
- 230000035945 sensitivity Effects 0.000 claims description 4
- 239000003814 drug Substances 0.000 claims 1
- 230000002123 temporal effect Effects 0.000 abstract description 31
- 230000004807 localization Effects 0.000 abstract description 17
- 230000000875 corresponding effect Effects 0.000 description 19
- 230000004913 activation Effects 0.000 description 14
- 230000006870 function Effects 0.000 description 14
- 238000013528 artificial neural network Methods 0.000 description 13
- 238000000605 extraction Methods 0.000 description 12
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 230000009189 diving Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 239000012190 activator Substances 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000001351 cycling effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/32—Normalisation of the pattern dimensions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
- G06V10/993—Evaluation of the quality of the acquired pattern
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/36—Monitoring, i.e. supervising the progress of recording or reproducing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
Abstract
La présente invention concerne un appareil et un procédé de reconnaissance d'action vidéo et de détection de section d'action, capable réaliser une localisation d'action temporelle sur une vidéo en étant entraîné à l'aide d'une vidéo d'entraînement dans laquelle seule une simple étiquette d'action est annotée, ce qui réduit les charges temporelles et financières pour obtenir la vidéo d'entraînement et capable de reconnaître une localisation temporelle précise d'une action avec une cohérence temporelle en extrayant, à partir de la vidéo, des cartes de caractéristiques selon des segments pour analyser une fiabilité d'action selon les segments et une similitude sémantique entre les segments concernant une même action et en appliquant une pondération à la fiabilité d'action selon les segments sur la base de la similitude sémantique entre les segments.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190034832A KR102174658B1 (ko) | 2019-03-27 | 2019-03-27 | 비디오 행동 인식 및 행동 구간 탐지 장치 및 방법 |
| KR10-2019-0034832 | 2019-03-27 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2020196985A1 true WO2020196985A1 (fr) | 2020-10-01 |
Family
ID=72611608
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/KR2019/004798 WO2020196985A1 (fr) | 2019-03-27 | 2019-04-22 | Appareil et procédé de reconnaissance d'action vidéo et de détection de section d'action |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR102174658B1 (fr) |
| WO (1) | WO2020196985A1 (fr) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112487913A (zh) * | 2020-11-24 | 2021-03-12 | 北京市地铁运营有限公司运营四分公司 | 一种基于神经网络的标注方法、装置及电子设备 |
| CN114818991A (zh) * | 2022-06-22 | 2022-07-29 | 西南石油大学 | 基于卷积神经网络和加速度传感器的跑步行为识别方法 |
| CN114882403A (zh) * | 2022-05-05 | 2022-08-09 | 杭州电子科技大学 | 基于渐进注意力超图的视频时空动作定位方法 |
| CN116226443A (zh) * | 2023-05-11 | 2023-06-06 | 山东建筑大学 | 基于大规模视频语料库的弱监督视频片段定位方法及系统 |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102488969B1 (ko) * | 2020-12-28 | 2023-01-13 | 한국로봇융합연구원 | 학습모델 기반의 발달 장애 조기 선별을 위한 데이터에 대한 레이블링을 위한 장치 및 이를 위한 방법 |
| KR102616236B1 (ko) * | 2021-10-25 | 2023-12-21 | 연세대학교 산학협력단 | 모방 학습을 이용한 실시간 비디오 동작 검출 장치 및 방법 |
| KR20230095505A (ko) * | 2021-12-22 | 2023-06-29 | 경기대학교 산학협력단 | 동영상 관계 탐지 시스템 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150065370A (ko) * | 2013-12-05 | 2015-06-15 | 한국전자통신연구원 | 행동 인식 장치 및 그 방법 |
| US20160063335A1 (en) * | 2013-05-03 | 2016-03-03 | Nokia Technologies Oy | A method and technical equipment for people identification |
| KR20170070298A (ko) * | 2015-12-11 | 2017-06-22 | 연세대학교 산학협력단 | 물체-행동 관계 모델에 기반한 행동 인식 방법 및 그 장치 |
| KR101936947B1 (ko) * | 2017-12-04 | 2019-01-09 | 포항공과대학교 산학협력단 | 비디오 인식을 위한 영상 세그먼트 프레임별 특징점의 시간 정보 인코딩 방법 |
| KR20190030474A (ko) * | 2017-09-14 | 2019-03-22 | 삼성전자주식회사 | 신뢰도에 기초하여 깊이 맵을 산출하는 방법 및 장치 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101731461B1 (ko) * | 2015-12-09 | 2017-05-11 | 고려대학교 산학협력단 | 객체에 대한 행동 탐지 장치 및 이를 이용한 행동 탐지 방법 |
-
2019
- 2019-03-27 KR KR1020190034832A patent/KR102174658B1/ko active IP Right Grant
- 2019-04-22 WO PCT/KR2019/004798 patent/WO2020196985A1/fr active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160063335A1 (en) * | 2013-05-03 | 2016-03-03 | Nokia Technologies Oy | A method and technical equipment for people identification |
| KR20150065370A (ko) * | 2013-12-05 | 2015-06-15 | 한국전자통신연구원 | 행동 인식 장치 및 그 방법 |
| KR20170070298A (ko) * | 2015-12-11 | 2017-06-22 | 연세대학교 산학협력단 | 물체-행동 관계 모델에 기반한 행동 인식 방법 및 그 장치 |
| KR20190030474A (ko) * | 2017-09-14 | 2019-03-22 | 삼성전자주식회사 | 신뢰도에 기초하여 깊이 맵을 산출하는 방법 및 장치 |
| KR101936947B1 (ko) * | 2017-12-04 | 2019-01-09 | 포항공과대학교 산학협력단 | 비디오 인식을 위한 영상 세그먼트 프레임별 특징점의 시간 정보 인코딩 방법 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112487913A (zh) * | 2020-11-24 | 2021-03-12 | 北京市地铁运营有限公司运营四分公司 | 一种基于神经网络的标注方法、装置及电子设备 |
| CN114882403A (zh) * | 2022-05-05 | 2022-08-09 | 杭州电子科技大学 | 基于渐进注意力超图的视频时空动作定位方法 |
| CN114882403B (zh) * | 2022-05-05 | 2022-12-02 | 杭州电子科技大学 | 基于渐进注意力超图的视频时空动作定位方法 |
| CN114818991A (zh) * | 2022-06-22 | 2022-07-29 | 西南石油大学 | 基于卷积神经网络和加速度传感器的跑步行为识别方法 |
| CN116226443A (zh) * | 2023-05-11 | 2023-06-06 | 山东建筑大学 | 基于大规模视频语料库的弱监督视频片段定位方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102174658B1 (ko) | 2020-11-05 |
| KR20200119391A (ko) | 2020-10-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020196985A1 (fr) | Appareil et procédé de reconnaissance d'action vidéo et de détection de section d'action | |
| WO2020022704A1 (fr) | Procédé d'apprentissage et de test de réseau de brouillage pouvant traiter des données à dissimuler à des fins de confidentialité, et dispositif d'apprentissage ainsi que dispositif de test l'utilisant | |
| KR100474848B1 (ko) | 영상시각 정보를 결합하여 실시간으로 복수의 얼굴을검출하고 추적하는 얼굴 검출 및 추적 시스템 및 방법 | |
| WO2021201422A1 (fr) | Procédé et système de segmentation sémantique applicables à l'ar | |
| WO2019132170A1 (fr) | Procédé, dispositif et programme de gestion de données d'apprentissage | |
| WO2011096651A2 (fr) | Procédé et dispositif d'identification de visage | |
| WO2017164478A1 (fr) | Procédé et appareil de reconnaissance de micro-expressions au moyen d'une analyse d'apprentissage profond d'une dynamique micro-faciale | |
| WO2015115681A1 (fr) | Procédé et appareil de reconnaissance d'expression à l'aide d'un dictionnaire d'expressions-gestes | |
| WO2019235828A1 (fr) | Système de diagnostic de maladie à deux faces et méthode associée | |
| WO2023008884A1 (fr) | Procédé de catégorisation et de traitement d'image automatique basé sur une structure de traitement continu d'un modèle d'intelligence artificielle multiple et programme informatique stocké dans un support d'enregistrement lisible par ordinateur pour l'exécuter | |
| WO2021261720A1 (fr) | Procédé d'entraînement d'un réseau d'obscurcissement dissimulant des données d'origine à utiliser pour un apprentissage automatique et d'entraînement d'un réseau substitut utilisant les données obscurcies générées par le réseau d'obscurcissement, procédé de test d'un réseau d'obscurcissement entraîné, et dispositif d'apprentissage et dispositif de test les utilisant | |
| WO2021246811A1 (fr) | Procédé et système d'entraînement de réseau neuronal pour déterminer la gravité | |
| WO2021100919A1 (fr) | Procédé, programme et système pour déterminer si un comportement anormal se produit, sur la base d'une séquence de comportement | |
| WO2022086147A1 (fr) | Procédé permettant d'entraîner et de tester un réseau d'apprentissage utilisateur à utiliser pour reconnaître des données brouillées créées par brouillage de données originales pour protéger des informations personnelles et dispositif d'apprentissage utilisateur et dispositif de test faisant appel à celui-ci | |
| WO2021153861A1 (fr) | Procédé de détection de multiples objets et appareil associé | |
| WO2020067632A1 (fr) | Procédé, appareil et programme pour échantillonner une image de trame cible d'apprentissage de vidéo pour un apprentissage d'image par ia, et procédé d'apprentissage d'image correspondant | |
| US20230102479A1 (en) | Anonymization device, monitoring apparatus, method, computer program, and storage medium | |
| WO2021040287A1 (fr) | Dispositif et procédé de nouvelle identification de personnes | |
| WO2020032506A1 (fr) | Système de détection de vision et procédé de détection de vision l'utilisant | |
| WO2021132813A1 (fr) | Procédé d'évaluation de douleur et dispositif d'analyse utilisant un modèle d'apprentissage profond | |
| WO2019035544A1 (fr) | Appareil et procédé de reconnaissance faciale par apprentissage | |
| WO2019045147A1 (fr) | Procédé d'optimisation de mémoire permettant d'appliquer un apprentissage profond à un pc | |
| WO2020080734A1 (fr) | Procédé de reconnaissance faciale et dispositif de reconnaissance faciale | |
| WO2020050456A1 (fr) | Procédé d'évaluation du degré d'anomalie de données d'équipement | |
| WO2021235682A1 (fr) | Procédé et dispositif de réalisation d'une prédiction de comportement à l'aide d'une attention auto-focalisée explicable |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19921692 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 19921692 Country of ref document: EP Kind code of ref document: A1 |