JP7351941B2 - 画像内のオブジェクトによって実行されるアクションを決定するためのシステムおよび方法 - Google Patents
画像内のオブジェクトによって実行されるアクションを決定するためのシステムおよび方法 Download PDFInfo
- Publication number
- JP7351941B2 JP7351941B2 JP2021578061A JP2021578061A JP7351941B2 JP 7351941 B2 JP7351941 B2 JP 7351941B2 JP 2021578061 A JP2021578061 A JP 2021578061A JP 2021578061 A JP2021578061 A JP 2021578061A JP 7351941 B2 JP7351941 B2 JP 7351941B2
- Authority
- JP
- Japan
- Prior art keywords
- layer
- input image
- pooling layer
- average pooling
- important features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/211—Selection of the most significant subset of features
- G06F18/2111—Selection of the most significant subset of features by using evolutionary computational techniques, e.g. genetic algorithms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2431—Multiple classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Physiology (AREA)
- Image Analysis (AREA)
Description
-深層残差ネットワークでのアイデンティティマッピングを含む、2つの畳み込み層を有する完全事前活性化残差ブロック。
-大きな学習率を使用したニューラルネットワークの非常に高速なトレーニングを含む、超収束。
Claims (15)
- 入力画像内でオブジェクトによって実行されるアクションを決定するためのシステムであって、
1つまたは複数の命令を格納するためのメモリと、
前記メモリに通信可能に結合され、前記メモリ内の1つまたは複数の命令を実行するように構成されたプロセッサであって、
前記入力画像に対応する1つまたは複数の重要な特徴を抽出するための事前定義された数の初期ステージであって、各初期ステージは、第1の層および残差ブロックを含み、前記第1の層は、畳み込み層、最大プーリング層、および平均プーリング層からなる群から選択される、初期ステージと、
前記抽出された重要な特徴を1つまたは複数の事前定義されたクラスに分類するための最終ステージであって、グローバル平均プーリング層および緻密層で構成される最終ステージと
を含む畳み込みニューラルネットワーク(CNN)を使用するプロセッサと
を含み、
前記最大プーリング層、前記平均プーリング層、および前記グローバル平均プーリング層のそれぞれは、前記対応する入力画像のダウンサンプリングを実行するために非線形関数を使用し、各畳み込み層は、同じサイズの一定数のフィルタを使用する、システム。 - 前記事前定義された数の初期ステージは、前記入力画像に対応する前記重要な特徴を繰り返し抽出するように構成される、請求項1に記載のシステム。
- 前記各残差ブロックは、少なくとも1つのバッチ正規化層、少なくとも1つの正規化線形ユニット、および一定数のフィルタの少なくとも1つの畳み込み層を含む、請求項1に記載のシステム。
- 前記入力画像は、1から30の範囲の画像を含む、請求項1に記載のシステム。
- 前記最大プーリング層は、前記入力画像内の前記オブジェクトによって実行される前記アクションを決定するために高い重要度を有する複数のピクセルを抽出するように構成される、請求項1に記載のシステム。
- 前記平均プーリング層は、凝縮された形で前記入力画像内の情報をエンコードするように構成される、請求項1に記載のシステム。
- 各層は複数の人工ニューロンを含み、前記緻密層の各人工ニューロンは前記グローバル平均プーリング層の各人工ニューロンに接続されている、請求項1に記載のシステム。
- 入力画像内のオブジェクトによって実行されるアクションを決定するための方法であって、
前記入力画像を受信することと、
前記入力画像を畳み込みニューラルネットワーク(CNN)に提供することであって、前記CNNは、
前記入力画像に対応する1つまたは複数の重要な特徴を抽出するための事前定義された数の初期ステージであって、各初期ステージは、第1の層および残差ブロックを含み、前記第1の層は、畳み込み層、最大プーリング層、および平均プーリング層からなる群から選択される、初期ステージと、
前記抽出された重要な特徴を1つまたは複数の事前定義されたクラスに分類するための最終ステージであって、グローバル平均プーリング層および緻密層で構成される最終ステージと
を含むことと
を含み、
前記最大プーリング層、前記平均プーリング層、および前記グローバル平均プーリング層のそれぞれは、前記対応する入力画像のダウンサンプリングを実行するために非線形関数を使用し、各畳み込み層は、同じサイズの一定数のフィルタを使用する、方法。 - 前記入力画像に対応する前記1つまたは複数の重要な特徴を繰り返し抽出することをさらに含む、請求項8に記載の方法。
- 各残差ブロックは、少なくとも1つのバッチ正規化層、少なくとも1つの正規化線形ユニット、および一定数のフィルタの少なくとも1つの畳み込み層を含む、請求項8に記載の方法。
- 前記入力画像は、1から30の範囲の画像を含む、請求項8に記載の方法。
- 前記入力画像内の前記オブジェクトによって実行される前記アクションを決定するために高い重要度を有する複数のピクセルを抽出することをさらに含む、請求項8に記載の方法。
- 前記平均プーリング層を使用して、凝縮された形で前記入力画像内の情報をエンコードすることをさらに含む、請求項8に記載の方法。
- 各層は複数の人工ニューロンを含み、前記緻密層の各人工ニューロンは前記グローバル平均プーリング層の各人工ニューロンに接続されている、請求項8に記載の方法。
- 機械が読み取り可能な非一時的データ記憶媒体に記録されたソフトウェア製品であって、請求項8に記載の方法を実施するためにコンピューティングハードウェア上で実行可能であるソフトウェア製品。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/458,286 US11151412B2 (en) | 2019-07-01 | 2019-07-01 | Systems and methods for determining actions performed by objects within images |
US16/458,286 | 2019-07-01 | ||
PCT/IB2020/054486 WO2021001701A1 (en) | 2019-07-01 | 2020-05-12 | Systems and methods for determining actions performed by objects within images |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022540070A JP2022540070A (ja) | 2022-09-14 |
JP7351941B2 true JP7351941B2 (ja) | 2023-09-27 |
Family
ID=70857212
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021578061A Active JP7351941B2 (ja) | 2019-07-01 | 2020-05-12 | 画像内のオブジェクトによって実行されるアクションを決定するためのシステムおよび方法 |
Country Status (11)
Country | Link |
---|---|
US (1) | US11151412B2 (ja) |
EP (1) | EP3994604A1 (ja) |
JP (1) | JP7351941B2 (ja) |
KR (1) | KR20220010560A (ja) |
CN (1) | CN114008692A (ja) |
AU (1) | AU2020300066B2 (ja) |
BR (1) | BR112021024279A2 (ja) |
CA (1) | CA3141695A1 (ja) |
CO (1) | CO2021016316A2 (ja) |
MX (1) | MX2021015602A (ja) |
WO (1) | WO2021001701A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11992322B2 (en) * | 2021-03-30 | 2024-05-28 | Ionetworks Inc. | Heart rhythm detection method and system using radar sensor |
CN113908362B (zh) * | 2021-10-13 | 2022-05-17 | 南方医科大学珠江医院 | 基于大数据的ecmo护理质量控制方法及系统 |
KR102655767B1 (ko) | 2023-01-12 | 2024-04-05 | 국립공주대학교 산학협력단 | 쪽파를 함유하는 닭튀김의 제조방법 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018053031A1 (en) | 2016-09-14 | 2018-03-22 | Kla-Tencor Corporation | Convolutional neural network-based mode selection and defect classification for image fusion |
JP2018106437A (ja) | 2016-12-27 | 2018-07-05 | 積水化学工業株式会社 | 行動評価装置、行動評価方法 |
JP2019020820A (ja) | 2017-07-12 | 2019-02-07 | 株式会社日立製作所 | 映像認識システム |
JP2019096179A (ja) | 2017-11-27 | 2019-06-20 | ホーチキ株式会社 | 行動監視システム |
JP2019096006A (ja) | 2017-11-21 | 2019-06-20 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
Family Cites Families (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10242266B2 (en) * | 2016-03-02 | 2019-03-26 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for detecting actions in videos |
US10559111B2 (en) * | 2016-06-23 | 2020-02-11 | LoomAi, Inc. | Systems and methods for generating computer ready animation models of a human head from captured data images |
US10706350B1 (en) * | 2017-08-11 | 2020-07-07 | Facebook, Inc. | Video analysis using convolutional networks |
US20200210767A1 (en) * | 2017-09-08 | 2020-07-02 | The General Hospital Corporation | Method and systems for analyzing medical image data using machine learning |
US11734955B2 (en) * | 2017-09-18 | 2023-08-22 | Board Of Trustees Of Michigan State University | Disentangled representation learning generative adversarial network for pose-invariant face recognition |
US10692244B2 (en) * | 2017-10-06 | 2020-06-23 | Nvidia Corporation | Learning based camera pose estimation from images of an environment |
SG11201912745WA (en) * | 2017-10-16 | 2020-01-30 | Illumina Inc | Deep learning-based splice site classification |
KR102416048B1 (ko) * | 2017-10-16 | 2022-07-04 | 일루미나, 인코포레이티드 | 변이체 분류를 위한 심층 컨볼루션 신경망 |
US11263525B2 (en) * | 2017-10-26 | 2022-03-01 | Nvidia Corporation | Progressive modification of neural networks |
EP3901833A1 (en) * | 2018-01-15 | 2021-10-27 | Illumina, Inc. | Deep learning-based variant classifier |
US20190236440A1 (en) * | 2018-01-31 | 2019-08-01 | Pin-Han Ho | Deep convolutional neural network architecture and system and method for building the deep convolutional neural network architecture |
US11507800B2 (en) * | 2018-03-06 | 2022-11-22 | Adobe Inc. | Semantic class localization digital environment |
EP3547211B1 (en) * | 2018-03-30 | 2021-11-17 | Naver Corporation | Methods for training a cnn and classifying an action performed by a subject in an inputted video using said cnn |
US11315570B2 (en) * | 2018-05-02 | 2022-04-26 | Facebook Technologies, Llc | Machine learning-based speech-to-text transcription cloud intermediary |
CN108776807A (zh) * | 2018-05-18 | 2018-11-09 | 复旦大学 | 一种基于可跳层双支神经网络的图像粗细粒度分类方法 |
CN108921022A (zh) * | 2018-05-30 | 2018-11-30 | 腾讯科技(深圳)有限公司 | 一种人体属性识别方法、装置、设备及介质 |
US11010902B2 (en) * | 2018-06-04 | 2021-05-18 | University Of Central Florida Research Foundation, Inc. | Capsules for image analysis |
CN108830211A (zh) * | 2018-06-11 | 2018-11-16 | 厦门中控智慧信息技术有限公司 | 基于深度学习的人脸识别方法及相关产品 |
US11034357B2 (en) * | 2018-09-14 | 2021-06-15 | Honda Motor Co., Ltd. | Scene classification prediction |
CN114502061B (zh) * | 2018-12-04 | 2024-05-28 | 巴黎欧莱雅 | 使用深度学习的基于图像的自动皮肤诊断 |
US11049310B2 (en) * | 2019-01-18 | 2021-06-29 | Snap Inc. | Photorealistic real-time portrait animation |
US10691980B1 (en) * | 2019-04-18 | 2020-06-23 | Siemens Healthcare Gmbh | Multi-task learning for chest X-ray abnormality classification |
US10873456B1 (en) * | 2019-05-07 | 2020-12-22 | LedgerDomain, LLC | Neural network classifiers for block chain data structures |
WO2020236993A1 (en) * | 2019-05-21 | 2020-11-26 | Magic Leap, Inc. | Hand pose estimation |
-
2019
- 2019-07-01 US US16/458,286 patent/US11151412B2/en active Active
-
2020
- 2020-05-12 WO PCT/IB2020/054486 patent/WO2021001701A1/en unknown
- 2020-05-12 BR BR112021024279A patent/BR112021024279A2/pt not_active Application Discontinuation
- 2020-05-12 MX MX2021015602A patent/MX2021015602A/es unknown
- 2020-05-12 AU AU2020300066A patent/AU2020300066B2/en active Active
- 2020-05-12 CA CA3141695A patent/CA3141695A1/en active Pending
- 2020-05-12 KR KR1020217042120A patent/KR20220010560A/ko not_active Application Discontinuation
- 2020-05-12 JP JP2021578061A patent/JP7351941B2/ja active Active
- 2020-05-12 EP EP20728556.0A patent/EP3994604A1/en active Pending
- 2020-05-12 CN CN202080044111.6A patent/CN114008692A/zh active Pending
-
2021
- 2021-11-30 CO CONC2021/0016316A patent/CO2021016316A2/es unknown
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018053031A1 (en) | 2016-09-14 | 2018-03-22 | Kla-Tencor Corporation | Convolutional neural network-based mode selection and defect classification for image fusion |
JP2018106437A (ja) | 2016-12-27 | 2018-07-05 | 積水化学工業株式会社 | 行動評価装置、行動評価方法 |
JP2019020820A (ja) | 2017-07-12 | 2019-02-07 | 株式会社日立製作所 | 映像認識システム |
JP2019096006A (ja) | 2017-11-21 | 2019-06-20 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
JP2019096179A (ja) | 2017-11-27 | 2019-06-20 | ホーチキ株式会社 | 行動監視システム |
Non-Patent Citations (1)
Title |
---|
山下 隆義,イラストで学ぶ ディープラーニング 改訂第2版,改訂第2版,日本,株式会社講談社,2018年11月19日,P.11-125 |
Also Published As
Publication number | Publication date |
---|---|
KR20220010560A (ko) | 2022-01-25 |
AU2020300066A1 (en) | 2021-12-09 |
AU2020300066B2 (en) | 2023-02-02 |
US11151412B2 (en) | 2021-10-19 |
WO2021001701A1 (en) | 2021-01-07 |
BR112021024279A2 (pt) | 2022-01-11 |
JP2022540070A (ja) | 2022-09-14 |
CA3141695A1 (en) | 2021-01-07 |
EP3994604A1 (en) | 2022-05-11 |
MX2021015602A (es) | 2022-01-31 |
CN114008692A (zh) | 2022-02-01 |
CO2021016316A2 (es) | 2022-01-17 |
US20210004641A1 (en) | 2021-01-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11741736B2 (en) | Determining associations between objects and persons using machine learning models | |
JP7351941B2 (ja) | 画像内のオブジェクトによって実行されるアクションを決定するためのシステムおよび方法 | |
CN107766786B (zh) | 活性测试方法和活性测试计算设备 | |
KR102574141B1 (ko) | 이미지 디스플레이 방법 및 디바이스 | |
CN111402130B (zh) | 数据处理方法和数据处理装置 | |
US20200012923A1 (en) | Computer device for training a deep neural network | |
KR101082878B1 (ko) | 홍채 영상 복원 방법 | |
EP3857440A1 (en) | Method and apparatus for processing video stream | |
CN113066017A (zh) | 一种图像增强方法、模型训练方法及设备 | |
US11385526B2 (en) | Method of processing image based on artificial intelligence and image processing device performing the same | |
JP2018077807A (ja) | 変化点で複数候補を考慮して物体を追跡する装置、プログラム及び方法 | |
KR102674065B1 (ko) | 인공지능 기반의 노이즈 제거에 따른 이미지 구축을 통한 불량 검출 시스템 및 방법 | |
CN106471440A (zh) | 基于高效森林感测的眼睛跟踪 | |
CN112487844A (zh) | 手势识别方法、电子设备、计算机可读存储介质和芯片 | |
Okawara et al. | Action recognition from a single coded image | |
Panda et al. | Encoder and decoder network with ResNet-50 and global average feature pooling for local change detection | |
CN113065575A (zh) | 一种图像处理方法及相关装置 | |
US10902247B1 (en) | Quantized transition change detection for activity recognition | |
WO2022179599A1 (zh) | 一种感知网络及数据处理方法 | |
KR20230077560A (ko) | 전시관 맞춤형 서비스 제공 장치 및 이의 제어 방법 | |
Paul Ijjina | Human fall detection in depth-videos using temporal templates and convolutional neural networks | |
Schwarz et al. | Gait recognition with densePose energy images | |
Yang et al. | An Indoor localization method of image matching based on deep learning | |
Yu et al. | A Real-Time Hand Gesture Recognition System on Raspberry Pi: A Deep Learning-Based Approach | |
JP2021086275A (ja) | 情報処理装置、情報処理方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211228 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221220 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230320 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230404 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230804 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20230823 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230905 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230914 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7351941 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |