JP6939608B2 - 画像認識装置、画像認識方法、および、画像認識プログラム - Google Patents
画像認識装置、画像認識方法、および、画像認識プログラム Download PDFInfo
- Publication number
- JP6939608B2 JP6939608B2 JP2018013933A JP2018013933A JP6939608B2 JP 6939608 B2 JP6939608 B2 JP 6939608B2 JP 2018013933 A JP2018013933 A JP 2018013933A JP 2018013933 A JP2018013933 A JP 2018013933A JP 6939608 B2 JP6939608 B2 JP 6939608B2
- Authority
- JP
- Japan
- Prior art keywords
- candidate
- site
- candidates
- joint
- joint candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 34
- 238000001514 detection method Methods 0.000 claims description 30
- 238000004364 calculation method Methods 0.000 claims description 25
- 238000012937 correction Methods 0.000 claims description 22
- 210000002310 elbow joint Anatomy 0.000 description 216
- 210000003857 wrist joint Anatomy 0.000 description 164
- 210000000323 shoulder joint Anatomy 0.000 description 110
- 238000010586 diagram Methods 0.000 description 25
- 238000012545 processing Methods 0.000 description 24
- 230000036544 posture Effects 0.000 description 20
- 210000001503 joint Anatomy 0.000 description 12
- 239000002131 composite material Substances 0.000 description 9
- 230000000052 comparative effect Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 230000001815 facial effect Effects 0.000 description 4
- 210000002414 leg Anatomy 0.000 description 4
- 241001465754 Metazoa Species 0.000 description 3
- 210000005069 ears Anatomy 0.000 description 3
- 210000000887 face Anatomy 0.000 description 3
- 210000000544 articulatio talocruralis Anatomy 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000004394 hip joint Anatomy 0.000 description 2
- 210000000629 knee joint Anatomy 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000000707 wrist Anatomy 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/77—Determining position or orientation of objects or cameras using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
- G06V10/422—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Probability & Statistics with Applications (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Description
首関節候補1−1は、人物5の首関節を示す。
首関節候補1−2は、人物6の首関節を示す。
首関節候補1−3は、椅子8の1つ脚の下端部を示す。
左肩関節候補2−1は、人物5の左肩関節を示す。
左肩関節候補2−2は、人物6の左肩関節を示す。
左肩関節候補2−3は、机7の1つの脚の下端部を示す。
左肘関節候補3−1は、人物5の左肘関節を示す。
左肘関節候補3−2は、人物6の左肘関節を示す。
左肘関節候補3−3は、机7の天板の1つの角部を示す。
左手首関節候補4−1は、人物5の左手首関節を示す。
左手首関節候補4−2は、人物6の左手首関節を示す。
左手首関節候補4−3は、左手の手袋9の口部を示す。
首関節候補1−1と左肩関節候補2−1とのペア
首関節候補1−1と左肩関節候補2−2とのペア
首関節候補1−1と左肩関節候補2−3とのペア
首関節候補1−2と左肩関節候補2−1とのペア
首関節候補1−2と左肩関節候補2−2とのペア
首関節候補1−2と左肩関節候補2−3とのペア
首関節候補1−3と左肩関節候補2−1とのペア
首関節候補1−3と左肩関節候補2−2とのペア
首関節候補1−3と左肩関節候補2−3とのペア
左肩関節候補2−1と左肘関節候補3−1とのペア
左肩関節候補2−1と左肘関節候補3−2とのペア
左肩関節候補2−1と左肘関節候補3−3とのペア
左肩関節候補2−2と左肘関節候補3−1とのペア
左肩関節候補2−2と左肘関節候補3−2とのペア
左肩関節候補2−2と左肘関節候補3−3とのペア
左肩関節候補2−3と左肘関節候補3−1とのペア
左肩関節候補2−3と左肘関節候補3−2とのペア
左肩関節候補2−3と左肘関節候補3−3とのペア
左肘関節候補3−1と左手首関節候補4−1とのペア
左肘関節候補3−1と左手首関節候補4−2とのペア
左肘関節候補3−1と左手首関節候補4−3とのペア
左肘関節候補3−2と左手首関節候補4−1とのペア
左肘関節候補3−2と左手首関節候補4−2とのペア
左肘関節候補3−2と左手首関節候補4−3とのペア
左肘関節候補3−3と左手首関節候補4−1とのペア
左肘関節候補3−3と左手首関節候補4−2とのペア
左肘関節候補3−3と左手首関節候補4−3とのペア
2,2−1〜2−3 左肩関節候補
3,3−1〜3−3 左肘関節候補
4,4−1〜4−3 左手首関節候補
5,6 人物
7 机
8 椅子
9 左手の手袋
10 画像
11 合成画像
70 ベクトル場の一部
100 画像認識装置
Claims (6)
- 複数の部位を有する物体が複数写された画像から、前記部位の候補となる部位候補を複数検出する処理を、複数の前記部位のそれぞれについて実行する検出部と、
マッチングの対象となる前記部位候補の一方である第1部位候補と他方である第2部位候補とにおいて、複数の前記第1部位候補と複数の前記第2部位候補とを組み合わせて、前記第1部位候補と前記第2部位候補とのペアを複数生成する生成部と、
複数の前記ペアのそれぞれについて、前記第1部位候補と前記第2部位候補とが繋がっている推定を示す値である第1推定値を算出する第1算出部と、
既にマッチングされており、繋がっている推定を示す値が第2推定値である前記部位候補どうしの一方であって、前記第1部位候補および前記第2部位候補のいずれとも異なる前記部位候補が、前記第1部位候補または前記第2部位候補と繋がっている場合、前記第2推定値を重み付けとして、前記第1推定値を修正する処理を、複数の前記ペアのそれぞれについて実行する修正部と、
複数の前記ペアのそれぞれの修正した前記第1推定値を基にして、複数の前記第1部位候補と複数の前記第2部位候補とをマッチングするマッチング部と、を備える画像認識装置。 - 前記修正部は、前記第1推定値と前記第2推定値とを乗算した値を、修正した前記第1推定値にする、請求項1に記載の画像認識装置。
- 複数の前記部位の繋がりの関係を示す繋がり情報を予め記憶する第1記憶部と、
前記生成部は、前記第1記憶部に記憶されている前記繋がり情報を用いて、前記検出部によって検出された前記部位候補の中で、前記第1部位候補と前記第2部位候補との関係を有する2種類の前記部位候補を特定する、請求項1または2に記載の画像認識装置。 - 第2記憶部と、
前記マッチングによって1つに繋げられた複数の前記部位候補を、1つの前記物体が有する複数の前記部位として、前記第2記憶部に記憶させる処理を、複数の前記物体のそれぞれについて実行する記憶処理部と、をさらに備える請求項1〜3のいずれか一項に記載の画像認識装置。 - 複数の部位を有する物体が複数写された画像から、前記部位の候補となる部位候補を複数検出する処理を、複数の前記部位のそれぞれについて実行する検出ステップと、
マッチングの対象となる前記部位候補の一方である第1部位候補と他方である第2部位候補とにおいて、複数の前記第1部位候補と複数の前記第2部位候補とを組み合わせて、前記第1部位候補と前記第2部位候補とのペアを複数生成する生成ステップと、
複数の前記ペアのそれぞれについて、前記第1部位候補と前記第2部位候補とが繋がっている推定を示す値である第1推定値を算出する第1算出ステップと、
既にマッチングされており、繋がっている推定を示す値が第2推定値である前記部位候補どうしの一方であって、前記第1部位候補および前記第2部位候補のいずれとも異なる前記部位候補が、前記第1部位候補または前記第2部位候補と繋がっている場合、前記第2推定値を重み付けとして、前記第1推定値を修正する処理を、複数の前記ペアのそれぞれについて実行する修正ステップと、
複数の前記ペアのそれぞれの修正した前記第1推定値を基にして、複数の前記第1部位候補と複数の前記第2部位候補とをマッチングするマッチングステップと、を備える画像認識方法。 - 複数の部位を有する物体が複数写された画像から、前記部位の候補となる部位候補を複数検出する処理を、複数の前記部位のそれぞれについて実行する検出ステップと、
マッチングの対象となる前記部位候補の一方である第1部位候補と他方である第2部位候補とにおいて、複数の前記第1部位候補と複数の前記第2部位候補とを組み合わせて、前記第1部位候補と前記第2部位候補とのペアを複数生成する生成ステップと、
複数の前記ペアのそれぞれについて、前記第1部位候補と前記第2部位候補とが繋がっている推定を示す値である第1推定値を算出する第1算出ステップと、
既にマッチングされており、繋がっている推定を示す値が第2推定値である前記部位候補どうしの一方であって、前記第1部位候補および前記第2部位候補のいずれとも異なる前記部位候補が、前記第1部位候補または前記第2部位候補と繋がっている場合、前記第2推定値を重み付けとして、前記第1推定値を修正する処理を、複数の前記ペアのそれぞれについて実行する修正ステップと、
複数の前記ペアのそれぞれの修正した前記第1推定値を基にして、複数の前記第1部位候補と複数の前記第2部位候補とをマッチングするマッチングステップと、をコンピュータに実行させる画像認識プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018013933A JP6939608B2 (ja) | 2018-01-30 | 2018-01-30 | 画像認識装置、画像認識方法、および、画像認識プログラム |
US16/211,772 US10861182B2 (en) | 2018-01-30 | 2018-12-06 | Image recognition device, image recognition method, and computer-readable recording medium having image recognition program recorded thereon |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018013933A JP6939608B2 (ja) | 2018-01-30 | 2018-01-30 | 画像認識装置、画像認識方法、および、画像認識プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019133331A JP2019133331A (ja) | 2019-08-08 |
JP6939608B2 true JP6939608B2 (ja) | 2021-09-22 |
Family
ID=67391557
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018013933A Active JP6939608B2 (ja) | 2018-01-30 | 2018-01-30 | 画像認識装置、画像認識方法、および、画像認識プログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US10861182B2 (ja) |
JP (1) | JP6939608B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3916633A1 (de) | 2020-05-25 | 2021-12-01 | Sick Ag | Kamera und verfahren zum verarbeiten von bilddaten |
WO2023228304A1 (en) * | 2022-05-25 | 2023-11-30 | Nec Corporation | Key-point associating apparatus, key-point associating method, and non-transitory computer-readable storage medium |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005351814A (ja) * | 2004-06-11 | 2005-12-22 | Konica Minolta Holdings Inc | 検出装置および検出方法 |
JP2007094906A (ja) * | 2005-09-29 | 2007-04-12 | Toshiba Corp | 特徴点検出装置および方法 |
JP4689758B1 (ja) * | 2010-04-22 | 2011-05-25 | 株式会社市川ソフトラボラトリー | 画像一致点検出装置、画像一致点検出方法および記録媒体 |
JP5873442B2 (ja) * | 2010-12-09 | 2016-03-01 | パナソニック株式会社 | 物体検出装置および物体検出方法 |
US9449392B2 (en) * | 2013-06-05 | 2016-09-20 | Samsung Electronics Co., Ltd. | Estimator training method and pose estimating method using depth image |
JP6433149B2 (ja) * | 2013-07-30 | 2018-12-05 | キヤノン株式会社 | 姿勢推定装置、姿勢推定方法およびプログラム |
JP2018013999A (ja) * | 2016-07-21 | 2018-01-25 | 日本電信電話株式会社 | 姿勢推定装置、方法、及びプログラム |
-
2018
- 2018-01-30 JP JP2018013933A patent/JP6939608B2/ja active Active
- 2018-12-06 US US16/211,772 patent/US10861182B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20190236801A1 (en) | 2019-08-01 |
JP2019133331A (ja) | 2019-08-08 |
US10861182B2 (en) | 2020-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210319213A1 (en) | Method and apparatus for prompting motion, electronic device and storage medium | |
US20210074006A1 (en) | Image processing method and apparatus, image device, and storage medium | |
JP6923789B2 (ja) | 情報処理プログラム、情報処理装置、情報処理方法、及び情報処理システム | |
US20190286892A1 (en) | Interaction Detection Model for Identifying Human-Object Interactions in Image Content | |
Chaudhari et al. | Yog-guru: Real-time yoga pose correction system using deep learning methods | |
JP6392478B1 (ja) | 情報処理装置、情報処理プログラム、及び、情報処理方法 | |
CN109063584B (zh) | 基于级联回归的面部特征点定位方法、装置、设备及介质 | |
US20200042782A1 (en) | Distance image processing device, distance image processing system, distance image processing method, and non-transitory computer readable recording medium | |
JP2019096113A (ja) | キーポイントデータに関する加工装置、方法及びプログラム | |
US20220139061A1 (en) | Model training method and apparatus, keypoint positioning method and apparatus, device and medium | |
JPWO2018087933A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
US20210216759A1 (en) | Recognition method, computer-readable recording medium recording recognition program, and learning method | |
JP2019191981A (ja) | 行動認識装置、モデル構築装置及びプログラム | |
JP6939608B2 (ja) | 画像認識装置、画像認識方法、および、画像認識プログラム | |
US20220284652A1 (en) | System and method for matching a test frame sequence with a reference frame sequence | |
WO2019000817A1 (zh) | 手势识别控制方法和电子设备 | |
CN110738650A (zh) | 一种传染病感染识别方法、终端设备及存储介质 | |
US11069086B2 (en) | Non-transitory computer-readable storage medium for storing position detection program, position detection method, and position detection apparatus | |
JP2008065368A (ja) | ステレオ画像を利用した物体の位置および姿勢認識システム、物体の位置および姿勢認識方法、およびこの方法を実行するプログラム | |
EP4281901A1 (en) | Action recognition using pose data and machine learning | |
US20230289998A1 (en) | Object recognition device, object recognition method, and recording medium | |
EP3639193A1 (en) | Human feedback in 3d model fitting | |
JP2020140283A (ja) | 情報処理装置、情報処理方法、および、コンピュータプログラム | |
WO2022074886A1 (ja) | 姿勢検出装置、姿勢検出方法および寝相判定方法 | |
JP2018180894A (ja) | 情報処理装置、情報処理方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200626 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210721 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210803 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210816 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6939608 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |