JPWO2020008995A1 - 画像認識プログラム、画像認識装置、学習プログラム、および学習装置 - Google Patents
画像認識プログラム、画像認識装置、学習プログラム、および学習装置 Download PDFInfo
- Publication number
- JPWO2020008995A1 JPWO2020008995A1 JP2020528829A JP2020528829A JPWO2020008995A1 JP WO2020008995 A1 JPWO2020008995 A1 JP WO2020008995A1 JP 2020528829 A JP2020528829 A JP 2020528829A JP 2020528829 A JP2020528829 A JP 2020528829A JP WO2020008995 A1 JPWO2020008995 A1 JP WO2020008995A1
- Authority
- JP
- Japan
- Prior art keywords
- target object
- image
- detection unit
- learning
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 claims abstract description 291
- 238000000034 method Methods 0.000 claims abstract description 63
- 230000008569 process Effects 0.000 claims abstract description 3
- 230000009471 action Effects 0.000 claims description 7
- 238000010586 diagram Methods 0.000 abstract description 12
- 238000004364 calculation method Methods 0.000 description 40
- 230000006399 behavior Effects 0.000 description 28
- 238000004891 communication Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 230000007423 decrease Effects 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 5
- 230000032683 aging Effects 0.000 description 4
- 230000007774 longterm Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 241000282326 Felis catus Species 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 235000012054 meals Nutrition 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000000241 respiratory effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 210000000689 upper leg Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
Description
Claims (16)
- 特徴マップ検出部、物体検出部、および対象物体検出部を有する画像認識装置を制御するためのプログラムであって、
撮影された画像を取得する手順(a)と、
取得された前記画像から、前記特徴マップ生成部により特徴マップを生成する手順(b)と、
生成された前記特徴マップから、前記物体検出部により物体を検出する手順(c)と、
検出された前記物体の、対象物体に関する信頼度スコアを、前記対象物体検出部により、前記特徴マップから算出することで、前記対象物体を検出する手順(d)と、
前記対象物体を検出するための対象領域に前記対象物体が映っていない第1画像と、第2画像および前記第2画像に対する前記対象物体の検出結果の正解の組み合わせの教師データと、を用いて前記対象物体検出部を学習させる手順(e)と、
を有する処理を、コンピューターに実行させるための画像認識プログラム。 - 前記第1画像と前記第2画像は、それぞれ基準画像が異なる画像である、請求項1に記載の画像認識プログラム。
- 前記手順(e)は、
前記特徴マップ生成部、前記物体検出部、および前記対象物体検出部を、前記教師データを用いて学習させた後、前記対象物体検出部を、前記第1画像と前記教師データとを用いてさらに学習させる、請求項1または2に記載の画像認識プログラム。 - 前記第2画像の前記第1画像に対する適応度の高低を推定する手順(f)をさらに有し、
前記手順(e)は、手順(f)において前記適応度が高いと推定された前記第2画像を選択し、前記教師データのうち、選択された前記第2画像および前記第2画像に対する前記対象物体の検出結果の正解の組み合わせの前記教師データと、前記第1画像と、を用いて前記対象物体検出部を学習させる、請求項1〜3のいずれか一項に記載の画像認識プログラム。 - 前記手順(e)により前記対象物体検出部を学習させる前後における前記手順(d)による前記対象物体の検出結果に基づいて、前記対象物体検出部の学習前の前記対象物体検出部のパラメーターの、前記対象物体検出部の前記手順(e)による学習後の前記対象物体検出部のパラメーターへの更新を決定するかどうかを判断する手順(g)をさらに有する、請求項1〜4のいずれか一項に記載の画像認識プログラム。
- 前記手順(g)は、前記手順(e)により前記対象物体検出部が学習された後における、前記手順(d)による前記対象物体の検出結果に基づいて推定された行動の精度が所定の基準を満たした場合、前記対象物体の検出結果として出力された前記対象物体を含む出力矩形の形状が所定の基準を満たした場合、前記対象物体の検出結果に基づいて推定された関節点の位置が所定の基準を満たした場合、および前記出力矩形を前記画像に重畳させて表示部に表示し、表示された前記出力矩形が許容できるというユーザーによる判断を受け付けた場合、の少なくともいずれかの場合に、前記対象物体検出部のパラメーターの、前記物体検出部の学習後の前記対象物体検出部のパラメーターへの更新を決定すると判断する、請求項5に記載の画像認識プログラム。
- 前記手順(g)は、前記手順(e)により前記対象物体検出部が学習された後における、前記教師データに含まれる前記第2画像に基づく、前記手順(d)による前記対象物体の検出結果と、前記教師データに含まれる検出結果の正解との比較による検出精度と、前記対象物体検出部が学習される前における、前記教師データに含まれる前記第2画像に基づく、前記手順(d)による前記対象物体の検出結果と、前記教師データに含まれる検出結果の正解との比較による検出精度と、を比較し、比較結果に基づいて、前記対象物体検出部のパラメーターの、前記物体検出部の学習後の前記対象物体検出部のパラメーターへの更新を決定するかどうかを判断する、請求項5に記載の画像認識プログラム。
- 撮影された画像を取得する取得部と、
取得された前記画像から、特徴マップを生成する特徴マップ生成部と、
生成された前記特徴マップから、物体を検出する物体検出部と、
検出された前記物体の、対象物体に関する信頼度スコアを、前記特徴マップから算出することで、前記対象物体を検出する対象物体検出部と、
前記対象物体を検出するための対象領域に前記対象物体が映っていない第1画像と、第2画像および前記第2画像に対する前記対象物体の検出結果の正解の組み合わせの教師データと、を用いて前記対象物体検出部を学習させる学習部と、
を有する画像認識装置。 - 前記第1画像と前記第2画像は、それぞれ基準画像が異なる画像である、請求項8に記載の画像認識装置。
- 前記学習部は、
前記特徴マップ生成部、前記物体検出部、および対象物体検出を、前記教師データを用いて学習させた後、前記対象物体検出部を、前記第1画像と前記教師データとを用いてさらに学習させる、請求項8または9に記載の画像認識装置。 - 前記第2画像の前記第1画像に対する適応度の高低を推定する推定部をさらに有し、
前記学習部は、前記推定部により前記適応度が高いと推定された前記第2画像を選択し、前記教師データのうち、選択された前記第2画像および前記第2画像に対する前記対象物体の検出結果の正解の組み合わせの前記教師データと、前記第1画像と、を用いて前記対象物体検出部を学習させる、請求項8〜10のいずれか一項に記載の画像認識装置。 - 前記学習部により前記物体検出部を学習させる前後における前記対象物体検出部による前記対象物体の検出結果に基づいて、前記対象物体検出部の学習前の前記対象物体検出部のパラメーターの、前記対象物体検出部の学習後の前記対象物体検出部のパラメーターへの更新を決定するかどうかを判断する判断部をさらに有する、請求項8〜11のいずれか一項に記載の画像認識装置。
- 前記判断部は、前記学習部により前記対象物体検出部が学習された後における、前記対象物体検出部による前記対象物体の検出結果に基づいて推定された行動の精度が所定の基準を満たした場合、前記対象物体の検出結果として出力された前記対象物体を含む出力矩形が所定の基準を満たした場合、前記対象物体の検出結果に基づいて推定された関節点の位置が所定の基準を満たした場合、および前記出力矩形を前記画像に重畳させて表示部に表示し、表示された前記出力矩形が許容できるというユーザーによる判断を受け付けた場合、の少なくともいずれかの場合に、前記対象物体検出部のパラメーターの、前記物体検出部の学習後の前記対象物体検出部のパラメーターへの更新を決定すると判断する、請求項12に記載の画像認識装置。
- 前記判断部は、前記学習部により前記対象物体検出部が学習された後における、前記教師データに含まれる前記第2画像に基づく、前記対象物体検出部による前記対象物体の検出結果と、前記教師データに含まれる検出結果の正解との比較による検出精度と、前記学習部により前記対象物体検出部が学習される前における、前記教師データに含まれる前記第2画像に基づく、前記対象物体検出部による前記対象物体の検出結果と、前記教師データに含まれる検出結果の正解との比較による検出精度と、を比較し、比較結果に基づいて、前記対象物体検出部のパラメーターの、前記物体検出部の学習後の前記対象物体検出部のパラメーターへの更新を決定するかどうかを判断する、請求項12に記載の画像認識装置。
- 撮影された画像を取得する取得部と、
取得された前記画像から、特徴マップを生成する特徴マップ生成部と、
生成された前記特徴マップから、物体を検出する物体検出部と、
検出された前記物体の、対象物体に関する信頼度スコアを、前記特徴マップから算出することで、前記対象物体を検出する対象物体検出部と、を有する画像認識装置を学習させるためのプログラムであって、
前記対象物体を検出するための対象領域に前記対象物体が映っていない第1画像と、第2画像および前記第2画像に対する前記対象物体の検出結果の正解の組み合わせの教師データと、を用いて前記対象物体検出部を学習させる手順を、コンピューターに実行させるための学習プログラム。 - 撮影された画像を取得する取得部と、
取得された前記画像から、特徴マップを生成する特徴マップ生成部と、
生成された前記特徴マップから、物体を検出する物体検出部と、
検出された前記物体の、対象物体に関する信頼度スコアを、前記特徴マップから算出することで、前記対象物体を検出する対象物体検出部と、を有する画像認識装置を学習させるための学習装置であって、
前記対象物体を検出するための対象領域に前記対象物体が映っていない第1画像と、第2画像および前記第2画像に対する前記対象物体の検出結果の正解の組み合わせの教師データと、を用いて前記対象物体検出部を学習させる学習部を有する学習装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018126306 | 2018-07-02 | ||
JP2018126306 | 2018-07-02 | ||
PCT/JP2019/025610 WO2020008995A1 (ja) | 2018-07-02 | 2019-06-27 | 画像認識プログラム、画像認識装置、学習プログラム、および学習装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020008995A1 true JPWO2020008995A1 (ja) | 2021-08-02 |
JP7314939B2 JP7314939B2 (ja) | 2023-07-26 |
Family
ID=69060868
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020528829A Active JP7314939B2 (ja) | 2018-07-02 | 2019-06-27 | 画像認識プログラム、画像認識装置、学習プログラム、および学習装置 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7314939B2 (ja) |
WO (1) | WO2020008995A1 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010170202A (ja) * | 2009-01-20 | 2010-08-05 | Secom Co Ltd | 物体検出装置 |
US9141883B1 (en) * | 2015-05-11 | 2015-09-22 | StradVision, Inc. | Method, hard negative proposer, and classifier for supporting to collect hard negative images using a similarity map |
-
2019
- 2019-06-27 JP JP2020528829A patent/JP7314939B2/ja active Active
- 2019-06-27 WO PCT/JP2019/025610 patent/WO2020008995A1/ja active Application Filing
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010170202A (ja) * | 2009-01-20 | 2010-08-05 | Secom Co Ltd | 物体検出装置 |
US9141883B1 (en) * | 2015-05-11 | 2015-09-22 | StradVision, Inc. | Method, hard negative proposer, and classifier for supporting to collect hard negative images using a similarity map |
Non-Patent Citations (4)
Title |
---|
ROSS GIRSHICK: ""Fast R-CNN"", PROCEEDINGS OF THE 2015 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV), JPN6019034342, 13 December 2015 (2015-12-13), pages 1440 - 1448, XP032866491, ISSN: 0004959475, DOI: 10.1109/ICCV.2015.169 * |
SHAOQING REN, ET AL.: ""Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks"", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, vol. 39, no. 6, JPN6019034341, 6 June 2016 (2016-06-06), pages 1137 - 1149, XP055705510, ISSN: 0004959474, DOI: 10.1109/TPAMI.2016.2577031 * |
奈良先端科学技術大学院大学 OPENCVプログラミングブック制作チーム, 「OPENCV プログラミングブック 第2版 OPENCV 1.1対応」, vol. 第2版, JPN6023023494, 21 July 2009 (2009-07-21), JP, pages 328 - 329, ISSN: 0005082189 * |
田岡 創(外3名): "「DNNを用いた(ロボットによる)模倣による支援動作の学習」", 第23回日本ロボット学会学術講演会予稿集, [CD-ROM], vol. Sesssion-ID: 1D22, JPN6019034343, 15 September 2005 (2005-09-15), JP, pages 4, ISSN: 0004959476 * |
Also Published As
Publication number | Publication date |
---|---|
WO2020008995A1 (ja) | 2020-01-09 |
JP7314939B2 (ja) | 2023-07-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11819344B2 (en) | Systems for automatic assessment of fall risk | |
US10600204B1 (en) | Medical environment bedsore detection and prevention system | |
US9204823B2 (en) | Video monitoring system | |
US11298050B2 (en) | Posture estimation device, behavior estimation device, storage medium storing posture estimation program, and posture estimation method | |
JP6822328B2 (ja) | 見守り支援システム及びその制御方法 | |
US10229491B1 (en) | Medical environment monitoring system | |
WO2019013257A1 (ja) | 見守り支援システム及びその制御方法、プログラム | |
US10475206B1 (en) | Medical environment event parsing system | |
US10229489B1 (en) | Medical environment monitoring system | |
EP3819864A1 (en) | Target object detection program and target object detection device | |
JP7347577B2 (ja) | 画像処理システム、画像処理プログラム、および画像処理方法 | |
JP2019016120A (ja) | 見守り支援システム及びその制御方法 | |
JP2020134971A (ja) | 現場学習評価プログラム、現場学習評価方法、および現場学習評価装置 | |
JP7314939B2 (ja) | 画像認識プログラム、画像認識装置、学習プログラム、および学習装置 | |
WO2021033453A1 (ja) | 画像処理システム、画像処理プログラム、および画像処理方法 | |
JP7327397B2 (ja) | コンピューターで実行されるプログラム、情報処理システム、および、コンピューターで実行される方法 | |
JP2021033379A (ja) | 画像処理システム、画像処理プログラム、および画像処理方法 | |
JP2022010581A (ja) | 検知装置、検知方法、画像処理方法、およびプログラム | |
WO2021033597A1 (ja) | 画像処理システム、画像処理プログラム、および画像処理方法 | |
JP7237382B1 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
JP2021065617A (ja) | 画像処理装置および画像処理プログラム | |
JP2023170502A (ja) | 状態判別方法、プログラム、コンピューター装置 | |
WO2020003953A1 (ja) | コンピューターで実行されるプログラム、情報処理装置、および、コンピューターで実行される方法 | |
WO2020137061A1 (ja) | 情報表示方法、プログラムおよび情報表示装置 | |
JP2022050269A (ja) | システム、電子機器、電子機器の制御方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211224 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230110 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230301 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230613 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230626 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7314939 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |