JP7190951B2 - 画像認識システムおよび画像認識方法 - Google Patents
画像認識システムおよび画像認識方法 Download PDFInfo
- Publication number
- JP7190951B2 JP7190951B2 JP2019061478A JP2019061478A JP7190951B2 JP 7190951 B2 JP7190951 B2 JP 7190951B2 JP 2019061478 A JP2019061478 A JP 2019061478A JP 2019061478 A JP2019061478 A JP 2019061478A JP 7190951 B2 JP7190951 B2 JP 7190951B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- inference
- processing unit
- learning
- metadata
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
Description
図1は、実施例1の画像認識システムの構成例を示す図である。図1に示すように、実施例1の画像認識システム100は、学習用画像・メタデータ格納部103と、推論用画像・メタデータ格納部105と、学習用画像選別処理部107と、メタデータ選別条件格納部109と、学習処理部111と、識別器情報格納部113と、推論用画像選別処理部115と、推論処理部121とを備える。
本実施例では、画像認識システム100は、クラウドサーバ上に実装されるとしたが、これに限らず、例えば、オンプレミスに実装されてもよい。また、例えば、画像認識システム100は、サーバではなく撮影装置上に実装されてもよい。
図2は、実施例2の画像認識システムの構成例を示す図である。図2に示すように、実施例2の画像認識システム100Bは、学習用画像・メタデータ格納部103と、推論用画像・メタデータ格納部105と、学習用画像選別処理部107と、メタデータ選別条件格納部109と、識別器情報格納部113と、学習処理部111と、推論用画像推論可否分類処理部116と、メタデータ選別条件決定処理部120と、推論処理部121と、利用者判定フォーム処理部123と、入力部125と、表示部131とを備える。
本実施例では、画像認識システム100Bは、ローカルコンピュータ上に実装されるとしたが、これに限らず、クラウドやオンプレミスのサーバ上に実装されてもよい。この場合、入力部125および表示部131が、画像認識システム100Bが実装されたサーバとネットワーク通信を行う、利用者が直接操作できるローカルコンピュータとなる。
図4は、実施例3の画像認識システムの構成例を示す図である。図4に示すように、実施例3の画像認識システム100Cは、撮影機300と、通信部101と、学習用画像・メタデータ格納部103と、推論用画像・メタデータ格納部105と、メタデータ選別条件格納部109と、学習用画像選別処理部107と、学習処理部111と、識別器情報格納部113と、推論用画像選別処理部115と、推論処理部121とを備える。
図5は、実施例3の撮影機の撮影処理部の処理手順を示すフローチャートである。実施例3の撮影機300の撮影処理部309の処理は、学習用画像および推論用画像の取得の際に実行される。
本実施例において、移動可能な撮影機は、ドローンに限らず、地上を走行する撮影装置付きの車両や、壁面や架線に沿って移動する撮影ロボットや、水中を移動する撮影ロボットであってもよい。
図6は、実施例4の画像認識システムの構成例を示す図である。図6に示すように、画像認識システム100Dは、学習用画像・メタデータ格納部103と、推論用画像・メタデータ格納部105と、学習用画像分類処理部141と、推論用画像分類処理部143と、メタデータ分類条件格納部145と、学習処理部111と、推論処理部121と、識別器情報格納部113とを備える。
図7は、実施例5の画像認識システムの構成例を示す図である。図7に示すように、実施例5の画像認識システム100Eは、推論用画像・メタデータ格納部105と、推論処理部174と、推論結果解析処理部177と、識別器情報格納部113と、学習用画像付随メタデータ格納部181と、推論用画像付随正解情報格納部182とを備える。
学習処理部111fは、生成器があらかじめ定めた事前分布からサンプリングされた潜在変数を入力として正常な製品の画像を出力し、潜在変数推論器が生成器の逆関数となるように、識別器を学習する。このとき、生成器および潜在変数推論器の学習は、Generative Adversarial Networkのように、Discriminatorを用いて、それぞれ学習用画像と生成画像の分布間誤差、潜在変数の事前分布と推定された潜在変数分布間の誤差を最小化するように学習する手法を採用してもよい。または、Variational Auto Encoderのように、潜在変数推論器を用いて、学習用画像を潜在変数に変換し、潜在変数を生成器に入力して得た画像と学習用画像との誤差を最小化するように学習する手法を採用してもよい。または、これらの2つの手法を組合せた学習手法を採用してもよい。なお、潜在変数の事前分布には正規分布を用いることができ、誤差にはKullback-Leiblerダイバージェンスを用いることができる。
学習処理部111fは、生成器がランダムな潜在変数を入力として正常な製品の画像を出力するように、識別器を学習する。このとき、生成器は、Generative Adversarial Networkのように、Discriminatorを用いて、学習用画像と生成画像の分布間の誤差を最小化するように学習できる。
先ず、推論処理部121fは、推論用画像選別処理部115で選別された推論用画像と識別器情報格納部113fに格納された潜在変数推論器および生成器を取得する(ステップS11)。次に、推論処理部121fは、ステップS11で取得した潜在変数推論器を用いて推論用画像を潜在変数に変換する(ステップS12)。次に、推論処理部121fは、ステップS12で変換した潜在変数を生成器に入力して復元画像を生成し、取得する(ステップS13)。次に、推論処理部121fは、ステップS13で取得された復元画像とステップS11で取得された推論用画像との誤差を計算する(ステップS14)。ステップS14で計算された誤差を、異常度とする。このとき、誤差としては、復元生成画像と推論用画像間の距離や、復元生成用画像と推論用画像の特徴量間の距離を用いることができる。
先ず、推論処理部121fは、推論用画像選別処理部115で選別された推論用画像と識別器情報格納部113fに格納された潜在変数推論器を取得する(ステップS21)。次に、推論処理部121fは、ステップS21で取得された潜在変数推論器を用いて推論用画像から潜在変数を推論する(ステップS22)。次に、推論処理部121fは、ステップS22で、潜在変数の事前分布に基づき推論された潜在変数の負の対数尤度を計算する(ステップS23)。ステップS23で計算された潜在変数の負の対数尤度を、異常度とする。
先ず、推論処理部121fは、推論用画像選別処理部115で選別された推論用画像と識別器情報格納部113fに格納された潜在変数推論器を取得する(ステップS31)。次に、推論処理部121fは、ステップS31で取得された潜在変数推論器を用いて学習用画像から潜在変数推論器内部の特徴量を推論する(ステップS32)。次に、推論処理部121fは、ステップS32で推論された特徴量の確率密度関数を推定する(ステップS33)。確率密度関数の推定には、カーネル密度推定を使用することができる。次に、推論処理部121fは、ステップS31で取得された推論用画像を潜在変数推論器に入力し潜在変数推論器内部の特徴量を推論する(ステップS34)。次に、推論処理部121fは、ステップS33で推定された確率密度関数とステップS34で推論された特徴量に基づいて、潜在変数推論器の内部変数(特徴量)の負の対数尤度を計算する(ステップS35)。ステップS35で計算された特徴量の負の対数尤度を、異常度とする。
先ず、推論処理部121fは、推論用画像選別処理部115で選別された推論用画像と識別器情報格納部113fに格納された生成器を取得する(ステップS41)。次に、推論処理部121fは、ステップS41で取得された推論用画像と、生成画像間の誤差が最小になるような潜在変数を決定する(ステップS42)。次に、推論処理部121fは、ステップS42で決定された潜在変数を生成器に入力して生成画像を取得する(ステップS43)。次に、推論処理部121fは、ステップS43で取得された生成画像とステップS41で取得された推論用画像間の誤差を計算する(ステップS44)。ステップS44で計算された推論用画像と生成画像間の誤差を、異常度とする。このとき、誤差として、生成画像と推論用画像間の距離や、生成画像と推論用画像の特徴量間の距離を用いることができる。
本実施例では、識別器の構成が上記(A)のとき、識別器は、潜在変数推論器と生成器で構成されるとした。しかし、識別器は、明示的に潜在変数推論器と生成器の2つの関数から構成されるものに限らず、教師なし学習を用いて学習を行い、画像、潜在変数、および内部特徴量の少なくとも1つを出力することができる関数であればよい。
Claims (9)
- 学習用画像に予め定められたメタデータが画像選別条件を満たす該学習用画像を選別する学習用画像選別処理部と、
前記学習用画像選別処理部によって選別された前記学習用画像を用いて識別器を生成する学習処理部と、
前記画像選別条件を満たすメタデータが付与されている推論用画像を推論対象画像と分類し、前記画像選別条件を満たさないメタデータが付与されている前記推論用画像を推論対象外画像と分類して選別する推論用画像選別処理部と、
前記推論対象画像に対して、前記学習処理部によって生成された前記識別器を用いて推論を行う推論処理部と、
前記推論対象外画像を利用者に対して表示部を介して表示し、該利用者が入力部を介して入力した該推論対象外画像の推論結果を取得する利用者判定フォーム処理部と、
を有することを特徴とする画像認識システム。 - 前記学習用画像に付与されたメタデータの統計値に基づいて前記画像選別条件を決定するメタデータ選別条件決定処理部
をさらに備えたことを特徴とする請求項1に記載の画像認識システム。 - 移動能力を有する撮影機を含み、
前記撮影機は、
対象を撮影して前記学習用画像および前記推論用画像を取得するとともに、該学習用画像のメタデータおよび該推論用画像のメタデータを取得する撮影部と、
前記撮影機の移動に関する物理量を検知し、検知した該物理量を表すパラメータを出力するセンサ部と、
前記学習用画像および前記推論用画像を取得する際に、前記撮影部で取得されるメタデータが前記画像選別条件を満たすように、前記撮影部の撮影および前記撮影機の移動を制御する撮影処理部と
をさらに備えたことを特徴とする請求項1に記載の画像認識システム。 - 前記学習処理部は、予め定められた画像分類条件に基づいて分類された学習用画像群ごとに前記識別器を生成し、
前記推論処理部は、前記画像分類条件に基づいて分類された推論用画像に対して、該画像分類条件に対応した前記識別器を用いて推論を行う
ことを特徴とする請求項1に記載の画像認識システム。 - 前記推論処理部の推論で用いられた推論用画像に付与されているメタデータおよび前記推論処理部で用いた前記識別器の学習に使用された学習用画像に付与されているメタデータの少なくとも一方に基づいて、前記推論処理部による推論結果を解析し、推論精度向上に関する情報を出力する推論結果解析処理部
をさらに備えたことを特徴とする請求項1に記載の画像認識システム。 - 前記識別器は、教師なし学習により学習し、入力画像に含まれる対象の異常状態を識別する
ことを特徴とする請求項1に記載の画像認識システム。 - 前記識別器は、
前記対象の正常状態を前記推論用画像を用いた教師なし学習により予め学習し、
前記推論処理部は、
前記識別器を用いて、前記推論用画像中の被写体の正常状態を再現した画像を生成し、
生成した該画像と該推論用画像の特徴量を比較することによって前記対象の異常状態を識別する
ことを特徴とする請求項6に記載の画像認識システム。 - 前記識別器は、
前記対象の正常状態を前記推論用画像を用いた教師なし学習により予め学習し、
前記推論処理部は、
前記識別器を用いて、前記推論用画像の特徴量を抽出し、該特徴量の尤度によって前記異常状態を識別する
ことを特徴とする請求項6に記載の画像認識システム。 - 画像認識システムが行う画像認識方法であって、
学習用画像選別処理部が、学習用画像に予め定められたメタデータが画像選別条件を満たす該学習用画像を選別し、
学習処理部が、前記学習用画像選別処理部によって選別された前記学習用画像を用いて識別器を生成し、
推論用画像選別処理部が、前記画像選別条件を満たすメタデータが付与されている推論用画像を推論対象画像と分類し、前記画像選別条件を満たさないメタデータが付与されている前記推論用画像を推論対象外画像と分類して選別し、
推論処理部が、前記推論対象画像に対して、前記学習処理部によって生成された前記識別器を用いて推論を行い、
利用者判定フォーム処理部が、前記推論対象外画像を利用者に対して表示部を介して表示し、該利用者が入力部を介して入力した該推論対象外画像の推論結果を取得する、
ことを特徴とする画像認識方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019061478A JP7190951B2 (ja) | 2019-03-27 | 2019-03-27 | 画像認識システムおよび画像認識方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019061478A JP7190951B2 (ja) | 2019-03-27 | 2019-03-27 | 画像認識システムおよび画像認識方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020160966A JP2020160966A (ja) | 2020-10-01 |
JP7190951B2 true JP7190951B2 (ja) | 2022-12-16 |
Family
ID=72639523
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019061478A Active JP7190951B2 (ja) | 2019-03-27 | 2019-03-27 | 画像認識システムおよび画像認識方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7190951B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7455046B2 (ja) | 2020-10-27 | 2024-03-25 | 日立Geニュークリア・エナジー株式会社 | 水中検査装置および水中検査方法 |
WO2022124316A1 (ja) * | 2020-12-08 | 2022-06-16 | 株式会社フツパー | 情報処理装置 |
WO2023002678A1 (ja) * | 2021-07-19 | 2023-01-26 | 浜松ホトニクス株式会社 | 特徴量出力モデル生成システム、特徴量出力モデル生成方法、特徴量出力モデル生成プログラム及び特徴量出力モデル |
JP7205013B1 (ja) * | 2021-07-19 | 2023-01-16 | 浜松ホトニクス株式会社 | 特徴量出力モデル生成システム、特徴量出力モデル生成方法、特徴量出力モデル生成プログラム及び特徴量出力モデル |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016103245A (ja) | 2014-11-28 | 2016-06-02 | キヤノン株式会社 | 情報処理装置、情報処理方法、プログラム |
JP2018005773A (ja) | 2016-07-07 | 2018-01-11 | 株式会社リコー | 異常判定装置及び異常判定方法 |
WO2018158823A1 (ja) | 2017-02-28 | 2018-09-07 | 株式会社オプティム | 異常検知システム、異常検知方法及びプログラム |
-
2019
- 2019-03-27 JP JP2019061478A patent/JP7190951B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016103245A (ja) | 2014-11-28 | 2016-06-02 | キヤノン株式会社 | 情報処理装置、情報処理方法、プログラム |
JP2018005773A (ja) | 2016-07-07 | 2018-01-11 | 株式会社リコー | 異常判定装置及び異常判定方法 |
WO2018158823A1 (ja) | 2017-02-28 | 2018-09-07 | 株式会社オプティム | 異常検知システム、異常検知方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2020160966A (ja) | 2020-10-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7190951B2 (ja) | 画像認識システムおよび画像認識方法 | |
TWI506565B (zh) | 動態物件分類 | |
EP2549738B1 (en) | Method and camera for determining an image adjustment parameter | |
CN110570454B (zh) | 一种检测异物入侵的方法及装置 | |
JP5923723B2 (ja) | 人物属性推定システム、人物属性推定装置、及び人物属性推定方法 | |
KR102144974B1 (ko) | 화재 검출 시스템 | |
CN105930822A (zh) | 一种人脸抓拍方法及系统 | |
JP5549345B2 (ja) | 画像収集装置に用いる天空検出装置及び方法 | |
CN108600638B (zh) | 摄像机自动调焦系统及方法 | |
JP2007148988A (ja) | 顔認証装置、顔認証方法および入退場管理装置 | |
KR101038650B1 (ko) | 적응적 배경영상 모델링 방법, 이를 이용한 불법주정차 무인단속방법 및 불법주정차 무인단속시스템 | |
US20220366570A1 (en) | Object tracking device and object tracking method | |
JP7387261B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP7092615B2 (ja) | 影検出装置、影検出方法、影検出プログラム、学習装置、学習方法、及び学習プログラム | |
JP2020149641A (ja) | 物体追跡装置および物体追跡方法 | |
KR20220170122A (ko) | 구조물 건전성 모니터링 시스템 및 이를 이용한 모니터링 방법 | |
WO2022044297A1 (ja) | 情報処理方法、情報処理装置及び情報処理プログラム | |
JP2021149687A (ja) | 物体認識装置、物体認識方法及び物体認識プログラム | |
CN117075042A (zh) | 电力作业现场的作业安全检测方法、系统及存储介质 | |
CN116188930A (zh) | 一种基于融合事件相机的场景识别方法及系统 | |
CN116246200A (zh) | 一种基于视觉识别的屏显信息偷拍检测方法及系统 | |
JP6893812B2 (ja) | 物体検出装置 | |
KR20160043484A (ko) | 팬틸트줌 카메라를 이용한 이벤트 감지방법 및 장치 | |
EP3054668B1 (en) | Method and device for processing a video stream | |
CN109919999B (zh) | 一种目标位置检测的方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210625 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220609 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220712 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220908 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221129 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221206 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7190951 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |