JP7357454B2 - 特徴特定装置、特徴特定方法及び特徴特定プログラム - Google Patents
特徴特定装置、特徴特定方法及び特徴特定プログラム Download PDFInfo
- Publication number
- JP7357454B2 JP7357454B2 JP2019056844A JP2019056844A JP7357454B2 JP 7357454 B2 JP7357454 B2 JP 7357454B2 JP 2019056844 A JP2019056844 A JP 2019056844A JP 2019056844 A JP2019056844 A JP 2019056844A JP 7357454 B2 JP7357454 B2 JP 7357454B2
- Authority
- JP
- Japan
- Prior art keywords
- feature
- feature amount
- recognition
- similarity
- influence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/55—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/56—Information retrieval; Database structures therefor; File system structures therefor of still image data having vectorial format
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
- G06V30/19173—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
- G06V30/41—Analysis of document content
- G06V30/414—Extracting the geometrical structure, e.g. layout tree; Block segmentation, e.g. bounding boxes for graphics or text
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Databases & Information Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Medical Informatics (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
この発明は、画像データの特徴を特定する技術に関する。
金融機関又は役所等では、申請書といった紙書類を用いたデータの登録と変更と削除といった処理が行われている。紙書類は、例えば、（１）書類の仕分け、（２）不備の確認、（３）（不備がなければ）内容の登録、（４）（不備があれば）記載者への返却といった流れで処理されている。これらの処理を実行するには人件費がかかるため、これらの処理を自動化することが望まれている。
これらの処理を自動化する取り組みとして、紙書類を電子化し、記載項目及び記載内容をコンピュータにより認識し、不備の判定を行うシステムがある（例えば、特許文献１参照）。このようなシステムでは、システムを動作させる以前に、紙書類内の記入領域を定義するといった初期設定が必要である。この初期設定を手作業で行うには手間がかかる。
これらの処理を自動化する取り組みとして、紙書類を電子化し、記載項目及び記載内容をコンピュータにより認識し、不備の判定を行うシステムがある（例えば、特許文献１参照）。このようなシステムでは、システムを動作させる以前に、紙書類内の記入領域を定義するといった初期設定が必要である。この初期設定を手作業で行うには手間がかかる。
紙書類の画像データから記入領域を自動で抽出する方法として、次の方法が考えられる。事前に紙書類においてテンプレートを印刷又は記入しておく。そして、紙書類の画像データからテンプレートを特定して、テンプレート以外の箇所を記入領域として特定する。この方法を実現するには、画像データに含まれるテンプレートを特定する技術が必要である。
ここで、複数の人によって記入された複数の記入書類では、記入領域は、記入がされている場合もあれば、記入がされていない場合もある。また、記入領域に記入された内容及び文字の形状は異なる。そのため、複数の紙書類の画像データにおける特徴箇所がテンプレートである可能性が高い。また、複数の分類の紙書類がある場合には、各分類の識別に寄与する箇所、つまり各分類の紙書類の画像データからその分類に固有の特徴箇所がテンプレートである可能性が高い。
ここで、複数の人によって記入された複数の記入書類では、記入領域は、記入がされている場合もあれば、記入がされていない場合もある。また、記入領域に記入された内容及び文字の形状は異なる。そのため、複数の紙書類の画像データにおける特徴箇所がテンプレートである可能性が高い。また、複数の分類の紙書類がある場合には、各分類の識別に寄与する箇所、つまり各分類の紙書類の画像データからその分類に固有の特徴箇所がテンプレートである可能性が高い。
特許文献２には、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：畳み込みニューラルネットワーク）を用いて、画像データの特徴を抽出する技術が記載されている。非特許文献１には、ＣＮＮによる分類の根拠となる画像データにおける箇所を特定する技術が記載されている。
Ｒ ． Ｓｅｌｖａｒａｊｕ ｅｔ ａｌ， "Ｇｒａｄ－ＣＡＭ： Ｖｉｓｕａｌ Ｅｘｐｌａｎａｔｉｏｎｓ ｆｒｏｍ Ｄｅｅｐ Ｎｅｔｗｏｒｋｓ ｖｉａ Ｇｒａｄｉｅｎｔ－ｂａｓｅｄ Ｌｏｃａｌｉｚａｔｉｏｎ"
特許文献２及び非特許文献１に記載された技術を用いて、各分類に固有の特徴箇所を特定する場合には、各分類についてのパラメータを学習したＣＮＮを構築する必要がある。そのため、分類が増える度にＣＮＮのパラメータの再学習が必要になり、計算機リソース及び時間が必要になってしまう。
この発明は、分類が増えた場合にも、ＣＮＮのパラメータの再学習することなく、各分類に固有の特徴箇所を適切に特定可能にすることを目的とする。
この発明は、分類が増えた場合にも、ＣＮＮのパラメータの再学習することなく、各分類に固有の特徴箇所を適切に特定可能にすることを目的とする。
この発明に係る特徴特定装置は、
複数の分類それぞれを対象として、対象の分類の画像データから抽出された特徴量である基準特徴量と、認識対象の画像データである認識対象データから抽出された特徴量である認識特徴量との類似度を計算する類似度計算部と、
前記類似度計算部によって計算された各分類についての類似度と、前記認識特徴量とを入力として、前記認識対象データの各部分画像についての前記類似度への影響度を計算する影響度計算部と、
前記影響度計算部によって計算された前記影響度により前記認識特徴量を変更する特徴特定部と
備える。
複数の分類それぞれを対象として、対象の分類の画像データから抽出された特徴量である基準特徴量と、認識対象の画像データである認識対象データから抽出された特徴量である認識特徴量との類似度を計算する類似度計算部と、
前記類似度計算部によって計算された各分類についての類似度と、前記認識特徴量とを入力として、前記認識対象データの各部分画像についての前記類似度への影響度を計算する影響度計算部と、
前記影響度計算部によって計算された前記影響度により前記認識特徴量を変更する特徴特定部と
備える。
この発明では、各分類について基準特徴量と認識特徴量との類似度を計算し、前記認識対象データの各部分画像についての類似度への影響度を計算する。そして、影響度により認識特徴量を変更する。
これにより、分類に関する情報を有さないＣＮＮを用いて基準特徴量と認識特徴量とを抽出しても、適切に特徴箇所を特定可能になる。そのため、分類が増えた場合にも、基準特徴量及び認識特徴量を抽出するためのＣＮＮのパラメータの再学習することなく、適切に特徴箇所を特定可である。
これにより、分類に関する情報を有さないＣＮＮを用いて基準特徴量と認識特徴量とを抽出しても、適切に特徴箇所を特定可能になる。そのため、分類が増えた場合にも、基準特徴量及び認識特徴量を抽出するためのＣＮＮのパラメータの再学習することなく、適切に特徴箇所を特定可である。
実施の形態１．
＊＊＊構成の説明＊＊＊
図１を参照して、実施の形態１に係る特徴特定システム１００の構成を説明する。
特徴特定システム１００は、機械学習装置１０と、特徴特定装置２０とを備える。機械学習装置１０と特徴特定装置２０とは、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）といった通信路３０を介して接続されており、データの受け渡しが可能である。
なお、機械学習装置１０と特徴特定装置２０とは、１つの装置によって実現されてもよい。この場合には、機械学習装置１０と特徴特定装置２０とは、装置の信号線等を介して、データの受け渡しが可能である。
＊＊＊構成の説明＊＊＊
図１を参照して、実施の形態１に係る特徴特定システム１００の構成を説明する。
特徴特定システム１００は、機械学習装置１０と、特徴特定装置２０とを備える。機械学習装置１０と特徴特定装置２０とは、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）といった通信路３０を介して接続されており、データの受け渡しが可能である。
なお、機械学習装置１０と特徴特定装置２０とは、１つの装置によって実現されてもよい。この場合には、機械学習装置１０と特徴特定装置２０とは、装置の信号線等を介して、データの受け渡しが可能である。
図２を参照して、実施の形態１に係る機械学習装置１０及び特徴特定装置２０のハードウェア構成を説明する。
機械学習装置１０及び特徴特定装置２０は、コンピュータである。
機械学習装置１０は、プロセッサ１１と、メモリ１２と、補助記憶装置１３と、通信インタフェース１４とを備える。特徴特定装置２０は、プロセッサ２１と、メモリ２２と、補助記憶装置２３と、通信インタフェース２４と、出力インタフェース２５とを備える。
機械学習装置１０及び特徴特定装置２０は、コンピュータである。
機械学習装置１０は、プロセッサ１１と、メモリ１２と、補助記憶装置１３と、通信インタフェース１４とを備える。特徴特定装置２０は、プロセッサ２１と、メモリ２２と、補助記憶装置２３と、通信インタフェース２４と、出力インタフェース２５とを備える。
プロセッサ１１，２１は、プロセッシングを行うＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）である。プロセッサ１１，２１は、具体例としては、ＣＰＵ（Ｃｅｎｔｒａｌ
Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。
Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。
メモリ１２，２２は、データを一時的に記憶する記憶装置である。メモリ１２，２２は、具体例としては、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。
補助記憶装置１３，２３は、データを保管する記憶装置である。補助記憶装置１３，２３は、具体例としては、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）である。また、補助記憶装置１３，２３は、ＳＤ（登録商標，Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）メモリカード、ＣＦ（ＣｏｍｐａｃｔＦｌａｓｈ，登録商標）、ＮＡＮＤフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ（登録商標）ディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）といった可搬記録媒体であってもよい。
通信インタフェース１４，２４は、外部の装置と通信するためのインタフェースである。通信インタフェース１４，２４は、具体例としては、Ｅｔｈｅｒｎｅｔ（登録商標）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）のポートである。
出力インタフェース２５は、表示装置といった機器と通信するためのインタフェースである。出力インタフェース２５は、具体例としては、ＨＤＭＩ（登録商標，Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）のポートである。
図３を参照して、実施の形態１に係る機械学習装置１０の機能構成を説明する。
機械学習装置１０は、機能構成要素として、サンプリング部１１１と、二値画像変換部１１２と、画像生成部１１３と、特徴量抽出部１１４と、画像再構築部１１５と、パラメータ更新部１１６とを備える。機械学習装置１０の各機能構成要素の機能はソフトウェアにより実現される。
補助記憶装置１３には、機械学習装置１０の各機能構成要素の機能を実現するプログラムが格納されている。このプログラムは、プロセッサ１１によりメモリ１２に読み込まれ、プロセッサ１１によって実行される。これにより、機械学習装置１０の各機能構成要素の機能が実現される。
また、補助記憶装置１３は、複数の学習画像データ１３１と、第１パラメータ１３２と、第２パラメータ１３３とを記憶する。
機械学習装置１０は、機能構成要素として、サンプリング部１１１と、二値画像変換部１１２と、画像生成部１１３と、特徴量抽出部１１４と、画像再構築部１１５と、パラメータ更新部１１６とを備える。機械学習装置１０の各機能構成要素の機能はソフトウェアにより実現される。
補助記憶装置１３には、機械学習装置１０の各機能構成要素の機能を実現するプログラムが格納されている。このプログラムは、プロセッサ１１によりメモリ１２に読み込まれ、プロセッサ１１によって実行される。これにより、機械学習装置１０の各機能構成要素の機能が実現される。
また、補助記憶装置１３は、複数の学習画像データ１３１と、第１パラメータ１３２と、第２パラメータ１３３とを記憶する。
図４を参照して、実施の形態１に係る特徴特定装置２０の機能構成を説明する。
特徴特定装置２０機能構成要素として、特徴抽出部２１１と、特徴変更部２１２とを備える。特徴変更部２１２は、類似度計算部２１３と、影響度計算部２１４と、特徴特定部２１５とを備える。特徴特定装置２０の各機能構成要素の機能はソフトウェアにより実現される。
補助記憶装置２３には、特徴特定装置２０の各機能構成要素の機能を実現するプログラムが格納されている。このプログラムは、プロセッサ２１によりメモリ２２に読み込まれ、プロセッサ２１によって実行される。これにより、特徴特定装置２０の各機能構成要素の機能が実現される。
また、補助記憶装置２３は、複数の分類それぞれについて１つ以上の登録画像データ２３１と、複数の分類それぞれについて１つ以上の基準特徴量２３２と、１つ以上の認識対象データ２３３とを記憶する。
特徴特定装置２０機能構成要素として、特徴抽出部２１１と、特徴変更部２１２とを備える。特徴変更部２１２は、類似度計算部２１３と、影響度計算部２１４と、特徴特定部２１５とを備える。特徴特定装置２０の各機能構成要素の機能はソフトウェアにより実現される。
補助記憶装置２３には、特徴特定装置２０の各機能構成要素の機能を実現するプログラムが格納されている。このプログラムは、プロセッサ２１によりメモリ２２に読み込まれ、プロセッサ２１によって実行される。これにより、特徴特定装置２０の各機能構成要素の機能が実現される。
また、補助記憶装置２３は、複数の分類それぞれについて１つ以上の登録画像データ２３１と、複数の分類それぞれについて１つ以上の基準特徴量２３２と、１つ以上の認識対象データ２３３とを記憶する。
図２では、プロセッサ１１は、１つだけ示されていた。しかし、プロセッサ１１は、複数であってもよく、複数のプロセッサ１１が、機械学習装置１０の各機能を実現するプログラムを連携して実行してもよい。同様に、プロセッサ２１は、複数であってもよく、複数のプロセッサ２１が、特徴特定装置２０の各機能を実現するプログラムを連携して実行してもよい。
以下の説明において、各装置における機能構成要素間でのデータの受け渡しは、プロセス間通信によって行われてもよいし、メモリ１２，２２を介して行われてもよい。
＊＊＊動作の説明＊＊＊
図５から図９を参照して、実施の形態１に係る特徴特定システム１００の動作を説明する。
実施の形態１に係る特徴特定システム１００の動作は、実施の形態１に係る特徴特定方法に相当する。また、実施の形態１に係る特徴特定システム１００の動作は、実施の形態１に係る特徴特定プログラムの処理に相当する。
図５から図９を参照して、実施の形態１に係る特徴特定システム１００の動作を説明する。
実施の形態１に係る特徴特定システム１００の動作は、実施の形態１に係る特徴特定方法に相当する。また、実施の形態１に係る特徴特定システム１００の動作は、実施の形態１に係る特徴特定プログラムの処理に相当する。
図５を参照して、実施の形態１に係る機械学習装置１０の動作を説明する。
機械学習装置１０は、補助記憶装置１３に記憶された複数の学習画像データ１３１それぞれを対象として図５に示す処理を実行する。これにより、第１ニューラルネットワークの第１パラメータ１３２及び第２ニューラルネットワークの第２パラメータ１３３を更新する。
各学習画像データ１３１は、学習対象とする複数の分類のいずれかの分類の画像データである。実施の形態１では、各学習画像データ１３１は、複数の分類のいずれかの分類の紙書類を画像化した画像データである。なお、各学習画像データ１３１には、分類に関する情報は含まれていない。
機械学習装置１０は、補助記憶装置１３に記憶された複数の学習画像データ１３１それぞれを対象として図５に示す処理を実行する。これにより、第１ニューラルネットワークの第１パラメータ１３２及び第２ニューラルネットワークの第２パラメータ１３３を更新する。
各学習画像データ１３１は、学習対象とする複数の分類のいずれかの分類の画像データである。実施の形態１では、各学習画像データ１３１は、複数の分類のいずれかの分類の紙書類を画像化した画像データである。なお、各学習画像データ１３１には、分類に関する情報は含まれていない。
（ステップＳ１１：サンプリング処理）
サンプリング部１１１は、対象の学習画像データ１３１から画素データをサンプリングして、基準サイズの画像データに変換する。ここでは、各学習画像データ１３１は、グレースケールであるとする。
サンプリング部１１１は、対象の学習画像データ１３１から画素データをサンプリングして、基準サイズの画像データに変換する。ここでは、各学習画像データ１３１は、グレースケールであるとする。
（ステップＳ１２：二値画像変換処理）
二値画像変換部１１２は、ステップＳ１１で基準サイズに変換された後のグレースケールの学習画像データ１３１を二値化して、二値の画像データである変換二値データを生成する。
二値画像変換部１１２は、ステップＳ１１で基準サイズに変換された後のグレースケールの学習画像データ１３１を二値化して、二値の画像データである変換二値データを生成する。
（ステップＳ１３：画像生成処理）
画像生成部１１３は、ステップＳ１１で基準サイズに変換された後のグレースケールの学習画像データ１３１に対して、学習に必要な前処理を実行する。
具体例としては、画像生成部１１３は、学習画像データ１３１から画像取得時のノイズを除去して、学習画像データ１３１の状態を均一にする。又は、画像生成部１１３は、学習画像データ１３１に対してノイズを付加して、学習画像データ１３１にバリエーションを持たせる。ノイズを付加する方法としては、ガウシアンノイズと、ごま塩ノイズと、ガウシアンぼかし等を付加する、回転とシフトと拡大縮小といった操作を実行する、又は、輝度値とコントラストとシャープネスといった設定値を調整するといったことが考えられる。
画像生成部１１３は、ステップＳ１１で基準サイズに変換された後のグレースケールの学習画像データ１３１に対して、学習に必要な前処理を実行する。
具体例としては、画像生成部１１３は、学習画像データ１３１から画像取得時のノイズを除去して、学習画像データ１３１の状態を均一にする。又は、画像生成部１１３は、学習画像データ１３１に対してノイズを付加して、学習画像データ１３１にバリエーションを持たせる。ノイズを付加する方法としては、ガウシアンノイズと、ごま塩ノイズと、ガウシアンぼかし等を付加する、回転とシフトと拡大縮小といった操作を実行する、又は、輝度値とコントラストとシャープネスといった設定値を調整するといったことが考えられる。
（ステップＳ１４：特徴量抽出処理）
特徴量抽出部１１４は、ステップＳ１３で前処理が実行された後の学習画像データ１３１から第１ニューラルネットワークにより画素毎の特徴量を学習特徴量として抽出する。この際、第１ニューラルネットワークは、補助記憶装置１３に記憶された第１パラメータ１３２を参照して学習特徴量を抽出する。実施の形態１では、第１ニューラルネットワークは、ＣＮＮであるとする。
特徴量抽出部１１４は、ステップＳ１３で前処理が実行された後の学習画像データ１３１から第１ニューラルネットワークにより画素毎の特徴量を学習特徴量として抽出する。この際、第１ニューラルネットワークは、補助記憶装置１３に記憶された第１パラメータ１３２を参照して学習特徴量を抽出する。実施の形態１では、第１ニューラルネットワークは、ＣＮＮであるとする。
（ステップＳ１５：画像再構築処理）
画像再構築部１１５は、ステップＳ１４で抽出された学習特徴量を入力として、第２ニューラルネットワークにより学習画像データ１３１を二値化して、二値の画像データである学習二値データを生成する。この際、第２ニューラルネットワークは、補助記憶装置１３に記憶された第２パラメータ１３３を参照して学習二値データを生成する。実施の形態１では、第２ニューラルネットワークは、ＣＮＮであるとする。
画像再構築部１１５は、ステップＳ１４で抽出された学習特徴量を入力として、第２ニューラルネットワークにより学習画像データ１３１を二値化して、二値の画像データである学習二値データを生成する。この際、第２ニューラルネットワークは、補助記憶装置１３に記憶された第２パラメータ１３３を参照して学習二値データを生成する。実施の形態１では、第２ニューラルネットワークは、ＣＮＮであるとする。
（ステップＳ１６：パラメータ更新処理）
パラメータ更新部１１６は、ステップＳ１２で生成された変換二値データと、ステップＳ１５で生成された学習二値データとの差分を計算する。パラメータ更新部１１６は、計算された差分に基づき、第１ニューラルネットワークのパラメータである第１パラメータ１３２と、第２ニューラルネットワークのパラメータである第２パラメータ１３３とを更新する。
パラメータ更新部１１６は、ステップＳ１２で生成された変換二値データと、ステップＳ１５で生成された学習二値データとの差分を計算する。パラメータ更新部１１６は、計算された差分に基づき、第１ニューラルネットワークのパラメータである第１パラメータ１３２と、第２ニューラルネットワークのパラメータである第２パラメータ１３３とを更新する。
図６を参照して、実施の形態１に係る特徴特定装置２０の動作を説明する。
図６に示す処理の前提として、特徴抽出部２１１は、補助記憶装置２３に記憶された複数の登録画像データ２３１それぞれを対象として、対象の登録画像データ２３１から画素毎の特徴量を基準特徴量２３２として抽出して、補助記憶装置２３に記憶する。
ここで、補助記憶装置２３には、処理対象とする複数の分類それぞれについて１つ以上の登録画像データ２３１が記憶されている。登録画像データ２３１は、分類を示す情報と対応付けられている。複数の登録画像データ２３１は、学習画像データ１３１と同じ画像データが含まれてもよいし、異なる画像データだけであってもよい。
具体的には、特徴抽出部２１１は、機械学習装置１０によって生成された第１ニューラルネットワークを特徴抽出モデルとして用いて、対象の登録画像データ２３１から基準特徴量２３２を抽出する。この際、第１ニューラルネットワークは、第１パラメータ１３２を参照して基準特徴量２３２を抽出する。そして、特徴抽出部２１１は、各登録画像データ２３１から抽出された基準特徴量２３２を、分類を示す情報と対応付けて補助記憶装置２３に記憶する。
これにより、各分類について１つ以上の基準特徴量２３２が補助記憶装置２３に記憶される。
図６に示す処理の前提として、特徴抽出部２１１は、補助記憶装置２３に記憶された複数の登録画像データ２３１それぞれを対象として、対象の登録画像データ２３１から画素毎の特徴量を基準特徴量２３２として抽出して、補助記憶装置２３に記憶する。
ここで、補助記憶装置２３には、処理対象とする複数の分類それぞれについて１つ以上の登録画像データ２３１が記憶されている。登録画像データ２３１は、分類を示す情報と対応付けられている。複数の登録画像データ２３１は、学習画像データ１３１と同じ画像データが含まれてもよいし、異なる画像データだけであってもよい。
具体的には、特徴抽出部２１１は、機械学習装置１０によって生成された第１ニューラルネットワークを特徴抽出モデルとして用いて、対象の登録画像データ２３１から基準特徴量２３２を抽出する。この際、第１ニューラルネットワークは、第１パラメータ１３２を参照して基準特徴量２３２を抽出する。そして、特徴抽出部２１１は、各登録画像データ２３１から抽出された基準特徴量２３２を、分類を示す情報と対応付けて補助記憶装置２３に記憶する。
これにより、各分類について１つ以上の基準特徴量２３２が補助記憶装置２３に記憶される。
（ステップＳ２１：特徴抽出処理）
特徴抽出部２１１は、認識対象の画像データである認識対象データ２３３から画素毎の特徴量を認識特徴量として抽出する。
ここで、認識対象データ２３３は、処理対象とする複数の分類のいずれかの分類の画像データである。認識対象データ２３３は、学習画像データ１３１と同じ画像データであってもよいし、違う画像データであってもよい。
具体的には、特徴抽出部２１１は、機械学習装置１０によって生成された第１ニューラルネットワークを特徴抽出モデルとして用いて、認識対象データ２３３から認識特徴量を抽出する。この際、第１ニューラルネットワークは、第１パラメータ１３２を参照して認識特徴量を抽出する。
特徴抽出部２１１は、認識対象の画像データである認識対象データ２３３から画素毎の特徴量を認識特徴量として抽出する。
ここで、認識対象データ２３３は、処理対象とする複数の分類のいずれかの分類の画像データである。認識対象データ２３３は、学習画像データ１３１と同じ画像データであってもよいし、違う画像データであってもよい。
具体的には、特徴抽出部２１１は、機械学習装置１０によって生成された第１ニューラルネットワークを特徴抽出モデルとして用いて、認識対象データ２３３から認識特徴量を抽出する。この際、第１ニューラルネットワークは、第１パラメータ１３２を参照して認識特徴量を抽出する。
（ステップＳ２２：類似度計算処理）
類似度計算部２１３は、複数の分類それぞれを対象として、対象の分類の画像データから抽出された特徴量である基準特徴量２３２と、ステップＳ２１で抽出された認識特徴量との類似度を計算する。
類似度計算部２１３は、複数の分類それぞれを対象として、対象の分類の画像データから抽出された特徴量である基準特徴量２３２と、ステップＳ２１で抽出された認識特徴量との類似度を計算する。
（ステップＳ２３：影響度計算処理）
影響度計算部２１４は、ステップＳ２２で計算された各分類についての類似度と、ステップＳ２１で抽出された認識特徴量とを入力として、認識対象データの各部分画像についての類似度への影響度を計算する。
影響度計算部２１４は、ステップＳ２２で計算された各分類についての類似度と、ステップＳ２１で抽出された認識特徴量とを入力として、認識対象データの各部分画像についての類似度への影響度を計算する。
（ステップＳ２４：特徴特定処理）
特徴特定部２１５は、ステップＳ２３で計算された影響度により、ステップＳ２１で抽出された認識特徴量を変更して、認識対象データ２３３の特徴箇所を特定する。そして、特徴特定部２１５は、特定された特徴箇所が紙書類におけるテンプレートであり、他の部分を記入領域であると特定する。
特徴特定部２１５は、ステップＳ２３で計算された影響度により、ステップＳ２１で抽出された認識特徴量を変更して、認識対象データ２３３の特徴箇所を特定する。そして、特徴特定部２１５は、特定された特徴箇所が紙書類におけるテンプレートであり、他の部分を記入領域であると特定する。
図７を参照して、実施の形態１に係る類似度計算処理（図６のステップＳ２２）を説明する。
各分類を対象としてステップＳ３１からステップＳ３６の処理が実行される。
ステップＳ３１で類似度計算部２１３は、対象の分類の基準特徴量２３２を補助記憶装置２３から取得する。ステップＳ３２で類似度計算部２１３は、図６のステップＳ２１で抽出された認識特徴量を取得する。
ステップＳ３３で類似度計算部２１３は、ステップＳ３１で複数の基準特徴量２３２が読み出された場合には、処理をステップＳ３４に進め、ステップＳ３１で１つの基準特徴量２３２が読み出された場合には、処理をステップＳ３５に進める。ステップＳ３４で類似度計算部２１３は、基準特徴量２３２の平均を対象の分類の基準特徴量２３２として扱う。なお、類似度計算部２１３は、平均に限らず、何らかの方法により、対象の分類の基準特徴量２３２を１つに定めればよい。
各分類を対象としてステップＳ３１からステップＳ３６の処理が実行される。
ステップＳ３１で類似度計算部２１３は、対象の分類の基準特徴量２３２を補助記憶装置２３から取得する。ステップＳ３２で類似度計算部２１３は、図６のステップＳ２１で抽出された認識特徴量を取得する。
ステップＳ３３で類似度計算部２１３は、ステップＳ３１で複数の基準特徴量２３２が読み出された場合には、処理をステップＳ３４に進め、ステップＳ３１で１つの基準特徴量２３２が読み出された場合には、処理をステップＳ３５に進める。ステップＳ３４で類似度計算部２１３は、基準特徴量２３２の平均を対象の分類の基準特徴量２３２として扱う。なお、類似度計算部２１３は、平均に限らず、何らかの方法により、対象の分類の基準特徴量２３２を１つに定めればよい。
ステップＳ３５で類似度計算部２１３は、基準特徴量２３２と、ステップＳ３２で取得された認識特徴量との乖離度を計算する。
具体例としては、類似度計算部２１３は、基準特徴量２３２と認識特徴量との距離を計算することにより、乖離度を計算する。具体的には、類似度計算部２１３は、画素毎の平均二乗誤差を用いて、基準特徴量２３２と認識対象データ２３３との乖離度を計算する。この場合には、類似度計算部２１３は、画素毎に、基準特徴量２３２と認識対象特徴量との距離である二乗誤差を計算して、全ての画素の二乗誤差の平均を乖離度として計算する。つまり、類似度計算部２１３は、式１に示すように、乖離度を計算する。
（式１）ｄｉｓｓｉｍｉｌａｒｉｔｙｊ＝Σｋ（ｆｅａｔｕｒｅｋ－ｂａｓｉｓｊｋ）２
ここで、ｂａｓｉｓｊｋは、分類ｊである登録画像データ２３１の画素ｋに対する基準特徴量２３２である。ｆｅａｔｕｒｅｋは、認識対象データ２３３の画素ｋに対する認識特徴量である。ｄｉｓｓｉｍｉｌａｒｉｔｙｊは、分類ｊに対する乖離度である。
（式１）ｄｉｓｓｉｍｉｌａｒｉｔｙｊ＝Σｋ（ｆｅａｔｕｒｅｋ－ｂａｓｉｓｊｋ）２
ここで、ｂａｓｉｓｊｋは、分類ｊである登録画像データ２３１の画素ｋに対する基準特徴量２３２である。ｆｅａｔｕｒｅｋは、認識対象データ２３３の画素ｋに対する認識特徴量である。ｄｉｓｓｉｍｉｌａｒｉｔｙｊは、分類ｊに対する乖離度である。
また、他の具体例としては、類似度計算部２１３は、平均二乗誤差に対して重みを付けて、基準特徴量２３２と認識対象データ２３３との乖離度を計算する。
この際、重みは、分類毎に、影響の大きい画素ほど大きい値になるように決定される。あるいは、重みは、分類毎に、登録画像データ２３１の特徴量のばらつき（標準変化）が大きい画素ほど小さい値になるように決定される。また、重みは、これらの２つの組合せにより決定されてもよい。
つまり、類似度計算部２１３は、式２に示すように、乖離度を計算する。
（式２）ｄｉｓｓｉｍｉｌａｒｉｔｙｊ＝Σｋｗｊｋ（ｆｅａｔｕｒｅｋ－ｂａｓｉｓｊｋ）２
ここで、ｗｊｋは、分類ｊである登録画像データ２３１の画素ｋに対する重みである。重みｗｊｋは、例えば、｜ｂａｓｉｓｊｋ｜２／σｊｋである。σｊｋは、分類ｊである登録画像データ２３１の画素ｋについての標準偏差である。
この際、重みは、分類毎に、影響の大きい画素ほど大きい値になるように決定される。あるいは、重みは、分類毎に、登録画像データ２３１の特徴量のばらつき（標準変化）が大きい画素ほど小さい値になるように決定される。また、重みは、これらの２つの組合せにより決定されてもよい。
つまり、類似度計算部２１３は、式２に示すように、乖離度を計算する。
（式２）ｄｉｓｓｉｍｉｌａｒｉｔｙｊ＝Σｋｗｊｋ（ｆｅａｔｕｒｅｋ－ｂａｓｉｓｊｋ）２
ここで、ｗｊｋは、分類ｊである登録画像データ２３１の画素ｋに対する重みである。重みｗｊｋは、例えば、｜ｂａｓｉｓｊｋ｜２／σｊｋである。σｊｋは、分類ｊである登録画像データ２３１の画素ｋについての標準偏差である。
ステップＳ３６で類似度計算部２１３は、ステップＳ３５で計算された乖離度を類似度に変換する。この際、類似度計算部２１３は、乖離度が大きいほど類似度が小さく、乖離度が小さいほど類似度が大きくなるように、類似度を計算する。具体例としては、類似度計算部２１３は、乖離度を０から１の範囲で正規化し、１から正規化された乖離度を減算して類似度を計算する。
ステップＳ３７で類似度計算部２１３は、各分類について計算された類似度を要素とするベクトルを類似度ベクトルとして出力する。
図８を参照して、実施の形態１に係る影響度計算処理（図６のステップＳ２３）を説明する。
ステップＳ４１で影響度計算部２１４は、図７のステップＳ３７で出力された類似度ベクトルを取得する。ステップＳ４２で影響度計算部２１４は、図６のステップＳ２１で抽出された認識特徴量を取得する。
ステップＳ４３で影響度計算部２１４は、ステップＳ４１で取得された類似度ベクトルと、ステップＳ４２で取得された認識特徴量とを入力として、認識対象データ２３３の各部分画像である各画素を変化させた場合の類似度への影響の大きさを、影響度として計算する。具体的には、影響度計算部２１４は、類似度ベクトルと認識特徴量とをＧｒａｄ－ＣＡＭに入力して、各画素についての影響度を計算する。つまり、影響度は、勾配のことである。Ｇｒａｄ－ＣＡＭについては、非特許文献１に記載されている。
ステップＳ４４で影響度計算部２１４は、ステップＳ４３で計算された影響度を出力する。なお、特徴量は複数のレイヤを有している。そのため、影響度計算部２１４は、特徴量のレイヤ毎に影響度を出力してもよいし、特徴量のレイヤ毎の影響度の平均を出力してもよい。
ステップＳ４１で影響度計算部２１４は、図７のステップＳ３７で出力された類似度ベクトルを取得する。ステップＳ４２で影響度計算部２１４は、図６のステップＳ２１で抽出された認識特徴量を取得する。
ステップＳ４３で影響度計算部２１４は、ステップＳ４１で取得された類似度ベクトルと、ステップＳ４２で取得された認識特徴量とを入力として、認識対象データ２３３の各部分画像である各画素を変化させた場合の類似度への影響の大きさを、影響度として計算する。具体的には、影響度計算部２１４は、類似度ベクトルと認識特徴量とをＧｒａｄ－ＣＡＭに入力して、各画素についての影響度を計算する。つまり、影響度は、勾配のことである。Ｇｒａｄ－ＣＡＭについては、非特許文献１に記載されている。
ステップＳ４４で影響度計算部２１４は、ステップＳ４３で計算された影響度を出力する。なお、特徴量は複数のレイヤを有している。そのため、影響度計算部２１４は、特徴量のレイヤ毎に影響度を出力してもよいし、特徴量のレイヤ毎の影響度の平均を出力してもよい。
図９を参照して、実施の形態１に係る特徴特定処理（図６のステップＳ２４）を説明する。
ステップＳ５１で特徴特定部２１５は、図８のステップＳ４４で出力された影響度を取得する。ステップＳ５２で特徴特定部２１５は、図６のステップＳ２１で抽出された認識特徴量を取得する。
ステップＳ５３で特徴特定部２１５は、ステップＳ５１で取得された影響度を重みとして、ステップＳ５２で取得された認識特徴量に重み付けすることにより、認識特徴量を変更する。この際、特徴特定部２１５は、影響度がレイヤ毎に出力された場合には、レイヤ毎に重み付けする。ステップＳ５４で特徴特定部２１５は、ステップＳ５３で変更された認識特徴量を、出力インタフェース２５を介して表示装置等に出力する。この認識特徴量では、認識対象データ２３３の特徴箇所が特定されている。
ステップＳ５１で特徴特定部２１５は、図８のステップＳ４４で出力された影響度を取得する。ステップＳ５２で特徴特定部２１５は、図６のステップＳ２１で抽出された認識特徴量を取得する。
ステップＳ５３で特徴特定部２１５は、ステップＳ５１で取得された影響度を重みとして、ステップＳ５２で取得された認識特徴量に重み付けすることにより、認識特徴量を変更する。この際、特徴特定部２１５は、影響度がレイヤ毎に出力された場合には、レイヤ毎に重み付けする。ステップＳ５４で特徴特定部２１５は、ステップＳ５３で変更された認識特徴量を、出力インタフェース２５を介して表示装置等に出力する。この認識特徴量では、認識対象データ２３３の特徴箇所が特定されている。
＊＊＊実施の形態１の効果＊＊＊
以上のように、実施の形態１に係る特徴特定装置２０は、各分類について基準特徴量２３２と認識特徴量との類似度を計算し、認識対象データ２３３の各部分画像（各画素）についての類似度への影響度を計算する。そして、影響度により認識特徴量を変更する。
これにより、分類に関する情報を有さないＣＮＮを用いて基準特徴量２３３と認識特徴量とを抽出しても、適切に特徴箇所を特定可能になる。そのため、分類が増えた場合にも、基準特徴量及び認識特徴量を抽出するためのＣＮＮのパラメータを再学習することなく、分類に応じた固有の特徴箇所を適切に特定可能である。その結果、分類が増えた場合にも、ＣＮＮのパラメータを再学習することなく、テンプレートと記入個所とを適切に特定することが可能である。
以上のように、実施の形態１に係る特徴特定装置２０は、各分類について基準特徴量２３２と認識特徴量との類似度を計算し、認識対象データ２３３の各部分画像（各画素）についての類似度への影響度を計算する。そして、影響度により認識特徴量を変更する。
これにより、分類に関する情報を有さないＣＮＮを用いて基準特徴量２３３と認識特徴量とを抽出しても、適切に特徴箇所を特定可能になる。そのため、分類が増えた場合にも、基準特徴量及び認識特徴量を抽出するためのＣＮＮのパラメータを再学習することなく、分類に応じた固有の特徴箇所を適切に特定可能である。その結果、分類が増えた場合にも、ＣＮＮのパラメータを再学習することなく、テンプレートと記入個所とを適切に特定することが可能である。
＊＊＊他の構成＊＊＊
＜変形例１＞
機械学習装置１０は、特徴量抽出部１１４の入力として与えられる学習画像データ１３１に分類に関する情報を含まずに、第１ニューラルネットワークの学習が行われるという条件を満たせばよい。この条件を満たせば、機械学習装置１０は、実施の形態１で説明した構成に限らず、他の構成であってもよい。
＜変形例１＞
機械学習装置１０は、特徴量抽出部１１４の入力として与えられる学習画像データ１３１に分類に関する情報を含まずに、第１ニューラルネットワークの学習が行われるという条件を満たせばよい。この条件を満たせば、機械学習装置１０は、実施の形態１で説明した構成に限らず、他の構成であってもよい。
＜変形例２＞
実施の形態１では、複数の基準特徴量２３２を統合した上で、基準特徴量２３２と認識特徴量とを比較して、類似度を計算した。しかし、複数の基準特徴量２３２それぞれについて認識特徴量との類似度を計算した上で、複数の基準特徴量２３２それぞれについての類似度を統合してもよい。
実施の形態１では、複数の基準特徴量２３２を統合した上で、基準特徴量２３２と認識特徴量とを比較して、類似度を計算した。しかし、複数の基準特徴量２３２それぞれについて認識特徴量との類似度を計算した上で、複数の基準特徴量２３２それぞれについての類似度を統合してもよい。
図１０を参照して、この場合における類似度計算処理（図６のステップＳ２２）を説明する。
各分類を対象としてステップＳ６１からステップＳ６６の処理が実行される。
ステップＳ６１からステップＳ６２の処理は、図７のステップＳ３１からステップＳ３２の処理と同じである。ステップＳ６３で類似度計算部２１３は、ステップＳ６１で取得された各基準特徴量２３２と、ステップＳ６２で取得された認識特徴量との乖離度を計算する。
ステップＳ６４で類似度計算部２１３は、ステップＳ６１で複数の基準特徴量２３２が読み出された場合には、処理をステップＳ６５に進め、ステップＳ６１で１つの基準特徴量２３２が読み出された場合には、処理をステップＳ６６に進める。ステップＳ６５で類似度計算部２１３は、ステップＳ６３で計算された各基準特徴量２３２との乖離度の平均を対象の分類の乖離度として扱う。なお、類似度計算部２１３は、平均に限らず、何らかの方法により、対象の分類の乖離度を１つに定めればよい。
ステップＳ６６からステップＳ６７の処理は、図７のステップＳ３６からステップＳ３７の処理と同じである。
各分類を対象としてステップＳ６１からステップＳ６６の処理が実行される。
ステップＳ６１からステップＳ６２の処理は、図７のステップＳ３１からステップＳ３２の処理と同じである。ステップＳ６３で類似度計算部２１３は、ステップＳ６１で取得された各基準特徴量２３２と、ステップＳ６２で取得された認識特徴量との乖離度を計算する。
ステップＳ６４で類似度計算部２１３は、ステップＳ６１で複数の基準特徴量２３２が読み出された場合には、処理をステップＳ６５に進め、ステップＳ６１で１つの基準特徴量２３２が読み出された場合には、処理をステップＳ６６に進める。ステップＳ６５で類似度計算部２１３は、ステップＳ６３で計算された各基準特徴量２３２との乖離度の平均を対象の分類の乖離度として扱う。なお、類似度計算部２１３は、平均に限らず、何らかの方法により、対象の分類の乖離度を１つに定めればよい。
ステップＳ６６からステップＳ６７の処理は、図７のステップＳ３６からステップＳ３７の処理と同じである。
＜変形例３＞
実施の形態１では、各機能構成要素がソフトウェアで実現された。しかし、変形例３として、各機能構成要素はハードウェアで実現されてもよい。この変形例３について、実施の形態１と異なる点を説明する。
実施の形態１では、各機能構成要素がソフトウェアで実現された。しかし、変形例３として、各機能構成要素はハードウェアで実現されてもよい。この変形例３について、実施の形態１と異なる点を説明する。
変形例３に係る機械学習装置１０及び特徴特定装置２０の構成を説明する。
各機能構成要素がハードウェアで実現される場合には、機械学習装置１０は、プロセッサ１１とメモリ１２と補助記憶装置１３とに代えて、電子回路を備える。電子回路は、各機能構成要素と、メモリ１２と、補助記憶装置１３との機能とを実現する専用の回路である。同様に、各機能構成要素がハードウェアで実現される場合には、特徴特定装置２０は、プロセッサ２１とメモリ２２と補助記憶装置２３とに代えて、電子回路を備える。電子回路は、各機能構成要素と、メモリ２２と、補助記憶装置２３との機能とを実現する専用の回路である。
各機能構成要素がハードウェアで実現される場合には、機械学習装置１０は、プロセッサ１１とメモリ１２と補助記憶装置１３とに代えて、電子回路を備える。電子回路は、各機能構成要素と、メモリ１２と、補助記憶装置１３との機能とを実現する専用の回路である。同様に、各機能構成要素がハードウェアで実現される場合には、特徴特定装置２０は、プロセッサ２１とメモリ２２と補助記憶装置２３とに代えて、電子回路を備える。電子回路は、各機能構成要素と、メモリ２２と、補助記憶装置２３との機能とを実現する専用の回路である。
電子回路としては、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックＩＣ、ＧＡ（Ｇａｔｅ Ａｒｒａｙ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）が想定される。
各機能構成要素を１つの電子回路で実現してもよいし、各機能構成要素を複数の電子回路に分散させて実現してもよい。
各機能構成要素を１つの電子回路で実現してもよいし、各機能構成要素を複数の電子回路に分散させて実現してもよい。
＜変形例４＞
変形例４として、一部の各機能構成要素がハードウェアで実現され、他の各機能構成要素がソフトウェアで実現されてもよい。
変形例４として、一部の各機能構成要素がハードウェアで実現され、他の各機能構成要素がソフトウェアで実現されてもよい。
プロセッサ１１，２１とメモリ１２，２２と補助記憶装置１３，２３と電子回路とを処理回路という。つまり、各機能構成要素の機能は、処理回路により実現される。
１０ 機械学習装置、１１ プロセッサ、１２ メモリ、１３ 補助記憶装置、１４ 通信インタフェース、１１１ サンプリング部、１１２ 二値画像変換部、１１３ 画像生成部、１１４ 特徴量抽出部、１１５ 画像再構築部、１１６ パラメータ更新部、１３１ 学習画像データ、１３２ 第１パラメータ、１３３ 第２パラメータ、２０ 特徴特定装置、２１ プロセッサ、２２ メモリ、２３ 補助記憶装置、２４ 通信インタフェース、２１１ 特徴抽出部、２１２ 特徴変更部、２１３ 類似度計算部、２１４ 影響度計算部、２１５ 特徴特定部、２３１ 登録画像データ、２３２ 基準特徴量、２３３ 認識対象データ、３０ 通信路、１００ 特徴特定システム。
Claims (6)
- 複数の分類それぞれを対象として、前記複数の分類に関する情報を有しない特徴抽出モデルによって、対象の分類の登録画像データから部分画像毎の特徴量を基準特徴量として抽出するとともに、前記特徴抽出モデルによって、認識対象の画像データである認識対象データから部分画像毎の特徴量を認識特徴量として抽出する特徴抽出部と、
各分類についての前記基準特徴量と、前記認識特徴量との類似度を計算する類似度計算部と、
前記類似度計算部によって計算された前記各分類についての類似度と、前記認識特徴量とを入力として、前記各分類について、前記認識対象データの各部分画像を変化させた場合の前記類似度への影響の大きさを、前記各部分画像についての影響度として計算する影響度計算部と、
前記影響度計算部によって計算された前記影響度により前記認識特徴量を変更する特徴特定部と
を備える特徴特定装置。 - 前記類似度計算部は、前記基準特徴量と前記認識特徴量との距離を計算することにより、前記類似度を計算する
請求項１に記載の特徴特定装置。 - 前記特徴特定部は、前記影響度を重みとして、前記認識特徴量に重み付けすることにより、前記認識特徴量を変更する
請求項１又は２に記載の特徴特定装置。 - 前記特徴抽出モデルは、学習対象の画像データである学習データが変換された二値の画像データである変換二値データと、第１ニューラルネットワークにより抽出した前記学習データの特徴量である学習特徴量を入力とする第２ニューラルネットワークにより前記学習データを変換した二値の画像データである学習二値データとの差分に基づき、前記第１ニューラルネットワークと前記第２ニューラルネットワークとのパラメータを更新する機械学習装置によって生成された前記第１ニューラルネットワークである
請求項１に記載の特徴特定装置。 - 特徴抽出部が、複数の分類それぞれを対象として、前記複数の分類に関する情報を有しない特徴抽出モデルによって、対象の分類の登録画像データから部分画像毎の特徴量を基準特徴量として抽出するとともに、前記特徴抽出モデルによって、認識対象の画像データである認識対象データから部分画像毎の特徴量を認識特徴量として抽出し、
類似度計算部が、各分類についての前記基準特徴量と、前記認識特徴量との類似度を計算し、
影響度計算部が、前記各分類についての類似度と、前記認識特徴量とを入力として、前記各分類について、前記認識対象データの各部分画像を変化させた場合の前記類似度への影響の大きさを、前記各部分画像についての影響度として計算し、
特徴特定部が、前記影響度により前記認識特徴量を変更する特徴特定方法。 - 複数の分類それぞれを対象として、前記複数の分類に関する情報を有しない特徴抽出モデルによって、対象の分類の登録画像データから部分画像毎の特徴量を基準特徴量として抽出するとともに、前記特徴抽出モデルによって、認識対象の画像データである認識対象データから部分画像毎の特徴量を認識特徴量として抽出する特徴抽出処理と、
各分類についての前記基準特徴量と、前記認識特徴量との類似度を計算する類似度計算処理と、
前記類似度計算処理によって計算された前記各分類についての類似度と、前記認識特徴量とを入力として、前記各分類について、前記認識対象データの各部分画像を変化させた場合の前記類似度への影響の大きさを、前記各部分画像についての影響度として計算する影響度計算処理と、
前記影響度計算処理によって計算された前記影響度により前記認識特徴量を変更する特徴特定処理と
を実行する特徴特定装置としてコンピュータを機能させる特徴特定プログラム。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019056844A JP7357454B2 (ja) | 2019-03-25 | 2019-03-25 | 特徴特定装置、特徴特定方法及び特徴特定プログラム |
| PCT/JP2019/046249 WO2020194864A1 (ja) | 2019-03-25 | 2019-11-26 | 特徴特定装置、特徴特定方法及び特徴特定プログラム |
| CN201980094307.3A CN113661515A (zh) | 2019-03-25 | 2019-11-26 | 特征确定装置、特征确定方法和特征确定程序 |
| US17/388,283 US11755907B2 (en) | 2019-03-25 | 2021-07-29 | Feature identification device, feature identification method, and computer readable medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019056844A JP7357454B2 (ja) | 2019-03-25 | 2019-03-25 | 特徴特定装置、特徴特定方法及び特徴特定プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020160582A JP2020160582A (ja) | 2020-10-01 |
| JP7357454B2 true JP7357454B2 (ja) | 2023-10-06 |
Family
ID=72611286
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019056844A Active JP7357454B2 (ja) | 2019-03-25 | 2019-03-25 | 特徴特定装置、特徴特定方法及び特徴特定プログラム |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US11755907B2 (ja) |
| JP (1) | JP7357454B2 (ja) |
| CN (1) | CN113661515A (ja) |
| WO (1) | WO2020194864A1 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114549499B (zh) * | 2022-03-01 | 2024-07-16 | 浪潮金融信息技术有限公司 | 一种用于终端设备的高拍仪达标检测方法、系统及介质 |
| CN115017359A (zh) * | 2022-05-27 | 2022-09-06 | 浙江大华技术股份有限公司 | 一种搜索图片的方法、装置及电子设备 |
| CN116645661B (zh) * | 2023-07-27 | 2023-11-14 | 深圳市青虹激光科技有限公司 | 一种防重码检测方法及系统 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6320649B1 (ja) | 2017-03-31 | 2018-05-09 | 三菱電機株式会社 | 機械学習装置及び画像認識装置 |
Family Cites Families (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA1060775A (en) | 1977-03-18 | 1979-08-21 | Manfred A.A. Lupke | Apparatus for perforating tubing |
| JPS5635692A (en) | 1979-08-30 | 1981-04-08 | Mitsubishi Electric Corp | Control device for transistor motor |
| US5638465A (en) * | 1994-06-14 | 1997-06-10 | Nippon Telegraph And Telephone Corporation | Image inspection/recognition method, method of generating reference data for use therein, and apparatuses therefor |
| JP2001256244A (ja) | 2000-03-14 | 2001-09-21 | Fuji Xerox Co Ltd | 画像データ分類装置および画像データ分類方法 |
| JP2007317034A (ja) | 2006-05-27 | 2007-12-06 | Ricoh Co Ltd | 画像処理装置、画像処理方法、プログラムおよび記録媒体 |
| JP4717760B2 (ja) * | 2006-08-31 | 2011-07-06 | 三菱電機株式会社 | 物体認識装置および映像物体測位装置 |
| KR100840021B1 (ko) * | 2007-11-05 | 2008-06-20 | (주)올라웍스 | 특성 데이터를 이용하여 디지털 데이터에 포함된 인물의얼굴에 대해 인식하는 방법 및 시스템 |
| US8194933B2 (en) * | 2007-12-12 | 2012-06-05 | 3M Innovative Properties Company | Identification and verification of an unknown document according to an eigen image process |
| JP5445062B2 (ja) | 2009-11-24 | 2014-03-19 | 富士ゼロックス株式会社 | 情報処理装置及び情報処理プログラム |
| JP5214762B2 (ja) * | 2011-03-25 | 2013-06-19 | 株式会社東芝 | 認識装置、方法及びプログラム |
| JP6440303B2 (ja) | 2014-12-02 | 2018-12-19 | エヌ・ティ・ティ・コムウェア株式会社 | 対象認識装置、対象認識方法、およびプログラム |
| JP6345203B2 (ja) | 2016-05-19 | 2018-06-20 | 株式会社 ディー・エヌ・エー | 対象物の類似度判定のためのプログラム、システム、及び方法 |
| EP3291146A1 (en) | 2016-09-05 | 2018-03-07 | Fujitsu Limited | Knowledge extraction from a convolutional neural network |
| JP6830226B2 (ja) * | 2016-09-21 | 2021-02-17 | パナソニックＩｐマネジメント株式会社 | 換言文識別方法、換言文識別装置及び換言文識別プログラム |
| JP6190027B1 (ja) | 2016-10-20 | 2017-08-30 | 三菱電機インフォメーションシステムズ株式会社 | 作業支援装置および作業支援プログラム |
| JP2018112891A (ja) | 2017-01-11 | 2018-07-19 | 富士通株式会社 | 画像処理プログラム、画像処理方法及び画像処理システム |
| JP6751684B2 (ja) | 2017-03-28 | 2020-09-09 | 株式会社Ｎｔｔドコモ | 類似画像検索装置 |
| JP6349477B1 (ja) | 2018-02-14 | 2018-06-27 | 株式会社エクサ | 類似度判定プログラム |
| JP2019211913A (ja) * | 2018-06-01 | 2019-12-12 | 日本電信電話株式会社 | 特徴量抽出装置、方法、及びプログラム |
-
2019
- 2019-03-25 JP JP2019056844A patent/JP7357454B2/ja active Active
- 2019-11-26 CN CN201980094307.3A patent/CN113661515A/zh active Pending
- 2019-11-26 WO PCT/JP2019/046249 patent/WO2020194864A1/ja active Application Filing
-
2021
- 2021-07-29 US US17/388,283 patent/US11755907B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6320649B1 (ja) | 2017-03-31 | 2018-05-09 | 三菱電機株式会社 | 機械学習装置及び画像認識装置 |
| WO2018179338A1 (ja) | 2017-03-31 | 2018-10-04 | 三菱電機株式会社 | 機械学習装置及び画像認識装置 |
Non-Patent Citations (1)
| Title |
|---|
| 長野 章宏 外１０名，電子顕微鏡画像における薬剤耐性菌株の識別と形態的特徴の比較，情報処理学会研究報告 コンピュータビジョンとイメージメディア（ＣＶＩＭ） ２０１９－ＣＶＩＭ－２１５，日本，2019年01月10日，No. 32，pp. 1-8 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020160582A (ja) | 2020-10-01 |
| CN113661515A (zh) | 2021-11-16 |
| WO2020194864A1 (ja) | 2020-10-01 |
| US20210357635A1 (en) | 2021-11-18 |
| US11755907B2 (en) | 2023-09-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7357454B2 (ja) | 特徴特定装置、特徴特定方法及び特徴特定プログラム | |
| EP2806374B1 (en) | Method and system for automatic selection of one or more image processing algorithm | |
| TW202036463A (zh) | 活體檢測方法和裝置、設備和存儲介質 | |
| WO2021137946A1 (en) | Forgery detection of face image | |
| US11361528B2 (en) | Systems and methods for stamp detection and classification | |
| CN106447592A (zh) | 每个特征描述符的在线个性化服务 | |
| CN111951154B (zh) | 包含背景和介质的图片的生成方法及装置 | |
| Tang et al. | Person re-identification with feature pyramid optimization and gradual background suppression | |
| Liu et al. | An indoor scene classification method for service robot Based on CNN feature | |
| US20210312215A1 (en) | Method for book recognition and book reading device | |
| Le et al. | Exploring the asynchronous of the frequency spectra of gan-generated facial images | |
| US11514702B2 (en) | Systems and methods for processing images | |
| CN112750065B (zh) | 载体对象处理和水印嵌入方法、装置及电子设备 | |
| KR20240114180A (ko) | 문서 이미지 디블러링 모델의 학습 방법 및 이를 실행하는 서버 | |
| WO2023010701A1 (en) | Image generation method, apparatus, and electronic device | |
| Wei et al. | FRGAN: a blind face restoration with generative adversarial networks | |
| JP7485226B2 (ja) | 訓練装置、分類装置、訓練方法、分類方法、及びプログラム | |
| CA3070701C (en) | Systems and methods for processing images | |
| US12013922B2 (en) | Method for watermarking a machine learning model | |
| US12080054B2 (en) | Systems and methods for detecting small objects in an image using a neural network | |
| US20240330582A1 (en) | Debiasing prompts in connection with artificial intelligence techniques | |
| JP7266075B2 (ja) | データ選別支援装置、データ選別支援方法及びデータ選別支援プログラム | |
| US20240143693A1 (en) | Decoding additive superposition of vectors | |
| Sasithradevi et al. | Computer Graphic and Photographic Images Classification—A Transfer Learning Approach | |
| Dutta et al. | A systematic literature review on image splicing detection and localization using emerging technologies |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220117 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230328 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230515 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230829 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230926 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7357454 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |