JP7135504B2 - 画像識別装置、画像識別方法及びプログラム - Google Patents
画像識別装置、画像識別方法及びプログラム Download PDFInfo
- Publication number
- JP7135504B2 JP7135504B2 JP2018126346A JP2018126346A JP7135504B2 JP 7135504 B2 JP7135504 B2 JP 7135504B2 JP 2018126346 A JP2018126346 A JP 2018126346A JP 2018126346 A JP2018126346 A JP 2018126346A JP 7135504 B2 JP7135504 B2 JP 7135504B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- unnecessary
- feature map
- input
- input image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
Description
入力画像が入力される入力層及び前記入力画像の識別結果が出力される出力層以外の層である中間層を有し、前記入力画像を識別する識別器と、
前記中間層において、前記入力画像を識別するための特徴マップを取得する特徴マップ取得手段と、
前記識別器が識別する画像以外の画像を認識する画像認識手段と、
前記中間層において、前記画像認識手段により認識された画像の領域を前記入力画像を識別する際に使用しない方が良いと推定される不要領域として取得する不要領域取得手段と、
前記中間層において、前記不要領域取得手段により取得された不要領域の情報を前記特徴マップから削除する不要領域削除手段と、
前記不要領域削除手段により前記不要領域が削除された特徴マップを用いて前記入力画像を識別する識別手段と、
を備える。
本発明の実施形態1に係る画像識別装置100は、学習用の画像を用いて学習させたCNN識別器を用いて未知の画像を識別する。画像識別装置100は、未知の画像の識別の際に、CNN識別器の中間層において、画像識別に不要と推定される領域の情報を削除することによって、画像識別の精度を向上させることができる。このような画像識別装置100について、以下に説明する。
上述の実施形態1では、画像識別処理(図9)における中間層の活性化領域の抽出(ステップS103)において、活性化マップを入力画像とともにユーザに提示してもよいとした。しかし、単に活性化マップと入力画像とが提示されただけではユーザは不要領域の有無の判定がしづらい場合も考えられる。そこで、入力画像と活性化マップとを半透明で重ねて表示することによって、不要領域の有無の判定をしやすくする変形例1について説明する。
上述の実施形態では、画像識別処理(図9)における不要領域の有無の判定(ステップS104)や不要領域の取得(ステップS105)において、ユーザから不要領域の情報を取得したり、活性化マップの外縁付近を不要領域として取得したりしていた。しかし、これに限られない。例えば、CNN識別器11とは別に制御部10が画像認識を行うプログラムを実行することによって、不要領域の情報を取得してもよい。このような実施形態を変形例2とする。変形例2では、画像認識を行うプログラムを制御部10が実行することにより、制御部10は画像認識手段としても機能する。
上述の実施形態1では、画像識別処理(図9)における中間層の活性化領域の抽出(ステップS103)において、特定のクラスを特別扱いすることはせずに、全チャネル又は全クラスの平均をとった活性化マップを生成した。しかしこれに限られない。活性化マップの生成にCAM又はGrad-CAMを用いると、クラス毎の活性化マップが得られるので、これを全クラスで平均化するのではなく、個別のクラス毎の活性化マップをユーザに提示してもよい。このような実施形態を変形例3とする。
さらに、CAM又はGrad-CAMを用いて得られるクラス毎の活性化マップをそのクラスの活性化状態とし、識別対象とするm個のクラスの活性化状態(クラス毎の活性化マップ)m枚を平均化したものを活性化マップとして用いてもよい。このような実施形態を変形例4とする。
入力画像が入力される入力層及び前記入力画像の識別結果が出力される出力層以外の層である中間層を有し、前記入力画像を識別する識別器と、
前記中間層において、前記入力画像を識別するための特徴マップを取得する特徴マップ取得手段と、
前記中間層の活性化状態を可視化した活性化マップを生成する活性化マップ生成手段と、
前記活性化マップ生成手段が生成した前記活性化マップを参照して、前記特徴マップ取得手段が取得した特徴マップを編集する編集手段と、
前記編集手段により編集された特徴マップを用いて前記入力画像を識別する識別手段と、
を備える画像識別装置。
前記活性化マップ生成手段は、前記識別器が識別するクラス毎にCAM又はGrad-CAMを用いて前記活性化マップを生成する、
付記1に記載の画像識別装置。
前記編集手段が前記特徴マップを編集する際に前記入力画像と前記活性化マップとを重ね合わせた画像を表示する出力手段をさらに備える、
付記1又は2に記載の画像識別装置。
前記中間層において、前記入力画像を識別する際に使用しない方が良いと推定される不要領域を取得する不要領域取得手段と、
前記中間層において、前記不要領域取得手段が取得した不要領域の情報を削除する不要領域削除手段と、
をさらに備える、
付記1から3のいずれか1つに記載の画像識別装置。
予め機械学習により前記不要領域の識別を学習しておいた識別器による自動編集手段をさらに備え、
前記編集手段は、前記自動編集手段を用いて前記特徴マップを編集する、
付記4に記載の画像識別装置。
入力画像が入力される入力層及び前記入力画像の識別結果が出力される出力層以外の層である中間層を有し、前記入力画像を識別する識別器と、
前記中間層において、前記入力画像を識別する際に使用しない方が良いと推定される不要領域を取得する不要領域取得手段と、
前記中間層において、前記不要領域取得手段が取得した不要領域の情報を削除する不要領域削除手段と、
を備える画像識別装置。
前記不要領域取得手段は、前記出力層に接続している全結合層の直前の中間層において、前記不要領域を取得し、
前記不要領域削除手段は、前記出力層に接続している全結合層の直前の中間層において、前記不要領域取得手段が取得した不要領域の情報を削除する、
付記4から6のいずれか1つに記載の画像識別装置。
前記不要領域取得手段は、前記中間層の活性化状態を可視化した活性化マップを生成し、前記活性化マップから前記不要領域を取得する、
付記4から7のいずれか1つに記載の画像識別装置。
前記不要領域取得手段は、前記識別器が識別するクラス毎にCAM又はGrad-CAMを用いて前記活性化マップを生成し、前記活性化マップから前記不要領域を取得する、
付記8に記載の画像識別装置。
前記不要領域取得手段は、CAM又はGrad-CAMを用いて前記クラス毎に前記活性化状態を取得し、前記入力画像の識別対象となるクラスの前記活性化状態のみを用いて前記活性化マップを生成し、前記活性化マップから前記不要領域を取得する、
付記9に記載の画像識別装置。
ユーザの操作入力を受け付ける操作入力手段と、
前記活性化マップを表示する出力手段と、
をさらに備え、
前記不要領域取得手段は、前記活性化マップを前記出力手段に表示した後に、前記操作入力手段により選択された領域を前記不要領域として取得する、
付記8から10のいずれか1つに記載の画像識別装置。
前記不要領域取得手段は、前記入力画像と前記活性化マップとを重ね合わせた画像を前記出力手段に表示した後に、前記操作入力手段により選択された領域を前記不要領域として取得する、
付記11に記載の画像識別装置。
前記不要領域取得手段は、前記活性化マップの外縁の領域を前記不要領域として取得する、
付記8から10のいずれか1つに記載の画像識別装置。
前記識別器が識別する画像以外の画像を認識する画像認識手段をさらに備え、
前記不要領域取得手段は、前記画像認識手段が認識した画像の領域を前記不要領域として取得する、
付記8から10のいずれか1つに記載の画像識別装置。
前記入力画像は皮膚疾患の患部を撮影した画像であり、
前記不要領域取得手段は、前記識別器が有する中間層において、前記患部以外の領域を前記不要領域として取得する、
付記4から14のいずれか1つに記載の画像識別装置。
入力画像が入力される入力層及び前記入力画像の識別結果が出力される出力層以外の層である中間層を有する識別器により、前記入力画像を識別する画像識別方法であって、
前記中間層において、前記入力画像を識別するための特徴マップを取得する特徴マップ取得ステップと、
前記中間層の活性化状態を可視化した活性化マップを生成する活性化マップ生成ステップと、
前記活性化マップ生成ステップで生成した前記活性化マップを参照して、前記特徴マップ取得ステップで取得した特徴マップを編集する編集ステップと、
前記編集ステップにより編集された特徴マップを用いて前記入力画像を識別する識別ステップと、
を含む画像識別方法。
入力画像が入力される入力層及び前記入力画像の識別結果が出力される出力層以外の層である中間層を有する識別器を備える画像識別装置のコンピュータに、
前記中間層において、前記入力画像を識別するための特徴マップを取得する特徴マップ取得ステップ、
前記中間層の活性化状態を可視化した活性化マップを生成する活性化マップ生成ステップ、
前記活性化マップ生成ステップで生成した前記活性化マップを参照して、前記特徴マップ取得ステップで取得した特徴マップを編集する編集ステップ、及び、
前記編集ステップにより編集された特徴マップを用いて前記入力画像を識別する識別ステップ、
を実行させるためのプログラム。
Claims (9)
- 入力画像が入力される入力層及び前記入力画像の識別結果が出力される出力層以外の層である中間層を有し、前記入力画像を識別する識別器と、
前記中間層において、前記入力画像を識別するための特徴マップを取得する特徴マップ取得手段と、
前記識別器が識別する画像以外の画像を認識する画像認識手段と、
前記中間層において、前記画像認識手段により認識された画像の領域を前記入力画像を識別する際に使用しない方が良いと推定される不要領域として取得する不要領域取得手段と、
前記中間層において、前記不要領域取得手段により取得された不要領域の情報を前記特徴マップから削除する不要領域削除手段と、
前記不要領域削除手段により前記不要領域が削除された特徴マップを用いて前記入力画像を識別する識別手段と、
を備える画像識別装置。 - 前記不要領域取得手段は、前記中間層の活性化状態を可視化した活性化マップを生成し、前記活性化マップから前記不要領域を取得する、
請求項1に記載の画像識別装置。 - 前記不要領域削除手段により前記特徴マップから不要領域が削除される際に前記入力画像と前記活性化マップとを重ね合わせた画像を表示手段に表示する出力手段をさらに備える、
請求項2に記載の画像識別装置。 - 前記不要領域取得手段は、前記出力層に接続している全結合層の直前の中間層において、前記不要領域を取得し、
前記不要領域削除手段は、前記出力層に接続している全結合層の直前の中間層において、前記不要領域取得手段が取得した不要領域の情報を削除する、
請求項1から3のいずれか1項に記載の画像識別装置。 - 前記不要領域取得手段は、前記識別器が識別するクラス毎にCAM又はGrad-CAMを用いて前記活性化マップを生成し、前記活性化マップから前記不要領域を取得する、
請求項2又は3に記載の画像識別装置。 - 前記不要領域取得手段は、CAM又はGrad-CAMを用いて前記クラス毎に前記活性化状態を取得し、前記入力画像の識別対象となるクラスの前記活性化状態のみを用いて前記活性化マップを生成し、前記活性化マップから前記不要領域を取得する、
請求項5に記載の画像識別装置。 - 前記入力画像は皮膚疾患の患部を撮影した画像であり、
前記不要領域取得手段は、前記識別器が有する中間層において、前記患部以外の領域を前記不要領域として取得する、
請求項1から6のいずれか1項に記載の画像識別装置。 - 入力画像が入力される入力層及び前記入力画像の識別結果が出力される出力層以外の層である中間層を有する識別器により、前記入力画像を識別する画像識別方法であって、
前記中間層において、前記入力画像を識別するための特徴マップを取得する特徴マップ取得ステップと、
前記識別器が識別する画像以外の画像を認識する画像認識ステップと、
前記中間層において、前記画像認識ステップで認識された画像の領域を前記入力画像を識別する際に使用しない方が良いと推定される不要領域として取得する不要領域取得ステップと、
前記中間層において、前記不要領域取得ステップで取得された不要領域の情報を前記特徴マップから削除する不要領域削除ステップと、
前記不要領域削除ステップで前記不要領域が削除された特徴マップを用いて前記入力画像を識別する識別ステップと、
を含む画像識別方法。 - 入力画像が入力される入力層及び前記入力画像の識別結果が出力される出力層以外の層である中間層を有する識別器を備える画像識別装置のコンピュータに、
前記中間層において、前記入力画像を識別するための特徴マップを取得する特徴マップ取得ステップと、
前記識別器が識別する画像以外の画像を認識する画像認識ステップと、
前記中間層において、前記画像認識ステップで認識された画像の領域を前記入力画像を識別する際に使用しない方が良いと推定される不要領域として取得する不要領域取得ステップと、
前記中間層において、前記不要領域取得ステップで取得された不要領域の情報を前記特徴マップから削除する不要領域削除ステップと、
前記不要領域削除ステップで前記不要領域が削除された特徴マップを用いて前記入力画像を識別する識別ステップと、
を実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018126346A JP7135504B2 (ja) | 2018-07-02 | 2018-07-02 | 画像識別装置、画像識別方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018126346A JP7135504B2 (ja) | 2018-07-02 | 2018-07-02 | 画像識別装置、画像識別方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020008896A JP2020008896A (ja) | 2020-01-16 |
JP7135504B2 true JP7135504B2 (ja) | 2022-09-13 |
Family
ID=69151762
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018126346A Active JP7135504B2 (ja) | 2018-07-02 | 2018-07-02 | 画像識別装置、画像識別方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7135504B2 (ja) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10713815B1 (en) * | 2019-01-31 | 2020-07-14 | StradVision, Inc. | Method and device for supporting administrators to processes of object detectors to provide logical driving |
WO2021152727A1 (ja) * | 2020-01-29 | 2021-08-05 | 楽天グループ株式会社 | 物体認識システム、位置情報取得方法、及びプログラム |
JP7267483B2 (ja) * | 2020-01-29 | 2023-05-01 | 楽天グループ株式会社 | 物体認識システム、位置情報取得方法、及びプログラム |
KR102125379B1 (ko) * | 2020-02-14 | 2020-06-22 | 주식회사 카카오뱅크 | 딥러닝 기반의 신분증 진위판단장치 및 신분증 진위판단방법 |
EP4120185A4 (en) | 2020-03-12 | 2023-03-22 | NEC Corporation | IMAGE PROCESSING DEVICE, IMAGE RECOGNITION SYSTEM, IMAGE PROCESSING METHOD AND NON-TRANSITORY COMPUTER READABLE MEDIA |
JP7479887B2 (ja) | 2020-03-19 | 2024-05-09 | セコム株式会社 | 画像生成装置、画像処理システム、及び画像処理方法 |
US20220012309A1 (en) * | 2020-07-10 | 2022-01-13 | Nice Ltd. | Systems and methods for applying semi-discrete calculus to meta machine learning |
JP7056698B2 (ja) * | 2020-08-17 | 2022-04-19 | カシオ計算機株式会社 | 特徴量取得装置、類似画像検索装置、表示装置、特徴量取得方法、類似画像検索方法、表示方法及びプログラム |
JP7481956B2 (ja) * | 2020-08-26 | 2024-05-13 | 株式会社東芝 | 推論装置、方法、プログラムおよび学習装置 |
JP7177806B2 (ja) * | 2020-09-25 | 2022-11-24 | 三菱電機インフォメーションシステムズ株式会社 | 画像判定装置、画像判定方法及び画像判定プログラム |
WO2022176116A1 (ja) * | 2021-02-18 | 2022-08-25 | 日本電信電話株式会社 | 学習装置、学習方法及び学習プログラム |
KR102646316B1 (ko) * | 2021-06-09 | 2024-03-11 | 경기도 | 압류동산의 진품 확인 방법 및 장치 그리고 이를 이용한 전자 공매 시스템 |
KR20230042994A (ko) * | 2021-09-23 | 2023-03-30 | 연세대학교 산학협력단 | Cam 기반의 약한 지도학습 물체탐지 장치 및 방법 |
WO2024029191A1 (ja) * | 2022-08-03 | 2024-02-08 | ソニーグループ株式会社 | 情報処理装置及び情報処理方法、並びにコンピュータプログラム |
CN116106856B (zh) * | 2023-04-13 | 2023-08-18 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 雷暴大风的识别模型建立方法、识别方法及计算设备 |
CN117372818B (zh) * | 2023-12-06 | 2024-04-12 | 深圳须弥云图空间科技有限公司 | 目标重识别方法及装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002252751A (ja) | 2001-02-26 | 2002-09-06 | Ricoh Co Ltd | 画像処理装置 |
JP2016018486A (ja) | 2014-07-10 | 2016-02-01 | 国立研究開発法人産業技術総合研究所 | 画像検索装置と画像検索プログラムと画像検索方法 |
JP2017059090A (ja) | 2015-09-18 | 2017-03-23 | ヤフー株式会社 | 生成装置、生成方法、及び生成プログラム |
JP2018038789A (ja) | 2016-09-02 | 2018-03-15 | カシオ計算機株式会社 | 診断支援装置、及び診断支援装置における画像処理方法、並びにプログラム |
JP2018147431A (ja) | 2017-03-09 | 2018-09-20 | コニカミノルタ株式会社 | 画像認識装置及び画像認識方法 |
-
2018
- 2018-07-02 JP JP2018126346A patent/JP7135504B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002252751A (ja) | 2001-02-26 | 2002-09-06 | Ricoh Co Ltd | 画像処理装置 |
JP2016018486A (ja) | 2014-07-10 | 2016-02-01 | 国立研究開発法人産業技術総合研究所 | 画像検索装置と画像検索プログラムと画像検索方法 |
JP2017059090A (ja) | 2015-09-18 | 2017-03-23 | ヤフー株式会社 | 生成装置、生成方法、及び生成プログラム |
JP2018038789A (ja) | 2016-09-02 | 2018-03-15 | カシオ計算機株式会社 | 診断支援装置、及び診断支援装置における画像処理方法、並びにプログラム |
JP2018147431A (ja) | 2017-03-09 | 2018-09-20 | コニカミノルタ株式会社 | 画像認識装置及び画像認識方法 |
Non-Patent Citations (3)
Title |
---|
Dahun Kim et al,Two-Phase Learning for Weakly Supervised Object Localization,2017 IEEE International Conference on Computer Vision (ICCV),米国,IEEE,2017年10月29日,P.3554 - 3563,https://ieeexplore.ieee.org/document/8237644 |
古木 拓哉,類似意匠推薦システム実現のための意匠特徴部の検出,情報処理学会 研究報告 コンピュータビジョンとイメージメディア(CVIM),Vol.2018-CVIM-212 No.15,日本,情報処理学会,2018年05月03日,P.1~5 |
瀬口 太郎,画像特徴と単語の分散表現を活用した感性語を付与した画像キャプションの自動生成,電子情報通信学会技術研究報告 Vol.117 No.508,NC2017-96 (2018-03),日本,一般社団法人電子情報通信学会,2018年03月06日,P.169~174 |
Also Published As
Publication number | Publication date |
---|---|
JP2020008896A (ja) | 2020-01-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7135504B2 (ja) | 画像識別装置、画像識別方法及びプログラム | |
JP6843086B2 (ja) | 画像処理システム、画像においてマルチラベル意味エッジ検出を行う方法、および、非一時的コンピューター可読記憶媒体 | |
Han et al. | Two-stage learning to predict human eye fixations via SDAEs | |
CN105144239B (zh) | 图像处理装置、图像处理方法 | |
US20020164070A1 (en) | Automatic algorithm generation | |
CN108229490A (zh) | 关键点检测方法、神经网络训练方法、装置和电子设备 | |
CN110582783B (zh) | 训练装置、图像识别装置、训练方法和计算机可读信息存储介质 | |
JP2021517330A (ja) | 画像中の物体を識別するための方法、及び当該方法を実施するためのモバイル装置 | |
JP7111088B2 (ja) | 画像検索装置、学習方法及びプログラム | |
US20200380302A1 (en) | Data augmentation system, data augmentation method, and information storage medium | |
KR101955919B1 (ko) | 딥러닝 기반의 영상데이터 내 관심영역 설정방법 및 프로그램 | |
CN111091055A (zh) | 脸型识别方法、装置、设备及计算机可读存储介质 | |
CN112836653A (zh) | 人脸隐私化方法、设备、装置及计算机存储介质 | |
CN110516638B (zh) | 一种基于轨迹和随机森林的手语识别方法 | |
US11157765B2 (en) | Method and system for determining physical characteristics of objects | |
Yang et al. | Revealing task-relevant model memorization for source-protected unsupervised domain adaptation | |
Gipiškis et al. | Occlusion-based approach for interpretable semantic segmentation | |
US20220383616A1 (en) | Information processing apparatus and image processing method | |
CN113724237B (zh) | 齿痕识别方法、装置、计算机设备及存储介质 | |
CN113516182B (zh) | 视觉问答模型训练、视觉问答方法和装置 | |
CN111582148B (zh) | 京剧人物识别方法、设备、存储介质及装置 | |
JP6397439B2 (ja) | 属性推定装置 | |
Musa | Facial Emotion Detection for Educational Purpose Using Image Processing Technique | |
JP2012256182A (ja) | データ解析装置、データ解析方法およびデータ解析プログラム | |
JP2021196756A (ja) | 画像処理装置、画像処理方法及び画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210608 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220518 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220531 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220728 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220802 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220815 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7135504 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |