JP6892606B2 - 位置特定装置、位置特定方法及びコンピュータプログラム - Google Patents
位置特定装置、位置特定方法及びコンピュータプログラム Download PDFInfo
- Publication number
- JP6892606B2 JP6892606B2 JP2018038042A JP2018038042A JP6892606B2 JP 6892606 B2 JP6892606 B2 JP 6892606B2 JP 2018038042 A JP2018038042 A JP 2018038042A JP 2018038042 A JP2018038042 A JP 2018038042A JP 6892606 B2 JP6892606 B2 JP 6892606B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- feature
- unit
- subject
- feature map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Description
図1は、第1の実施形態における、位置特定装置の機能構成の例を示す機能ブロック図である。位置特定装置100は、被写体と背景とが一緒に写っている画像において、画像に含まれる被写体の領域を検出する。位置特定装置100は、例えば、ドローン等の飛翔体によって空撮された画像に含まれる被写体の領域を特定する。
本実施例では特徴モデルについてDRNを例として説明するが、入力データの畳み込みにより画像若しくは画像の所定の領域毎の特徴を抽出する処理を中間層で行うニューラルネットワークであればDRNに限定されない。
還元すると、第1画像特徴量取得部105で取得された輝度特徴量と、特徴マップ取得部104で所望の被写体に適すると判定された特徴マップとを関連付けるといってもよい。
Indexは、上述した通り第2画像特徴量取得部110で取得した輝度特徴量と最も近い特徴量・Indexデータベースに格納されている輝度特徴量に対応するIndexを用いてもよいし、第2画像特徴量取得部110で取得した輝度特徴量と、特徴量・Indexデータベースに格納されている輝度特徴量との差が所定の閾値以下である特徴量・Indexデータベースに格納されている輝度特徴量に対応するIndex、すなわち複数のIndexを用いてもよい。
対応マスク検索部111の処理は、データベース生成部106で説明した、輝度特徴量と特徴マップとの関連に基づいて、対象画像をDRNに入力・伝搬することで得られた特徴マップの中から、所望の被写体に反応すると推定される特徴マップの推定を行うと言い換えてもよい。
対応マスク検索部111は、複数枚の特徴マップからマスク画像を生成する場合、特徴量・Indexデータベースを用いて、重み付き和の重みを算出する。対応マスク検索部111は、算出された重みに基づいて、マスク画像を生成する。対応マスク検索部111は、例えば、輝度特徴量の値が近い順に距離等を用いることで重みを算出してもよい。対応マスク検索部111は、その他の公知の手法を用いて重みを算出してもよい。なお、対応マスク検索部111は、特徴量・Indexデータベースに記録された確率分布を取得して、モデル化し、関連付けることでマスク画像を生成するように構成されてもよい。
この実施形態のポイントを記載すると、
1.被写体画像を学習済みのDRNに入力・伝搬させ、中間層の出力である特徴マップを複数得る
2.得られた特徴マップのうち、所望の被写体に適する特徴マップを取得する
3.被写体画像からあらかじめ定められた特徴量を抽出する
4.抽出された特徴量と、所望の被写体に適する特徴マップに対応するIndexを関連付ける
5.対象画像を、1.と同じ学習済みのDRNに入力・伝搬させ、特徴マップを複数取得する
6.3.と同じ手法により対象画像から特徴量を抽出する
7.6.で抽出された特徴量と近い、4.で関連付けられた特徴量に対応するIndexを取得する
8.5.で得られた特徴マップのうち、7.で得られたIndexに対応する特徴マップを取得する
9.8.で得られた特徴マップをマスクとして対象画像に適用することで所望の被写体の位置を取得する得る
となる。これは、本来であればブラックボックスである学習済みのニューラルネットワークの中間層の出力である特徴マップをマスクとして利用するため、3.6.に記載したような、特徴量をキーとして関連付けるための構成である。
次に、第2の実施形態における位置特定装置100aについて説明する。第1の実施形態の位置特定装置100は、輝度特徴量などの予め決定された特徴量を用いて、複数枚の特徴マップから合成マスク画像を生成した。第1の実施形態は、位置を特定したい被写体内と背景等の位置を特定したい被写体以外(以下「背景等」という。)の間で輝度値の差分値が顕著な場合に特に有効な手法であったが、それ以外の場合には、精度が十分に得られない可能性があった。そこで、第2の実施形態の位置特定装置100aは、被写体と背景等との輝度値の差分値が十分に大きくない場合に、機械学習によって重みを決定する。言い換えると、被写体の特徴量の分布と背景等の特徴量の分布が重複する領域が大きい場合に特に有効な手法を本実施例では提供する。本実施例のポイントは、学習用の画像をDRNに入力・伝搬させた際に得られる特徴マップのうち、被写体に強く反応する特徴マップについて大きい重みが、被写体以外に強く反応する特徴マップについて小さな重みが設定されるように学習を行う点である。強く反応する、とは特徴マップ取得部104と同様である。
Claims (6)
- 少なくとも所望の被写体を含む画像である第一の画像から前記所望の被写体の位置を特定する位置特定装置であって、
前記第一の画像の所定の特徴を表す第一の特徴量を取得する特徴量取得部と、
前記所望の被写体を含む学習用画像である第二の画像から得られた前記所定の特徴を表す前記所望の被写体の第二の特徴量と、前記第二の画像の特徴を表すマップである特徴マップの集合である特徴マップ複数のうち前記所望の被写体に対応する特徴マップである特徴マップと、の対応付を用いて、前記第一の特徴量と近い前記第二の特徴量と対応する特徴マップを推定する推定部と、
前記第二の特徴量と対応すると推定された特徴マップと対応し前記第一の画像から得られる特徴マップを用いて前記所望の被写体の位置を特定する位置特定部と、
を備える、位置特定装置。 - 前記第二の画像の特徴を表す特徴マップ複数に含まれる特徴マップは、前記第二の画像に対して第一の畳み込み処理を行った出力、もしくは畳み込み処理を行った出力に対してさらに第二の畳み込み処理を行った出力、である
請求項1記載の位置特定装置。 - 前記第一の畳み込み処理と前記第二の畳み込み処理は、学習済みのニューラルネットワークの中間層であり、
前記特徴マップ複数に含まれる特徴マップは、前記中間層の出力値である
請求項2記載の位置特定装置。 - 前記特徴マップは、前記第二の画像のうち、前記所望の被写体以外の領域よりも前記所望の被写体を含む領域に強く反応する特徴マップである
請求項3記載の位置特定装置。 - 少なくとも所望の被写体を含む画像である第一の画像から前記所望の被写体の位置を特定する位置特定方法であって、
前記第一の画像の所定の特徴を表す第一の特徴量を取得する特徴量取得ステップと、
前記所望の被写体を含む学習用画像である第二の画像から得られた前記所定の特徴を表す前記所望の被写体の第二の特徴量と、前記第二の画像の特徴を表すマップである特徴マップの集合である特徴マップ複数のうち前記所望の被写体に対応する特徴マップである特徴マップと、の対応付を用いて、前記第一の特徴量と近い前記第二の特徴量と対応する特徴マップを推定する推定ステップと、
前記第二の特徴量と対応すると推定された特徴マップと対応し前記第一の画像から得られる特徴マップを用いて前記所望の被写体の位置を特定する位置特定ステップと、
を備える、位置特定方法。 - 請求項1から4のいずれか一項に記載の位置特定装置としてコンピュータを機能させるためのコンピュータプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018038042A JP6892606B2 (ja) | 2018-03-02 | 2018-03-02 | 位置特定装置、位置特定方法及びコンピュータプログラム |
US16/976,487 US11410327B2 (en) | 2018-03-02 | 2019-02-21 | Location determination apparatus, location determination method and computer program |
PCT/JP2019/006512 WO2019167784A1 (ja) | 2018-03-02 | 2019-02-21 | 位置特定装置、位置特定方法及びコンピュータプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018038042A JP6892606B2 (ja) | 2018-03-02 | 2018-03-02 | 位置特定装置、位置特定方法及びコンピュータプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019153092A JP2019153092A (ja) | 2019-09-12 |
JP6892606B2 true JP6892606B2 (ja) | 2021-06-23 |
Family
ID=67806096
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018038042A Active JP6892606B2 (ja) | 2018-03-02 | 2018-03-02 | 位置特定装置、位置特定方法及びコンピュータプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11410327B2 (ja) |
JP (1) | JP6892606B2 (ja) |
WO (1) | WO2019167784A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6892606B2 (ja) * | 2018-03-02 | 2021-06-23 | 日本電信電話株式会社 | 位置特定装置、位置特定方法及びコンピュータプログラム |
CN113260854A (zh) * | 2018-12-25 | 2021-08-13 | 杰富意钢铁株式会社 | 学习完成模型的生成方法、学习完成模型、表面缺陷检测方法、钢材的制造方法、合格与否判定方法、等级判定方法、表面缺陷判定程序、合格与否判定程序、判定系统及钢材的制造设备 |
JP7139369B2 (ja) * | 2020-03-10 | 2022-09-20 | 三菱電機インフォメーションシステムズ株式会社 | 検出結果分析装置、検出結果分析方法及び検出結果分析プログラム |
JP7486349B2 (ja) | 2020-05-28 | 2024-05-17 | キヤノン株式会社 | ニューラルネットワーク、ニューラルネットワークの学習方法、プログラム、画像処理装置 |
CN112508027B (zh) * | 2020-11-30 | 2024-03-26 | 北京百度网讯科技有限公司 | 用于实例分割的头部模型、实例分割模型、图像分割方法及装置 |
CN116508068A (zh) * | 2020-11-30 | 2023-07-28 | 索尼半导体解决方案公司 | 学习装置、学习方法、成像装置、信号处理装置和信号处理方法 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008130903A1 (en) * | 2007-04-17 | 2008-10-30 | Mikos, Ltd. | System and method for using three dimensional infrared imaging for libraries of standardized medical imagery |
JP5706647B2 (ja) * | 2010-09-03 | 2015-04-22 | キヤノン株式会社 | 情報処理装置、およびその処理方法 |
US10417525B2 (en) * | 2014-09-22 | 2019-09-17 | Samsung Electronics Co., Ltd. | Object recognition with reduced neural network weight precision |
JP6414458B2 (ja) * | 2014-12-17 | 2018-10-31 | 株式会社デンソー | 演算処理装置 |
WO2017015947A1 (en) * | 2015-07-30 | 2017-02-02 | Xiaogang Wang | A system and a method for object tracking |
JP2017059207A (ja) * | 2015-09-18 | 2017-03-23 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 画像認識方法 |
US10296796B2 (en) * | 2016-04-06 | 2019-05-21 | Nec Corporation | Video capturing device for predicting special driving situations |
US10169647B2 (en) * | 2016-07-27 | 2019-01-01 | International Business Machines Corporation | Inferring body position in a scan |
US10019655B2 (en) * | 2016-08-31 | 2018-07-10 | Adobe Systems Incorporated | Deep-learning network architecture for object detection |
US10769411B2 (en) * | 2017-11-15 | 2020-09-08 | Qualcomm Technologies, Inc. | Pose estimation and model retrieval for objects in images |
JP2019096072A (ja) * | 2017-11-22 | 2019-06-20 | 株式会社東芝 | 物体検出装置、物体検出方法およびプログラム |
JP6892606B2 (ja) * | 2018-03-02 | 2021-06-23 | 日本電信電話株式会社 | 位置特定装置、位置特定方法及びコンピュータプログラム |
-
2018
- 2018-03-02 JP JP2018038042A patent/JP6892606B2/ja active Active
-
2019
- 2019-02-21 WO PCT/JP2019/006512 patent/WO2019167784A1/ja active Application Filing
- 2019-02-21 US US16/976,487 patent/US11410327B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20200410709A1 (en) | 2020-12-31 |
US11410327B2 (en) | 2022-08-09 |
JP2019153092A (ja) | 2019-09-12 |
WO2019167784A1 (ja) | 2019-09-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6892606B2 (ja) | 位置特定装置、位置特定方法及びコンピュータプログラム | |
CN107766894B (zh) | 基于注意力机制和深度学习的遥感图像自然语言生成方法 | |
JP6832504B2 (ja) | 物体追跡方法、物体追跡装置およびプログラム | |
CN109302410B (zh) | 一种内部用户异常行为检测方法、系统及计算机存储介质 | |
CN108564102A (zh) | 图像聚类结果评价方法和装置 | |
WO2019230666A1 (ja) | 特徴量抽出装置、方法、及びプログラム | |
CN111797078A (zh) | 数据清洗方法、模型训练方法、装置、存储介质及设备 | |
WO2021032062A1 (zh) | 图像处理模型生成方法、图像处理方法、装置及电子设备 | |
CN113628059A (zh) | 一种基于多层图注意力网络的关联用户识别方法及装置 | |
JP6107531B2 (ja) | 特徴抽出プログラム及び情報処理装置 | |
JP2010157118A (ja) | パターン識別装置及びパターン識別装置の学習方法ならびにコンピュータプログラム | |
US20150356350A1 (en) | unsupervised non-parametric multi-component image segmentation method | |
CN112115996B (zh) | 图像数据的处理方法、装置、设备及存储介质 | |
CN116563285B (zh) | 一种基于全神经网络的病灶特征识别与分割方法及系统 | |
CN109033321B (zh) | 一种图像与自然语言特征提取及基于关键词的语言指示图像分割方法 | |
CN109376736A (zh) | 一种基于深度卷积神经网络的视频小目标检测方法 | |
CN111738319B (zh) | 一种基于大规模样本的聚类结果评价方法及装置 | |
CN115994558A (zh) | 医学影像编码网络的预训练方法、装置、设备及存储介质 | |
CN111860823A (zh) | 神经网络训练、图像处理方法及装置、设备及存储介质 | |
CN117705059B (zh) | 一种自然资源遥感测绘影像定位方法及系统 | |
CN111666872B (zh) | 一种数据不平衡下的高效行为识别方法 | |
CN117671261A (zh) | 面向遥感图像的无源域噪声感知域自适应分割方法 | |
CN110929731B (zh) | 一种基于探路者智能搜索算法的医疗影像处理方法及装置 | |
CN112802034A (zh) | 图像分割、识别方法、模型构建方法、装置及电子设备 | |
CN117133007A (zh) | 一种图像分割方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200221 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210224 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210416 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210427 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210510 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6892606 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |