JP7476600B2 - 情報処理装置、及びコンピュータプログラム - Google Patents

情報処理装置、及びコンピュータプログラム Download PDF

Info

Publication number
JP7476600B2
JP7476600B2 JP2020053273A JP2020053273A JP7476600B2 JP 7476600 B2 JP7476600 B2 JP 7476600B2 JP 2020053273 A JP2020053273 A JP 2020053273A JP 2020053273 A JP2020053273 A JP 2020053273A JP 7476600 B2 JP7476600 B2 JP 7476600B2
Authority
JP
Japan
Prior art keywords
gradient
integrated feature
processing device
information processing
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020053273A
Other languages
English (en)
Other versions
JP2021152804A (ja
Inventor
佑介 山浦
幸寛 坪下
拓也 桜井
久美 藤原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2020053273A priority Critical patent/JP7476600B2/ja
Publication of JP2021152804A publication Critical patent/JP2021152804A/ja
Application granted granted Critical
Publication of JP7476600B2 publication Critical patent/JP7476600B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Description

本発明は、情報処理装置、及びコンピュータプログラムに関する。
特許文献１には、監視対象に関する複数のデータを収集する収集手段と、前記収集手段によって収集された複数のデータを入力データとして、自己符号化器を用いて、前記監視対象の状態を検出する検出手段と、前記自己符号化器に入力された各入力データと、前記自己符号化器から出力された出力データとを用いて、前記自己符号化器に入力された各入力データの出力データに対する重要度を算出する算出手段とを有することを特徴とする監視装置の技術が開示されている。
特開２０１９－１７９４００号公報
深層学習のモデルは結果に至るまでのプロセスがブラックボックスであり、入力が出力にどのように寄与しているかを把握することが、モデルの精度向上に役立つ。画像又はテキスト等の、種類の異なる複数の情報（モダリティ）を統合的に処理して判断する学習モデルを構築するマルチモーダル深層学習では、種類の異なる複数の情報をどのように組み合わせるかが精度の改善において重要である。そして、マルチモーダル深層学習においては、モデルの内部でモダリティ同士がどのように関連付いているかを把握することが、学習モデルの精度の改善につながる。
本発明は、上記の点に鑑みてなされたものであり、マルチモーダル深層学習において、モダリティの関わり合いに関する情報を導出できる情報処理装置及びコンピュータプログラムを提供することを目的とする。
本発明の第１態様に係る情報処理装置は、プロセッサを備え、前記プロセッサは、複数のニューラルネットワークモデルのそれぞれへの入力データに応じて出力される特徴量を統合して統合特徴量を生成し、前記統合特徴量の分析により得られる出力データを生成し、前記出力データから前記統合特徴量まで逆伝播させる第１の逆伝播により、前記統合特徴量の各要素について、前記統合特徴量の変化と前記出力データの変化との関係を示す第１の勾配を算出し、前記統合特徴量の各要素についての前記第１の勾配に基づき、前記統合特徴量から前記入力データのそれぞれまで逆伝播させる第２の逆伝播により、前記入力データの変化と前記出力データの変化との関係を示す第２の勾配を算出する処理を実行する。
本発明の第２態様に係る情報処理装置は、第１態様に係る情報処理装置であって、前記プロセッサは、前記統合特徴量の要素の中から前記第１の勾配に基づいて選択された要素の集合のみを用いて前記第２の逆伝播を行う。
本発明の第３態様に係る情報処理装置は、第２態様に係る情報処理装置であって、前記プロセッサは、前記第１の勾配の絶対値が最大の要素の集合のみを用いて前記第２の逆伝播を行う。
本発明の第４態様に係る情報処理装置は、第２態様に係る情報処理装置であって、前記プロセッサは、前記第１の勾配の絶対値の上位の所定の割合に属する要素の集合のみを用いて前記第２の逆伝播を行う。
本発明の第５態様に係る情報処理装置は、第１態様に係る情報処理装置であって、前記プロセッサは、前記統合特徴量の要素の中から指定された要素の集合のみを用いて前記第２の逆伝播を行う。
本発明の第６態様に係る情報処理装置は、第５態様に係る情報処理装置であって、前記プロセッサは、前記指定された要素の前記第１の勾配の合計を、前記複数のニューラルネットワークモデルの、前記出力データに対する寄与の度合いとする。
本発明の第７態様に係る情報処理装置は、第１態様に係る情報処理装置であって、前記プロセッサは、重みマップを適用して所定の重みを付与した前記第１の勾配に基づき前記第２の逆伝播を行う。
本発明の第８態様に係る情報処理装置は、第７態様に係る情報処理装置であって、前記プロセッサは、前記入力データの一部を前記複数のニューラルネットワークモデルのそれぞれに入力することで前記重みマップを生成する。
本発明の第９態様に係る情報処理装置は、第７態様又は第８態様に係る情報処理装置であって、前記プロセッサは、前記重みマップで重み付けされた前記第１の勾配の合計を、前記複数のニューラルネットワークモデルの、前記出力データに対する寄与の度合いとする。
本発明の第１０態様に係る情報処理装置は、第１態様～第９態様のいずれかに係る情報処理装置であって、前記プロセッサは、さらに、前記第２の勾配を可視化して、前記複数のニューラルネットワークモデルの、前記出力データに対する寄与の度合いを提示する。
本発明の第１１態様に係るコンピュータプログラムは、コンピュータに、複数のニューラルネットワークモデルのそれぞれへの入力データに応じて出力される特徴量を統合して統合特徴量を生成し、前記統合特徴量の分析により得られる出力データを生成し、前記出力データから前記統合特徴量まで逆伝播させる第１の逆伝播により、前記統合特徴量の各要素について、前記統合特徴量の変化と前記出力データの変化との関係を示す第１の勾配を算出し、前記統合特徴量の各要素についての前記第１の勾配に基づき、前記統合特徴量から前記入力データのそれぞれまで逆伝播させる第２の逆伝播により、前記入力データの変化と前記出力データの変化との関係を示す第２の勾配を算出する処理を実行させる。
本発明の第１態様によれば、マルチモーダル深層学習において、それぞれのニューラルネットワークに入力される入力データから得られる特徴量を統合した統合特徴量の各要素の勾配を得ることで、入力データの関わり合いが出力に与える影響に関する情報を導出できる。
本発明の第２態様によれば、統合特徴量の要素の中から第１の勾配に基づいて選択された要素の集合について、入力データの関わり合いが出力に与える影響に関する情報を導出できる。
本発明の第３態様によれば、第１の勾配の絶対値が最大の要素の集合について、入力データの関わり合いが出力に与える影響に関する情報を導出できる。
本発明の第４態様によれば、第１の勾配の絶対値の上位の所定の割合に属する要素の集合について、入力データの関わり合いが出力に与える影響に関する情報を導出できる。
本発明の第５態様によれば、統合特徴量の要素の中から指定された要素の集合について、入力データの関わり合いが出力に与える影響に関する情報を導出できる。
本発明の第６態様によれば、指定された要素の第１の勾配の合計を、出力データに対する寄与の度合いとして求めることができる。
本発明の第７態様によれば、重みマップを適用して所定の重みを付与した第１の勾配の要素について、入力データの関わり合いが出力に与える影響に関する情報を導出できる。
本発明の第８態様によれば、入力データの一部から生成した重みマップを適用し、入力データの関わり合いが出力に与える影響に関する情報を導出できる。
本発明の第９態様によれば、重みマップで重み付けされた第１の勾配の合計を、出力データに対する寄与の度合いとして求めることができる。
本発明の第１０態様によれば、出力データに対する寄与の度合いを視覚化して提示することができる。
本発明の第１１態様によれば、マルチモーダル深層学習において、それぞれのニューラルネットワークに入力される入力データから得られる特徴量を統合した統合特徴量の各要素の勾配を得ることで、入力データの関わり合いが出力に与える影響に関する情報を導出できる。
本発明によれば、マルチモーダル深層学習において、それぞれのニューラルネットワークに入力される入力データから得られる特徴量を統合した統合特徴量の各要素の勾配を得ることで、入力データの関わり合いが出力に与える影響に関する情報を導出できる情報処理装置及びコンピュータプログラムを提供することができる。
深層学習における勾配情報の例を示す図である。 マルチモーダル深層学習における勾配情報の例を示す図である。 マルチモーダル深層学習において、予測に寄与した入力を可視化する際の処理の一例を示す図である。 勾配の可視化情報の一例を示す図である。 本発明の実施の形態に係る情報処理装置のハードウェア構成を示すブロック図である。 情報処理装置の機能構成の例を示すブロック図である。 順伝播部の機能構成の例を示すブロック図である。 情報処理装置による勾配可視化処理の流れを示す図である。 情報処理装置による勾配可視化処理の第１の実施例の流れを示す図である。 情報処理装置による勾配可視化処理の第２の実施例の流れを示す図である。 情報処理装置による勾配可視化処理の第３の実施例の流れを示す図である。 要素選択部の機能構成例を示す図である。 要素選択部による重みマップ生成処理を説明する図である。
以下、本発明の実施形態の一例を、図面を参照しつつ説明する。なお、各図面において同一または等価な構成要素および部分には同一の参照符号を付与している。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。
まず、本件発明者が本発明の実施形態に至った経緯について説明する。
深層学習において、予測に寄与した入力を可視化する一般的な方法として、勾配情報を用いる方法がある。予測結果に対する入力の勾配は、値を変化させた際に結果がどれだけ変化するか、という影響度を表すと考えられる。図１は、深層学習における勾配情報の例を示す図である。例えば、ｘ１という入力データをある深層学習モデルに入力し、ｙという出力データが得られたとする。∂ｙ／∂ｘ１は、入力データのｘ１の勾配である。勾配が大きい程、入力データｘ１のわずかな変化で出力データｙが大きく変化することになる。入力データの勾配に基づいて、予測に寄与した入力を可視化することで、予測にどの程度入力が寄与しているのかを把握できる。勾配に基づく可視化手法は、深層学習モデルに画像データを入力することで、入力された画像がどのような物体なのかを認識させる画像認識処理において用いられることが多い。
上述したように、画像又はテキスト等の、種類の異なる複数のモダリティを統合的に処理して判断する学習モデルを構築するマルチモーダル深層学習では、種類の異なる複数の情報をどのように組み合わせるかが精度の改善において重要である。そして、マルチモーダル深層学習においては、モデルの内部でモダリティ同士がどのように関連付いているかを把握することが、学習モデルの精度の改善につながる。
図２は、マルチモーダル深層学習における勾配情報の例を示す図である。例えば、ｘ１、ｘ２、ｘ３という入力データをあるマルチモーダル深層学習モデルに入力し、ｙという出力データが得られたとする。∂ｙ／∂ｘ１は、入力データのｘ１の勾配である。∂ｙ／∂ｘ２は、入力データのｘ２の勾配である。∂ｙ／∂ｘ３は、入力データのｘ３の勾配である。勾配が大きい程、入力データｘ１、ｘ２、ｘ３のわずかな変化で出力データｙが大きく変化することになる。このように、マルチモーダル深層学習においても、入力データの勾配に基づいて、予測に寄与した入力を可視化することは可能である。
図３は、マルチモーダル深層学習において、予測に寄与した入力を可視化する際の処理の一例を示す図である。図３では、マルチモーダル深層学習を用いて、ＭＲＩ（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ；磁気共鳴画像法）により撮像された人間の脳のＭＲＩ画像９０１と、生体情報データ９０２と、を入力とし、出力データ９６０として病状が悪化しているかどうかの判定結果を出力する処理の流れが示されている。生体情報データ９０２には、血液検査のデータ、遺伝子情報のデータ、認知能力を示すスコアのデータ等が挙げられる。
図３の例では、ＭＲＩ画像９０１は学習モデル９１１に入力され、生体情報データ９０２は学習モデル９１２に入力される。学習モデル９１１は、例えば畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ；ＣＮＮ）である。学習モデル９１２は、例えばワードエンベディング（Ｗｏｒｄ－Ｅｍｂｅｄｄｉｎｇ）法によって言語データの特徴量を抽出する学習モデルである。
学習モデル９１１からは、特徴量９２１が出力され、学習モデル９１２からは、特徴量９２２が出力される。特徴量９２１、９２２は、例えば特徴ベクトルである。特徴量９２１、９２２は、特徴統合部９３０に入力されて統合され、統合特徴量９４０が出力される。統合特徴量９４０は、出力部９５０に入力される。出力部９５０は、例えば分類器である。出力部９５０からは、分類結果が出力データ９６０として出力される。
ＭＲＩ画像９０１及び生体情報データ９０２と、出力データ９６０との関係を把握するためには、出力データ９６０からＭＲＩ画像９０１及び生体情報データ９０２まで逆伝播させる。出力データ９６０からＭＲＩ画像９０１及び生体情報データ９０２まで逆伝播させることで、ＭＲＩ画像９０１及び生体情報データ９０２の勾配を得ることができる。そして、それぞれの勾配を可視化した勾配の可視化情報９７０を出力することで、ＭＲＩ画像９０１及び生体情報データ９０２のそれぞれのどの部分が出力データ９６０に寄与しているのかを把握することが可能となる。図４は、勾配の可視化情報の一例を示す図である。図４の例では、勾配の可視化情報９７０として、ＭＲＩ画像９０１の中で出力データ９６０に影響を与えている領域を可視化し、また生体情報データ９０２の中で出力データ９６０に影響を与えている項目を可視化したものが示されている。
マルチモーダル深層学習においても、１つの入力データを深層学習モデルに入力して１つの予測を出力する場合と同様に、入力データの勾配を求めることで、深層学習モデルが最終的な判断に至るまでに重要であった入力データが何であるかを可視化できる。しかし、マルチモーダル深層学習において、入力データの勾配を求めるだけでは、深層学習モデルの中で、どのようなモダリティ間のインタラクションが重要であったかはわからない。つまり、それぞれの入力データの勾配からでは、どの入力データがどのように関わり合ったからこのような予測が得られた、という情報までは得ることができない。すなわち、ＭＲＩ画像９０１のどの部分と生体情報データ９０２のどの部分とが、どのように関わり合ったから出力データ９６０が得られた、という情報は、入力データの勾配からは得ることができない。
そこで、本件発明者は、上述の点に鑑み、マルチモーダル深層学習において、深層学習モデルの中でのモダリティ間のインタラクションに関する情報を求め、求めた情報を可視化できる技術について鋭意検討を行った。その結果、本件発明者は、以下で説明するように、マルチモーダル深層学習において、深層学習モデルの中でのモダリティ間のインタラクションに関する情報を求め、求めた情報を可視化できる技術を考案するに至った。
続いて、本発明の実施の形態について説明する。図５は、本発明の実施の形態に係る情報処理装置１０のハードウェア構成を示すブロック図である。情報処理装置１０は、マルチモーダル深層学習において、深層学習モデルの中でのモダリティ間のインタラクションに関する情報を可視化するための装置である。
図５に示すように、情報処理装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３、ストレージ１４、入力部１５、表示部１６及び通信インタフェース（Ｉ／Ｆ）１７を有する。各構成は、バス１９を介して相互に通信可能に接続されている。
ＣＰＵ１１は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、ＣＰＵ１１は、ＲＯＭ１２またはストレージ１４からプログラムを読み出し、ＲＡＭ１３を作業領域としてプログラムを実行する。ＣＰＵ１１は、ＲＯＭ１２またはストレージ１４に記録されているプログラムにしたがって、上記各構成の制御および各種の演算処理を行う。本実施形態では、ＲＯＭ１２またはストレージ１４には、深層学習モデルの中でのモダリティ間のインタラクションに関する情報を求め、求めた情報を可視化するための情報処理プログラムが格納されている。
ＲＯＭ１２は、各種プログラムおよび各種データを格納する。ＲＡＭ１３は、作業領域として一時的にプログラムまたはデータを記憶する。ストレージ１４は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）またはフラッシュメモリ等の記憶装置により構成され、オペレーティングシステムを含む各種プログラム、および各種データを格納する。
入力部１５は、マウス等のポインティングデバイス、およびキーボードを含み、各種の入力を行うために使用される。
表示部１６は、たとえば、液晶ディスプレイであり、各種の情報を表示する。表示部１６は、タッチパネル方式を採用して、入力部１５として機能しても良い。
通信インタフェース１７は、他の機器と通信するためのインタフェースであり、たとえば、イーサネット（登録商標）、ＦＤＤＩ、Ｗｉ－Ｆｉ（登録商標）等の規格が用いられる。
上記の情報処理プログラムを実行する際に、情報処理装置１０は、上記のハードウェア資源を用いて、各種の機能を実現する。情報処理装置１０が実現する機能構成について説明する。
図６は、情報処理装置１０の機能構成の例を示すブロック図である。
図６に示すように、情報処理装置１０は、機能構成として、入力データ取得部１０１、順伝播部１０２、出力データ取得部１０３、第１逆伝播部１０４、統合特徴量勾配取得部１０５、要素選択部１０６、第２逆伝播部１０７、入力データ勾配取得部１０８、及び勾配可視化部１０９を有する。各機能構成は、ＣＰＵ１１がＲＯＭ１２またはストレージ１４に記憶された情報処理プログラムを読み出し、実行することにより実現される。
入力データ取得部１０１は、マルチモーダル深層学習モデルを構築したそれぞれのニューラルネットワークに入力される入力データを取得する。ニューラルネットワークに入力される入力データには、例えば画像データ、文字データ、生体情報データ等がある。生体情報データには、血液検査のデータ、遺伝子情報のデータ、認知能力を示すスコアのデータ等が挙げられる。入力データ取得部１０１は、取得した入力データを順伝播部１０２に渡す。
順伝播部１０２は、入力データから出力データまでデータを順に伝播させる。具体的には、順伝播部１０２は、入力データ取得部１０１から渡された入力データを各ニューラルネットワークに入力し、各ニューラルネットワークから出力される特徴量を統合して統合特徴量を生成する。そして順伝播部１０２は、生成した統合特徴量から、マルチモーダル深層学習モデルを構築したそれぞれのニューラルネットワークによる予測（回答）結果を出力データとして出力する。
図７は、順伝播部１０２の機能構成の例を示すブロック図である。
図７に示すように、順伝播部１０２は、特徴抽出部１１１Ａ、１１１Ｂ、・・・、１１１Ｎと、特徴統合部１１２と、出力部１１３と、を有する。
特徴抽出部１１１Ａ、１１１Ｂ、・・・、１１１Ｎは、それぞれ、マルチモーダル深層学習モデルを構築したそれぞれのニューラルネットワークに相当する。特徴抽出部１１１Ａ、１１１Ｂ、・・・、１１１Ｎは、入力データ取得部１０１から渡された入力データを入力し、図示しない学習済みモデルに基づいて、入力データから特徴量を抽出する。特徴量は、例えば特徴ベクトルとして抽出される。
例えば、画像データの特徴量を抽出する場合は、画像データに対して、予め定めたフィルタを走査することにより特徴を示す情報に凝縮する畳み込みニューラルネットワーク（ＣＮＮ）を用いる手法が挙げられる。なお、畳み込みニューラルネットワーク自体は公知であるため詳細な説明を省略する。
また例えば、言語データの特徴量を抽出する場合は、形態素解析などにより言語データを単語に分解し、分解された各単語をベクトル表現にしたのち、分散表現に変換し、変換されたデータを用いて特徴抽出を行う手法が挙げられる。単語の分散表現への変換手法としては、単語の意味又は文法を捉えるようにベクトル空間に写像すること（又は実現モデル）を表現するワードエンベディング（Ｗｏｒｄ－Ｅｍｂｅｄｄｉｎｇ）法が挙げられる。特徴抽出の一例には、リカレントニューラルネットワーク（ＲＮＮ：Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いる手法が挙げられる。ワードエンベディング法、及びリカレントニューラルネットワーク自体は公知であるため詳細な説明を省略する。
特徴統合部１１２は、特徴抽出部１１１Ａ、１１１Ｂ、・・・、１１１Ｎが抽出した特徴量を統合して１つの統合特徴量を生成する。特徴統合部１１２は、複数の特徴量を、例えば要素和、要素積、Ｂｉｌｉｎｅａｒ結合等により統合することで統合特徴量を生成する。
出力部１１３は、特徴統合部１１２が出力した統合特徴量を入力し、所定の学習済みモデルに基づき、予測（回答）結果を出力する。統合特徴量から予測（回答）結果を出力する際には、例えば、多層のニューラルネットワークが用いられる。なお、多層のニューラルネットワーク（ＮＮ）自体は公知であるため、詳細な説明を省略する。
出力データ取得部１０３は、順伝播部１０２が出力する出力データを取得する。出力データ取得部１０３は、取得した出力データを第１逆伝播部１０４に渡す。
第１逆伝播部１０４は、出力データ取得部１０３から渡された出力データを用いて、例えば誤差逆伝播法を用いて、統合特徴量を得るために逆伝播を行う。
統合特徴量勾配取得部１０５は、第１逆伝播部１０４による逆伝播で得られる統合特徴量の各要素について、統合特徴量の変化と出力データの変化との関係を示す第１の勾配を算出する。
要素選択部１０６は、統合特徴量勾配取得部１０５が算出した第１の勾配に基づいて、統合特徴量の要素を選択する。例えば、要素選択部１０６は、第１の勾配の絶対値が最大の要素を選択してもよく、第１の勾配の絶対値の上位の所定の割合に属する要素を選択してもよい。また要素選択部１０６は、ユーザによって指定された要素を選択してもよい。また要素選択部１０６は、統合特徴量勾配取得部１０５が算出した第１の勾配に対する演算処理を行ってもよい。例えば、要素選択部１０６は、統合特徴量勾配取得部１０５が算出した第１の勾配に対して、予め生成したマスクによるマスキング処理を行ってもよい。
第２逆伝播部１０７は、統合特徴量を用いて、例えば誤差逆伝播法を用いて、それぞれの入力データを得るために逆伝播を行う。第２逆伝播部１０７は、要素選択部１０６が選択した統合特徴量の要素、又は要素選択部１０６が演算した統合特徴量の要素について逆伝播を行う。第２逆伝播部１０７は、要素選択部１０６が選択した統合特徴量の要素、又は要素選択部１０６が演算した統合特徴量の要素について逆伝播を行うことで、その要素に対応する入力データを得ることができる。
入力データ勾配取得部１０８は、第２逆伝播部１０７により得られた、各ニューラルネットワークへの入力データから算出された入力データの勾配を取得する。入力データの勾配は、入力データの変化に対する出力データの変化の関係を示す第２の勾配である。ここで、入力データ勾配取得部１０８が取得する勾配は、要素選択部１０６が選択した統合特徴量の要素、又は要素選択部１０６が演算した統合特徴量の要素に対応する入力データの勾配である。
勾配可視化部１０９は、入力データ勾配取得部１０８が取得した入力データの勾配を可視化して出力する。具体的には後述するが、勾配可視化部１０９は、入力データが画像データであれば、例えば、画像データに色を付ける等で入力データの勾配を可視化し、入力データが生体情報データであれば、例えば、グラフによって入力データの勾配を可視化する。勾配可視化部１０９は、例えば図４に示したような勾配の可視化情報を生成してもよい。
本発明の実施の形態に係る情報処理装置１０は、係る構成を有することで、マルチモーダル深層学習において、深層学習モデルの中でのモダリティ間のインタラクションに関する情報を可視化することができる。
次に、情報処理装置１０の動作例について説明する。
図８は、情報処理装置１０による勾配可視化処理の流れを示す図である。ＣＰＵ１１がＲＯＭ１２又はストレージ１４から情報処理プログラムを読み出して、ＲＡＭ１３に展開して実行することにより、勾配可視化処理が行なわれる。
図８の例では、ＭＲＩにより撮像された人間の脳のＭＲＩ画像２０１と、生体情報データ２０２と、を入力とし、出力データ２３０として病状が悪化しているかどうかの判定結果を出力する処理の流れが示されている。生体情報データ２０２には、例えば血液検査のデータ、遺伝子情報のデータ、認知能力を示すスコアのデータ等が挙げられる。
ＭＲＩ画像２０１及び生体情報データ２０２が順伝播部１０２に入力されると、順伝播部１０２は出力データ２３０を出力する。順伝播部１０２において、ＭＲＩ画像２０１は特徴抽出部１１１Ａに入力されて特徴量２１１を出力し、生体情報データ２０２は特徴抽出部１１１Ｂに入力されて特徴量２１２を出力する。特徴抽出部１１１Ａは、例えば畳み込みニューラルネットワークによって画像データの特徴量を抽出する学習モデルである。特徴抽出部１１１Ｂは、例えばワードエンベディング法によって言語データの特徴量を抽出する学習モデルである。
特徴統合部１１２は、特徴量２１１、２１２を入力として、統合特徴量２２０を出力する。特徴統合部１１２は、特徴量２１１、２１２を、例えば要素和、要素積、Ｂｉｌｉｎｅａｒ結合等により統合することで統合特徴量２２０を生成する。
出力部１１３は、統合特徴量２２０を入力として、所定の学習済みモデルに基づき、予測（回答）結果として出力データ２３０を出力する。例えば、出力部１１３は、統合特徴量２２０から、症状が悪化しているかどうか、又は変化していないかどうかを判定し、出力データ２３０として出力する。
情報処理装置１０は、順伝播部１０２が出力した出力データ２３０を、第１逆伝播部１０４によって、統合特徴量を得るために逆伝播を行う。そして、情報処理装置１０は、統合特徴量勾配取得部１０５によって、統合特徴量の各要素について、統合特徴量の変化と出力データの変化との関係を示す統合特徴量の勾配２４０を算出する。
情報処理装置１０は、統合特徴量の勾配２４０を算出すると、第２逆伝播部１０７によって、統合特徴量を用いて、例えば誤差逆伝播法を用いて、順伝播部１０２に入力される入力データを得るために逆伝播を行う。情報処理装置１０は、入力データを得るために逆伝播を行う際に、統合特徴量の勾配２４０を参照し、統合特徴量の一部の要素について逆伝播を行う。そして、情報処理装置１０は、入力データについて、入力データの変化と出力データの変化との関係を示す入力データの勾配２５０を算出し、入力データの勾配２５０を算出すると、入力データの勾配の可視化情報２６０を生成する。
本発明の実施の形態に係る情報処理装置１０は、上述のような動作を実行することで、マルチモーダル深層学習において、深層学習モデルの中でのモダリティ間のインタラクションに関する情報を可視化することができる。
続いて、本発明の実施の形態の具体的な実施例について説明する。
図９は、情報処理装置１０による勾配可視化処理の第１の実施例の流れを示す図である。
図９に示した第１の実施例においては、特徴抽出部１１１Ａ、１１１Ｂは、２次元の特徴を抽出している。そして、特徴統合部１１２は、特徴量２１１、２１２を、Ｂｉｌｉｎｅａｒ結合等により統合することで統合特徴量２２０を生成している。Ｂｉｌｉｎｅａｒ結合は、特徴ベクトル間の全ての要素の組み合わせの積を計算する方法であり、通常のネットワーク構造では現れない２次の項を考慮できるため高精度であることが知られている。
情報処理装置１０は、第１逆伝播部１０４によって、出力データ２３０から統合特徴量を得て、統合特徴量勾配取得部１０５によって、統合特徴量の各要素について、統合特徴量の変化と出力データの変化との関係を示す統合特徴量の勾配２４０を算出する。そして情報処理装置１０は、第２逆伝播部１０７によって、勾配値に基づいて選択した要素の集合２４２について、順伝播部１０２に入力される入力データを得るために逆伝播を行う。この第１の実施例では、第２逆伝播部１０７は、例えば勾配の絶対値が最大の要素、又は勾配の絶対値の上位の所定の割合の要素の集合２４２について逆伝播を行う。
そして、情報処理装置１０は、逆伝播によって得られる入力データの勾配２５０を算出し、入力データの勾配２５０を算出すると、入力データの勾配の可視化情報２６０を生成する。この入力データの勾配２５０は、選択された要素の集合２４２に対応する勾配である。そして、勾配の可視化情報２６０は、選択された要素の集合２４２に対応する勾配を可視化したものである。
統合特徴量２２０において勾配が大きい要素は、入力データ同士の組み合わせにおいて、出力データに対する重要度が大きい要素であるといえる。従って、情報処理装置１０は、入力データ同士の組み合わせにおいて重要度が大きい要素が、それぞれの入力データのどの要素に対応しているかを可視化することで、組み合わせにより重要度が大きくなる要素を提示することができる。
図１０は、情報処理装置１０による勾配可視化処理の第２の実施例の流れを示す図である。
図１０に示した第２の実施例においては、特徴抽出部１１１Ａ、１１１Ｂは、３次元の特徴を抽出している。特徴抽出部１１１Ａは、所定の領域に区切ったＭＲＩ画像２０１の各領域について特徴量２１１を抽出する。特徴抽出部１１１Ｂは、生体情報データ２０２の各属性について特徴量２１２を抽出する。特徴統合部１１２は、特徴量２１１、２１２を統合することで統合特徴量２２０を生成している。
図１０に示した第２の実施例においても、第１の実施例と同様に、情報処理装置１０は、統合特徴量の変化と出力データの変化との関係を示す統合特徴量の勾配２４０を算出する。そしてこの第２の実施例では、情報処理装置１０は、ユーザが選択した統合特徴量の要素について第２の逆伝播を行う。情報処理装置１０は、ユーザが選択した統合特徴量の要素の第１の勾配の合計を、出力データ２３０に対する寄与の度合いとして求めてもよい。ユーザが選択した要素について第２の逆伝播を行うことで、情報処理装置１０は、ユーザが選択した統合特徴量の要素は、出力データ２３０にどれだけ影響を与えているかを提示することができる。
図１１は、情報処理装置１０による勾配可視化処理の第３の実施例の流れを示す図である。
図１１に示した第３の実施例においては、第１の実施例と同様に、特徴抽出部１１１Ａ、１１１Ｂは、２次元の特徴を抽出している。そして、特徴統合部１１２は、特徴量２１１、２１２を、Ｂｉｌｉｎｅａｒ結合等により統合することで統合特徴量２２０を生成している。
そして、図１１に示した第３の実施例においては、情報処理装置１０は、算出した統合特徴量の勾配２４０に対して、予め用意した重みマップ２４４によって重み付けを実行する。重みマップ２４４は、予めマスキングされたＭＲＩ画像２０１及び生体情報データ２０２から抽出された特徴量が統合されて、０から１の連続値に重みが正規化されたマップである。情報処理装置１０は、重みマップ２４４で重み付けした後の統合特徴量の要素の第１の勾配の合計を、出力データ２３０に対する寄与の度合いとして求めてもよい。そして、情報処理装置１０は、重みマップ２４４で重み付けした後の統合特徴量の要素について第２の逆伝播を行う。
図１２は、情報処理装置１０の要素選択部１０６の機能構成例を示す図である。図１２に示すように、要素選択部１０６は、マスク生成部１２１、マスク適用部１２２、入力取得部１２３、順伝播部１２４、特徴取得部１２５、重みマップ作成部１２６、重みマップ記憶部１２７、及び重み付き勾配計算部１２８を含む。また、図１３は、要素選択部１０６による重みマップ生成処理を説明する図である。
マスク生成部１２１は、入力データ、例えばＭＲＩ画像２０１及び生体情報データ２０２に対するマスクを、ユーザからの指示に応じて生成する。
マスク適用部１２２は、入力データ、例えばＭＲＩ画像２０１及び生体情報データ２０２に対して、マスク生成部１２１が生成したマスクを適用する。図１３の符号２５１は、ＭＲＩ画像２０１に対してマスクが適用された画像データを示す。図１３には、ＭＲＩ画像２０１の右側の領域以外をマスクした例が示されている。また図１３の符号２５２は、生体情報データ２０２に対してマスクが適用された生体情報データを示す。図１３には、生体情報データ２０２の血液検査データ以外をマスクした例が示されている。
入力取得部１２３は、マスク適用部１２２がマスクを適用した入力データを取得する。入力取得部１２３は、取得した入力データを順伝播部１２４に渡す。
順伝播部１２４は、入力取得部１２３から渡された入力データを、順伝播部１０２と同じ各ニューラルネットワークに入力し、各ニューラルネットワークからの特徴量を出力する。
特徴取得部１２５は、順伝播部１２４が出力する各ニューラルネットワークからの特徴量を取得する。特徴取得部１２５が、取得した特徴量を重みマップ作成部１２６に渡す。
図１３には、特徴抽出部１１１Ａから特徴量２６１が、特徴抽出部１１１Ｂからは特徴量２６２が、それぞれ抽出されている例が示されている。
重みマップ作成部１２６は、特徴取得部１２５から渡された、各ニューラルネットワークからの特徴量に基づいて重みマップを作成する。重みマップ作成部１２６は、重みマップを作成するにあたり、上述したように０から１の連続値に重みを正規化する。
図１３には、特徴量２６１、２６２から作成された重みマップ２４４が示されている。
重みマップ記憶部１２７は、重みマップ作成部１２６が作成した重みマップを記憶する。重みマップ記憶部１２７は、順伝播部１０２で用いられるマルチモーダル深層学習の各ニューラルネットワークに対応するように重みマップを内部で記憶している。
重み付き勾配計算部１２８は、重みマップ記憶部１２７に記憶されている重みマップを読み出し、読み出した重みマップを統合特徴量の勾配２４０に適用する。
情報処理装置１０は、図１２に示したような構成を有する要素選択部１０６を備えることで、統合特徴量の勾配２４０に重みを適用することができる。そして、情報処理装置１０は、重みマップ２４４で重み付けされた統合特徴量について逆伝播を行うことで、予めマスキングしたＭＲＩ画像２０１及び生体情報データ２０２の部分について、勾配を可視化して提示することができる。
以上説明したように、本発明の実施の形態に係る情報処理装置１０によれば、出力データから統合特徴量まで逆伝播させて、統合特徴量の各要素の勾配を求め、さらに統合特徴量から入力データまで逆伝播させて、勾配を算出する。このように、統合特徴量の各要素の勾配を求めてから、入力データの勾配を求めることで、情報処理装置１０は、入力データ間のインタラクションに関する情報を可視化することができる。
なお、上記各実施形態でＣＰＵがソフトウェア（プログラム）を読み込んで実行した勾配可視化処理を、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の製造後に回路構成を変更可能なＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、及びＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、勾配可視化処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
また、上記各実施形態では、勾配可視化処理のプログラムがＲＯＭまたはストレージに予め記憶（インストール）されている態様を説明したが、これに限定されない。プログラムは、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ－ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及びＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ等の非一時的（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）記録媒体に記録された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
また上記各実施形態におけるプロセッサの動作は、１つのプロセッサによって成すのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。また、プロセッサの各動作の順序は上記各実施形態において記載した順序のみに限定されるものではなく、適宜変更してもよい。
１０ 情報処理装置
２０１ ＭＲＩ画像
２０２ 生体情報データ
２３０ 出力データ

Claims (11)

  1. プロセッサを備え、
    前記プロセッサは、
    複数のニューラルネットワークモデルのそれぞれへの入力データに応じて出力される特徴量を統合して統合特徴量を生成し、
    前記統合特徴量の分析により得られる出力データを生成し、
    前記出力データから前記統合特徴量まで逆伝播させる第１の逆伝播により、前記統合特徴量の各要素について、前記統合特徴量の変化と前記出力データの変化との関係を示す第１の勾配を算出し、
    前記統合特徴量の各要素についての前記第１の勾配に基づき、前記統合特徴量から前記入力データのそれぞれまで逆伝播させる第２の逆伝播により、前記入力データの変化と前記出力データの変化との関係を示す第２の勾配を算出する
    処理を実行する、情報処理装置。
  2. 前記プロセッサは、前記統合特徴量の要素の中から前記第１の勾配に基づいて選択された要素の集合のみを用いて前記第２の逆伝播を行う、請求項１に記載の情報処理装置。
  3. 前記プロセッサは、前記第１の勾配の絶対値が最大の要素の集合のみを用いて前記第２の逆伝播を行う、請求項２に記載の情報処理装置。
  4. 前記プロセッサは、前記第１の勾配の絶対値の上位の所定の割合に属する要素の集合のみを用いて前記第２の逆伝播を行う、請求項２に記載の情報処理装置。
  5. 前記プロセッサは、前記統合特徴量の要素の中から指定された要素の集合のみを用いて前記第２の逆伝播を行う、請求項１に記載の情報処理装置。
  6. 前記プロセッサは、前記指定された要素の前記第１の勾配の合計を、前記複数のニューラルネットワークモデルの、前記出力データに対する寄与の度合いとする、請求項５に記載の情報処理装置。
  7. 前記プロセッサは、重みマップを適用して所定の重みを付与した前記第１の勾配に基づき前記第２の逆伝播を行う、請求項１に記載の情報処理装置。
  8. 前記プロセッサは、前記入力データの一部を前記複数のニューラルネットワークモデルのそれぞれに入力することで前記重みマップを生成する、請求項７に記載の情報処理装置。
  9. 前記プロセッサは、前記重みマップで重み付けされた前記第１の勾配の合計を、前記複数のニューラルネットワークモデルの、前記出力データに対する寄与の度合いとする、請求項７又は８に記載の情報処理装置。
  10. 前記プロセッサは、さらに、前記第２の勾配を可視化して、前記複数のニューラルネットワークモデルの、前記出力データに対する寄与の度合いを提示する、請求項１～９のいずれか１項に記載の情報処理装置。
  11. コンピュータに、
    複数のニューラルネットワークモデルのそれぞれへの入力データに応じて出力される特徴量を統合して統合特徴量を生成し、
    前記統合特徴量の分析により得られる出力データを生成し、
    前記出力データから前記統合特徴量まで逆伝播させる第１の逆伝播により、前記統合特徴量の各要素について、前記統合特徴量の変化と前記出力データの変化との関係を示す第１の勾配を算出し、
    前記統合特徴量の各要素についての前記第１の勾配に基づき、前記統合特徴量から前記入力データのそれぞれまで逆伝播させる第２の逆伝播により、前記入力データの変化と前記出力データの変化との関係を示す第２の勾配を算出する
    処理を実行させる、コンピュータプログラム。
JP2020053273A 2020-03-24 2020-03-24 情報処理装置、及びコンピュータプログラム Active JP7476600B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020053273A JP7476600B2 (ja) 2020-03-24 2020-03-24 情報処理装置、及びコンピュータプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020053273A JP7476600B2 (ja) 2020-03-24 2020-03-24 情報処理装置、及びコンピュータプログラム

Publications (2)

Publication Number Publication Date
JP2021152804A JP2021152804A (ja) 2021-09-30
JP7476600B2 true JP7476600B2 (ja) 2024-05-01

Family

ID=77886583

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020053273A Active JP7476600B2 (ja) 2020-03-24 2020-03-24 情報処理装置、及びコンピュータプログラム

Country Status (1)

Country Link
JP (1) JP7476600B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117022032B (zh) * 2023-10-10 2023-12-29 深圳市瑞凯诺科技有限公司 基于显示屏的新能源汽车取电方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190130275A1 (en) 2017-10-26 2019-05-02 Magic Leap, Inc. Gradient normalization systems and methods for adaptive loss balancing in deep multitask networks
CN109978882A (zh) 2019-04-09 2019-07-05 中康龙马(北京)医疗健康科技有限公司 一种基于多模态融合的医疗影像目标检测方法
JP2019125240A (ja) 2018-01-18 2019-07-25 株式会社日立製作所 分析装置および分析方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190130275A1 (en) 2017-10-26 2019-05-02 Magic Leap, Inc. Gradient normalization systems and methods for adaptive loss balancing in deep multitask networks
JP2019125240A (ja) 2018-01-18 2019-07-25 株式会社日立製作所 分析装置および分析方法
CN109978882A (zh) 2019-04-09 2019-07-05 中康龙马(北京)医疗健康科技有限公司 一种基于多模态融合的医疗影像目标检测方法

Also Published As

Publication number Publication date
JP2021152804A (ja) 2021-09-30

Similar Documents

Publication Publication Date Title
Nawaz et al. A deep feature-based real-time system for Alzheimer disease stage detection
Samek et al. Explaining deep neural networks and beyond: A review of methods and applications
Li et al. Improving semantic segmentation via decoupled body and edge supervision
Ma et al. Hand joints-based gesture recognition for noisy dataset using nested interval unscented Kalman filter with LSTM network
Dhanachandra et al. Image segmentation using K-means clustering algorithm and subtractive clustering algorithm
CN110097130A (zh) 分类任务模型的训练方法、装置、设备及存储介质
CN106408610A (zh) 用边缘空间深度神经网络进行解剖对象检测的方法和系统
Yue et al. Hierarchical feature extraction for early Alzheimer’s disease diagnosis
Geng et al. Gated path selection network for semantic segmentation
Wong et al. Segmentation of additive manufacturing defects using U-net
Liu et al. Automatic detection and segmentation of mitochondria from SEM images using deep neural network
JP7476600B2 (ja) 情報処理装置、及びコンピュータプログラム
Sreela et al. Action recognition in still images using residual neural network features
JP2019105871A (ja) 異常候補抽出プログラム、異常候補抽出方法および異常候補抽出装置
Nielsen et al. EvalAttAI: a holistic approach to evaluating attribution maps in robust and non-robust models
Kuş et al. Evolutionary Architecture Optimization for Retinal Vessel Segmentation
Zourhri et al. Deep learning technique for Classification of breast cancer using ultrasound images
Gurevich et al. Descriptive image analysis: Part II. Descriptive image models
JP4397264B2 (ja) 技術文献の市場性分析システム及び市場性分析プログラム
Mukhopadhyay et al. LPiTrack: Eye movement pattern recognition algorithm and application to biometric identification
Miotto et al. Flow imaging as an alternative to non-intrusive measurements and surrogate models through vision transformers and convolutional neural networks
Karakose et al. Image processing-based center calculation method for general and interval type-2 Fuzzy systems
WO2022113274A1 (ja) 時系列データ分析装置、時系列データ分析方法、及び時系列データ分析プログラム
Keçeli et al. A GPU-Based approach for automatic segmentation of white matter lesions
Miró-Nicolau et al. Assessing Fidelity in XAI post-hoc techniques: A Comparative Study with Ground Truth Explanations Datasets

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230228

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240219

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240319

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240401

R150 Certificate of patent or registration of utility model

Ref document number: 7476600

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150