JP6979664B2

JP6979664B2 - 仮想３次元深層ニューラルネットワークを利用する画像解析装置及び方法

Info

Publication number: JP6979664B2
Application number: JP2019552542A
Authority: JP
Inventors: キム，ドンミン; ベク，ジョンファン; ジェリ，ミョン; ソン，ジス; ウクカン，シン; テキム，ウォン; キム，ドン−オグ
Original assignee: ジェイエルケイインスペクション
Priority date: 2017-03-24
Filing date: 2018-03-23
Publication date: 2021-12-15
Anticipated expiration: 2038-03-23
Also published as: US10970520B1; WO2018174623A1; EP3605472A1; KR102061408B1; EP3605472A4; KR20180108501A; US20210103716A1; CN110574077B; CN110574077A; JP2020513124A

Description

本発明は、画像再構成を用いた画像解析技術に関し、より詳細には、仮想３次元深層ニューラルネットワークを利用する画像解析装置及び方法に関する。

人工ニューラルネットワーク（ａｒｔｉｆｉｃｉａｌｎｅｕｒａｌｎｅｔｗｏｒｋ、ＡＮＮ）は、機械学習（ｍａｃｈｉｎｅｌｅａｒｎｉｎｇ）を実現する技法の一つである。

一般に、人工ニューラルネットワークは、入力層（ｉｎｐｕｔｌａｙｅｒ）、隠れ層（ｈｉｄｄｅｎｌａｙｅｒ）及び出力層（ｏｕｔｐｕｔｌａｙｅｒ）で構成されている。各層は、ニューロン（ｎｅｕｒｏｎ）で構成されており、各層のニューロンは、以前層のニューロンの出力に接続されている。以前層のニューロンの各出力値とそれに相応する接続重み（ｗｅｉｇｈｔ）を内積（ｉｎｎｅｒｐｒｏｄｕｃｔ）した値にバイアス（ｂｉａｓ）を加えた値を、一般的に非線形（ｎｏｎ−ｌｉｎｅａｒ）である活性化関数（ａｃｔｉｖａｔｉｏｎｆｕｎｃｔｉｏｎ）に入れ、その出力値を次の段階層のニューロンへ伝達する。

従来の機械学習手法は、入力データからヒトにより設計された特徴抽出（ｆｅａｔｕｒｅｅｘｔｒａｃｔｉｏｎ）過程を介して得た情報から分類器（ｃｌａｓｓｉｆｉｅｒ）を学習するのに対し、人工ニューラルネットワークは、特徴抽出と分類器を最初から最後まで学習（エンドツーエンド学習（ｅｎｄ−ｔｏ−ｅｎｄｌｅａｒｎｉｎｇ））することが特徴である。

畳み込みニューラルネットワーク（ｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋ、ＣＮＮ）は、画像認識分野で従来の機械学習手法の性能を圧倒し、大きく注目されている。畳み込みニューラルネットワークの構造は、一般的な人工ニューラルネットワークの構造とほぼ同一であるが、追加の構成要素としては、畳み込み層（ｃｏｎｖｏｌｕｔｉｏｎａｌｌａｙｅｒ）とプーリング層（ｐｏｏｌｉｎｇｌａｙｅｒ）がある。

一般的な畳み込みニューラルネットワークの構造は、畳み込み層とプーリング層が交互に配置され、二・三個程度の完全接続層（ｆｕｌｌｙ−ｃｏｎｎｅｃｔｅｄｌａｙｅｒ）を経て最終的に出力層がくる。畳み込み層のニューロンは、以前層のすべてのニューロンに完全接続（ｆｕｌｌｙ−ｃｏｎｎｅｃｔｅｄ）される人工ニューラルネットワークとは異なり、以前層の小さな地域にのみ接続（ｌｏｃａｌｃｏｎｎｅｃｔｉｖｉｔｙ）されている。

また、特徴マップ（ｆｅａｔｕｒｅｍａｐ）と同じスライス（ｓｌｉｃｅ）に属するニューロンは、同一の値（パラメータ共有（ｐａｒａｍｅｔｅｒｓｈａｒｉｎｇ））の重みとバイアスを有する。このように行われる演算が畳み込みであり、適用される重みの集合をフィルタ（ｆｉｌｔｅｒ）またはカーネル（ｋｅｒｎｅｌ）と呼ぶ。畳み込みニューラルネットワークは、画像での特徴を効果的に抽出することができ、パラメータの数を減らして過適合（ｏｖｅｒｆｉｔｔｉｎｇ）を防止し、一般化（ｇｅｎｅｒａｌｉｚａｔｉｏｎ）性能を向上させることができる。

プーリング層は、畳み込み層同士の間に位置し、特徴マップ（ｆｅａｔｕｒｅｍａｐ）の空間的（ｓｐａｔｉａｌ）サイズを低減する役割を果たす。このような過程も、パラメータの数を減らして過適合を防止する役割を果たす。最もよく使われる形式は、２×２のフィルタを２の間隔で適用させる最大プーリング（ｍａｘ−ｐｏｏｌｉｎｇ）方法である。この過程は、特徴マップのサイズを幅、高さ方向に対してそれぞれ半分ずつ減少させる。

一方、従来技術としては、ビジュアルコンテンツベースの画像認識のためのディープラーニングフレームワーク及び画像認識方法に関する韓国公開特許第１０−２０１６−０１２２４５２号公報（２０１６年１０月２４日公開）がある。しかし、上記の技術は、基本的なディープラーニングモデルを適用するフレームワークを提供するもので、特定の構造のモデルを構成するのとは多少距離がある。

韓国公開特許第１０−２０１６−０１２２４５２号公報

上述した従来技術の問題点を解決するための本発明の目的は、２次元画像を３次元空間で３次元データに再構成し、再構成した３次元データを回転させて他の３次元データを生成し、生成された複数の３次元データのそれぞれに２次元畳み込みニューラルネットワークを適用して合わせることにより、深層ニューラルネットワークで容易に３次元画像データを解析することができる画像解析装置及び方法を提供することにある。

上記の技術的課題を解決するための本発明のある観点による仮想３次元深層ニューラルネットワークを利用する画像解析装置は、複数の２次元画像データを所定の順に積む画像取得部と、前記画像取得部からの積んだ形態の複数の２次元画像データに対する互いに異なる形態の複数の情報に基づいて複数の３次元データを生成する３次元画像生成部と、前記３次元画像生成部からの複数の３次元データに対して２次元畳み込みニューラルネットワークを適用し、前記複数の３次元データに対する２次元畳み込みニューラルネットワークの適用結果を合わせるディープラーニングアルゴリズム解析部と、を含む。

一実施形態において、前記３次元画像生成部は、前記複数の３次元データを生成する前に、前記複数の２次元画像データのそれぞれに対してゼロ平均（ｚｅｒｏ−ｍｅａｎ）または単位分散（ｕｎｉｔ−ｖａｒｉａｎｃｅ）演算を行うことができる。

一実施形態において、前記互いに異なる形態の複数の情報は、前記積んだ２次元画像データの時間または位置による動きまたは模様の変化に対応するパターンを認識したことを含むことができる。

一実施形態において、前記ディープラーニングアルゴリズム解析部は、前記複数の３次元データに対する前記２次元畳み込みニューラルネットワークの適用結果を畳み込み層（ｃｏｎｖｏｌｕｔｉｏｎａｌｌａｙｅｒ）、完全接続層（ｆｕｌｌｙ−ｃｏｎｎｅｃｔｅｄｌａｙｅｒ）、出力層（ｏｕｔｐｕｔｌａｙｅｒ）、及び最終結果の平均を出す判定レベル融合（ｄｅｃｉｓｉｏｎｌｅｖｅｌｆｕｓｉｏｎ）のうちのいずれかで合わせることができる。

上記の技術的課題を解決するための本発明の他の観点による仮想３次元深層ニューラルネットワークを利用する画像解析方法は、画像取得部で、複数の２次元画像データを所定の順に積むステップと、３次元画像生成部で、積んだ形態の前記複数の２次元画像データに対する互いに異なる形態の複数の情報に基づいて複数の３次元データを生成するステップと、ディープラーニングアルゴリズム解析部で、前記複数の３次元データのそれぞれに対して２次元畳み込みニューラルネットワークを適用し、前記複数の３次元データに対する２次元畳み込みニューラルネットワークの適用結果を合わせるステップと、を含む。

一実施形態において、前記生成するステップは、前記複数の３次元データを生成する前に、前記複数の２次元画像データのそれぞれに対してゼロ平均（ｚｅｒｏ−ｍｅａｎ）または単位分散（ｕｎｉｔ−ｖａｒｉａｎｃｅ）演算を行うことができる。

一実施形態において、前記合わせるステップは、前記複数の３次元データに対する前記２次元畳み込みニューラルネットワークの適用結果を畳み込み層（ｃｏｎｖｏｌｕｔｉｏｎａｌｌａｙｅｒ）、完全接続層（ｆｕｌｌｙ−ｃｏｎｎｅｃｔｅｄｌａｙｅｒ）、出力層（ｏｕｔｐｕｔｌａｙｅｒ）、及び最終結果の平均を出す判定レベル融合（ｄｅｃｉｓｉｏｎｌｅｖｅｌｆｕｓｉｏｎ）のうちのいずれかで合わせることができる。

上記の技術的課題を解決するための本発明の別の観点による仮想３次元深層ニューラルネットワークを利用する画像解析装置は、２次元画像を撮影位置または時間順に積む画像取得部と、前記画像取得部から伝達された２次元画像で第１の３次元画像データを生成し、前記第１の３次元画像データから、前記撮影位置または時間を示す軸が残りの２つの軸のいずれかに一致するように回転させた第２の３次元画像データを生成する３次元画像生成部と、前記３次元画像生成部から伝達された複数の３次元データのそれぞれに対して２次元畳み込みニューラルネットワークを適用し、各３次元データに対する適用結果を合わせるディープラーニングアルゴリズム解析部と、を含む。

一実施形態において、前記３次元画像生成部は、前記２次元画像のフレーム間の差異またはオプティカルフローを介して得られた前記２次元画像を回転させて得た他の２次元画像に基づいて、追加の３次元データを生成することができる。

上記の技術的課題を解決するための本発明の別の観点による仮想３次元深層ニューラルネットワークを利用する画像解析方法、画像取得部から２次元画像を撮影位置または時間順に積むステップと、３次元画像生成部で前記画像取得部からの２次元画像で第１の３次元画像データを生成し、前記第１の３次元画像データから、前記撮影位置または時間を示す軸が残りの２つの軸のいずれかに一致するように回転させた第２の３次元画像データを生成するステップと、ディープラーニングアルゴリズム解析部で、前記３次元画像生成部からの複数の３次元データのそれぞれに対して２次元畳み込みニューラルネットワークを適用し、各３次元データに対する適用結果を合わせるステップと、を含む。

一実施形態において、前記生成するステップは、前記２次元画像のフレーム間の差異またはオプティカルフローを介して得られた前記２次元画像を回転させて得た他の２次元画像に基づいて、追加の３次元データを生成することができる。

本発明によれば、一般的な３次元畳み込みニューラルネットワーク方法に比べてさらに少ないパラメータを持つ２次元畳み込みニューラルネットワークを利用して３次元データをさらに効率よく学習し、画像解析することができるという利点がある。

また、本発明によれば、パラメータの数が非常に多いためメモリを多く占め、学習するときに長い時間がかかり、学習されたモデルを使用するときに計算時間が長い３次元畳み込みニューラルネットワークモデルの問題点を解決することができるとともに、３次元画像データに対して効率の良い学習と画像解析を行うことができる新しい画像解析モデルを提供することができる。

本発明の実施形態に係る仮想３次元深層ニューラルネットワークを利用する画像解析装置のブロック図である。図１の画像解析装置の作動原理を図式的に示す例示図である。図１の画像解析装置に採用することができる２次元畳み込みニューラルネットワークの既存の作動原理を説明するための例示図である。比較例に係る３次元畳み込みニューラルネットワークの作動原理を説明するための例示図である。本発明の他の実施形態に係る仮想３次元深層ニューラルネットワークを利用する画像解析方法のフローチャートである。本発明の別の実施形態に係る仮想３次元深層ニューラルネットワークを利用する画像解析装置のブロック図である。

以下、添付図面を参照して、本発明の好適な実施形態をより詳細に説明する。本発明を説明するにあたり、全体的な理解を容易にするために、図面上の同一の構成要素については同一の参照符号を使用し、同一の構成要素について重複した説明は省略する。

図１は本発明の一実施形態に係る仮想３次元深層ニューラルネットワークを利用する画像解析装置のブロック図である。

図１を参照すると、本実施形態に係る画像解析装置１００は、画像取得部１１０、３次元画像生成部１２０及びディープラーニングアルゴリズム解析部１３０を含む。

画像取得部１１０は、２次元画像の撮影角度または時間に応じて順次積んだ２次元画像を準備する。画像取得部１１０は、カメラ、制御部、通信部などに接続できる。

３次元画像生成部１２０は、画像取得部１１０から受信した２次元画像で複数の３次元データを生成する。簡単な例として、３次元画像生成部１２０は、２次元画像を積層して第１の３次元データに変換し、変換された第１の３次元データを３次元空間で任意の角度で、好ましくは３次元空間上における３軸（ｘ、ｙ、ｚ）のいずれかの軸がもう一つの軸の位置に回転して第２の３次元データを生成するように３次元データを複数個に再構成することができる。

これは、所定の基準に基づいて、例えば、時間軸に沿って積層される複数の２次元画像データを前記複数の２次元画像データに対する相対的な時間または位置変化に応じて互いに異なる形態の複数の３次元データを得ることができることを示す。すなわち、本実施形態では、２次元画像データを積み、積んだ２次元画像データに対する時間または位置変化に基づいて複数の演算をそれぞれ行って複数の３次元データを取得することができる。３次元データは３次元画像データを含むことができる。

また、一例として、細胞画像のように動く動画像についての情報を含む２次元画像データは、２次元画像データのそれぞれでモフォロジーが変わることができ、位置が変わりうる形態、すなわち、トラッキングを行うことができる状態を持つ。ここで、画像認識装置は、外郭線を考慮する場合、位置または時間による２次元画像データから、輪郭線が変わっているか位置が少し変わっているなどの差異を抽出し、２次元画像データを３次元データ化する場合において、抽出された情報に基づいて動きの変化または模様の変化に対応するパターンを認識することができる。画像認識装置は、ボリュームメトリーなどを用いてパターン認識を行うことができる。

つまり、２次元画像データをＸ−Ｙ平面上に時間軸（Ｚ）方向に積むとするとき、積んだ２次元画像データは、３次元データ形態を有し、ここで積んだ２次元画像データを上方から見たときと側方から見たときの差異が発生し、例えば、２次元画像データを上方からみた場合、その差異はモフォロジーの差異が主な差異として認識でき、２次元画像データを側方から見た場合、その差異は時間的な差に応じてその位置に対する変化として認識できる。このように、本実施形態では、積んだ２次元画像データに対する他の形態として認識される複数のデータ、すなわち複数の仮想３次元データを取得して利用する。

ディープラーニングアルゴリズム解析部１３０は、再構成された複数の３次元データのそれぞれに対して２次元畳み込みニューラルネットワーク（２ＤＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋ、ＣＮＮ）を適用し、各３次元データに対する適用結果を合わせて３次元画像を解析する。

このように、本実施形態では、２次元画像データを積んだ後、積んだ２次元画像データに対する異なる形態の情報を２次元畳み込みニューラルネットワークで学習して３次元画像解析を行うことを主な技術的特徴とする。

前述した構成要素１１０乃至１３０は、ハードウェア的に構成できるが、これに限定されない。画像解析装置１００の構成要素は、ソフトウェアモジュール形態でメモリなどの記憶装置に格納され、記憶装置に接続されるプロセッサがソフトウェアモジュールを実行して仮想３次元深層ニューラルネットワークをベースに、３次元画像データを効率よく学習し解析するように実現できる。

以下、仮想３次元深層ニューラルネットワークを利用する画像解析装置について詳細に説明する。

図２は図１の画像解析装置の作動原理を図式的に示す例示図である。

図２を参照すると、画像取得部は、外部から受信または取得した２次元画像、或いは画像解析装置の外部または内部のメモリなどに格納されていることを読み出した２次元画像を撮影位置または撮影時間に基づいて積むことができる。

３次元画像生成部は、画像取得部から伝達された２次元画像を用いて複数の３次元データを生成する。３次元データは３次元画像データを含むことができる。

３次元画像生成部は、複数の２次元画像を撮影位置または時間順に積層させて３次元画像データを生成することができる。３次元画像生成部は、生成された３次元画像データを所定の角度で回転させて追加の３次元画像データを生成することができる。

例えば、３次元画像データに対して互いに直交する３つの方向について解析を行う場合には、次の過程によって複数の３次元画像データを生成することができる。すなわち、２次元画像の二軸をｘ、ｙとし、２次元画像の撮影位置または時間を示す軸をｚとすれば、ｚ軸の順序そのまま２次元画像を積層させて作った３次元データＤｘｙｚ（第１の３次元データ）と、Ｄｘｙｚを他の２つの軸方向にそれぞれ回転させて作った３次元データＤｙｚｘと３次元データＤｚｘｙを使用することができる。

もちろん、最終モデルのメモリサイズ、計算速度または目標性能に応じて３方向のうちの２方向に対してのみ進行することができる。

また、３次元画像生成部は、上述した複数の３次元データに加えて、別の３次元データをさらに生成して使用することができる。すなわち、３次元画像生成部は、本来の２次元画像から、予め準備された計算によって得た別の画像に対して上述の方法を適用して複数の３次元画像を生成することができる。例えば、各２次元画像に対してゼロ平均（ｚｅｒｏ−ｍｅａｎ）と単位分散（ｕｎｉｔ−ｖａｒｉａｎｃｅ）を持つように正規化（ｎｏｒｍａｌｉｚａｔｉｏｎ）を経た後、上述の方法によって複数の３次元データを生成することができる。

別の実現において、３次元画像生成部は、ビデオの場合には、フレーム間の差異またはオプティカルフロー（ｏｐｔｉｃａｌｆｌｏｗ）などの計算を介して得た画像と、それらの画像を回転させて追加の３次元画像を生成することができる。

ディープラーニングアルゴリズム解析部は、必要に応じて、３次元画像生成部から受信した複数の３次元データに対してそれぞれ任意の間隔で分割し投影することにより、複数の２次元データセットを生成することができる。複数の２次元データセットを３次元データに含むことができる。

ディープラーニングアルゴリズム解析部は、３次元画像生成部から受信した複数の３次元データのそれぞれに対して２次元畳み込みニューラルネットワークを適用し、これらを合わせる過程を経て画像解析結果を得ることができる。

ディープラーニングアルゴリズム解析部において、各２次元畳み込みニューラルネットワークが合わさるところは、畳み込み層（ｃｏｎｖｏｌｕｔｉｏｎａｌｌａｙｅｒ）、完全接続層（ｆｕｌｌｙ−ｃｏｎｎｅｃｔｅｄｌａｙｅｒ）または出力層（ｏｕｔｐｕｔｌａｙｅｒ）、または最終結果の平均を出す判定レベル融合（ｄｅｃｉｓｉｏｎｌｅｖｅｌｆｕｓｉｏｎ）であり得る。

図３は図１の画像解析装置に採用することができる２次元畳み込みニューラルネットワークの作動原理を説明するための例示図である。図４は比較例に係る３次元畳み込みニューラルネットワークの作動原理を説明するための例示図である。

まず、図３を参照すると、２次元畳み込みニューラルネットワークの畳み込み（ｃｏｎｖｏｌｕｔｉｏｎ）計算構造が示されている。２次元畳み込みニューラルネットワークの畳み込み計算構造は、下記数式１で表される。

前述した２次元畳み込みニューラルネットワークは、画像認識において優れた性能を示している。しかし、行われる畳み込み（ｃｏｎｖｏｌｕｔｉｏｎ）が２次元空間（ｓｐａｔｉａｌ）特徴のみを計算するから、２次元畳み込みニューラルネットワークのみを利用する場合には、複数の２次元画像が集まった３次元画像における深さまたは時間方向への情報を学習することができない。

上述した問題を克服するために、３次元畳み込みニューラルネットワークモデルを代替して使用しても、一般的な３次元畳み込みニューラルネットワークは、３次元画像を解析するために３次元フィルタを学習するので、パラメータの数が多いためメモリを多く占め、学習に長い時間がかかる（数式２参照）。このため、本実施形態では、２次元畳み込みニューラルネットワークを利用する畳み込み計算構造と３次元畳み込みニューラルネットワークを利用する畳み込み計算構造を新しい方法で組み合わせて使用する。

２次元畳み込みニューラルネットワークの畳み込み計算構造に結合する３次元畳み込みニューラルネットワークの畳み込み計算構造は、図４のように図示でき、下記数式２で表される。

このように、前述した３次元畳み込みニューラルネットワークモデルのみを用いる従来の技術は、基本的にパラメータの数が非常に多いためメモリを多く占め、学習させるときに長い時間がかかり、さらには学習されたモデルを使用するときにも計算時間が長い。従って、本実施形態では、３次元畳み込みニューラルネットワークよりもさらに少ない数のパラメータを持つ２次元畳み込みニューラルネットワークを利用して３次元画像データに対して効率の良い学習を行い、画像を解析することができる。

つまり、ディープラーニングアルゴリズム解析部は、３次元画像生成部から受信した複数の２次元データセット（複数の３次元データ）それぞれに対して２次元畳み込みニューラルネットワークを適用し、その適用結果を合わせる過程を含む「仮想３次元深層ニューラルネットワーク」による画像解析結果を導出することができる。

図５は本発明の他の実施形態による仮想３次元深層ニューラルネットワークを利用する画像解析方法のフローチャートである。

図５を参照すると、本実施形態に係る仮想３次元深層ニューラルネットワークを利用する画像解析方法は、まず、画像解析装置内の画像取得部で特定のグループの２次元画像を撮影位置または時間に基づいて積むステップ（Ｓ５１）、２次元画像を用いて３次元画像（第１の３次元データ）を生成し、第１の３次元データを回転させた第２の３次元データを生成するステップ（Ｓ５２）と、複数の３次元画像（第１および第２の３次元データ）それぞれに対して、２次元畳み込みニューラルネットワークを適用し、各３次元画像に対する適用結果を合わせるステップ（Ｓ５３）と、を含む。

本実施形態に係る仮想３次元深層ニューラルネットワークを利用する画像解析方法は、一般的な３次元畳み込みニューラルネットワーク方法に比べてさらに少ないパラメータを持つ２次元畳み込みニューラルネットワークを利用して３次元データをさらに効率よく学習し、画像解析に適用することができる。このような方法は、「仮想３次元深層ニューラルネットワーク」による方法と命名できる。

図６は本発明の別の実施形態に係る仮想３次元深層ニューラルネットワークを利用する画像解析装置のブロック図である。

図６を参照すると、本実施形態に係る画像解析装置１００は、通信部１６０、制御部１７０及びメモリ１８０を含むことができる。画像解析装置１００は、コントローラまたはコンピューティング装置を含んで実現できる。画像解析装置１００は、ユーザー、管理者、制御端末などから入力に応じてデータまたは信号を処理した後、その結果を出力するための入出力装置１９０に接続できる。また、画像解析装置１００は、データベースを備えるデータベースシステム２００に接続できる。データベースは、解析しようとする画像を提供する装置の識別情報、接続情報及び認証情報のうちの少なくとも一つを含むことができる。

本実施形態において、入出力装置１９０及びデータベースシステム２００は、画像解析装置１００に含まれない形態で示されているが、本発明は、そのような構成に限定されず、実現に応じて、入出力装置１９０およびデータベースシステム２００のうちの少なくとも一つをさらに含むように実現できる。

通信部１６０は、画像解析装置１００を通信ネットワークに接続する。通信部１６０は、ネットワークを介してアクセスするユーザー端末、サーバ、管理者端末などから画像または画像解析に関連する情報或いは信号を受信することができる。

通信部１６０は、一つ以上の通信プロトコルを支援する１つ以上の有線および／または無線通信サブシステムを含むことができる。有線通信サブシステムは、ＰＳＴＮ（ｐｕｂｌｉｃｓｗｉｔｃｈｅｄｔｅｌｅｐｈｏｎｅｎｅｔｗｏｒｋ）、ＡＤＳＬ（ＡｓｙｍｍｅｔｒｉｃＤｉｇｉｔａｌＳｕｂｓｃｒｉｂｅｒＬｉｎｅ）またはＶＤＳＬ（Ｖｅｒｙｈｉｇｈ−ｄａｔａｒａｔｅＤｉｇｉｔａｌＳｕｂｓｃｒｉｂｅｒＬｉｎｅ）ネットワーク、ＰＥＳ（ＰＳＴＮＥｍｕｌａｔｉｏｎＳｅｒｖｉｃｅ）のためのサブシステム、ＩＰ（ｉｎｔｅｒｎｅｔｐｒｏｔｏｃｏｌ）マルチメディアサブシステム（ＩＭＳ）などを含むことができる。無線通信サブシステムは、無線周波数（ｒａｄｉｏｆｒｅｑｕｅｎｃｙ、ＲＦ）受信機、ＲＦ送信機、ＲＦ送受信機、光（例えば、赤外線）受信機、光送信機、光送受信機、またはこれらの組み合わせを含むことができる。

無線ネットワークは、基本的にＷｉ−Ｆｉを指すが、これに限定されない。本実施形態において、通信部１６０は、様々な無線ネットワーク、例えば、ＧＳＭ（登録商標)（ＧｌｏｂａｌＳｙｓｔｅｍｆｏｒＭｏｂｉｌｅＣｏｍｍｕｎｉｃａｔｉｏｎ）、ＥＤＧＥ（ＥｎｈａｎｃｅｄＤａｔａＧＳＭ（登録商標)（Ｅｎｖｉｒｏｎｍｅｎｔ）、ＣＤＭＡ（ＣｏｄｅＤｉｖｉｓｉｏｎＭｕｌｔｉｐｌｅＡｃｃｅｓｓ）、Ｗ−ＣＤＭＡ（Ｗ−ＣｏｄｅＤｉｖｉｓｉｏｎＭｕｌｔｉｐｌｅＡｃｃｅｓｓ）、ＬＴＥ（ＬｏｎｇＴｅｒｍＥｖｏｌｕｔｉｏｎ）、ＬＥＴ−Ａ（ＬＥＴ−Ａｄｖａｎｃｅｄ）、ＯＦＤＭＡ（ＯｒｔｈｏｇｏｎａｌＦｒｅｑｕｅｎｃｙＤｉｖｉｓｉｏｎＭｕｌｔｉｐｌｅＡｃｃｅｓｓ）、ＷｉＭａｘ、Ｗｉ−Ｆｉ（ＷｉｒｅｌｅｓｓＦｉｄｅｌｉｔｙ）、及びＢｌｕｅｔｏｏｔｈ（登録商標）などから選択される少なくとも一つを支援するように実現できる。

制御部１７０は、内蔵メモリ或いはメモリ１８０に格納されるソフトウェアモジュールまたはプログラムを行って画像解析方法を実現することができる。制御部１７０は、例えば、プロセッサと呼ばれることもあり、図５に示した一連の手続きを行うことができる。

制御部１７０は、少なくとも一つの中央処理装置（ＣＰＵ）またはコアを含むプロセッサやマイクロプロセッサで実現できる。中央処理装置またはコアは、処理する命令語を格納するレジスタ（ｒｅｇｉｓｔｅｒ）と、比較、判断、演算を担当する演算論理装置（ａｒｉｔｈｍｅｔｉｃｌｏｇｉｃａｌｕｎｉｔ、ＡＬＵ）と、命令語の解釈と実行のためにＣＰＵを内部的に制御する制御ユニット（ｃｏｎｔｒｏｌｕｎｉｔ）と、これらを接続する内部バスなどを備えることができる。中央処理装置またはコアは、ＭＣＵ（ｍｉｃｒｏｃｏｎｔｒｏｌｕｎｉｔ）と周辺装置（外部拡張装置のための集積回路）が一緒に配置されるＳＯＣ（ｓｙｓｔｅｍｏｎｃｈｉｐ）で実現できるが、これに限定されない。

また、制御部１７０は、一つ以上のデータプロセッサ、イメージプロセッサまたはコーデック（ＣＯＤＥＣ）を含むことができるが、これに限定されない。制御部１７０は、周辺装置インターフェースとメモリインターフェースを備えることができる。周辺装置インターフェースは、制御部１７０と入出力装置１９０などの入出力システムまたは他の周辺装置とを接続し、メモリインターフェースは、制御部１７０とメモリ１８０とを接続することができる。

メモリ１８０は、仮想３次元深層ニューラルネットワークを利用して画像を解析するためのソフトウェアモジュールを格納することができる。ソフトウェアモジュールは、図５のステップ（Ｓ５１乃至Ｓ５３）をそれぞれ行う第１モジュール乃至第３モジュールを含むことができる。

前述したメモリ１８０は、不揮発性ランダムアクセスメモリ（ｎｏｎ−ｖｏｌａｔｉｌｅＲＡＭ、ＮＶＲＡＭ）、代表的な揮発性メモリであるＤＲＡＭ（ｄｙｎａｍｉｃｒａｎｄｏｍａｃｃｅｓｓｍｅｍｏｒｙ）などの半導体メモリ、ハードディスクドライブ（ｈａｒｄｄｉｓｋｄｒｉｖｅ、ＨＤＤ）、光ストレージ装置、フラッシュメモリなどで実現できる。そして、メモリ１８０は、仮想３次元深層ニューラルネットワークを利用して画像を解析するためのソフトウェアモジュールの他に、オペレーティングシステム、プログラム、命令セットなどを格納することができる。

一方、本実施形態に係る画像解析方法は、様々なコンピュータ手段を介して実行できるプログラム命令形態で実現され、コンピュータ可読媒体に記録できる。コンピュータ可読媒体は、プログラム命令、データファイル、データ構造などを単独でまたは組み合わせて含むことができる。コンピュータ可読媒体に記録されるプログラム命令は、本発明のために特別に設計され構成されたもの、またはコンピュータソフトウェアの当業者に公知になって使用可能なものであり得る。

コンピュータ可読媒体の例には、ＲＯＭ、ＲＡＭ、フラッシュメモリ（ｆｌａｓｈｍｅｍｏｒｙ）などのようにプログラム命令を格納し実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令の例には、コンパイラ（ｃｏｍｐｉｌｅｒ）によって作られるような機械語コードだけでなく、インタプリター（ｉｎｔｅｒｐｒｅｔｅｒ）などを用いてコンピュータによって実行できる高級言語コードを含む。上述したハードウェア装置は、本発明の動作を行うために少なくとも一つのソフトウェアモジュールで作動するように構成でき、その逆も同様である。

以上のように、本実施形態では、３次元画像データを解析するための深層ニューラルネットワークの構造を構成する方法を提供する。本実施形態に係る仮想３次元深層ニューラルネットワークの構造は、入力された医療画像から疾病の診断を下したり、病変の位置を見付けたり、ビデオからヒトの行動を認識したりするなどの３次元画像データの解析に活用できる。

以上、本発明の好適な実施形態を参照して説明したが、当該技術分野における熟練した当業者は、下記特許請求の範囲に記載された本発明の思想及び領域から逸脱することなく、本発明を多様に修正及び変更させることができることが理解できるだろう。

Claims

複数の２次元画像データを所定の順に積む画像取得部と、
前記画像取得部からの積んだ形態の複数の２次元画像データに対する互いに異なる形態の複数の情報に基づいて複数の３次元データを生成する３次元画像生成部と、
前記３次元画像生成部からの複数の３次元データのそれぞれに対して２次元畳み込みニューラルネットワークを適用し、前記複数の３次元データに対する２次元畳み込みニューラルネットワークの適用結果を合わせるディープラーニングアルゴリズム解析部と、を含み、
前記３次元画像生成部は、前記複数の３次元データを生成する前に、前記複数の２次元画像データのそれぞれに対してゼロ平均（ｚｅｒｏ−ｍｅａｎ）または単位分散（ｕｎｉｔ−ｖａｒｉａｎｃｅ）演算を行う、仮想３次元深層ニューラルネットワークを利用する画像解析装置。
前記互いに異なる形態の複数の情報は、前記積んだ２次元画像データの時間または位置による動きの変化または模様の変化に対応するパターンを認識する情報を含む、請求項１に記載の仮想３次元深層ニューラルネットワークを利用する画像解析装置。
前記ディープラーニングアルゴリズム解析部は、前記複数の３次元データに対する前記２次元畳み込みニューラルネットワークの適用結果を畳み込み層（ｃｏｎｖｏｌｕｔｉｏｎａｌｌａｙｅｒ）、完全接続層（ｆｕｌｌｙ−ｃｏｎｎｅｃｔｅｄｌａｙｅｒ）、出力層（ｏｕｔｐｕｔｌａｙｅｒ）、及び最終結果の平均を出す判定レベル融合（ｄｅｃｉｓｉｏｎｌｅｖｅｌｆｕｓｉｏｎ）のうちのいずれかで合わせる、請求項１に記載の仮想３次元深層ニューラルネットワークを利用する画像解析装置。
画像取得部で、複数の２次元画像データを所定の順に積むステップと、
３次元画像生成部で、積んだ形態の前記複数の２次元画像データに対する互いに異なる形態の複数の情報に基づいて複数の３次元データを生成するステップと、
ディープラーニングアルゴリズム解析部で、前記複数の３次元データのそれぞれに対して２次元畳み込みニューラルネットワークを適用し、前記複数の３次元データに対する２次元畳み込みニューラルネットワークの適用結果を合わせるステップと、を含み、
前記生成するステップは、前記複数の３次元データを生成する前に、前記複数の２次元画像データのそれぞれに対してゼロ平均（ｚｅｒｏ−ｍｅａｎ）または単位分散（ｕｎｉｔ−ｖａｒｉａｎｃｅ）演算を行う、
仮想３次元深層ニューラルネットワークを利用する画像解析方法。
前記合わせるステップは、前記複数の３次元データに対する前記２次元畳み込みニューラルネットワークの適用結果を畳み込み層（ｃｏｎｖｏｌｕｔｉｏｎａｌｌａｙｅｒ）、完全接続層（ｆｕｌｌｙ−ｃｏｎｎｅｃｔｅｄｌａｙｅｒ）、出力層（ｏｕｔｐｕｔｌａｙｅｒ）、及び最終結果の平均を出す判定レベル融合（ｄｅｃｉｓｉｏｎｌｅｖｅｌｆｕｓｉｏｎ）のうちのいずれかで合わせる、請求項４に記載の仮想３次元深層ニューラルネットワークを利用する画像解析方法。