WO2019069867A1

WO2019069867A1 - 血管抽出装置および血管抽出方法

Info

Publication number: WO2019069867A1
Application number: PCT/JP2018/036733
Authority: WO
Inventors: 増田　和正; 根本　茂; 渉宇田; 嵐 ▲ハイ▼島
Original assignee: 株式会社根本杏林堂; 株式会社ユーワークス
Priority date: 2017-10-03
Filing date: 2018-10-01
Publication date: 2019-04-11
Also published as: JP2023123542A; EP3692920A1; JP7295022B2; US20200327370A1; US11392793B2; EP3692920A4; JPWO2019069867A1

Abstract

畳込みニューラルネットワーク（６００）が、ａ１：前記医療用ボリュームデータのうちの一部の対象ボクセル（６８１ａ）を含む第１の対象領域（Ｒ１）についてのデータ（５１）が、第１の解像度で入力される第１のパス（Ａ１）と、ａ２：前記医療用ボリュームデータのうちの一部の対象ボクセル（６８１ａ）を含む第２の対象領域（Ｒ２）についてのデータ（５２）が、第２の解像度で入力される第２のパス（Ａ２）と、を有する畳込み部（６００ａ）と、ｂ：ニューラルネット構造を有し、前記第１のパスと前記第２のパスとの出力結果を入力データとして、前記対象ボクセルの可視化に関する数値を出力する出力部（６００ｂ）とを含むことを特徴とする、血管抽出装置。

Description

血管抽出装置および血管抽出方法

　本発明は、血管抽出装置および血管抽出方法に関し、特には、操作者の作業を省力化でき、かつ、医療用ボリュームデータから高精度に血管を抽出することが可能な血管抽出装置および血管抽出方法に関する。

　医用画像診断装置として、従来、Ｘ線ＣＴ(Ｃｏｍｐｕｔｅｄ　Ｔｏｍｏｇｒａｐｈｙ)装置、ＭＲＩ(Ｍａｇｎｅｔｉｃ　Ｒｅｓｏｎａｎｃｅ　Ｉｍａｇｉｎｇ)装置、ＰＥＴ(Ｐｏｓｉｔｒｏｎ　Ｅｍｉｓｓｉｏｎ　Ｔｏｍｏｇｒａｐｈｙ)装置、超音波診断装置、血管造影（アンギオグラフィ）撮像装置等が知られている。

　また、このような撮像装置で取得された撮像データを使用して被検者の身体内部を三次元画像化することも行われている。例えば特許文献１では、心臓付近をＸ線ＣＴ装置で撮影して得たＣＴボリュームデータに基づき、冠動脈の領域をセグメンテーション処理によって抽出することが開示されている。

特開２０１５－１１９７６８号

　ところで、従来、医療用ボリュームデータから例えば冠動脈などの血管を抽出しようとする場合、操作者が、例えば当該血管の複数の断面画像を見ながら血管の輪郭を決定する作業が必要となる。あるいは、ソフトウェアで自動的に抽出を行う場合であっても自動抽出のために必要な閾値の設定を行うといった作業が必要となるのが一般的である。

　これに対して、本発明者らは、畳込みニューラルネットワーク技術を応用してそのような操作者の作業を省力化し効率的に対象の血管を抽出し得ることを見出した。

　そこで本発明の目的は、操作者の作業を省力化でき、かつ、医療用ボリュームデータから高精度に血管を抽出することが可能な血管抽出装置および血管抽出方法を提供することにある。

　上記課題を解決するための本発明の一形態の血管抽出装置は下記の通りである：
　畳込みニューラルネットワークを利用し医療用ボリュームデータからそれに含まれる血管を抽出する画像処理ユニットを有する装置であって、
　前記畳込みニューラルネットワークは、
ａ１：複数の畳込み層を含む第１のパスであって、前記医療用ボリュームデータのうちの一部の対象ボクセルを含む第１の対象領域についてのデータが、第１の解像度で入力される第１のパスと、
ａ２：複数の畳込み層を含む第２のパスであって、前記医療用ボリュームデータのうちの一部の対象ボクセルを含む第２の対象領域についてのデータが、第２の解像度で入力される第２のパスと、
　を有する畳込みネットワーク部と、
ｂ：ニューラルネット構造を有し、前記第１のパスと前記第２のパスとの出力結果を入力データとして、前記対象ボクセルの可視化に関する数値を出力する出力部と、
　を含むことを特徴とする、血管抽出装置。

（用語の説明）
・「畳込みニューラルネットワーク」とは、少なくとも１つの畳込み層（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）を含み、その畳込み層により、入力された画像データ（３次元のものも含む）に対して畳込み処理を実行して特徴量抽出を行うものをいう。畳込み処理に用いられるフィルタとしては、３次元の入力データに対しては３次元のフィルタが用意され、フィルタの各要素にはいわゆるフィルタパラメータと呼ばれる数値（重み）が設定されている。
・「可視化に関するデータ」とは、例えばボクセルごとに与えられた数値（ボクセル値）であり、その数値に対応して、当該ボクセルを表示するかしないか、または、表示する場合にどの程度の明度で表示するか等を決定できる数値のことをいう。例えば、「０」～「１」の範囲内の数値である。

　本発明によれば、操作者の作業を省力化でき、かつ、医療用ボリュームデータから高精度に血管を抽出することが可能な血管抽出装置および血管抽出方法を提供することができる。

本発明の一形態の血管抽出装置を含むシステムについて模式的に示す図である。薬液注入装置の一例を示す斜視図である。畳込みニューラルネットワークの構成を示す図である。図３の畳込みニューラルネットワークの機能を説明するための図である。ＣＴボリュームデータと、そこから自動抽出された血管とを示す図である。ＣＴボリュームデータに含まれるボクセル値の模式的なヒストグラムである。図３の畳込みニューラルネットワークでの処理のフローチャートである。活性化関数の一例を示すグラフである。図３の畳込みニューラルネットワークの学習を説明するための図である。

１．基本的構成
　図１は、本発明の一形態に係る血管抽出装置を含むシステム全体の構成を模式的に示す図である。システム全体としては、一例で、撮像装置３００、カルテ管理装置であるＨＩＳ３６０、撮像管理装置であるＲＩＳ３７０、データ保存装置であるＰＡＣＳ３８０、患者に造影剤等を注入する薬液注入装置１００、血管抽出装置４００、それらの各機器を接続するネットワーク３５０等を備えるものであってもよい。なお、血管抽出装置４００以外の構成は従来公知のものを利用してもよい。

　ＨＩＳ（Ｈｏｓｐｉｔａｌ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｓｙｓｔｅｍ）３６０は、専用のコンピュータプログラムが実装されたコンピュータであり、カルテ管理システムを有する。カルテ管理システムで管理される電子カルテは、例えば、固有の識別情報であるカルテＩＤ、患者ごとの患者ＩＤ、患者の氏名などの個人データ、患者の疾病に関するカルテデータ、等のデータを含むものであってもよい。また、カルテデータには、治療全般に関連した個人条件データとして、患者の体重、性別、年齢等が登録されていてもよい。

　ＲＩＳ（Ｒａｄｉｏｌｏｇｙ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｓｙｓｔｅｍ）３７０は、患者の透視画像データを撮像するための撮像オーダデータを固有の識別情報で管理する。この撮像オーダデータは、ＨＩＳから取得する電子カルテに基づいて作成されるものであってもよい。撮像オーダデータは、例えば、固有の識別情報である撮像作業ＩＤ、ＣＴ撮像やＭＲ撮像などの作業種別、前述の電子カルテの患者ＩＤとカルテデータ、ＣＴスキャナの識別情報、撮像開始および終了の日時、身体区分または撮像部位、撮像作業に対応した造影剤などの薬液種別からなる適正種別、撮像作業に適合した薬液ＩＤからなる適正ＩＤ、等のデータを含むものであってもよい。

　ＰＡＣＳ（Ｐｉｃｔｕｒｅ　Ａｒｃｈｉｖｉｎｇ　ａｎｄ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ　Ｓｙｓｔｅｍｓ）３８０は、撮像装置から撮像オーダデータが付与された透視画像データを受信してそれを記憶装置内に保存する。

　撮像装置３００は、一例でＸ線ＣＴ装置であり、患者の透視画像を撮像する撮像部と、患者を載せるベッドと、それらの動作を制御する制御部とを有するものであってもよい。撮像部は、ガントリ内に配置された、Ｘ線管やコリメータ等を有しＸ線を患者に向けて照射するＸ線照射部と、患者を透過したＸ線の検出するＸ線検出器を有する検出部とを有するものであってもよい。Ｘ線照射部および検出部が、それらの位置関係を保ったまま患者の体軸の周りを回転しながらスキャンを行うように構成されている。

　薬液注入装置１００について図２も参照して説明する。薬液注入装置１００は、一例で可動式スタンド１１１に保持された注入ヘッド１１０と、ケーブル１０２で注入ヘッド１１０に接続されたコンソール１５０とを備えている。この例では、注入ヘッド１１０には、２本のシリンジが並列に取外し自在に装着される。なお、注入ヘッド１１０とコンソール１５０とは無線方式で接続されていてもよい。

　シリンジに充填される薬液としては、造影剤および生理食塩水などが挙げられる。例えば、一方のシリンジに造影剤が充填され、もう一方のシリンジに生理食塩水が充填されていてもよい。シリンジは、中空筒状のシリンダ部材と、そのシリンダ部材にスライド自在に挿入されたピストン部材とを有している。シリンダ部材は、その基端部にシリンダフランジが形成されるとともに先端部に導管部が形成されたものであってもよい。ピストン部材をシリンダ部材内に押し込むことにより、シリンジ内の薬液が導管部を介して外部に押し出される。なお、シリンジは予め薬液が充填されたプレフィルドタイプであってもよいし、空のシリンジに薬液を吸引して使用する吸引式のものであってもよい。

　注入ヘッドは、詳細な図示は省略するが、次のようなものであってもよい。すなわち、注入ヘッドは、一例として前後方向に長く延びるような筐体を有しており、この筐体の上面先端側には、それぞれシリンジが載せられる２つの凹部が形成されている。凹部はシリンジ保持部として機能する部分である。凹部に対しては、シリンジが直接装着されてもよいし、または、所定のシリンジアダプタを介して装着されてもよい。

　注入ヘッドは、また、シリンジのピストン部材を押し込む機能を少なくとも有するピストン駆動機構を有している。ピストン駆動機構は二系統設けられており、各機構は独立して動作する。ピストン駆動機構は、例えばシリンジ内への薬液吸引のために、ピストン部材を後退させる機能を有するものであってもよい。２つのピストン駆動機構は同時に駆動されてもよいし、別々のタイミングで駆動されてもよい。ピストン駆動機構は、詳細な図示は省略するが、駆動モータと、その駆動モータの回転出力を直線運動に変換する運動変換機構と、その運動変換機構に連結され、ピストン部材を前進および／または後退させるシリンジプレッサー（ラム部材）とを有するものであってもよい。

　このようなピストン駆動機構としては、薬液注入装置で一般に用いられる公知の機構を用いることができる。なお、モータ以外のアクチュエータを駆動源としてもよい。「ピストン駆動機構」に代えて、シリンジ以外の所定の薬液収容体（例えばボトル、バッグ等）から薬液を患者に向けて送達する駆動機構が設けられていてもよい。

　シリンジにＩＣタグ（識別タグ）が付されている場合には、注入ヘッドは、同ＩＣタグの情報を読み取るおよび／または同ＩＣタグに情報を書き込むリーダ／ライタを有していてもよい。このリーダ／ライタは、シリンジが装着される凹部に設けられていてもよい。なお、リーダ／ライタは、ＩＣタグの情報を読み取る機能のみを有するものであってもよい。

　コンソール１５０は、一例で検査室に隣接した操作室内に置かれて使用されるものであってもよい。コンソール１５０は、所定の画像を表示するディスプレイ１５１と、その筐体前面に設けられた操作パネル１５９と、筐体内に配置された制御回路などを有している。操作パネル１５９は、１つまたは複数の物理ボタンが配置された部分であり、操作者によって操作される。ディスプレイ１５１は、タッチパネル式表示デバイスであってもよいし、単なる表示デバイスであってもよい。コンソール１５０は、音および／または音声を出力するためのスピーカ等（不図示）を有していてもよい。コンソール１５０の記憶部（不図示）には、注入プロトコルの作成や注入の実行などに関わる各種データが格納されていてもよい。例えば、グラフィカルユーザインターフェースのデータや、注入条件（注入パターン）等のデータである。

（血管抽出装置）
　血管抽出装置４００は、入力デバイス４６１、画像処理ユニット４５０、インターフェース４６３、記憶部４６０等を一例として備えている。入力デバイス４６１としては、例えばキーボードやマウス等といった一般的なデバイスが挙げられる。必要に応じて、音声入力のためのマイクなどを利用してもよい。限定されるものではないが、血管抽出装置４００は、ワークステーション、ラップトップコンピュータ、タブレット端末等で構成されてもよい。なお、血管抽出装置４００は、必ずしも物理的に独立した機器である必要はなく、例えばネットワーク上の１つまたは複数のコンピュータによって実現されるものであってもよい。または、撮像装置の一部として設けられていてもよいし、薬液注入装置の一部として設けられたものであってもよい。具体的には、本発明の一形態に係るコンピュータプログラムを、撮像装置のコンソールに実装する、ネットワーク上の１つまたは複数のコンピュータに実装する、または、薬液注入装置のコンソール等に実装するなどして、これを実現してもよい。

　インターフェース４６３は外部の種々の機器等との接続を行うためのものであり、図では１つのみ示されているが、当然ながら複数設けられていてもよい。接続の方式（通信の方式）は有線であっても無線であってもよい。図１の例では、インターフェース４６３にネットワーク経由で撮像装置３００等が接続されており、これにより、例えば撮像装置３００やＰＡＣＳ３８０等からのデータが血管抽出装置４００に読み込まれる（または当該装置によって識別される）ようになっている。

　記憶部４６０は、ハードディスクドライブ（ＨＤＤ：ＨａｒｄＤｉｓｋ
Ｄｒｉｖｅ）、ソリッドステートドライブ（ＳＳＤ：Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）、および／またはメモリなどで構成されたものであってもよく、ＯＳ（Ｏｐｅｒａｔｉｎｇ
Ｓｙｓｔｅｍ）のプログラムや、本発明の一形態に係る血管抽出プログラムが格納されていてもよい。

　また、各種処理に用いるその他のコンピュータプログラムや、データテーブル、画像データ等が必要に応じて記憶部４６０に格納されていてもよい。コンピュータプログラムは、プロセッサ（ＣＰＵやＧＰＵ等）のメモリにロードされることによって実行される。コンピュータプログラムは、任意のネットワークを介して必要時に外部機器からその全部または一部がダウンロードされるものであってもよい。コンピュータプログラムは、コンピュータ読み取り可能な記録媒体に格納してもよい。

　血管抽出装置４００は、ディスプレイ４３０に所定の情報を表示するように構成されている。ディスプレイ４３０としては、特に限定されるものではないが、ＬＣＤ（Ｌｉｑｕｉｄ
ＣｒｙｓｔａｌＤｉｓｐｌａｙ）ディスプレイや有機ＥＬ（ＯｒｇａｎｉｃＥｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等を利用可能である。ディスプレイ４３０は、血管抽出装置４００が１つの筐体として構成されている場合、その一部に一体的に設けられたものであってもよい。あるいは、本体部（不図示）とは別体に構成され、接続して使用されるものであってもよい。

（画像処理ユニットの構成）
　画像処理ユニット４５０は、コンピュータプログラムの命令にしたがってプロセッサ等を動作させ所定の画像処理や機械学習の演算を行うように構成されている。限定されるものではないが、本実施形態では後述するようにニューラルネットワークでの畳込み処理等を行うものであるので、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ：グラフィックス　プロセッシング　ユニット）を利用するものであることが一形態において好ましい。

２．ニューラルネットワークの構成および動作
〔構成〕
　本実施形態で使用するニューラルネットワークの一例を図３に示す。図３に示すように、この畳込みニューラルネットワーク６００は、畳込み処理を行う複数のパスが並列に配置された畳込み部６００ａと、それに続く出力部６００ｂとを有している。畳込み部６００ａを構成する各パスの機能は基本的に同様であるが、入力されるデータの種別によって、以下の説明では、パスＡ１～Ａ３と追加パスＣ１～Ｃ２（単にパスＣ１、Ｃ２ともいう）というように区別するものとする。

（第１のパスＡ１）
　第１のパスＡ１は、畳込み処理を行う複数の畳込み層６１１～６１９を有している。各畳込み層６１１～６１９は、不図示の３次元フィルタを用いて、入力された３次元データ（詳細下記）を畳み込む。

　畳込み層の数は特に限定されるものではないが、この例では、９層である。必要に応じて、層の数を増減してもよい。３次元フィルタとしては、フィルタサイズが例えば３ｘ３ｘ３のものを使用することができる。フィルタの各要素（この場合、３ｘ３ｘ３の２７要素）ごとにフィルタパラメータ（重み）が設定されている。このフィルタパラメータとしては、一例として、事前の機械学習により、適切な値に調整されたデータセットを利用することができる。

　なお、畳込みの際にフィルタを移動させる距離（ストライド）は、限定されるものではないが、例えば１ボクセルずつであってもよいし２ボクセルずつであってもよい。

　本実施形態では、第１のパスＡ１に入力されるデータ５１は、２５ｘ２５ｘ２５の３次元のデータである（詳しい内容については後述する）。それを各畳込み層で順次畳み込んでいくことで、一辺のサイズが「２５」→「２３」→「２１」→「１９」→「１７」→「１５」→「１３」→「１１」と減少し、最終的に９ｘ９ｘ９のサイズが得られるようになっている。

（他のパスＡ２、Ａ３、Ｃ１、Ｃ２）
　他のパスＡ２、Ａ３、Ｃ１、Ｃ２についても、基本的には、上述したパスＡ１と同様であり、各々、９つの畳込み層を有している。ただし、入力されるデータに関して相違がある。詳細は後述するが、パスＡ２、Ａ３については第１のパスＡ１と解像度を異らせたデータが入力される。すなわち、この実施形態では、入力データを多重解像度として、異なるパスに流す方式を採用している。一方、追加パスＣ１、Ｃ２については、解像度の違いではなく、ＣＴ値の範囲を異らせた入力データとしている。

　なお、図３では、パスＡ２、Ａ３への入力されるデータのサイズが一辺「１９」のように表示されているが、これは本発明の本質的部分ではなく、２５ｘ２５ｘ２５サイズのデータを入力するようにしてもよい。また、他の留意事項として、パスＡ２、Ａ３においては、入力データが１９ｘ１９ｘ１９であるため、第８層の段階でサイズが３ｘ３ｘ３となる。そこで、最終的に各パスの出力データのサイズが揃うように（つまり、９ｘ９ｘ９となるように）アップサンプリング処理（畳込み処理によって生成された対象のサイズを大きくするための処理）を行っている。

（入力データ）
　次に、入力画像の詳細について、図４を参照して説明する。なお、図４では説明の都合上、２次元の画像として表現している。また、説明を簡単にするためにパスＡ２、Ａ３に入力されるデータ５２、５３についても、一辺のサイズが「１９」ではなく「２５」と示している。

　医療用ボリュームデータ６０１としては、例えば図５（ａ）に示すような心臓付近のＣＴボリュームデータであってもよい。この例では、ボリュームデータ６０１は、心臓１１および冠動脈１２を含み、さらに大動脈や大静脈のような他の血管１３や骨（不図示）なども含んでいる。限定されるものではないが、医療用ボリュームデータのサイズは一例として５１２ｘ５１２ｘ５１２である。なお、この医療用ボリュームデータとしては、予めＸ線ＣＴ装置などによって被検者を撮像し、その撮像データを用いて従来公知の方法で作成されたものであってもよい。例えば、ネットワーク上の所定のサーバに保管されたＣＴボリュームデータを読み出して使用するようにしてもよい。

　第１のパスＡ１へ入力されるデータ５１は、図４に示すように、医療用ボリュームデータ６０１のうちの１つのボクセル６８１ａと、その周辺の所定範囲の領域とを含む第１の対象領域Ｒ１のデータである。対象領域Ｒ１は、例えば、ボクセル６８１ａを中心とした、２５ｘ２５ｘ２５の範囲のデータであってもよい。

　第２のパスＡ２へ入力されるデータ５２は、ボクセル６８１ａを中心とした領域のデータということでは上記とほぼ共通する。ただし、多重解像度の入力とするために、次のような処理を行っている。すなわち、第１の対象領域Ｒ１よりも大きな対象領域Ｒ２をサンプリングし、それに対して解像度を下げて所望のサイズのデータ５２としている。具体的には、（２５ｘ３）^３の対象領域Ｒ２とし、解像度を１／３に落とすことで２５ｘ２５ｘ２５のデータ５２を得るようにしてもよい。もっとも、「２５」ではなく、一辺のサイズが「１９」であってもよいことは前述のとおりであり、この場合は、（１９ｘ３）^３の対象領域Ｒ２ということになる。

　第３のパスＡ３へ入力されるデータ５３についても、考え方は第２のパスＡ２の場合と同様である。ただし、データ５３については、（２５ｘ９）^３の対象領域Ｒ３とし、解像度を１／９に落としている。なお、図４で図示しているＲ２やＲ３のサイズは模式的なものであり、実際のサイズを正確に表したものではない。

　パスＣ１、Ｃ２へ入力されるデータ５４、５５は、第１のパスＡ１のデータ５１とサイズは同様であるが、ＣＴ値を所定の範囲内にクリップした（制限した）ものである点で異なっている。すなわち、そのＣＴ値範囲内のデータのみを入力するようにしている。これについて、以下、図６も参照しつつ説明する。

　図６は、医療用ボリュームデータ６０１に含まれるボクセルのＣＴ値のヒストグラムを模式的に示したものである。横軸はＣＴ値（ＨＵ）であり、縦軸は出現数（Ｎ）である。このように、一般に、医療用ボリュームデータのヒストグラムは、軟組織や水分といった比較的ＣＴ値が低い個所と、骨／石灰化組織を含む比較的ＣＴ値が高い個所とにピークが存在するデータとなる。具体的には、水および空気のＣＴ値はそれぞれ０ＨＵ、－１０００ＨＵであり、軟部組織等（軟部組織、血液、脳、臓器実質など）は２０～１００ＨＵ未満程度、骨／石灰化組織は１０００ＨＵ程度、脂肪は－１００ＨＵ程度である。

　図６において、範囲１８は、上限を５００ＨＵ程度とするＣＴ値が低い側の範囲であり、範囲１９は、下限を３００ＨＵ程度とするＣＴ値が高い側の範囲である。具体的なＣＴ値は特に限定されるものではなく、検査内容や患者の関心部位等に応じて適宜設定すればよい。範囲１８としては、下限が－１０００ＨＵ、－２００ＨＵ、－１００ＨＵ、または０ＨＵであってもよい。冠動脈抽出のケースでは、範囲１８の具体的な例として、０～５００ＨＵまたは０～４００ＨＵの範囲内などが挙げられる。範囲１９の具体的な例としては、３００～２０００ＨＵまたは３００～１７００ＨＵの範囲内などが挙げられる。

　このように医療用ボリュームデータ６０１をＣＴ値の範囲で区分したうえで、ＣＴ値の低い側の範囲に絞ったデータをパスＣ１に入力し、ＣＴ値の高い側の範囲に絞ったデータをパスＣ２に入力するようにしている。

　なお、上記説明において入力データ５１～５５について説明したが、畳込みニューラルネットワークでデータ処理をするにあたっては、必要に応じて、ボクセルのＣＴ値を一定範囲の数値範囲に変換したり（この状態の数値を「ボクセル値」などともいう）、バッチノーマライゼーションや白色化といった前処理を行ってもよい。

　次に、畳込みニューラルネットワーク６００の出力部６００ｂについて説明する。出力部６００ｂは、全結合層Ｂ１、Ｂ２と、出力層Ｂ３と含むニューラルネットワーク構造である。なお、この場合も、全結合層の数は特に限定されるものではなく、１層のみまたは３層以上としてもよい。全結合層Ｂ１へは、各パスＡ１～Ａ５の出力結果が入力される。つまり、各パスＡ１～Ａ５の出力結果である３次元データの各要素の数値が、入力として、全結合層Ｂ１のノード（不図示）に結合されている。

　なお、「全結合層」とは、基本的には、文字通り、全てのノードどうしを接続した順伝播型のネットワークのことをいうが、本願の技術思想との関係では、必ずしも厳密に全てのノードどうしが接続されている必要はない。

　出力層Ｂ３は、全結合層Ｂ２からのデータに基づき、最終的な出力を行う層であり、この例では、「０」～「１」の範囲の数値データを出力する。これは、対象ボクセル６８１ａが冠動脈であるか否かを示す確率と考えることができ、１（または１に近い）であれば冠動脈であるとし、０（または０に近い）であれば冠動脈ではないとするようにしてもよい。このような出力を得るためには、種々の活性化関数を利用し得るが、一例でシグモイド関数などを用いることができる。図８に示すように、シグモイド関数は、入力されたｘに対して「０」～「１」の範囲内で出力（ｙ）を行う関数である。

〔動作〕
　続いて、本実施形態の多層ニューラルネットワーク６００の動作について説明する。なお、前提として、ネットワークの重みパラメータ（不図示）は、例えば事前の機械学習によって既に与えられているものとする。

　まず、画像処理ユニット４５０（図１参照）は、予め用意された医療用ボリュームデータ６０１を識別するかまたは読み込む。

　次いで、図７のフローチャートに示すように、１つのボクセル６８１ａ（図４参照）を対象としたデータ処理を行う（ステップＳ１）。上述した多層ニューラルネットワーク６００の機能により、畳込みニューラルネット部６０１ａで３次元の入力データ５１～５５の畳込み処理が行われる（ステップＳ２）とともに、出力部６００ｂでの順伝播計算処理が行われ、最終的に、出力層Ｂ３において、当該ボクセル６８１ａが冠動脈であるか否かを示す数値データが求められる（ステップＳ３、図４も参照）。

　同様の処理を医療用ボリュームデータ６０１の全ボクセルについて、繰り返し実施する（ステップＳ４）。これにより、全てのボクセルを０～１の範囲内で数値化することができる。このようにして得られたデータに基づき、所定のボクセルについてのみ画像表示を行うことで、図５（ｂ）に示すような、冠動脈１２のみが抽出された３次元画像を生成することができる（ステップＳ５）。

　画像表示に関する具体的な手法は特に限定されるものではないが、例えば、ボクセル値を所定の閾値とを比較し、当該ボクセル値が閾値を超えていた場合には、当該ボクセルを表示とし、それ以外を非表示（または明度を下げた状態での表示等でもよい）とする。

　以上説明したような畳込みニューラルネットワーク６００を利用した血管抽出手法によれば、図５（ａ）のような医療用ボリュームデータ６０１を入力するだけで、図５（ｂ）に示すように、自動的に対象の血管１２のみが抽出されるため、非常に効率的に血管抽出を実施することができる。

　また、多層ニューラルネットワーク６０１において、適切な数値範囲内とされた重みパラメータのデータセットを使用することで、実際の血管形状（図５（ａ）の血管形状）を精度よく再現した血管形状（図５（ｂ））を得ることが可能となる。本実施形態は、基本的には、医療用ボリュームデータ６０１に基づき、不要なボクセルを表示させないことで冠動脈１２のみを表示するという手法である。したがって、例えば、血管の中心のパスを作成してそのパスに対してある一定の半径部分を血管と見做して表示するような手法と異なり、本来冠動脈でないボクセルを冠動脈として表示してしまう可能性も低減する。

　なお、上記実施形態では、解像度に関連するパスＡ１～Ａ３の３つと、ＣＴ値に関連するパスＣ１、Ｃ２の計５つのパスを利用したが、パスの数は適宜変更してもよい。

　畳込みニューラルネットワーク６００を利用して血管を抽出するという技術的思想は、必ずしも冠動脈に限らず他の部位の血管抽出にも適用可能である。また、解像度のパスＡ１～Ａ３（２つのパスのみでもよい）のみを用い、ＣＴ値のパスＣ１、Ｃ２を用いることなく、比較的精度のよい血管抽出が実施できる場合には、パスＣ１、Ｃ２を省略してもよい。

　また、以上、血管の抽出を中心として説明を行ったが、本発明の技術思想は、臓器や骨のようなその他の解剖学的構造に応用することも可能である。

〔学習フェーズ〕
　次に、上述したような畳込みニューラルネットワーク６００の重みパラメータの学習について説明する。図９を参照してパスＡ１の例に単純化して説明を行う。

　畳込み層６１１～６１９には、それぞれには３次元フィルタが設定されており、その３次元フィルタは重みパラメータを含んでいる。具体的には、３ｘ３ｘ３の３次元フィルタであれば、３^３＝２７個のフィルタパラメータを含むこととなる。また全結合層に関してもノード（不図示）どうしの結合強度を表すパラメータが含まれている。

　学習に際しては、教師データのセットを用意する。本実施形態では、教師データとしては、ある医療用ボリュームデータ６０１に基づき、医師等が実際にデータを見ながら手作業で血管抽出を行って得られた冠動脈ボリュームデータを使用することができる。このような、医療用ボリュームデータ６０１とそこから抽出された冠動脈ボリュームデータの対を複数用意して教師データのセットとする。

　そして、畳込みニューラルネットワーク６００に対して、ある医療用ボリュームデータ６０１を入力した際の出力値と、教師データの値とを用い、所定の誤差関数（損失関数）を使用してその誤差Ｅが十分に小さくなるまで学習を繰り返す。

　誤差関数としては特に限定されるものではないが、二乗平均誤差（Ｍｅａｎ　Ｓｑｕａｒｅｄ　Ｅｒｒｏｒ）等を用いることができる。誤差Ｅを小さくするための手法としては、特に限定されるものではないが、勾配降下法などを利用してパラメータを順次更新するものであってもよい。データの集合どうしの類似度を評価するための関数として、Ｊａｃｃａｒｄ係数、Ｄｉｃｅ係数、またはＳｉｍｐｓｏｎ係数等を使用するようにしてもよい。また、勾配降下法の学習においては、当然ながら、全ての学習用データを一度に使用するのではなく、一部のサンプルのみを順に学習に使っていくいわゆるミニバッチ学習（ｍｉｎｉｂａｔｃｈ　ｌｅａｒｎｉｎｇ）を利用してもよい。

　以上一連の学習工程により、畳込みニューラルネット６００のパラメータを、十分な精度にまで最適化することができる。学習の効率という観点で言えば、本実施形態のように、ＣＴ値の範囲を異ならせた２つパスＣ１、Ｃ２が設けられている場合、より少ない教師データ数で学習を行えることが期待できる。

　以上、本発明の一形態について、具体的な例を挙げて説明したが、本発明はその趣旨を逸脱しない範囲で適宜変更可能である：
・データ拡張（Ｄａｔａ　Ａｕｇｍｅｎｔａｔｉｏｎ）
　学習に用いるデータに関し、データ拡張によってデータ数を増加させ、学習を行うことも好ましい。データ拡張の手法としては、移動、回転、拡大縮小のようなものの他にも、例えば、形状データやベクトルデータを変形させる非剛体変形を用いるようにしてもよい。比較的少量のデータであってもデータ拡張を有効に利用することで、効果的な学習を実施でき、血管抽出の精度の向上を図ることが可能となる。

・異なるパスに対する異なる学習用データの入力
　上述した実施形態では、解像度の異なる３つのパスＡ１～Ａ３を含むニューラルネットワーク構造を説明した。ここで、例えば、１０個のボリュームデータを順に学習させていく場合を考える。この場合、共通のボリュームデータ「１」を、解像度を変えて、それぞれのパスＡ１～Ａ３に入力してもよいが、次のような手法がより効果的であると考えられる。すなわち、ボリュームデータ「１」をそれぞれのパスＡ１～Ａ３に入力する手法の場合、縮小画像はほぼ同様のものとなり得るので、各パスでの学習効率が比較的低くなってしまう懸念がある。その場合には、それぞれのパスに対し（または、あるパスグループと他のパスグループとのそれぞれに対し）異なる学習用データを入力するようにしてもよい。より具体的には、例えばミニバッチ学習の際、パスＡ１～Ａ３のそれぞれに、異なるバッチデータを入力するように上記のようにすることで、各パスでの学習の改善が期待できる。

　上記実施形態では、３次元のボクセルデータを対象に説明を行ったが必要であれば、３次元データに本発明の技術を応用してもよい。学習を行う主体および／または血管抽出処理を行う主体は、必ずしも単一のコンピュータである必要はなく、複数のコンピュータであってもよい。

　なお、本出願では基本的に「血管抽出装置」という名称で説明を行ったが、本発明の対象は必ずしもそのような名称に限定されるものでなく、例えば「画像処理装置」などと表現されてもよいし、また、「装置」の部分に関しても、「デバイス」や「システム」などの表現に置き換えてもよい。

（付記）
　本出願は以下の発明を開示する。なお、括弧内の符号は参考のために付したものであり、これにより本発明が限定されるものではない。
１．畳込みニューラルネットワーク（６００）を利用し医療用ボリュームデータ（６０１）からそれに含まれる血管を抽出する画像処理ユニット（４５０）を有する装置（４００）であって、
　上記畳込みニューラルネットワーク（６００）は、
ａ１：複数の畳込み層（ｃｏｎｖ）を含む第１のパスであって、上記医療用ボリュームデータのうちの一部の対象ボクセル（６８１ａ）を含む第１の対象領域（Ｒ１）についてのデータ（５１）が、第１の解像度で入力される第１のパス（Ａ１）と、
ａ２：複数の畳込み層（ｃｏｎｖ）を含む第２のパスであって、上記医療用ボリュームデータのうちの一部の対象ボクセル（６８１ａ）を含む第２の対象領域（Ｒ２）についてのデータ（５２）が、第２の解像度で入力される第２のパス（Ａ２）と、
　を有する畳込み部（６００ａ）と、
ｂ：ニューラルネット構造を有し、上記第１のパスと上記第２のパスとの出力結果を入力データとして、上記対象ボクセル（６８１ａ）の可視化に関する数値を出力する出力部（６００ｂ）と、
　を含むことを特徴とする、血管抽出装置。

　本発明の一形態によれば、このように、異なる解像度のボリュームデータを畳込みニューラルネットワーク並列のパス（Ａ１、Ａ２等）に入力して、対象ボクセルの可視化に関する数値を得る（限定されるものではないが、その数値に基づいて当該ボクセルの表示・非表示を決定したり、表示濃度を決定したりしてもよい）ものであるので、精度よく対象物の抽出を行うことができる。

２．さらに、上記畳込み部（６００ａ）として、
ｃ１：複数の畳込み層を含む第１の追加パスであって、上記医療用ボリュームデータのうちの一部の対象ボクセル（６８１ａ）を含む対象領域について、上記医療用ボリュームデータ（６０１）のＣＴ値を第１の範囲内にクリップしたデータ（５４）が入力される第１の追加パス（Ｃ１）と、
ｃ１：複数の畳込み層を含む第２の追加パスであって、上記医療用ボリュームデータのうちの一部の対象ボクセル（６８１ａ）を含む対象領域について、上記医療用ボリュームデータ（６０１）のＣＴ値を第２の範囲内にクリップしたデータ（５５）が入力される第２の追加パス（Ｃ２）と、を含む。

３．上記第１の範囲は上限を５００ＨＵとする範囲であり、上記第２の範囲は下限を３００ＨＵとする範囲である。
このように、一方を比較的低いＣＴ値範囲とし他方を比較的高いＣＴ値範囲として、これらの別々に畳込み処理を行うことで機械学習が効率的に実施できるようになることが期待できる。

４．さらに、上記畳込み部（６００ａ）として、
ａ３：複数の畳込み層を含む第３のパスであって、上記医療用ボリュームデータのうちの一部の対象ボクセル（６８１ａ）を含む第３の対象領域（Ｒ３）についてのデータ（５３）が、第３の解像度で入力される第３のパス（Ａ３）を有する。

５．上記画像処理ユニット（４５０）は、上記可視化に関する数値（例：０８０）に基づき当該ボクセルの表示態様を決定し、それに基いて血管を表示するように構成されている。

６．上記血管が冠動脈であり、上記医療用ボリュームデータは、少なくとも心臓と冠動脈とを含む範囲のデータである。

７．畳込みニューラルネットワーク（６００）を利用し医療用ボリュームデータ（６０１）からそれに含まれる血管を抽出する血管抽出方法であって、
　上記畳込みニューラルネットワーク（６００）は、
ａ１：複数の畳込み層（ｃｏｎｖ）を含む第１のパスであって、上記医療用ボリュームデータのうちの一部の対象ボクセル（６８１ａ）を含む第１の対象領域（Ｒ１）についてのデータ（５１）が、第１の解像度で入力される第１のパス（Ａ１）と、
ａ２：複数の畳込み層（ｃｏｎｖ）を含む第２のパスであって、上記医療用ボリュームデータのうちの一部の対象ボクセル（６８１ａ）を含む第２の対象領域（Ｒ２）についてのデータ（５２）が、第２の解像度で入力される第２のパス（Ａ２）と、
　を有する畳込み部（６００ａ）と、
ｂ：ニューラルネット構造を有し、上記第１のパスと上記第２のパスとの出力結果を入力データとして、上記対象ボクセル（６８１ａ）の可視化に関する数値を出力する出力部（６００ｂ）と、
　を含むことを特徴とする、血管抽出方法。

８．畳込みニューラルネットワーク（６００）を利用し医療用ボリュームデータ（６０１）からそれに含まれる血管を抽出する血管抽出プログラムであって、
　上記畳込みニューラルネットワーク（６００）は、
ａ１：複数の畳込み層（ｃｏｎｖ）を含む第１のパスであって、上記医療用ボリュームデータのうちの一部の対象ボクセル（６８１ａ）を含む第１の対象領域（Ｒ１）についてのデータ（５１）が、第１の解像度で入力される第１のパス（Ａ１）と、
ａ２：複数の畳込み層（ｃｏｎｖ）を含む第２のパスであって、上記医療用ボリュームデータのうちの一部の対象ボクセル（６８１ａ）を含む第２の対象領域（Ｒ２）についてのデータ（５２）が、第２の解像度で入力される第２のパス（Ａ２）と、
　を有する畳込み部（６００ａ）と、
ｂ：ニューラルネット構造を有し、上記第１のパスと上記第２のパスとの出力結果を入力データとして、上記対象ボクセル（６８１ａ）の可視化に関する数値を出力する出力部（６００ｂ）と、
　を含むことを特徴とする、血管抽出プログラム。

　本発明の一形態に係る発明は次のようなものであってもよい：
Ａ１．畳込みニューラルネットワーク（６００）を利用し医療用データ（６０１）からそれに含まれる解剖学的構造体を抽出する画像処理ユニット（４５０）を有する装置（４００）であって、
　上記畳込みニューラルネットワーク（６００）は、
ａ１：複数の畳込み層（ｃｏｎｖ）を含む第１のパスであって、上記医療用データのうちの一部の対象画素（６８１ａ）を含む第１の対象領域（Ｒ１）についてのデータ（５１）が、第１の解像度で入力される第１のパス（Ａ１）と、
ａ２：複数の畳込み層（ｃｏｎｖ）を含む第２のパスであって、上記医療用データのうちの一部の対象画素（６８１ａ）を含む第２の対象領域（Ｒ２）についてのデータ（５２）が、第２の解像度で入力される第２のパス（Ａ２）と、
　を有する畳込み部（６００ａ）と、
　を含むことを特徴とする、装置。

　解剖学的構造体としては、血管に限らず、臓器や骨等であってもよい。

Ａ２．さらに、
　ｂ：ニューラルネット構造を有し、上記第１のパスと上記第２のパスとの出力結果を入力データとして、上記対象画素（６８１ａ）の可視化に関する数値を出力する出力部（６００ｂ）を備える。

　なお、本明細書において、本発明の趣旨を逸脱しない限り、１つの技術的要素と他の技術的要素は適宜組合せ可能である。また、例えば装置の発明として説明された内容は、方法の発明またはコンピュータプログラム（プログラム媒体）の発明としても表現可能である。

１１　心臓
１２　冠動脈
１３　他の血管
１００　薬液注入装置
１１０　注入ヘッド
１５０　コンソール
４００　血管抽出装置
４５０　画層処理ユニット
６００　畳込みニューラルネットワーク
６００ａ　畳込み部
６００ｂ　出力部
６０１　医療用ボリュームデータ
６１１～６１９　畳込み層
Ａ１～Ａ３　パス
Ｂ１～Ｂ２　全結合層
Ｂ３　出力層
Ｃ１～Ｃ２　追加パス

Claims

　畳込みニューラルネットワークを利用し医療用ボリュームデータからそれに含まれる血管を抽出する画像処理ユニットを有する装置であって、
　前記畳込みニューラルネットワークは、
ａ１：複数の畳込み層を含む第１のパスであって、前記医療用ボリュームデータのうちの一部の対象ボクセルを含む第１の対象領域についてのデータが、第１の解像度で入力される第１のパスと、
ａ２：複数の畳込み層を含む第２のパスであって、前記医療用ボリュームデータのうちの一部の対象ボクセルを含む第２の対象領域についてのデータが、第２の解像度で入力される第２のパスと、
　を有する畳込み部と、
ｂ：ニューラルネット構造を有し、前記第１のパスと前記第２のパスとの出力結果を入力データとして、前記対象ボクセルの可視化に関する数値を出力する出力部と、
　を含む、血管抽出装置。
　さらに、前記畳込み部として、
ｃ１：複数の畳込み層を含む第１の追加パスであって、前記医療用ボリュームデータのうちの一部の対象ボクセルを含む対象領域について、前記医療用ボリュームデータのＣＴ値を第１の範囲内にクリップしたデータが入力される第１の追加パスと、
ｃ１：複数の畳込み層を含む第２の追加パスであって、前記医療用ボリュームデータのうちの一部の対象ボクセルを含む対象領域について、前記医療用ボリュームデータのＣＴ値を第２の範囲内にクリップしたデータが入力される第２の追加パスと、
　を含む、
　請求項１に記載の血管抽出装置。
　前記第１の範囲は上限を５００ＨＵとする範囲であり、
　前記第２の範囲は下限を３００ＨＵとする範囲である、
　請求項１または２に記載の血管抽出装置。
　さらに、前記畳込み部として、
ａ３：複数の畳込み層を含む第３のパスであって、前記医療用ボリュームデータのうちの一部の対象ボクセルを含む第３の対象領域についてのデータが、第３の解像度で入力される第３のパスを有する、
　請求項１～３のいずれか一項に記載の血管抽出装置。
　前記画像処理ユニットは、前記可視化に関する数値に基づき当該ボクセルの表示態様を決定し、それに基いて血管を表示するように構成されている、
　請求項１～４のいずれか一項に記載の血管抽出装置。
　前記血管が冠動脈であり、前記医療用ボリュームデータは、少なくとも心臓と冠動脈とを含む範囲のデータである、
　請求項１～５のいずれか一項に記載の血管抽出装置。
　畳込みニューラルネットワークを利用し医療用ボリュームデータからそれに含まれる血管を抽出する血管抽出方法であって、
　前記畳込みニューラルネットワークは、
ａ１：複数の畳込み層を含む第１のパスであって、前記医療用ボリュームデータのうちの一部の対象ボクセルを含む第１の対象領域についてのデータが、第１の解像度で入力される第１のパスと、
ａ２：複数の畳込み層を含む第２のパスであって、前記医療用ボリュームデータのうちの一部の対象ボクセルを含む第２の対象領域についてのデータが、第２の解像度で入力される第２のパスと、
　を有する畳込み部と、
ｂ：ニューラルネット構造を有し、前記第１のパスと前記第２のパスとの出力結果を入力データとして、前記対象ボクセルの可視化に関する数値を出力する出力部と、
　を含むことを特徴とする、血管抽出方法。
　畳込みニューラルネットワークを利用し医療用ボリュームデータからそれに含まれる血管を抽出する血管抽出プログラムであって、
　前記畳込みニューラルネットワークは、
ａ１：複数の畳込み層を含む第１のパスであって、前記医療用ボリュームデータのうちの一部の対象ボクセルを含む第１の対象領域についてのデータが、第１の解像度で入力される第１のパスと、
ａ２：複数の畳込み層を含む第２のパスであって、前記医療用ボリュームデータのうちの一部の対象ボクセルを含む第２の対象領域についてのデータが、第２の解像度で入力される第２のパスと、
　を有する畳込み部と、
ｂ：ニューラルネット構造を有し、前記第１のパスと前記第２のパスとの出力結果を入力データとして、前記対象ボクセルの可視化に関する数値を出力する出力部と、
　を含むことを特徴とする、血管抽出プログラム。