JP7110098B2 - 頭部コンピュータ断層撮影における緊急性の特徴の解釈及び定量化 - Google Patents

Description

関連出願の相互参照
本出願は、２０１５年１２月１８日に出願された米国仮特許出願第６２／２６９，７７８号の利益を主張するものであり、該出願は参照によりその全体が本明細書に組み込まれる。

本明細書に記載の技術は、頭部コンピュータ断層撮影（ＣＴ）画像の定量的評価に関し、特に、コンピュータアルゴリズム的方法及びそれを行うためのコンピュータハードウェアの実装に関する。

頭部外傷、急性出血性卒中、もしくは虚血性脳卒中、または他の神経救急が疑われる患者の迅速な初期評価において、頭部コンピュータ断層撮影（ＣＴ）スキャンが治療における後続ステップ、例えば、患者が入院、初期の外科的治療、及び／または虚血性脳卒中のための血栓溶解剤等の薬物の投与を必要としているかどうか（及びそれらに対する禁忌の非存在）等を決定する上で非常に重要な役割を果たすことは以前から認識されていた。

したがって、入院、神経外科受診、即時外科的介入、または薬物投与へのトリアージを大幅に円滑にするであろう、そのようなＣＴ検査の迅速な解釈の方法が必要である。ＣＴは、ますます、救急車、集中治療室、病棟、手術室、及び戦場で利用可能な携帯型のポイントオブケア画像化技術になりつつあるため、これは特に重要である。さらに、人間の目では不可能なＣＴスキャンの定量的分析及び定量的パラメータの抽出は、予後診断の改善、外科的管理及び他の専門的な治療の必要性に関するより多くの情報に基づく決定、ならびに主観的印象ではなく定量的データに基づいたより標準化された実践ガイドラインのために有用である。そのような定量的データは、例えば、出血部位を含む異常部位の体積の計算、ならびに正中偏位及び脳底槽の消失の重症度の定量化を含む。定性的データ及び定量的データのいずれも、直ちに臨床スタッフの役に立ち、放射線科レポート及び他の診療記録に速やかに組み込むことができる。

これまで、頭部ＣＴ分析のためにヒューリスティックアルゴリズムが提案されてきたが、それらは通常、異常な外観の変動性が高いことに部分的に起因して、真の臨床的有用性を達成するために必要な精度レベルには達しなかった。

本明細書に記載の背景技術に関する議論は、技術の内容を説明するために含まれる。これは、言及される任意の材料が、添付の特許請求の範囲のいずれかの優先日の時点で公開された、既知であった、または一般常識の一部であったことを認めるものであると解釈されるべきではない。

本出願の明細書及び特許請求の範囲を通して、「含む（ｃｏｍｐｒｉｓｅ）」という語及びその変形例、例えば、「含む（ｃｏｍｐｒｉｓｉｎｇ）」及び「含む（ｃｏｍｐｒｉｓｅｓ）」は、他の付加物、構成要素、整数、またはステップを除外することを意図するものではない。

本開示は、急性頭蓋内出血、頭蓋内腫瘤効果の証拠、ならびに出血性卒中及び虚血性脳卒中を含む急性脳卒中等の神経救急の頭部コンピュータ断層撮影（ＣＴ）スキャンを処理するためにコンピュータによって実行される方法に関する。頭部ＣＴ検査から迅速なコンピュータ支援診断情報を提供することに加えて、本開示は、視覚的解釈単独では得ることができない定量的パラメータ及び他の情報の抽出を含む、ＣＴスキャンの定量的分析を行うための方法を含む。そのような分析は、限定されないが出血部位を含む異常部位の体積の計算、正中偏位及び脳底槽の消失の重症度の定量化、ならびにこれらの異常所見の解剖学的位置の迅速な同定を含む。本方法は、ＣＴスキャナコンソールコンピュータに直接インストールされた画像処理ワークステーション上で、またはコンピュータネットワークを介したＣＴスキャンの中央「クラウド」ベースの処理のためのリモートサーバ上で実装され得る。

本開示は、頭部ＣＴ分析のために専用に設計された近似アルゴリズムと、手動で分割した頭部ＣＴ画像からの高密度ピクセル単位のラベル付けを使用して異常な特徴を同定するように訓練されたある種の畳み込みニューラルネットワーク（ＣＮＮ）、及びこれらの特徴の周囲に手動で描かれたボックスから異常な特徴を同定するように訓練された別の種類の畳み込みニューラルネットワークの両方を含む。

頭部ＣＴスキャン上の異なる種類の異常な特徴の検出は、本明細書においてモジュール様式で記載され、頭部ＣＴの異なる態様を評価するために異なる手法が使用される。異なるアルゴリズムが、ヒューリスティック手法とニューラルネットワーク手法とを組み合わせる。

異常なＣＴ特徴を検出するためのシステムの特定の実施形態は、本明細書に記載される手法の全てを含んでもよいか、またはステップのうちの１つ、２つ、もしくはそれ以上のサブセットを含んでもよい。さらに、本明細書に記載される頭部ＣＴ解釈システムのアーキテクチャのモジュール性のため、それが含むアルゴリズム及び手法は、操作の目的または様式と著しく異なることなく、本明細書に記載されるものと同じかまたは異なる順序で実行されてもよい。

頭部コンピュータ断層撮影における緊急性の特徴の自動解釈及び定量化のための方法のフローチャートを示す。 図１の複数のステップで使用される例示的なコンピュータシステムの装置の略図を示す。 脳の正中偏位の定量的特徴付けのための近似法を示す。 緊急医療介入を必要とし得る頭蓋内出血または他の特徴を同定及び位置特定するように畳み込みニューラルネットワークを訓練する方法を示す。 頭蓋内出血または他の緊急性の特徴を位置特定するように訓練された畳み込みニューラルネットワークを適用するための方法を示す。 下方脳ヘルニアの存在及び重症度の特徴付けのための方法を示す。 出血性卒中の場合のように大規模な実質内出血を検出するための本明細書に記載されるシステムの例示的な用途を示す（図７Ａ：異常の自動境界画定、図７Ｂ：頭部ＣＴ画像、図７Ｃ：放射線科医による異常の手動境界画定）。 外傷性頭蓋内出血の場合のように硬膜下出血を検出するための本明細書に記載されるシステムの例示的な用途を示す（図８Ａ：異常の自動境界画定、図８Ｂ：頭部ＣＴ画像、図８Ｃ：放射線科医による異常の手動境界画定）。 小規模な実質内出血を検出するための本明細書に記載されるシステムの例示的な用途を示す（図９Ａ：異常の自動境界画定、図９Ｂ：頭部ＣＴ画像、図９Ｃ：放射線科医による異常の手動境界画定）。 クラウドベースのコンピュータ環境（この特定の例では、ウェブサイトを通したユーザとの対話）に実装された、脳の正中偏位を検出するための本明細書に記載されるシステムの例示的な用途を示す。 非常に薄い硬膜下出血を検出するための本明細書に記載されるシステムの例示的な用途を示す。 出血を検出するための本明細書に記載されるシステムの例示的な用途を示し、検出は画像アーチファクトの存在下であっても正確である。 脳底槽を検出するための本明細書に記載されるシステムの例示的な用途を示す。 出血性挫傷及び下方脳ヘルニアを検出するための本明細書に記載されるシステムの例示的な用途を示す。 ヒューリスティックアルゴリズムを使用して脳の正中偏位及び脳底槽体積を検出及び定量化するための本明細書に記載されるシステムの例示的な用途を示す。 全層畳み込みニューラルネットワークを使用して、脳底槽を検出及び位置特定するため、ならびに下方脳ヘルニアの証拠のためにその形態及び体積を評価するための、本明細書に記載されるシステムの例示的な用途を示す。 全層畳み込みニューラルネットワークを使用して、脳室系を検出及び位置特定するため、ならびに正中偏位及び水頭症を含む頭蓋内腫瘤効果の証拠のためにその形態及び体積を評価するための、本明細書に記載されるシステムの例示的な用途を示す。

コンピュータシステム実装の態様
図１は、頭部ＣＴ画像上で異常な特徴を検出するための方法１００のブロック図を示す。プロセスは１０２または１０４から開始し、頭部ＣＴデータは、ＣＴスキャナ上で作成されるか、またはＰＡＣＳ（Ｐｉｃｔｕｒｅ Ａｒｃｈｉｖｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｙｓｔｅｍ）等の他のローカルまたはリモートコンピュータ格納デバイス上で同定される。

１０６では、これらのＣＴデータがコンピュータシステムのメモリにロードされ、その一般的アーキテクチャの一例が図２に示される。

図２を簡単に参照すると、ＣＴ画像を分析するために図１の種々の後続ステップを行うように構成され得る図２のコンピュータシステムは、ＣＴスキャナコンソール自体に位置してもよいか、または別のワークステーションであってもよいか、またはコンピュータネットワークを介してアクセス可能な「クラウド」内のリモートサーバであってもよい。図２に示されるように、このコンピュータシステムは、一般的に、少なくとも１つの入力（ユーザーインターフェース等）２０２、少なくとも１つのプロセッサ（中央処理ユニット等）２０４、典型的には高速ランダムアクセスメモリ及び非揮発性メモリ（１つ以上の磁気ディスクドライブ等）の両方を含む少なくとも１種類のメモリ２０８、少なくとも１つの出力２０６（モニタまたは他の表示デバイス等）、画像及び他のデータ（図示せず）を格納するためのディスク（図示せず）、ならびにコンピュータ媒体を読み取るための単数または複数のデバイスを含み得る。コンピュータシステムは、本明細書において詳述されるように、好ましくはＧＰＵ（グラフィックス処理ユニット）２１０をＧＰＵメモリ２１２とともに含み得る。コンピュータシステム２００は、例えば、ワークステーション、ネットワークサーバ、ラップトップ、タブレット、もしくはノートブックコンピュータ、パーソナルデジタルアシスタント、スマートフォン、またはメインフレームコンピュータであってもよい。さらに、図２には示されないが、コンピュータシステムは、インターネット、及び例えば高速ネットワークケーブルを介した他のデバイス、または無線接続を含むネットワークを介して他のコンピュータと通信するための少なくとも１つのネットワーク接続または他の通信インターフェースを有してもよい。ネットワーク接続は、病院が相手とデータ（ＣＴデータ及び本明細書に記載の方法を用いた分析の結果等）を共有するために使用することができ、その場合、他方の相手はコンピュータシステム２００と同様の能力を有する第２のコンピュータシステム（図示せず）を有し、コンピュータ２００から共有されるべきデータを受信することができる。コンピュータ２００とインターネット等のネットワークとの間にはファイアウォール（図示せず）が任意選択的に存在してもよい。少なくとも１つ以上の中央処理ユニット２０４、メモリ２０８、及びユーザーインターフェースまたは入力２０２が、少なくとも１つの通信バス（図示せず）を介して互いに通信する。

メモリ２０８は、典型的には以下のうちのいくつかまたは全てを含む手順及びデータを格納する：基本的なシステムサービスを提供するためのオペレーションシステム；１つ以上のアプリケーションプログラム、例えば、パーサー、及びコンパイラ、ファイルシステム、画像及び他の医療データを格納する１つ以上のデータベース、ならびに任意選択的に、例えば画像分析を行うために高レベルの数学的操作を行うために必要な場合は浮動小数点コプロセッサ。本発明の技術の方法はまた、メモリ２０８内またはディスクのいずれかに格納された１つ以上の動的に連結されたライブラリに含まれる機能も利用することができる。

メモリに格納されるデータ及び他のルーチンは、データベース内のデータの量がメモリ２０８内に効率的に格納されるには大き過ぎる場合、代わりに、任意選択的にディスクに格納されてもよい。データ及びルーチンはまた、代わりにまたは部分的に、当業者に理解されるネットワーク方法に従って、ネットワークインターフェースを介してコンピュータシステム２００と通信する１つ以上のリモートコンピュータに格納されてもよい。

とりわけ、メモリ２０８は、少なくともＣＴ画像データの画像分析を行うための命令でコード化される。命令は、所望により、畳み込みニューラルネットワークを介した分析、深層学習分析、及びヒューリスティック手法のうちの１つ以上を行うためのプログラム命令をさらに含むことができる。

特に、制限はないが、ワークステーション、ＰＣ、ラップトップ、ノートブック、タブレット、ネットブック、ならびに携帯電話、移動電話、ウェアラブルデバイス、及びパーソナルデジタルアシスタントを含む他の移動計算デバイスを含む、様々な複雑さの１つ以上の計算装置（演算を行うようにプログラムされ得る機械）上で行われるような、本明細書に記載の技術の種々の実装が企図され得る。本明細書に記載の方法はさらに、量子コンピュータで性能の影響を受けやすい場合がある。計算デバイスは、本明細書に記載の方法を行うソフトウェアを実行するために、限定されないが、グラフィックプロセッサ及び数学コプロセッサを含む適切に構成されたプロセッサを有することができる。さらに、特定の計算機能は、典型的には１つより多くのコンピュータにわたって分布されるため、例えば、１つのコンピュータが入力及び命令を受け取り、第２のまたは追加のコンピュータがネットワーク接続を介して命令を受信し、リモートロケーションで処理を行い、任意選択的に結果または出力を第１のコンピュータに通信し返す。

計算装置の制御は、ユーザーインターフェース２０２を介してであってもよく、表示部、マウス、キーボード、及び／あるいは図２に示されていない他のアイテム、例えば、トラックパッド、トラックボール、タッチスクリーン、スタイラス、音声認識デバイス、ジェスチャ認識技術、人間指紋読み取り機、またはユーザの眼の動きに基づく等の他の入力、またはその入力の任意の部分的組み合わせもしくは組み合わせのうちの１つ以上を含んでもよい。

一実施形態において、計算装置は、ＱＲコードのスキャニング、ジェスチャ認識の使用、バイオメトリックデータ入力、指紋読み取り機、音声認識、またはパスワード入力等によって、ユーザアクセスを制限するように構成することができる。

本技術の操作様式は、１つ以上のソフトウェアモジュール、関数、またはサブルーチンとしての実施形態に減少される場合、バッチモードであってもよいか（バッチで処理されるＣＴデータの格納されたデータベース上で）、または単一の画像もしくは関連する画像の集合に固有の命令を入力するユーザとの対話によるものであってもよい。

本明細書に記載の技術によって作成される画像の分析、及び画像自体は、例えば、モニタ、ラップトップ表示部、あるいはタブレットのスクリーン、ノートブック、ネットブック、または携帯電話もしくはウェアラブルデバイス等の１つ以上のコンピュータ表示部等の有形形態で表示することができる。画像分析はさらに、紙形式に印刷されてもよいか、コンピュータ可読媒体上に保存するためまたはコンピュータ間で転送もしくは共有するための形式の電子ファイルとして格納されてもよいか、あるいはプレゼンテーションの間等に講堂のスクリーンに投影されてもよい。

特定の初期設定がコンピュータ実装に組み込まれてもよいが、ユーザには、ＣＴデータの分析に使用される特徴についてユーザが所望するだけの選択肢が与えられ得る。

ＣＴ画像の前処理
ＣＴ画像は、一般的に２Ｄスライスのスタックとして提供され、放射線科医がそれを一方向または別の方向にスクロールする。２Ｄスライスは任意の厚さのセクションとして表示することができる。またそれらは、骨の細部を強調するためまたは軟組織をより目立たせるため等の閲覧を容易にする何らかの基本的な画像処理を行った後で表示されてもよい。スタックは、任意の選択の２Ｄ平面において、または３Ｄレンダリングとして表示されてもよい。本発明の技術は、スライスの厚さまたは再構成の種類等のパラメータの特定の選択にかかわらず適用され得る。

次に図１のフローチャートに戻ると、１０８において、特定の再構成カーネル、例えば、「軟組織アルゴリズム」または「骨アルゴリズム」を使用してＣＴデータを画像に再構成することによりＣＴデータが変更され得る（しかしながら、必ずしも必要ではない）。この場合の「再構成カーネル」は、人間による閲覧のために、例えば、骨の細部を強調するためまたは軟組織をより目立たせるために、異なる外観の画像をもたらすＣＴデータへのローカルフィルタの適用を具体的に指す、ＣＴ画像の再構成において用いられる用語であることに留意されたい。画像はまた、冠状面、矢状面もしくは軸平面等の種々の平面において、あるいは特定の解剖学的構造（単数もしくは複数）または解剖学的テンプレートとのアライメントによって決定されるように再構成されてもよい。画像はまた、異なる「スライスの厚さ」で再構成され得、臨床画像の場合は２．５または５ｍｍであることが多いが、多くの最新の多列検出器ＣＴスキャナ上で得られるＣＴデータの場合、わずか０．５または０．６２５ｍｍ程度のより薄いスライスの再構成が可能である。

１１０では、頭蓋骨及び頭皮ならびに患者の顔内等の他の頭蓋外軟組織の全てまたは大部分が、ヒューリスティックアルゴリズムを使用して画像から除去される。たとえ目的が頭蓋内の異常を評価することであっても、頭部全体（頭蓋骨、頭皮及び／または他の頭蓋外軟組織を含む）を使用して畳み込みニューラルネットワーク（ＣＮＮ）を訓練することができるが、ヒューリスティック法によって頭蓋骨、顔、及び他の頭蓋外軟組織の全てまたは大部分が最初に除去される場合、訓練はより迅速に進行することができ、より少ない訓練データ及び／またはより浅いもしくはあまり複雑でないＣＮＮが用いられる。

ステップ１１０は、いくつかの方法のうちのいずれかによって行われてもよく、例えば、限定されないが、頭蓋骨及び顔面骨の大部分を確認するための高いハウンスフィールド単位数での閾値処理；その結果得られた骨に、次いで、閉鎖操作に続いて開放操作を行い、頭蓋骨基部の孔、穿頭孔、または頭蓋骨の他の不連続部を全て閉鎖し、それによって脳を完全に取り囲む連続した高密度の「ボールト」を達成すること；最後に、頭蓋内空間を隔離するために充填操作を行い、充填操作の前及び後に画像を差し引くことを含む。

１１０における頭蓋骨及び顔の除去は、デュアルエネルギー及びスペクトルＣＴ技術を用いて補助されてもよく、急性出血を模倣する石灰化及び他の高密度物質が、それらのデュアルエネルギーまたはスペクトルＣＴの特徴によって同定される。頭蓋骨及び顔面骨の一部は、これらの技術によって同定され得、本明細書に記載されるように頭蓋骨及び顔を除去するためのヒューリスティックアルゴリズムを支持するために使用され得る。デュアルエネルギー及びスペクトルＣＴはまた、ヒューリスティック技術によって頭蓋骨、頭蓋骨基部、及び顔面骨がほとんど除去された後に残り得る血管及び硬膜の石灰化等の散在する石灰化を除去するための追加のステップとしても使用され得る。ＣＮＮ（及びヒューリスティックアルゴリズム）によって同定され得る擬陽性頭蓋内出血の多くは、例えば石灰化を含む、典型的な急性出血のＨＵ範囲内のＣＴ減衰が大きい（ハウンスフィールド単位またはＨＵ）の領域からなっているため、この後者のステップは不可欠ではないが、頭蓋内出血の同定のために本明細書において提案されるＣＮＮアルゴリズムの性能を強化し得る。

１１２において、ＣＴ画像の各スライスまたはスタック全体についてＣＴ密度（例えば、ハウンスフィールド単位）のヒストグラムが計算される。このヒストグラムを、例えば、軟組織、急性出血、脳脊髄液、及び石灰化のＣＴ密度の予想されるおよその位置を中心とするガウス分布の和にフィッティングすることにより、手持ちの特定のＣＴ画像についてこれらの異なる組織及び体液のＣＴ密度が決定される。このステップは不可欠ではないが、較正が不十分なＣＴスキャナ等の技術上の問題に起因してそれらの真値から見かけのハウンスフィールド単位のわずかな偏差が生じる場合、本明細書に記載のヒューリスティックアルゴリズムのいくつかの性能を向上させることができる。

１１４において、ＣＴデータから平均値を差し引いて正規化し、それらの平均が０になり、それらの標準偏差が１になるようにした。このステップは不可欠ではないが、畳み込みニューラルネットワークの性能を向上させるのに役立ち得る。

脳の正中偏位の検出
脳の正中偏位は、時に大脳鎌下ヘルニアとも称され、頭蓋内出血からの明確な異常であるが、その評価は頭部ＣＴスキャンを解釈する上で欠かせないものである。脳の正中偏位は、頭部ＣＴ上の緊急性の特徴であり得る。１１６において、この重要な特徴が同定され、本明細書の他の箇所に記載されるように、大脳鎌に対する脳室系の偏位の程度によって定量化される。

簡潔に図３に戻ると、正中偏位を決定するためにどのようにヒューリスティックアルゴリズムが使用され得るかが示される。具体的には、図３は、１１６に記載される機能を良好な精度で達成するための、あるヒューリスティック法の一例を示している。

ＣＴ画像は、典型的には頭部を標準方向にして取得されるが、特に、意識障害がある、混乱している、または意識不明の患者の場合、これが達成され得ないことがある。大脳鎌の位置を特定する前に、肉眼で頭部の回転または傾斜を最初に同定し、位置合わせの結果を向上させるためにそれを修正することが有用であり得る。頭部姿勢の初期予測値を決定するための１つのヒューリスティック法は、たとえ頭部外傷における脳の歪みが存在する場合であっても概して信頼性があり、かつめったに変化しない顔特徴等のある特定の特徴的な解剖学的特徴またはランドマークを位置特定することである。一実施形態において、口語では「目玉」として知られる、固有の顔特徴である眼球は、円ハフ変換の適用によって同定される。次いで、眼球の中心点の位置により、頭部の傾斜または回転を肉眼で特定し、それによって頭部の方向の近似補正を可能にし、後のアトラスに対する位置合わせに役立つとともに、大脳鎌及び脳底槽等の正中線構造が近似的に位置することが予想される頭蓋内空間の正中線の同定を可能にする。

大脳鎌として知られる解剖学的構造は、左右の大脳半球を分離する正常な正中面の位置を定義するため、非常に重要な構造である。放射線科医は、脳がこの線の右に偏位したかまたはこの線の左に偏位したかを評価することによって脳の正中偏位を探す。図３の３０２、３０４、及び３０６に示される一実施形態において、エッジ検出アルゴリズムを適用し、続いてハフ変換により頭蓋内空間の正中線内の直線セグメントを同定することにより、鎌の位置が特定される。

正中偏位の場合には大脳鎌自体が歪む（曲がる）場合があり、直線セグメント自体が正中面を定義するために信頼性をもって使用できないこともある。図３の３０８において、直線セグメントと頭蓋内板との交点が決定される。これらの点は、次いで、鎌の予想される正常平面を定義するために使用することができる。

三次元の平面は、正解値を外れ値から切り離すＲａｎｄｏｍ Ｓａｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ （ＲＡＮＳＡＣ）等の対話式方法を用いてこれらの点にフィッティングすることができる（３１０）。鎌の一部ではない偽直線セグメントによる点は最終フィットモデルに含まれないため、これは高い精度で鎌面を定義する。３Ｄ空間内のノイズの多いデータポイントのセットに対して平面をフィッティングさせるための他のアルゴリズムも、予想される正常な鎌面の位置を特定するために使用することができる。

脳の正中偏位を検出するために、３１２（図３）において、脳脊髄液（約０～１５ハウンスフィールド単位）の範囲内であり、かつ溝等のＣＳＦで満たされたより小さな構造を拒否するために少なくとも数ｃｍ３の体積を上回る低ＣＴ密度のピクセルからなる３Ｄ接続領域の同定を用いて脳室系が定義される。代替として、脳室系はまた、図４に示され、かつ図１７に実例が示されるようなＣＮＮの訓練を用いて同定されてもよい。訓練されたＣＮＮを使用した脳室系の完全自動マッピングは、ＣＮＮの出力である尤度値に依存し、ハウンスフィールド単位で測定されるようなＣＴ密度情報を必要としない。一旦、ヒューリスティック技術またはＣＮＮ技術のいずれかによって脳室系が描写されたら、３１４において、脳室系の対称性を定義するパラメータ（例えば、限定されないが、正中面に対する脳室系の質量中心）が計算される。これらは、次いで正中偏位を定量化するために使用することができる。正中偏位を定量化するための代替の方法は、透明中隔の手動分割により訓練されたＣＮＮを使用して透明中隔の境界を画定し、鎌面に対する中隔の最大偏差を決定することである

畳み込みニューラルネットワークの適用
次に図１に戻ると、１１８において、頭蓋内出血の領域、サブタイプ、及び体積がＣＴ画像から同定される。本明細書に記載される他のステップの場合と同様に、ヒューリスティック技術及び深層学習技術の両方が頭蓋内出血の検出のために行われ得る。好ましい実施形態において、全層畳み込みニューラルネットワーク（ＦＣＮＮ）は、手動で分割した頭部ＣＴデータからの高密度ピクセル単位のラベル付けを用いてエンドツーエンドで訓練される。ＦＣＮＮは、標準的なＣＮＮの頂点またはその付近に典型的に見られる完全接続層を含まないという点において、畳み込みニューラルネットワークとは異なる。

ＣＴ画像上で肉眼で検出可能な頭蓋内出血は、少なくとも１つの寸法において約１ミリメートルから数十センチメートルの範囲のサイズを取ることができ、ほとんど限りなく多様な異なる形態を取ることができる。この問題は、全層畳み込みニューラルネットワークのより高い層とより低い層との組み合わせによって粗い詳細と細かい詳細とを組み合わせる手法を用いる高密度ピクセル単位の予測に適している。

１１８の分析を達成する方法は図４に示され、ＣＴ画像データ上でＦＣＮＮを訓練する際のステップのフローチャートが示される。

本明細書に記載の方法は、ＦＣＮＮを高密度ピクセルのラベル付けの使用と併せた頭部ＣＴ分析に適用する。頭蓋内出血等の頭部ＣＴ画像上の該当する特徴の手動分割に由来する高密度ピクセルのラベル付けが、特徴を同定及びマッピングするようにＦＣＮＮを訓練するために使用される。標準的なＣＮＮは、潜在的に、画像全体に対するフィードバックを使用して頭部ＣＴ上で頭蓋内出血または脳ヘルニア等の特徴を同定するように訓練することができるが（すなわち、画像ごとの学習）、高密度ピクセル単位の学習を使用して訓練されるＦＣＮＮは、所望のレベルの精度までネットワークを訓練するためにかなり少ない数の例示的画像を必要とするという点において、この目的にとってより効率的であり得る。例えば、頭蓋内出血の正確な検出及び定量化は、ブロック１１０、１１２、及び１１４に記載されるヒューリスティックアルゴリズムを用いて前処理したわずか１０００個の例示的な頭部ＣＴ画像上で高密度ピクセル単位の学習を使用してＦＣＮＮを訓練することによって達成されてもよい。好ましくは、訓練画像のセットは、硬膜外出血、硬膜下出血、実質内出血、出血性せん断損傷、及びくも膜下出血等の病態の所望の幅広い範囲のサブタイプを包含する。典型的には、画像全体に適用されるラベルのみを使用して標準的なＣＮＮを訓練することは、正確な検出を達成するためにはるかに多くの画像を必要とし、たとえその場合でも、該当する特徴を正確に位置特定または定量化しない場合がある。ＦＣＮＮ用の訓練画像のセットを拡張するために、鏡映反転（すなわち、左右を反射する）等の変換を使用して、または画像をわずかに回転させることによって元の画像を変更することにより合成画像を作成することができる。

高密度ピクセル単位の学習を使用してＦＣＮＮを訓練するために、一緒になってＦＣＮＮの最も低い２つの層を構成する２つの入力が使用される。ピクセル単位の画像データは、前処理された頭部ＣＴ画像（複数可）を含む「画像データ層」４０２として知られる、ＦＣＮＮの最も低い２つの層のうちの一方を形成する。ＣＴ画像データは、ＦＣＮＮ全体のより良好な性能のために、画像データ層としての入力前に空間分解能においてアップサンプリングまたはダウンサンプリングされてもよい。同様に、未処理の画像データは、平均値を差し引かれてもよく、かつ／またはより良好な性能のために画像データ層としての入力前に単位分散になるよう縮尺変更されてもよい。画像データはまた、画像データ層において、例えば、２の整数乗である所望の寸法サイズを達成するために、その周縁部の周囲で追加のピクセルでパディングされてもよい（ステップは図示せず）。

ＦＣＮＮの下位にある他の入力層（画像データ層を除く）は、画像データ層の各ピクセルにバイナリデータ（０または１）を含む「グランドトゥルース層」（特徴マップ）４２０である。グランドトゥルース層は、画像内の望ましい特徴、例えば、頭部ＣＴ画像上の急性出血の手動分割から生じ、所与のピクセルのゼロ（０）がそのピクセルにおける特徴の非存在に対応し、イチ（１）がそのピクセルにおける特徴の存在に対応する。代替として、画像特徴の分類の目的で、グランドトゥルース層は整数データ（例えば、０、１、２、．．．、ｎ）を含んでもよく、ｎは、ゼロ（０）としてコード化される特徴の非存在を含まない、特徴クラスの数である。例えば、出血の異なるサブタイプは、臨床的に非常に異なる処理を受ける：手術のために急送されるものもあれば、直ちに生命を脅かすとは見なされないものもある。したがって、硬膜下は１、くも膜下は２、硬膜外は３、または実質内は４として、頭蓋内出血を手動でラベル付けすることができ、０は、そのピクセルにはいずれの種類の出血も見られないことをさらに示す。これによりＦＣＮＮが、出血の存在または非存在に加えて、出血の種類を分類することが可能となる。

画像の手動分割及びラベル付けは、ＣＴ画像の解釈において訓練を受けた専門家によって、多くの専門家または非専門家である読み手からの「クラウドソーシング」または結果の利用によって、経験の少ない読み手またはコンピュータアルゴリズムによって行われた分割を専門家が修正することによって、または上記のいくつかの組み合わせによって行うことができる。

画像データ層及びグランドトゥルースデータ層は、単一の２Ｄ画像、各々がＦＣＮＮの個別のチャネルに供給される数個の隣接する２Ｄ画像、または３Ｄ画像の体積からなり得る。例えば、小規模な出血等の、検出することが望ましい多くの特徴はスパースであるため、このスパース性が「クラス不均衡」問題を生じさせる可能性がある：その場合、ＣＮＮの訓練は、負のラベル、すなわちゼロ（０）のグランドトゥルース値を有するピクセルが優位となり、そのため、正の特徴を検出、位置特定、定量化、及び分類するための精度が低下する。この問題に対処するために、グランドトゥルース値がゼロであるピクセルのサブセットのみを訓練に使用することができるが、残りのゼロ値ピクセルは訓練には使用されない。クラス不均衡問題に対処するために、訓練に使用されるゼロ値ピクセルの数は、正のグランドトゥルース値を有するピクセルの数とほぼ一致してもよい。

頭部ＣＴ画像上の該当する特徴を認識するようにＦＣＮＮを訓練するために、画像データ層内のデータが、次いで、フィードフォワードＣＮＮに典型的な計算プロセスにおいてインターリーブされた複数の畳み込み層及びプーリング層を通して伝播される。データ層とは異なり、ネットワークのより高い層の全ては、より低い層（単数または複数）から入力を受信してより高い層（単数または複数）に出力を送信する処理ユニットのアレイからなる処理層である。各「畳み込み層」（図４の４０４、４０６、及び４１０）がローカル処理を行う、すなわち、それは空間的に隣接する処理ユニットの出力のみを使用し、またネットワーク内のより高い層にその出力が供給される前に整流等の出力非線形性も含む。ＣＮＮの最も一般的な出力線形性は「正規化線形関数」（ＲｅＬＵ）であり、これは入力値ｘ＜０では出力ｙ＝０であり、入力値ｘ＞０では出力ｙ＝ｘである区分的線形関数である。

出力非線形性を有する１つ以上の畳み込み層の後、データは「プーリング層」（４０８及び４１２）に供給され、そこで下の層の複数の処理ユニットの出力を単一の出力に組み合わせ、それによってスカラー因子によってプールされる層内の全体的な処理ユニットの数を減少させる。これは、ダウンサンプリングの一形態であると見なされてもよい。データはネットワーク全体を通して伝播されるため、出力非線形性を有する複数サイクルの畳み込みに続いてプーリングが行われてもよい。プーリング及び畳み込みの最終段階の後、次いで、データは「逆畳み込み層」４１４を使用して画像データ層の元のピクセルサイズにデコンボリューションされ、また「クロップ層」４１６を使用して画像データ層の同じピクセル位置に位置合わせされる。

最後に、スコアリング層（４１８）であるネットワークの最上層でＳｏｆｔＭａｘ ｗｉｔｈ Ｌｏｓｓ等の標準的な精度測定基準を使用して、クロップ層とグランドトゥルース層の出力の一致が決定される。ＦＣＮＮを訓練するために、次いで、スコアリング層における誤差の程度が、誤差逆伝播アルゴリズムを使用して下向きの処理層からネットワークにフィードバックされ（図４の矢印として示される）、タスクの性能を向上させるために、処理ユニット間の接続の強度である「重み」を調節する。

特徴の検出及び定量化の精度を向上させるために調節され得るＦＣＮＮのユニットの２つの関連特性は、「カーネル」及び「受容野」である。ＦＣＮＮのｉ番目の層Ｆｉ内のユニットの「フィルタ」または「特徴エンコーダ」としても知られるカーネルは、そのユニットに直接接続された前の層Ｆｉ－１内のユニットのセットである。したがって、そのカーネルのメンバは、Ｆｉ内のユニットの出力を直接調整できるＦｉ－１の唯一のユニットである。Ｆｉ内のユニットのカーネルサイズは、カーネル内に含まれるＦｉ－１の層の両方の寸法（高さ及び幅）に沿ったユニットの数として表される。例えば、３×３のカーネルサイズのユニットは、前の層の高さ寸法に沿って３ユニット、及び幅寸法に沿って３ユニットに接続され、合計で９ヶ所接続されている。

本明細書の他の箇所に説明されるように、カーネルのメンバは、それらの層内の連続した長方形のユニットであり、１より大きな「拡張」因子が導入されない限りはそれらの間に介在するユニットは存在しないことが慣例的である。ユニットの受容野は、直接的にまたはＦＣＮＮの介在層を介してそれが接続される画像データ層（４０２）の領域である。したがって、受容野は、ユニットの値を変更する画像データ層内の要素のセットとして同等に定義され得る。第１の畳み込み層（４０４）において、ユニットのカーネルサイズ及び受容野サイズの両方は、それが直接接続される画像データ層の領域である。例えば、画像データ層に含まれる単一の２Ｄ画像の合計９個のピクセルを表す、単一チャネルを有する２Ｄ画像データ層の３×３正方形領域に接続された第１の畳み込み層内のユニットは、３×３のカーネルサイズ及び受容野サイズを有する。代わりに、２Ｄ画像データ層が３つのチャネルを有する場合でも、チャネルの数はいずれの特性にも影響を与えないため、ユニットの受容野サイズ及びカーネルサイズは３×３のままである。同様に、たとえ画像データ層が３Ｄであっても、ユニットのカーネルサイズ及び受容野サイズは３×３のままであり、それは、ユニットに接続された画像データ層の深さではなく、パッチの高さ及び幅のみがこれら２つの特性を決定するためである。第１の畳み込み層を越えると、ユニットの受容野は、ユニットのカーネル内にある前の層のユニットだけではなく、前の層のそれらのユニットの受容野内の全てのユニットも含むため、ユニットの受容野はそのカーネルサイズよりも大きい。

ＦＣＮＮにおけるプーリング層のユニットに固有の２つの特性は、「プーリング機能」及び「ストライド」である。プーリング機能は、プーリング層のユニットのカーネル内のユニットの出力を組み合わせるために使用される数学的操作である。最も一般的に使用されるプーリング機能は「最大」及び「平均」である。最大プーリング層は、ユニットの出力が、そのカーネル内の全てのユニットの出力の最大値である層である。平均プーリング層は、ユニットの出力が、そのカーネル内のユニットの平均である層である。ストライド因子は、カーネルがプーリング層の隣接するユニットに対して偏位するユニットの数である。よって、ストライド因子は、典型的には正の整数である。プーリング層の全てのユニットのカーネルサイズが２×２であり、ストライドが２である場合、プーリング層ユニットのカーネルは重複していない。先行する層の重複していない各２×２正方形の出力がプーリング層の単一ユニット上にマッピングされるため、プーリング層の幅及び高さは、各々、先行する層の半分である。代わりにストライド因子が１である場合、プーリング層ユニットのカーネルは高さ寸法及び幅寸法の両方に沿って重複する。プーリング層の幅及び高さは、各々、先行する層の幅及び高さよりも１ユニットだけ少ない。一般的に、１より大きなストライド因子の場合、プーリング層の幅及び高さは、それぞれ、先行する層の幅及び高さをストライド因子で除したものである。

望ましい特徴の高密度ピクセル単位の学習のためのＦＣＮＮの精度を高めるために、「拡張」の特性がその畳み込み層の１つ以上に組み込まれてもよい。拡張は、空間分解能または空間有効範囲を損失することなく、畳み込み層のユニットの受容野を広げる。これは、１より大きなストライド因子を有するプーリングで起こるような空間的詳細の損失をもたらすことなく、より大きな空間スケールでの特徴の学習を可能にする。拡張はカーネルサイズを変更しないが、カーネルに属するユニットを広げ、それによって受容野を拡大する。受容野の拡大の程度は、典型的には２の整数乗であるように選択される正の整数である拡張因子に依存する。拡張因子は、次の畳み込み層Ｆｉ内のユニットのカーネルに属する畳み込み層Ｆｉ－１内の隣接する２つのユニット間の分離について説明する。したがって、最も近い隣接機器であるカーネルのユニットがそれらの畳み込み層内でそれらの間に介在するユニットを有しないため、拡張因子１（２０に等しい）は、非拡張畳み込みと同等である。拡張因子２（２１に等しい）は、互いに最も近い隣接機器であるカーネルのユニットが、それらの間にカーネルに属さない層の１つの介在ユニットを有することを意味する。拡張因子４（２２に等しい）は、カーネルの最も近い隣接ユニットが、カーネルに属さない層の３つの介在ユニットによって分離されていることを意味する。よって、第１の畳み込み層（４０４）において、拡張因子１及びカーネルサイズ３×３のユニットは３×３の受容野サイズを有する。第２の畳み込み層（４０６）において、拡張因子２及びカーネルサイズ３×３のユニットは、７×７の受容野サイズを有する。第３の畳み込み層において、拡張因子４及びカーネルサイズ３×３のユニットは１５×１５の受容野サイズを有する。一般に、第１の畳み込み層Ｆ１にカーネルサイズ３×３を有し、各連続層Ｆｉに指数関数的に増加する拡張因子２ｉ－１を有するＦＣＮＮの場合、Ｆｉ＋１内のユニットの受容野の高さ及び幅は両方とも（２ｉ＋２－１）である。

頭蓋内特徴検出及び出血性特徴分類のためのＣＮＮの精度を高めるために、ならびに最適な精度により迅速に達するよう訓練プロセスを加速させるために、「深層残差学習」が用いられてもよい。この手法では、畳み込み層Ｆｉの出力が後の畳み込み層Ｆｉ＋ｎの出力に加えられてもよく、ｎは典型的には２または３である。重要なのは、追加がＦｉ＋ｎの出力非線形性（例えば、ＲｅＬＵ操作）の前に起こるということである。非連続的畳み込み層にわたって起こるこの追加は、追加される出力が介在層をスキップするため、「アイデンティティショートカット」としても知られる。超深層ＣＮＮの場合、すなわち、数十または数百個の層を有するＣＮＮの場合、これらの「残差ネットワーク」（ＲｅｓＮｅｔ）は、特徴の検出及び分類に関して、この追加構成を有しない超深層ＣＮＮよりも高い精度を得ることができる。

ＲｅｓＮｅｔの訓練時間を加速させるために、アイデンティティショートカット間の介在層（複数可）に「ボトルネック」構成が使用されてもよい。ボトルネック構成は、ショートカットの介在層（複数可）の前及び後の両方に１×１のカーネルサイズを有する畳み込み層を介入させる。ショートカットの前の１×１層は、ボトルネックの後で層に加えられる先行する出力層よりも小さいが、ショートカットによってスキップされる介在畳み込み層（複数可）と等しいチャネル寸法を有する。介在層の後の１×１層は、ショートカットの後の層と等しいチャネル寸法を有するが、それはスキップされる層（複数可）よりも大きい。このボトルネックは、介在層のチャネル寸法を減少させる一方で、それらの出力が追加され得るようにショートカットの前と後の層のチャネル寸法をなおも一致させることにより、全体的な計算負荷を低減する効果を有する。

訓練ＣＴ画像に基づくＦＣＮＮの重みの最適化は、いくつかの最適化アルゴリズムのうちの１つを用いて行うことができ、最も広く使用されているのは勾配降下アルゴリズムとして知られるクラスである。この用途に特に効果的な重み最適化アルゴリズムの選択は確率的勾配降下法（ＳＧＤ）である。これは、コンピュータメモリの制約のために、全ての訓練画像上でＦＣＮＮを一度に訓練することは実際には不可能であるためである。ＳＧＤを用いると、ＦＣＮＮの重み最適化は、「ミニバッチ学習」として知られる技術において、一度に小さなバッチの画像を使用して、またさらには「オンライン学習」として知られる技術において、一度に単一画像として行うことができる。これは、通常のコンピュータメモリ及び処理能力の制約内でＦＣＮＮの訓練を可能にする。

ＣＮＮの初期の重みは、特定の訓練データセットを用いて「ゼロから訓練する」ためにランダムに設定することができる。代替として、前のデータセット上で既に訓練されたＣＮＮからの重みが、新しいデータセット上で訓練するための初期の重みとして使用されてもよい。この後者の手法は、「微調整」または「転移学習」として知られており、前のデータセットから学習した特徴を新しいデータセット上の訓練に持ち越すことができ、それによって訓練が加速されるだけでなく全体的な結果がより正確になるという利点を有する。頭部ＣＴスキャン上の緊急性の特徴を学習するために、単一または複数の種類（複数可）のＣＴスキャナモデル（複数可）及びＣＴ画像取得プロトコル（複数可）からのデータセットで既に訓練されたＣＮＮを、異なる種類のＣＴスキャナ及び／またはＣＴ画像取得プロトコルからの新しいデータセット上でさらに訓練することによって微調整することができる。これにより、緊急性の特徴の検出、マッピング、及び定量化の精度の観点から、新しい種類のＣＴスキャナ及び／またはＣＴ画像取得プロトコルから取得されたＣＴ画像上でより良好な性能を達成するように微調整されたＣＮＮを実現する。この転移学習ストラテジーは、画像取得のためのＣＴスキャナのハードウェア及びソフトウェアの進歩にシステムが遅れないようにすることが可能である。

ＧＰＵへの実装
ＦＣＮＮを含むＣＮＮを訓練するために、今日最も効果的なコンピュータアーキテクチャは、１つ以上のグラフィックス処理ユニット（ＧＰＵ）を含み、それらの各々が多くの個別の並行処理ユニットを含む。ＧＰＵを含むコンピュータアーキテクチャのブロック図を図２に示す。その超並列処理のために、ＧＰＵは、ＦＣＮＮの多くの処理ユニットを、中央処理ユニット（ＣＰＵ）にのみ基づくコンピュータアーキテクチャよりもはるかに効率的に具体化することができる。これによって、１つまたは少数のＣＰＵを含むシステムよりも桁違いに迅速であり得るＧＰＵに基づくシステムの訓練速度がもたらされる。ＧＰＵベースの計算システムは、パーソナルコンピュータに組み込まれた専用のＧＰＵワークステーションもしくはＧＰＵチップ（複数可）の形態でローカルであり得るか、またはＡｍａｚｏｎ Ｗｅｂ Ｓｅｒｖｉｃｅｓ（ＡＷＳ）Ｅｌａｓｔｉｃ Ｃｏｍｐｕｔｉｎｇ Ｃｌｏｕｄ（ＥＣ２）から入手可能なもの等のクラウドベースのＧＰＵインスタンスの形態でリモートであり得る。ＧＰＵを使用したとしても、頭部ＣＴ画像上で特徴を検出するためのＦＣＮＮの訓練は、訓練画像の数及びＧＰＵの処理能力に依存して、何時間もの、またはさらには最長１日もしくはそれ以上の計算時間を必要とし得る。３Ｄ体積でのＦＣＮＮの訓練は、典型的には、データの体積がより大きいことに起因して２Ｄ画像よりも多くの計算時間を必要とする。

頭部ＣＴ画像データ上のＣＮＮ訓練をさらに加速させるために、ＧＰＵの至る所で効率的なデータ転送を可能にするように、非常に高いバンド幅のネットワーク接続にわたって並行に作動する多くのＧＰＵに重み最適化プロセスを分布させてもよい。そのような構成は、ＮＶＩＤＩＡ ＤｅｖＢｏｘ等のローカルマルチＧＰＵワークステーション上で、またはＡＷＳ ＥＣ２ Ｃｌｏｕｄ Ｆｏｒｍａｔｉｏｎ等のクラウドベースのマルチＧＰＵ計算クラスタとして具体化することができる。複数のＧＰＵを使用して「分布された深層学習」を達成するために２つの主な方法が存在する。「モデル並列処理」として知られる１つの手法は、ＣＮＮモデルの重みを異なるＧＰＵにわたって分割し、各々が同じデータのセット上で訓練され、次いで、ＣＮＮモデルの全体的な出力を決定するためにＧＰＵにわたって各ＣＮＮモデル部の出力が交換される。「データ並列処理」として知られる別の手法は、バッチ内のＣＴ画像を異なるＧＰＵにわたって分割し、同じＣＮＮモデル全体で訓練され、次いで、バッチの各サブセットに対する訓練に起因する重み勾配の更新が加算されてデータの全バッチについて全体的な重み勾配の更新が決定される。モデル並列処理は、多くの重みを有する（完全接続層を有する等）ＣＮＮアーキテクチャにより効率的である。データ並列処理は、特に、大量のデータ上で訓練される場合、ＦＣＮＮ等の比較的少ない数の重みを有するＣＮＮにより効率的である。モデル並列処理がＣＮＮの完全接続層に使用される一方で、データ並列処理が畳み込み層に使用されるように、分布された深層学習は層に固有の様式で適用され得る。

大規模なＣＴ画像データセット上でＦＣＮＮの訓練を加速するためには、複数のＧＰＵにわたるデータ並列処理が最も効率的なストラテジーである。これは、バッチの異なる画像に対する重み勾配の更新がＧＰＵにわたって並行して起こり、一旦完了すると、次いでそれらの重み勾配の更新がＧＰＵ上で合計され、バッチ全体に全体的な重みの更新をもたらすという点において、ＧＰＵにわたって「同期」である分布版のＳＧＤを使用して実装され得る。ＳＧＤ最適化の逆方向パスの重み勾配の更新のみがＧＰＵにわたって合計される必要がある。順方向パスの重み勾配の更新は、単一ＧＰＵ訓練の場合に起こるように各ＧＰＵ上で独立して起こり得る。逆方向パスの重み勾配の更新は、「パラメータサーバ」と称される単一ＧＰＵによってＧＰＵにわたって合計され得、次いで、合計された重み勾配の更新を他の全てのＧＰＵに通信してそれらのＦＣＮＮモデルのコピーに使用する。
通信時間はＧＰＵの数に比例するため、多数のＧＰＵにわたって訓練する場合はパラメータサーバが通信ボトルネックになってもよい。この場合、「削減ツリー」手法を用いることがより効率的であり得、重み勾配の加算がネットワーク内の隣接するＧＰＵにわたってボトムアップ様式で階層的に行われ、次いで最終的に加算された勾配が全てのＧＰＵにトップダウンで伝播される。削減ツリーの通信時間は、ＧＰＵの数の対数に比例し、対数の底は、階層の各レベルで重み勾配を加算する隣接するＧＰＵの数である。

訓練されたＦＣＮＮを新しい画像に適用する
図５に示すように、十分な頭部ＣＴ画像上で訓練されてから、訓練されたＦＣＮＮは、次いで、例えば、該当する特徴（複数可）を検出するためのその制度を決定するために、その訓練セット内の画像とは異なる頭部ＣＴ画像を評価するために使用され得る。このプロセスは、「試験」と称される。その性能の見直しは、ＦＣＮＮスコアリング層の精度測定基準を使用して定量的に、または放射線科医等の専門家による出力の視覚的解釈によって定性的に行うことができる。完全に訓練されたＦＣＮＮを新しい画像に適用するこのプロセス（図５）は、ＦＣＮＮを訓練するプロセス（図４）よりも著しく迅速であり、典型的にはわずか数秒から数分を要する。訓練されたＦＣＮＮを提供する迅速な性能にはＧＰＵが必要とされない場合がある。しかしながら、複数のＧＰＵが利用可能な場合、順方向パスのみが必要であり、したがって異なるＧＰＵが異なる画像上で互いとは関係なく作動することができるため、ＦＣＮＮの試験にデータ並列処理を適用することは簡単である。

ＦＣＮＮの出力は、所与の特徴の存在または非存在を表す頭部ＣＴ画像の各ピクセルのバイナリ値の代わりに、そのピクセルに存在する特徴の尤度を表す０～１の範囲の実数である確率値が存在することを除いて、グランドトゥルースデータに類似する。特定の閾値、例えば０．７を超える確率を有する全てのピクセル（「閾値上ピクセル」）の面積の合計は、２Ｄ画像上の特徴の総面積を測定するために使用することができる。隣接する２Ｄ画像にわたって適用され、その各々がピクセル単位に基づいて特徴を同定するように訓練されたＦＣＮＮによって分類されており、閾値上ピクセルの面積の合計に２Ｄ画像の厚さを乗じたものが、画像の３Ｄスタック内の特徴の体積を計算するために使用され得る。これは、頭部ＣＴ画像が通常、全ての２Ｄ画像にわたって一定の厚さで再構成されるためである。

急性頭蓋内出血等の緊急性頭部ＣＴ特徴の検出、マッピング、及び定量化の精度は、単一の完全に訓練されたＣＮＮだけでなく、複数の完全に訓練されたＣＮＮのアンサンブルを用いることによって向上させることができる。各ピクセルに存在する特徴の、０～１の確率として表される各ＣＮＮの出力は、そのピクセルにおける特徴の全体的な確率を生成するように、他の全てのＣＮＮの出力で、及び／または他の種類の機械学習分類子で平均化することができる。ＣＮＮのアンサンブルからの結果は、特に、アンサンブルの異なるＣＮＮが訓練プロセスの間に使用される異なるネットワークアーキテクチャ及び／またはハイパーパラメータを有し、したがってＣＮＮの全アンサンブルを使用することによって組み合わせることができる特徴検出プロセスに対して異なる強度を有し得る場合に、単一のＣＮＮからの結果よりも正確であり得る。完全に訓練されたＣＮＮを試験するためのデータ並列処理と同様に、各ＣＮＮが同じ試験データを使用して個別のＧＰＵ上で実行することができ、次いで、これらの結果を各ＣＮＮの最終出力が入手可能になってから組み合わせることができるため、完全に訓練されたＣＮＮのアンサンブルを使用することは並列に動作する複数のＧＰＵからの恩恵も受けている。これは、同じＧＰＵ上で各ＣＮＮを連続的に実行するよりもはるかに迅速である。単純に平均化することによって完全に訓練されたＣＮＮの結果を組み合わせることに加えて、より高度な方法、例えば、あまり正確ではないことが分かっている結果よりも、所望の特徴に対してより良好な精度を有することが分かっているＣＮＮの結果をより強く優先する重み付け平均等が可能である。

サイズ及びＣＴ密度等の主な特徴の定量化のために、ＦＣＮＮに由来する尤度値からピクセルにおける特徴の存在を決定するための最適な閾値は、画面上で検出される特定の特徴及び尤度値の分布に依存する。ピクセル単位の学習を使用して十分に訓練されたＦＣＮＮによる頭蓋内出血のマッピングの例では、専門家である放射線科医による尤度値のヒストグラムの経験的評価により、典型的には０．６～０．８の範囲の最適な閾値が得られる。訓練されたＦＣＮＮからのピクセル単位の尤度値を使用して特徴の空間的広がりをマッピングするための他の代替手法は、ヒストグラムの特徴に基づく自動閾値選択、及び固定尤度閾値は必要としないが、むしろ高い尤度値を有する連続ピクセルをクラスタ化する方法、例えば、閾値のないクラスタ強化（ｔｈｒｅｓｈｏｌｄ－ｆｒｅｅ ｃｌｕｓｔｅｒ ｅｎｈａｎｃｅｍｅｎｔ）を含む。

サイズ以外の、訓練されたＦＣＮＮを使用して定量化され得る頭部ＣＴスキャン上の特徴の別の有用な特性は、Ｘ線減衰としても知られるＣＴ密度であり、通常はハウンスフィールド単位で測定される。特徴の空間的広がりが頭部ＣＴ画像または画像のセット上でマッピングされると、その特徴を含む各ピクセルのＣＴ密度が元の頭部ＣＴ画像から、ハウンスフィールド単位のそのピクセルの値として決定され得る。訓練されたＦＣＮＮの出力である尤度マップ内のピクセルが、元の頭部ＣＴ画像のピクセルと一致した状態に保たれるため、これはうまく機能する。ＣＴ密度情報の有用性の一例は頭蓋内出血によって提供され、出血領域内の血液のＣＴ密度が、通常、出血の激しさを示し、より最近の出血は、通常、古い出血よりも高いハウンスフィールド単位を有し、それによって放射線科医及び臨床医に有用な情報を提供する。

患者の世話をする医療スタッフにとってだけではなく、研究目的のためにも、異常の解剖学的位置を知ることは有用であり、１２４において標準的なＣＴまたはＭＲＩ脳アトラスに脳を位置合わせすることによってこれを達成することができる。これは、解剖学的位置が入手可能な以下のうちのいずれかに対する評価中の頭部ＣＴの位置合わせを含むいくつかの手法によって行うことができる：１）「標準的な」頭部ＣＴアトラス、２）対応する脳ＭＲＩが存在する標準的な頭部ＣＴ、または３）直接的に脳ＭＲＩ。このプロセスは、Ｍｏｎｔｒｅａｌ Ｎｅｕｒｏｌｏｇｉｃａｌ Ｉｎｓｔｉｔｕｔｅ（ＭＮＩ）アトラス、または任意の他の分割もしくはラベル付けされたＣＴもしくはＭＲＩ脳アトラス等の任意の脳アトラスを用いて行うことができる。頭部ＣＴ画像の位置合わせに使用されるアルゴリズムは、アフィン変換のためのいくつかの標準的な方法、すなわち、平行移動、回転、スケーリング、及びせん断、または非線形ワーピングのうちの１つであり得る。場合によっては、大規模な頭蓋内出血または他の病変等の異常の存在によって脳が著しく歪み、標準的なアトラスへの正確な位置合わせがより困難となるため、より信頼性の高いランドマーク、例えば、鎌の頭蓋骨への付着部、鞍背、眼窩もしくは眼球、またはめったに変化しないか、または頭蓋内の病理学的条件の存在によって変位されない他の頭蓋骨もしくは顔のランドマークが、位置合わせを補助するために使用され得る。

スキャンの脳アトラスへの解剖学的位置合わせ後に入手可能な頭部ＣＴスキャンからの正確な空間位置情報（例えば、ピクセルの座標）もまた、緊急性の特徴を検出、マッピング、及び測定するための、ＦＣＮＮを含むＣＮＮの精度を向上させるために有用であり得る。異常の中には頭部のある特定の位置に生じる確率が高いものもあり、ＣＮＮは、特定の位置における異常の存在または非存在の予測を向上させるためにその空間情報を使用することができる。これは、例えば、ＣＮＮを訓練する際に使用される特徴として三次元アトラス座標（ｘ、ｙ、及びｚ）を組み込むことによって達成され得る。

高密度ピクセル学習を使用するＦＣＮＮの場合、データ層内の画像が２Ｄであろうと３Ｄであろうと、データ層内の画像の各ピクセルに対する３つの空間座標をＦＣＮＮの第１の畳み込み層における３つの追加チャネルとして加えることができる（図４の４０４）。このように、第１の畳み込み層の出力が、この正確な空間情報を組み込む。代替として、各ユニットの受容野中心のｘ、ｙ、及びｚ空間座標が、追加チャネルとしてより高いレベルの畳み込み層に加えられてもよい（例えば、図４の４０６または４１０）。ピクセルレベルの空間座標はまた、最終スコアリング層（４１８）に直接加えられてもよく、ＦＣＮＮモデルの全体的な誤差がグランドトゥルース層との比較によって計算され、逆方向パスの間にＦＣＮＮを遡って重みの調節に使用される。

ＦＣＮＮのより低いレベル／より高いレベルに空間位置情報を追加することによる、急性頭蓋内出血等の特定の緊急性の特徴を検出、マッピング、及び定量化するための性能の向上は、経験的に決定される。ＣＮＮの訓練に使用される空間情報は、三次元のｘ、ｙ、及びｚ空間座標に限定されるものではなく、主要な脳の解剖学的ランドマークまでの距離等のアプリケーション固有であり得る他の重要な位置特徴も含むことができる。例えば、脳の正中線からまたは頭蓋内板からの距離は緊急性頭部ＣＴ分析の重要な特徴であることが多いため、この距離は、ｘ、ｙ、及びｚ空間座標に使用されるものに対する追加のチャネルとして畳み込み層の各ピクセルまたは各ユニットに加えられてもよい。さらに、本明細書の他の箇所に記載され、かつ図３及び図１０に示される方法を用いて、ＣＴスキャンの標準的な脳アトラスへの位置合わせなしで、脳の正中線からの距離を決定することもできる。したがって、このようないくつかの種類の空間情報は、たとえ、図１０及び図１２のように、スキャン画像のアーチファクトに起因して、及び／または標準的な脳アトラス空間への変換を妨げる重度の脳の歪みに起因して、脳アトラスへの位置合わせが不可能であることが分かっている場合でも、なおもＣＮＮの訓練に使用することができる。

頭部ＣＴスキャン上の緊急性の特徴の検出、位置特定、及び分類に使用することができるＦＣＮＮ以外の別の種類のＣＮＮは、領域ベースの畳み込みニューラルネットワーク（Ｒ－ＣＮＮ）である。本明細書で上述した高密度ピクセル単位のラベル付けを用いたＦＣＮＮと比較すると、Ｒ－ＣＮＮの利点は、特徴の大まかな輪郭のみの手動描写を必要とすることであり、それは特徴に含まれる全ピクセルの手動分割ではなく、特徴の周りにボックスを描くのと同じくらい単純であり得る。しかしながら、この「バウンディングボックス」を用いた教師あり訓練手法を使用するＲ－ＣＮＮは、高密度ピクセル単位のラベル付けを用いるＦＣＮＮのようには特徴の位置特定またはそのサイズの定量化が正確ではない。

その最も効果的かつ効率的な実装において、Ｒ－ＣＮＮは、特徴の検出、位置特定、及び分類のタスクを完了する完全Ｒ－ＣＮＮの追加の層を有するＦＣＮＮの形態の領域提案ネットワーク（ＲＰＮ）からなる。ＲＰＮは、該当する特徴を含むボックスを探す。これを行うために、ＲＰＮは、複数のスケール（すなわち、ボックスサイズ）及び複数のアスペクト比（すなわち、ボックスの幅と高さの比）の「アンカーボックス」と称される重複するセグメントに入力画像を分割する。画像全体が、各スケール及びアスペクト比のアンカーボックスによって覆われる。一般的に５１２×５１２ピクセルである入力頭部ＣＴ画像の場合、アンカーボックスの典型的なスケールは３２、６４、及び１２８ピクセルであり得、典型的なアスペクト比は、１：１、２：１、及び１：２である。

教師あり訓練の場合、ＲＰＮはまた、画像内に含まれる各特徴の画像上に手動で描かれる入力「グランドトゥルースボックス」を採用する。グランドトゥルースボックスとのＩｎｔｅｒｓｅｃｔｉｏｎ－Ｏｖｅｒ－Ｕｎｉｏｎ （ＩｏＵ）重複が０．７を超えるアンカーボックスは「正」であると見なされ、ＩｏＵは、２つのボックスの共通集合に含まれるピクセルの数と２つのボックスの和集合に含まれるピクセルの数との比として計算される。アンカーボックスはまた、グランドトゥルースボックスとのＩｏＵの観点から上位のアンカーボックスの間に位置付けられる場合に正であると見なされてもよく、正であると認められたそのようなアンカーボックスのパーセンテージは、特定の特徴検出タスクによって異なり得る。いずれのグランドトゥルースとも０．３超のＩｏＵを有しないアンカーボックスは「負」であると見なされる。アンカーボックスに対するこれらの正及び負のラベルはＲＰＮを訓練するために使用され、これらの基準によって正または負であると認められないアンカーボックスにはラベルが付与されず、したがってＲＰＮの訓練には寄与しない。

ＦＣＮＮであるＲＰＮの訓練は、本明細書で上述したものと同じ方法を使用する。標準的なＦＣＮＮ手法との主な相違点は、ＲＰＮの提案されるバウンディングボックス領域とグランドトゥルースボックスとの間のマッチを決定するスコアリング層が、典型的なＦＣＮＮ用のＳｏｆｔＭａｘ ｗｉｔｈ Ｌｏｓｓとは異なる目的関数を使用することである。ＲＰＮの場合、最小限に抑えられる目的関数（すなわち誤差）は、分類誤差と回帰誤差の合計である。分類誤差は、各アンカーボックスが正である、すなわち、グランドトゥルースボックスと強く重複するという尤度を取得するのに対し、回帰誤差は、各正のアンカーボックスと、それと重複するグランドトゥルースボックスの二次元画像のｘ及びｙ座標に沿った位置における差を取得する。この「バウンディングボックス回帰」法は、Ｒ－ＣＮＮ全体の位置特定精度を向上させる。本明細書で上述した高密度ピクセル単位のラベル付けを用いるＦＣＮＮと同様に、正のアンカーボックスが負のアンカーボックスよりもはるかに少ない場合、ＲＰＮは負のラベルを有するアンカーボックスのサブセットのみを用いてクラス不均衡問題を解決するように訓練することができる。Ｒ－ＣＮＮ訓練のためのグランドトゥルースボックスは典型的には長方形の形状であるが、それらは任意の不規則な多角形の形状として手動で描かれてもよい。マルチチャネル２Ｄまたは完全３Ｄ教師あり訓練のために複数の隣接する２Ｄ画像にわたって特徴を描写するために、同じ特徴に対応する各２Ｄ画像上のグランドトゥルースボックスが同じラベルに割り当てられる。これらのグランドトゥルースボックスは、２Ｄ画像にわたって同じサイズまたは形状である必要はない。

Ｒ－ＣＮＮでは、ＲＰＮの後に特徴検出及び分類ネットワーク（ＦＤＣＮ）が続くが、これは単一の統合されたＣＮＮを形成するようにＲＰＮと組み合わせることができる。ＦＤＣＮは、ＲＰＮの出力を入力として受け取る。ＦＤＣＮ自体は、ＦＣＮＮ及びＲＰＮと同様に畳み込み及びプーリング層からなるが、このＦＤＣＮの初期部分の出力はＦＤＣＮの最終段階のために入力を形成し、それには、最大プーリング層に続いて将来的な処理のために１つ以上の連続的な「完全接続」層が含まれる。完全接続層は、その前の層が畳み込み層、プーリング層、またはそれ自体が完全接続層であるかどうかにかかわらず、全てのユニットが前の層の全てのユニットとの接続を有する層である。次いで、最後の完全接続層の出力は、特徴分類のための多クラスＳｏｆｔＭａｘ ｐｌｕｓ Ｌｏｓｓ層及び特徴位置特定のためにバウンディングボックス回帰を行う別の層の両方に供給される。各グランドトゥルースボックス内の特徴について、任意の数のクラスに対して手動で提供される分類ラベルは、分類ＳｏｆｔＭａｘ ｐｌｕｓ Ｌｏｓｓ層を訓練するためのデータを提供する。例えば、０のクラスラベルは出血なし、１は硬膜下出血、２は硬膜外出血、３はくも膜下出血、及び４は実質内出血に使用することができる。これは高密度ピクセル単位のラベル付けを用いたＦＣＮＮの多クラス分類と同様であるが、但し、ラベルは、教師あり訓練に使用されるあらゆるピクセルにではなく、あらゆるグランドトゥルースボックスにのみ提供される必要がある。ＲＰＮの場合と同様に、ＦＤＣＮの訓練は本明細書で上述したものと同じ方法を用いる。Ｒ－ＣＮＮ全体の訓練を達成するために、ＲＰＮ及びＦＤＣＮは交互に訓練されてもよく、ＲＰＮが最初に訓練され、次いでその出力がＦＤＣＮの訓練に用いられる。訓練されたＦＤＣＮは、次いでＲＰＮを初期化するために使用され、反復プロセスが繰り返される。典型的には、最適な性能を達成するために１回または数回の反復のみが必要とされる。

下方脳ヘルニア及び鉤ヘルニアは、頭部ＣＴ上で遭遇し得る２つの他の緊急性の特徴である。１２０においてこれらの特徴が同定される。図６は、これらの重要な特徴の定量的測定を同定及び提供するためのヒューリスティックアルゴリズムのブロック図を示す。図６のヒューリスティックアルゴリズムの例では、脳底槽が頭蓋骨基部の周囲構造に対して位置付けられ、次いでその体積が測定される。本開示を通して脳底槽と称される鞍上槽は、鞍背に対するその関係によって位置付けられる。鞍背は、頭蓋骨基部内の普遍的なランドマークであり、骨ピクセルのみを維持するための閾値処理を行い（６０４）、鞍背を含む、眼球に対する典型的な３Ｄ空間領域（６０２）内で直線横（左右）方向の２０度以内に正中線に線セグメントを検出する線形ハフ変換を適用する（６０６）ことによって位置付けることができる。このプロセスは、高い精度で鞍背を同定する（６０８）。次いで、脳底槽の体積が計算される（６１０）。代替として、脳底槽が同定されてもよく、その体積定量化及び形態は、脳底槽の手動分割からの高密度ピクセル単位のラベル付けを使用してＦＣＮＮを訓練することにより決定される。高密度ピクセル単位のラベル付けを使用してＦＣＮＮを訓練するプロセスについては本明細書で上述している。

１２６では、定量的サマリーパラメータが、全ての頭部ＣＴ検査について計算されるか、またはＣＴ検査の臨床適応に基づいてユーザによって選択可能である。マーシャル及びロッテルダムＣＴスコアは、例えば、頭部外傷／外傷性頭蓋内損傷が疑われる臨床適応のために行われる頭部ＣＴ検査について計算されてもよい。

１２８では、全てのＣＴ検査について、または特定のＣＴ検査の臨床適応に基づいてユーザによって選択可能なフォーマットで、サマリーレポートが作製される。例えば、標準的な放射線学的解釈のフォーマットに続くレポートが作成され得、例えば、診療記録のための最終決定の前に、放射線科医または臨床医によって編集されるというオプションを伴う。

例示的なコンピュータ実装
本明細書に記載の方法は、好ましくは、１つ以上のコンピュータシステム上のソフトウェアとして実行される命令として実装され、実装は、コンピュータ画像処理の技術分野の当業者の能力内である。具体的には、本明細書に記載のＣＴデータの操作のためのコンピュータ機能は、データ及び画像処理の技術分野の熟練プログラマーによって開発され得る。機能は、場合によっては混合実装を含む多数の様々なプログラミング言語で実装され得る（すなわち、互いに通信するように適切に構成された１つより多くの計算言語で書かれた個別の部分に依存する）。例えば、機能、及び任意の必要なスクリプティング機能は、Ｃ、Ｃ＋＋、Ｊａｖａ、ＪａｖａＳｃｒｉｐｔ、ＶｉｓｕａｌＢａｓｉｃ、Ｔｃｌ／Ｔｋ、Ｐｙｔｈｏｎ、Ｐｅｒｌ、Ｃ＃等のＮＥＴ言語、及び他の均等な言語でプログラムされ得る。画像処理のための特定の演算機能は、科学的なプログラミング言語で書かれてもよく、好ましくはＧＰＵを利用する形態で実装される。技術の能力は、基本的な機能へのアクセスの実装または制御のために使用される根底にあるプログラミング言語によって限定されず、またそれに依存しない。代替として、機能性は、三次元画像データを操作するために以前に開発された機能に依存するツールキット等のより高いレベルの機能から実装されてもよい。

本明細書に記載の技術は、今日使用されている周知のコンピュータオペレーションシステムのいずれか及び本明細書に列挙されていない他のシステムによって実行するように開発することができる。これらのオペレーションシステムは、限定されないが、Ｗｉｎｄｏｗｓ （Ｍｉｃｒｏｓｏｆｔ Ｃｏｒｐｏｒａｔｉｏｎから入手可能なＷｉｎｄｏｗｓ ＸＰ、Ｗｉｎｄｏｗｓ９５、Ｗｉｎｄｏｗｓ２０００、Ｗｉｎｄｏｗｓ Ｖｉｓｔａ、Ｗｉｎｄｏｗｓ ７、Ｗｉｎｄｏｗｓ ８（Ｗｉｎｄｏｗｓ ８．１等として知られる種々の最新版を含む）、及びＷｉｎｄｏｗｓ １０等を含む）；Ａｐｐｌｅ ｉＯＳ（ｉＯＳ３、ｉＯＳ４、及びｉＯＳ５、ｉＯＳ６、ｉＯＳ７、ｉＯＳ８、ｉＯＳ９、ｉＯＳ１０、ならびにそれらの間に存在する最新版等の変形例を含む）；Ａｐｐｌｅ Ｍａｃｉｎｔｏｓｈオペレーションシステム、例えば、ＯＳ９、ＯＳ １０．ｘ、ＯＳ Ｘ（「Ｌｅｏｐａｒｄ」、「Ｓｎｏｗ Ｌｅｏｐａｒｄ」、「Ｍｏｕｎｔａｉｎ Ｌｉｏｎ」、「Ｌｉｏｎ」、「Ｔｉｇｅｒ」、「Ｐａｎｔｈｅｒ」、「Ｊａｇｕａｒ」、「Ｐｕｍａ」、「Ｃｈｅｅｔａｈ」、「Ｍａｖｅｒｉｃｋｓ」、「Ｙｏｓｅｍｉｔｅ」、及び「Ｅｌ Ｃａｐｉｔａｎ」として知られる変形例を含む；ＵＮＩＸオペレーションシステム（例えば、Ｂｅｒｋｅｌｅｙ Ｓｔａｎｄａｒｄバージョン）ならびにＩＲＩＸ、ＵＬＴＲＩＸ、及びＡＩＸ等の変形例；Ｇｏｏｇｌｅ Ｃｈｒｏｍｅ、及びＡｎｄｒｏｉｄ ＯＳバージョン；ならびにＬｉｎｕｘオペレーションシステム（例えば、Ｒｅｄ Ｈａｔ Ｃｏｍｐｕｔｉｎｇ及びＵｂｕｎｔｕ等のオープンソースディストリビューションから入手可能）を含む。

所与の実装が、三次元画像データを操作するための機能、及び数学的形式をそれに適合させる態様を計算するための機能、ならびにニューラルネットワーク及び深層学習法の態様を実装するための機能等の既に実装されている他のソフトウェアコンポーネントに依存する限り、それらの機能は、当業者であるプログラマーにアクセス可能であると推定することができる。

さらに、本明細書に記載されるように、適切にプログラムされたコンピュータにＣＴデータを分析するための方法を実行させる実行可能命令は、任意の適切なコンピュータ可読形式で格納及び送達され得ることを理解されたい。これは、限定されないが、携帯型の読み取り可能なドライブ、例えば、コンピュータのＵＳＢポートに接続することができるような大容量（例えば、０．５ＴＢ、１ＴＢ、２ＴＢ、またはそれ以上の）の「ハードドライブ」または「ペンドライブ」、コンピュータの内蔵ドライブ、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、または任意選択的なディスクを含むことができる。さらに、実行可能命令は、携帯型コンピュータ可読媒体に格納され得、購買者またはユーザにそのような有形形態で送達され得る一方で、実行可能命令は、それ自体がＷｉ－Ｆｉ等の無線技術に一部依存し得るインターネット接続を介してリモートロケーションからユーザのコンピュータにダウンロードされ得ることを理解されたい。本技術のそのような態様は、実行可能命令が信号の形態または他の無形実施形態を取ることを暗示するものではない。実行可能命令はまた、「仮想マシン」実装の一部として実行されてもよく、それは、パブリッククラウド、プライベートクラウト、またはハイブリッドクラウドの一部であるデータセンター等のローカルまたはリモートロケーションであり得る。

１つ以上の計算装置への本明細書に記載の方法のプログラム実装は、ＣＴスキャナ等の医療用撮像デバイスと通信する機能の実装も含む。したがって、例示的な実装は、ＣＴスキャナから直接データを受け取って、その出力を撮像デバイスに戻すか、または医療専門家もしくは技術者に直接に戻すように適切に構成され得る。このようにして、スキャナは、これまで医療専門家によるさらなる検討のための形態でしか表示することができなかった画像の有意義な分析を提供することができるため、本明細書に記載されるように実装された方法はＣＴスキャナの性能の向上をもたらす。

実施例１：出血性卒中において見られるような大規模な実質内出血の迅速な検出（図７）。
図７の中央に示されるＣＴ画像（パネルＢ）は、本明細書の他の箇所に記載される方法を用いて頭蓋骨及び頭蓋外組織を除去するために前処理した。５１２×５１２ピクセルを含む前処理されたＣＴ画像を、図５に示され、かつ本明細書で上述した種類の訓練されたＦＣＮＮの画像データ層に入力した。ＦＣＮＮアーキテクチャは、５０４及び５０６に示されるような２つの畳み込み層からなり、５０８に示されるように、各々がＲｅＬＵ出力非線形性の後にプーリング層を有する。前の層からの隣接する入力をプーリングすることにより、この第１のプーリング層の出力は２５６×２５６ピクセルであった。プーリング層の出力は、５１０に示されるように、各々がＲｅＬＵ出力非線形性を有する２つの追加の畳み込み層に供給される（Ｘ＝０及びＹ＝１）。次いで、５１２に示されるように、これらの３番目及び４番目の畳み込み層の出力が第２のプーリング層に供給され、それによってピクセル寸法が１２８×１２８に減少された。この後に３つの追加の畳み込み層が続いた（図５のＺ＝３）。次いで、５１４に示されるように、最後の（７番目の）畳み込み層の出力が逆畳み込み層に供給され、そこで画像が５１２×５１２ピクセルにアップサンプリングされ、５１６に示されるようにその後にクロップ層が続き、出力が、画像データ層内の前処理された画像と同じピクセル位置に位置合わせされた（５０２）。次いで、図７の左側の画像で段階的な青色（０）から赤色（１）のカラースケール上に示されるように（０は、その位置には特徴が存在しないという確実性を示し、１は、その位置に特徴が存在するという確実性を示す）、クロップ層出力がスコアリング層内で各ピクセルにおける特徴の存在の尤度値のマップに変換された。このカラースキームは、このグレースケール図ではグレーのシェードとしてのみ示される。ＦＣＮＮの出力は、バイナリの青色－赤色カラースキームを使用して（０は特徴の非存在を示し、赤色は特徴の存在を示す）、Ａｍｅｒｉｃａｎ Ｂｏａｒｄ ｏｆ Ｒａｄｉｏｌｏｇｙによって認定された神経放射線科医によって特徴の手動境界画定と視覚的に比較され得る（図７の右側に示される）。このカラースキームは、このグレースケール図ではグレーのシェードとしてのみ示される。図５に示されるシステムによって作製される確率マップは、本明細書で上述した方法を用いて、サイズ及びＣＴ密度等の特徴的な特徴を測定するために使用することができる。ＯＳ Ｘ Ｙｏｓｅｍｉｔｅを実行しているＭａｃＢｏｏｋ Ｐｒｏ ２０１４版上でＣＴ画像の前処理及びＦＣＮＮの試験を行った。合計計算時間は５分未満であった。

前述のＦＣＮＮは、本明細書で先に報告した図４に示される方法を用いて訓練した。処理ユニットの論理入力数または論理出力数に応じて分散を用いてガウスデータをランダムにサンプリングすることにより、ＦＣＮＮの層にわたって処理ユニット間の初期の重みを設定した。頭蓋内出血を検出及びマッピングするためのＦＣＮＮの訓練は、異なるサブタイプ（実質内、くも膜下、硬膜下、及び硬膜外）、サイズ、形状、及び数の急性出血を含む６０枚の頭部ＣＴ画像を使用して行われた。各元のＣＴ画像につき、左右反転により合成画像を作製し、それによって訓練画像の合計数を１２０に増加させた。各訓練画像につき、クロップ層出力（４１６）をスコアリング層（４１８）において委員会公認の神経放射線科医によって生成された頭部ＣＴ画像内の特徴の境界画定と比較し（４２０）、ピクセルは、放射線科医がその位置に特徴が存在すると考える場合、１のバイナリ値であるか、または放射線科医がその位置には特徴が存在しないと感じる場合、０のバイナリ値である。この「グランドトゥルース」特徴マップは、ＦＣＮＮのグランドトゥルースデータ層に供給された。スコアリングは、対数損失レジームにおいて「ＳｏｆｔＭａｘ ｗｉｔｈ Ｌｏｓｓ」として知られる正規化された指数関数を使用して行われ、クロップ層出力とグランドトゥルース特徴マップとの間の各ピクセルにおいてミスマッチ誤差値を得た。次いで、教師あり学習と一致したプロセスである確率的勾配降下法を用いてネットワークの重みを最適化し、誤差逆伝播を使用して（図４）、ミスマッチ誤差マップからの最終スコアを使用してＦＣＮＮの先行する層の重みを再設定した。ＦＣＮＮの訓練は、確率的勾配降下法の最適化のために０．００１の学習率及び０．９のモーメンタムでオンライン学習（またはバッチ当たり１つの画像）を使用して、Ｕｂｕｎｔｕ Ｌｉｎｕｘ １４．０４を実行しているＡＷＳ ＥＣ２ ｇ２．８ｘｌａｒｇｅ ＧＰＵインスタンス上で行われた。この手順を用いて頭部ＣＴ画像上で頭蓋内出血を検出及びマッピングするようにＦＣＮＮを訓練するための合計計算時間は、約２０時間であった。

実施例２：頭部外傷／外傷性頭蓋内損傷において見られるような硬膜下血腫の迅速な検出（図８）。
図８の中央の頭部ＣＴ画像（パネルＢ）を、同じ前処理及び同じ方法で訓練された同じＦＣＮＮを使用して、前述の実施例に記載されるのと同一の手順を用いて分析した。図７に見られるように、自動化様式で得られた尤度マップ（パネルＡ）と専門家による特徴の手動境界画定との間に良好な一致が存在した（パネルＣ）。

実施例３：小規模な実質内出血の迅速な検出（図９）。
図９の中央の頭部ＣＴ画像（パネルＢ）を、前の２つの実施例に記載されるのと同一の手順を用いて分析した。この手順により、たとえ小規模な出血であっても自動的に検出及びマッピングさえできることが観察できた。

実施例４：脳の正中線の自動検出及びマッピング（図１０）。
図１０は、本明細書の他の箇所に記載されるような計算を行うコンピュータ製品とのユーザーインターフェースの表示を示す。インターフェースの中央表示の左側には、ユーザコントロールを含むサイドバーがある。元の（未処理の）頭部ＣＴ画像は、図１０の大きな表示領域の左側にある。同じ画像が大きな表示領域の右側にあり、オーバーレイされた白い直線によって境界を画定された脳の正中線を示す。この境界画定は、図３及び図３を伴う本明細書で上述した説明に記載される手法を用いて完全自動化様式で行われる。ＣＴ画像の上半分の大きなストリークアーチファクト及び縦軸に対する頭部の傾きにもかかわらず、脳の正中線はこの方法を用いてなおも自動的に同定され得る。

この自動正中線検出機能は、実施例１に記載のＦＣＮＮ訓練の場合と同様に、Ｕｂｕｎｔｕ Ｌｉｎｕｘ １４．０４を実行しているＡＷＳ ＥＣ２ ｇ２．８ｘｌａｒｇｅ ＧＰＵインスタンス上のクラウドで実行する「頭部ＣＴスキャン上の緊急性の特徴の解釈及び定量化」の専用に設計されたウェブサイトに実装される。ウェブサイトは、ユーザが処理のために頭部ＣＴスキャン（プライバシーの理由から匿名化されている）をアップロードすることを可能にし、異なる患者のスキャンを異なる症例として格納及び表示する能力を有する。ＣＴ画像の明るさ、コントラスト、及び拡大（「ズーム」）は、右サイドバーの中央のスライダーコントロールで調節することができるか、または「初期設定に戻す」ボタンをクリックすることにより初期値に再設定することができる。患者のスキャンは、右サイドバーの下にある「削除」ボタンをクリックすることによりウェブサイトから削除することができる。

実施例５：小規模な急性硬膜下出血の迅速な検出及びマッピング（図１１）。
元の頭部ＣＴ画像は図１１の左側にある。同じ画像が図の右側にあり、脳の正中線がオーバーレイされた白い直線によって境界を画定されており（白い破線矢印によって印される）、かすかな薄い急性硬膜下出血がこのグレースケール図において黒で境界を画定されている。実際の実装において、この出血は、ＣＴスキャンのグレースケールの背景に対して見やすいように明るい色で境界を画定されている。正中線による境界画定は、実施例４に説明されるように完全自動化様式で行われた。急性出血の完全自動マッピングは、以下の相違点を除いて実施例１で説明した通りである。ＣＴ画像の処理がローカルコンピュータで行われる代わりに、実施例４でも使用されたようにＵｂｕｎｔｕ Ｌｉｎｕｘ １４．０４を実行しているＡＷＳ ＥＣ２ ｇ２．８ｘｌａｒｇｅ ＧＰＵインスタンス上のクラウドで行われる。さらに、実施例１に記載され、かつ図５に例示されるＦＣＮＮアーキテクチャの詳細化として、本実施例においてクラウドに実装されるＦＣＮＮアーキテクチャもまた、本明細書で上述したような拡張された受容野を組み込む。

実施例６：金属の存在に由来するＣＴ画像アーチファクトの存在における急性出血の排除（図１２）。
元の頭部ＣＴ画像は図１２の左側にある。処理後の画像は図の右側にあり、脳の正中線がオーバーレイされた白い直線によって境界を画定されており、白い破線矢印によって印されている。正中線による境界画定は、実施例４に説明されるように完全自動化様式で行われた。実施例５に記載されるのと同じ自動プロセスによって急性出血は検出されず、したがって、左側のＣＴ画像の部分は自動アルゴリズムによって頭蓋内出血の領域として指定されない。これは、たとえ実際には血液が存在しなくても脳の部分に急性出血と類似する見かけのＣＴ密度を与える、その位置の付近の金属の存在に由来する画像上部のストリークアーチファクトの存在にも左右されない。したがって、自動出血検出アルゴリズムは、頭部ＣＴスキャンの経験の浅い評価者による急性出血の誤った同定があり得る場合に、これらのようなケースに正確に対処することができる。

実施例７：脳底槽の迅速な検出及びマッピング（図１３）。
元の頭部ＣＴ画像は図１３の左側にある。処理後の画像は図の右側にあり、脳の正中線がオーバーレイされた白い直線によって境界を画定されており、脳底槽の領域は白で境界を画定され、このグレースケール図のために短い太い矢印で印されている。実際の実装において、この出血は、ＣＴスキャンのグレースケールの背景に対して見やすいように明るい色で境界を画定されている。正中線による境界画定は、実施例４に説明されるように完全自動化様式で行われる。脳底槽マッピングは、図６及び付随する説明に記載される完全自動ヒューリスティックアルゴリズムによって行われる。脳の正中線及び急性出血の検出及びマッピングの自動プロセスと同様に、脳底槽を検出及びマッピングするためのこのプロセスは、Ｕｂｕｎｔｕ Ｌｉｎｕｘ １４．０４を実行しているＡＷＳ ＥＣ２ ｇ２．８ｘｌａｒｇｅ ＧＰＵインスタンス上のクラウドで実装される。

実施例８：脳底槽の面積が小さい急性出血性挫傷及び下方脳鉤ヘルニアの迅速な検出及びマッピング（図１４）。
元の頭部ＣＴ画像は図１４の左側にある。処理後の画像は図の右側にあり、脳の正中線がオーバーレイされた白い直線によって境界を画定されており、脳挫傷に起因する急性出血の領域が黒で境界を画定され、脳底槽が白で境界を画定されている。正中線による境界画定は、実施例５に説明されるような出血の境界画定と同様に、実施例４に説明されるように完全自動化様式で行われた。脳底槽の境界画定は、実施例７に説明されるように完全自動化様式で行われた。この例において、脳底槽の面積及び対称性は、脳腫脹及び／または占拠性腫瘤病変（複数可）による右側頭葉の下方ヘルニアに起因して図１３に例示される正常な構成と比較して小さい。下方ヘルニアは、ヘルニアの理由に応じて手術を必要とする可能性があり得る生命を脅かす緊急事態を意味し得る。

実施例９：ヒューリスティックアルゴリズムを使用した脳底槽の体積及び正中偏位の迅速な検出、マッピング、及び測定（図１５）。
元の頭部ＣＴ画像は図１５の左側にある。処理後の画像は図の右側にあり、脳の正中線がオーバーレイされた白い直線によって境界を画定され、かつ白い破線矢印によって印されており、脳底槽の領域は白で境界を画定され、短い太い矢印で印されている。正中線による境界画定は、実施例７に説明されるような脳底槽の境界画定と同様に、実施例４に説明されるように完全自動化様式で行われる。脳底槽の境界画定された領域から、脳底槽の境界画定に含まれる画像のピクセルの面積を合計し、次いで、この合計にＣＴスキャン収集のパラメータである画像の厚さを乗じることによって、その体積を計算することができる。この体積の典型的な単位は、ミリリットル（ｍＬ）としても知られる立方センチメートルである。本実施例において、右側のＣＴ画像の下部に示されるように、脳底槽は４．４ｍＬである。この値は、実施例４に記載されるクラウドベースのシステムに実装されるような、脳底槽の境界を画定する自動ヒューリスティックプロセスによって計算される。同様に、脳の正中線に位置するべき解剖学的構造が、脳腫脹及び／または占拠性腫瘤病変（複数可）によってどれくらい正中線から偏位したかに対応する距離も、自動的に測定及び表示され得る。この正中偏位が大きい場合、それは緊急手術を必要とし得る生命を脅かす緊急事態を意味し得る。この例において正中偏位を測定するための自動プロセスは、図３に説明される。この例では、計算された正中偏位は５ミリメートル（ｍｍ）未満であり、したがって右側のＣＴ画像の下部に「著しい正中偏位は見られない」と表示されている。５ｍｍ超の正中偏位の場合には、実際の測定された正中偏位が代わりに表示されてもよい。これらの測定された脳底槽の体積及び正中偏位の距離は、脳ヘルニアの定量的な「バイオマーカー」であると見なされてもよく、患者の診断及び予後のために使用することができる。

実施例１０：高密度ピクセルのラベル付けによって訓練されたＦＣＮＮを使用した脳底槽の面積、ならびにヒューリスティックアルゴリズムを使用した正中偏位の迅速な検出、マッピング、及び測定（図１６）。
元の頭部ＣＴ画像は図１６の右側にあり、白い直線で正中線の境界が画定されている。処理後の画像は、図の左側にある。脳底槽は、ＦＣＮＮが、脳底槽の手動分割からの高密度ピクセル単位のラベル付けで訓練された後にＦＣＮＮを使用して完全自動化様式で境界が画定されている。ＦＣＮＮによる脳底槽の境界画定は、ＦＣＮＮの出力である尤度値に依存し（図の左側のスケールバーに示されるように）、実際のＣＴ密度値（ハウンスフィールド単位）を必要としない。この図では、このスライド上の脳底槽の面積は、脳底槽の境界画定に含まれる画像のピクセルの面積を合計することによって計算され、平方センチメートルで表される。

実施例１１：高密度ピクセルのラベル付けによって訓練されたＦＣＮＮを使用した側脳室面積の迅速な検出、マッピング、及び測定（図１７）。
元の頭部ＣＴ画像は図１７の右側にあり、白い直線で正中線の境界が画定されている。処理後の画像は、図の左側にある。左及び右の側脳室は、ＦＣＮＮが手動分割からの高密度ピクセル単位のラベル付けで訓練された後にＦＣＮＮを使用して完全自動化様式で境界が画定されている。図の左側のスケールバーに示されるように、ＦＣＮＮによる脳室系の境界画定は、ＦＣＮＮの出力である尤度値に依存し、画像におけるハウンスフィールド単位のＣＴ密度の知識を必要としない。この画像における側脳室の面積は、側脳室の境界画定に含まれる画像のピクセルの面積を合計することによって計算され、平方センチメートルで表される。この例では正中線の１ｍｍ以内であると示されている、ＦＣＮＮによる側脳室の境界画定の質量中心の決定は、正中偏位の重症度を定量化する完全自動化方法を意味する。

本明細書に引用される全ての参考文献は、参照によりそれらの全体が本明細書に組み込まれる。

上記記載は、本発明の技術の種々の態様を例示することを意図している。本明細書に提示される例は添付の特許請求の範囲の範囲を限定することを意図するものではない。本発明はこれで完全に記載され、当業者には、添付の特許請求の範囲の主旨または範囲から逸脱することなく、多くの変更及び修正がなされてもよいことは明確である。

Claims (28)

1. 頭部コンピュータ断層撮影（ＣＴ）画像の評価のためのコンピュータベースの方法であって、
   頭蓋内出血、頭蓋内腫瘤効果、脳ヘルニア、及び水頭症のうちの少なくとも１つを、コンピュータが、少なくとも部分的に深層学習法に基づいて、同定、位置特定、及び定量化することにより、前記頭部ＣＴ画像のセットの少なくとも１つの画像を分析することを含む、方法。
2. 前記深層学習法が、頭蓋内出血、ならびに正中偏位等の頭蓋内腫瘤効果、脳ヘルニア、及び水頭症の同定、位置特定、及び定量化のために使用される、請求項１に記載の方法。
3. 前記深層学習法は、畳み込みニューラルネットワークを含む、請求項２に記載の方法。
4. 前記畳み込みニューラルネットワークは、全層畳み込みニューラルネットワークであり、前記頭部ＣＴ画像の手動分割からの高密度ピクセル単位のラベル付けを使用した前記畳み込みニューラルネットワークの訓練をさらに含む、請求項３に記載の方法。
5. 前記畳み込みニューラルネットワークは、頭蓋内出血を実質内、くも膜下、硬膜下、または硬膜外に分類する等の、該当する特徴の分類のための多クラスピクセル単位のラベル付けを含む、請求項４に記載の方法。
6. 前記畳み込みニューラルネットワークは、小規模な頭蓋内出血等の、前記画像のセットのスパース性の検出、位置特定、及び定量化を補助するために、前記ピクセル単位のラベルのサブセット上でのみ訓練される、請求項４に記載の方法。
7. 前記畳み込みニューラルネットワークは、拡張された受容野を用いる畳み込みカーネルを含む、請求項３に記載の方法。
8. 前記畳み込みニューラルネットワークは、深層残差学習を用いる、請求項３に記載の方法。
9. 前記畳み込みニューラルネットワークは、多クラス特徴分類及びバウンディングボックス回帰とともにグランドトゥルースバウンディングボックスのラベル付けを用いる領域ベースの畳み込みニューラルネットワークである、請求項３に記載の方法。
10. 前記畳み込みニューラルネットワークは、空間位置情報を組み込む、請求項３に記載の方法。
11. 他の種類の機械学習分類子を用いてまたは用いずに、畳み込みニューラルネットワークのアンサンブルが使用される、請求項３に記載の方法。
12. 訓練を促進し、かつ前記畳み込みニューラルネットワークの性能を向上させるために、転移学習としても知られる微調整が用いられる、請求項３に記載の方法。
13. モデル並列処理及び／またはデータ並列処理を実装するために、複数のＧＰＵを使用して分布された深層学習が用いられる、請求項３に記載の方法。
14. 前記頭部ＣＴ画像を定量的特徴について評価することをさらに含む、請求項１から１３のいずれか一項に記載の方法。
15. 前記分析することは、多くの異常を含む定量的特徴を決定することを含む、請求項１から１４のいずれか一項に記載の方法。
16. 前記異常は頭蓋内出血である、請求項１５に記載の方法。
17. 大脳鎌、鞍背及び脳底槽、ならびに眼球等の解剖学的特徴を同定することをさらに含む、請求項１から１６のいずれか一項に記載の方法。
18. 前記同定することはハフ変換に基づいている、請求項１７に記載の方法。
19. 出血の解剖学的位置を決定することを含み、前記出血の前記解剖学的位置は、脳アトラスに対する自動位置合わせによって決定される、請求項１から１８のいずれか一項に記載の方法。
20. 頭部コンピュータ断層撮影（ＣＴ）画像の臨床評価のためのコンピュータベースの方法であって、
    患者の頭部コンピュータ断層撮影（ＣＴ）画像のセットを受け取ることと、
    頭蓋骨特徴、頭皮、顔面骨、及び他の頭蓋外軟組織を前記画像のセットから除去することと、
    頭蓋内出血、頭蓋内腫瘤効果、正中偏位、脳ヘルニア、及び水頭症のうちの少なくとも１つを、コンピュータが、少なくとも部分的に深層学習法に基づいて、同定、位置特定、及び定量化することにより、前記頭部ＣＴ画像のセットの少なくとも１つの画像を分析することと、
    前記分析から得られた情報を臨床医に提供すること、を含む方法。
21. 前記除去することは、
    高いハウンスフィールド単位数での閾値処理と、
    頭蓋骨の画像における不連続性を閉鎖することと、
    脳の画像を完全に取り囲む連続した高密度のボールトを作成することと、
    頭蓋内ピクセルを隔離するために充填操作を行うこと、によって行われる、請求項２０に記載の方法。
22. 前記分析することは、
    前記ＣＴ画像のセットの中の各画像についてＣＴ密度のヒストグラムを計算することと、
    前記ヒストグラムを前記ＣＴ密度のおよその位置を中心とするガウス分布の和にフィッティングすること、を含む請求項２０に記載の方法。
23. 前記分析することは、
    訓練された畳み込みニューラルネットワークからの尤度値を使用して、脳ヘルニア、水頭症及び正中偏位をそれぞれ決定するために脳底槽と側脳室との境界を画定することを含む請求項２０に記載の方法。
24. 前記分析することは、
    脳の正中偏位を決定することと、
    エッジ検出アルゴリズムに続くハフ変換の適用によって大脳鎌を同定すること、を含む請求項２０に記載の方法。
25. 前記分析することは、畳み込みニューラルネットワークを介してヒューリスティックと深層学習とを組み合わせる、請求項２０から２４のいずれか一項に記載の方法。
26. 請求項１から２５のいずれか一項に記載の方法に従って画像を分析するように構成される、医療用撮像デバイス。
27. 請求項１から２５のいずれか一項に記載の方法を行うように構成される、計算装置。
28. 請求項１から２５のいずれか一項に記載の方法を行うための命令でコード化される、コンピュータ可読媒体。

Images