JP6605669B2 - Ｃｔ画像を再構成する方法及びデバイス、並びに記憶媒体 - Google Patents

Description

本開示の実施例は、放射結像に関し、具体的には、ＣＴ画像を再構成する方法及びデバイス、並びに記憶媒体に関する。

Ｘ線ＣＴ結像システムは、医療、保安検査、産業非破壊検出などの分野において広く用いられている。放射線源と検知器は、一定の軌道に沿って一連の投影データを採集し、画像再構成アルゴリズムによる復元により、被検査物の線形減衰係数の三次元空間分布を得ることができる。ＣＴ画像再構成過程は、検知器により採集されたデータから線形減衰係数分布を回復することであって、ＣＴ結像の核心的なステップである。現在、実際の応用には、フィルタ補正逆投影（Ｆｉｌｔｅｒｅｄ Ｂａｃｋ−Ｐｒｏｊｅｃｔｉｏｎ）、ＦＤＫ（Ｆｅｌｄｋｍａｐ−Ｄａｖｉｓ−Ｋｒｅｓｓ）類の解析再構成アルゴリズムと、ＡＲＴ（Ａｌｇｅｂｒａ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ Ｔｅｃｈｎｉｑｕｅ）、ＭＡＰ（Ｍａｘｉｍｕｍ Ａ Ｐｏｓｔｅｒｉｏｒ）等の反復再構成方法とが主に用いられる。

Ｘ線ＣＴ結像の要求がますます多様化されることにつれて、放射量の低減に対する要求もますます高くなり、従来の再構成方法が実現可能な画像の品質はもう限界に達している。新たなＣＴ画像再構成技術の開発が求められている。

従来技術における１つまたは複数の問題に鑑みて、再構成画像の品質を高めることができるＣＴ画像を再構成する方法及びデバイス、並びに記憶媒体を提案する。

本開示の一方面によると、被検査物をＣＴ走査して、第１スケールにおける投影データを得るステップと、第１スケールの投影データから、複数の他のスケールにおける投影データを生成するステップと、各々のスケールにおいて、第１畳み込みニューラルネットワークを利用して該当するスケールの投影データを処理し、処理後の投影データを得るとともに、処理後の投影データに逆投影操作を行って該当するスケールにおけるＣＴ画像を得るステップと、複数のスケールにおけるＣＴ画像を融合して、被検査物の再構成画像を得るステップと、を含むＣＴ画像を再構成する方法を提案する。

本開示の実施例によると、前記ＣＴ走査は、検知器アンダーサンプリング走査、スパース角度走査、内部再構成走査、有限角度走査、および直線軌跡走査のうちの１つであり、前記第１畳み込みニューラルネットワークは、プーリング層のない畳み込みニューラルネットワークである。

本開示の実施例によると、前記ＣＴ走査は、円周走査あるいは螺旋走査であり、前記第１畳み込みニューラルネットワークは、該当する畳み込み層の後に設けられた複数のプーリング層と全結合層とをさらに含む。

本開示の実施例によると、前記の方法は、各々のスケールにおいて、第２畳み込みニューラルネットワークを利用して、各々のスケールのＣＴ画像を処理するステップをさらに含む。

本開示の実施例によると、前記の方法は、複数の他のスケールにおける投影データを生成する前に、ランプフィルターを利用して投影データをフィルタリングするステップをさらに含む。

本開示の実施例によると、第２畳み込みニューラルネットワークを利用して、各々のスケールのＣＴ画像に対して局所的な平滑処理を行う。

本開示の実施例によると、第１畳み込みニューラルネットワークにおける畳み込み層の畳み込みカーネルは、１つの次元が検知器画素シーケンスであり、もう１つの次元が走査角度であり、且つ、第１畳み込みニューラルネットワークにおける畳み込み層の畳み込みカーネルは、検知器画素シーケンスの次元におけるスケールと走査角度の次元におけるスケールとが個別に設定される。

本開示の実施例によると、第１畳み込みニューラルネットワークは、少なくとも３つの畳み込み層を含み、畳み込み層のそれぞれは畳み込み処理された投影データに非線形演算を行うための１つのアクティブ関数を有する。

本開示の実施例によると、第１畳み込みニューラルネットワークは、畳み込み層により処理された投影データに逆投影演算を行うための逆投影層をさらに含む。

本開示の実施例によると、第１畳み込みニューラルネットワークにおいて、逆投影層に最も近い畳み込み層の畳み込みカーネルの長さおよび幅のサイズパラーメータは、１＊１である。

本開示の実施例によると、第２畳み込みニューラルネットワークは、画像領域において再構成された画像を処理するための画像領域初期畳み込み層及び末端畳み込み層を含む。

本開示の実施例によると、画像領域初期畳み込み層に含まれる畳み込み層のそれぞれはアクティブ関数を有し、末端畳み込み層はアクティブ関数を有しない。

本開示の実施例によると、異なる畳み込みカーネルを利用して、それぞれ第１スケールの投影データと畳み込みを行って、複数の他のスケールの投影データを得る。

本開示の実施例によると、前記複数の他のスケールの投影データに対してスケールの異なるプーリングを行って、複数のスケールの異なる投影データを得る。

本開示の実施例によると、複数のスケールにおけるＣＴ画像を融合するステップは、アップサンプリング操作を利用して複数のスケールにおけるＣＴ画像を段階的に融合し、最終的に被検査物の再構成画像を得るステップを含む。

本開示の実施例によると、複数のスケールにおけるＣＴ画像を融合するステップは、最小のスケールから最大のスケールに向かって段階的に融合を行うステップを含み、それぞれの段階における融合過程は、第２スケールが最小スケールである場合に、第２スケールのＣＴ画像にアップサンプリング操作を行って、相対的に大きな第１スケールＣＴ画像を得ること、または、第２スケールが最小スケールではない場合に、相対的に小さい第２スケールの融合画像にアップサンプリング操作を行って、相対的に大きな第１スケールＣＴ画像を得ることと、再構成された第１スケールＣＴ画像とアップサンプリング操作を行って得たＣＴ画像とから構成された全体画像を、特定の畳み込みカーネルと畳み込みを行い、融合後の第１スケールの融合画像を得ることと、を含む。

本開示の実施例によると、前記の方法は、最大スケール融合画像を最終ＣＴ画像として出力するステップをさらに含む。

本開示の実施例によると、複数のスケールにおけるＣＴ画像を融合するステップは、アップサンプリング操作を利用して、最大スケール以外の他のスケールのＣＴ画像を最大スケールの画像に転換するステップと、畳み込みカーネルを利用して、最大スケールのＣＴ画像と転換して得られた最大スケール画像とを全体として処理し、融合された画像を得るステップと、を含む。

本開示の他の一方面によると、被検査物をＣＴ走査して、投影データを得るＣＴ走査装置と、第１スケールの投影データから、複数の他のスケールにおける投影データを生成し、各々のスケールにおいて、第１畳み込みニューラルネットワークを利用して該当するスケールの投影データを処理し、処理後の投影データを得るとともに、処理後の投影データに逆投影操作を行って該当するスケールにおけるＣＴ画像を得て、複数のスケールにおけるＣＴ画像を融合して、被検査物の再構成画像を得る、ように配置されたプロセッサーと、を含む、ＣＴ画像を再構成するデバイスを提案する。

本開示の実施例によると、前記ＣＴ走査装置は、検知器アンダーサンプリング走査、スパース角度走査、内部再構成走査、有限角度走査、および直線軌跡走査のうちの１つを実行し、前記第１畳み込みニューラルネットワークは、プーリング層のない畳み込みニューラルネットワークである。

本開示の実施例によると、前記ＣＴ走査装置は、円周走査あるいは螺旋走査を実行し、前記第１畳み込みニューラルネットワークは、該当する畳み込み層の後に設けられた複数のプーリング層と全結合層とをさらに含む。

本開示の実施例によると、前記プロセッサーは、さらに、各々のスケールにおいて、第２畳み込みニューラルネットワークを利用して、再構成された画像を処理するように配置される。

本開示の実施例によると、前記プロセッサーは、さらに、第２畳み込みニューラルネットワークを利用して、再構成された画像に対して局所的な平滑処理を行うように配置される。

本開示の実施例によると、前記プロセッサーは、異なる畳み込みカーネルを利用して、第１スケールの投影データと畳み込みを行って、他のスケールの投影データを得るように配置される。

本開示の実施例によると、前記プロセッサーは、アップサンプリング操作を利用して、複数のスケールにおけるＣＴ画像を段階的に融合し、最終的に被検査物の再構成画像を得るように配置される。

本開示のさらに他の一方面によると、プロセッサーにより実行されることで、第１スケールの投影データから、複数の他のスケールにおける投影データを生成するステップと、各々のスケールにおいて、第１畳み込みニューラルネットワークを利用して該当するスケールの投影データを処理し、処理後の投影データを得るとともに、処理後の投影データに逆投影操作を行って該当するスケールにおけるＣＴ画像を得るステップと、複数のスケールにおけるＣＴ画像を融合して、被検査物の再構成画像を得るステップと、を実現する、コンピュータープログラムを記憶した、コンピューター読み取り可能な媒体を提案する。

本開示の上記の実施例の態様を利用して、より高い品質のＣＴ画像を再構成することができる。

本発明をよりよく理解するために、以下の図面に基づいて本発明を詳細に説明する。

本開示の一実施例のＣＴ画像を再構成するデバイスの構成模式図を示す。 図１に示すようなデバイスにおける制御・再構成装置の構成模式図である。 本開示の実施例によるデバイスが投影データを取得する正弦図の例を示す。 本開示の実施例によるデバイスにおいて畳み込みニューラルネットワークを用いて画像を再構成する模式図を示す。 本開示の実施例によるデバイスにおいて用いられる畳み込みニューラルネットワークの構成模式図を示す。 本開示の実施例によるデバイスにおいて用いられる別の畳み込みニューラルネットワークの構成模式図を示す。 本開示の実施例によるデバイスにおいて用いられるフィルターカーネルのサイズ模式図を示す。 本開示の実施例によるデバイスにおいて用いられるフィルターカーネルのサイズ模式図を示す。 本開示の実施例によるデバイスにおいて用いられるフィルターカーネルのサイズ模式図を示す。 本開示の実施例による方法を記述する模式的フローチャートである。 本開示の別の一実施例による有限角度ＣＴ走査を実現する走査装置の模式図である。 本開示のさらに別の一実施例によるスパース角度走査方式を実現する走査装置の模式図である。 本開示のさらに別の一実施例による内部再構成走査方式を実現する走査装置の模式図である。 本開示のさらに別の一実施例による検知器アンダーサンプリング走査方式を実現する走査装置の模式図である。 図８、図９、図１０及び図１１に示す異なる走査方式において正弦図に含まれるデータの模式図を示す。 本開示のさらに別の一実施例による直線軌跡ＣＴ走査を実現する走査装置の模式図を示す。

以下、本発明の具体的な実施例について詳細に説明する。注意すべきことは、以下の実施例は例示的なものであり、本発明を限定するものではない。以下の説明においては、本発明の理解を容易にするために、多くの特定的な細部について記述しているが、当業者にとって明らかに分かるように、必ずこれらの特定の細部を採用して本発明を実現することではない。その他の実例においては、本発明を混同させることを避けるために、周知の回路、材料または方法に対する具体的な記述を省略した。

明細書の全般にかけて、「一実施例」、「実施例」、「一例」または「例」とは、当該実施例または例に記述された特定的な特徴、構成または特性を組み合わせたものは、本発明の少なくとも一実施例に含まれていることを意味する。従って、明細書の全般にかけて、記載された「一実施例において」、「実施例において」、「一例」または「例」は、必ずしも同一の実施例又は例示を指すものとは限らない。また、いずれの適宜な組合せ及び／又はサブ組合せによって、特定な特徴、構造又は特性を１つ又は複数の実施例又は例示に組み合わせることができる。また、当業者であれば理解できるように、ここで使用する「及び／又は」という専門用語は、一つまたは複数の関連の列記項目の何れかと全ての組み合わせを含む。

従来技術の１つまたは複数の問題について、本開示の実施例はＣＴ画像を再構成する方法及びデバイス、並びに記憶媒体を提案する。本開示の実施例によると、被検査物の投影データ（正弦図として表示され、１つの次元は検知器画素シーケンスであり、もう１つの次元は走査角度である）から、複数のスケールの投影データを生成する。そして、各々のスケールの投影データに対して、１つの畳み込みニューラルネットワークを利用して、ＣＴ走査を行って得た投影データを処理し、処理後の投影データ（例えば、投影領域における特徴が強化された正弦図）を得る。そして、各々のスケールにおいて、このように処理して得られた投影データに逆投影を行い、各々のスケールにおけるＣＴ画像を得る。各々のスケールにおけるＣＴ画像を融合して被検査物の再構成画像を得る。このようにして、再構成された画像の品質を向上でき、特に、検知器アンダーサンプリング、スパース角度走査、内部再構成、有限角度走査または直線軌跡走査等のような他の投影データが不完全である場合に、再構成により品質の高いＣＴ画像が得られる。他の実施例においては、別の畳み込みニューラルネットワークを利用して、さらに、各々のスケールにおいてＣＴ画像を処理し、上記の融合過程を実行して、再構成画像を得てもよい。

図１は、本開示の一実施例のＣＴ画像を再構成するデバイスの構成模式図を示す。図１に示すように、本実施例によるＣＴデバイスは、Ｘ線源１０と、機械的運動装置５０と、検知器・データ採集システム２０と、制御・再構成装置６０とを含み、被検査物４０に対してＣＴ走査および再構成を行う。

Ｘ線源１０は、例えば、Ｘ線機器であり、結像の分解能によって、適切なＸ線機器焦点サイズを選択する。他の実施例においては、Ｘ線機器を使用せず、直線型加速器等を使用してＸ線ビームを発生してもよい。

機械的運動装置５０は、ステージ、フレーム及び制御システム等を含む。ステージは、回転中心の位置を調整するように並進可能である。フレームは、Ｘ線源（Ｘ線機器）１０、検知器及び回転中心の三者を合わせるように並進可能である。本実施例においては、回転ステージ、固定フレームの円周走査軌跡あるいは螺旋軌跡に従って記述する。ステージとフレームとの運動は相対的な運動であるので、ステージを静止させ、フレームを回転させる方式で本実施例を実現する方法を採用してもよい。

検知器・データ採集システム２０はＸ線検知器及びデータ採集回路等を含む。Ｘ線検知器には、固体検知器を使用してもよく、気体検知器あるいは他の検知器を使用してもよく、本開示の実施例はこれらに限られない。データ採集回路は、読み出し回路、採集トリガー回路及びデータ伝送回路等を含む。

制御・再構成装置６０は、例えば、制御プログラム及び再構成プログラムがインストールされているコンピューターデバイスを含み、機械的回動、電気的制御、安全連鎖制御等を含むＣＴシステム運行過程の制御を担当するとともに、投影データからのＣＴ画像の再構成等を行う。

図２は、図１に示すような制御・再構成デバイスの構成模式図を示す。図２に示すように、検知器・データ採集システム２０により採集されたデータは、インターフェースユニット６７及びバス６８を介して記憶デバイス６１に記憶される。ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）６２には、コンピューターデータプロセッサーの配置情報及びプログラムが記憶されている。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｒｓｓ Ｍｅｍｏｒｙ）６３は、プロセッサー６５の動作中に各種のデータを一時的に記憶するために用いられる。なお、記憶デバイス６１には、データ処理のためのコンピュータープログラム、例えば、ＣＴ画像を再構成する計算プログラムなどが、さらに記憶されている。内部バス６８には、上記の記憶デバイス６１、ＲＯＭ６２、ＲＡＭ６３、入力装置６４、プロセッサー６５、表示デバイス６６及びインターフェースユニット６７が接続されている。

ユーザーがキーボードー及びマウスのような入力装置６４により操作命令を入力した後、コンピュータープログラムの指令コードはＣＴ画像を再構成するアルゴリズムを実行するようにプロセッサー６５に命令し、再構成結果を得た後、それをＬＣＤ表示器のような表示デバイス６６に表示させたり、または、プリントのようなハードコピーの形で処理結果を直接的に出力させたりする。

本開示の実施例によると、上記のデバイスを利用して被検査物に対してＣＴ走査を行い、投影データを得る。通常、このような投影データは二次元の画像の形で表示できる。図３は本開示の実施例により得られた投影データの例を示す。図３に示すような正弦図の横軸方向は検知器画素シーケンス（例えば、１から２５６まで）を示し、縦軸は角度（例えば、１度から３６０度まで）を示す。そして、制御デバイスにおけるプロセッサー６５は、再構成プログラムを実行して、被検査物の投影データ（正弦図として表示され、１つの次元は検知器画素シーケンスであり、もう１つの次元は走査角度である）から、複数のスケールの投影データを生成する。そして、各々のスケールの投影データに対して、第１畳み込みニューラルネットワークを利用して投影データを処理し、処理後の投影データを得て、さらに、各々のスケールにおいて処理後の投影データに逆投影操作を行って、該当するスケールのＣＴ画像を得る。最後に、各々のスケールにおけるＣＴ画像を融合して被検査物の再構成画像を得る。

上記のように、本開示の実施例においては、投影データにスケール変換を行った後、投影領域において畳み込みニューラルネットワークを利用して各々のスケールの投影データを処理し、その後、逆投影操作を行って該当するスケールのＣＴ画像を再構成するとともに、各々のスケールのＣＴ画像を融合する。畳み込みニューラルネットワークは、畳み込み層、プーリング層、および全結合層を含んでもよい。畳み込み層は、入力データ集合のキャラクタリゼーションを認識し、畳み込み層のそれぞれは、１つの非線形アクティブ関数演算を有する。プーリング層は、特徴に対する示しを精練し、典型的な操作は平均プーリング及び最大化プーリングを含む。１層または複数層の全結合層は、高次の信号の非線形総合演算を実現し、全結合層も非線形アクティブ関数を有する。よく使われる非線形アクティブ関数には、Ｓｉｇｍｏｉｄ、Ｔａｎｈ、ＲｅＬＵなどがある。

図４は、本開示の実施例によるデバイスにおいて、畳み込みニューラルネットワークを用いて画像を再構成する模式図を示す。

具体的には、図１に示すような検査デバイスを利用して、被検査物４０に対して３６０度の円周ＣＴ走査を行って、被検査物４０の投影データを得て、正弦図４１０に示されたように表示する。そして、複数の畳み込みカーネルを利用して、それぞれ正弦図４１０と畳み込みを行い、畳み込み作用後の画像毎にスケールの異なるプーリング（例えば、プーリングステップサイズは２、３、４、６等から選択することができる）を行って、スケールの異なる投影データを得る。具体的には、図４に示すように、Ｓ個のスケールに対応する投影データ、即ち、第１スケールの投影データ４１０−１、第２スケールの投影データ４１０−２、…、第Ｓ−１スケールの投影データ４１０−Ｓ−１、第Ｓスケールの投影データ４１０−Ｓを得る。そして、Ｓ個のスケールにおける投影データに対し、対応する畳み込みニューラルネットワーク（ＣＮＮ）を利用して畳み込み演算を行うとともに、逆投影を行って該当するスケールにおける再構成画像を得る。

図４に示すように、第１スケール投影データ４１０−１について、第１スケールＣＮＮ ４２０−１を利用して畳み込み演算を行い、その後、逆投影を行って第１スケール再構成画像４３０−１を得る。同様に、第２スケール投影データ４１０−２について、第２スケールＣＮＮ ４２０−２利用して畳み込み演算を行い、その後、逆投影を行って第２スケール再構成画像４３０−２を得る。第Ｓ−１スケール投影データ４１０−Ｓ−１について、第Ｓ−１スケールＣＮＮ ４２０−Ｓ−１を利用して畳み込み演算を行い、その後、逆投影を行って第Ｓ−１スケール再構成画像４３０−Ｓ−１を得る。第Ｓスケール投影データ４１０−Ｓについて、第ＳスケールＣＮＮ ４２０−Ｓを利用して畳み込み演算を行い、その後、逆投影を行って第Ｓスケール的再構成画像４３０−Ｓを得る。

そして、再構成画像４３０−１、４３０−２、…、４３０−Ｓ−１及び４３０−Ｓを融合する。具体的には、図４を参照して、第Ｓスケール再構成画像４３０−Ｓにアップサンプリングを行って、アップサンプリングされた第Ｓ−１スケール再構成画像４４０−Ｓ−１を得る。第Ｓ−１スケールにおいて、１つの畳み込みカーネルを使用して、Ｓ−１スケールの再構成画像４３０−Ｓ−１とアップサンプリングされた再構成画像４４０−Ｓ−１とからなる全体画像に畳み込みを行い、融合された第Ｓ−１スケールの再構成画像を得る。上記のアップサンプリングは、プーリングの逆過程である。アップサンプリング方法には、双線形補間、双三次補間、エッジ情報による補間法等が挙げられる。アップサンプリングする過程は、トレーニングを必要しない。例えば、再構成画像４３０−Ｓ−１とアップサンプリングされた画像４４０−Ｓ−１とのいずれもスケールがＬｘＷである画像であれば、これらは全体的に１つのＬ×Ｗ×２の画像を構成する。この時、１つのスケールがｃ×ｄ×２である畳み込みカーネルを用いて、このＬ×Ｗ×２の画像と畳み込んで１つの新たなＬ×Ｗ×１の画像を形成してもよい。

続いて、融合された第Ｓ−１スケール再構成画像４５０−Ｓ−１にアップサンプリングを行い、アップサンプリングされた第２スケール再構成画像４３０−２を得る。同様に、アップサンプリングされた第２スケール再構成画像４４０−２を得る。第２スケールにおいて、１つの畳み込みカーネルを使用して、第２スケール再構成画像４３０−２とアップサンプリングして得られた再構成画像４４０−２とから構成された全体画像に畳み込みを行って、融合された第２スケール再構成画像４５０−２を得る。

さらに、融合された第２スケール再構成画像４５０−２にアップサンプリングを行って、第１スケール再構成画像４４０−１を得る。第１スケールにおいて、１つの畳み込みカーネルを使用して、第１スケール再構成画像４３０−１とアップサンプリングして得られた再構成画像４４０−１とから構成された全体画像に畳み込みを行って、融合された第１スケール再構成画像、即ち、出力画像４４０を得る。

本発明においては、アップサンプリング操作を利用して複数のスケールにおけるＣＴ画像を段階的に融合し、最終的に被検査物の再構成画像を得る態様が好ましい。しかし、本発明は、段階的な融合に限らなく、さらに、昇順の段階的な融合方式にも限らない。最後に出力する画像が最大スケール（最大分解能）のＣＴ画像を融合していればよく、スケールが降順である１、２、…、Ｓ−１及びＳ級を例にすると、まず２、…、Ｓ−１及びＳ級をそれぞれ第１スケールの画像にアップサンプリングした後、１つの畳み込みカーネルを利用して、最大分解能の第１スケールＣＴ画像と残りのＳ−１個のアップサンプリングにより得られた画像とを全体として厚み方向において畳み込みを行って、融合された画像を得てもよい。

図５Ａは、本開示の実施例によるデバイスにおいて用いられる畳み込みニューラルネットワークの構成模式図を示す。図５Ａに示すように、例えば、図４に示す第１スケールＣＮＮ ４２０−１、第２スケールＣＮＮ ４２０−２、第Ｓ−１スケール ＣＮＮ ４２０−Ｓ−１及び第ＳスケールＣＮＮ ４２０−Ｓのような畳み込みニューラルネットワーク（ＣＮＮ）は、異なる層がスタックされてなってもよく、これらは、入力データを出力データに変換できる。例えば、ＣＴ走査して得られた投影データ（例えば、図５Ａに示す入力された投影データ５１１）を処理して、処理後の投影データ（例えば、図５Ａに示す処理後の投影データ５１５）を得る。

図５Ａに示すような畳み込みニューラルネットワークは、複数の畳み込み層、例えば、第１畳み込み層５１２、第２畳み込み層５１３、…、第ｎ＋１畳み込み層５１４を含み、ｎは自然数である。これらの畳み込み層はＣＮＮの核心的な構造セルである。各々の畳み込み層のパラーメータは、ラーニング可能な畳み込みカーネル（または、単に畳み込みカーネルと称する）の集合により構成され、畳み込みカーネルのそれぞれは、一定の受容野を持つとともに、入力データのデプスの全体にかけて延ばしている。フォーワード過程において、畳み込みカーネルのそれぞれを入力データの幅及び高さに従って畳み込みを行い、畳み込みカーネルの要素と入力データとの点乗積を算出し、当該畳み込みカーネルの二次元的なアクティブマップを生成する。結果として、ネットワークは、入力されたある空間的な位置においてある具体的な種類の特徴を見たときしかアクティブにすることができない畳み込みカーネルをラーニングできる。

全ての畳み込みカーネルのアクティブマップをデプス方向においてスタックして、畳み込み層の全部の出力データを形成する。従って、出力データにおける要素のそれぞれは、入力中の小さな領域が見え、同じアクティブマップにおける他の畳み込みカーネルとパラーメータを共用する畳み込みカーネルの出力として解釈できる。

第１畳み込み層に類似する複数の畳み込み層を設けてもよく、各々の畳み込み層の厚みはK⁽ⁿ⁾とする。

第２畳み込み層５１３は第１畳み込み層５１２と似て、第２畳み込み層の厚みはK⁽²⁾である。例えば、Ｃ^（ｎ）を利用して前の畳み込み層により出力された正弦図をさらに処理する。図４に示すように、第２畳み込み層５１３の厚みは３であり、ここで、全ての畳み込みカーネルは未定のネットワークパラーメータであり、これらのネットワークパラーメータは畳み込みニューラルネットワークに対するトレーニングにより得られる。以上で言及された３は例示に過ぎなく、同様に、１つの畳み込み層に対して２４個の畳み込みカーネルを設置してもよく、この場合、第２畳み込み層（ネットワークの第２層）も２４個の正弦図が得られる。ここで、アクティブ関数としてＲｅＬｕを選択する。別の一実施例において、第２畳み込み層において、形状／サイズパラーメータが１８＊１＊１である畳み込みカーネルを用いて、厚み方向において畳み込みを行って第２層の出力を得て、アクティブ関数としてＲｅＬｕを使用する。

図５Ｂは、本開示の実施例によるデバイスにおいて用いられる別の畳み込みニューラルネットワークの構成模式図を示す。図５Ｂに示すように、入力された投影データ５２１、畳み込み層５２２、畳み込み層５２３及び畳み込み層５２４は、図５Ａに示された入力された投影データ５１１、第１畳み込み層５１２、第２畳み込み層５１３及び第ｎ＋１畳み込み層５１４と似ているので、ここで説明を省略する。図５Ｂに示す構成は、図５Ａの構成と比べて、画像領域初期畳み込み層（図５Ｂに示す例示は１つの畳み込み層５２７であるが、本発明はこれに限られない）と末端畳み込み層（畳み込み層５２８）とを含む第２畳み込みニューラルネットワークをさらに設け、画像領域において再構成されたＣＴ画像に対し、例えば局所的な平滑処理を行って結果画像を出力する点で異なる。

上記の構成においては、プーリング層を含んでいないが、プーリング層を設けてもよく、例えば、ＣＴ走査により完全なデータを得た場合に（例えば、全検知器３６０円周走査）、１つまたは複数の畳み込み層の後にプーリング層を設けてもよい。しかし、ＣＴ走査により非完全なデータが得られた場合には（例えば、検知器アンダーサンプリング、スパース角度サンプリング、有限角度、内部再構成、または、直線軌跡等の方式）、プーリング層を設けなくてもよい。

ランダム勾配低下方法、運動量（ｍｏｍｅｎｔｕｍ）更新法、Ｎｅｓｔｅｒｏｖ Ｍｏｍｅｎｔｕｍ、ＡｄａＧｒａｄ、Ａｄａｍ等の方法により、ネットワークパラーメータの更新を行ってもよい。例えば、誤差の逆方向伝搬は下記のとおりである。

具体的には、以上のように畳み込みニューラルネットワークを構築した後、ネットワークパラーメータのトレーニングを行う。例えば、基本的な走査対象の数学的モデルを構築して、実際のシステムに従ってモデリングを行って、ＣＴシミュレーションデータを生成する。また、本開示の実施例によると、ネットワークの入力として複数の走査対象のＣＴシミュレーションデータを使用し、フラグとして走査対象の画像真値を使用して、ネットワークパラーメータをトレーニングしてもよい。他の実施例においても、実際のシステムにおいて、対象に走査を行ってＣＴ走査データを取得し、このネットワークに入力して再構成テストを行う。テスト結果について、例えば、既知の局所的な平滑領域について、局所的平滑を行うような指向性のある画像処理を行う。処理後の画像をフラグとして、さらに、ネットワークをトレーニングし、ネットワークパラーメータの微細調整を実現する。

図７は、本開示の実施例による方法を記述する模式的フローチャートである。図７に示すように、ステップＳ７１０において、被検査物をＣＴ走査して、第１スケールにおける投影データを得る。ここで、ＣＴ走査は、シングルエネルギーのものであってもよく、マルチエネルギーのものであってもよく、本開示の実施例はこれらに限られない。

ステップＳ７２０において、ランプフィルターを用いて第１スケールの投影データにフィルタリングを行う。例えば、ＲＬランプフィルターを用いて投影データにフィルタリングを行う。ここで、別のフィルターを用いてもよく、または、フィルタリングを行わなくてもよいことは、当業者にとって明らかである。

ステップＳ７３０において、第１スケールの投影データから、複数の他のスケールにおける投影データを生成する。例えば、スケールの異なる畳み込みカーネルを利用して、元の投影データ（正弦図４１０として表示される）と畳み込みを行って、スケールの異なる投影データを得る。

ステップＳ７４０において、各々のスケールにおいて、第１畳み込みニューラルネットワークを利用して該当するスケールの投影データを処理して、処理後の投影データを得るとともに、処理後の投影データに逆投影操作を行って、該当するスケールにおけるＣＴ画像を得る。例えば、畳み込みニューラルネットワーク（例えば５１２、５１３、５１４）を利用して、投影領域において各々のスケールにおける投影データを処理し、各々のスケールにおける処理後の投影データを得る。例えば、図５Ａに示すように、トレーニングにより得られた畳み込みニューラルネットワークを利用して投影データを処理し、処理後の正弦図を得る。そして、各々のスケールにおける処理後の投影データに逆投影操作を行い、例えば、図５Ａに示す逆投影層５１６において逆投影操作を行い、該当するスケールにおけるＣＴ画像を得る。

上記のように、別の実施例として、ＣＴ画像を得た後、さらに後処理を行ってもよく、例えば、第２畳み込みニューラルネットワーク５２７／５２８を利用して、再構成されたＣＴ画像を処理して、当該スケールにおける結果画像を得てもよい。例えば、ここで、再構成された画像に対して、局所的な平滑処理、または、分割、エッジ強化及び均等化等のような他の画像処理操作を行ってもよい。

ステップＳ７５０において、アップサンプリング及び厚み方向における畳み込みの方式により、複数のスケールにおけるＣＴ画像を融合して、被検査物の再構成画像を得る。

以上、主に３６０度円周走査により完全な投影データを得た場合について記述したが、上記の態様が非完全な投影データの場合、例えば、検知器アンダーサンプリング、スパース角度サンプリング、有限角度、内部再構成、或者直線軌跡走査等方式にも適用できることは、当業者にとって明らかである。

図８は、本開示の別の一実施例による有限角度ＣＴ走査を実現する走査装置の模式図である。図８に示すように、放射線源１０から発されたＸ線は視野４５における被検査物４０を透過した後、検知器３０により受けられて電気信号に転換され、さらには、減衰値を表すデジタル信号に転換され、投影データとして、コンピューターにおいて再構成される。上記の態様によると、被検査物４０に対して有限角度のＣＴ走査（例えば、１３０度）を行っても、品質の高い画像を再構成することができる。

図９は、本開示のさらに別の一実施例によるスパース角度走査方式を実現する走査装置の模式図である。図９に示すように、放射線源１０から発されたＸ線は視野４５における被検査物４０を透過した後、検知器３０により受けられて電気信号に転換され、さらには、減衰値を表すデジタル信号に転換され、投影データとして、コンピューターにおいて再構成される。上記の態様によると、被検査物４０に対して幾つかの回転位置におけるＣＴ走査（例えば、６個所）を行っても、品質の高い画像を再構成することができる。このようにして、被検査物に対してスパース角度ＣＴ走査を行っても、非完全な投影データから品質の高い画像を再構成することができる。

図１０は、本開示のさらに別の一実施例による内部再構成走査方式を実現する走査装置の模式図である。図１０に示すように、放射線源１０から発されたＸ線は視野４５における被検査物４０の一部を透過した後、検知器３０により受けられて電気信号に転換され、さらには、減衰値を表すデジタル信号に転換され、投影データとして、コンピューターにおいて再構成される。上記の態様によると、被検査物４０に対して内部再構成ＣＴ走査を行っても、品質の高い画像を再構成することができる。

図１１は、本開示のさらに別の一実施例による検知器アンダーサンプリング走査方式を実現する走査装置の模式図である。図１１に示すように、放射線源１０から発されたＸ線は視野４５における被検査物４０を透過した後、検知器３０により受けられて電気信号に転換され、さらには、減衰値を表すデジタル信号に転換され、投影データとして、コンピューターにおいて再構成される。この例において、検知器３０は、アンダーサンプリングの状態に設置されて、例えば、各々の検知器ユニットを予定の距離に離間してアンダーサンプリングを実現する。このようにして、上記の態様によると、被検査物４０に対して検知器アンダーサンプリングＣＴ走査を行っても、品質の高い画像を再構成することができる。

図１２は、図８、図９、図１０および図１１に示すような走査方式に係る不完全な投影データを記述する模式図である。図１２に示すように、角度スパースサンプリングＣＴ走査、有限角度ＣＴ走査、検知器アンダーサンプリングＣＴ走査及び内部再構成ＣＴ走査を行って得られた投影データはいずれも不完全なものである。投影データが不完全にもかかわらず、上記の態様によると、これらの不完全な投影データから品質の高い画像を再構成することができる。

以上、角度スパースサンプリング走査等の方式について記述したが、本開示の方法が直線軌跡ＣＴ走査システムにおいても同様に適用できることは、当業者にとって明らかである。図１３は、本開示のさらに別の一実施例による直線軌跡ＣＴ走査を実現する走査装置の模式図を示す。

図１３に示すように、从射線源１０から発されたＸ線は視野における被検査物４０を透過した後、検知器３０により受けられて電気信号に転換され、さらには、減衰値を表すデジタル信号に転換され、投影データとして、コンピューターにおいて再構成される。この例において、被検査物４０は、検知器に平行なコンベアにおいて直線の軌跡に沿って運動する。検知器は水平方向において放射線源との開き角をできるだけ大きくし、鉛直方向において物体を覆う。例えば、検知器アレイは放射線源に対向する側に置かれて、放射線の水平の開き角θは９０度以上と求められ、直線軌跡ＣＴ走査の投影データを得る。上記の態様によると、被検査物４０に対して直線軌跡ＣＴ走査を行っても、品質の高い画像を再構成することができる。

本開示の実施例は、畳み込みニューラルネットワークに基づくＸ線ＣＴ再構成方法を提案しており、データ情報を深く発掘して、畳み込みニューラルネットワークとシステム向けのパラーメータを形成し、効率的なＣＴ画像再構成方法を得られる。

本開示の方法は、異なるＣＴ走査モード及びシステム構成に柔軟的に適用でき、医学診断、産業非破壊検出及び保安検査分野に適用できる。

以上の詳細な記述においては、模式図、フローチャート及び／又は例によりＣＴ画像を再構成する方法とデバイスの多数の実施例を記述した。このような模式図、フローチャート及び／又は例が１つまたは複数の機能及び／又は操作を含む場合、当業者は、このような模式図、フローチャートまたは例のそれぞれの機能及び／又は操作が各種の構成、ハードウェア、ソフトウェア、ファームウェアまたは実質的にこれらの任意的な組み合わせにより単独及び／又はともに実現できることを理解すべきである。一実施例において、本発明の実施例に記載された主題の幾つかの部分はＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、または他の集積回路により実現できる。しかしながら、当業者は、ここで開示された実施例のある方面の全体または一部が等価的に集積回路において実現でき、一台または複数の台のコンピューターにおいて実行される１つまたは複数のコンピュータープログラム（例えば、一台または複数の台のコンピューターにおいて実行される１つまたは複数のプログラムとして実現でき）として実現でき、１つまたは複数のプロセッサーにおいて実行される１つまたは複数のプログラム（例えば、１つまたは複数のマイクロプロセッサーにおいて実行される１つまたは複数のプログラムとして実現でき）として実現でき、ファームウェアとして実現でき、あるいは実質的に上記形態の任意的な組み合わせとして実現できる、ことを理解すべきであり、且つ、当業者は、本開示から電路の設計及び／又はソフトウェアー及び／又はファームウェアコードの書き込み能力を持つ。また、当業者は、本開示に記載された主題のメカニズムが複数の形態のプログラム製品として配布でき、且つ、実際に配布を実行するための信号キャリア媒体がどのような種類であっても、本開示に記載された主題の例示的な実施例を適用できる、ことを理解すべきである。信号キャリア媒体の例としては、ＦＤ、ＨＤＤ、ＣＤ、ＤＶＤ、デジタルテープ、コンピューターメモリなどの記録可能な媒体、及びデジタル及び／又はアナログ通信媒体（例えば、光ファイバーまたは光ケーブル、導波路、有線通信回線、無線通信線路など）のような伝送型媒体を含むことができるが、これに限られない。

幾つかの典型的な実施例を参照して本発明を記述したが、使用された用語は説明及び例示的なものであり、制限的なものではないことに注意すべきである。本発明は発明の趣旨又は実質を逸脱することなく、いろんな形態で具体的に実施できるので、上記の実施例は前述の細部に限られなく、添付の請求の範囲に限定された精神及び範囲において広義的に解釈すべきである。従って、請求の範囲又はそれと均等な範囲内の全ての変化及び改良は、添付の請求の範囲に含まれるべきである。

１０ Ｘ線源、２０ 検知器・データ採集システム、４０ 被検査物、５０ 機械的運動装置、６０ 制御・再構成装置。

Claims (26)

1. 被検査物をＣＴ走査して、第１スケールにおける投影データを得るステップと、
   第１スケールの投影データから、複数の他のスケールにおける投影データを生成するステップと、
   各々のスケールにおいて、第１畳み込みニューラルネットワークを利用して該当するスケールの投影データを処理し、処理後の投影データを得るとともに、処理後の投影データに逆投影操作を行って該当するスケールにおけるＣＴ画像を得るステップと、
   複数のスケールにおけるＣＴ画像を融合して、被検査物の再構成画像を得るステップとを含む、ＣＴ画像を再構成する方法。
2. 前記ＣＴ走査は、検知器アンダーサンプリング走査、スパース角度走査、内部再構成走査、有限角度走査、および直線軌跡走査のうちの１つであり、
   前記第１畳み込みニューラルネットワークは、プーリング層のない畳み込みニューラルネットワークである、請求項１に記載の方法。
3. 前記ＣＴ走査は、円周走査あるいは螺旋走査であり、
   前記第１畳み込みニューラルネットワークは、該当する畳み込み層の後に設けられた複数のプーリング層と全結合層とをさらに含む、請求項１に記載の方法。
4. 各々のスケールにおいて、第２畳み込みニューラルネットワークを利用して、各々のスケールのＣＴ画像を処理するステップをさらに含む、請求項２または３に記載の方法。
5. 複数の他のスケールにおける投影データを生成する前に、ランプフィルターを利用して投影データをフィルタリングするステップをさらに含む、請求項４に記載の方法。
6. 第２畳み込みニューラルネットワークを利用して、各々のスケールのＣＴ画像に対して局所的な平滑処理を行う、請求項４に記載の方法。
7. 第１畳み込みニューラルネットワークにおける畳み込み層の畳み込みカーネルは、１つの次元が検知器画素シーケンスであり、もう１つの次元が走査角度であり、且つ、
   第１畳み込みニューラルネットワークにおける畳み込み層の畳み込みカーネルは、検知器画素シーケンスの次元におけるスケールと走査角度の次元におけるスケールとが個別に設定される、請求項１に記載の方法。
8. 第１畳み込みニューラルネットワークは、少なくとも３つの畳み込み層を含み、
   畳み込み層のそれぞれは、畳み込み処理された投影データに非線形演算を行うための１つのアクティブ関数を有する、請求項１に記載の方法。
9. 第１畳み込みニューラルネットワークは、畳み込み層により処理された投影データに逆投影演算を行うための逆投影層をさらに含む、請求項１に記載の方法。
10. 第１畳み込みニューラルネットワークにおいて、逆投影層に最も近い畳み込み層の畳み込みカーネルの長さおよび幅のサイズパラーメータは、１＊１である、請求項９に記載の方法。
11. 第２畳み込みニューラルネットワークは、画像領域において再構成された画像を処理するための画像領域初期畳み込み層及び末端畳み込み層を含む、請求項４に記載の方法。
12. 画像領域初期畳み込み層に含まれる畳み込み層のそれぞれはアクティブ関数を有し、末端畳み込み層はアクティブ関数を有しない、請求項１１に記載の方法。
13. 複数の畳み込みカーネルを利用して、それぞれ第１スケールの投影データと畳み込みを行って、複数の他のスケールの投影データを得る、請求項１に記載の方法。
14. 前記複数の他のスケールの投影データに対してスケールの異なるプーリングを行って、複数のスケールの異なる投影データを得る、請求項１３に記載の方法。
15. 複数のスケールにおけるＣＴ画像を融合するステップは、
    アップサンプリング操作を利用して複数のスケールにおけるＣＴ画像を段階的に融合し、最終的に被検査物の再構成画像を得るステップを含む、請求項１に記載の方法。
16. 複数のスケールにおけるＣＴ画像を段階的に融合するステップは、最小のスケールから最大のスケールに向かって段階的に融合するステップを含み、
    それぞれの段階における融合過程は、
    第２スケールが最小スケールである場合に、第２スケールのＣＴ画像にアップサンプリング操作を行って、相対的に大きな第１スケールＣＴ画像を得ること、または、第２スケールが最小スケールではない場合に、相対的に小さい第２スケールの融合画像にアップサンプリング操作を行って、相対的に大きな第１スケールＣＴ画像を得ることと、
    再構成された第１スケールＣＴ画像とアップサンプリング操作を行って得たＣＴ画像とから構成された全体画像を、特定の畳み込みカーネルと畳み込みを行い、融合後の第１スケールの融合画像を得ることとを含む、請求項１５に記載の方法。
17. 最大スケール融合画像を最終ＣＴ画像として出力するステップを含む、請求項１６に記載の方法。
18. 複数のスケールにおけるＣＴ画像を融合するステップは、
    アップサンプリング操作を利用して、最大スケール以外の他のスケールのＣＴ画像を最大スケールの画像に転換するステップと、
    畳み込みカーネルを利用して、最大スケールのＣＴ画像と転換して得られた最大スケール画像とを全体として処理し、融合された画像を得るステップと含む、請求項１に記載の方法。
19. 被検査物をＣＴ走査して、投影データを得るＣＴ走査装置と、
    第１スケールの投影データから、複数の他のスケールにおける投影データを生成し、
    各々のスケールにおいて、第１畳み込みニューラルネットワークを利用して該当するスケールの投影データを処理し、処理後の投影データを得るとともに、処理後の投影データに逆投影操作を行って該当するスケールにおけるＣＴ画像を得て、
    複数のスケールにおけるＣＴ画像を融合して、被検査物の再構成画像を得る、ように配置されたプロセッサーとを含む、ＣＴ画像を再構成するデバイス。
20. 前記ＣＴ走査装置は、検知器アンダーサンプリング走査、スパース角度走査、内部再構成走査、有限角度走査、および直線軌跡走査のうちの１つを実行し、
    前記第１畳み込みニューラルネットワークは、プーリング層のない畳み込みニューラルネットワークである、請求項１９に記載のデバイス。
21. 前記ＣＴ走査装置は、円周走査あるいは螺旋走査を実行し、
    前記第１畳み込みニューラルネットワークは、該当する畳み込み層の後に設けられた複数のプーリング層と全結合層とをさらに含む、請求項１９に記載のデバイス。
22. 前記プロセッサーは、さらに、各々のスケールにおいて、第２畳み込みニューラルネットワークを利用して、再構成された画像を処理するように配置される、請求項２０または２１に記載のデバイス。
23. 前記プロセッサーは、さらに、第２畳み込みニューラルネットワークを利用して、再構成された画像に対して局所的な平滑処理を行うように配置される、請求項１９に記載のデバイス。
24. 前記プロセッサーは、異なる畳み込みカーネルを利用して、第１スケールの投影データと畳み込みを行って、他のスケールの投影データを得るように配置される、請求項１９に記載のデバイス。
25. 前記プロセッサーは、アップサンプリング操作を利用して複数のスケールにおけるＣＴ画像を段階的に融合し、最終的に被検査物の再構成画像を得るように配置される、請求項１９に記載のデバイス。
26. プロセッサーにより実行されることで、
    第１スケールの投影データから、複数の他のスケールにおける投影データを生成するステップと、
    各々のスケールにおいて、第１畳み込みニューラルネットワークを利用して該当するスケールの投影データを処理し、処理後の投影データを得るとともに、処理後の投影データに逆投影操作を行って該当するスケールにおけるＣＴ画像を得るステップと、
    複数のスケールにおけるＣＴ画像を融合して、被検査物の再構成画像を得るステップとを実現する、コンピュータープログラムを記憶した、コンピューター読み取り可能な媒体。