JP7394588B2 - 情報処理装置、情報処理方法、および撮像システム - Google Patents

Description

本発明は、情報処理装置、情報処理方法、および撮像システムに関する。

画像診断の分野では、被検体の内部の情報を画像化するモダリティが利用されている。例えば、Ｘ線ＣＴ（Computed Tomography）装置、ＭＲＩ（Magnetic Resonance Imaging
）装置、ＳＰＥＣＴ（Single Photon Emission Computed Tomography）装置、ＰＥＴ（Positron Emission Tomography）装置、超音波診断装置などが実用化されている。

病院における画像診断の一般的な流れは例えば次のとおりである。まず、技師が患者（被検体）をモダリティまで誘導し、患者を撮像台（クレードル）上に横たわらせる。技師が撮影部位などの撮影に関する条件を設定した後、撮像が開始される。撮像により計測された生データ（ｒａｗ ｄａｔａ）は、コンソールと呼ばれる情報処理装置に順次取り込まれる。情報処理装置は、取得した生データから、患者の体内の情報が画像化された画像データを生成する（この処理は「画像再構成」又は単に「再構成」と呼ばれる）。技師は、生成された画像を検像し、当該画像が診断に適していると判断したら、ＰＡＣＳ（Picture Archiving and Communication Systems：医療用画像管理システム）等の画像サーバ
に送信する。検像とは、モダリティから得られた画像が適切な撮像範囲と適切な画質を有しているかを確認し、必要に応じて修正や編集を行う作業である。そして、画像サーバに保存された画像を、医師や放射線科医が画像ビューワを用いて読影する。また、画像サーバに送信された画像は、画像ビューワ内のワークリスト上に反映され、時系列的に蓄積される。

ここで、撮像中に患者の状態の変化を検出して警報を通知することで、監視員が迅速に対応できるようにする技術がある。特許文献１には、検査機器で検出できる血圧や脈拍や心電図等のバイタルデータを監視して、患者の容態の異常が検出された時に、検査値や原因や対応処置等の情報を、ブザーやポケットベル等に自動発信または画面に表示する技術が開示されている。また、特許文献２には、結節の輪郭を取得し、その物理的特徴に対応した測定値を生成し、その測定値をニューラルネットワークに入力することで、画像中の肺結節の悪性腫瘍の尤度を決定する技術が開示されている。

特開平４－２３６９３８号公報 特表２００２－５３０１３３号公報

Wei Liu, Dragomir Anguelov, Dumitru Erhan, Christian Szegedy, Scott Reed, Cheng-Yang Fu, Alexander C. Berg, "SSD: Single Shot MultiBox Detector", https://arxiv.org/pdf/1512.02325.pdf

患者の状態や病態によっては、体内の異常（疾病、傷など）を迅速に発見すべき場合がある。しかしながら、前述したモダリティの場合、断層画像に含まれる特定の傷病が検出されるのは、再構成された画像データが画像サーバ（ＰＡＣＳなど）に格納された後の読影のタイミングとなる。そのため、患者（被検体）を撮影してから医師が特定の傷病を発
見するまでにある程度の時間を要するという実情があった。

特許文献１の方法によれば、患者のバイタルの異常を医師に対して直ちに通知することはできるが、モダリティにおける撮像から画像データの読影（特定の傷病の検出）までの時間を短縮することはできない。また、特許文献２の方法によれば、撮像から画像データの読影の準備が整うまでの時間は短縮できない。

本発明は上記実情に鑑みなされたものであり、モダリティによる撮像から、画像データに基づく特定の傷病を検出するまでの時間を短縮する技術を提供することを目的とする。

本発明の第一態様は、被検体をスキャンする撮像部によって生成されたデータを取得する取得手段と、前記データに基づいて、前記被検体の情報を示す第一の画像データを再構成する第一の再構成手段と、前記データに基づいて、前記被検体の情報を示す第二の画像データを再構成する第二の再構成手段と、画像データから特定の傷病を識別するように学習された学習済モデルを用いて、前記被検体の前記第一の画像データから前記特定の傷病を検出する検出手段と、前記被検体の前記第一の画像データから前記特定の傷病が検出された場合に、検出結果を通知する通知手段と、前記第二の画像データを外部装置に出力する出力手段とを有し、前記検出手段における前記特定の傷病の検出に用いられる前記第一の画像データのデータサイズは、前記出力手段から前記外部装置に出力される前記第二の画像データのデータサイズより小さいことを特徴とする情報処理装置を提供する。

本発明の第二態様は、被検体をスキャンする撮像部と、第一態様に係る情報処理装置と、を有することを特徴とする撮像システムを提供する。

本発明の第三態様は、プロセッサが実行する情報処理方法であって、被検体をスキャンする撮像部によって生成されたデータを取得する取得ステップと、前記データに基づいて、前記被検体の情報を示す第一の画像データを再構成する第一の再構成ステップと、前記データに基づいて、前記被検体の情報を示す第二の画像データを再構成する第二の再構成ステップと、画像データから特定の傷病を識別するように学習された学習済モデルを用いて、前記被検体の前記第一の画像データから前記特定の傷病を検出する検出ステップと、前記被検体の前記第一の画像データから前記特定の傷病が検出された場合に、検出結果を通知する通知ステップと、前記第二の画像データを外部装置に出力する出力ステップとを有し、前記検出ステップにおける前記特定の傷病の検出に用いられる前記第一の画像データのデータサイズは、前記出力ステップにおいて前記外部装置に出力される前記第二の画像データのデータサイズより小さいことを特徴とする情報処理方法を提供する。

本発明の第四態様は、コンピュータを、第一態様に係る情報処理装置の各手段として機能させるためのプログラムを提供する。

本発明によれば、モダリティによる撮像から、画像データに基づく特定の傷病を検出するまでの時間を短縮することができる。

第１の実施形態に係る撮像システムの構成を示す図。 情報処理装置のハードウェア構成を示す図。 第１の実施形態に係る情報処理装置の処理を示すフロー図。 第２の実施形態に係る情報処理装置の処理を示すフロー図。 第３の実施形態に係る情報処理装置の構成を示す図。 第３の実施形態に係る学習フェーズを模式的に示す図。 第３の実施形態に係る異常検出処理を模式的に示す図。 第３の実施形態に係る再構成条件のテーブルを示す図。 第４の実施形態に係る造影剤の濃度を示す図。 第５の実施形態に係る情報処理装置の構成を示す図。

本発明は、被検体をスキャンして得られたデータから被検体の情報を画像化する撮像システムに関し、特に、撮像（計測）を開始してからできるだけ短時間に当該被検体の体内
の異常（例えば特定の傷病）を検出するための技術に関する。以下に述べる撮像システムでは、短時間での傷病検出を実現するため、医師による読影の準備が整うよりも前に、ＡＩ（人工知能）による検出処理を実行し、その検出結果をすみやかに通知する。これにより、従来の手順（すなわち、撮像、画像再構成、画像サーバへの送信、読影という手順）に比べて、傷病検出までに要する時間の大幅な短縮が実現できる。

本発明は、生データ（ｒａｗ ｄａｔａ）から画像再構成によって診断用の画像データを生成するモダリティに対して好ましく適用できる。この種のモダリティは、例えば、Ｘ線ＣＴ装置、ＭＲＩ装置、ＳＰＥＣＴ装置、ＰＥＴ装置を含む。Ｘ線ＣＴ装置は、照射方向を変えながら被検体にＸ線を照射し、被検体を透過したＸ線の強度を計測し、得られた生データから画像再構成によって体内の線源弱係数分布を画像化する。Ｘ線ＣＴ装置で計測される生データは、投影データ又はサイノグラムデータと呼ばれる。ＭＲＩ装置は、静磁場内に配置した被検体に特定周波数の電磁波（ラジオ波）を照射して核磁気共鳴を起こしたのち、プロトンから発生する電磁波を計測し、得られた生データから画像再構成によって体内のプロトン分布を画像化する。ＭＲＩ装置で計測される生データは、ＭＲ信号又はｋ空間データと呼ばれる。ＳＰＥＣＴ装置は、被検体内に導入した放射性物質（放射性トレーサ）から放出されるガンマ線を計測し、得られた生データから画像再構成によって体内の放射能分布を画像化する。ＳＰＥＣＴ装置で計測される生データは、投影データ又はサイノグラムデータと呼ばれる。ＰＥＴ装置は、陽電子放出核種で標識された放射性物質（放射性トレーサ）を被検体内に導入し、陽電子が陰電子と結合して消滅する際に放出されるガンマ線を計測し、得られた生データから画像再構成によって体内の放射能分布を画像化する。ＰＥＴ装置で計測される生データは、コインシデンスデータ又はサイノグラムデータと呼ばれる。

撮像システムは、例えば、撮像部と情報処理装置を備えて構成される。撮像部は、被検体を撮影し生データを出力するユニットであり、ガントリとも呼ばれる。モダリティの種類によって（つまり撮像原理によって）撮像部の具体的構成は異なるが、被検体をスキャンして生データの生成・出力を行うという基本構成は共通している。情報処理装置は、各種のデータ処理や制御を担うユニットであり、コンソールとも呼ばれる。情報処理装置は、例えば、画像再構成、ＡＩによる傷病検出、画像や検出結果の表示、画像サーバへのデータ伝送、撮像部の制御、再構成条件その他のパラメータの設定、などの機能を提供する。

画像再構成は、生データに基づいて被検体の内部の情報を示す画像データを生成する処理である。画像再構成にはどのようなアルゴリズムを採用してもよく、例えば、逆投影法、フィルタ補正逆投影法、フーリエ変換法、逐次近似法などが例示できる。情報処理装置は、複数種類の再構成処理を実行可能であるとよく、画像データの用途・目的に応じて適切な再構成処理を使い分けるとよい。例えば、情報処理装置は、ＡＩによる検出処理用の画像データ（「第１の画像データ」と呼ぶ）を再構成する場合には、処理速度を優先した第１の再構成処理を用いるとよい。また、情報処理装置は、画像診断用の画像データ（「第２の画像データ」と呼ぶ）を再構成する場合には、画像品質を優先した第２の再構成処理を用いるとよい。すなわち、両者を比べた場合に、第１の再構成処理は第２の再構成処理よりも再構成に必要な時間が短い処理であるとよく、第２の再構成処理は第１の再構成処理よりも画像品質が高い処理であるとよい。ここで、画像品質は、例えば、解像度、ビット深度、コントラスト、再構成の精度、ＳＮ比、圧縮率などを含む。典型的には解像度であり、第２の画像データの解像度（画像の画素数）をフルサイズ（１／１サイズ）とした場合、第１の画像データの解像度は例えば１／１６～１／２サイズでもよい。このように第１の画像データのサイズを小さくすることで、再構成処理の時間を大幅に短縮することができるとともに、ＡＩによる検出処理の高速化を図ることができる。第１の再構成処理と第２の再構成処理は、異なる再構成アルゴリズムを用いるものであってもよいし、同
じ再構成アルゴリズムにおいて異なる再構成条件を用いるものであってもよい。再構成条件は、例えば、スライス厚、スライス間隔、分解能（ピクセルサイズ）、再構成関数、画像処理フィルタ、逐次近似の繰り返し数などを含む。情報処理装置は、第１の再構成処理を第２の再構成処理よりも先に実行するか、又は、２つの再構成処理を並列に実行するとよい。第１の画像データを先に生成することで、撮影後、ＡＩによる検出処理を可及的すみやかに実行することができる。

ＡＩによる検出機能は、例えば、画像から特定の傷病を識別するように機械学習された学習済モデル（ｐｒｅ－ｔｒａｉｎｅｄ ｍｏｄｅｌ）を用いて、被検体の画像データから特定の傷病を検出するように構成される。ここで、「傷病」は、体内に生じた傷もしくは疾病、又は、傷もしくは疾病に起因して体内に生じた変化などである。典型的には、病変部位、出血部位、骨折部位などが該当する。また「特定の」とは、「あらかじめ決められた種類の」という意味である。すなわち、学習済モデルは、あらゆる種類の傷病をすべて識別可能な能力を有している必要はなく、限られた種類の傷病を識別可能であるようにトレーニングされていれば足りる。なお、学習済モデルに入力される画像データは、３次元の画像データ（例えばボリュームデータ）でもよいし、２次元の画像データ（例えば断層画像データ）でもよい。機械学習のモデルとしては、ディープラーニング（ニューラルネットワーク）、サポートベクターマシンなど、どのようなモデルを用いてもよい。

情報処理装置は、複数の学習済モデルをあらかじめ有しており、それら複数の学習済モデルの中から傷病検出処理に用いる学習済モデルを選択可能なように構成されてもよい。複数の学習済モデルは、例えば、識別可能な傷病の種類が異なるモデルであってもよいし、処理対象とする画像の条件が異なるモデルであってもよい。処理対象とする画像の条件とは、例えば、画像の撮影部位（頭部／胸部／腹部／胴部のように身体部位で分けてもよいし、心臓／肺／胃のように臓器で分けてもよい）、入力画像の形式（２次元／３次元の別、画像サイズなど）などである。複数の学習済モデルは、異なる学習データを用いて機械学習されたモデルである。例えば、再構成条件が異なる学習データ、撮影時の造影条件が異なる学習データ、識別すべき傷病の種類が異なる学習データ、画像の撮影部位が異なる学習データなどを用いることができる。

検出処理に用いる学習済モデルは、自動で適切なものが選択されてもよいし、ユーザの指示に従って選択されてもよい。例えば、ＡＩによる検出処理でどのような傷病を検出したいかによって、学習済モデルが適宜選択されるとよい。あるいは、検出処理に用いる画像データに対応する再構成条件で生成された画像データを用いて機械学習された学習済モデルを、検出処理に用いる学習済モデルとして選択してもよい。あるいは、検出処理に用いる画像データの撮影時の造影条件に対応する画像データを用いて機械学習された学習済モデルを、検出処理に用いる学習済モデルとして選択してもよい。さらに、選択された学習済モデル（つまり検出処理に用いる学習済モデル）にあわせて、第１の画像データの再構成条件を変えてもよい。再構成条件の選び方で画像化される情報に相違があるからである。例えば、検出対象となる傷病の種類又は撮影部位を指定する情報（設定情報）をユーザに入力させ、その設定情報に従って、情報処理装置が適切な学習済モデルと再構成条件とを選択してもよい。検出対象にあわせて適切な再構成条件及び学習済モデルを選択することで、傷病検出の精度及び信頼性の向上が期待できる。

情報処理装置は、情報出力やユーザへの通知を行う機能を有してもよい。例えば、情報処理装置は、ＡＩによる検出処理によって画像データから傷病を検出した場合に、その検出結果をユーザに通知してもよい。これにより、画像診断用の第２の画像データの再構成、画像サーバへの第２の画像データの伝送、医師による読影（画像診断）などの工程の進み具合とは無関係に、特定の傷病の検出及び通知をすみやかに実行できる。これにより、従来に比べて、撮像から傷病検出までに要する時間の大幅な短縮が実現できる。

ユーザに通知する検出結果は、少なくとも、画像中に特定の傷病が含まれていることを知らせる情報を含んでいればよい。また、検出結果が、画像中の傷病の位置又は領域に関する情報を含んでいてもよい。検出結果の通知方法は問わない。ユーザが使用している端末（例えばパーソナルコンピュータ、タブレット、スマートフォンなど）に検出結果が送信されてもよいし、情報処理装置が備える表示装置に検出結果が表示されてもよい。検出結果を表示装置に表示する場合には、傷病が検出された画像を一緒に表示してもよい。

以下、本発明の実施形態に係る撮像システムの具体的な構成例について、図面を用いて詳しく説明する。同一の構成要素には原則として同一の符号を付して、説明を省略する。

［第１の実施形態］
図１は、第１の実施形態に係る撮像システムの構成を示している。第１の実施形態では、Ｘ線ＣＴ装置により撮影された胸部ＣＴ画像から、気胸の原因である病変部位をＡＩにより自動検出する例を説明する。

撮像システム１は、概略、撮像部１０と情報処理装置１１とを備える。情報処理装置１１は、再構成部１１０、検出部１１１、表示制御部１１２、アラート部１１３を有する。図１における符号１２は被検体であり、本実施形態では被検体１２として人体を想定する。撮像システム１は、ネットワークを介して外部の画像サーバ１３に接続されている。画像サーバ１３は、画像診断用の画像データなどの蓄積・共有を行うコンピュータシステム（例えばＰＡＣＳ）である。

（撮像部１０）
撮像部１０は、Ｘ線ＣＴの撮像装置であり、ガントリとも呼ばれる。撮像部１０は、ベッド（クレードル）に横たわった被検体１２をスキャンし、取得した投影データを情報処理装置１１の再構成部１１０に送信する。予め設定された撮影条件及び撮影部位に従ってベッドの移動及び撮像部１０の制御が行われることで、所望の撮像範囲の投影データが取得される。

Ｘ線ＣＴの撮像部１０は、Ｘ線管と検出器が対向して配置された構成を有する。被検体１２を中心にＸ線管と検出器が同時に回転しながら、Ｘ線管からＸ線を射出する。射出されたＸ線は、被検体１２を通過し、検出器で検出される。検出器で検出されるＸ線は、被検体１２によってその一部が吸収される。Ｘ線の吸収率は被検体１２内の組織の水分量や密度などによって異なるため、検出器から出力される投影データは被検体１２内部の構造を反映したものとなる。

（再構成部１１０）
再構成部１１０は、様々な方向からＸ線を照射して得た投影データに基づいて、画像データを再構成する。再構成部１１０は、生成された画像データ（「再構成画像」とも称する）を検出部１１１、表示制御部１１２、アラート部１１３、外部の画像サーバ１３などに送信する。画像再構成は、公知の方法で行うことができる。

（検出部１１１）
検出部１１１は、機械学習された学習済モデルを用いて、画像データから特定の傷病（本実施形態では、肺嚢胞などの気胸の原因とみられる病変）を検出する傷病検出処理を行う。特定の傷病が検出された場合、検出部１１１は検出結果を表示制御部１１２およびアラート部１１３に送信する。

学習済モデルは、例えば深層ニューラルネットワークなどの人工知能モデルであり、あ
らかじめ深層学習などの機械学習法を利用して、画像の中から特定の傷病を識別するようにトレーニングされたものである。２次元の画像データ（断層画像データ）から傷病を識別するモデルを用いてもよいし、３次元の画像データ（ボリュームデータ）から傷病を識別するモデルを用いてもよい。あるいは、時系列の画像データ（動画像データまたは複数の時相の画像データ）から傷病を識別するモデルを用いてもよい。検出された傷病の領域は、ＲＯＩ（Region of Interest）又はＶＯＩ（Volume of Interest）として出力される。本実施形態では、３次元の画像データ（ボリュームデータ）から、３次元的な病変領域をセグメンテーションするように構成されたモデルが用いられる。

機械学習に用いる学習データは、画像データとその画像データに含まれる特定の傷病の領域を示すラベル（教師信号）とから構成される。すなわち、ラベルは、画像から検出すべきＲＯＩ又はＶＯＩを教示する情報である。本実施形態の場合は、多数の被検体（例えば自然気胸の患者）から集められた胸部ＣＴ画像が学習データとして用いられる。なお、撮像システム１には事前に学習された学習済モデルが実装されるが、これに限らず、本システム１で撮像された画像を用いて追加学習を行う機能を情報処理装置１１が有していてもよい。

（表示制御部１１２）
表示制御部１１２は、検出部１１１の検出結果を表示装置に表示する。検出結果は、例えば、病変の存在、病変の位置又は領域を示す情報などを含む。表示制御部１１２は、これらの検出結果とともに、被検体１２を特定する情報（患者のＩＤ、氏名などの患者情報）、病変が検出された再構成画像などを表示してもよい。

（アラート部１１３）
アラート部１１３は、所定の外部端末に対し、検出部１１１の検出結果の報知を行う。本実施形態のアラート部１１３は、検出部１１１によって特定の傷病が検出された場合に、患者情報、病変が検出された再構成画像、および画像中の病変領域を示す情報を、外部サーバを経由して医師のモバイル端末に送信する。

（情報処理装置のハードウェア構成）
情報処理装置１１は、プロセッサ、メモリ、ストレージなどを備えたコンピュータにより構成してもよい。この場合、ストレージに格納されたプログラムをメモリにロードし、当該プログラムをプロセッサが実行することにより、再構成部１１０、検出部１１１、表示制御部１１２、アラート部１１３などの機能および処理が実現される。ただしこの構成に限らず、例えば、再構成部１１０、検出部１１１、表示制御部１１２、アラート部１１３のうちの全部又は一部を、専用に設計されたプロセッサ（ＡＳＩＣなど）又はＦＰＧＡにより実現してもよい。あるいは、演算処理の一部をＧＰＵやＤＳＰなどのプロセッサで実行してもよい。また、情報処理装置１１は、単一のハードウェアで構成されていてもよいし、複数のハードウェアで構成されていてもよい。例えば、クラウドコンピューティングや分散コンピューティングを利用し、複数のコンピュータが協働して情報処理装置１１の機能および処理を実現してもよい。

図２は、情報処理装置１１の具体的な構成の一例を示している。この例では、情報処理装置１１が、ＣＰＵ２０、ＧＰＵ２１、ＲＡＭ２２、ＲＯＭ２３、記憶装置２４を有しており、これらがシステムバス２５で接続されている。また、情報処理装置１１には、表示装置２６と、マウスやキーボードなどの入力装置２７とが接続されている。

（情報処理装置の動作）
次に、図３のフローチャートを用いて、情報処理装置１１が実行する処理を説明する。

ステップＳ３０において、撮像部１０によって計測された胸部の投影データが情報処理装置１１に順次取り込まれる。ステップＳ３１において、再構成部１１０は、投影データを用いて再構成処理を行い、３次元の画像データ（ボリュームデータ）を生成する。ステップＳ３２において、検出部１１１は、画像データを学習済モデルに入力して、画像データから気胸の原因が疑われる病変部位を検出する。病変部位が検出された場合には（ステップＳ３３のＹＥＳ）、ステップＳ３４において、表示制御部１１２が、病変部位が検出されたことを通知するメッセージとともに、病変部位の領域が色付けされた画像を表示装置に表示する。ここで表示される画像は、ボリュームデータでもよいし、２次元の断層画像でもよい。さらに、ステップＳ３５において、アラート部１１３は、病変部位が検出されたことを通知するメッセージとともに、病変部位の領域が色付けされた画像、患者情報などを、予め設定された担当医師のモバイル端末に送信する。ステップＳ３２の検出処理で病変部位が検出されなかった場合には、ステップＳ３４及びＳ３５の通知処理はスキップされる。最後に、ステップＳ３６において、ステップＳ３１で生成された画像データが外部の画像サーバ１３に送られ、格納される。画像サーバ１３に格納された画像データは、医師による読影（画像診断）に利用される。

本実施形態に係る情報処理装置によれば、医師による読影の準備が整うよりも前に、特定の傷病を自動で検出してアラートすることができる。これにより、従来の手順（すなわち、撮像、画像再構成、画像サーバへの送信、読影という手順）に比べて、傷病検出までに要する時間の大幅な短縮が実現できるので、緊急性の高い疾患が重篤化する割合を低減させることができる。

［第２の実施形態］
第２の実施形態では、ＡＩによる傷病検出に用いる第１の画像データの解像度を、画像診断用に外部の画像サーバ１３に送信する第２の画像データの解像度よりも小さくする。本実施形態では、ＭＲＩ装置により撮影された頭部ＭＲ画像から頭蓋内出血をＡＩにより自動検出する例を説明する。

以下、本実施形態に係る撮像システム１の構成に関して、第１の実施形態と異なる部分を中心に説明する。

（撮像部１０）
本実施形態の撮像部１０は、ＭＲＩの撮像装置であり、ガントリとも呼ばれる。撮像部１０は、ベッド（クレードル）に横たわった被検体１２をスキャンし、取得した生データ（ｋ空間データ）を情報処理装置１１の再構成部１１０に送信する。予め設定された撮影条件及び撮影部位に従ってベッドの移動及び撮像部１０の制御が行われることで、所望の撮像範囲のｋ空間データが取得される。

ＭＲＩの撮像部１０は、静磁場磁石、３方向の傾斜磁場コイル、照射コイル、受信コイルなどを有する。静磁場磁石によって形成される均一な磁場空間の中に被検体１２を置き、傾斜磁場コイルによって所定の方向の傾斜磁場を印加した状態で、照射コイルから特定周波数の電磁波を照射する。そして、電磁波の照射を止めたのちに、体内のプロトンから発生する微弱な電磁波（ＭＲ信号）を受信コイルで計測する。ＭＲ信号の強度はプロトンの存在量（典型的には、水素原子の量すなわち水分量）によって異なるため、受信コイルで計測される信号は被検体１２内部の構造を反映したものとなる。

（再構成部１１０）
再構成部１１０は、撮像部１０から得られたｋ空間データから画像データを再構成する。画像再構成には、例えば、２次元フーリエ変換などの手法が用いられる。

本実施形態の再構成部１１０は、検出処理用の低解像度の第１の画像データと画像診断用の高解像度の第２の画像データを生成可能である。第１の画像データを再構成する処理（第１の再構成処理）では、例えば、ｋ空間データを間引いた後に２次元フーリエ変換を行うことで、第２の画像データに比べて解像度（画像サイズ）の小さい画像が生成される。本実施形態では、例えば、第１の画像データとして、コロナル方向、アキシャル方向、サジタル方向の画素数がいずれも第２の画像データの半分となる画像データが生成される。

第１の画像データは、検出部１１１による傷病検出、表示制御部１１２による画像表示、アラート部１１３による通知処理などに利用される。他方、第２の画像データは、外部の画像サーバ１３に送信される。

（検出部１１１）
検出部１１１は、機械学習された学習済モデルを用いて、第１の画像データから特定の傷病（本実施形態では、頭蓋内の出血部位）を検出する傷病検出処理を行う。特定の傷病が検出された場合、検出部１１１は検出結果を表示制御部１１２およびアラート部１１３に送信する。学習済モデルの構成及び機械学習法は第１の実施形態と同様である。ただし、学習データとして、第１の画像データと同じ解像度（サイズ）の画像データが用いられる点が第１の実施形態と異なる。

（情報処理装置の動作）
次に、図４のフローチャートを用いて、本実施形態における情報処理装置１１が実行する処理を説明する。

ステップＳ４０において、撮像部１０によって計測されたＭＲ信号が情報処理装置１１に順次取り込まれる。ＭＲ信号をｋ空間にマッピングすることでｋ空間データが生成される。ステップＳ４１において、再構成部１１０は、ｋ空間データを用いて第１の再構成処理を行い、低解像度の第１の画像データを生成する。ステップＳ４２において、検出部１１１は、第１の画像データを学習済モデルに入力して、第１の画像データから頭蓋内出血が疑われる部位を検出する。出血部位が検出された場合には（ステップＳ４３のＹＥＳ）、ステップＳ４４において、表示制御部１１２が、頭蓋内出血が検出されたことを通知するメッセージとともに、出血部位の領域が色付けされた画像を表示装置に表示する。さらに、ステップＳ４５において、アラート部１１３は、頭蓋内出血が検出されたことを通知するメッセージとともに、出血部位の領域が色付けされた画像、患者情報などを、予め設定された担当医師のモバイル端末に送信する。ステップＳ４２の検出処理で出血部位が検出されなかった場合には、ステップＳ４４及びＳ４５の通知処理はスキップされる。次に、ステップＳ４６において、再構成部１１０は、ｋ空間データを用いて第２の再構成処理を行い、高解像度の第２の画像データを生成する。最後に、ステップＳ４７において、第２の画像データが外部の画像サーバ１３に送られ、格納される。画像サーバ１３に格納された第２の画像データは、医師による読影（画像診断）に利用される。

本実施形態に係る情報処理装置によれば、医師による読影の準備が整うよりも前に、特定の傷病を自動で検出してアラートすることができる。加えて、本実施形態では低解像度の第１の画像データを傷病検出に利用するため、再構成処理に要する時間、及び、ＡＩによる傷病検出処理に要する時間を短縮することができる。これにより、第１の実施形態よりもさらに傷病検出までに要する時間の短縮を図ることができるので、緊急性の高い疾患が重篤化する割合を一層低減させることができる。

［第３の実施形態］
第３の実施形態では、複数の学習済モデルがあらかじめ用意されており、傷病検出に用
いる学習済モデルを再構成条件に応じて適応的に選択する構成例を説明する。

図５は、本実施形態の情報処理装置１１の構成を模式的に示している。情報処理装置１１は、学習済モデルを記憶するモデル記憶部５０と、撮像システム１に対する設定パラメータ（設定情報）に基づいて使用する学習済モデル及び再構成条件を設定する設定部５１と、モデルの機械学習を実施する学習部５２とを備える。その他の構成は前述した第１の実施形態のものと同様である。

モデル記憶部５０には、複数の学習済モデルＭ１、Ｍ２、Ｍ３・・・があらかじめ登録されている。それぞれの学習済モデルＭ１、Ｍ２、Ｍ３・・・は、再構成条件（例えば、スライス厚、スライス間隔、再構成関数など）が異なる学習データを用いて機械学習されたものである。モデル記憶部５０には、各学習済モデルＭ１、Ｍ２、Ｍ３・・・が、対応する再構成条件Ｆ１、Ｆ２、Ｆ３・・・と関連付けて記憶されている。

図６は、学習フェーズを模式的に示している。再構成部１１０は、撮像部１０から取得された生データを基に、学習データとして用いる画像データを再構成する。このとき、同じ生データを用いて、それぞれの再構成条件Ｆ１、Ｆ２、Ｆ３・・・での再構成処理を行うことで、再構成条件が異なる複数の画像データが生成される。ここで、例えば再構成条件Ｆ１は、肝臓の異常検出に適した画像を再構成するための条件であり、再構成条件Ｆ２は、肺の異常検出に適した画像を再構成するための条件である。さらに、再構成条件Ｆ３は、大腸の異常検出に適した画像を再構成するための条件である。すなわち、再構成条件Ｆ１、Ｆ２、Ｆ３・・・は、画像の撮影部位又は識別すべき傷病の種類に応じて設定された条件である。

ここで、撮影部位や傷病の種類に応じて再構成条件を変える理由について説明する。一般に読影のためには、高域強調の特性を持つなど、医師が読みやすい画像を生成する再構成関数が用いられる。このような再構成関数を用いると、一般に画像ノイズが大きくなる傾向がある。これに対し、ＡＩによる傷病検出処理（推論）の精度向上のためには、画素値の定量性がより高い再構成関数及び画像ノイズを極力抑える再構成関数が好ましい。そのような目的では、例えば、低域の周波数特性がフラットで、かつ高域については遮断する特性を持つフィルタが用いられる場合がある。また、撮影部位や識別したい傷病の種類に応じて、再構成画像において描出されるべき情報も異なる。それゆえ、どのような画像情報に注目したいかによって、フィルタその他の条件を最適化することが好ましい。

各再構成条件Ｆ１、Ｆ２、Ｆ３・・・の画像データが得られたら、医師などの専門家が画像データを確認し、ＲＯＩ又はＶＯＩ（つまり傷病検出処理によって識別すべき傷病の領域）にマーキングを行う。マーキングは、例えば、表示装置に表示された画像データに対し、マウス等の入力装置で領域を指定し又は画素を選択することにより行うとよい。そして、画像データ（再構成画像）とマーキングされた領域を示すラベル情報とのセットが、学習データとして保存される。なお、学習データはできるだけ多い方がよく、また、バリエーションに富んでいる方が好ましい。したがって、多数の患者から学習データを収集するとよい。十分な数の学習データが得られたら、学習部５２が、再構成条件ごとにモデルの機械学習を行い、学習済モデルＭ１、Ｍ２、Ｍ３・・・をモデル記憶部５０に登録する。

なお、本実施形態では、撮像システム１自体が機械学習を行う構成としたが、機械学習は他のシステムで行ってもよい。その場合は、情報処理装置１１が、他のシステムで生成された学習済モデルＭ１、Ｍ２、Ｍ３・・・と対応する再構成条件Ｆ１、Ｆ２、Ｆ３・・・のデータを受け取り、それらをモデル記憶部５０に登録すればよい。

図７は、学習済モデルを用いた検出処理を模式的に示している。例えば、胸部ＣＴ画像から気胸の原因である病変部位を検出するケースを想定する。この場合、ユーザ（技師など）は撮像システム１に対し胸部撮影用の設定パラメータを入力する。設定部５１は、入力された設定パラメータに基づいて、肺の異常検出に適した再構成条件Ｆ２と学習済モデルＭ２を選択し、再構成部１１０に対し再構成条件Ｆ２を設定するとともに、検出部１１１に対し学習済モデルＭ２を設定する。

撮像部１０から被検体１２の生データが取り込まれると、再構成部１１０が再構成条件Ｆ２による再構成処理を行い、画像データＩ２を生成する。そして、検出部１１１が、画像データＩ２を学習済モデルＭ２に入力し、気胸の原因である病変部位を検出する。このように、撮影部位や識別したい傷病の種類に応じて再構成条件と学習済モデルを変更することによって、傷病検出の精度及び信頼性を向上することができる。なお、ここでは再構成条件Ｆ２を用いる例を説明したが、他の再構成条件についても同様である。

図８は、再構成条件の具体例（テーブル）を示す図である。テーブルには、肝臓用、肺用、大腸用・・・のように、撮影部位（あるいは疾患部位）ごとの再構成条件Ｆ１、Ｆ２、Ｆ３・・・が設定されている。この例では、再構成条件として、スライス厚、スライス間隔、分解能、再構成関数などが設定されている。ただし、あくまで図８は一例であり、再構成条件の種類や項目はこれに限られない。例えば、肝臓癌、肝硬変、大腸癌、乳癌、動脈硬化・・・のように疾病ごとに再構成条件を設定してもよい。また、項目としては、画像処理フィルタ、逐次近似の繰り返し数などを設定してもよい。

なお、本実施形態では、撮像システム１の設定にあわせて、第１の画像データ用の再構成条件と学習済モデルの両方を設定したが、学習済モデルの選択方法はこれに限られない。例えば、再構成部１１０で第１の画像データに適用された再構成条件にあわせて、検出部１１１が最適な学習済モデルを選択してもよい。具体的には、検出部１１１は、第１の画像データの再構成条件と同一もしくは類似する再構成条件で生成された学習データを用いて機械学習された学習済モデルを、最適な学習済モデルとして選択してもよい。

［第４の実施形態］
第４の実施形態では、複数の学習済モデルがあらかじめ用意されており、傷病検出に用いる学習済モデルを造影条件に応じて適応的に選択する構成例を説明する。情報処理装置１１の構成は図５に示したものと同様である。

モデル記憶部５０には、複数の学習済モデルＭ１、Ｍ２、Ｍ３・・・があらかじめ登録されている。それぞれの学習済モデルＭ１、Ｍ２、Ｍ３・・・は、造影条件（例えば、造影剤の流量、濃度など）が異なる学習データを用いて機械学習されたものである。モデル記憶部５０には、各学習済モデルＭ１、Ｍ２、Ｍ３・・・が、対応する造影条件Ｆ１、Ｆ２、Ｆ３・・・と関連付けて記憶されている。

一般的に、造影剤注入装置は、被検体に注入する造影剤の量および濃度を制御することができる。図９に示すように、造影剤の注入し始めのｔ１秒間は注入速度ｘ１［ｃｃ／秒］で持続的に造影剤を注入し、その後のｔ２秒間は注入速度ｘ２［ｃｃ／秒］で造影剤を持続的に注入する。そうすると、冠動脈血中における造影剤の濃度Ｃａ（ｔ）が一定とみなせる区間Ｔ１（濃度一定期間）および所定領域における造影剤の濃度Ｃｍｙｏ（ｔ）が一定とみなせる区間Ｔが得られる。この例では、注入速度３ｃｃ／秒で２０秒間に渡って静注し、引き続き注入速度１．５ｃｃ／秒で３０秒間注入を行うものとしている。
造影剤注入装置は、一定の条件に従って、単位時間当たり所要の量の造影剤を被検体内に注入し、冠動脈血中および所定部位における造影剤の濃度Ｃａ（ｔ）、Ｃｍｙｏ（ｔ）が一定とみなせる状態を得ることができるようにされる。

学習フェーズでは、再構成部１１０は、撮像部１０から取得された生データを基に、学習データとして用いる画像データを再構成する。このとき、再構成部１１０は、区間Ｔ１（造影剤の濃度が一定である期間）に撮影された生データに対する再構成処理と、区間Ｔ１以外の期間（造影剤の濃度が一定でない期間）に撮影された生データに対する再構成処理を実行する。これにより造影条件が異なる複数の画像データが生成される。

各造影条件Ｆ１、Ｆ２、Ｆ３・・・の画像データが得られたら、医師などの専門家が画像データを確認し、ＲＯＩ又はＶＯＩ（つまり傷病検出処理によって識別すべき傷病の領域）にマーキングを行う。そして、画像データ（再構成画像）とマーキングされた領域を示すラベル情報とのセットが、学習データとして保存される。十分な数の学習データが得られたら、学習部５２が、造影条件ごとにモデルの機械学習を行い、学習済モデルＭ１、Ｍ２、Ｍ３・・・をモデル記憶部５０に登録する。

学習済モデルを用いた検出処理は次のように行われる。例えば、ユーザ（技師など）は撮像システム１に対し造影条件を設定する。設定部５１は、入力された造影条件に基づいて、適切な学習済モデルを選択し、検出部１１１に設定する。撮像部１０から被検体１２の生データが取り込まれると、再構成部１１０が再構成処理を行い、第１の画像データを生成する。そして、検出部１１１が、第１の画像データを学習済モデルに入力し、病変部位を検出する。このように、造影条件に応じて学習済モデルを変更することによって、傷病検出の精度及び信頼性を向上することができる。

［第５の実施形態］
図１０は、第５の実施形態に係る情報処理装置１１の構成を示している。上述した第２の実施形態では、再構成部１１０が再構成処理を変えることによって、検出処理用の低解像度の第１の画像データと画像診断用の高解像度の第２の画像データを生成する構成を採用した。これに対し、第５の実施形態では、再構成部１１０によって生成された画像データをダウンサイズすることによって低解像度の（データサイズの小さい）画像データを生成し、ダウンサイズされた画像データを検出処理、表示処理、通知処理などに利用する。

本実施形態の情報処理装置１１は、画像データのダウンサイズ（解像度変換）を行う処理部１１４、画像サーバ１３などの外部装置への画像データの出力を行う出力部１１５を有している。その他の構成は上述した実施形態のものと同じでよい。

再構成部１１０は、撮像部１０から得られた生データを基に画像再構成を行い、高解像度の画像データを生成する。処理部１１４は、再構成部１１０によって生成された画像データのダウンサイズを行い、検出処理用の第１の画像データ、表示用の第３の画像データ、通知用の第４の画像データを生成する。ここで、第１の画像データのサイズは第３の画像データよりも小さいとよい。また、第４の画像データのサイズは第３の画像データよりも小さいとよい。ダウンサイズ処理は、画素の間引き処理でもよいし、バイキュービックやバイリニアやニアレストネイバーなどの解像度変換でもよいし、それ以外の処理でもよい。再構成部１１０によって生成された高解像度の画像データは、画像診断用の第２の画像データとして利用される。

検出部１１１は、ダウンサイズされた第１の画像データを用いて特定の傷病の検出処理を行う。特定の傷病が検出された場合、検出部１１１は、その検出結果（例えば特定の傷病の領域の情報）を表示制御部１１２、アラート部１１３、出力部１１５に出力する。表示制御部１１２は、表示用の第３の画像データとともに傷病の検出結果を表示装置２６に表示させる。アラート部１１３は、通知用の第４の画像データとともに傷病の検出結果を医師等の端末１４に送信する。また、出力部１１５は、画像診断用の第２の画像データと
ともに傷病の検出結果を画像サーバ１３に送信する。

本実施形態の構成によれば、ダウンサイズされた第１の画像データが検出処理に利用されるため、迅速な検出が可能である。表示に用いられる第３の画像データは、第１の画像データよりも高精細であるため、第１の画像データから検出された特定の傷病を画面上で確認する作業に好適である。一方、通知用に用いられる第４の画像データはデータサイズが小さいため、端末へのデータ伝送の負荷が軽減され、かつ、低スペックの端末での表示が容易となる。そして、画像診断用には最も高精細な第２の画像データが利用されるため、信頼性の高い画像診断が実現できる。また、第１の画像データから検出された傷病の情報が表示用の第３の画像データや画像診断用の第２の画像データに付加されるため、コンソール画面での表示や画像診断において、画像中の傷病の領域（位置）を確認する作業が容易になる。

［変形例］
上記実施形態は本発明の一例を示したものである。本発明の範囲は上記実施形態に限られることはなく、さまざまな変形例を含んでもよい。

例えば、第２の実施形態では、傷病検出処理用の第１の画像データと画像診断用の第２の画像データの２種類の画像データを生成したが、これらに加えて、情報処理装置１１のコンソール画面への表示用の第３の画像データを生成してもよい。第３の画像データは、第１の画像データよりも解像度が高い（画像サイズが大きい）とよい。第１の画像データから検出された傷病を技師又は医師が目視により確認する際に、高解像度の画像を用いる方が好ましいからである。他方、第３の画像データは、第２の画像データよりも解像度が低い（画像サイズが小さい）とよい。コンソール画面における高速な画像表示を行うためである。

さらに、アラート部１１３がモバイル端末に送信するために用いられる、通知用の第４の画像データを生成してもよい。第４の画像データは第１の画像データよりも解像度が低い（画像サイズが小さい）とよい。モバイル端末へのデータ伝送の負荷を軽減し、かつ、低スペックのモバイル端末での表示を容易にするためである。

第２の実施形態では、傷病検出用の第１の画像データを再構成した後に、画像サーバへの送信用の第２の画像データを再構成したが、本発明の実施はこれに限らない。例えば、第１の画像データの再構成と、第２の画像データの再構成を並行して行ってもよい。低解像度の第１の画像データの方が再構成の処理時間が短い。それゆえ、第１の画像データが先に生成され、その画像を用いて特定の傷病の検出を行っている間に、第２の画像データの再構成を行うことができる。このような処理によれば、迅速な傷病検出を実現しつつ、画像診断用の第２の画像データの再構成処理も早く完了することができる。

第２の実施形態では、第１の画像データの解像度を第２の画像データよりも低くすることで、第１の画像データの再構成に必要な時間を短くした。しかし、第１の画像データの再構成が第２の画像データの再構成よりも短い処理時間で済むのであれば、第１の画像データと第２の画像データの解像度は同じでもよい。処理時間の短い再構成アルゴリズムとしては、例えば、ディープラーニング再構成、逐次再構成などが挙げられる。

第１の実施形態では特定の傷病が気胸である場合について説明し、第２の実施形態では特定の傷病が頭蓋内出血である場合について説明したが、傷病検出処理の対象はこれらに限らず、大動脈解離や脳梗塞等でもよい。

第１および第２の実施形態では、学習済モデルによって画像中の特定の傷病領域をセグ
メンテーションする例を説明した。しかし、本発明の実施はこれに限らず、傷病領域をセグメンテーションする代わりに、非特許文献１のような方法で画像中の傷病領域を包含するバウンディングボックスを取得してもよい。

１：撮像システム
１０：撮像部
１１：情報処理装置
１２：被検体
１１０：再構成部
１１１：検出部
１１２：表示制御部
１１３：アラート部

Claims (19)

1. 被検体をスキャンする撮像部によって生成されたデータを取得する取得手段と、
   前記データに基づいて、前記被検体の情報を示す第一の画像データを再構成する第一の再構成手段と、
   前記データに基づいて、前記被検体の情報を示す第二の画像データを再構成する第二の再構成手段と、
   画像データから特定の傷病を識別するように学習された学習済モデルを用いて、前記被検体の前記第一の画像データから前記特定の傷病を検出する検出手段と、
   前記被検体の前記第一の画像データから前記特定の傷病が検出された場合に、検出結果を通知する通知手段と、
   前記第二の画像データを外部装置に出力する出力手段と
   を有し、
   前記検出手段における前記特定の傷病の検出に用いられる前記第一の画像データのデータサイズは、前記出力手段から前記外部装置に出力される前記第二の画像データのデータサイズより小さい
   ことを特徴とする情報処理装置。
2. 表示装置に前記被検体の前記第二の画像データを表示させる表示制御手段をさらに有する
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記表示制御手段は、前記検出手段によって検出された前記特定の傷病の領域の情報を、前記被検体の前記第二の画像データとともに前記表示装置に表示させる
   ことを特徴とする請求項２に記載の情報処理装置。
4. 前記出力手段は、前記検出手段によって検出された前記特定の傷病の領域の情報を、前記被検体の前記第二の画像データとともに前記外部装置に出力する
   ことを特徴とする請求項１～３のいずれか１項に記載の情報処理装置。
5. 前記第一の再構成手段による前記第一の画像データの再構成は、前記第二の再構成手段による前記第二の画像データの再構成よりも、再構成の処理時間が短い
   ことを特徴とする請求項１に記載の情報処理装置。
6. 前記第一の画像データは、前記第二の画像データよりも、解像度が低い
   ことを特徴とする請求項１～５のうちいずれか１項に記載の情報処理装置。
7. 前記第一の再構成手段による前記第一の画像データの再構成は、前記第二の再構成手段による前記第二の画像データの再構成と再構成条件が異なる
   ことを特徴とする請求項１～６のうちいずれか１項に記載の情報処理装置。
8. 前記第一の再構成手段による前記第一の画像データの再構成は、前記第二の再構成手段における前記第二の画像データの再構成よりも先に行われるか、又は
   前記第一の再構成手段による前記第一の画像データの再構成と、前記第二の再構成手段による前記第二の画像データの再構成とは、並行して行われる
   ことを特徴とする請求項１～７のうちいずれか１項に記載の情報処理装置。
9. 前記検出手段は、複数の学習済モデルを有しており、前記複数の学習済モデルの中から検出処理に用いる学習済モデルを選択する
   ことを特徴とする請求項１～８のうちいずれか１項に記載の情報処理装置。
10. 前記複数の学習済モデルは、再構成条件が異なる学習データを用いて学習されたモデルであり、
    前記検出手段は、検出処理に用いる前記第一の画像データに対応する再構成条件で生成された学習データを用いて学習された学習済モデルを、検出処理に用いる学習済モデルとして選択する
    ことを特徴とする請求項９に記載の情報処理装置。
11. 前記複数の学習済モデルは、造影条件が異なる学習データを用いて学習されたモデルであり、
    前記検出手段は、検出処理に用いる画像データの撮影時の造影条件に対応する学習データを用いて学習された学習済モデルを、検出処理に用いる学習済モデルとして選択する
    ことを特徴とする請求項９に記載の情報処理装置。
12. 前記通知手段は、前記検出結果として、前記特定の傷病の位置又は領域に関する情報を通知する
    ことを特徴とする請求項１～１１のうちいずれか１項に記載の情報処理装置。
13. 前記通知手段は、前記検出結果を表示装置に表示する
    ことを特徴とする請求項１～１２のうちいずれか１項に記載の情報処理装置。
14. 前記通知手段は、前記特定の傷病が検出された画像とともに前記検出結果を前記表示装置に表示する
    ことを特徴とする請求項３に記載の情報処理装置。
15. 前記データは、前記被検体を透過したＸ線の強度を計測することにより得られるデータである
    ことを特徴とする請求項１～１４のうちいずれか１項に記載の情報処理装置。
16. 前記データは、核磁気共鳴によって前記被検体の内部から発生する電磁波を計測することにより得られるデータである
    ことを特徴とする請求項１～１５のうちいずれか１項に記載の情報処理装置。
17. 被検体をスキャンする撮像部と、
    請求項１～１６のうちいずれか１項に記載の情報処理装置と、
    を有することを特徴とする撮像システム。
18. プロセッサが実行する情報処理方法であって、
    被検体をスキャンする撮像部によって生成されたデータを取得する取得ステップと、
    前記データに基づいて、前記被検体の情報を示す第一の画像データを再構成する第一の再構成ステップと、
    前記データに基づいて、前記被検体の情報を示す第二の画像データを再構成する第二の再構成ステップと、
    画像データから特定の傷病を識別するように学習された学習済モデルを用いて、前記被検体の前記第一の画像データから前記特定の傷病を検出する検出ステップと、
    前記被検体の前記第一の画像データから前記特定の傷病が検出された場合に、検出結果を通知する通知ステップと、
    前記第二の画像データを外部装置に出力する出力ステップと
    を有し、
    前記検出ステップにおける前記特定の傷病の検出に用いられる前記第一の画像データのデータサイズは、前記出力ステップにおいて前記外部装置に出力される前記第二の画像データのデータサイズより小さい
    ことを特徴とする情報処理方法。
19. コンピュータを、請求項１～１６のうちいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。
    

Images