JP6865283B2 - 医用画像インフォマティクス査読システムのためのシステム及び方法 - Google Patents

Description

〔関連出願〕
本出願は、２０１６年８月２９日に出願された米国仮特許出願第６２／３８０，８３１号、及び２０１７年２月２日に出願された米国仮特許出願第６２／４５３，９５１号の利益を主張するものである。上記出願の開示は、その全体が引用により本明細書に組み入れられる。

本発明の実施形態は、一般に医用情報処理システムに関する。具体的には、本発明の実施形態は、離散コンテナ型自動画像処理エンジン（ｄｉｓｃｒｅｔｅ ｃｏｎｔａｉｎｅｒｉｚｅｄ ａｕｔｏｍａｔｅｄ ｉｍａｇｅ ｐｒｏｃｅｓｓｉｎｇ ｅｎｇｉｎｅｓ）を用いた医療診断査読、並びに統計的な品質保証方法及び反復的画像処理エンジン訓練方法に関する。

今日、医用画像レビュー過程では、画像及びその他の患者データを含む臨床研究論文を第１の医師集団が読んで病気を診断する。既に第１の医師集団が読み終えた総年間臨床研究論文数のうちの２〜７％のランダムな査読サンプルが査読に回され、第２の医師集団によって再読／レビュー／盲読（ｂｌｉｎｄ ｒｅａｄ）される。換言すれば、２〜７％のランダムな査読サンプルは２回読まれる。通常、年間研究の半分は正常である（すなわち、病気が存在しない）。従って、ランダムな査読サンプルの半分は正常である（すなわち、病気が存在しない）。この２〜７％のランダムな査読サンプルが知的に事前選択されることはない。効率を高めて医師の時間浪費を防ぐために、ランダムな査読サンプルをプラットフォーム上で知的に事前選択することが必要とされている。

同様の要素を同じ参照数字によって示す添付図面の図に、本発明の実施形態を限定ではなく一例として示す。

本発明の１つの実施形態による医用データ査読システムを示すブロック図である。 １つの実施形態による画像処理サーバの例を示すブロック図である。 １つの実施形態による、医用画像処理の処理フローを示すフロー図である。 いくつかの実施形態による、画像処理エンジンの構成例を示すブロック図である。 いくつかの実施形態による、画像処理エンジンの構成例を示すブロック図である。 いくつかの実施形態による、画像処理エンジンの構成例を示すブロック図である。 別の実施形態による、医用画像処理の処理フローを示すフロー図である。 １つの実施形態による、査読プロセスのワークフローを示すフロー図である。 １つの実施形態による査読システムを示すブロック図である。 １つの実施形態による、追跡データを記憶するデータ構造の例を示す図である。 １つの実施形態による所見レポートの例を示す図である。 別の実施形態による、追跡データを記憶するデータ構造の例を示す図である。 いくつかの実施形態による、追跡データを記憶するデータ構造の例を示す図である。 いくつかの実施形態による、追跡データを記憶するデータ構造の例を示す図である。 １つの実施形態による、追跡データ及びレポートを記憶するデータ構造の例を示す図である。 いくつかの実施形態によるアクセス制御リストの例を示す図である。 いくつかの実施形態によるアクセス制御リストの例を示す図である。 いくつかの実施形態によるアクセス制御リストの例を示す図である。 １つの実施形態による画像処理プロセスを示すフロー図である。 別の実施形態による画像処理プロセスを示すフロー図である。 別の実施形態による画像処理プロセスを示すフロー図である。 別の実施形態による画像処理プロセスを示すフロー図である。 本発明の１つの実施形態と共に使用できるデータ処理システムのブロック図である。

後述する詳細を参照しながら本発明の様々な実施形態及び態様について説明し、添付図面に様々な実施形態を示す。以下の説明及び図面は本発明を例示するものであり、本発明を限定するものとして解釈すべきではない。本発明の様々な実施形態を完全に理解できるように数多くの具体的な詳細を示す。しかしながら、本発明の実施形態を簡潔に説明するために、いくつかの例では周知の又は従来の詳細については説明しない。

本明細書における「１つの実施形態」又は「ある実施形態」という言及は、その実施形態に関連して説明する特定の特徴、構造又は特性を本発明の少なくとも１つの実施形態に含めることができることを意味する。本明細書の様々な箇所で見られる「１つの実施形態では」という表現は、必ずしも全てが同じ実施形態を参照しているわけではない。

本発明の１つの態様によれば、現場に位置するシステム及び／又はクラウドベースのプラットフォームを利用して、研究論文の匿名化、研究論文のアップロード、新規アカウントの登録及びアクセス、コミュニティの構築、臨床顧問委員会及び／又はグループ統治の規定、機械学習済みアルゴリズム／エンジンの訓練及び形成のためのツール利用、アルゴリズム／エンジンのアップロード又はダウンロード、公開アルゴリズム／エンジンの利用及び研究論文に対する実行、確認又は却下された所見に基づく使用数、精度及び信頼度などの成果／結果の通信を容易にする。システムは、個人の考え又はグループの考え、並びにこれらの間の類似性及びクラウドソーシングする慣習を判断するためのビッグデータ分析に基づいて構成できる機械学習したアルゴリズムを組み込んだ判読ワークフローの最良事例を判定するためのフレームワークを有することができる。個人の考え又はグループの考えに基づいて構成できるアルゴリズムは、１又は２以上の医療機関で共有することができる。

システムは、１又は２以上の場所の１つの医療研究所のためのローカルクラウドシステムとすることができる。クラウドベースのシステムは、１又は２以上の地理的場所の１つの医療研究所のためのプライベートクラウドとすることができる。システムは、１又は２以上の場所の１又は２以上の医療研究所を接続できるシステムとすることができる。クラウドベースのシステムは、パブリッククラウドとすることもできる。複数のローカルクラウドシステムを接続できるメインクラウドシステムが存在することもできる。例えば、複数の研究所からの複数のプライベートクラウドシステムを接続できるメインクラウドシステムが存在することができる。メインクラウドシステムからプライベートクラウドシステムへの情報及びツールのアクセス度は、医療研究所による事前設定に依存することができる。

画像処理エンジンは、医用画像データ、医用メタデータ、並びにその他の患者及び治療関連コンテンツに対して実行される機械学習法、深層学習法及び決定論的統計法（エンジン）を利用するマルチサイドプラットフォーム上で呼び出され又は有効にされた時に、単独で又は互いに組み合わせて機能して、特定の標的所見を有する事前確率又は信頼度が高い又は低いことが医師又は臨床医によって確認された画像及び情報のコホート（ｃｏｈｏｒｔｓ）を改善することができる。標的所見は、医師が個別に同意するかどうかを確認するために盲信的に保持され、或いは医師の判読プロセス内で提示されて応答を喚起し、あらゆるフィードバック、調整、同意又は不同意が取り込まれ、提案を生成したエンジンの性能フィードバックとして利用される。

所見は、この研究論文と同様の以前の研究論文、ツールの提案、及び診断又は研究の判読プロセスにおいて使用されることが望ましいほとんど全ての当時最新の情報又は自動化ツールを示すことができるいずれかの関心生体構造、測定値、表示、参考資料を表す。本査読システムでは、エンジンは交換可能であり、従って発明ではない。従って、所見のタイプ及びエンジンの機能は時間と共に様々に変化する。データを処理するエンジン及び本査読システムの利用データの両方から受け取られる性能フィードバックが統計的相互作用データの形で取り込まれ、これを利用して、処理及びレビューが行われた現在の画像データコホートの相対値、医師又は臨床医によるレビューのために研究論文を準備又は表示する過程において意図的に呼び出されるあらゆる（単複の）ツール、自動相互作用、所見及びその他のデータの値及び精度、及び／又は（単複の）エンジン自体の値、並びにこれらの様々な組み合わせを決定する。

従って、画像、データ及び所見の全ての意図的又は偶発的な提示を医師の同意、修正又は不同意について盲目的又は非盲目的に評価し、これによって、ａ）新たなフィードバックが戻された時に、医師による確認率を高めて見逃された所見を減少させるようにエンジンを改善すること、ｂ）レビュアの能力を測り、レビューツール及び画像／コンテンツの表示を適合させて、医用画像（又は他の）ビューア内に一般に必要とされる項目に対する努力及びアクセスを抑えることによってワークフローを改善すること、ｃ）既知の所見を含むキュレートされた画像コホートを査読のために送信（又は投入）し、見えない所見をコホート内の実際の既知の所見と比較する際の医師の性質を評価すること、ｄ）読まれていない処理前の研究論文に本査読システムを予見的に適用することにより、医師が医用画像研究論文を最初にリアルタイムで判読した時に、盲目的又は非盲目的に同時に自動的に生成された本査読システムの所見が予見的に組み込まれるようにすること、及びｅ）機械と、反復的又は継続的に更新されるこのような画像、データ、相互作用及び所見の（単複の）人間可読データベースとの集合体が、次の画像コホートを作成するために使用されるエンジン、ツール及びレイアウトの選択／提案、任意のエンジンの利用可能性、並びにこのコホートの査読及び診断的判読のために必要な他の特徴及びデータを最適化するために、トレンドを評価する能力、及び／又はこのデータを教師あり又は教師なしエンジンに継続的又は反復的に分析させる能力を提供すること（エンジンのエンジン）、のうちの一部又は全部を可能にする貴重なデータを生成する。

本発明の１つの実施形態は、教師なし（又は教師あり）のエンジンのエンジン（マスタエンジン、スーパーバイザエンジン又は管理エンジンとも呼ばれる）が自律的に動作して、実行されるエンジン（例えば、二次エンジン又はスレーブエンジン）と、例えば分散的に（例えば、複数のスレッドを介して）同時にエンジン毎に実行される画像研究論文又は患者コンテンツセットの数とを選択できるようにする。本査読システムの管理者は、自律能力を達成するために、コホート内に配置する、或いは査読のために送信する研究論文又はコンテンツセットの数の制限をエンジンのエンジンに与え、それぞれがいずれかのコホート内の１又は複数のエンジンの使用期間又は使用制限、所見のタイプ及び数量の制限又は目標、（単複の）コホート群に関する仕様、又は（単複の）期間によって制限されるようにする必要がある。

教師なしのエンジンのエンジンには、その作業を最適化させて、医師の時間が過度に多く査読に費やされたり、過度に多くの計算リソースが消費されたりして著しいコストが掛からないように強制するために、画像、画像コホート、コンテンツ、所見、相互作用のタイプ及び／又は数／量、並びにこれらのエンジンを実行するための、及び／又は医師がこれらのプロセスを実行するための処理時間に関する個別の及び／又は集合的な制限（最小値、最大値、平均値、又はその他の統計的に関連する又は設定された制限／目標）が与えられる。教師なしエンジンの観察及び選択を、所見の最大化された臨床的価値、注釈調整（ａｎｎｏｔａｔｉｏｎ ａｄｊｕｓｔｍｅｎｔｓ）、画像コホートと査読において受け取られる医師／臨床医のフィードバックとの組み立て、及び臨床診断の判読と確実に整合させるために、ａ）エンジン、ｂ）各エンジンが形成した（所見なしを含む）所見の量及びタイプ、ｃ）複数のエンジンによって所見が確認又は拒絶された場合に適用される乗数、ｄ）所見（又は所見なし）を判定するために複数のエンジンが画像又はコンテンツセットに作用する場合に適用される乗数、のうちの１つ又は２つ以上に（等しい又は等しくない）重み値が設定される。

エンジンは、査読システムを開発した個人又は企業と同じ又は異なる個人又は企業によって開発することができ、自機の入力及び出力スキーマにおいて共通する特徴を利用して複数のエンジンの連続的又は階層的な実行を可能にするエンジンは、アンサンブルエンジンとしても知られている。これらのアンサンブルエンジンは、教師ありのエンジンのエンジンを用いて、或いは教師なしのエンジンのエンジンを用いてエンジンの出力又は実行、或いは所見のうちの１つの所見に値を設定してプログラム的に組み立てることができる。エンジンと本査読システムとによるこれらの間の、又はエンジンと他のエンジンとの間の通信のための所定の入出力スキーマは、入力及び出力を、様々なエンジンが必要とする様々な形に抽象化することができる。例えば、エンジン１が、ゼロを無限の正及び負の範囲領域の中間値とするデータ点座標を受け入れ、エンジン２が、０を無限の常に正の範囲領域内の最低値とするデータ点座標を受け入れた場合、通信スキーマにおいて行われる抽象化は、これらの２つの領域の範囲値を考えられる共有値の指定範囲にわたってマッピングすることである。コンテナエンジン及びエンジンのエンジンの動作を実行するための抽象化方法の実装は、全ての考えられる値のタイプ及び範囲にわたって機能する。

所見は、以下に限定するわけではないが、導出された画像、輪郭、区分、オーバーレイ、数、類似性、数量、並びに企業の電子健康記録システム、画像アーカイブ及び通信システム、コンテンツ管理システム、査読システム、研究室システム及び／又は高度可視化システムで一般に見られ、測定され、導出され又は発見される他のいずれかの値を含むことができる。本査読システムは、将来的なエンジンの分析及び最適化のために、査読において生じた結果と医師又は臨床医が生成した結果との間の差分を取り込み、比較し、出力することができる。

エンジン立案者（ｅｎｇｉｎｅ ａｕｔｈｏｒｓ）及びエンドユーザ（医師及び臨床医を含むヘルスケア提供者、研究者、業界団体、又はこれらのグループ）などの様々な出資者は、マルチテナンシープラットフォーム（ｍｕｌｔｉ−ｔｅｎａｎｃｙ ｐｌａｔｆｏｒｍ）として査読システムにアクセスすることができる。特定の画像、画像コホート、エンドユーザである医師又は臨床医のフィードバック、統治、アップロード又は削除のためのエンジン、画像及び臨床コンテンツを実行するためのエンジン、及びユーザ設定へのアクセス制御は、許可された所有者からの許可を伴わない画像、エンジン又は使用の混同（ｃｏｍｉｎｇｌｉｎｇ）を防ぐように制御することができる。あらゆる出資者は、エンドユーザがアルゴリズム、コード又は画像データにアクセスすることなく使用できるアルゴリズムを作成できるエンジン立案者とすることができる。これは、あらゆる数のコンテナエンジン／アルゴリズムを用いて研究論文を処理するクラウドベースサーバ又は現場に位置するサーバとすることができるセキュアなプライベートサーバ又はマルチテナントサーバに研究論文を送信することによって行うことができる。アクセス制御は、アルゴリズム開発者による認証及び管理者権限の供与を可能にする。

アルゴリズム及び使用認証の１つの実施形態は、アルゴリズム開発者に、アルゴリズムを使用する能力を異なるエンドユーザに認める能力、或いは書面形式で又はクリック式の法的取引条件を通じて提供されるプラットフォーム及びライセンス契約に（単複の）エンドユーザが同意することを必要としながらこれらのアルゴリズムを公的利用のために公開できるようにする能力を与える。さらに、管理者権限は、アルゴリズム開発者に、他のアルゴリズム開発者にアルゴリズムを修正させる能力、又は新たなバージョンのアルゴリズムを作成させる能力、或いはエンジン又はエンジンのエンジンにアルゴリズムを修正させる能力を与える。バージョン制御は、これらの多くの異なるアルゴリズムを作成する能力をアルゴリズム開発者に対して可能にしながら、規制当局の認可のためのアルゴリズム技術ファイルへの変更を追跡する。同様に、本質的価値を保護して予期せぬデータの拡散を避けるために、多くの異なる画像、臨床コンテンツコホート及び査読フィードバックデータもバージョン化され保護される。

１つの実施形態では、様々な組織又は企業体が運営できる様々な開発者が、（いずれかの画像に関連するデータしか処理できない、又は関連しないデータも処理できる、画像処理モジュール又は画像処理ユニットとも呼ばれる）画像処理エンジンを開発することができる。画像処理エンジンは、場合によってはハードウェア処理リソース（例えば、グラフィック処理ユニット又はＧＰＵなどのグラフィック高速化装置）と組み合わせて、（形状認識、サイズ測定などの）特定の画像処理を画像に対して実行するためにプロセッサが個別に単独で立ち上げて実行できる実行可能イメージ又は２進コードを意味する。画像処理エンジンは、ユーザが目的とする動作パラメータを選択してプログラムし、及び／又は１又は２以上の画像処理エンジンをダウンロードして、島状（ｉｎｓｕｌａｒ）の現場に位置する本査読システムのソリューションとして特定の場所で個別に、及び／又は別のシステムと通信して組み合わせて（ハイブリッドモード）実行できるように、ウェブサーバ内にアップロードしてリスト化することができる。選択された画像処理エンジンは、様々な構成（例えば、直列、並列、又はその両方）に合わせて一連の１又は２以上の画像処理動作を実行するように構成することができる。

本発明の別の態様によれば、画像処理エンジンを利用して、医師集団によって識別された医学的所見をレビューするように設計された他の市販の又は個別に開発された査読システムに研究論文を投入することができる。１つの実施形態では、査読システムとして動作する画像処理エンジンを使用して医師による所見を確認又は検証する。画像処理エンジンを利用して、異常所見を有している可能性が高いあらゆる画像を選別して識別し、これらをサードパーティシステムにおける査読のために送信し、又は本査読システムの発明上で診断レビューを呼び出すこともできる。

次に、識別された画像を医師集団がレビューして所見の検証及び確認を行う。後者の場合、エンジンは予備レビュアとして動作する。この結果、画像処理エンジンは、レビューの必要がある数千枚もの医用画像について大量画像処理動作を実行して異常画像を事前に識別することができ、医師が診断の判読中にこれらの画像をレビューする際に、エンジンがフィードバックから前向きに「学習」することができる。画像処理エンジンの所見とレビューを行った医師の所見とが一致する場合には、関与する画像処理エンジンの動作の妥当性を確認することができ、すなわち画像処理エンジンによって使用されるアルゴリズムの妥当性が確認される。一致しなければ、このようなアルゴリズムは、例えば機械学習方法を用いたさらなる微調整又は訓練を必要とすることができる。エンジンの機能は、アルゴリズムと呼ぶこともある。医師又はエンジンが行動の実行又はアルゴリズム／入力又はツールの適用を行う際には、これを動作と呼ぶこともある。これらの動作により、査読研究の全体的判読成果の一部である所見がもたらされる。エンジンを伴う以外は査読ワークフローと同様に、本査読システムには（医師、エンジン、エンジンのエンジン又は動作からの）第１の結果が存在し、これを（医師、エンジン、エンジンのエンジン又は動作からの）第２の結果と比較し、不一致の場合には（医師、エンジン、エンジンのエンジン又は動作からの）第３の結果によって判定する。従って、本査読システムでは、実現技術が、判読を行う医師の、医師の前の、又は医師の後の動作を実行し、この相互作用を用いて、人間が発見した所見と機械（エンジン）が発見した所見との比較をサポートし、人間の入力、エンジン、コンテンツ及び所見を典型的な査読環境に加えてリアルタイム画像判読環境で取り込み、照合して組み合わせるための技術プラットフォーム及び方法を提供することによって、査読の役割及び用途を新規の方法で拡張する。本査読システムの場合、これが、医師、エンジン（又はエンジンのエンジン）、コンテンツ／画像コホート及びサードパーティが妥当性確認したデータソースのいずれかの組み合わせ間の相互作用を（同期的又は非同期的に）含む。

医師が本査読システムを用いて提供する医師の確認及び拒絶、並びに他の収集可能なワークフロー入力は、教師あり又は教師なしの機械学習技術を用いてエンジンを継続的又は反復的に訓練する訓練データとして閉ループの形で使用することができる。エンジンの所見と（医師の修正、確認又は拒絶を含む）医師の所見との間にいずれかの不整合が存在する場合には、イベントを記録するデータベースにメッセージが送信され、任意に、たとえ一次判読プロセス又は本査読システムのプロセス中であっても、いずれかの所定の（単複の）装置、（単複の）個人、又はグループに何かに注意を払う必要がある旨のメッセージを送信することができる。これは、エンジンが他のエンジンにフィードバックを提供する教師なし方式で行って、依然として閉ループ学習シナリオを形成することができる。このような場合、人間ではなくエンジン（又はエンジンのエンジン）から第１の、第２の、さらには第３の結果を提供し、これらの結果を、本査読システムが使用する（単複の）エンジンを強化する目的で使用することができる。第１、第２及び第３の結果が完全に人間から得られる場合には典型的な査読であり、本査読システムの発明の一部ではない。しかしながら、このような場合には、妥当性確認された所見を含むこれらの判読の画像及びコンテンツコホートを画像／コンテンツコホートとして取り込むことができ、このプロセスは本発明の機能である。このようなコホートは、エンジンが学習のために遡及的に使用することができ、本査読システムは、医師の成果をさらに検証し、画像／コンテンツコホートをさらに改善し、新たなエンジン及び／又はエンジンのエンジンを開発するためにこれらのデータを査読プロセスに投入することができる。

エンジン（及びエンジンのエンジン）は、画像／コンテンツコホートだけでなく、到来する臨床データのライブストリームに対しても良好に機能しなければならない。判読を必要とするこれらのリアルタイム臨床画像及びコンテンツセットは不完全であることが多い。そうである理由は、スキャンプロトコルのエラー、患者の動き、金属アーチファクト、肥満患者などの、患者スキャン上の問題が存在するためである。この不完全性は、現在の研究論文に関連する以前の画像研究論文を利用できないこと、或いは臨床情報の不足又は医療ミスなどに起因して発生することもある。これらの理由により、リアルタイムの研究評価は画像／コンテンツコホートの処理よりも困難であり、様々なエンジン／動作が機能しなくなると予想することができる。本査読システムは、困難であった又は失敗した研究のコホートを利用して、提示されたデータの使用事例及び品質係数を所与としていずれかの所与のアンサンブル、エンジン又は動作が上手くいく可能性を判断することができる。本査読システムは、データを分析してどのエンジン、アンサンブル及び動作が実行されるかに影響を与えるエンジンのエンジンにおいてこの情報を利用して、いずれかの特定の研究論文又は困難な画像コホートの必要な／望ましい所見を最良に提供することができる。本査読システムは、このように最適化を行うことにより、無駄な計算パワーを削減し、劣った所見をレビューする医師の無駄な時間を削減し、エンジン及びアンサンブルの一貫性及び性能を高め、これにより本査読システムの知性を利用して本査読システム自体の性能を改善する。

１又は２以上のエンジン又はアンサンブルが、一致する、一致しない、正常な、異常な、高品質の、低品質の、失敗した又は上手くいった結果を戻した場合には、アラートを発することができる。また、本査読プロセス内であるか、別の医師又は臨床医の画像判読プロセス又はレビュープロセス内であるか、それとも電子健康記録、観察システム、ＰＡＣＳ又は３Ｄ高度可視化システム内であるかにかかわらず、医師が確認する必要がある所見、或いはエンジンによってマーキングされず、又は別様に評価、言及、指示又はマーキングされてクラウドプラットフォームによって供給された場合には医師が見逃した可能性が高かったはずの所見の数を増やすために、教師あり又は教師なしで機械学習したエンジンを用いて、様々な状況における様々なエンジンの効果をモニタして学習し、様々なエンジンの使用を様々な使用事例に最良に適用されるように最適化し始めることもできる。

１つの実施形態によれば、特定の臨床研究論文に関連する第１の医用画像の組が医用データソースから受け取られると、１又は２以上の画像処理エンジンが呼び出されて、特定のタイプの画像研究論文のために構成されたエンジン動作を実行するための、所定の又は機械学習によって提案された順序に従って医用画像（又はデータ、本出願では同義的に使用）を処理（例えば、画像内、他のデータ内又は測定結果内の形状、特徴、傾向を認識）する。画像処理エンジンは、医用画像のいずれかの異常所見を検出し、或いは（エンドユーザが判読のために使用しているシステムに基づいて、又はエンドユーザが本査読システムの機能の一部としてカスタマイズした方法で）エンドユーザの選好又はコンピュータ観察による作業方法に従って臨床ワークフローを最適化して異常所見を示す、又は好ましい画像の提示と正常所見及び／又は異常所見とを示す第１の結果を生成する画像処理動作を実行するように構成される。医師の入力は第２の結果を表す。本査読システムは、結果及び所見内の一致又は不一致を検出し、不一致の結果を所与としてさらなる判定のためのアラートを送信し、或いは差分を記録し、アルゴリズム／エンジンの所有者に提供して、これらの所有者がこのフィードバックを受け入れるかどうか（すなわち、医師の入力を真実として受け入れるべきかどうか、及びこの研究論文を新たな又は最新のコホートに含めるべきかどうか）を管理できるようにする。

本発明の１つの実施形態は、画像収集品質に基づいて推論及び画像コホート収集を規制する。エンジン基準を確実に満たすために、いずれかの予測エンジンを呼び出す前又は後には画像品質をチェックして検証する必要がある。この基準は、画像インフォマティクスの品質管理に関与する規制及び監視団体の基準を含むことができる。この基準１つの例は、肺塞栓症の研究に関連する。肺塞栓症検出の感度及び特異度は、画像収集品質に直接関連する。呼吸運動アーチファクトなどの画質劣化をもたらすアーチファクト、又は技術習得パラメータ（例えば、造影ボーラスのタイミング）は、所与の所見を確実に識別するためのエンジンの能力に直接影響を及ぼす。肺塞栓症検出エンジンの結果が医師に提示され又は検証されるようにするには、肺塞栓症検出エンジンの信頼度を修正するために、品質管理エンジンが造影ボーラスのタイミングの評価及び呼吸運動アーチファクトについての評価を行わなければならない。所与のアーチファクトの有無を所与として性能が良くなる又は悪くなるエンジンが存在することができ、これらは画像を処理するために自動的に選択することができる。処理されるエンジンの組み合わせは、所与の所見の所見出力の最適かつ適切な信頼性を保証する。従って、所見の有無は研究論文の質の範囲又は関数としての結果と考えられ、必ずしも離散値ではない。これは、品質管理、画像アーチファクトの処理及び画像収集品質の技術的変動に関するエンジンのエンジンのセレクタの１つの実施形態である。

画像コホートキュレーション品質スコアリングにも同様の品質管理パラダイムが適用される。医師とエンジンとの組み合わせによってキュレートされた所与の画像コホートに記憶された各画像については、画像アーチファクトの有無に伴う品質スコアが所見と共にデータベースに記憶される。診断画像判読者又は提供者は、この自動品質管理スコアを受諾又は拒絶することができる。高品質ラベルセットと低品質ラベルセットの両方がキュレートされる。高品質データセット及び低品質データセットの両方に照らして所与のエンジンの性能にスコア付けして、特定のアーチファクトが存在する場合にエンジンを使用できるかどうかを判断する。

具体的に言えば、本発明の１つの実施形態では、画像処理エンジンが、同じ又は異なる実体又は組織が運営できる１又は２以上の画像処理エンジン開発者によって提供される。第１の医用画像の組の一部である第２の医用画像の組が第１のレビューシステムに送信される。１つの実施形態では、第２の医用画像の組が、画像処理エンジンによって異常画像として分類されたものである。査読システムとして動作するレビューシステムは、第２の医用画像の組をレビューして、画像の異常点を検証又は確認、或いは非検証又は拒絶して第２の結果を生成するように構成される。レビューシステムから受け取られた第２の結果に応答して、第１の結果及び第２の結果に基づいて、本査読システム上で実行される画像処理エンジンの動作の妥当性を確認又は否定する（これは、サードパーティの従来の査読システム上で、又はこのような機能を有する、本明細書で説明する本査読システムの発明上で行われる）。

機械学習済みのエンジンは、この情報から学習を行うことができ、及び／又はアルゴリズムの統治及び／又は所有者は、このような学習プロセスへのフィードバックを受諾又は拒絶することができ、或いは教師なしエンジンは、様々なシナリオを用いて独自に実験を行って、一部のフィードバックを受諾して他のフィードバックを拒絶する統計的に理想的な組み合わせを発見することができる。品質管理を実行するために、エンジン立案者が訓練データとして利用できない参照基準画像コホートに照らして（単複の）エンジン／（単複の）アンサンブルの性能を検証することができ、この場合、エンジンのバージョニングが、典型的な医療規制及び参照基準に従って、これらの性能メトリクス及び／又は所与のアルゴリズムのバージョン、並びにトレーサビリティのために立案者に提供される画像のコホートを表示する。所与のバージョンのアルゴリズムの過剰適合を防ぐために、アルゴリズム検証及びエンジン認定のために特別に組み立てられた投入画像又は画像コホートを、提供される画像の数及びタイプに関してランダム化する（すなわち、アルゴリズムが良く見えるように又は良く評価されるようにデータを調整する）。このようなバージョニングは、参照基準コホートを用いて妥当性確認を実行することが適切でない場合に、訓練データと妥当性確認データとの間の明確な分離を保証する。

１つの実施形態では、画像処理エンジンの結果の妥当性を一貫して多くのユーザが確認することにより、これらのデータを利用してＦＤＡなどの外部サードパーティエンティティによる規制認証をサポートすることによって、画像処理エンジンが「認定」又は「認可」された画像処理エンジンになることができる。画像処理エンジンの妥当性をその使用結果に基づいて確認できない場合には、例えばその以前の結果（画像コホート及び臨床コンテンツコホート）に基づく機械学習方法を用いて画像処理エンジンのパラメータ又はアルゴリズムを調整又は再訓練する必要があり得る。さらに、エンジン、画像コホート、臨床コホートを改訂し、本査読システムの全ての利用データを保存することにより、エンジンのエンジンが学習し適合してエンジン立案者がこれらの記録されたイベントに基づいて自身のエンジンの性能を改善するための方法が提供される。

図１は、本発明の１つの実施形態による医用データ査読システムを示すブロック図である。図１を参照すると、医用データ査読システム１００が、ネットワーク１０３を介して医用画像処理サーバ１１０に通信可能に結合された１又は２以上のクライアント装置１０１〜１０２を含む。クライアント装置１０１〜１０２は、デスクトップ、ラップトップ、モバイル装置、ワークステーションなどとすることができる。ネットワーク１０３は、ローカルエリアネットワーク（ＬＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、インターネット又はイントラネットなどの広域ネットワーク（ＷＡＮ）、プライベートクラウドネットワーク、パブリッククラウドネットワーク、又はこれらの組み合わせとすることができる。

画像処理サーバ１１０は、医用データソース１０５が提供できる医用画像及び臨床コンテンツに対して一連の１又は２以上の画像処理動作又は臨床コンテンツ処理動作を実行するように呼び出して構成できる複数の画像処理エンジン１１３〜１１５をホストする。医用データソース１０５は、臨床研究情報システム（ＬＩＳ）、放射線情報システム（ＲＩＳ）、企業コンテンツ管理システム（ＥＣＭ）、電子診療記録（ＥＭＲ）、病院情報システム（ＨＩＳ）、画像アーカイブ及び通信システム（ＰＡＣＳ）、ＶＮＡ（ベンダーニュートラルアーカイブ）、高度可視化３Ｄシステム、ＥＭＲデータ、様々なディレクトリ、並びにＨＩＥ（医療情報交換）サーバ及び個人又は組織リポジトリなどの他のデータソースを含むことができる。医用データソース１０５は、画像処理サーバ１１０を運用する組織とは異なる組織又は情報提供者が管理及び／又は運用することができる。医用画像データソース１０５は、クラウドベースのストレージ、ローカルドライブ、ＣＤ、ハードドライブ、ＤＶＤ、ＵＳＢ、ウェブアップローダ、いずれかのＤＩＣＯＭリポジトリ又はソース、その他の画像及び臨床コンテンツソース、又はこれらの組み合わせからの画像データを含むことができる。画像処理サーバ１１０は、医用画像データソース１０５からネットワークを介して画像データ（例えば、研究論文、臨床レポート、画像、患者データ、利用データ、又はこれらのいずれかの組み合わせ）を受け取ることができる。

本査読システムは、人間の知性及び検証を必要とするラベル付きデータの本質的価値、又は大量の非ラベル付きデータの意図的な収集を認識する。この査読システムは、ラベル付きデータの盗用によるエンジンのリバースエンジニアリングを防ぐための、又はこのタスクを実行できるエンジンを盗むことによるラベル付きデータセットの複製を防ぐためのオプションとして、透かし、画像ラベリング、及び／又は基礎を成す証明書又は認証システムの有無にかかわらずに暗号化能力を含み、これらを利用してラベル付きデータ、ソースデータのアクセス、実行、復号又はエクスポートを防ぎ、或いはこのようなマーキングの不在時又は存在時にエンジン立案者の許可なくエンジン／アンサンブルが動作するのを制限することができる。

本査読システムの１つの実施形態は、エンジンの知的財産の立案者の許可を伴わずに注釈付きデータを収集することによるエンジンのリバースエンジニアリングを防ぐことによって立案者を保護することができる。この実施形態は、立案者及びエンドユーザによって設定されるＥＵＬＡ及び許可に基づいて変化することができる。この機能のいくつかの実装例としては、以下に限定するわけではないが、ａ）ブロックチェーンベースの（例えば、イーサリアム）ＤＡｐｐ（分散型アプリケーション）を用いてメタデータ又は画像データに注釈を付けることによる研究論文の追跡、ｂ）エンジンによって生成される透かし画像オーバーレイ、ｃ）認証ビューア又はＰＡＣＳ環境と共に見ることができるようにエンジンの出力を暗号化すること、ｄ）注釈付きの画像データ及び／又はメタデータのバルクデータエクスポートの防止、ｅ）注釈付き画像コホート使用のログ記録、ｆ）検証証明書を受け取っていないエンジン／アンサンブル動作の防止、ｇ）エンジンが特定のマーキング又は注釈付きメタデータ、又は暗号化アクセスキーなどを含まない限り、データ上でエンジンが実行するのを防ぐこと、を挙げることができる。

１つの実施形態では、データソース１０５によって提供される医用データが、ＤＩＣＯＭフォーマットの医用画像データ、非ＤＩＣＯＭフォーマットの医用画像データ、スケジューリングデータ、登録データ、人口統計データ、処方箋データ、課金データ、保険データ、口述データ、レポートデータ、ワークフローデータ、ＥＫＧデータ、最良の参考資料、参考資料、訓練資料などを含むことができる。これらのデータは、ＨＩＳ、ＲＩＳ、ＰＡＣＳ、ＬＩＳ、ＥＣＭ、ＥＭＲ又はその他のシステムを含む複数の場所又はシステム内に存在することができる。非ＤＩＣＯＭデータは、Ａ／Ｖ、ＭＰＥＧ、ＷＡＶ、ＪＰＧ、ＰＤＦ、Ｍｉｃｒｏｓｏｆｔ Ｏｆｆｉｃｅ（商標）フォーマット及びその他のフォーマットを含む複数のフォーマットとすることができる。一般に、ＰＡＣＳ内のデータはＤＩＣＯＭデータを含み、ＨＩＳ、ＲＩＳ及びＬＩＳ、ＥＣＭ、ＥＭＲ内のデータは、画像データと非画像データの両方を含む非ＤＩＣＯＭデータを含む。ＨＩＥデータは、健康情報交換システムを通じて利用できるデータを含む。一般に、これらのデータは、地域内、コミュニティ内又は病院システム内の異なる組織にわたって利用可能なデータを含み、テキストベースのデータ、ファイルベースのデータ、ＤＩＣＯＭ又は非ＤＩＣＯＭ画像データとすることができる。他のデータは、コンピュータ上のディレクトリ内のデータ、データベース内のデータ、白書及び臨床リポジトリ内のデータ、研究所内のデータ、並びにユーザ、モバイル装置から臨床使用の過程で収集されたデータを含む他のいずれかの関連データを含む。

画像処理エンジン１１３〜１１５は、様々なベンダが開発して提供することができ、様々な組織又は企業体が運用することができる。１つの実施形態は、場合によってはハードウェア処理リソース（例えば、グラフィック処理ユニット又はＧＰＵなどのグラフィック高速化装置）と組み合わせて、トレンド、比較、特定値、特性、形状又は類似性（類似度）認識、関心領域、サイズ、測定値などの特定の画像処理を画像（又はデータセット、同義的に使用）に対して実行するためにプロセッサが個別に単独で立ち上げて実行できる実行可能イメージ、コンテナ、仮想環境又は２進コードとしての画像処理エンジンである。画像処理エンジン１１３〜１１５は、クライアント１０１〜１０２のユーザが１又は２以上の画像処理エンジンをクライアントアプリケーション１１１〜１１２のそれぞれの一部として購入、選択及びダウンロードできるように、この例ではアプリケーションストアであるウェブサーバ１０９内にアップロードしてリスト化することができる。選択された画像処理エンジンは、様々な構成（例えば、直列、並列、又はその両方）に合わせて一連の１又は２以上の画像処理動作を実行するように構成することができる。画像処理エンジン１１３〜１１５は、クライアントシステム１０１〜１０２にダウンロードされて動作を実行することができる。或いは、画像処理エンジン１１３〜１１５は、画像処理サーバ１１０などのクラウドベースのシステム内でサービス型ソフトウェア（ＳａａＳ）及び／又はサービス型プラットホーム（ＰａａＳ）の一部としてホストされて動作を実行し、エンジンの立案者がアクセスの制御、バージョン及び規制順守の維持を行えるようにすることもできる。

１つの実施形態では、画像処理エンジン又はモジュール１１３〜１１５の各々を、例えば肺結節の検出、骨折の検出、臓器の同定及び分割、血液凝固の検出、画像の身体部分のカテゴリ化、慢性閉塞性肺疾患（ＣＯＰＤ）の検出、又は軟組織の特性化などの特定の画像処理動作を医用画像に対して実行するように構成することができる。画像処理エンジンは、医用画像から取得される、或いは臨床コンテンツによって導出又は示唆される形状、質感、真球度測定、色又はその他の特徴に基づいてこのような検出を実行することができる。１つの実施形態では、複数のベンダによって提供された複数の画像処理エンジンを、医用画像処理サーバ１１０の構成インターフェイス又はクライアントアプリケーション１１１〜１１２を介して、直列に、並列に又はこれらの組み合わせで画像処理動作を実行するように構成することができる。

１つの実施形態では、画像処理エンジン１１３〜１１５のいずれか１つが呼び出されると、その画像処理エンジンが、画像処理サーバ１１０の一部として、或いは画像処理サーバ１１０に通信可能に結合された遠隔医用画像処理システム（或いはシステム又はサーバのクラスタ）として統合できる画像処理システム１０６の１又は２以上の画像処理ツール１０７をさらに呼び出すことができる。画像処理システム１０６は、ＴｅｒａＲｅｃｏｎ（登録商標） ＡｑｕａｒｉｕｓＮＥＴ（商標）サーバ及び／又はＴｅｒａＲｅｃｏｎ（登録商標） ＡｑｕａｒｉｕｓＡＰＳ（商標）サーバの一部として実装することができる。各画像処理エンジンは、医用画像処理システム１０６を呼び出して、エンジン又はエンジンのエンジンに誘導された、或いはエンジン又はエンジンのエンジンによって自動的に検出できる患者の身体部分の画像に対して画像処理動作を実行して、このような画像上で特定の定量的画像データ又は測定データを生成することができる。同様に、臨床コンテンツを調査することもできる。

これらの定量的画像データを用いて、医用画像の特定の身体部分のサイズ及び／又は特徴を手動又は半自動で特定又は測定することができる。これらの定量的画像データを画像のタイプに関連する対応するベンチマークと比較して、特定の病状、医学的問題、或いは疾病の存在又は疑いがあるかどうかを判断することができる。患者の病歴及び／又はその他の患者のデータの一部と同じタイプの患者の医用データの傾向に基づいて、このような発生の確率をさらに予測又は判断することもできる。１つの実施形態では、アンサンブルエンジンを組み合わせて、例えば１つのエンジンが身体部分を発見し、別のエンジンが身体部分を分割し、別のエンジンがその中の生体構造にラベル付けし、別のエンジンがその領域の主要疾病の兆候を検出し、最後に別のエンジンがこれらの所見を臨床情報リソース及び提言と照合して医師に対する支援及び指示を行うことができる。

１つの実施形態では、処理エンジンを患者の特定の身体部分に関連付けることができる。エンジンがどの身体部分に関連するか、或いは使用する画像モダリティタイプ（画像処理タイプ）が何であるかに従って特定のエンジンのみが適用される。これにより、上述したエンジンのうちの１つのエンジンが良好な選択を行って何が役立つかを学習するのを支援する。

画像処理サーバ１１０は、１又は２以上のｅ−ｓｕｉｔｅをさらに含むことができる（すなわち、アンサンブルとも呼ばれるｅ−ｓｕｉｔｅは、１又は２以上の画像処理エンジンの組み合わせとすることができる）。従って、アンサンブルをカスケード化して粒度を高め、これによってアンサンブルエンジンの特定の対象動作の感度及び特異度を高めることができる。

エンジン又はｅ−ｓｕｉｔｅは、所見（例えば、疾病、兆候、特徴、物体、形状、質感、測定値、保険金詐欺、又はこれらのいずれかの組み合わせ）を検出することができる。１又は２以上のエンジン及び／又は１又は２以上のｅ−ｓｕｉｔｅは、メタデータ、既知の画像内分析法、又はこれらのいずれかの組み合わせに基づいて、研究論文（例えば、臨床レポート、画像、患者データ、画像データ、メタデータ又はこれらのいずれかの組み合わせ）から所見を検出することができる。画像処理サーバ１１０の画像処理エンジン１１３〜１１５は、例えば画像データが異常である旨を示す所見を画像データにフラグ付けすることができる。

フラグ付けは、実際の所見、又はエンジン／ｅ−ｓｕｉｔｅによって発見された所見の組み合わせを利用して導出された要約表示、エンジン／ｅ−ｓｕｉｔｅ名、画像処理サーバ１１０が研究論文を処理したことを表す単純な記号、研究が正常／異常であった旨のマーキング、所見のリスクを示す一連のマクロレベルの表示選択（例えば、赤、黄、緑又はオレンジ）、重症度（例えば、軽度、中度、重度）によるマーキング、所見を示すアイコン（例えば、所見の存在を示す単純な記号）、画像観察システムにおいて自動的に呼び出される関連ツール、又はこれらのいずれかの組み合わせ、或いはエンジン／ｅ−ｓｕｉｔｅ／アンサンブル又はエンジンのエンジンによって提供されるようなものを表示することを含むことができる。

フラグ付けは、研究論文に対して又は研究論文とは別に行うことができる。フラグ付けは、１又は複数のＲＥＳＴｆｕｌサービス（ｒｅｓｔｆｕｌ ｓｅｒｖｉｃｅｓ）、ＡＰＩ、通知システムを通じて利用及びアクセスすることも、或いはサードパーティアプリケーションに又は画像処理サーバ上で、又は本査読システムの（単複の）データベースにプッシュ配信することもできる。１つの実施形態では、３Ｄ医用画像処理ソフトウェアアプリケーション（例えば、クライアントアプリケーション１１１〜１１２）内にフラグ付けを表示し、又はこのアプリケーション内で見ることができる。エンジン及び／又はｅ−ｓｕｉｔｅは、多くの研究論文を処理するにつれてさらに正確に所見を検出できるように、機械学習アルゴリズム（ｍａｃｈｉｎｅ ｌｅａｒｉｎｇ ａｌｇｏｒｉｔｈｍｓ）を用いて以前の所見に基づいて定期的に機械学習又は訓練することができる。換言すれば、多くの研究論文を処理するにつれて所見を検出する信頼度が高くなる。画像処理サーバ１１０は、エンジン及び／又はｅ−ｓｕｉｔｅの所見に基づいて、例えば所見の種類、所見の重症度、患者の健康リスク、又はこれらのいずれかの組み合わせに基づいて、研究論文のワークリストを優先順位付け又はソートすることができる。これは、一次画像判読プロセスにおいて使用できる結果及びマクロ所見のリストを含む最終的なプラットフォームの出力であり、これらの所見はいずれも公開し、又は調整のための基礎的前提に関してさらに問い合わせることができ、或いは妥当性及び交換又は編集の可能性について画像データ又は臨床データの品質を評価することもできる。

ＲＥＳＴｆｕｌサービスとのインターフェイス、又はＡＰＩは、本査読システムと、他の一般的な査読システムと、他の医用画像ビューアとの間に、これらのサードパーティアプリケーションにおいて提供されるあらゆるフィードバックを本査読システムに戻して、エンジン学習、並びにさらなる画像データコホートと臨床コンテンツコホートとのキュレーションを容易できるように双方向通信をもたらす。

アプリケーションストア１０９は、１又は２以上のエンジン、１又は２以上のｅ−ｓｕｉｔｅ、又はこれらのいずれかの組み合わせを記憶できるｅ−コマースサーバとすることができる。画像処理サーバ１１０は、アプリケーションストア１０９と同じ又は異なるエンジン又はｅ−ｓｕｉｔｅを記憶することができる。画像処理サーバ１１０のエンジン又はｅ−ｓｕｉｔｅは、ユーザがグラフィカルユーザインターフェイス（ＧＵＩ）又は画像処理サーバ１１０の（ローカルな又はインターネット上の）ウェブサイトを介してどのエンジンを選択したかに応じて研究論文を処理することができる。画像処理サーバ１１０は、最新の／改善されたエンジン又はｅ−ｓｕｉｔｅをアプリケーションストア１０９に送信することができる。アプリケーションストア１０９又は画像処理サーバ１１０は、ユーザプロファイル及び／又はグループプロファイルを記憶することができる。ユーザプロファイルは、１又は２以上のユーザに固有のものとすることができる。グループプロファイルは、例えば統治理事会、放射線科医グループ、心臓内科医グループ、技術者グループ、開発者グループ、又はこれらのいずれかの組み合わせなどの１又は２以上のグループに固有のものとすることができる。ユーザプロファイル及びグループプロファイルは、ツール、エンジン、ｅ−ｓｕｉｔｅ、訓練ツール、コーディングツール、又はこれらのいずれかの組み合わせへのアクセス制御を有することができる。ユーザ及び／又はグループは、他のユーザ及び／又はグループへのアクセス制御を拡大又は縮小することができる。

ツール、エンジン、ｅ−ｓｕｉｔｅ、訓練ツール、コーディングツール、又はこれらのいずれかの組み合わせは、画像処理サーバ１１０を介して、或いは２Ｄ及び／又は３Ｄ医用画像処理ソフトウェアアプリケーション、又は査読システム、又は新規の本査読システムに表示して使用することができる。医用画像処理ソフトウェアアプリケーションは、画像処理システム１０６の画像処理ツール１０７の出力にアクセスするクライアントアプリケーションである。例えば、第１のユーザがクライアント装置（例えば、ウェブサイト、携帯電話機、ワークステーション、コンピュータ、ｉＰａｄ（登録商標）、ラップトップ、又は他のいずれかの方法又はタイプ、又はこれらの組み合わせ）を介して第１のエンジンをアップロードし、これをアプリケーションストア１０９に記憶することができる。第１のユーザ又は統治理事会は、例えば機械学習／訓練ツールなどの特定のツールへのアクセス権を第２のユーザ又はグループに提供することができる。第２のユーザ又はグループはこれらの機械学習／訓練ツールを使用することができ、この使用からのフィードバックを適用して、高精度で所見を検出するように第１のエンジンを訓練することができる。画像処理サーバ１１０は、第１のエンジンを更新してアプリケーションストア１０９に記憶することができる。エンジンによる画像データの処理及びエンジンの更新は、画像処理サーバ１１０、画像処理アプリケーションストア１０９、又はこれらのいずれかの組み合わせにおいて行うことができる。

なお、これらのエンジンは、規範的な、教師あり学習を通じて実装される、或いは教師あり又は教師なし学習を通じてエンジン（エンジンのエンジン）によって自己開発できる評価された性能属性を有することができる。その後、エンジンをアップロードする人物は、統治を通じてこれらの変更を受諾又は拒絶し、及び／又はこれらを他者が使用できるように公開することも又はしないこともできる。

画像処理サーバ１１０は、異なる場所の１又は２以上の医療研究所、１又は２以上のユーザ、１又は２以上のグループ、又はこれらのいずれかの組み合わせからのエンジン又はｅ−ｓｕｉｔｅを含むことができる。画像処理サーバ１１０は、１又は２以上のユーザが１又は２以上のエンジン、或いは１又は２以上のｅ−ｓｕｉｔｅをアップロード又はダウンロードできるように、グラフィカルユーザインターフェイス（ＧＵＩ）を有することができる。画像処理サーバ１１０は、１又は２以上のユーザ又はグループがエンジン又はｅ−ｓｕｉｔｅ上でデータの訓練、コード化、開発、アップロード、消去、追跡、購入、更新又は処理を行うためのＧＵＩを有することができる。画像処理サーバ１１０は、アクセス制御を有することができる。画像処理サーバ１１０は、独立したセキュリティと、エンジン、アンサンブルエンジン、エンジンのエンジン及びこれらの構成への制御されたアクセスをサポートするクラウドアクセス制御とを提供するマルチテナント環境をサポートするようにパスワード保護することができる。これらのパスワード（及び／又は他のシステムとの統合ワークフローのための認証方法）は、画像コホート、臨床データコホート、エンジンのアクセス可能性、及び相互作用データベースの個別のアクセス制御をサポートする。

ユーザ又はグループは、画像処理サーバ１１０を通じて、同じ医療研究所又は他の医療研究所（例えば、マルチテナンシー構成（ｍｕｌｔｉ−ｔｅｎａｎｃｙ ｃｏｎｆｉｇｕｒａｔｉｏｎ））の他のユーザ又はグループにツール及びエンジンへのアクセス制御を与えることができる。これにより、エンジン又はｅ−ｓｕｉｔｅによる所見の検出を改善するための、１又は２以上の医療研究所の１又は２以上のユーザ又はグループ間の共同努力を促すことができる。画像処理サーバ１１０は、ユーザがエンジン又はｅ−ｓｕｉｔｅを実行して画像データを処理できるようにするＧＵＩを有することができる。１つの実施形態では、ＲＥＳＴｆｕｌ及び／又はＡＰＩ通信をサポートする、或いはプラットフォームのデータベース対して読み出し／書き込みを行うことができるいずれかのサードパーティシステムが、本査読システムの出力を統合及び／又は消費することができる。或いは、本査読システムの観察部分をこのコンテンツの消費者とすることができ、及び／又はサードパーティシステムに埋め込み、又はスタンドアロンとして使用することもできる。いずれかの画像処理エンジン１１３〜１１５は、エンジン所有者、並びに査読及び／又は診断判読を実行する本査読システムのユーザによって適用されるセキュリティ設定及び統治設定に応じて、画像処理システム１０６の画像処理ツール１０７をさらに呼び出すことができる。

エンジン立案者は、画像処理サーバ１１０を通じて、ウェブインターフェイスなどのグラフィカルインターフェイスを用いてアプリケーションストア１０９にいずれかの画像処理エンジン又はｅ−ｓｕｉｔｅをアップロードすることができる。画像処理サーバ１１０は、１又は２以上のエンジン開発者が画像処理サーバ１１０上でいずれかのエンジンの更新、変更、訓練、機械学習又はこれらのいずれかの組み合わせを行うための開発者プラットフォームを有することができる。エンジンは、開発者プラットフォーム上で、例えば機械学習アルゴリズムを用いた訓練を通じて、又は所与のエンジンの予測方法のコンテナ化バージョンの修正を通じて所見を検出するように改善することができる。これを達成できる１つの方法は、所与のエンジンを改善するためにデータを集約し、反復的訓練評価に使用されるデータと、所与のソフトウェアコンテナ又はラッパー内のエンジンソースコードのバージョニングに使用されるデータを非同期的にバージョニング（ｖｅｒｓｉｏｎｉｎｇ）して、クラウド内で使用中の、或いはプラットフォーム内で協働して動作するエンドユーザ及びアルゴリズム／エンジン立案者の動作によって管理され支配される展開されたコンテナアルゴリズムプレーヤソフトウェア内で離れて使用中のアルゴリズムの配布及び更新を可能にすることによるものである。

１又は２以上の個々の処理エンジンは、規定の入力及び出力の組と共にソフトウェアコンテナにラップすることができる。互換性のある入力及び出力を有する処理エンジンは、順に実行することも、又はより正確な最終出力を生成するように（例えば、複数のスレッドを介して）並行して実行することもできる。１つの実施形態では、特定のエンジン／アルゴリズムの必要な入力及び出力をプラットフォームによってサポートされ更新される標準的な公開スキーマに抽象化できるようにする標準化されたＲＥＳＴｆｕｌウェブサービスＡＰＩ（又は同様のもの）を利用することができる。このためには、マッピング及び抽象化を可能にする抽象層を全てのエンジンが入力及び出力側に有する必要がある。この結果、１又は２以上の抽象化された出力を１又は２以上の抽象化された入力にマッピングすることができる。

例えば、エンジン開発者は、肺結節検出の様々な特徴（例えば、幾何学的形状、質感、肺結節の検出をもたらす特徴の他の組み合わせ、又はこれらのいずれかの組み合わせ）に基づいてエンジンを訓練することにより、アプリケーションストア１０９の開発者プラットフォーム又はデータ分析システム（図示せず）上で研究論文内の肺結節を検出するように肺結節検出エンジンを訓練することができる。別の例では、エンジン開発者が開発者プラットフォーム上で血液凝固エンジンを訓練することができる。別の例では、骨折エンジンが、画像処理サーバ１１０からの骨折エンジンデータに基づいて開発者プラットフォーム上で機械学習することができる。別の例では、ＣＯＰＤエンジンが、同じＣＯＰＤエンジンのデータ、別のＣＯＰＤエンジンのデータ、又はこれらのいずれかの組み合わせに基づいて機械学習することができる。

図２は、１つの実施形態による画像処理サーバの例を示すブロック図である。図２を参照すると、画像処理サーバ１１０は、永続記憶装置２０２（例えば、ハードディスク）にインストールしてここからロードできるとともに１又は２以上のプロセッサ（図示せず）が実行できる１又は２以上の画像処理エンジン１１３〜１１５をホストするメモリ２０１（例えば、ダイナミックランダムアクセスメモリ又はＤＲＡＭ）を含む。画像処理サーバ１１０は、追跡モジュール２１１、アラートモジュール２１２、分析モジュール２１３及びレポートモジュール２１４をさらに含む。画像処理エンジン１１３〜１１５は、プロセス構成２２４に従って様々な構成で構成することができる。プロセス構成２２４は、ユーザによって、或いは特定の研究論文又は画像のために特別に構成された構成ファイルに記憶することができる。医用画像処理サーバ１１０は、マルチテナンシークラウドサーバとすることができる。それぞれがユーザ又はユーザグループに関連し得る複数の構成ファイルが存在することができ、これらは構成インターフェイス（図示せず）を介して構成することができる。

例えば、図２及び図３を参照すると、画像処理サーバ１１０において医用データソース１０５から医用データ（この例では、医用画像）を受け取ることができる。画像処理エンジン１１３〜１１５のうちの１つ又は２つ以上は、プロセス構成データ２２４に基づいて順番に従って配置することができる。画像処理エンジン１１３〜１１５は、医用画像処理システム１０６の画像処理ツール１０７をさらに呼び出すことができる。１又は２以上の結果２５０を生成し、出力データ２２２の一部として永続記憶装置２０２に記憶することができる。１つの実施形態では、図４Ａに示すように画像処理エンジン１１３〜１１５を直列に配置して、第１の画像処理エンジンの出力を第２の画像処理エンジンの入力として利用することができる。或いは、図４Ｂに示すように画像処理エンジン１１３〜１１５を並列に配置して、同じ又は異なる画像処理動作を同時に実行することもできる。その後、画像処理エンジンの出力を集約して最終結果を生成する。さらに、画像処理エンジン１１３〜１１５は、図４Ｃに示すように直列と並列の両方で配置することもできる。

１つの実施形態では、画像処理サーバ１１０が、出力２５０のテキスト又は言語を処理する自然言語処理（ＮＬＰ）システム３１０をさらに呼び出すことができる。ＮＬＰシステム３１０は、画像処理サーバ１１０によって抽出された特徴をスキャンし、分析し、照合して、見逃された所見又は誤って判読された所見を含む研究論文を識別して出力２５０と相関させることができる。ＮＬＰは、コンピュータと人間（自然）言語との間の相互作用に関する、とりわけ大量の自然言語コーパスを効果的に処理するようにコンピュータをプログラムすることに関するコンピュータ科学、人工知能及び言語学の分野である。ＮＬＰタスクには、多くの異なる種類の機械学習アルゴリズムが適用されてきた。これらのアルゴリズムは、入力データから生成される大量の「特徴」を入力として取り込む。

例えば、第１のエンジンは、所見を検出するためのアルゴリズムを実行することができる。第１のエンジンは、第１のエンジンの所見の出力を生成することができる。第１のエンジンによる所見は、統計インターフェイス、レポート（図示せず）、診断判読ビューア（図示せず）、或いはＲＥＳＴｆｕｌサービス及び／又はＡＰＩを通じて結果及びコホートにアクセスできるいずれかのシステム又はデータベースに含めることができる。医師は、所見の出力をレビューすることができる。医師は、第１のエンジンの所見の妥当性を確認／否定することができる。第１のエンジンの所見の妥当性の確認／否定は、出力データ２２２の一部として含めることができる。第１のエンジンは、１又は２以上の医療研究所からの研究論文を処理し、結果を出力データ２２２として含めることができる。

あらゆる出資者は、エンドユーザがアルゴリズム、コード、又はアルゴリズムの訓練に必要な画像データにアクセスすることなく使用できるアルゴリズムを作成できるエンジン立案者とすることができる。これは、あらゆる数のコンテナエンジン／アルゴリズムを用いて研究論文を処理するクラウドベースサーバ又は現場に位置するサーバとすることができるセキュアなプライベートサーバ又はマルチテナントサーバに研究論文を送信することによって行われる。アクセス制御は、アルゴリズム開発者による認証及び管理者権限の供与を可能にする。アルゴリズム及び使用認証の１つの実施形態では、アルゴリズム開発者が、アルゴリズムを使用する能力を異なるエンドユーザに認める能力、或いは書面形式で又はクリック式の法的取引条件を通じて提供されるプラットフォーム及びライセンス契約に（単複の）エンドユーザが同意することを必要としながらこれらのアルゴリズムを公的利用のために公開できるようにする能力を与えられる。さらに、管理者権限は、アルゴリズム開発者に、他のアルゴリズム開発者にアルゴリズムを修正させる能力、又は新たなバージョンのアルゴリズムを作成させる能力、或いはエンジン又はエンジンのエンジンにアルゴリズムを修正させる能力を与える。バージョン制御は、これらの多くの異なるアルゴリズムを作成する能力をアルゴリズム開発者に対して可能にしながら、規制当局の認可のためにアルゴリズム技術ファイルへの変更を追跡する。同様に、本質的価値を保護して予期せぬデータの拡散を避けるために、多くの異なる画像、臨床コンテンツコホート及び査読フィードバックデータもバージョン化され保護される。

本発明の１つの実施形態では、腹部の造影後ＣＴスキャンをＣＴ透視手順よりも前に処理する。造影後画像は、位置合わせエンジンを用いてＣＴ透視データセットに位置合わせされる。ＣＴ誘導による生検又は切除中に非造影ＣＴ透視画像上に血管を表示するために、ＣＴ透視データ上で位置合わせの結果と解剖学的分割の結果とを切り替えることができる。このようにして、仮想コントラストが強調された透視結果が得られる。この処理は、ＭＲＩなどの他のモダリティを用いて同様にサポートすることもできる。１つの実施形態では、ｅ−ｓｕｉｔｅの所見の出力の妥当性の確認又は否定を追跡データ２２１及び／又は統計２２３に含めることができる。

別のシナリオによれば、例えばＰＡＣＳサーバ又はＣＴ、ＭＲＩ、超音波、Ｘ線、又はその他の画像モダリティ又は情報システムが、ｅ−ｓｕｉｔｅの第１のエンジンに研究論文を送信することができる。この研究論文を第１のエンジンが処理した後に、第１のエンジンからの所見の出力を第２のエンジン及び第３のエンジンに送信することができる。第２のエンジン及び第３のエンジンは、同時に実行することができる。第２のエンジンの所見の出力と第３のエンジンの所見の出力とを組み合わせることができる。第２のエンジン及び第３のエンジンの組み合わさった出力がｅ−ｓｕｉｔｅｎの所見の出力になることができる。或いは、処理用のデータを複数のエンジンが受け取ることからプロセスを開始し、これらのエンジンが、上述したように結果を１又は２以上の他のエンジンに送信することもできる。最終的な出力をソースモダリティ、ＰＡＣＳ又は本査読システムに返送し、これを医師がレビューして、ｅ−ｓｕｉｔｅアンサンブルの出力の所見を確認又は拒絶することができる。

第１のエンジンの出力は、第１の重み因子を有することができる。第２のエンジンの出力は、第２の重み因子を有することができ、他も同様である。第１の重み因子及び第２の重み因子は、−１００％〜＋１００％の範囲のいずれかの百分率、又は対数尺、或いは実行される試験及びコホートのタイプに適したいずれかの種類のいずれかの立案者割り当て尺度とすることができる。重み付けされた所見の出力によって、１つのエンジンは他のエンジンよりも大きな重みを有することができ、エンジン内の１つのタイプの所見は、所見毎に異なる重み付けを有することができる。ユーザは、画像処理サーバ上のインターフェイスから各エンジンの重みを操作することができる。或いは、教師あり又は教師なし機械学習技術を用いてこれらの値を設定するようにエンジンのエンジンを適用することもできる。

例えば、第１のエンジンは、エッジ検出のためのエンジンとすることができる。第２のエンジンは、軟組織検出のためのエンジンとすることができる。ユーザは、第１のエンジンに２０％が重み付けされ、第２のエンジンに８０％が重み付けされるように各エンジンを操作することができる。第１のエンジン及び第２のエンジンの出力は、このような重みを反映することができる。複数のエンジン又はｅ−ｓｕｉｔｅを同じ研究論文のために同時に並行して実行することもできる。複数のエンジン又はｅ−ｓｕｉｔｅを同じ患者又は異なる患者からの異なる研究論文のために同時に実行することもできる。

同様の所見を発見する同様のエンジンは、同時に、順番に実行することができ、又はこれらのいずれかの組み合わせは、同じ所見を検出する異なるエンジンとすることができる。例えば、第１のエンジン、第２のエンジン及び第３のエンジンは、肺結節検出エンジンではあるが異なるエンジン開発者又は異なる医療研究所からのものとすることができる。このような構成では、異なるベンダからの３つのエンジンからの所見を比較し、査読中に行われる診断判読プロセス中に、複数のツールへの迅速なアクセス及び各エンジンからの所見の概要を直ちに医師に提供することができる。或いは、本査読システムでは、共通のＰＡＣＳシステムで診断的レビューを行い、本査読システムを用いたこのようなレビュー後に査読を行って、これらの診断判読間の同様の及び異なる所見を評価することもできる。

典型的な査読と本査読システムとの違いは、典型的な査読では、判読の結果全体に関する同意しか確認しようとしないのに対し、本査読システムでは、所見を含む高い粒度レベルで同意を評価することができ、従って画像処理又はデータ処理エンジンを訓練するのに必要な詳細が提供されて将来的な結果が改善される点である。本査読システムでは、開始時には医師の従事時間が多く必要となり得るが、高度に調整されたアルゴリズムの利用可能性によって継続的に使用することができ、将来的には医師の判読時間全体が短縮されて、時間と共に査読結果が改善されるようになる。

１つの実施形態によれば、処理エンジンは、同様のモダリティを用いて複数の研究論文を分析し、「顕著な経時変化なし（ｎｏ ｓｉｇｎｉｆｉｃａｎｔ ｉｎｔｅｒｖａｌ ｃｈａｎｇｅ）」という分析結果を生じることができる。例えば、処理エンジンは、異なる時点で発生した同じモダリティ及び身体部分の２つの頭部ＣＴの研究論文を取り込むことができる。追跡研究から容易に抽出されるレポート機能は、「顕著な経時変化なし」である。その後、両ＣＴ研究論文に対して処理エンジンを実行してこれらを比較し、いずれかの差分が存在するかどうかを確認する。最新のレポートが「顕著な経時変化なし」とみなされた場合、本査読システムの機能は、類似性を検証できるエンジンを実行し、従ってこの記述に同意する又はしない能力を提供することができる。多くの場合、報告された所見はレポート内で維持され、エンジンの実行時にプラットフォームへの入力である電子通信及び関連するコンテンツがエンジンに提供される。

１つの実施形態によれば、単一の研究論文に対して実行されるエンジンは、異常の安定性を評価するために、別の１又は複数のエンジンを呼び出して関連する対照に対して実行することができる。これは、比較研究においてＣＴ肝病変エンジンをＭＲＩ肝病変エンジンと比較することなどのマルチモダリティとすることができる。この実施形態では、ＣＴ画像コホートに対して実行されるＣＴアルゴリズムを実行する処理エンジンが、別の処理エンジン、又は同じ患者のＭＲＩ画像コホートに対してＭＲＩアルゴリズムを実行する推論エンジンの以前の結果を呼び出して単一の比較タスクを実行する。

エンジン及び／又はｅ−ｓｕｉｔｅは、所見を検出する（又は所見が無いことを目標とする場合にはそれを確認する）確率が高くなるような及び／又は最適化されるようないずれかの構成で実行することができる。エンジン及び／又はｅ−ｓｕｉｔｅは、所見を検出する信頼度を最大化するためのいずれかの構成で実行することができる。エンジンは、所見の出力がどのように見えるか（例えば、高確率での所見検出、低確率での所見検出、特定の所見の排除、特定の所見の包含、正常な研究論文の選択、又はこれらのいずれかの組み合わせ）をユーザが構成できるようないずれかの構成で実行することができる。

例えば、ユーザは、ＣＯＰＤ及び／又はＣＯＰＤの特徴を検出したいと望む場合、エンジンの構成がＣＯＰＤ又はＣＯＰＤの特徴を高確率で検出できるように、１又は２以上のＣＯＰＤエンジンを並列、直列又はこれらのいずれかの組み合わせで（すなわち、ＣＯＰＤ ｅ−ｓｕｉｔｅ）構成することができる。この例は、医師が確認した標的所見をどの患者が有していたかに関する情報がレポートで提供される場合に検出アルゴリズムの重み付けを自己最適化できるエンジンのエンジンの理想的な使用事例である。ＣＯＰＤ ｅ−ｓｕｉｔｅを使用してＣＯＰＤ ｅ−ｓｕｉｔｅの所見の出力を確かめる（すなわち、妥当性確認する）医師が多くなるほど、ｅ−ｓｕｉｔｅも高い評価を有することができる。評価が高くなり及び／又は確認が増加すると、他の医師もどのＣＯＰＤ ｅ−ｓｕｉｔｅの所見検出率が最も高いかを認識することができる。このことは、ｅ−コマースサイトに評価システムを提供することによってユーザにも明らかになる。

別の例では、ユーザが、肺結節を検出したいと望む場合に、例えば質感用のエンジン、及び結節形状用のエンジン、強度用のエンジン、又はこれらのいずれかの組み合わせなどの、肺結節の特定の特徴を検出するエンジンを選択することができる。このようなエンジンは、並列、直列又はこれらのいずれかの組み合わせで実行することができる。多くの肺スキャンは所見を有するので、検出すべき最も重要なものは、医師から経過観察を指示される可能性が高い所見である。従って、経過観察を要する可能性が最も高い肺の所見の検出を改善するために、エンジン又はエンジンのエンジンにレポート情報又はその他の臨床情報を提供することができる。偶発的所見は見逃された所見ではないので、本発明の１つの実施形態は、偶発的所見を提示しないことによって、又は提示した上で偶発的な可能性が高いとのマークを示すことによって査読及び診断判読プロセスにおいて偶発的所見をフィルタ除去するシステムである。上述したプロセスを具現化する別の方法は、偶発的所見によっては臨床転帰に影響を与える臨床的関連を有することも又は有さないこともあるような臨床重症度スコアとしての方法である。ユーザは、画像処理サーバ１１０（図示せず）の構成インターフェイスを通じて、あるエンジンを別のエンジンに手動で交換することができる。

再び図２を参照すると、１つの実施形態によれば、追跡モジュール２１１は、画像処理エンジン１１３〜１１５の割り当て及びプロセスを追跡又は記録するように構成される。なお、画像処理エンジン１１３〜１１５は、マルチテナンシー動作環境では複数のインスタンス（例えば、複数スレッド）で実行することができる。マルチテナンシー動作環境では、異なるユーザのログイン及び認証を行うことができる。ユーザは、認証されて許可されると、サービス又は加入契約書に従って画像処理エンジンを異なる研究論文、異なる組織などのために構成して利用することができる。追跡モジュール２１１は、どの医療研究のために又はどのユーザによってどの画像コホート及び臨床コンテンツコホートに対してどの画像処理エンジンが利用され、どのインデックス付きユーザデータが生じたかを追跡した後に、１又は複数のデータベースとも呼ばれる永続記憶装置２０２に記憶される（エンジンデータとも呼ばれる）追跡データ２２１を生成するように構成される。

図５は、１つの実施形態による、医用画像を処理する処理フローである。図５を参照して分かるように、医用画像５０１が受け取られると、画像処理エンジン１１３〜１１５のうちの１つ又は２つ以上を有する処理エンジン５０２が、医用画像を処理して結果５０３を生成するように構成される。なお、画像５０１は、単一の研究論文内の複数の画像、研究論文内の複数のシリーズ、又は異なるモダリティの複数の研究論文からのシリーズと画像の組み合わせを表すことができる。分析モジュール２１３は、結果５０３を分析して統計データを生成する。一方で、追跡モジュール２１１は、処理エンジン５０２の動作を追跡するように構成される。結果５０３は、出力データ２２２の一部として記憶することができる。追跡データ及び統計データ５０４が生成され、これらを追跡データ２２１及び／又は統計２２３の一部として記憶することができる。追跡データ／統計データ５０４に基づいて、異常所見又は不整合所見などの所定の条件を満たすいずれかのデータが存在する場合には、アラートモジュール２１２が、アラートを生成して所定の装置、データベース又はシステムに送信するように構成される。追跡／統計データ５０４に基づいて、レポートモジュール２１４がレポートを生成することもできる。

追跡モジュール２１１は、１又は２以上のエンジン（例えば、第１のエンジン）のエンジンデータ（例えば、どの研究論文が画像処理サーバに送られたか、どの研究論文がどのエンジンによって処理されたか、どの研究論文がどのエンジンによってフラグ付けされたか、どの研究論文が複数のエンジンによってフラグ付けされたか、どの研究論文が査読サンプルの一部として送信されたか、エンジン名、所見、妥当性が確認及び／又は否定された、疾病の可能性が潜在的に高い機械学習された研究論文に関するデータ、限定するわけではないが、壁厚、質感、傾斜、測定値、密度、異質性、ボクセル範囲の標準偏差、又はこれらのいずれかの組み合わせを含む研究論文内の画像の特徴に関するデータ、判読する医師とシステムを使用する他のいずれかの人物とのユーザインタラクション、診断時間、例えば患者の健康リスクに基づく研究論文のフラグ付け、リスクに基づく研究論文の順序、又はこれらのいずれかの組み合わせ）を追跡することができる。各研究論文が１又は２以上のエンジン又はｅ−ｓｕｉｔｅによって実行された後には、エンジンデータを手動で、継続的に、又は自動的に追跡して更新することができる。査読機能は、１人、２人又は３人よりも多くの医師の判読を伴うことができ、本査読システムは、医師又は治験による無関係な研究論文の連続的診断判読のために使用することもできる。

また、統計データエンジンとも呼ばれる分析モジュール２１３は、画像処理エンジンの追跡したエンジンデータに対して分析を実行することもできる。統計データエンジン２１３は、エンジンを提供する１又は２以上の医療研究所、並びに画像及び臨床コンテンツコホートのみを提供する他のソースからのエンジンデータを含む、本査読システムに関連する１又は２以上の画像処理サーバ及び１又は２以上のデータベース、並びに外部ソースからのエンジンデータを集約することができる。統計データエンジン２１３は、アプリケーションストア１０９上でエンジン評価の一部として更新できるエンジンデータに基づいて、全てのエンジン及びエンジンのエンジンの統計データを更新することができる。統計データは、統計データ２２３の一部として永続記憶装置２０２に記憶することもできる。画像コホート及び臨床データコホートについても同様のフィードバックが収集され表示される。

なお、上記で図示し説明したようなコンポーネントの一部又は全部は、ソフトウェア、ハードウェア、又はこれらの組み合わせで実装することができる。例えば、このようなコンポーネントは、プロセッサ（図示せず）によってメモリにロードされ実行されて、本出願全体を通じて説明するプロセス又は動作を実行できる、永続記憶装置にインストールされ記憶されたソフトウェアとして実装することができる。或いは、このようなコンポーネントは、対応するドライバ及び／又はオペレーティングシステムを介してアプリケーションからアクセスできる、集積回路（例えば、特定用途向けＩＣ又はＡＳＩＣ）、ＧＰＵ（グラフィック処理ユニット）、デジタルシグナルプロセッサ（ＤＳＰ）、又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ）又は同様のものなどの専用ハードウェアにプログラムされた又は埋め込まれた実行可能コードとして実装することもできる。さらに、このようなコンポーネントは、ソフトウェアコンポーネントが１又は２以上の特定の命令を介してアクセスできる命令セットの一部としての、プロセッサ又はプロセッサコア内の特定のハードウェアロジックとして実装することもできる。

本発明の別の態様によれば、画像処理エンジンを査読システムの一部として利用して、医師集団によって実行される医学的所見をレビューすることができる。画像処理エンジンは、異常所見を有している可能性が高いあらゆる画像を選別して識別するために利用される。次に、識別された画像を医師集団がレビューして所見の検証及び確認を行う。この結果、画像処理エンジンは、レビューの必要がある数千枚もの医用画像について大量画像処理動作を実行して異常画像を事前に識別することができる。その後、これらの画像を医師がレビューして所見を確認する。画像処理エンジンの所見とレビューを行った医師の所見とが一致する場合には、関与する画像処理エンジンの動作の妥当性を確認することができ、すなわち画像処理エンジンによって使用されるアルゴリズムの妥当性が確認される。一致しなければ、このようなアルゴリズムは、例えば機械学習方法を用いたさらなる微調整又は訓練を必要とすることができる。

或いは、機械の所見と医師の所見との間にいずれかの不整合がある場合、データベース内の表示及びＲＥＳＴｆｕｌサービス及び／又はＡＰＩ内の通知が、所望のシステム及びスタッフに通知を送信するという効果を奏する。その後、これらの識別された矛盾する研究論文は、医師による二次レビューのために送信される。両レビュー結果が分かると、分析モジュールを通じた調整によってエンジン精度の確認又はエンジンの改善を行うことができる。

図６Ａに、１つの実施形態による、査読システムの新規ワークフローの例を示すワークフローループ図を示す。図６Ａを参照すると、このワークフローは、査読高信頼度投入ワークフローループ（ｐｅｅｒ ｒｅｖｉｅｗ ｈｉｇｈ ｃｏｎｆｉｄｅｎｃｅ ｉｎｊｅｃｔｉｏｎ ｗｏｒｋｆｌｏｗ ｌｏｏｐ）を含む。このワークフローループ中、画像処理サーバ（１１０）は、ステップ１として示す画像処理サーバに撮像研究論文又は画像研究論文、及び（レポートとしても知られている）提供者の判読結果が到着することによって開始する。複数のエンジン及びエンジンの組み合わせが画像研究論文を処理した後の出力をステップ２として示す。ステップ３において、信頼度の高い潜在的所見又は提供者の判読結果との潜在的不一致を有すると判断された所見を含む研究論文又は画像を、査読のための選択に投入する。ステップ４において、この投入された研究論文を（該当する場合には、最初の提供者判読を行わなかった）医師が評価する。ステップ５において、この判読の結果と本査読システムの判読とをデータベースに記憶し、画像処理サーバ及び本査読システム内のエンジン及びエンジンのエンジンの将来的な訓練のために使用することができる。また、ステップＢにおいて、ユーザインタラクションデータもデータベースに記憶される。

このワークフローは、査読を投入する医師が確認する所見ワークフローループをさらに含む。このワークフローループ中、画像処理サーバ（１１０）は、ステップ１として示す画像処理サーバに撮像研究論文又は画像研究論文、及び（レポートとしても知られている）提供者の判読結果が到着することによって開始する。複数のエンジン及びエンジンの組み合わせが画像研究論文を処理した後の出力をステップ２として示す。ステップ３において、信頼度の高い潜在的所見又は提供者の判読結果との潜在的不一致を有すると判断された所見を含む研究論文又は画像が、査読のための選択に投入される。ステップＡにおいて、信頼度の高い所見の値に重み付けを行って医師がレビューするための特定の最適な数及びタイプの研究論文（又は画像）を選択するエンジンのエンジンを介して研究論文を選択する。ステップＢにおいて、（該当する場合には、最初の提供者判読を行わなかった）医師が研究論文を評価する。この判読の結果が好ましい場合、ステップＤにおいて、この研究論文が査読システムに自動投入され、医師によって研究論文が好ましくないと判断された場合にはこの処理は行われない。好ましい場合にも、又は好ましくない場合にも、ステップＣのように、この判読の両方の結果（及びいずれかの以前の判読）と本査読システムの判読とをデータベースに記憶し、画像処理サーバ及び本査読システム内のエンジン及びエンジンのエンジンの将来的な訓練のために使用することができる。また、ステップＢにおいて、ユーザインタラクションデータもデータベースに記憶される。

このワークフローは、盲査読エンジン訓練ワークフローループを用いた、ルーチンが最初に読み出す診断判読をさらに含む。このワークフローループ中、画像処理サーバ（１１０）は、ステップ１として示す画像処理サーバに撮像研究論文又は画像研究論文、及び（レポートとしても知られている）提供者の判読結果が到着することによって開始する。複数のエンジン及びエンジンの組み合わせが画像研究論文を処理した後の出力をステップ２として示す。ステップＥにおいて、提供者の一次判読中に信頼度の高い潜在的所見を有すると判断された所見を含む研究論文又は画像を実際の医師の所見と比較できるように計算する。ステップＢにおいて、（該当する場合には、最初の提供者判読を行わなかった）医師が研究論文を評価する。ステップＣにおいて、この判読の両方の結果（及びいずれかの以前の判読）と本査読システムの判読とをデータベースに記憶し、画像処理サーバ及び本査読システム内のエンジン及びエンジンのエンジンの将来的な訓練のために使用することができる。また、ステップＢにおいて、ユーザインタラクションデータもデータベースに記憶される。

図６Ｂは、１つの実施形態による医用画像査読システムの例を示すブロック図である。図６Ｂを参照すると、この例ではＰＡＣＳである医用データソース６０１が、一次レビュアとしての第１の医師集団を表す一次レビューシステム６０２に一連の画像を送信する。一次レビューシステム６０２のレビュアは、所見をレビューしてＰＡＣＳ６０１に戻す。一次レビュアによってレビューされた画像の一部（例えば、５％）は、二次レビュア又は査読者としての第２のレビュア集団を表す査読システム６０３に送信される。二次レビュアは、これらの画像をレビューして、第２の見解所見（ｏｐｉｎｉｏｎ ｆｉｎｄｉｎｇｓ）を提供する第２の結果を生成する。第２の結果は、第１の医師集団によって行われた一次所見の妥当性確認又は検証を行うためのものである。二次レビュアは、一次レビュアが同じ画像をどのようにレビューしたかを知らずにレビューを実行することができ、これは盲読と呼ばれる。この画像の二次所見を査読システム６０３からＰＡＣＳ６０１に返送することができる。

また、１つの実施形態によれば、一次レビュアによってレビューされた医用画像が画像処理サーバ１１０に送信される。画像処理サーバ１１０は、１又は２以上の画像処理エンジン１１３〜１１５を呼び出して画像を個別に処理し、第３の結果を生成する。同様に、画像処理エンジンは、一次レビュアによって行われた第１の結果を知らずに単独でレビューを実行することができる（例えば、盲読）。第３の結果も、第１の結果の妥当性確認又は検証のために利用することができる。

別の実施形態によれば、画像処理サーバ１１０によってレビューされた画像の少なくとも一部（例えば、５〜２０％）が、さらなる査読のために査読者６０３に送信される。すなわち、査読者６０３は、一次レビュア６０２によってレビューされた画像のサンプルと、画像処理サーバ１１０によってレビューされた画像のサンプルとを受け取る。査読者６０３は、一次レビュアによって生成された第１の結果及び画像処理サーバ１１０によって生成された第３の結果を知らずに、一次レビュア６０２及び画像処理サーバ１１０から受け取った画像をレビューすることができる（二重盲読と呼ばれる）。１つの実施形態では、画像処理サーバ１１０が、異常としてフラグ付けされた画像のみを妥当性確認のために査読者６０３に送信する。同様に、一次レビュア６０２によってフラグ付けされた異常所見を有する画像のみを査読者６０３に送信することができる。追跡モジュール２１１は、一次レビュア６０２、画像処理サーバ１１０及び査読者６０３の所見を追跡し、追跡データ５０４の一部として記憶することができる。アラートモジュール２１２は、一次レビュア６０１、エンジン５０２及び査読者６０３間の特定の異常所見又は不整合所見に応答して、ＰＡＣＳ６０１などの所定の装置にアラートを送信することができる。

具体的には、１つの実施形態によれば、この例ではＰＡＣＳであるデータソース６０１が、レビュー又は調査のために第１のレビュア６０２に研究論文を送信することができる。これらの研究論文は、例えばＣＴ、ＭＲ、Ｘ線、他の既知又は未知のモダリティ、又はこれらのいずれかの組み合わせなどのいずれかのモダリティの画像を含むことができる。第１の医師集団６０１は、これらの研究論文をワークステーション上でレビューし、１又は２以上の所見を検出／診断することができる。これらの所見は、研究論文に含めることも、或いは、例えばレポート、電子メール、又は３Ｄ医用画像処理ソフトウェアなどに含めて研究論文から分離することもできる。これらの研究論文と第１の医師集団による所見とをワークステーションから送信してＰＡＣＳサーバに記憶することができる。ＰＡＣＳサーバは、一定期間（例えば、１年、６ヶ月、３ヶ月、１ヶ月、１週間、又は１日）にわたる全研究論文の一部（例えば、０％〜１００％、さらに狭く約１％〜約５０％、約１％〜約２５％、約１％〜約２０％、約１％〜約１０％）と第１の医師集団６０２による所見とを、第２の医師集団による査読のために査読システム６０３に送信することができる。

また、データソース６０１は、画像処理サーバ１１０に接続することもできる。データソース６０１は、全研究論文と第１の医師集団６０２による所見とをサーバ１１０に送信することができる。画像処理サーバ１１０は、１又は２以上のエンジン、１又は２以上のｅ−ｓｕｉｔｅ（すなわち、１又は２以上のエンジンの組み合わせ）、又はこれらのいずれかの組み合わせ５０２を含むことができる。１又は２以上のエンジン及び１又は２以上のｅ−ｓｕｉｔｅは、所見を検出するためのアルゴリズムを実行することができる。画像処理サーバ１１０は、全研究論文と第１の医師集団６０２による所見とを受け取って処理することができる。画像処理サーバ１１０は、画像処理（すなわち、１又は２以上のエンジン及び／又は１又は２以上のｅ−ｓｕｉｔｅに基づいて研究論文に所見をフラグ付けすること）によって発見された、疾病の可能性が潜在的に高い機械学習（すなわち、訓練）された研究論文を出力することができる。フラグ付けは、エンジン／ｅ−ｓｕｉｔｅによって発見された実際の所見、エンジン／ｅ−ｓｕｉｔｅ名、その研究論文が画像処理サーバ１１０によって処理されたことを表す単純な記号、研究が正常であった旨のマーキング、又はこれらのいずれかの組み合わせを表示することを意味する。１又は２以上のエンジン及び／又は１又は２以上のｅ−ｓｕｉｔｅは、多くの画像を処理すればするほど正確に所見を検出できるように機械学習又は訓練することができる。

１つの実施形態では、画像処理サーバ１１０が、疾病の可能性が潜在的に高い機械学習された研究論文の一部を査読システム６０３に送信することができる。査読システム６０３に送信される疾病の可能性が潜在的に高い機械学習された研究論文は、エンジン／ｅ−ｓｕｉｔｅによる所見の重症度に基づくことができる。例えば、画像処理サーバ１１０内のエンジン５０２が、１つの研究論文に肺結節をフラグ付けして別の研究論文に軽い骨折をフラグ付けした場合、肺結節の研究論文のほうが軽い骨折の研究論文に比べて患者へのリスクが高いので、画像処理サーバ１１０は、肺結節の研究論文を第２のレビューのために査読システム６０３に送信することができる。画像処理サーバ１１０は、エンジン／ｅ−ｓｕｉｔｅによる所見の重症度に基づいて研究を分類することができる。

画像処理サーバ１１０は、画像処理によって発見された疾病の可能性が潜在的に高い機械学習された研究論文を査読システム６０３に送信できるように、査読システム６０３に接続することができる。査読システム６０３は、ＰＡＣＳサーバ６０１からの査読サンプル、画像処理サーバ１１０からの疾病の可能性が潜在的に高い機械学習された研究論文、又はこれらのいずれかの組み合わせを受け取ることができる。第２の医師集団は、査読システム６０３において、査読サンプル、疾病の可能性が潜在的に高い機械学習された研究論文、又はこれらのいずれかの組み合わせのレビュー、再読、盲読又は二重盲読を行うことができる。第２の医師集団からの所見を伴う査読サンプルと、第２の医師集団からの所見を伴う疾病の可能性が潜在的に高い機械学習された研究論文とを画像処理サーバ１１０、ワークステーション、ＰＡＣＳサーバ、又はこれらのいずれかの組み合わせに送信することができる。１つの実施形態では、画像処理サーバ１１０が正常な研究論文にフラグ付けすることができる。１つの実施形態では、画像処理サーバ１１０が、画像処理サーバ１１０及び／又は査読システム６０３内の除去エンジンによって、正常な研究論文を査読サンプルから除去することができる。

１つの実施形態によれば、画像処理エンジン１１３〜１１５のいくつかは、個別にレビュー結果を生成して査読システム６０３に送信することができる。個々の結果は、査読システム６０３のデータ統合器によって統合することができる。例えば、ＰＡＣＳサーバは、第１の医師集団によるレビューのために年間１，０００，０００件の全研究論文をワークステーション（例えば、１又は２以上のワークステーション）に送信することができる。第１の医師集団は、割り当てられた研究論文をレビューし、レビューした各研究論文について所見を作成することができる。この第１の医師集団による所見を伴う全研究論文をＰＡＣＳサーバに送信することができる。ＰＡＣＳサーバは、これらの査読サンプル（すなわち、５０，０００件の研究論文）と第１の医師集団による所見とを査読システム６０３に送信することができる。

ＰＡＣＳサーバは、１，０００，０００件の全研究論文を画像処理サーバ１１０に送信することができる。画像処理サーバ１１０は、ＣＯＰＤ ｅ−ｓｕｉｔｅ（すなわち、１又は２以上の画像、レポート、研究論文又はこれらのいずれかの組み合わせに基づいてＣＯＰＤを検出できるエンジンのグループ）と、肺結節エンジン（すなわち、１又は２以上の画像、レポート、研究論文又はこれらのいずれかの組み合わせに基づいて結節を検出できるエンジン）と、骨折エンジン（すなわち、１又は２以上の画像、レポート、研究論文又はこれらのいずれかの組み合わせに基づいて骨折を検出できるエンジン）と、病変エンジン（すなわち、１又は２以上の画像、レポート、研究論文又はこれらのいずれかの組み合わせに基づいて病変を検出できるエンジン）とを含むことができる。これらのエンジン（すなわち、ＣＯＰＤエンジン、肺結節エンジン、骨折エンジン及び病変エンジン）の各々は、１，０００，０００件の全研究論文を処理して所見を検出することができる。画像処理サーバ１１０は、これらのエンジンに基づいて、疾病の可能性が潜在的に高い機械学習された研究論文を出力することができる（すなわち、ＣＯＰＤ、肺結節、骨折、病変又はこれらのいずれかの組み合わせの可能性が高い研究論文）。

画像処理サーバ１１０は、疾病の可能性が潜在的に高い機械学習された研究論文の全部又は一部を査読システムに送信することができる。画像処理サーバ１１０は、例えば患者への健康リスクに基づいて、疾病の可能性が潜在的に高い機械学習された研究論文に順序又は優先順位を付けることができる。画像処理サーバ１１０は、患者への健康リスクが最も高い研究論文を医師によるレビューのために査読システム又は他のシステムに送信することができる。画像処理サーバ１１０は、疾病の可能性が潜在的に高い機械学習された研究論文に対するフラグ付けを表示することも、又は隠すこともできる。第２の医師集団は、疾病の可能性が潜在的に高い機械学習された研究論文及び査読サンプルをレビューすることができる。第２の医師集団からの所見を伴う疾病の可能性が潜在的に高い機械学習された研究論文と、第２の医師集団からの所見を伴う査読サンプルとを画像処理サーバ１１０又はＰＡＣＳサーバに送信することができる。

疾病の可能性が潜在的に高い機械学習された研究論文は、所見が存在する可能性が高い研究論文とすることができる。疾病の可能性が潜在的に高い機械学習された研究論文は、第１の医師集団による初期レビューが診断を誤った可能性が高い研究論文とすることができる。１つの研究論文に、疾病の可能性が潜在的に高い機械学習された研究論文の一部であるとのフラグを複数のエンジンが付けた場合、このような研究論文は、疾病の可能性が潜在的に高い機械学習された研究論文に１回含めることができる（すなわち、重複する研究論文を含めることはできない）。

追跡モジュール２１１は、レビュア（例えば、一次レビュア、画像処理エンジン及び査読者）の動作及び結果を追跡することができる。追跡エンジン２１１は、画像処理サーバ１１０がどの研究論文を受け取ったか、どのエンジンがどの研究論文を処理したか、どのエンジンがどの研究論文にフラグ付けしたか、どの研究論文が査読サンプルの一部として送信されたか、エンジン名、エンジンからの所見、正常な研究、所見の重症度、重症度評価、所見に基づく研究論文のランキング、重症度、及び／又は所見の数、又はこれらのいずれかの組み合わせを含む情報を追跡することができる。

追跡エンジン２１１は、研究論文毎にエンジンに基づいて所見を追跡することができる。追跡エンジン２１１は、このような情報を画像処理サーバ１１０のメモリに記憶することができる。査読サンプル及び疾病の可能性が潜在的に高い機械学習された研究論文の全部又は一部は、査読システム６０３に送信することができる。査読システム６０３の複合サンプルエンジン（図示せず）は、レビューする研究論文が査読サンプルからのものであるか、それとも疾病の可能性が潜在的に高い機械学習された研究論文からのものであるであるかを第２の医師集団が判断できないように、査読サンプルと、疾病の可能性が潜在的に高い機械学習された研究論文とを無作為に混合して複合サンプルを形成することができる。複合サンプルエンジンは、疾病の可能性が潜在的に高い機械学習された研究論文と査読サンプルとを、所見、疾病、エンジン名、健康リスク、医師、研究日、患者、無作為、又はこれらのいずれかの組み合わせに基づく所定の順序で共に配置することができる。

例えば、追跡データを記憶する追跡テーブルの例である図７に示すように、追跡エンジン２１１は、第１のエンジンが第１の研究論文を出力（すなわち、フラグ付け）できることと、第１の研究論文が第１の所見を有することができることとを相関させることができる。追跡エンジン２１１は、第２のエンジンが第２の研究を出力（すなわち、フラグ付け）できることと、第２の研究が第２の所見を有することができることとを相関させることができる。１つの実施形態では、疾病の可能性が潜在的に高い機械学習された研究論文が、査読サンプルからの研究論文を含むことができる。画像処理サーバ１１０及び／又は査読システムは、重複する研究論文を複合サンプルから削除することができる。１つの実施形態では、画像処理サーバ１１０及び／又は査読システム６０３が、複合サンプル及び／又は査読サンプルからの正常な研究論文（すなわち、所見を有していない研究論文）を削除することができる。追跡エンジン２１１は、複合サンプル及び／又は査読サンプルからどのエンジンが削除されたかを追跡することができる。

１つの実施形態によれば、レポートモジュール２１４は、追跡データに基づいてレポートを生成し、特定のユーザ又はシステムなどの要求された宛先に送信することができる。図８は、１つの実施形態による、特定の研究論文の所見のレポート例を示すブロック図である。このレポートは、どの画像処理エンジンが使用されたか、どのような所見が識別されたか、所見の測定値、及び診断結果を示すデータを含む。

１つの実施形態によれば、画像データ上の各処理エンジンからの特徴がレポート内の要素に対応する必要がある。ＮＬＰシステム又はＮＬＰモジュールを利用してレポート内のテキストを構文解析し、抽出された画像特徴を照合することができる。どの処理エンジンがＮＬＰアルゴリズムを実行すべきであるかを判断するために、一連のＮＬＰルールを規定することができる。例えば、手のｘ線写真が「重大な骨折又は外傷性亜脱臼なし」を示す場合には、画像処理サーバを介して手のｘ線写真骨折アルゴリズムを開始してレポートの精度を確認する。

１つの実施形態によれば、再び図６Ｂを参照して分かるように、システムを二重盲読に利用して所見の妥当性を確認することができる。例えば、ＰＡＣＳサーバ６０１は、第１の医師集団がレビューを行って各研究論文の所見を決定できるように、全研究論文をレビューシステム６０２に送信することができる。レビューシステム６０２は、全研究論文と第１の医師集団による所見とをＰＡＣＳサーバ６０１に送信することができる。ＰＡＣＳサーバ６０１は、全研究論文と所見とを画像処理サーバ１１０に送信することができる。画像処理サーバ１１０の第１のエンジン１１３、第２のエンジン１１４及び第３のエンジン１１５は、第１の医師による所見の有無にかかわらず、全研究論文の各々を処理することができる。画像処理サーバ１１０は、エンジン１１３〜１１５によって生成された主張／所見が各研究論文に表示されていない疾病の可能性が潜在的に高い機械学習された研究論文を出力することができる（すなわち、第２の医師集団は、レビューする研究が画像処理サーバ１１０によってフラグ付け及び／又は処理されたかどうかが分からない）。

査読システム６０３では、疾病の可能性が潜在的に高い機械学習された研究論文と査読サンプルとをランダムに組み合わせて複合サンプルを形成する。第２の医師集団は、これらの複合サンプルをレビューすることができる。第２の医師集団は、エンジン１１３〜１１５及び第１の医師集団の所見の妥当性を確認することができる。換言すれば、第１の医師集団からの所見とエンジン１１３〜１１５による所見とを比較し、第２の医師集団による所見とエンジン１１３〜１１５による所見をと比較することによる二重盲読によって、エンジン１１３〜１１５の妥当性を確認することができる。

例えば、第１の医師は、第１の研究論文をレビューして、第１の研究論文内の画像が骨折を含んでいたと判断することができる。この第１の研究論文は、骨折エンジンが処理することができる。骨折エンジンは、どのエンジンが使用されたか、又は骨折エンジンによってどのような所見が検出されたかが第２の医師に分からないように、第１の研究論文内に主張／所見を表示することなく第１の研究論文に骨折を有するものとしてフラグ付けすることができる。第２の医師は、第１の研究論文をレビューして、第１の研究論文が骨折を有していることを確認することができる。ここでは、骨折エンジンが、第１の医師の所見と第２の医師の所見とによって妥当性を確認された骨折を有するものとして第１の研究論文にフラグ付けした。

別の例では、第１の医師が第１の研究論文をレビューして、第１の研究論文内の画像が肺結節を含んでいなかったと判断することができる。この第１の研究論文は、第１の肺結節エンジンが処理することができる。第１の肺結節エンジンは、どのエンジンが使用されたか、又は第１の肺結節エンジンによってどのような所見が検出されたかが第２の医師に分からないように、第１の研究論文内に主張／所見を表示することなく第１の研究論文に肺結節を有するものとしてフラグ付けすることができる。第２の医師は、第１の研究論文をレビューして、第１の研究論文が肺結節を有していることを確認することができる。ここでは、第１の肺結節エンジンが、第２の医師には妥当性を確認されたが第１の医師には誤って診断された肺結節を有するものとして第１の研究論文にフラグ付けした。

別の実施形態によれば、第１の医師が第１の研究論文をレビューして、第１の研究論文が第１の所見を含むと判断することができる。この第１の研究論文は、画像処理サーバ１１０内の第１のエンジンが処理することができる。第１のエンジンは、第１の所見に主張／所見を示すことなく、第１の研究論文に第１の所見を有するものとしてフラグ付けし、第１の研究論文を疾病の可能性が潜在的に高い機械学習された研究論文として出力することができる。第２の医師は、第１の研究論文をレビューして、第１の研究論文が第１の所見を含むことを確認することができる。追跡エンジンは、第１の医師、第２の医師、第１のエンジン又はこれらのいずれかの組み合わせの第１の研究論文の所見を追跡することができる。コンパレータエンジン（図示せず）は、第１の医師、第２の医師、第１のエンジン又はこれらのいずれかの組み合わせの所見を比較して、二重盲読を通じて第１のエンジンの妥当性を確認できるかどうかを判断することができる。追跡エンジンは、第１のエンジンの動作の妥当性が確認されたか、それとも否定されたかを追跡することができる。

例えば、第１の医師は、第１の研究論文をレビューして、第１の研究論文が肺結節を含むと判断することができる。この第１の研究論文は、第１の肺結節エンジンが処理することができる。第１の肺結節エンジンは、主張／所見を示すことなく、第１の研究論文に肺結節を有するものとしてフラグ付けし、第１の研究論文を疾病の可能性が潜在的に高い機械学習された研究論文として出力することができる。第２の医師は、第１の研究論文をレビューして、第１の研究論文が肺結節を含むことを確認することができる。追跡エンジンは、第１の医師、第２の医師、肺結節エンジン又はこれらのいずれかの組み合わせの所見を（図９に示すような追跡データの一部として）追跡することができる。コンパレータエンジンは、第１の医師、第２の医師、肺結節エンジン又はこれらのいずれかの組み合わせの所見を比較して、二重盲検試験を通じて肺結節エンジンの妥当性を確認できるかどうかを判断することができる。

図９に示すように、第１の医師の所見と、第２の医師の所見と、肺結節エンジンの所見とが一致した／等しかったので、肺結節エンジンの妥当性を確認することができる。エンジンの妥当性が確認されたか否かは、クライアント装置（例えば、ワークステーション、ウェブサイト、モバイル装置、又はいずれかの将来的なコンピュータｉ／ｏ装置）、査読システム６０３、画像処理サーバ１１０、エンジンプロファイル、査読医用画像ソフトウェア、又はこれらのいずれかの組み合わせ上に表示することができ、このような結果は画像処理サーバ１１０に記憶することができる。

１つの実施形態では、コンパレータエンジン（図示せず）が、第１の医師の所見と第２の医師の所見と第１のエンジンの所見とを比較する際に、第１の医師と第２の医師と第１のエンジンとの間の所見の類似性に基づいて統計値を出力することができる。このような情報は、メモリ及び／又は永続記憶装置に記憶することができる。例えば、コンパレータエンジンは、第１のエンジンの所見が第１の医師との間で８０％正しく、第２の医師との間で２０％正しかった旨を表示することができる。

別の実施形態によれば、追跡エンジンが、第１のエンジンデータ（例えば、どの研究論文が画像処理サーバ１１０に送信されたか、どの研究論文がどのエンジンによって処理されたか、どの研究論文がどのエンジンによってフラグ付けされたか、どの研究論文が複数のエンジンによってフラグ付けされたか、どの研究論文が査読サンプルの一部として送信されたか、エンジン名、所見、妥当性が確認又は否定された疾病の可能性が潜在的に高い機械学習された（全ての事例において、これは決定論的方法又はその他の非機械学習計算方法の二者択一とすることができる）研究論文に関するデータ、限定するわけではないが、壁厚、質感、傾斜、測定値、類似性、解剖学的識別子、又はこれらのいずれかの組み合わせを含む、研究論文内の画像の特徴に関するデータ、第１の医師及び第２の医師のユーザインタラクション、診断時間、又はこれらのいずれかの組み合わせ）を追跡することができる。訓練エンジンは、第１のエンジンデータに基づいて、教師あり又は教師なし方法論を用いた機械学習、又は一般的な決定論的又は統計的エンジンの手動調整を用いて第１のエンジンを訓練することができる。このようなフィードバック及び分析は、第１のエンジンのアルゴリズムを改善することができる。このような機械学習は、疾病の可能性が潜在的に高い機械学習された研究論文の選択を改善することができる。第１のエンジンデータに基づくこのような機械学習プロセスは、反復的、自動的又は手動的なものとすることができる。

例えば、全研究論文を肺結節エンジンに通した後には、研究論文上に主張／所見を表示することなく、肺結節の可能性が潜在的に高い機械学習された研究論文にフラグ付けすることができる。この肺結節の可能性が潜在的に高い機械学習された研究論文を現在使用中の査読システムのワークフローに投入することにより、第２の医師は、所見についての事前知識を有することなくこの研究論文をレビューして肺結節エンジンの所見の妥当性を確認又は否定することができる。訓練エンジン（例えば、機械学習エンジン）は、追跡エンジンが記録している肺結節エンジンデータに基づいて肺結節エンジンを訓練することができる。例えば、訓練エンジンは、妥当性確認／妥当性否定データ、妥当性確認／妥当性否定を生じさせる（図１０Ａ及び図１０Ｂに示すような）形状測定値、質感、真球度、他の測定値、又はこれらのいずれかの組み合わせなどの研究論文内の画像の特徴に基づいて肺結節エンジンを訓練することができる。

ニューラルネットワーク技術では、数式ではない推論及び類似性が使用されるので、所見をもたらす実際の（単複の）特徴が機械学習技術を用いて常に認識されるわけではない。訓練エンジンは、（図１０Ａに示すような）第２の医師、（図１０Ｂに示すような）第１の医師、既知の所見を有する研究論文、又はこれらのいずれかの組み合わせからの肺結節エンジンデータに基づいて肺結節エンジンを訓練することができる。訓練は、画像処理サーバ１１０のＧＵＩ上、又は査読システムプラットフォームソフトウェアアプリケーション内で行うことができる。図１０Ａ〜図１０Ｂに示すように、これらの所見は、医師と画像処理エンジンとの間で一致する時には妥当性が確認される。これらの所見が食い違う場合には妥当性が否定される。

１つの実施形態によれば、査読セッションは、患者の特定の病状を示す状態又は兆候を有する統計的信頼度が非常に高い又は非常に低い読み取るべき研究論文を投入するためのめったにない機会を提示する。医師には画像が再読のために投入された（単複の）理由が分からないので、この確認は、エンジンが純粋に盲目的に所見を確認又は拒絶するために必要なグランドトゥルースとして使用することができる。最終的な画像レポートは、疑わしい患者の状態を確認するためにコンピュータで読み取ることができる。或いは、システムは、高確率の状態又は低確率の状態が存在するか否かについて、判読の最後に直接フィードバックの収集を可能にするように、選択ボックス又はその他の手段を通じて医師に問い合わせることもできる。或いは、このフィードバックは、診断判読中に本査読システムとの相互作用を観察することによって獲得することもできる。

高確率又は低確率の状態及び／又は所見は、場合によっては医用画像及び呼び出されたコンピュータバージョンに適用される決定論的試験又は機械学習（又は深層学習）された試験に基づく訓練されたエンジン又はアルゴリズムによって検出することができる。このアルゴリズムの科学及び作成は、アルゴリズム又はエンジンを訓練又はテストした後に、訓練の元になる所見に関連する同様の何らかの方法で同様の所見を発見又は生成するために、数多くのラベル付き画像データセットの利用可能性に依拠する。これらのさらなる査読（高又は低試験確率）研究論文は、通常の査読（第２の専門家による盲読又は非盲読、及び不一致の場合には第３の専門家による裁定）中に専門家によって読まれるので、これらの処理データにおける結果は同様の所見を介して妥当性が確認され、或いは不一致の結果に基づいて拒絶される。これは、不一致の結果についても同様に発生する。このフィードバックが（プラットフォームとしても知られている）エンジン実行及び訓練システムに戻され、アルゴリズムを自動的に（教師なし）、或いはエンジン立案者又は所有者の選好及び誘導に基づいて（教師あり）再び又はさらに訓練するために使用される。全てのフィードバックがさらに知的なエンジンを形成するわけではなく、従って教師なし又は教師ありの（管理された）訓練法には様々な利点がある。

教師なしエンジン学習は、最も価値ある結果をもたらすためにどのエンジンが様々な環境で実行されるかを選択するように教師ありモード又は教師なしモードで実行されるエンジンを用いて実現することができる。例えば、ある日の作業出力のために１０，０００件の画像データセット（又は画像でない場合には数値／その他のデータ）に対して実行できるエンジンが１００個存在する場合、「エンジンのエンジン」が、（割り当てられた各所見の値に基づいて）その日の可能な限り高い値を実現するためにどの適用可能なデータ及び実験に対してどのエンジンが動作するかを選択する。この値は、医師が査読プロセスにおいて研究論文を再読した際に実際に確認された所見の値を表す。

エンジン毎に行われる各種所見へのユーザ入力又は値のマッピングは、未だ具体的に設定されていなかった新たな所見のデフォルトを設定するための手段を含む。指標点などのエンジンの所見を調整し、受け入れ、拒絶し、キャンセルし、又は追加するための医師の関与及び相互作用（ここでは命名せずに何かを探す、又は具体的な名前／タイプで何かを探す）である。

これらのデータを将来的なエンジン訓練データとして構築するためにエンジンがエンドユーザインタラクションフィードバック及び基礎データを取り入れる能力は、アクセスセキュリティ制御、クラウドアクセス制御、統治機能、フィードバックの訓練機能タイプ、エンドユーザ特性、エンドユーザインタラクションフィードバックのいずれか、全部又は一部の包含を伴う及び伴わない測定されるエンジン性能の変化のうちのいずれかに基づく。最高の動作を戻すための正しいアルゴリズムの選択はカテゴリ（例えば、手順コード又はＣＰＴコード、手順タイプ、身体部分、画像診断法、及び患者の治療及び医療提供者のワークフローに関連する他の要因）にまとめられる。ファイルは自動化された値を含み、システムにアップロードされて、復元され、編集され、保存される。これらのファイル内の値は、例えばＸＭＬで記憶され、ファイル内に保持され、ファイルに復元されて、値の検索、比較及び経時的な傾向、並びに診断又は観察システムに戻すことができるファイルフォーマットに逆構築できる値の平均、平均又はその他の統計的編集を逆配信するために統計学を実行するための能力を逆配信できるデータベースに、抽出された全てのデータのバージョニングと共に記憶される。

１つの実施形態では、要求（例えば、ＪＳＯＮ要求などのウェブ要求）時に、この要求から取得された文書がファイルシステムに変換される。この変換では、要求文書内の各キーと値のペアが、査読システム上のフォルダ内のファイル又はディレクトリに対応する。値がブール型、数値又は文字列であるキーと値のペアは、キーの名前を付けられて値を含むファイルに変換される。値が配列型であるキーと値のペアは、キーの名前を付けられてファイルを含むディレクトリ、又は配列内のインデックスの名前を付けられてこれらの同じ変換ルールに従うコンテンツを含むディレクトリに変換される。値が入れ子型文書（ｎｅｓｔｅｄ ｄｏｃｕｍｅｎｔ）であるキーと値のペアは、キーの名前を付けられてこれらの同じ変換ルールに従うファイルシステムを含むディレクトリに変換される。

この新たに作成された「入力」ファイルシステムは、実行可能なソフトウェアコンテナ（例えば、Ｄｏｃｋｅｒ）に、コンテナの出力を保持するための書き込み可能な「出力」ファイルシステムと共に結合する。コンテナ画像が実行されると、変換ルールの逆を用いて「出力」ファイルシステムの実行が応答文書（例えば、ＪＳＯＮ文書）に変換される。また、各実行可能コンテナとペアにされる小さな相手方コンテナ画像を作成して、既存のコンテナのロードバランサ及びスケジューラとの互換性を有するように入力及び出力変換を円滑にする。これには、遠隔コンテナ（ｄｏｃｋｅｒ）ＡＰＩを使用する相手方コンテナ（ｄｏｃｋｅｒ）画像と、独自のホストに接続して同じように実行可能なコンテナ（ｄｏｃｋｅｒ）画像を実行するＮｖｉｄｉａＧＰＵＩｎｆｏサービスとが必要である。

このエンジン出力及び／又は所見を医師の同意、利用、理解を有するものと照合する機能を有する査読システムは、ＣＥマーク及びＦＤＡ ５１０ｋ又はＰＭＡファイリングなどの規制機関に準拠できるように妥当性確認データを収集する自動化手段、さらにはこのような新たなファイリングをサポートするように医師の妥当性確認及び／又はグランドトゥルースを収集する手段を提供する。規制機関は、査読プロセスの一部としてサポートされる系統的で十分に裏付けられたデータ収集方法を採用し、このような手段によって開発又は妥当性確認されるエンジンは、査読プロセス以外の臨床診療で使用されるものと同一である。１つの実施形態では、査読システムが、各エンジンの規制要件及び品質保証要件が全体的又は部分的に満たされるようにするデータ収集要件を確実にするために、画像及び臨床コンテンツと医師の検証サポートとを含む二重目的を果たす。このようなサポートは、エンジンの組み合わせ、又はエンジンのエンジンについても提供される。

このような臨床検証に加えて、査読システムは、エンジンをマーケティングするため及び／又は医療機器としての診断利用の確認を得るために必要な、各国の特定の要件に基づいて異なる文書の収集及び編集もサポートする。査読システムの妥当性確認及びコンプライアンス文書化の１つのコンポーネントは、ソフトウェアの変更及び更新を追跡する技術ファイルである。この技術ファイルは、コンピュータ環境及びサーバ要件、並びに臨床能力及び特徴部の仕様を含む、所与の医療機器の特定の実装に関するエンジン立案者の説明も含む。この技術ファイルは、所与のシステム内で医療機器がどのように実装されるかについての仕様を含むこともできる。１つの実施形態では、査読システムデータベース及びその関連する又は含まれるエンジンのバージョン追跡、画像／コンテンツコホートのバージョン追跡、並びに医師のフィードバック及び利用データが、これらの規制要件及び品質システム要件に自動的に従って規制及び品質保証提出書類の技術的及び臨床的妥当性確認及び検証部分のほぼ完全な又は十分に完全な作成を可能にする手段としての役割を果たす。

システムは、サードパーティデータ及び／又は企業から学習したエンジンを用いた規制の順守を保証するために、査読のための通常使用中に規制情報を追跡する。査読システムは、使用中のエンジンの品質を管理するために、アルゴリズム開発者（立案者）及び／又は企業によるこれらのエンジンの統治を含む。システムは、選択された査読エンジンと、査読システムの設定に基づいて選択された設定とに基づいて、臨床的に読まれた又は判読された一連の画像から研究論文の査読コホートを選択する。システムは、以前にラベル付けしたデータを１又は複数の保存された状態イメージセット及び／又は画像データ又は臨床コンテンツコホートの形でインポートする能力を提供する。システムは、（しばしば、別のエンジン、製品又はサードパーティからの、或いは専門家が読んだグランドトゥルースとみなされるコホートの集合体からの）既知の良好な基準コホートと比較したコホート内の各所見との評価された一致又は不一致を示す臨床規制の妥当性確認のための画像及び臨床コンテンツコホートを作成するために使用される。

新たな規制認可されていないエンジン出力の組の結果が規制認可されたエンジン出力の組と比較され、この一致又は不一致がレビュー及び承諾のために医師に提示されて、このような全ての結果が査読システム内に文書化される。医師又は臨床医による全ての最終的な確認、拒絶又は調整は、査読データベース内に文書化される。査読システムは、（単複の）認可されたエンジンが、満足できる結果、ワークフロー及び安全性、及び／又は同様の感度及び特異度、並びにプラットフォームの標準的な査読機能の適用を通じて達成できるような評価された統計的合意信頼度で動作したことを実証するために使用される。

エンジンのアルゴリズム開発者は、医師、企業、ソフトウェアエンジニア、データサイエンティスト、又はデータにアクセスしてエンジンを構築できる誰かとすることができる。エンジンは、教師あり又は教師なしの形で機能する他の多くのエンジンの出力である二次創作物とすることもできる。査読システム内には、プラットフォーム内で使用するように開発されたエンジンを管理する統治システムが実装されて、実行、管理、バージョニングを可能にするようなアクセス権の割り当て、バージョンの管理、使用の追跡、出力の制御、他者へのアクセス許可、使用するエンジンの公開、私的使用及び限定使用に対する制約、書類、検証及び妥当性確認データ、並びに販促資料及び品質証明、規制当局の認可状態及び書類、使用及び顧客満足に関する細目、及び他の形の関連する臨床コンテンツ及び情報のアップロードを行う。治験用及び臨床用エンジンは、エンジン立案者によって行われる、異なる統治、価格設定、性能保証、使用に関する法的契約、及びこのようなエンジンが医療機器としてのマーケティング及び使用に適するように保証する他の要因を有する医療請求によって区別される。

管理者のための統治機能は、ＣＥマーク、５１０ｋ又はＰＭＡなどの、規制当局への提出のための自動的に生成されるレポートと共に、使用データ及びフィードバックデータを検討することによる自動市販後調査を実行する。使用データは、臨床診療においてアルゴリズムがどのように使用されたかとすることができる。フィードバックデータは、評価及び測定が行われる臨床画像データセット及び臨床コンテンツに関連する臨床転帰データを含むこともできる。このデータは、医師による判読時又は判読後、査読システムによる処理前又は処理後における、エンジン結果の下流の臨床的意義の性能又は予測的／遡及的分析、及びエンジンのアンサンブル（組み合わせ）又はエンジンのエンジンが戻す結果に関するブール型又はｅｎｕｍ（列挙型）の選択、又はその他の臨床観察結果とすることができる。

図１１に、１つの実施形態によるレポート生成プロセスを示す。図１１に示すように、第１のユーザがユーザ入力情報をアップロード又は完了することができる。ユーザ入力情報は、エンジンに関連付けてストレージに記憶することができる。ユーザは、クライアントアプリケーションを介して第１のエンジンに関連する文書をアップロードすることができる。ユーザがアップロードした文書は、第１のエンジンに関連付けてストレージに記憶することができる。例えば、ユーザは、医療機器ユーザの料金カバーシート、医療機器・放射線保健センター（ＣＤＲＨ）の市販前レビューの提出、適合性証明書、目次、カバーレター、使用適応、５１０ｋの概要、真実及び正確性の声明（ｔｒｕｔｈｆｕｌ ａｎｄ ａｃｃｕｒａｃｙ ｓｔａｔｅｍｅｎｔ）、クラスＩＩＩ証明書の概要（ｃｌａｓｓ ＩＩＩ ｃｅｒｔｉｆｉｃａｔｉｏｎ ｓｕｍｍａｒｙ）、装置／エンジンの名称、装置／エンジンの説明、叙述（ｐｒｅｄｉｃａｔｅ）、装置／エンジンと叙述との比較、使用目的、ラベル案、有効期限、又は他のいずれかの情報、或いはこれらの組み合わせに関する情報の入力又は文書のアップロードを行うことができる。このような情報は、画像処理サーバのストレージ又はアプリケーションストアに記憶することができる。このような情報は、第１のエンジンに関連付けることができる。このような情報又はそのいずれかの一部は、第１のユーザが要求する場合又はアプリケーションテンプレートの一部である場合にはストレージから取り出してレポートに含めることができる。テンプレートからのいずれかの情報が不足している場合には、ユーザの情報が不足していてその情報を含めることができる旨をユーザに知らせるプロンプトを生成することができる。

ユーザは、クライアント装置又はウェブページ上のクライアントアプリケーションに第１のエンジンのレポートを要求することができる。ユーザがアプリケーションにレポートを要求すると、アプリケーションはネットワークを介してこの要求を画像処理サーバに送信することができる。レポートモジュールは、第１のエンジンのユーザ入力情報、追跡情報、研究情報、妥当性確認情報、最新の文書、自機のデータベース内の他の情報、或いはその情報が統合された情報又はシステム、又はこれらのいずれかの組み合わせ、ストレージからのコホート又は制約データの問い合わせを編集してレポートを編集することができる。レポートは、保存情報に基づいて自動的に完成するように、レポートテンプレートを用いて事前に構成することができる。レポートは、ユーザがアプリケーション上の特定のフィールドを選択することによって画像処理サーバのストレージからどのデータを必要とするかというユーザ仕様に基づくことができる。例えば、ユーザは、妥当性確認及び使用の適応のみを望むことができる。レポートは、クライアントアプリケーション又はウェブサイトに送信することができる。レポートは、アプリケーションに送信された時点でユーザが操作することも、或いはアプリケーションに送信される前にユーザが操作することもできる。

例えば、ユーザは、さらなる情報、更新情報、削除情報、又はこれらのいずれかの組み合わせを含めることができる。アプリケーションは、レポートは、５１０Ｋ申請、ＰＭＡ申請、治験申請、保険関連申請、又はエンジンの妥当性確認を必要とする他のいずれかの申請を含むことができるレポートの所定のレポートテンプレートを含むことができる。１又は２以上の医療研究所からの１又は２以上のユーザは、レポートをレビューし、アプリケーションを介してレポートの結果を検証することができる。このようなレポートは、ユーザがアプリケーションを介してこのようなレポートを要求した時に自動生成することができる。１又は２以上のユーザは、アプリケーションを通じて、レポートを検証したかどうか、又は結果が誤っている可能性のある特定の研究論文にマーク付け（例えば、フラグ付け、赤色／緑色でのマーク付け、各研究論文上の事項への丸付け、又はこれらのいずれかの組み合わせ）を行うことができる。別の実施形態では、裁定グループがアプリケーションを介してエンジンが有効であるか否かを判断することができる。閉ループ機械学習が治験の妥当性確認データセットを生成する。

例えば、ユーザは、エンジン（例えば、肺結節）をクラウドにアップロードすることができる。ユーザは、アプリケーションを介して研究論文による肺結節エンジンの機械学習／訓練を行うことができる。肺結節エンジンへのアクセスが他のユーザにも認められている場合には、他のユーザがローカルに又はクラウドを介して研究論文による肺結節エンジンの訓練／機械学習を行うことができる。肺結節エンジンが最適化されると、ユーザは、既知の又は未知の所見を伴う１又は２以上の研究に対して肺結節エンジンを実行することができる。追跡モジュールは、研究論文ＩＤ、既知の所見、未知の所見、肺結節エンジンの所見、肺結節エンジンの精度、肺結節エンジンのパーセント精度、又はこれらのいずれかの組み合わせなどの情報を追跡することができる。

ユーザは、アプリケーションのＧＵＩを介して、使用目的、使用の適応、追跡モジュールを介して肺結節エンジンに関連付けてストレージに記憶できる記述などの他の肺結節エンジン情報を入力することもできる。ユーザは、例えば５１０Ｋレポートなどのレポートをアプリケーションに要求することができる。レポートモジュールは、肺結節エンジンの５１０Ｋレポートを求める要求を受け取り、ストレージに記憶されている肺結節エンジンに関連する情報に基づいて５１０Ｋレポートテンプレート内の適用フィールドを埋めることができる。その後、５１０Ｋレポートの閲覧、５１０Ｋレポートの更新、レポートのダウンロード、レポートの印刷、規制当局へのレポートの直接的な提出、又はこれらのいずれかの組み合わせをユーザが行えるように、肺結節エンジンの５１０Ｋレポートをアプリケーションに送信することができる。

図１２Ａ〜図１２Ｃに、１つの実施形態による、画像処理についてユーザを認証するためのアクセス制御テーブルを示す。クライアントアプリケーションは、特定のユーザに特定のユーザ権限が与えられるようにアクセス制御を有することができる。例えば、医師は、臨床使及び非臨床使用のためにクラウド上のいずれかの利用可能なエンジンにアクセスして使用することができる（すなわち、医師が作成者によってエンジンへのアクセスを認められていた場合）。例えば、医師でなくても、クラウド上のいずれかの利用可能なエンジンへのアクセスが作成者によって認められている限り、非臨床使用のためにこれらのエンジンにアクセスして使用することができる。例えば、エンジンの作成者は、エンジンを使用するため及び／又はエンジンを機械学習／訓練するために別の医師にアクセス権を与えることもできる。別の例では、作成者が、エンジンを通じて研究論文を処理するために１又は２以上の医療研究所からの医師又は医師集団にアクセス権を与えることができる。

１つの実施形態によれば、画像処理サーバ１１０は、エンジン、リソース（例えば、画像処理ツール）、及び／又は医用データストアに記憶されている医用データのアクセス権を制御するためのアクセス制御システムをさらに含む。ユーザは、それぞれのアクセス権に応じて、特定のエンジン、リソースの特定の部分及び／又は医用データストアに記憶されている医用データにアクセスできることも又はアクセスできないこともある。アクセス権は、図１２Ａ〜図１２Ｃに示すような一連の役割ベースのルール又はポリシーに基づいて決定又は構成することができる。例えば、医師は、ＦＤＡ認可されたエンジン、開発中のエンジン、訓練が必要なエンジン、又は自身がアップロードしたエンジン及びデータ、又はこれらのいずれかの組み合わせなどの特定のエンジンにしかアクセスすることができない。特定の役割又は証明書を有する一部のユーザは、図１２Ｂに示すように、システムによって提供されるツールの一部にしかアクセスすることができない。特定の役割を有する一部のユーザは、訓練／機械学習の特定のステップ又は段階しか実行することができない。ステップ又は段階はツールに組み込まれ、命令を識別及び／又は評価するステップ、又は以前に実行されたステップ又は段階からのフィードバックの妥当性確認／受諾を含むことができる。特定の役割を有する一部のユーザは、特定のタイプのプロセスに制限される。

１つの実施形態では、アクセス制御システムが、医療保険の携行と責任に関する法律（ＨＩＰＡＡ）の順守に基づいてアクセスを制御することができる。例えば、第１の医師は、第２の医師に医用画像データ及び／又はエンジンへのアクセスを認めることができる。第１の医師は、エンジンへのアクセスを認めるとともに、ＨＩＰＡＡ要件の順守を確実にするために画像処理サーバを介して事業提携契約書（ＢＡＡ）を要求／送信することもできる。第２の医師は、ＢＡＡに同意した後にエンジンにアクセスすることができる。ＢＡＡは、第１の医師及び第２の医師のユーザプロファイル上で追跡することができる。アプリケーションは、保護された健康情報を研究論文上で匿名化するオプションを有することができる。

なお、図１２Ａ〜図１２Ｃに示すようなルール又はポリシーは説明目的で示すものにすぎず、他のルール及びフォーマットを適用することもできる。いくつかの実施形態によれば、アクセスレベルは、例えばエンジンのタイプ、エンジンがＦＤＡによって確認されているかどうか、エンジンが未だに開発中であるかどうか、エンジンの妥当性が確認されているかどうか、エンジンをさらに訓練する必要があるかどうか、ツール又はツール内のステップのタイプ、機能（例えば、アップロード、ダウンロード、閲覧、操作、編集、妥当性確認など）、他者にアクセス権を与える能力（例えば、セカンドオピニオン、紹介、専門家、家族、友人など）、患者、エンジン（例えば、ライセンス契約に応じて１ヶ月に特定の数のエンジンにしかアクセスして使用することができない）、医療研究所、専門性、償還又は課金コード（例えば、保険で払い戻される特定の手順を実行するためにしかアクセスすることができない）、管理アクセスレベル、治験又は研究プロジェクト、データ閲覧方法、ＨＩＰＡＡの確認、又はこれらのいずれかの組み合わせなどの様々なパラメータに基づいて構成することができる。

画像データコホート、臨床データコホート、フィードバック、及びデータベース内のデータ又は本査読システムに含まれるデータにも同様のアクセス制御を提供することができる。クラウドモデルは、世界中の医師又はその他の参加者によるアプリケーションの使用への参加を可能にする。ローカルモデルは、１つのネットワーク内又は部署内の医師又はその他の参加者がアプリケーションの使用に参加して患者情報がその環境から離れないようにすることができる。アプリケーションのアクセス制御は、どのエンジン及びツールがどのように又は誰によって使用されるかを制御することができる。

図１３は、本発明の１つの実施形態による医用画像処理プロセスを示すフロー図である。処理１３００は、ソフトウェア、ハードウェア、又はこれらの組み合わせを含むことができる処理ロジックによって実行することができる。例えば、処理１３００は、画像処理サーバ１１０によって実行することができる。図１３を参照すると、ブロック１３０１において、処理ロジックが、ＰＡＣＳなどの医用データソースから一連の臨床研究論文に関連する医用画像の組を受け取る。ブロック１３０２において、処理ロジックは、各臨床研究論文の各医用画像の組について、臨床研究論文の画像を処理するように構成された１又は２以上の画像処理エンジンを識別する。ブロック１３０３において、処理ロジックは、臨床研究論文に関連する構成ファイルによって指定された処理順に従って画像処理エンジンを構成する。ブロック１３０４において、処理ロジックは、画像処理エンジンを呼び出して実行し、医用画像を処理して第１の結果を生成する。第１の結果は、異常な医用画像を示す情報を含む。ブロック１３０５において、処理ロジックは、異常な医用画像を第１のレビューシステムに送信する。第１のレビューシステムは、第２のレビューシステムによって実行される第２のレビューの第２の結果と組み合わせて第１の結果の妥当性を確認する。ブロック１３０６において、処理ロジックは、査読システムから受け取ったレビュー結果に応答して、１又は２以上の処理アルゴリズムを修正して将来的な画像処理動作（例えば、効率、精度）を改善するように処理エンジンのうちの少なくとも１つを訓練する機械学習動作を実行する。

図１４は、本発明の別の実施形態による医用画像処理プロセスを示すフロー図である。処理１４００は、ソフトウェア、ハードウェア、又はこれらの組み合わせを含むことができる処理ロジックによって実行することができる。例えば、処理１４００は、画像処理サーバ１１０によって実行することができる。図１４を参照すると、ブロック１４０１において、処理ロジックが、ＰＡＣＳなどの医用データソースからの一連の臨床研究論文に関連する医用画像の組と、第１のレビューシステム（例えば、第１の査読システム又は一次レビューシステム）から受け取られた第１のレビュー結果とを受け取る。ブロック１４０２において、処理ロジックは、各臨床研究論文の各医用画像の組について、臨床研究論文の画像を処理するように構成された１又は２以上の画像処理エンジンを識別する。ブロック１４０３において、処理ロジックは、画像処理エンジンを呼び出して実行し、医用画像を処理して第２のレビュー結果を生成する。第２のレビュー結果は、異常な医用画像が存在する場合にその画像を示す情報を含む。ブロック１４０４において、処理ロジックは、第１のレビュー結果と第２のレビュー結果とを比較して、第１のレビュー結果と第２のレビュー結果との間のあらゆる矛盾を検出する。ブロック１４０５において、処理ロジックは、矛盾（例えば、第１のレビュー結果と第２のレビュー結果との間の不一致）がある医用画像を第２のレビューシステム（例えば、第２の査読システム）に送信する。第２のレビューシステムは、矛盾する医用画像に別のレビューを実行して第３のレビュー結果を生成する。ブロック１４０６において、処理ロジックは、第２のレビューシステムから受け取った第３のレビュー結果に応答して、１又は２以上の処理アルゴリズムを修正して将来的な画像処理動作（例えば、効率、精度）を改善するように処理エンジンのうちの少なくとも１つを訓練する機械学習動作を実行する。

図１５は、本発明の別の実施形態による医用画像処理プロセスを示すフロー図である。処理１５００は、ソフトウェア、ハードウェア、又はこれらの組み合わせを含むことができる処理ロジックによって実行することができる。例えば、処理１５００は、画像処理サーバ１１０によって実行することができる。図１５を参照すると、ブロック１５０１において、処理ロジックが、ＰＡＣＳシステムなどの医用データソースから１又は２以上の医用画像の組を受け取る。これらの医用画像は、臨床研究論文又は患者に関連することができる。ブロック１５０２において、処理ロジックは、分析システムから分析レポートを受け取る。分析レポートは、医用画像の医用所見を示す情報を含む。例えば、分析レポートは、医師によって作成された又はコンピュータシステムによって自動的に生成された臨床レポートとすることができる。ブロック１５０３において、処理ロジックは、１又は２以上の画像処理エンジンを呼び出し、医用画像に画像認識などの画像分析を実行して医用画像から第１の特徴の組を抽出する。

ブロック１５０４において、処理ロジックは、分析レポートから第２の特徴の組を抽出する。抽出された特徴は、医用画像の医学的所見又は推定を示すことができる。ブロック１５０５において、処理ロジックは、第１の特徴の組と第２の特徴の組とを比較して、これらの間にいずれかの差分が存在するかどうかを判定する。存在する場合、ブロック１５０６において、処理ロジックは、所定の宛先（例えば、管理者システム、分析レポートを生成した医師、又は査読を実行できる別の医師）にアラートメッセージを送信する。このアラートメッセージは、誰かが患者又は医用画像の経過観察を行う必要がある旨を示すことができる。１つの実施形態によれば、医用画像を査読システムに送信し、査読者が査読を実行して、分析レポートの医学的所見及び／又は医用処理エンジンによって実行された画像分析の妥当性の確認又は否定をさらに行うことができる。

図１６は、本発明の別の実施形態による医用画像処理プロセスを示すフロー図である。処理１６００は、ソフトウェア、ハードウェア、又はこれらの組み合わせを含むことができる処理ロジックによって実行することができる。例えば、処理１６００は、画像処理サーバ１１０によって実行することができる。図１６を参照すると、ブロック１６０１において、処理ロジックが、臨床研究論文の１又は２以上の医用画像をレビューする第１のレビュアの第１の結果を受け取る。ブロック１６０２において、処理ロジックは、同じ画像を独立してレビューする第２のレビュアの第２の結果を受け取る。ブロック１６０３において、処理ロジックは、同じ医用画像を処理する１又は２以上の画像処理エンジンによって生成された第３の結果を受け取る。ブロック１６０４において、処理ロジックは、第１の結果と第２の結果と第３の結果とを比較して、これらの結果間のあらゆる矛盾を特定する。いずれかの結果の矛盾が存在する場合、ブロック１６０５において、処理ロジックは、所定の宛先にアラートを送信し、及び／又は画像処理エンジンの動作の妥当性を否定する。結果が互いに一致する場合、ブロック１６０６において、処理ロジックは、画像処理エンジンの動作の妥当性を確認する。ブロック１６０７において、結果に基づいて機械学習アルゴリズムを用いて画像処理エンジンを訓練する。この方法は、知り合いではないが自身のエンジンへのアクセスを認め合っている立案者からのエンジンの出力を組み合わせることによって感度及び特異度を改善する手段を提供するものである。

いくつかの実施形態によれば、ユーザは、査読システムの診断画像処理機能を用いて様々な画像処理ツールにアクセスすることができる。或いは、このような画像処理ツールは、ＰＡＣＳ又はＥＭＲ、或いは他の臨床又は情報システムなどの他のサードパーティシステムにおいて呼び出される画像処理エンジン１１３〜１１５として実装することもできる。以下は、上述した画像処理システムの一部として含めることができる及び／又はさらに自動化できる又はエンジンに変換できる現在の先進的半自動画像観察及び高度可視化システム内に存在する医用画像処理ツールの例である。これらの例は、例示目的で示すものであり、本発明を限定するものではない。

血管分析ツールは、広範囲の血管分析タスク、冠動脈から大動脈までのエンドグラフトプラニング、並びに頸動脈及び腎動脈を含む一般的血管レビューが可能なＣＴ及びＭＲ血管造影のための包括的血管分析パッケージを含むことができる。自動中心線抽出、直線ビュー、直径及び長さ測定、ＣＰＲ及び軸レンダリング（ａｘｉａｌ ｒｅｎｄｅｒｉｎｇｓ）、及び自動薄スラブＭＩＰのための血管追跡モードを含めることもできる。

カルシウムスコアリングツールは、Ａｇａｔｓｔｏｎを用いた冠動脈カルシウムの識別、容積及びミネラル質量アルゴリズムを含むことができる。カスタマイズオプション付きの統合レポートパッケージを含めることもできる。

時間依存分析（ＴＤＡ）ツールは、ＣＴ又はＭＲを用いて習得される時間分解平面又は容積４Ｄ脳潅流検査を含むことができる。ＴＤＡツールは、入力関数及び基線の半自動選択を用いた平均強化時間及び強化積分などの様々なパラメータの色又はマッピングをサポートして分析速度を高めることができる。ＴＤＡツールは、動的４Ｄエリア検出器ＣＴ検査の迅速な自動処理をサポートして取得後数分以内の判読を確実にすることができる。

ＣＴ血管造影検査から非強化構造（例えば骨）を除去する際には、ＣＴ／ＣＴＡ（コンピュータ断層撮影血管造影法）減算ツールが使用され、ＣＴ／ＣＴＡオプションは、造影前後の画像の自動位置合わせの後に、造影増強血管構造の分離によってノイズの増加を伴わずにＣＴＡスキャンから（骨及び外科クリップのような）高強度構造を除去する高密度ボクセルマスキング技術を含む。

小葉分解（Ｌｏｂｕｌａｒ ｄｅｃｏｍｐｏｓｉｔｉｏｎ）ツールは、例えば血管床を含むスキャン領域などの関心容積内のツリー状構造、又は肝臓などの臓器を識別する。その後、ＬＤツールは、ツリーの所与の分枝又はその副分枝のうちの１つとの近接性に基づいて関心副容積を識別することができる。研究用途は、臓器の小葉構造の分析を含む。

低被爆一般強化＆ノイズ処理（Ｇｅｎｅｒａｌ Ｅｎｈａｎｃｅｍｅｎｔ ＆ Ｎｏｉｓｅ Ｔｒｅａｔｍｅｎｔ ｗｉｔｈ Ｌｏｗ Ｅｘｐｏｓｕｒｅ）ツールは、たとえソース画像の品質が最適でない場合でも３Ｄの有効性、中心線、輪郭削り及びセグメンテーションアルゴリズムを改善するノイズ管理技術を適用する高度容積フィルタアーキテクチャを含むことができる。

Ｓｐｈｅｒｅｆｉｎｄｅｒツールは、容積検査の自動分析を行って、高球面指数（多くの結節及びポリープによって示される特徴）を有する構造の位置を識別する。Ｓｐｈｅｒｅｆｉｎｄｅｒは、潜在的関心領域を識別するために肺又は大腸ＣＴスキャンと共に使用されることが多い。

セグメンテーション、分析＆追跡ツールは、孤立性肺結節又はその他の潜在的病変などの塊及び構造の分析及び特性化をサポートする。ツールは、関心領域を識別してセグメント化した後に、ＲＥＣＩＳＴ及びＷＨＯなどの測定基準を適用して所見の集計報告及び経過観察比較をもたらす。Ｓｐｈｅｒｅｆｉｎｄｅｒを含む任意の検出エンジンからの候補マーカの表示及び管理をサポートすることもできる。

時間容積分析ツールは、心室などのリズム運動を行う房から駆出率を自動計算することができる。ユーザが対象の壁境界（例えば、心外膜及び心内膜）を識別し、ユーザが確認したこれらの関心領域に基づいて多面的ＣＴデータから駆出率、壁容積（質量）及び壁肥厚を報告できるようにする高速かつ効率的なワークフローを含めることができる。集計レポート出力も含まれる。

顎顔面（Ｍａｘｉｌｌｏ−ｆａｃｉａｌ）ツールは、顎顔面領域のＣＴ検査の分析及び視覚化をサポートし、これらのツールは、様々な平面における様々な厚みの「パノラマ」投影、及び規定の曲面に沿った設定増分での断面ＭＰＲビューを生成するＣＰＲツールを適用する。

大腸、肺又は血管などの腔内ＣＴ又はＭＲ検査に適用できるＦｌｙｔｈｒｏｕｇｈツールは、比較レビュー、既に見た領域の塗り潰し、カバー率追跡、並びに、早送り、巻き戻し、魚眼及びフラット容積表示ビューを含む複数画面レイアウトをサポートする。コントラスト減算のためのツールである「Ｃｕｂｅ Ｖｉｅｗ」及び統合文脈レポートをサポートすることもできる。ｉＮｔｕｉｔｉｏｎ社のＳｐｈｅｒｅｆｉｎｄｅｒを含む任意の検出エンジンからの候補マーカの表示及び管理をサポートすることもできる。

容量ヒストグラム（Ｖｏｌｕｍｅｔｒｉｃ Ｈｉｓｔｏｇｒａｍ）ツールは、組成のための関心容積のセグメント化及び分析を可能にする。研究用途は、肺の低減衰領域の分析、閾値に基づくボクセル集団への腫瘍分割、血栓血管又は動脈瘤の検査、又はその他の病変を含む。

所見ワークフローツールは、連続検査にわたって所見を追跡するためのフレームワークを提供する。データベースは、測定結果及びキー画像を保持し、連続比較を提示するＲＥＣＩＳＴ１．１法などの、所見の構造的比較及び経時的な集計レポートをサポートする。音声認識システム又は臨床データベースとの自動統合のための注釈及び画像マークアップ（ＡＩＭ）ＸＭＬスキーマをサポートすることもでき、データベースからワードベースの（Ｗｏｒｄ−ｂａｓｅｄ）レポートを取得することもできる。

これらのツールを用いて、いずれか２つのＣＴ、ＰＥＴ、ＭＲ又はＳＰＥＣＴ系列、又はこれらのいずれか２系列の組み合わせを重ね合わせ、解剖学的参照のために、一方に半透明カラーコーディングを割り当て、他方をグレースケール及び容積レンダリングで示すことができる。自動位置合わせが提供され、一時的系列（ｔｅｍｐｏｒａｒｙ ｓｅｒｉｅｓ）又は保存された第３系列への減算が可能である。ＰＥＴ／ＭＲ視覚化のためのサポートも含まれる。

一部のＭＲ検査（例えば、胸部ＭＲ）は、時間と共にいくつかの構造が他の構造に対して強化される、一定期間にわたって撮影された一連の画像収集を伴う。これらのツールは、全ての強化後画像から強化前画像を減算して、強化構造（例えば、血管構造及び他の強化組織）の視覚化を強調する能力を特徴とする。所与の領域の時間−強度グラフをプロットする時間依存性関心領域ツールを提供することもできる。

パラメータマッピングツールは、マルチフェーズＭＲツールへの拡張機能であり、パラメータマッピングオプションは、画像内の各画素が画素強度の時間依存挙動に応じて色分けされたオーバーレイマップを事前計算する。一例として、このツールを胸部ＭＲで使用して強化領域の識別及び研究速度を高めることもできる。

ＭｕｌｔｉＫｖツールは、複数のベンダからの二重エネルギー及びスペクトル撮像（Ｄｕａｌ Ｅｎｅｒｇｙ ａｎｄ Ｓｐｅｃｔｒａｌ Ｉｍａｇｉｎｇ）の取得をサポートして、セグメンテーション又はコントラスト抑制などの標準的な画像処理アルゴリズム、並びに新技術の正確な分析及び開発のための汎用ツールキットを提供する。

これらの例、並びに現在の高度画像分析及び臨床データ分析のほとんどの機能は、査読システムでサポートすることができる。しかしながら、エンジン及びエンジンのエンジンの能力はますます先に進み、知性と自動化を高めたツールに対応するとともに、個人又はグループの選好にエンジンを適合させることによって個人に合わせたワークフローをもたらすことができる。

上述した実施形態は、様々な医学領域に適用することができる。例えば、上述した技術は、（ステントグラフト内挿術（ＥＶＡＲ）及び電気生理学（ＥＰ）プラニングを含む）血管分析に適用することができる。このような血管分析は、大動脈エンドグラフト及び電気生理学プラニングに加えて、冠動脈と、頸動脈及び腎動脈などの一般血管との分析を判読するために行われる。現場又はクラウドに位置するプラットフォームのクラウドサービスとして提供されるツールは、自動中心線抽出、直線ビュー、直径及び長さ測定、カラーオーバーレイ、フュージョンマッピング、湾曲面再形成（Ｃｕｒｖｅｄ Ｐｌａｎａｒ Ｒｅｆｏｒｍａｔｉｏｎ：ＣＰＲ）及び軸レンダリング、並びに血管直径対距離及び断面図の図表化を含む。血管追跡ツールは、ナビゲーションの容易さと深い取り調べ（ｄｅｅｐ ｉｎｔｅｒｒｏｇａｔｉｏｎ）のために、血管中心線に沿って移動してその周囲で回転する２つの直交面における最大値投影法（ＭＩＰ）ビューを提供する。プラーク分析ツールは、ソフトプラーク、石灰化プラーク及び壁内病変などの非管腔構造の詳細な描画を提供する。

また、上述した技術は、血管内大動脈修復の分野で利用することもできる。いくつかの実施形態によれば、同様のクラウドサービスとして提供される血管分析ツールが、エンドグラフトのサイズ決定のための測定結果を取り込むレポートテンプレートの定義をサポートする。複数のアクセスポイントを用いたＥＶＡＲ手順の計画を可能にするために複数の中心線を抽出することができる。血管に垂直な直径を、２つの大動脈腸骨経路に沿った距離と共に測定することができる。カスタムワークフローテンプレートを用いて、ステントのサイズ決定に必要とされるような主大動脈エンドグラフト製造の測定仕様を作成することができる。有窓の分岐装置を計画するための血管枝の配向及び位置の文書化を支援する「クロックフェース」オーバーレイを用いた心嚢セグメンテーション及び容積決定を使用することもできる。必要な測定値及びデータを含むレポートを生成することができる。

上述した技術は、主静脈及び副静脈直径評価のためのクラウドサービスとして提供される距離ペアツール（ｄｉｓｔａｎｃｅ ｐａｉｒ ｔｏｏｌ）によって各肺静脈口の半自動左心房セグメンテーションがサポートされる左心房分析モードにおいて適用することもできる。測定値は自動的に検出されて統合レポートシステムに取り込まれる。これらの能力を他の血管分析ツールと組み合わせて、切除及びリードアプローチプラニング（ｌｅａｄ ａｐｐｒｏａｃｈ ｐｌａｎｎｉｎｇ）のための包括的なカスタマイズされたＥＰプラニングワークフローを提供することができる。

上述した技術は、カルシウムスコアリングにおいて利用することもできる。冠動脈カルシウムの識別は、Ａｇａｔｓｔｏｎを用いてサポートされ、容積及びミネラル質量アルゴリズムが合計されてレポートされる。結果は、患者及びその心臓血管病歴及びリスク因子に関する他の様々なデータと共にオープンフォーマットデータベースに記憶することができる。これらのデータに基づいて、カスタマイズされたレポートを自動的に生成することができる。心臓血管コンピュータ断層撮影学会（ＳＣＣＴ）ガイドラインによって定められるレポートの作成も含む。

上述した技術は、左心室容積、駆出率、心筋容積（質量）及びマルチフェーズデータからの壁肥厚の完全自動計算を含むことができる時間・容積分析（ＴＶＡ）において利用することもできる。

上述した技術は、肺ＣＴ検査を含む様々なスキャンにおける質量及び構造の分析及び特性化のサポートを含むセグメントテーション分析及び追跡（ＳＡＴ）の分野において利用することもできる。特徴は、質量のセグメントテーション、寸法及び容積のレポート、選択領域のグラフィカル３Ｄ表示、統合自動レポートツール、パーセント容積の変化及び倍化時間を含む経過観察比較のサポート、及びフィルタ結果（例えば球面）の適用及びレビューのサポートを含む。

上述した技術は、大腸の自動セグメンテーション及び中心線抽出の特徴を含むことができるフライスルー（ｆｌｙｔｈｒｏｕｇｈ）の分野において利用することもできる。２Ｄレビューは、代表的な同期的腔内ビューを用いた軸状、冠状又は矢状ビューの形の横並びの同期背臥及び腹臥データセットを含む。３Ｄレビューは、大型の腔内ビュー及び大腸全体を表示する展開ビューを用いた軸状、冠状及び矢状ＭＰＲ又はＭＩＰ画像表示を含む。見えない部分の段階的レビュー、ポリープ識別、ブックマーク及びマージ所見、並びに関心容積及び統合文脈レポートツールを分離するための立方体ビューを用いて１００％カバレッジを確実にするためのカバレッジ追跡がサポートされる。フィルタ結果（例えば、球面）を使用するためのサポートも提供される。

上述した技術は、脳潅流研究などにおいて適切なコンピュータ断層撮影血管造影法（ＣＴＡ）及び／又はＭＲＩ検査の時間依存挙動の評価分析を提供する時間依存分析（ＴＤＡ）の分野において利用することもできる。複数の時間依存系列が同時に分析され、入出力関数及び関心領域を選択するためのプロシージャ型ワークフローが提供される。血流、血液量及び通過時間マップの値のエクスポートが、ＤＩＣＯＭ又は他の画像フォーマットでサポート又はエクスポートされる。他の出力は、様々な時間依存パラメータの計算を含む。

上述した技術は、造影前後の画像の自動位置合わせの後に、ノイズの増加を伴わずに造影増強血管構造を無傷にしたままでＣＴＡスキャンから（骨及び外科クリップなどの）高強度構造を除去する減算又は高密度ボクセルマスキング技術を含むＣＴＡ−ＣＴ減算の分野において利用することもできる。

上述した技術は、歯科分析において利用して、様々な平面における様々な厚みの「パノラマ」投影と、規定の曲面に沿った設定増分での断面ＭＰＲビューとを生成する能力をもたらす、歯科ＣＴスキャンのレビューに適用できるＣＰＲツールを提供することもできる。

上述した技術は、マルチフェーズＭＲの分野（例えば、胸部ＭＲ、前立腺ＭＲなどの基本ＭＲ）において利用することもできる。一部のＭＲ検査（例えば、胸部ＭＲ、前立腺ＭＲ）は、時間と共にいくつかの構造が他の構造に対して強化される、一定期間にわたって撮影された一連の画像収集を伴う。機能は、全ての強化後画像から強化前画像を減算して、強化構造（例えば、血管構造及び他の強化組織）の視覚化を強調する能力を含む。所与の領域の時間−強度グラフをプロットする時間依存性関心領域ツールも提供される。

上述した技術は、画像内の各画素が画素強度の時間依存挙動に応じて色分けされたオーバーレイマップをパラメータマッピングモジュールが事前計算する（例えば、マルチフェーズ胸部ＭＲの）パラメータマッピングにおいて利用することもできる。

上述した技術は、画像データセット内の物体の球面を発見する際に利用することもできる。これは、潜在的関心領域を識別するために肺又は大腸ＣＴで使用されることが多い。

上述した技術は、ＣＴ／ＭＲ／ＰＥＴ／ＳＰＥＣＴの融合において利用することもできる。いずれか２つのＣＴ、ＰＥＴ、ＭＲ又はＳＰＥＣＴ系列、又はいずれか２系列の組み合わせを重ね合わせ、解剖学的参照のために、一方に半透明カラーコーディングを割り当て、他方をグレースケール及び容積レンダリングで示すことができる。自動位置合わせが提供され、一時的系列又は保存された第３系列への減算が可能である。

上述した技術は、小葉分解の分野において利用することもできる。小葉分解は、解剖学的構造を検出してセグメント化するように設計された分析及びセグメンテーションツールである。このツールは、（動脈及び／又は静脈ツリーなどの）ツリー状構造が絡み合ったあらゆる構造又は臓器領域について、関心容積及びそれに関連するツリーを計算し、ツリー又はそのいずれかの特定の副分枝に最も近い小葉又はテリトリーに容積を分割する。この汎用かつ柔軟なツールには、肝臓、肺、心臓、並びに他の様々な臓器及び病理学的構造の分析における潜在的研究用途がある。

上述した技術は、容積ヒストグラム（ｖｏｌｕｍｅｔｒｉｃ ｈｉｓｔｏｇｒａｍ）計算の分野において利用することもできる。容積ヒストグラムは、異なる強度又は密度範囲のグループ又は集団を形成する成分ボクセルに基づいて、所与の関心容積を分割する。この容積ヒストグラムは、例えば癌（活動腫瘍、壊死組織、及び浮腫間のバランスを理解するために腫瘍の組成を分析することが望ましい場合）、又は気腫（肺ＣＴ検査における低減衰ボクセルの集団が早期疾患の重要な指標になり得る場合）などの疾病過程の研究をサポートするために使用することができる。

上述した技術は、動き分析（ｍｏｔｉｏｎ ａｎａｌｙｔｉｃｓ）の分野において利用することもできる。動き分析は、対話型３Ｄ又は４Ｄディスプレイが利用できない時に所見をより効率的に伝える、４Ｄプロセスの強力な２Ｄ表現を提供する。拍動する心臓などのあらゆる動的容積取得を動き分析して、動的シーケンス全体を通じて重要な境界の輪郭の色分けされた「痕跡（ｔｒａｉｌ）」を生成し、単一の２Ｄフレームが動きを取り込んで、容易に文献で報告できる形で例示できるようにする。カラーパターンの均一性又はその欠如が動きの調和度を反映して、単一画像からの迅速な視覚フィードバックを提供する。

図１７は、本発明の１つの実施形態と共に使用できるデータ処理システムのブロック図である。例えば、システム１７００は、上述したようなサーバ又はクライアントの一部として使用することができる。例えばシステム１７００は、ネットワークインターフェイス１７１０を介して遠隔クライアント装置又は別のサーバに通信可能に結合された、上述した画像処理サーバ１１０を表すことができる。なお、図１７にはコンピュータシステムの様々なコンポーネントを示しているが、コンポーネント同士を相互接続する特定のアーキテクチャ又は方法を表すことは意図しておらず、従って細部は本発明と密接に関係するものではない。さらに少ない、又は場合によってはさらに多くのコンポーネントを有するネットワークコンピュータ、ハンドヘルドコンピュータ、携帯電話機及びその他のデータ処理システムを本発明と共に使用することもできると理解されるであろう。

図１７に示すように、データ処理システムの形態のコンピュータシステム１７００は、１又は２以上のマイクロプロセッサ１７０３、ＲＯＭ１７０７、揮発性ＲＡＭ１７０５及び不揮発性メモリ１７０６に結合されたバス又は相互接続部１７０２を含む。マイクロプロセッサ１７０３は、キャッシュメモリ１７０４に結合される。バス１７０２は、これらの様々なコンポーネントを相互接続するとともに、これらのコンポーネント１７０３、１７０７、１７０５及び１７０６を、ディスプレイコントローラ及びディスプレイ装置１７０８、並びにマウス、キーボード、モデム、ネットワークインターフェイス、プリンタ、及び当業で周知の他の装置とすることができる入力／出力（Ｉ／Ｏ）装置１７１０に相互接続する。

通常、入力／出力装置１７１０は、入力／出力コントローラ１７０９を通じてシステムに結合される。通常、揮発性ＲＡＭ１７０５は、メモリのデータを更新又は保持するために絶えず電力を必要とするダイナミックＲＡＭ（ＤＲＡＭ）として実装される。通常、不揮発性メモリ１７０６は、磁気ハードドライブ、光磁気ドライブ、光学ドライブ、ＤＶＤ ＲＡＭ、又はシステムから電力が除去された後でもデータを保持する他のタイプのメモリシステムである。通常、不揮発性メモリはランダムアクセスメモリでもあるが、これは必須ではない。

図１７には、不揮発性メモリが、データ処理システム内の残りのコンポーネントに直接結合されたローカル装置であると示しているが、本発明は、モデム又はイーサネット（登録商標）インターフェイスなどのネットワークインターフェイスを介してデータ処理システムに結合されたネットワーク記憶装置などの、システムから離れた不揮発性メモリを利用することもできる。当業で周知のように、バス１７０２は、様々なブリッジ、コントローラ及び／又はアダプタを介して互いに接続された１又は２以上のバスを含むことができる。１つの実施形態では、Ｉ／Ｏコントローラ１７０９が、ＵＳＢ（ユニバーサルシリアルバス）周辺機器を制御するＵＳＢアダプタを含む。或いは、Ｉ／Ｏコントローラ１７０９は、ＦｉｒｅＷｉｒｅ装置を制御する、ＦｉｒｅＷｉｒｅアダプタとしても知られているＩＥＥＥ−１３９４アダプタを含むこともできる。

上述した詳細な説明の一部は、コンピュータメモリ内のデータビットにおける演算のアルゴリズム及び記号表現の観点から示したものである。これらのアルゴリズムによる記述及び表現は、データ処理において当業者が自らの研究内容を他の当業者に最も効果的に伝えるために使用する方法である。ここでは、一般に、アルゴリズムとは、望ましい結果をもたらす首尾一貫した一連の演算であると考えられる。これらの演算は、物理量の物理的操作を必要とするものである。

しかしながら、これらの及び同様の用語は、全て適切な物理量に関連付けられるべきものであり、またこれらの量に与えられた便利な表記に過ぎないことに留意されたい。上述の説明から明らかなように、特に別途述べていない限り、本発明全体を通じ、以下の特許請求の範囲に記載するような用語を利用した説明は、コンピュータシステムのレジスタ及びメモリ内の物理（電子）量として表されるデータを操作し、コンピュータシステムのメモリ、レジスタ、又はその他のこのような情報記憶装置、送信又は表示装置内の物理量として同様に表される他のデータに変換するコンピュータシステム又は同様の電子コンピュータ装置の動作及び処理を意味するものである。

図示の技術は、１又は２以上の電子装置上に記憶され実行されるコード及びデータを用いて実装することができる。このような電子装置は、非一時的コンピュータ可読記憶媒体（例えば、磁気ディスク、光ディスク、ランダムアクセスメモリ、リードオンリメモリ、フラッシュメモリデバイス、相変化メモリ）及び一時的コンピュータ可読伝送媒体（例えば、電気信号、光信号、音響信号、又は搬送波、赤外線信号、デジタル信号などのその他の形の伝搬信号）などのコンピュータ可読媒体を使用してコード及びデータを記憶し（内部的に及び／又はネットワークを介して他の電子装置と）通信する。

上述した図に示すプロセス又は方法は、ハードウェア（例えば、回路、専用ロジックなど）、ファームウェア、（例えば、非一時的コンピュータ可読媒体上で具現化される）ソフトウェア、又はこれらの組み合わせを含むロジックを処理することによって実行することができる。上記では、これらのプロセス又は方法をいくつかの順次処理の観点から説明したが、説明した動作の一部を異なる順序で実行することもできると理解されたい。さらに、動作によっては、順次的にではなく同時に実行できるものもある。

上述の明細書では、本発明の実施形態をその特定の例示的な実施形態を参照しながら説明した。特許請求の範囲に示す本発明の幅広い趣旨及び範囲から逸脱することなく本発明に様々な修正を行えることが明白であろう。従って、明細書及び図面は、限定的な意味ではなく例示的な意味で捉えるべきである。

１００ 医用データ査読システム
１０１ クライアント装置
１０２ クライアント装置
１０３ ネットワーク
１０５ 医用データソース（例えば、ＰＡＣＳ）
１０６ 画像処理システム
１０７ 画像処理ツール
１０９ 医用アプリケーションストア
１１０ 画像処理サーバ
１１１ クライアントアプリケーション（例えば、３Ｄ画像処理ＳＷ）
１１２ クライアントアプリケーション（例えば、３Ｄ画像処理ＳＷ）
１１３ 画像処理エンジン（例えば、肺結節）
１１４ 画像処理エンジン（例えば、骨折）
１１５ 画像処理エンジン（例えば、血管検出）

Claims (27)

1. 自動医用診断システムの自動診断機能を向上させるためのコンピュータ実装方法であって、
   プロセッサとメモリとを有する医用画像処理サーバにより、医用データソースから医療研究論文に関連する第１の医用画像の組を受け取るステップと、
   複数の画像処理エンジンを呼び出して、前記医療研究論文をレビューするように特異的に構成された所定の順序に従って医用画像を処理し、前記画像処理エンジンが、前記医用画像の異常所見を検出して、該異常所見を表す第１の結果を生成するステップであって、前記複数の画像処理エンジンのうちの少なくとも２つの画像処理エンジンを用いて前記異常所見を探すことを含み、前記少なくとも２つの画像処理エンジンの各々は、発見された異常所見を含む前記第１の結果を判定するとき、発見に対する各画像処理エンジンの重み付けを付与するために使用される個々の重み値を有する、当該ステップと、
   前記画像処理エンジンによって異常として分類された前記発見された異常所見を第１のレビューシステムに送信するステップと、
   前記第１のレビューシステムから第２の結果を受け取ったことに応答して、前記第１の結果及び前記第２の結果の間の任意の相違に基づいて、前記少なくとも２つの画像処理エンジンの前記重み値を調整することを含む機械学習訓練を実行するステップと、を含むことを特徴とする方法。
2. 前記複数の画像処理エンジンを管理するスーパーバイザエンジンを更に含み、
   前記スーパーバイザエンジンは、前記少なくとも２つの画像処理エンジンを呼び出すとき、前記複数の画像処理エンジンの重み値を考慮する、請求項１に記載の方法。
3. 前記第１の結果と前記第２の結果とを比較して、前記第１の結果が前記第２の結果と一致するかどうかを判定するステップと、
   前記第１の結果と前記第２の結果とが矛盾するとの判定に応答して、所定の装置にアラートを送信するステップとをさらに含む請求項１に記載の方法。
4. 前記第１の結果及び前記第２の結果を、臨床研究システムの画像処理サーバによって検出される第３の結果と比較するステップと、
   前記第１の結果、前記第２の結果及び前記第３の結果に基づいて、前記複数の画像処理エンジン、前記画像処理サーバ、及び前記第１のレビューシステムが同じ異常所見を生成しているかを確認するステップと、
   をさらに含み、前記第１のレビューシステムは、前記臨床研究システムに対する査読システムである、請求項１に記載の方法。
5. 前記第１の結果、前記第２の結果及び前記第３の結果は、残りの相手先の結果を知ることなく独立して生成される、請求項４に記載の方法。
6. 前記第１の結果と前記第２の結果とは一致するが、前記第３の結果が前記第１の結果及び前記第２の結果と矛盾する場合に、所定の装置にアラートを送信するステップをさらに含む、請求項４に記載の方法。
7. 前記機械学習訓練を実行するステップは、前記第１の結果及び前記第２の結果に基づいて、機械学習アルゴリズムを用いて前記複数の画像処理エンジンのうちのスーパーバイザエンジンを訓練することをさらに含む、請求項１に記載の方法。
8. どの画像処理エンジンがどの医療研究論文に対して動作を実行するかを示すデータを含む、前記画像処理エンジンの動作統計を追跡するステップをさらに含む、請求項１に記載の方法。
9. 前記画像処理エンジンは、ウェブサーバ上にリスト化された複数の画像処理エンジンから選択され、前記選択された画像処理エンジンは、ウェブサーバの構成インターフェイスを介して所定の順序に従って構成される、請求項１に記載の方法。
10. 前記複数の画像処理エンジンは、複数のエンジン開発者によって個別に提供され、複数のユーザが１又は２以上の画像処理エンジンを選択して自身のそれぞれの医用画像に登録できるようにウェブサーバ上にアップロードされる、請求項９に記載の方法。
11. 前記画像処理エンジンは、前記医用画像の異なる部分に対して複数のレビューセッションを分散方式で同時に実行するように構成され、前記画像処理エンジンのうちの１つは、残りの処理エンジンにレビュータスクを割り当てるスーパーバイザエンジンとして動作する、請求項１に記載の方法。
12. 命令を記憶した非一時的機械可読媒体であって、前記命令は、プロセッサによって実行された時に、前記プロセッサに対し、自動医用診断システムの自動診断機能を向上させるためのステップを実行させ、前記ステップは、
    プロセッサとメモリとを有する医用画像処理サーバにより、医用データソースから医療研究論文に関連する第１の医用画像の組を受け取るステップと、
    複数の画像処理エンジンを呼び出して、前記医療研究論文をレビューするように特異的に構成された所定の順序に従って医用画像を処理し、前記画像処理エンジンが、前記医用画像の異常所見を検出して、該異常所見を表す第１の結果を生成するステップであって、前記複数の画像処理エンジンのうちの少なくとも２つの画像処理エンジンを用いて前記異常所見を探すことを含み、前記少なくとも２つの画像処理エンジンの各々は、発見された異常所見を含む前記第１の結果を判定するとき、発見に対する各画像処理エンジンの重み付けを付与するために使用される個々の重み値を有する、当該ステップと、
    前記画像処理エンジンによって異常として分類された前記発見された異常所見を第１のレビューシステムに送信するステップと、
    前記第１のレビューシステムから第２の結果を受け取ったことに応答して、前記第１の結果及び前記第２の結果の間の任意の相違に基づいて、前記少なくとも２つの画像処理エンジンの前記重み値を調整することを含む機械学習訓練を実行するステップと、を含むことを特徴とする機械可読媒体。
13. 前記機械学習訓練を実行するステップは、前記複数の画像処理エンジンのうちのスーパーバイザエンジンを訓練することを含む、請求項１２に記載の機械可読媒体。
14. 前記第１の結果と前記第２の結果とを比較して、前記第１の結果が前記第２の結果と一致するかどうかを判定するステップと、
    前記第１の結果と前記第２の結果とが矛盾するとの判定に応答して、所定の装置にアラートを送信するステップとをさらに含む請求項１２に記載の機械可読媒体。
15. 前記第１の結果及び前記第２の結果を、前記複数の画像処理エンジンの少なくとも１つの画像処理エンジンによって検出される第３の結果と比較するステップと、
    前記第１の結果、前記第２の結果及び前記第３の結果に基づいて、前記複数の画像処理エンジン及び前記第１のレビューシステムが同じ異常所見を生成しているかを確認するステップと、
    をさらに含み、前記第１のレビューシステムは、臨床研究システムに対する査読システムである、請求項１２に記載の機械可読媒体。
16. 前記複数の画像処理エンジンを管理するスーパーバイザエンジンが、前記少なくとも２つの画像処理エンジンを呼び出すとき、前記複数の画像処理エンジンの重み値を考慮するステップを更に含む、請求項１２に記載の機械可読媒体。
17. 医用画像を処理するデータ処理システムであって、
    プロセッサと、
    前記プロセッサに結合し、且つ命令を記憶したメモリと、
    を備え、
    前記命令は、プロセッサによって実行された時に、自動医用診断システムの自動診断機能を向上させるためのステップを実行させ、前記ステップは、
    プロセッサとメモリとを有する医用画像処理サーバにより、医用データソースから医療研究論文に関連する第１の医用画像の組を受け取るステップと、
    複数の画像処理エンジンを呼び出して、前記医療研究論文をレビューするように特異的に構成された所定の順序に従って医用画像を処理し、前記画像処理エンジンが、前記医用画像の異常所見を検出して、該異常所見を表す第１の結果を生成するステップであって、前記複数の画像処理エンジンのうちの少なくとも２つの画像処理エンジンを用いて前記異常所見を探すことを含み、前記少なくとも２つの画像処理エンジンの各々は、発見された異常所見を含む前記第１の結果を判定するとき、発見に対する各画像処理エンジンの重み付けを付与するために使用される個々の重み値を有する、当該ステップと、
    前記画像処理エンジンによって異常として分類された前記発見された異常所見を第１のレビューシステムに送信するステップと、
    前記第１のレビューシステムから第２の結果を受け取ったことに応答して、前記第１の結果及び前記第２の結果の間の任意の相違に基づいて、前記少なくとも２つの画像処理エンジンの前記重み値を調整することを含む機械学習訓練を実行するステップと、を含むことを特徴とするデータ処理システム。
18. 前記機械学習訓練を実行するステップは、前記複数の画像処理エンジンのうちのスーパーバイザエンジンを訓練することを含む、請求項１７に記載のデータ処理システム。
19. 前記第１の結果と前記第２の結果とを比較して、前記第１の結果が前記第２の結果と一致するかどうかを判定するステップと、
    前記第１の結果と前記第２の結果とが矛盾するとの判定に応答して、所定の装置にアラートを送信するステップとをさらに含む請求項１７に記載のデータ処理システム。
20. 前記第１の結果及び前記第２の結果を、前記複数の画像処理エンジンの少なくとも１つの画像処理エンジンによって検出される第３の結果と比較するステップと、
    前記第１の結果、前記第２の結果及び前記第３の結果に基づいて、前記複数の画像処理エンジン及び前記第１のレビューシステムが同じ異常所見を生成しているかを確認するステップと、
    をさらに含み、前記第１のレビューシステムは、臨床研究システムに対する査読システムである、請求項１７に記載のデータ処理システム。
21. 医用データソースからの医療研究論文に関連する第１の医用画像の組を含む医用データを記憶する医用データ記憶装置を備えた自動医用診断システムであって、
    医用画像処理サーバが、
    プロセッサと、
    メモリと、
    前記医用データ記憶装置からの第１の医用画像の組を受信することを可能にするハードウェアネットワーキングインタフェースと、
    複数の画像処理エンジンであって、前記医療研究論文をレビューするように特異的に構成された所定の順序に従って前記医用画像を処理し、前記画像処理エンジンが、前記医用画像の異常所見を検出して、該異常所見を表す第１の結果を生成し、前記複数の画像処理エンジンのうちの少なくとも２つの画像処理エンジンが、前記異常所見を探すために用いられ、前記少なくとも２つの画像処理エンジンの各々は、発見された異常所見を含む前記第１の結果を判定するとき、発見に対する各画像処理エンジンの重み付けを付与するために使用される個々の重み値を有する、当該複数の画像処理エンジンと、
    前記医用画像処理サーバが、前記発見された異常所見を第１のレビューシステムに送信することを可能にするレビューインタフェースと、
    前記第１のレビューシステムから第２の結果を受け取ったことに応答して、前記第１の結果及び前記第２の結果の間の任意の相違に基づいて、前記少なくとも２つの画像処理エンジンの前記重み値を調整することを含む機械学習訓練を実行する機械学習処理ロジックと、
    を含むことを特徴とする自動医用診断システム。
22. 前記機械学習訓練を実行することは、前記複数の画像処理エンジンのうちのスーパーバイザエンジンを訓練することを含む、請求項２１に記載の自動医用診断システム。
23. 前記医用データ記憶装置は、
    前記第１の結果と前記第２の結果とを比較して、前記第１の結果が前記第２の結果と一致するかどうかを判定し、
    前記第１の結果と前記第２の結果とが矛盾するとの判定に応答して、所定の装置にアラートを送信する、
    警告モジュールを含む、請求項２１に記載の自動医用診断システム。
24. 前記機械学習処理ロジックは、
    前記第１の結果及び前記第２の結果を、臨床研究システムの画像処理サーバによって検出される第３の結果と比較し、
    前記第１の結果、前記第２の結果及び前記第３の結果における前記臨床研究システムの異常所見に基づき、前記複数の画像処理エンジンのうちのスーパーバイザエンジンの訓練を実行し、
    前記第１のレビューシステムは、前記臨床研究システムに対する査読システムである、請求項２１に記載の自動医用診断システム。
25. 前記医用データ記憶装置は、
    前記第１の結果と前記第２の結果とは一致するが、前記第３の結果が前記第１の結果及び前記第２の結果と矛盾する場合に、所定の装置にアラートを送信する警告モジュールを含む、請求項２４に記載の自動医用診断システム。
26. 前記医用データ記憶装置は、
    どの画像処理エンジンがどの医療研究論文に対して動作を実行するかを示すデータを含む、前記画像処理エンジンの動作統計を追跡する追跡モジュールを含む、請求項２１に記載の自動医用診断システム。
27. 前記画像処理エンジンは、前記医用画像の異なる部分に対して複数のレビューセッションを分散方式で同時に実行するように構成され、前記画像処理エンジンのうちの１つは、残りの処理エンジンにレビュータスクを割り当てるスーパーバイザエンジンとして動作する、請求項２１に記載の自動医用診断システム。

Images