JP7157232B2 - 放射線医学のための類似画像の検索 - Google Patents
放射線医学のための類似画像の検索 Download PDFInfo
- Publication number
- JP7157232B2 JP7157232B2 JP2021500660A JP2021500660A JP7157232B2 JP 7157232 B2 JP7157232 B2 JP 7157232B2 JP 2021500660 A JP2021500660 A JP 2021500660A JP 2021500660 A JP2021500660 A JP 2021500660A JP 7157232 B2 JP7157232 B2 JP 7157232B2
- Authority
- JP
- Japan
- Prior art keywords
- images
- candidate
- similar
- image
- radiographic images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Public Health (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Radiology & Medical Imaging (AREA)
- Data Mining & Analysis (AREA)
- Epidemiology (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Description
1)画像は、単に画像のリストとして返されるのでなく、臨床上の決定をサポートするのに有用な共通の属性にわたってグループ化されて返され得る。たとえば、特定の異物の誤配置(たとえば、経鼻胃管の誤配置など)を含む画像は、気胸の診断に関連付けられた画像とは別にグループ化され得る。
2)グループ化は、放射線科のフリーテキストレポートからの関連する共通のテキストの集約を含むことができる。たとえば、気管内チューブが誤配置されていることを示す特定のラベルはない場合があるが、たとえば、「カリーナのレベルで気管内チューブ」、「気管内チューブの先端は右主気管支で終了」、または「ETチューブの先端は、標準的な位置決めのために数センチ進めることができる」というテキスト入力を有するレポートなど、この状態が存在することを示唆する共通のフレーズを有するレポートに関連付けられた画像を集約することができる。
3)上記の例2)のように、レポート内のこれらの共通のフレーズによって(または他のメタデータ内の列挙された状態の有無によって)グループ化すると、これらを値に集約し、ベースラインと比較し、比較を、たとえば、統計として報告することができる。たとえば、類似画像の結果が100枚の画像であり、データベース(参照ライブラリ)内の1000枚の画像のうち1枚だけが気胸を含んでいるにもかかわらず、100枚の画像のうち60枚が気胸が存在することを示したという事実を報告する場合がある。
(a)バックエンド400の状態機械を制御するオブジェクト:
コントローラ402:バックエンドの外部(たとえば、図3のフロントエンド300)からクエリを受信し、ディスパッチャ404、フェッチャ406、およびプーラー410を調整して、類似画像の結果のリストを生成し、結果をランク付けするオブジェクト。コントローラはまた、構成または初期状態からこれらのオブジェクトを構築する。
ディスパッチャ404:いくつかの異なるフェッチャ406とスコアラー408との間でクエリを配信し、次いでプーラー410を使用して結果を照合するオブジェクト。ディスパッチャは、候補画像およびクエリされた画像をスコアラーのセットに並行して送信し、結果をフェッチし、得られたスコアをランク付けのためにプーラー410に渡す。
(b)類似画像を識別し、取り出すために必要な特定の操作を実行するオブジェクト:
(1)フェッチャ406-クエリ画像200を受信し、すでにスコアに関連付けられていても関連付けられていなくてもよいグラウンドトゥルース注釈付き参照画像のライブラリの形式でデータストア(図3には図示せず)にクエリを実行することによって、候補の類似画像のセットを生成するオブジェクト。一実施形態では、各々異なるモデリング技法を使用して候補の類似する放射線画像のセットを取り出す2つ以上のフェッチャが存在し得る。
(2)スコアラー408-クエリ画像および候補画像のセットを受信し、クエリ画像と各候補画像との間の類似度スコアを返すオブジェクト。好ましい実施形態では、2つ以上のスコアラーが存在する。以下で説明するように、スコアラーは、モデリング技法を実装して、クエリ画像と候補の類似する放射線画像のセットとの複数の類似度属性、ならびに、たとえば診断、視覚、および患者の類似度など、それに関連付けられた注釈をキャプチャする類似度スコアを生成する。複数のスコアラーが存在する場合、各々が異なるモデリング技法を実装する。
(3)プーラー410-ディスパッチャ404によって照合された、いくつかの異なるスコアラーまたはフェッチャからスコアリング結果を受信し、結合された結果の単一のリストを返すオブジェクト。プーラーは、候補画像を(たとえば、進行度/重大度に基づいて)ランク付けし、ランク付けを反映する候補画像のリストを返す。
前に説明したように、フェッチャは、クエリ画像を受信し、グラウンドトゥルース注釈付き参照放射線画像のライブラリの形式でデータストアから候補の類似する放射線画像のセットを取り出す。データストアは、公的に入手可能なまたは私的なソースからグラウンドトゥルース注釈付き放射線画像を取得することによって、または公的または私的ソースから画像を取得し、トレーニングされたリーダーを使用してグラウンドトゥルース注釈を追加することによって、キュレート、すなわち開発および維持することができる。
上述のように、システムは、クエリ画像および候補の類似する放射線画像のセット(フェッチャによって識別される)を受信する1つまたは複数のスコアラーを使用し、画像データならびに画像に関連付けられた基礎となる注釈(画像メタデータ、レポート、患者情報など)を使用して、クエリ画像と各候補画像との間の類似度スコアを生成する。スコアは、たとえば、事前に計算された埋込み、および埋込み空間内の標準的な距離メトリック(たとえば、コサインまたはユークリッド距離)に基づいて計算することができる。たとえば、スコアラーはデータベース内の画像の埋め込みを調べ、次いで、埋込み空間内の距離尺度を使用する。上記の図11の説明を参照されたい。
(1)対応するレポートテキストベースの類似度を利用して、診断類似度画像トリプルを生成する。たとえば、自然言語処理(NLP)レポート抽出埋込みを利用して、レポートの類似度をキャプチャし、これらのレポートに対応する画像は、診断画像の類似度に関するトレーニングを提供する。類似度は、放射線レポートの内容全体に基づいているので、これらの例は、すべての診断状態をキャプチャし、サブセットに焦点を当てない。
(2)結節、気胸、不透明度などの状態のために構築された既存のX線分類モデルからの埋込みを利用する。これらは、適度に性能の高いモデルであり、これらのモデルの上位の数層に基づく類似度は、診断の類似度をキャプチャする必要がある。
(1)パッチ検出手法を使用して、小さい異常(たとえば結節など)をその位置とともに特定する。小さい異常を含む入力画像を与えられると、異常およびその位置を自動的に識別し、類似する位置で類似する異常を含む画像を取り出し、入力画像と取り出された画像の両方の異常を強調表示する。
(2)トレーニング画像データセットからパッチベースの画像トリプルを使用して、分類器を再トレーニングする(たとえば、J. Wang et ai., Learning Fine-grained Image Similarity with Deep Ranking, arXiv:1404.4661 [cs.CV] (2014)を参照されたい)。スコアリング方式は、同じ位置からの同じ異常>異なる位置からの同じ異常>同じ位置からの異なる異常>他のすべて、とすることができる。
(1)2つのX線が同じ人物に帰属するかどうかを識別するためのモデル。所与の患者の縦方向のX線を含むデータセットは、同じ人物の複数の画像を経時的に提供し、これを使用して、同じ人物と違う人物のトレーニングセットを構築し、モデルをペアまたはトリプレットでトレーニングして、同じ人物かどうかを分類することができる。
(2)年齢、性別、民族性、喫煙歴、BMI(ボディマス指数)、身長、体重などのトレーニングデータセットの個人テーブルのフィールドを使用して、人口統計の類似度のトリプレットを生成する。トレーニングデータを生成するために、これらの特性をどのようにランク付けするかについてヒューリスティックにより導出する。
(1)上記のJ. Wang et al., Learning Fine-grained Image Similarity with Deep Rankingの論文に記載されているようなディープCNN画像分類器を使用する。または、X線データを使用した特徴選択にNCA(ネットワーク成分分析)を用いた分類器を使用する。
(2)人口統計、患者、および診断の類似度のために生成されたトリプルを使用して、(1)の分類器を再トレーニングする。
(1)正常対異常の画像分類器をトレーニングする。異常なラベルを提供し、包括的なトレーニングデータセットを使用または開発する。一構成では、注釈内のフリーテキストレポートから正常対異常のレポートエクストラクタを構築することができ、対応する画像を使用して分類器を生成する。
(2)敵対的生成ネットワーク(GAN)を循環させて、異常な領域を特定する。異常タイプと16の異常位置のうちの1つを含むトレーニングデータセット内の各画像の異常ベクトルを生成する。画像のペアについて異常ベクトルの類似度を予測する分類器をトレーニングして、同じ位置に異常がある画像を効果的により類似させる。
これは、文献に記載されている技法であり、概念的に類似度をキャプチャする方法で、異種データを一貫して扱うことができる。具体的には、クエリ画像と2つの候補画像の3つの画像があると仮定する。候補画像のうちの一方(正)に他方の画像(負)よりも近いクエリ画像があることがわかっている場合、正のペア(クエリと正の候補)間の抽出された特徴間の距離は、クエリと負の候補との間の距離よりも小さくなると予想される。したがって、トリプレット損失は、これら2つの距離の間の差である。したがって、トリプレット損失は、次のように、たとえば、距離関数D(.,.)の場合、画像のいくつかの順序付けを作成することによって画像を比較する方法である。
D(queryImage, image1)<D(queryImage, image2)
p(.,.):{condition(状態)}×{画像}→{0,1}
p(c,u)=1、ただし、画像uが画像内の状態cを示す場合かつその場合に限る。
πp(.,.,.):{image regions (画像領域)}×{localizable conditions (局所化可能な状態)}×{画像}→{0,1}
π(r,c,u)=1、ただし、画像uが領域r内で状態cを示す場合かつその場合に限る。
ここでは、状態は、医学的な異常と人口統計学的情報の両方をキャプチャするために大まかに使用される。
d(t,u)<d(t,v)
である場合、画像tは画像vにより類似していると言う。
a)時間的に近い同じ患者が撮影された画像は、離れている同じ患者が撮影された画像よりも類似している。
b)開業医は、画像のいくつかの独自の主観的な順序付けを提供する。
c)共通の埋込み空間に投影された関連する放射線レポートテキストを含む胸部X線画像は、異なる胸部X線画像に関連付けられた放射線レポートを含む元のX線よりも互いに類似している。
d)共通の埋込み空間に投影されたフォローアップ胸部CTを含む胸部X線画像は、異なる胸部X線をフォローアップした胸部CTを含む元の胸部X線よりも互いに類似している。
e)c)およびd)のすべての順列は、放射線レポート、胸部X線、および胸部CTの位置を交換する。
トリプレット損失の代替として類似度をモデリングするための他の方法がある。1つは、分類損失である。具体的には、特定の状態について分類器を直接トレーニングすることができる。分類損失は、いくつかの形式をとることができる。1つは、クロスエントロピー損失またはログ損失であり、これは、出力が0~1の確率値である分類モデルの性能を測定する。クロスエントロピー損失は、予測された確率が実際のラベルから分かれるにつれて増加する。詳細は、当技術分野で知られており、文献、たとえばチュートリアルhttp://ml-cheatsheet.readthedocs.io/en/latest/loss_functions.htmlに記載されている。
これは、トリプレット損失技法のもう1つの代替である。たとえば、胸部X線に関連付けられた放射線レポートまたは同じ胸部X線に関連付けられた胸部CTなど、関連する画像モダリティの埋込みがある場合、回帰問題としてそれを定式化することができる。ここでの考え方は、画像から直接レポート埋込みベクトルを予測し、それを回帰問題としてモデリングすることである。レポート埋込みが類似度を正確にキャプチャする範囲で、画像の良好な回帰モデルも類似度をキャプチャする。
y=mx+b
式中、(x_i,y_i)ペアの例が与えられると、傾きmと切片は、二乗誤差など、何らかの損失を最小限に抑えるものを見つける。
min_{m,b}\\sum_i(y_i-(mx_i+b))^2
f(report)=Mg(image)+b、式中、Mは行列、bはベクトルである。
オブジェクト検出損失は、類似度をキャプチャするための別のモデリング技法である。候補画像のクエリと同じ部分に気胸が見つかった場合、それらの画像は、互いに近くなる可能性があることに気付くかもしれない。ETチューブが正しく配置されているかどうか、または肺結節の位置およびサイズを決定するために、たとえば、カリーナの位置とETチューブの先端など、画像内の要素の存在、サイズ、または位置が類似度を決定するために重要である場合、オブジェクト検出の問題(オブジェクト検出損失、たとえば、交差オーバーユニオンなど)として、それを定式化することができる。
(1) IGi(image)=imagei*∫0-1∇Fi(α*image)dα
式中、Fは、ラベルの予測関数であり、
imageiは、i番目のピクセルのRGB強度であり、
IGi(image)は、i番目のピクセルに関する統合勾配であり、すなわち、i番目のピクセルの帰属であり、
∇は、imageiに関する勾配演算子である。
上述のように、図4~図7のシステムは、1つまたは複数のスコアラー408から類似度スコアを受信し、候補画像を(たとえば、進行度/重大度に基づいて)ランク付けし、ランク付けを反映する候補画像のリストを返すプーラー410をさらに含む。したがって、プーラー410は、異なるスコアラー408からのスコアに基づいて候補画像をプールし、ランク付けする。
q_i,r_1(q_i)
q_i,r_2(q_i)
…
q_i,r_k(q_i)
これらのラベルをさらに収集し、異なるランク付け方法を生成/評価すると、上記で収集したスコアに基づいてランク付け方法がどの程度うまくいくかを評価することができ、そのため、異なるランク付け方法を相互に比較する方法が提供される。
オプション1-スコアの加重和を使用したロジスティック回帰モデル
このオプションでは、スコアラーからの様々なスコアをいつどのように重み付けするかにおいて、特定の非線形性をキャプチャできない場合がある。
オプション2 一般化された加法モデル
このオプションは、異なるスコアリングコンポーネントからの特徴を組み合わせるためのフレームワークを提供する。一般化された加法モデルは、線形予測子がいくつかの予測変数の未知の滑らかな関数に線形に依存する一般化された線形モデルであり、関心はこれらの滑らかな関数に関する推論に焦点を当てている。それらは、科学技術文献に記載されており、たとえば、https://en.wikipedia.org/wiki/Generalized_additive_modelの説明を参照されたい。したがって、簡潔のために詳細な説明は省略されている。
オプション3-入力としてのスコアに基づくニューラルネットワーク。
一般的な問題として、ここでは、単純なヒューリスティックから最終的なランク付けを計算するために使用することができるいくつかの技法は以下の通りであり、たとえば、各スコアラーによって生成された中間ランク付けの調和平均を、加重近似ペアワイズ(WARP)損失を使用するようにモデルをトレーニングするなどのより洗練されたものにする。たとえば、J. Weston et al., Learning to Rank Recommendations with the k-Order Statistic Loss, RecSys'13, October 12-16, 2013, Hong Kong, Chinaの会議論文を参照されたい。https://research.google.com/pubs/ archive/41534.pdfからオンラインで入手可能である。
図3で説明されているように、類似画像が取り出され、スコアリングされ、ランク付けされると、それらはユーザに提示される。ユーザに返される情報は、類似画像(および関連する注釈、たとえばメタデータ、レポート、またはその抜粋)だけでなく、クエリ画像から計算することができる統計など、類似画像の結果セットから選別、推測、または集約できる情報も含む。いくつかの例は、以下の通りである。
1)画像は、単に画像のリストとして返されるのでなく、臨床上の決定をサポートするのに有用な共通の属性にわたってグループ化されて返され得る。たとえば、図8には、クエリ画像202および結果204を多数の類似画像304の形式で示すワークステーション上のディスプレイが示されている。類似画像304は行にグループ化され、各行に関連付けられた診断または精緻化の形式の凡例が付いている。行802、NGT(経鼻胃管)が正しく配置済み、は、その特徴を有する4つの画像304のセットを有する。行804は、肺炎の汎用を有する。行806は、気胸の汎用を有する。したがって、この例では、異物(たとえば、経鼻胃管など)が正しく配置された画像は、気胸の診断および肺炎の診断に関連付けられた画像とは別にグループ化される。
2)グループ化は、放射線科のフリーテキストレポートからの関連する共通のテキストの集約を含むことができる。たとえば、気管内チューブが誤配置されていることを示す特定のラベルはない場合があるが、たとえば、「カリーナのレベルで気管内チューブ」、「気管内チューブの先端は右主気管支で終了」、または「ETチューブの先端は、標準的な位置決めのために数センチ進めることができる」というテキスト入力を有するレポートなど、この状態が存在することを示唆する共通のフレーズを有するレポートに関連付けられた画像を集約することができる。スコアラーのアテンションメカニズムを使用して、特定の単語やフレーズなど、類似度スコアに最も寄与するフリーテキストレポートの部分を識別することができる。
3)上記の例2)のように、レポート内のこれらの共通のフレーズによって(または他のメタデータ内の列挙された条件の有無によって)グループ化すると、これらを値に集約し、ベースラインと比較し、比較を報告することができる。たとえば、類似画像の結果が100枚の画像であり、参照ライブラリデータベース内の1000枚の画像のうち1枚だけが気胸を含んでいるにもかかわらず、100枚の画像のうち60枚が気胸が存在することを示したという事実を報告する場合がある。
202 システム
204 結果
206 所見
300 フロントエンドコンポーネント
304 類似画像
400 バックエンド
402 オブジェクト、コントローラ
404 ディスパッチャ
406 フェッチャ
408 スコアリングモジュール、スコアラー
410 プーラー
500 リポジトリ
502 ディスパッチャ/プーラー
812 フリーテキストエリア
900 水平バー
902 バー
904 領域
906 領域
908 バー
910 領域
912 エリア
914 ロードモアアイコン
1000 クラスタ
1102 画像
1104 画像
1106 クエリ画像
Claims (19)
- クエリ放射線画像に類似する放射線画像を識別し、取り出すためのコンピュータ実装システムであって、
a)前記クエリ放射線画像を受信し、データストアから候補の類似する放射線画像のセットを取り出す1つまたは複数のフェッチングモジュールと、
b)前記クエリ画像および前記1つまたは複数のフェッチングモジュールによって取り出された前記候補の類似する放射線画像のセットを受信する1つまたは複数のスコアリングモジュールであり、前記クエリ画像と各候補の類似する放射線画像との間の類似度スコアを生成する1つまたは複数のスコアリングモジュールと、
c)前記1つまたは複数のスコアリングモジュールから前記類似度スコアを受信し、前記類似度スコアに基づき前記候補の類似する放射線画像をランク付けし、前記ランク付けを反映する前記候補の類似する放射線画像のリストを返すプーラーと
を含み、
前記クエリ画像と、前記候補の類似する放射線画像のセットの各々は、複数の属性に関する注釈に関連付けられており、前記クエリ画像と、前記候補の類似する放射線画像の少なくとも1つは異種の注釈のセットに関連付けられ、
前記1つまたは複数のスコアリングモジュールは、
モデリング技法を用いて実装されたニューラルネットワークを用いて、前記クエリ画像および前記候補の類似する放射線画像のセットの特徴ベクトル、ならびに前記クエリ画像および前記候補の類似する放射線画像のセットに関連付けられた注釈に基づき、前記クエリ画像および前記候補の類似する放射線画像のセットの埋込み空間における位置を決定し、
前記クエリ画像および前記候補の類似する放射線画像のセットの埋込み空間における前記位置に基づき、前記類似度スコアを生成する、
コンピュータ実装システム。 - 前記1つまたは複数のフェッチングモジュールは、前記クエリ画像と前記候補の類似する放射線画像のセットとの前記複数の属性に関する注釈に基づき、前記候補の類似する放射線画像のセットを取り出すように、モデリング技法を用いて実装されるニューラルネットワークを含む、請求項1に記載のシステム。
- 前記1つまたは複数のフェッチングモジュールに実装された前記モデリング技法は、トリプレット損失、分類損失、回帰損失、およびオブジェクト検出損失のうちの少なくとも1つを含む、請求項2に記載のシステム。
- 前記1つまたは複数のスコアリングモジュールで用いられる前記モデリング技法は、トリプレット損失、分類損失、回帰損失、およびオブジェクト検出損失のうちの少なくとも1つを含む、請求項1から3のいずれか一項に記載のシステム。
- 少なくとも2つのフェッチングモジュールがあり、各々が異なるモデリング技法を使用する、請求項2に記載のシステム。
- 少なくとも2つのスコアリングモジュールがあり、各々が異なるモデリング技法を使用する、請求項2に記載のシステム。
- 前記複数の属性は、診断、視覚、および患者の属性を含む、請求項1に記載のシステム。
- 前記システムは、前記候補の類似する放射線画像のセットに関連付けられた前記注釈からの情報を集約する処理ユニットをさらに含み、
前記プーラーは、前記候補の類似する放射線画像のリストに加え、前記集約された情報を返す、請求項1から7のいずれか一項に記載のシステム。 - 前記処理ユニットは、共通の属性にわたって、前記候補の類似する放射線画像のセット内の画像をグループ化する、請求項8に記載のシステム。
- 前記注釈は、テキストベースの放射線レポートを含み、前記処理ユニットは、テキストベースの放射線レポートからの関連する共通のテキストによって前記候補の類似する放射線画像のセット内の画像をグループ化する、請求項8に記載のシステム。
- 前記処理ユニットは、前記注釈内の列挙された状態の有無によって、前記候補の類似する放射線画像のセット内の画像をグループ化する、請求項8に記載のシステム。
- 前記処理ユニットは、数値への前記グループ化、および前記数値のベースラインとの比較を集約する、請求項10または11に記載のシステム。
- 前記クエリ画像、前記候補の類似する放射線画像、および前記候補の類似する放射線画像の各々に関連付けられたメタデータを表示するように構成されたワークステーションの形式のフロントエンドをさらに含む請求項1から12のいずれか一項に記載のシステム。
- 前記メタデータは、放射線レポートまたはその抜粋、行われた臨床的決定、前記類似する放射線画像に関連付けられた疾患または状態の分類、または前記候補の類似する放射線画像に関連付けられたデータのグループ化または集約に関連する情報を含む、請求項13に記載のシステム。
- クエリ放射線画像に類似する放射線画像を識別し、取り出すためのコンピュータ実装方法であって、前記クエリ画像は、メタデータを含む注釈に関連付けられており、
a)グラウンドトゥルース注釈付き放射線画像のデータストアをキュレートするステップであり、前記放射線画像の各々がメタデータを含む注釈に関連付けられている、キュレートするステップと、
b)前記クエリ画像を受信し、前記データストアから候補の類似する放射線画像のセットを取り出すステップと、
c)少なくとも2つの異なるスコアリングモジュールを使用して、前記クエリ画像と各候補の類似する放射線画像との間の類似度スコアを生成するステップであり、前記クエリ画像と、前記候補の類似する放射線画像のセットの各々は、複数の属性に関する注釈に関連付けられており、前記クエリ画像と、前記候補の類似する放射線画像の少なくとも1つは異種の注釈のセットに関連付けられ、前記少なくとも2つのスコアリングモジュールが、
異なるモデリング技法を用いて実装されたニューラルネットワークを用いて、前記クエリ画像および前記候補の類似する放射線画像のセットの特徴ベクトル、ならびに前記クエリ画像および前記候補の類似する放射線画像のセットに関連付けられた注釈に基づき、前記クエリ画像および前記候補の類似する放射線画像のセットの埋込み空間における位置を決定し、
前記クエリ画像および前記候補の類似する放射線画像のセットの埋込み空間における前記位置に基づき、前記類似度スコアを生成するステップと、
d)前記類似度スコアに基づいて前記候補の類似する放射線画像をランク付けするステップと、
e)前記候補の類似する放射線画像のセットに関連付けられた前記注釈から取得された前記ランク付けおよび集約情報を反映する前記候補の類似する放射線画像のリストを返すステップと
を含む、コンピュータ実装方法。 - ステップb)は、前記クエリ画像と前記候補の類似する放射線画像のセットとの前記複数の属性に関する注釈に基づき、前記候補の類似する放射線画像のセットを取り出すようにモデリング技法を用いて実装されたニューラルネットワークを使用するステップを含む、請求項15に記載のコンピュータ実装方法。
- ステップb)で用いられる前記モデリング技法は、トリプレット損失、分類損失、回帰損失、およびオブジェクト検出損失のうちの少なくとも1つを含む、請求項16に記載のコンピュータ実装方法。
- ステップc)で用いられる前記モデリング技法は、トリプレット損失、分類損失、回帰損失、およびオブジェクト検出損失うちの少なくとも1つを含む、請求項15から17のいずれか一項に記載のコンピュータ実装方法。
- 前記複数の属性は、診断、視覚、および患者の属性を含む、請求項15から18のいずれか一項に記載のコンピュータ実装方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/US2018/041557 WO2020013814A1 (en) | 2018-07-11 | 2018-07-11 | Similar image search for radiology |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021530787A JP2021530787A (ja) | 2021-11-11 |
JP7157232B2 true JP7157232B2 (ja) | 2022-10-19 |
Family
ID=63036479
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021500660A Active JP7157232B2 (ja) | 2018-07-11 | 2018-07-11 | 放射線医学のための類似画像の検索 |
Country Status (4)
Country | Link |
---|---|
EP (1) | EP3785274A1 (ja) |
JP (1) | JP7157232B2 (ja) |
AU (1) | AU2018431593A1 (ja) |
WO (1) | WO2020013814A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100956527B1 (ko) * | 2003-02-04 | 2010-05-07 | 인벤티오 아게 | 승강기용 안전장치 |
JP7259910B1 (ja) | 2021-10-08 | 2023-04-18 | フジテック株式会社 | エレベータ |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3910645A1 (en) * | 2020-05-13 | 2021-11-17 | Siemens Healthcare GmbH | Image retrieval |
CN113889228B (zh) * | 2021-09-22 | 2024-06-25 | 武汉理工大学 | 基于混合注意的语义增强哈希医学图像检索方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011048672A (ja) | 2009-08-27 | 2011-03-10 | Fujifilm Corp | 症例画像登録装置、方法およびプログラム |
US20120283574A1 (en) | 2011-05-06 | 2012-11-08 | Park Sun Young | Diagnosis Support System Providing Guidance to a User by Automated Retrieval of Similar Cancer Images with User Feedback |
JP2013504112A (ja) | 2009-09-04 | 2013-02-04 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | コンテンツベースの画像検索に関する関連度の視覚化 |
JP2016045662A (ja) | 2014-08-21 | 2016-04-04 | 富士フイルム株式会社 | 類似画像検索装置、類似画像検索装置の作動方法、および類似画像検索プログラム |
JP2017064387A (ja) | 2015-09-30 | 2017-04-06 | パナソニックIpマネジメント株式会社 | 制御方法及びプログラム |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10326286A (ja) * | 1997-05-27 | 1998-12-08 | Mitsubishi Electric Corp | 類似検索装置及び類似検索プログラムを記録した記録媒体 |
WO2002025588A2 (en) | 2000-09-21 | 2002-03-28 | Md Online Inc. | Medical image processing systems |
US7027633B2 (en) | 2000-11-30 | 2006-04-11 | Foran David J | Collaborative diagnostic systems |
JP2004164503A (ja) | 2002-11-15 | 2004-06-10 | Olympus Corp | 三次元モデル検索方法、三次元モデル検索装置、三次元モデル検索プログラム、及び三次元モデル検索システム |
US8243999B2 (en) | 2006-05-03 | 2012-08-14 | Ut-Battelle, Llc | Method and system for the diagnosis of disease using retinal image content and an archive of diagnosed human patient data |
KR20090035486A (ko) | 2006-05-29 | 2009-04-09 | 유니버시티 오브 울롱공 | 컨텐츠 기반 이미지 검색 |
US20120242817A1 (en) | 2008-12-30 | 2012-09-27 | Ebm Technologies Incorporated | System and method for identifying a pathological tissue image |
US8199994B2 (en) | 2009-03-13 | 2012-06-12 | International Business Machines Corporation | Automatic analysis of cardiac M-mode views |
WO2012058217A2 (en) | 2010-10-29 | 2012-05-03 | The Johns Hopkins University | Image search engine |
US9081822B2 (en) | 2013-03-15 | 2015-07-14 | Sony Corporation | Discriminative distance weighting for content-based retrieval of digital pathology images |
-
2018
- 2018-07-11 EP EP18746507.5A patent/EP3785274A1/en active Pending
- 2018-07-11 WO PCT/US2018/041557 patent/WO2020013814A1/en unknown
- 2018-07-11 JP JP2021500660A patent/JP7157232B2/ja active Active
- 2018-07-11 AU AU2018431593A patent/AU2018431593A1/en not_active Abandoned
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011048672A (ja) | 2009-08-27 | 2011-03-10 | Fujifilm Corp | 症例画像登録装置、方法およびプログラム |
JP2013504112A (ja) | 2009-09-04 | 2013-02-04 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | コンテンツベースの画像検索に関する関連度の視覚化 |
US20120283574A1 (en) | 2011-05-06 | 2012-11-08 | Park Sun Young | Diagnosis Support System Providing Guidance to a User by Automated Retrieval of Similar Cancer Images with User Feedback |
JP2016045662A (ja) | 2014-08-21 | 2016-04-04 | 富士フイルム株式会社 | 類似画像検索装置、類似画像検索装置の作動方法、および類似画像検索プログラム |
JP2017064387A (ja) | 2015-09-30 | 2017-04-06 | パナソニックIpマネジメント株式会社 | 制御方法及びプログラム |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100956527B1 (ko) * | 2003-02-04 | 2010-05-07 | 인벤티오 아게 | 승강기용 안전장치 |
JP7259910B1 (ja) | 2021-10-08 | 2023-04-18 | フジテック株式会社 | エレベータ |
Also Published As
Publication number | Publication date |
---|---|
JP2021530787A (ja) | 2021-11-11 |
WO2020013814A1 (en) | 2020-01-16 |
EP3785274A1 (en) | 2021-03-03 |
AU2018431593A1 (en) | 2021-02-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11126649B2 (en) | Similar image search for radiology | |
US11894114B2 (en) | Complex image data analysis using artificial intelligence and machine learning algorithms | |
JP4799251B2 (ja) | 類似症例検索装置、類似症例検索方法およびそのプログラム | |
EP2419849B1 (en) | Clinical decision support systems and methods | |
JP7157232B2 (ja) | 放射線医学のための類似画像の検索 | |
US11462315B2 (en) | Medical scan co-registration and methods for use therewith | |
US20120066241A1 (en) | Retrieving and viewing medical images | |
US20070156451A1 (en) | System and method for portable display of relevant healthcare information | |
US8185511B2 (en) | Clinician-driven example-based computer-aided diagnosis | |
JP2007280229A (ja) | 類似症例検索装置、類似症例検索方法およびそのプログラム | |
KR20240008838A (ko) | 인공 지능-보조 이미지 분석을 위한 시스템 및 방법 | |
EP3440577A1 (en) | Automated contextual determination of icd code relevance for ranking and efficient consumption | |
US20210183487A1 (en) | Cognitive patient care event reconstruction | |
Seifert et al. | Combined semantic and similarity search in medical image databases | |
US8935287B2 (en) | System and method for storing a candidate report | |
JP2006235971A (ja) | 画像参照装置及び画像分類検索方法 | |
CN114694780A (zh) | 用于数据处理的方法、设备和介质 | |
US20230290451A1 (en) | Medical data storage and retrieval system and method thereof | |
US20120191720A1 (en) | Retrieving radiological studies using an image-based query | |
US20240071586A1 (en) | Systems and methods of radiology report processing and display enhancements | |
Wan et al. | Analysis and Design of Multi-pattern Retrieval Scheme of Regional PACS System Based Medical Images | |
CN118522417A (zh) | 使用人工智能的医学图像处理 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210305 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210305 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220310 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220425 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220701 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220912 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221006 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7157232 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |