JP7097794B2 - 情報処理システム及び情報処理方法 - Google Patents

情報処理システム及び情報処理方法 Download PDF

Info

Publication number
JP7097794B2
JP7097794B2 JP2018196705A JP2018196705A JP7097794B2 JP 7097794 B2 JP7097794 B2 JP 7097794B2 JP 2018196705 A JP2018196705 A JP 2018196705A JP 2018196705 A JP2018196705 A JP 2018196705A JP 7097794 B2 JP7097794 B2 JP 7097794B2
Authority
JP
Japan
Prior art keywords
image data
image
captured
machine learning
patient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018196705A
Other languages
English (en)
Other versions
JP2020062281A (ja
Inventor
研一 吉田
Original Assignee
富士フイルム医療ソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム医療ソリューションズ株式会社 filed Critical 富士フイルム医療ソリューションズ株式会社
Priority to JP2018196705A priority Critical patent/JP7097794B2/ja
Publication of JP2020062281A publication Critical patent/JP2020062281A/ja
Application granted granted Critical
Publication of JP7097794B2 publication Critical patent/JP7097794B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Radiation-Therapy Devices (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Description

本開示は、情報処理システム及び情報処理方法に関する。
診断や治療を行うために、ＣＴ（Computed Tomography）、ＭＲ（Magnetic Resonance Imaging）又はＰＥＴ（Positron Emission Tomography）等の撮像装置を用いて、人体や動物の撮像が行われる。従来、撮像した画像を用いて、画像診断や治療計画の策定をコンピュータにより自動化する方法が知られている。
例えば特許文献１には、画像から特徴を抽出し、抽出した特徴を用いて機械学習分類方法を実行するコンピュータ援用検出／診断システムが記載されている。また、例えば非特許文献１及び非特許文献２には、機械学習における画像分類方法が記載されている。また、例えば特許文献２には、自動で放射線治療計画を作成するシステムが記載されている。
特表２００７－５２８７４６号公報 特表２０１７－５２２０９７号公報
Alex Krizhevsky、外２名、"ImageNet Classification with Deep Convolutional Neural Networks"、[online]、[平成30年9月5日検索]、インターネット<URL:https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf> 寺本篤司、外３名、"PET/CT画像におけるConvolutional neural networkと従来型の特徴量を併用した肺結節自動検出手法の改良"、[online]、2016年、一般社団法人 電子情報通信学会、[平成30年9月5日検索]、インターネット<URL:http://www.fjt.info.gifu-u.ac.jp/publication/876.pdf>
機械学習を行う際には、学習に用いられる教師データが多量に必要となる。しかしながら、機械学習を行うために十分な良質な教師データを新たに収集することは容易ではない。
また、機械学習を用いることにより、より高品質な診断を提供できれば望ましい。
本開示は、教師データを収集する負荷を軽減し、あるいは、より高品質な診断を提供可能な情報処理システム及び情報処理方法を提供することを目的とする。
幾つかの実施形態に係る情報処理システムは、治療対象となり得る治療対象領域が指定された第１画像データと、第１画像データと異なる時期に撮像された第２画像データと、に基づき、第２画像データについて、第１画像データの治療対象領域に対応する位置を特定する位置合わせを行う画像位置合わせ部と、第１画像データと第２画像データとの位置合わせに基づいて、患者を診断するための診断プログラムを生成する機械学習実行部と、を備える。これにより、異なる時期に撮像された画像データに基づいて機械学習を行うことができる。そのため、このようにして生成された診断プログラムを用いて診断を行うことにより、例えば将来病変となる部位を、より早期段階で発見しやすくなる。このようにして、より高品質な診断を提供可能である。
一実施形態において、第２画像データは、第１画像データよりも過去に撮像された画像データであってよい。この場合、第１画像データにおける治療対象領域の過去の状態を、第２画像データにおいて特定することができる。
一実施形態において、第１画像データと第２画像データとは、同一種類の撮像装置を用いて撮像された画像データであってよい。これにより、第１画像データと第２画像データとの条件を揃えることができる。
幾つかの実施形態に係る情報処理システムは、治療対象となり得る治療対象領域が指定された第１画像データと、第１画像データと異なる種類の撮像装置を用いて撮像された第２画像データと、に基づき、第２画像データについて、第１画像データの治療対象領域に対応する位置を特定する位置合わせを行う画像位置合わせ部と、第１画像データと第２画像データとの位置合わせに基づいて、患者を診断するための診断プログラムを生成する機械学習実行部と、を備える。これにより、異なる種類の撮像装置により撮像された画像データに基づいて機械学習を行うことができる。そのため、このようにして生成された診断プログラムを用いて診断を行う場合、患者は複数種類の撮像装置による撮像を行うことなく、１つの撮像装置による撮像を行うことにより、他の撮像装置を用いて診断され得る病変についても、診断を受けることができる。このようにして、より高品質な診断を提供可能である。また、異なる種類の撮像装置ごとに診断プログラムを作成する場合と比較して、撮像装置の種類ごとに異なる診断プログラムを作成する必要がなくなるため、複数の診断プログラムを作成する煩雑さが低減される。
一実施形態において、第１画像データ及び第２データは、ＣＴを用いて撮像されたＣＴ画像データ、ＭＲＩを用いて撮像されたＭＲＩ画像データ、又はＰＴを用いて撮像されたＰＴ画像データである。この場合、患者は、例えばＣＴ、ＭＲＩ又はＰＴによる撮像を行うことによって、ＣＴ、ＭＲＩ又はＰＴを撮像して診断され得る病変について診断を受けることができる。
一実施形態において、第１画像データと第２画像データとは、同一の時期に撮像された画像データであってよい。これにより、第１画像データと第２画像データとの条件を揃えることができる。
一実施形態において、画像位置合わせ部は、平行移動による補正、回転角度の補正、及び／又は非剛体的な変形に関する補正を行った後、対応する位置を特定してよい。これにより、より高い精度で位置合わせを行うことができる。
一実施形態において、治療対象領域として特定された範囲内において設定された特定の疾患に関する悪性領域と、治療対象領域として特定されていない範囲外において設定された良性領域とを用いて、診断プログラムを生成してよい。これにより、病変が発生している部位と病変が発生していない部位とを区別して学習を行うことができる。
一実施形態において、第１画像データと第２画像データとは、患者と同一の患者の同一の部位について撮像された画像データであってよい。これにより、第１画像データと第２画像データとの条件を揃えることができる。
一実施形態において、第１画像データ及び第２画像データの少なくともいずれかは、治療計画を作成するために撮像され、患者の前記治療計画を作成することにより予め治療計画データベースに蓄積された画像データであってよい。これにより、治療計画を作成するために撮像された画像データを機械学習の教師データとして使用できるため、教師データを収集する負荷を軽減できる。また、指定された治療対象領域の位置が病変の位置であるとして、機械学習を実行することができるため、機械学習にあたり新たに治療対象領域を指定する必要がなくなる。
一実施形態において、新たに撮像された新規撮像画像データに対して前記診断プログラムを適用することにより診断を行う学習結果適用演算部をさらに備えてよい。これにより、診断システムにおいて、診断プログラムを用いた診断処理まで実行することができる。
一実施形態において、画像データは、放射線治療の治療計画を作成するために撮像されたものであってよい。この場合、放射線治療の治療計画作成時に撮像された画像を、教師データとして使用することができる。
幾つかの実施形態に係る情報処理システムは、治療計画を作成するために撮像された画像データを用いて患者を診断するための診断プログラムを生成する機械学習実行部を備える情報処理システムであって、画像データは、治療対象となり得る治療対象領域が指定されており、かつ、患者の治療計画を作成することにより予め治療計画データベースに蓄積された画像データである。これにより、治療計画を作成するために撮像された画像データを機械学習の教師データとして使用できるため、教師データを収集する負荷を軽減できる。また、指定された治療対象領域の位置が病変の位置であるとして、機械学習を実行することができるため、機械学習にあたり新たに治療対象領域を指定する必要がなくなる。
幾つかの実施形態に係る情報処理方法は、情報処理システムにより実行される情報処理方法であって、治療対象となり得る治療対象領域が指定された第１画像データと、第１画像データと異なる時期に撮像された第２画像データと、を取得するステップと、第２画像データについて、第１画像データの治療対象領域に対応する位置を特定する位置合わせを行うステップと、位置合わせに基づいて、患者を診断するための診断プログラムを生成するステップと、を含む。これにより、異なる時期に撮像された画像データに基づいて機械学習を行うことができる。そのため、このようにして生成された診断プログラムを用いて診断を行うことにより、例えば将来病変となる部位を、より早期段階で発見しやすくなる。このようにして、より高品質な診断を提供可能である。
幾つかの実施形態に係る情報処理方法は、情報処理システムにより実行される情報処理方法であって、治療対象となり得る治療対象領域が指定された第１画像データと、第１画像データと異なる種類の撮像装置を用いて撮像された第２画像データと、を取得するステップと、第２画像データについて、第１画像データの治療対象領域に対応する位置を特定する位置合わせを行うステップと、位置合わせに基づいて、患者を診断するための診断プログラムを生成するステップと、を含む。これにより、異なる種類の撮像装置により撮像された画像データに基づいて機械学習を行うことができる。そのため、このようにして生成された診断プログラムを用いて診断を行う場合、患者は複数種類の撮像装置による撮像を行うことなく、１つの撮像装置による撮像を行うことにより、他の撮像装置を用いて診断され得る病変についても、診断を受けることができる。このようにして、より高品質な診断を提供可能である。
幾つかの実施形態に係る情報処理方法は、情報処理システムにより実行される情報処理方法であって、治療計画を作成するために撮像された画像データを取得するステップと、画像データを用いて患者を診断するための診断プログラムを生成するステップと、を含み、画像データは、治療対象となり得る治療対象領域が指定されており、かつ、患者の治療計画を作成することにより予め治療計画データベースに蓄積された画像データである。これにより、治療計画を作成するために撮像された画像データを機械学習の教師データとして使用できるため、教師データを収集する負荷を軽減できる。また、指定された治療対象領域の位置が病変の位置であるとして、機械学習を実行することができるため、機械学習にあたり新たに治療対象領域を指定する必要がなくなる。
本開示によれば、教師データを収集する負荷を軽減し、あるいは、より高品質な診断を提供可能な情報処理システム及び情報処理方法を提供することができる。
患者に対して施される診断及び治療の流れの一例を示す図である。 機械学習のために用いられる教師データとして使用する画像の一例を示す模式図である。 機械学習の一例を示す概念図である。 本開示の一実施形態に係る情報処理システムの使用態様の一例を示す概念図である。 図４に示す診断システムの概略構成の一例を示す機能ブロック図である。 位置合わせの一例について説明する図である。 位置合わせの他の一例について説明する図である。 教師領域の設定の一例について説明する図である。 図５の診断システムが実行する処理の一例を示すフローチャートである。 図５の診断システムが実行する他の処理の一例を示すフローチャートである。 図５の診断システムが実行するさらに他の処理の一例を示すフローチャートである。
以下、本発明の一実施形態について、図面を参照して説明する。
まず、従来行われてきた、コンピュータを用いない診断及び治療の流れの一例について説明する。図１は、患者に対して施される診断及び治療の流れの一例を示す図である。図１において、破線で囲まれた箇所は診断業務を示し、一点鎖線で囲まれた箇所は治療業務を示す。なお、本明細書において、診断は、患者の病変の発見及び特定を含み、治療は、病変を治癒させるための施術を含む。治療は、診断の結果発見された病変に対応する任意の治療を含んでよい。例えば、病変ががんである場合、治療は、放射線治療を含んでよい。
図１に示すように、患者の診断において、まず、撮像装置（モダリティともいう）を用いて患者の人体の撮像が行われる（ステップＳ１）。そして、医師により、撮像した画像（以下「撮像画像」ともいう）の読影が行われる（ステップＳ２）。読影は、医師が撮像画像を目視して、腫瘍等の病変がないかを判断したり、所見（読影レポート）を記録として作成したりすることにより行われる。病変が発見された場合には、病変の位置を、画像上において円や矢印を用いて表示したり、文章により示したりすることにより、読影レポートに記録する。読影を行う医師を、読影医ともいう。ステップＳ１及びステップＳ２により行われる診断を、ここでは、第１回目の診断という。第１回目の診断では、病変が発見されなかったとする。
第１回目の診断から所定期間（例えば１年又は３年等）経過後、再び患者の診断が行われる。具体的には、第１回目の診断と同様に、撮像装置による人体の撮像（ステップＳ３）と、読影医による撮像画像の読影（ステップＳ４）が行われる。ステップＳ３及びステップＳ４により行われる診断を、ここでは、第２回目の診断という。第２回目の診断でも、病変が発見されなかったとする。
第２回目の診断からさらに所定期間経過後、再び患者の診断が行われる。第１回目及び第２回目の診断と同様に、撮像装置による人体の撮像（ステップＳ５）と、読影医による撮像画像の読影（ステップＳ６）が行われる。ステップＳ５及びステップＳ６により行われる診断を、ここでは、第３回目の診断という。第３回目の診断において、読影医により悪性腫瘍が発見されたとする。
この場合、図１で一点鎖線により示される治療が行われる。例えば、放射線治療が行われる場合、医師により放射線治療計画が作成される（ステップＳ７）。放射線治療計画では、例えば人体に対して、放射線を照射する位置及び方向、並びに照射する放射線量等が計画される。放射線治療計画は、放射線治療計画を行うための専用の装置又はアプリケーションを用いて行われる。放射線治療計画は、照射する放射線の線種（例えば光子、陽子又は重粒子）の物理的性質や、治療機器の性能を考慮して作成される。放射線治療計画が作成されると、当該放射線治療計画に基づいて、実際に放射線治療が実施される（ステップＳ８）。
図１を参照して説明した従来の診断及び治療計画方法に対し、近年では、コンピュータを活用した診断及び治療計画方法が考案されてきた。コンピュータを活用した診断及び治療計画方法の一例として、例えばディープラーニング等の機械学習により生成したプログラムを用いて、診断及び治療計画の作成を実行することができる。
機械学習においては、学習を行うための素材である教師データが必要となる。図２は、病変を診断するための診断プログラムを機械学習により生成する場合に用いられる教師データとして使用する画像の一例を示す模式図である。機械学習に際し、教師データは、画像データとして、コンピュータに入力される。当該コンピュータは、病変を診断する診断プログラムを機械学習により生成可能なコンピュータである。図２は、教師データとして使用する画像の一例として、ＣＴで撮像された画像（以下「ＣＴ画像」ともいう）の画像データ（以下「ＣＴ画像データ」ともいう）を示す。図２は、人体の腹部断面のＣＴ画像データを示すものである。教師データとして提供される画像には、治療対象領域が示される。治療対象領域は、治療の対象となり得る領域であり、病変を含む領域である。治療対象領域は、例えば、医師により特定される。医師は、例えば、治療が必要な領域を、治療対象領域として特定する。治療対象領域は、医師により指定されずに、例えばコンピュータにより自動で指定されてもよい。治療対象領域は、悪性領域の位置を示すものとして指定されたＲＯＩ（Region of Interest：着目領域）を含む。以下、本明細書において、治療対象領域が悪性領域の位置を示すものとして指定されたＲＯＩ（以下、単に「ＲＯＩ」ともいう）であるとして説明する。なお、治療対象領域は、実際の治療を伴わない診断においても適用可能な概念であると認識されたい。診断において、例えば病変が検出された場合、当該病変を含む領域は、治療の対象となり得る領域であると言える。
図２では、ＲＯＩは、正方形の領域として示されている。ただし、ＲＯＩは、円形のような他の形状により示されていてもよい。提供される教師データが３次元画像である場合には、ＲＯＩは、例えば立方体等の３次元の領域として示されてもよい。
コンピュータは、上述したようにＲＯＩが示された画像データを教師データとして用いて機械学習を行う。機械学習は、公知の手法により実行される。図３は、機械学習の一例を示す概念図である。図３に示すように、機械学習において、複数種類の画像データがコンピュータに入力される。図３では、複数種類の画像データとして、疾患αの病変を含む画像データと、疾患βの病変を含む画像データと、病変を含まない画像データとが示されている。コンピュータは、複数種類の画像データを、多層ニューラルネットワークを用いて分類する。具体的には、図３に示すように、コンピュータは、入力された画像から、疾患の有無、及び疾患の種類ごとに画像データを分類する。このようにして、画像に基づいて正しく分類が実行されるように学習が行われることによって、診断プログラムが生成される。
機械学習が完了すると、機械学習により生成された診断プログラムを用いて、患者の診断が行われる。具体的には、患者のＣＴ画像がコンピュータに入力され、コンピュータは、診断プログラムを用いて、入力されたＣＴ画像における病変の有無を判定する。病変がある場合、コンピュータは、ＣＴ画像に発見された病変に係る疾患の種類を分類する。このようにして、機械学習を用いた自動診断が実現される。
ここで、高精度な機械学習を行うに当たっては、多量の（例えば数万件以上の）教師データが必要となる。しかしながら、機械学習を行うために十分な量の教師データを収集することは容易ではなく、可能であるとしても大きな労力を要する。
例えば、患者の診断記録として、上述した従来のコンピュータを用いない診断の記録が蓄積されてはいるが、このような記録としての読影レポートは、医師が、病変の位置を自然言語で記載したり矢印等で示したりするものであり、画像上にＲＯＩとして指定したものではない。機械学習の教師データは、一般に、画像上での位置を正確に特定する必要があるため、従来の診断記録を、そのまま機械学習の教師データとして用いることはできない。
従来の診断記録を教師データとして用いるためには、蓄積された従来の診断記録に対して、例えば放射線科の医師等の専門知識を有する者が、画像上のＲＯＩを指定する作業をする必要がある。しかしながら、十分な教師データを準備するためには、作業量が膨大であり、作業者の負担が大きい。
また、診断及び治療は、病変を発見及び特定する等の点において相互に関連するが、病院等の医療施設では、診断を行う部門と、治療を行う部門とが独立しており、ネットワークやシステム等が独立して構成されている場合がある。ネットワークやシステム等が独立して構成されていることにより、両部門間での情報の交換や共有が行いにくい場合がある。そのため、例えば診断を行う部門で収集されたデータと、治療を行う部門で収集されたデータとが、いずれも機械学習のための教師データとして用いることができる場合であっても、両部門で収集されたデータを統合的に活用することが難しい。つまり、例えば、治療を行う部門で収集されたデータを、自動診断のための機械学習の教師データとして活用することは難しい。
さらに、自動診断のための機械学習においては、単一の種類の撮像装置、つまりＣＴ、ＭＲ又はＰＥＴ等の撮像装置ごとにおける機械学習の精度の向上について着目されてきた。すなわち、従来は、例えばＣＴ画像を用いた自動診断を行う場合、ＣＴの画像データのみを教師データとして機械学習を行い、ＣＴの画像データを用いて自動診断が行われてきた。そのため、例えば、種類の異なる撮像装置により撮像された画像を互いに関連付けた自動診断は行われていない。また、単一の種類の撮像装置により撮像された画像を用いる場合であっても、例えば撮像時期が異なる画像を比較した自動診断については行われていない。しかしながら、種類の異なる撮像装置により撮像された画像を関連づけたり、撮像時期が異なる画像を比較したりすることにより、より高品質な自動診断を提供できる。
以下、上述した課題を解決可能な情報処理システムについて説明する。
図４は、本実施形態に係る情報処理システムの使用態様の一例を示す概念図である。以下、本実施形態では、情報処理システムの一例として、自動で患者の診断を行うシステム（以下「診断システム」ともいう）について説明する。
図４は、診断システム１０が使用される医療施設の様子を示している。図４に示す医療施設は、患者の診断を行う診断部門と、患者の治療を行う治療部門とを有する。
診断部門には、撮像装置として、ＣＴ画像の撮像を行う検査用ＣＴ１１と、ＭＲＩで撮像された画像（以下「ＭＲＩ画像」ともいう）の撮像を行う検査用ＭＲＩ１２とが設置されている。検査用ＣＴ１１及び検査用ＭＲＩ１２は、それぞれ複数台設置されていてもよい。
図４に示すように、例えば検査用ＣＴ１１を用いて患者Ａの人体のＣＴ画像の撮像が行われ、撮像されたＣＴ画像データが、医療施設内のネットワーク３０を介して検査画像データベース１３に送信される。また、図４に示すように、例えば検査用ＭＲＩ１２を用いて患者Ｂの人体のＭＲＩ画像の撮像が行われ、撮像されたＭＲＩ画像の画像データ（以下「ＭＲＩ画像データ」ともいう）が、医療施設内のネットワーク３０を介して検査画像データベース１３に送信される。これを、同一及び／又は異なる患者について繰り返すことにより、検査用ＣＴ１１及び検査用ＭＲＩ１２は、複数のＣＴ画像及びＭＲＩ画像をそれぞれ撮像し、撮像された画像データが検査画像データベース１３に送信される。
検査画像データベース１３は、検査用ＣＴ１１及び検査用ＭＲＩ１２から送信されるＣＴ画像データ及びＭＲＩ画像データをデータベースとして記憶する。検査画像データベース１３は、例えば、ＣＴ画像データ及びＭＲＩ画像データを記憶する記憶部を備えるサーバ装置により構成されていてよい。
診断システム１０は、自動診断のための機械学習を行うとともに、機械学習により生成されたプログラムを用いて、自動診断を行うシステムである。診断システム１０の機能及び構成の詳細については、後述する。
診断部門には、さらに診断装置１４が備えられている。診断装置１４は、例えばコンピュータにより構成される。診断装置１４は、例えば各医師が使用する端末装置であってよい。診断装置１４は、例えば後述する診断システム１０により実行された自動診断の結果を、ネットワーク３０を介して取得し、診断装置１４が備える記憶部に記憶したり、診断装置１４が備える表示画面に表示したりしてもよい。このようにして、医師は、自動診断の結果を見ることができる。医師は、例えば、診断において病変を発見した場合には、診断装置１４を用いて、病変を発見したＣＴ画像又はＭＲＩ画像において、病変の位置を、ＲＯＩとして指定する操作を行ってもよい。ＲＯＩが指定されたＣＴ画像又はＭＲＩ画像は、検査画像データベース１３に記憶される。
治療部門には、撮像装置として、ＣＴ画像の撮像を行う治療計画用ＣＴ２１が設置されている。治療計画用ＣＴ２１の機能は、診断部門が有する検査用ＣＴ１１と同じであってよい。検査用ＣＴ１１及び治療計画用ＣＴ２１は、いずれもＣＴ画像を取得する点で共通するが、撮像されたＣＴ画像の用途が異なる。図４に示すように、例えば治療計画用ＣＴ２１を用いて患者Ｃの人体のＣＴ画像の撮像が行われ、撮像されたＣＴ画像データが、医療施設内のネットワーク３０を介して治療計画データベース２３に送信される。これを同一及び／又は異なる患者について繰り返すことにより、治療計画用ＣＴ２１は、複数のＣＴ画像を撮像し、撮像された画像データが治療計画データベース２３に送信される。
治療部門には、さらに治療計画装置２４が備えられている。治療計画装置２４は、例えばコンピュータにより構成される。治療計画装置２４は、例えば各医師が使用する端末装置であってよい。治療計画装置２４は、例えば、治療計画データベース２３に記憶されたＣＴ画像に基づいて治療計画を作成するために使用されてよい。例えば、医師は、治療計画データベース２３に記憶されたＣＴ画像に基づき、患者Ｃの治療計画を作成する。このとき、医師は、ＣＴ画像について、ＲＯＩを指定する操作を行う。ＲＯＩが指定されたＣＴ画像は、治療計画データベース２３に記憶される。
治療装置２５は、患者の治療を行うための装置である。例えば、患者に対して放射線治療が行われる場合、治療装置は、患者に放射線を照射するための放射線治療装置である。
医療施設内のネットワーク３０は、診断部門と治療部門とで通信可能に接続されている。診断システム１０は、検査画像データベース１３に記憶されたＣＴ画像及び／又はＭＲＩ画像と、治療計画データベース２３に記憶されたＣＴ画像とを、ネットワーク３０を介して取得し、取得したＣＴ画像及び／又はＭＲＩ画像を用いて機械学習を行う。
次に、診断システム１０の機能及び構成の詳細について説明する。診断システム１０は、機械学習を行うことによって診断プログラムを生成するとともに、生成した診断プログラムを用いて患者の診断を行う。診断の対象となる患者は、機械学習に用いた画像の患者であってもよく、機械学習に用いた画像の患者ではない患者であってもよい。診断の対象となる患者を、以下「新たな患者」ともいう。
本実施形態に係る診断システム１０は、診断プログラムの生成のための機械学習において、教師データとして、治療計画を作成するために撮像されたＣＴ画像、つまり治療計画データベース２３に記憶されたＣＴ画像と、診断を行うために撮像されたＣＴ画像及び／又はＭＲＩ画像、つまり検査画像データベース１３に記憶されたＣＴ画像及び／又はＭＲＩ画像とを用いる。治療計画データベース２３に記憶されたＣＴ画像には、上述のようにＲＯＩが指定されている。このように、診断システム１０は、教師データとして、治療計画のために取得されＲＯＩが指定された画像データと、診断のために取得された画像データとの双方を利用する。そのため、治療計画のために取得された画像データを有効に活用できるとともに、診断のための膨大な教師データを新たに取得するという負荷を軽減することができる。
また、本実施形態に係る診断システム１０は、機械学習の段階において、異なる時期に撮像された画像を対応付けて、機械学習を行う。ここでいう異なる時期とは、患者の病変の変化が検出できる程度に間隔を隔てた時期をいう。例えば、異なる時期は、数ヶ月や数年の間隔を隔てた時期であってよい。反対に、患者の病変の変化が検出できない程度に間隔が近い時期を、本明細書において、同時期という。例えば、診断システム１０は、治療計画のために撮像されたＣＴ画像と、当該ＣＴ画像と同一の患者について、異なる時期（例えば過去）に診断のために撮像されたＣＴ画像とを対応付けて、機械学習を行う。具体的には、診断システム１０は、例えば、治療計画のために撮像されたＣＴ画像において指定されたＲＯＩの位置に対応する位置を、異なる時期に診断のために撮像されたＣＴ画像において特定する。これにより、ＲＯＩとして特定された病変が発見された位置について、異なる時期における画像が特定される。つまり、将来的に病変が発見される位置の、病変が発生する前の画像が特定される。このように、異なる時期に撮像された画像を互いに対応付けて機械学習を行って生成される診断プログラムを用いて、診断を行った場合、将来的に病変となり得る位置が特定され得る。そのため、病変の発生や増悪の可能性について、早期に予見しやすくなる。
また、本実施形態に係る診断システム１０は、機械学習の段階において、異なる種類の撮像装置により撮像された画像を対応付けて、機械学習を行う。例えば、診断システム１０は、同一の患者について撮像されたＣＴ画像とＭＲＩ画像とを対応付けて、機械学習を行う。ＣＴとＭＲＩとは、撮像原理が異なるため、同一の患者の同一の部位であっても、画像における写り方が異なる。例えば、一方の撮像装置により撮像された画像において明確に写らない病変が、他の撮像装置により撮像された画像において明確に写る場合がある。しかしながら、本実施形態のように、異なる種類の撮像装置により撮像された画像を互いに対応付けて機械学習を行って生成される診断プログラムを用いて、診断を行った場合、一方の撮像装置により撮像された画像のみから、他の撮像装置により発見しやすい病変を、発見することが容易になる。これにより、新たな患者は、複数の撮像装置による撮像を行う必要がなくなる。従って、患者の負担が軽減される。特に、例えば、ＣＴ画像の撮像においては、患者にＸ線を照射することとなるため、患者が被曝することとなり、患者の負担が大きい。このように患者に負担がかかる撮像方法を避け、他の撮像方法により、多様な病変を検出できれば、患者の負担が大きく軽減される。
診断システム１０について、さらに詳細に説明する。図５は、診断システム１０の概略構成の一例を示す機能ブロック図である。
診断システム１０は、例えばサーバ装置により構成されていてよい。診断システム１０は、例えば、１台のサーバ装置により構成されていてもよく、複数のサーバ装置により構成されていてもよい。診断システム１０が複数のサーバ装置により構成される場合、図５に示す機能ブロックが備える機能が、適宜各サーバ装置に分散されて備えられていてよい。本明細書では、診断システム１０が１台のサーバ装置により構成されているとして説明する。
診断システム１０は、主に、機械学習を行って診断プログラムを生成する学習処理と、生成した診断プログラムを用いて患者の診断を行う診断処理という、２つの処理を行う。図５に示すように、診断システム１０は、学習処理を行う機能部として学習実行部１００を有し、診断処理を行う機能部として診断処理部２００を有する。学習実行部１００は、第１制御部１１０を有し、第１制御部１１０により学習処理を実行する。診断処理部２００は、第２制御部２１０を有し、第２制御部２１０により診断処理を実行する。ただし、診断システム１０は、必ずしも第１制御部１１０及び第２制御部２１０という２つの制御部を備えていなくてもよい。診断システム１０は、本明細書で説明する処理を実行可能な制御部を１つ以上備えていればよい。
第１制御部１１０は、学習実行部１００の各機能ブロックをはじめとして、学習実行部１００の全体を制御及び管理する。第１制御部１１０は、制御手順を規定したプログラムを実行するＣＰＵ等の任意の好適なプロセッサ上で実行されるソフトウェアとして構成したり、処理ごとに特化した専用のプロセッサによって構成したりすることができる。このようなプログラムは、例えば記憶部３００、又は診断システム１０に接続された外部の記憶媒体等に格納される。
第１制御部１１０は、学習処理を行う具体的な機能部として、治療計画データベース検索部１１１と、治療用画像・ＲＯＩ取得部１１３と、検査画像データベース検索部１１２と、画像位置合わせ部１１４と、機械学習実行部１１５と、機械学習結果記録部１１６とを有する。
治療計画データベース検索部１１１は、治療計画データベース２３に記憶されたＣＴ画像データのうち、機械学習に用いるＣＴ画像データを検索する。例えば、学習実行部１００が特定の疾患αに関する機械学習を行う場合、治療計画データベース検索部１１１は、治療計画データベース２３に記憶されたＣＴ画像のうち、疾患αが含まれるＣＴ画像データを検索する。検索されたＣＴ画像データには、ＲＯＩが指定されている。治療計画データベース２３に記憶されたＣＴ画像は、例えば、予めそれぞれ具体的な疾患が対応付けて記憶されている。例えば、治療計画データベース２３に記憶されたＣＴ画像は、予め医師により具体的な疾患が対応付けられている。治療計画データベース検索部１１１は、特定の疾患αに対応付けられたＣＴ画像データを検索する。治療計画データベース検索部１１１は、医療施設内のネットワーク３０を介して治療計画データベース２３にアクセスすることにより、ＣＴ画像データの検索を行うことができる。学習実行部１００は、疾患ごとに、機械学習を行い、診断プログラムを生成することができる。
検査画像データベース検索部１１２は、検査画像データベース１３に記憶されたＣＴ画像データ及び／又はＭＲＩ画像データのうち、機械学習に用いる画像データを検索する。例えば、検査画像データベース検索部１１２は、検査画像データベース１３に記憶されたＣＴ画像データ及び／又はＭＲＩ画像データのうち、治療計画データベース検索部１１１により検索されたＣＴ画像データと同一の患者の同一の部位を撮像した画像データを検索する。ここで検索される画像データは、治療計画データベース検索部１１１により検索されたＣＴ画像データと同一の患者の同一の部位を撮像した画像データであってよい。従って、ここで検索される画像データは、治療計画データベース検索部１１１により検索されたＣＴ画像データが撮像された時期とは異なる時期（例えば過去）に撮像された画像の画像データであってもよく、治療計画データベース検索部１１１により検索されたＣＴ画像データとは異なる種類の撮像装置（ここでは例えばＭＲＩ）により撮像された画像のデータであってもよい。つまり、検査画像データベース検索部１１２は、治療計画データベース検索部１１１により検索されたＣＴ画像データと同一の患者の同一の部位の画像であって、異なる時期及び／又は異なる種類の撮像装置により撮像された画像データを検索してよい。あるいは、検査画像データベース検索部１１２は、ＲＯＩが指定されたＣＴ画像データ又はＭＲＩ画像データと、ＲＯＩが指定されていない同一の患者のＣＴ画像データ又はＭＲＩ画像データとを検索してよい。検査画像データベース検索部１１２は、医療施設内のネットワーク３０を介して検査画像データベース１３にアクセスすることにより、画像データの検索を行うことができる。
治療用画像・ＲＯＩ取得部１１３は、治療計画データベース検索部１１１により検索されたＣＴ画像データ、並びに／又は、検査画像データベース検索部１１２により検索されたＣＴ画像データ及び／若しくはＭＲＩ画像データを、それぞれ、治療計画データベース２３及び検査画像データベース１３から、ネットワーク３０を介して取得する。また、治療用画像・ＲＯＩ取得部１１３は、治療計画データベース検索部１１１により検索されたＣＴ画像データ、並びに／又は、検査画像データベース検索部１１２により検索されたＣＴ画像データ及び／若しくはＭＲＩ画像データにおいて指定された、ＲＯＩに関する情報を取得する。つまり、治療用画像・ＲＯＩ取得部１１３は、画像データと、画像データのＲＯＩに関する情報とを取得する。
画像位置合わせ部１１４は、画像データの位置合わせを行う。ここで、位置合わせは、複数の画像データにおいて、対応する位置を特定する処理をいう。画像位置合わせ部１１４は、位置合わせを行うことにより、ＲＯＩが指定された画像データに基づいて、ＲＯＩが指定されていない画像データについて、ＲＯＩが指定された画像データのＲＯＩの位置に対応する位置を特定する。
画像位置合わせ部１１４は、例えば、異なる時期に撮像された複数の画像について、位置合わせを行う。また、画像位置合わせ部１１４は、例えば、異なる種類の撮像装置を用いて撮像された画像について、位置合わせを行う。例えば、画像位置合わせ部１１４は、治療計画データベース検索部１１１により検索されたＣＴ画像データと、検査画像データベース検索部１１２により検索されたＣＴ画像データとの位置合わせを実行する。具体的には、画像位置合わせ部１１４は、検査画像データベース検索部１１２により検索されたＣＴ画像データにおいて、治療計画データベース検索部１１１により検索されたＣＴ画像データのＲＯＩに対応する位置を特定する。例えば、画像位置合わせ部１１４は、検査画像データベース検索部１１２により検索されたＣＴ画像データとＭＲＩ画像データとの位置合わせを実行してもよい。
図６は、位置合わせの一例について説明する図である。図６は、異なる時期に撮像された２つの画像について、位置合わせを行う場合の例について説明する図である。図６（Ａ）は、治療計画データベース２３に記憶された、治療計画の作成のために治療計画用ＣＴ２１により撮像されたＣＴ画像を示す模式図である。図６（Ａ）は、患者の腹部断面の画像を示している。図６（Ａ）には、医師により、病変の位置を示すＲＯＩが指定されている。図６（Ｂ）は、検査画像データベース１３に記憶された、診断のために検査用ＣＴ１１により撮像されたＣＴ画像を示す模式図である。図６（Ｂ）は、図６（Ａ）のＣＴ画像と同一の患者の、同一の部位のＣＴ画像であって、図６（Ａ）のＣＴ画像が撮像された時期とは異なる時期（つまり過去）に撮像されたＣＴ画像を示している。従って、図６（Ａ）のＣＴ画像において病変が発見された場合、図６（Ｂ）のＣＴ画像には、図６（Ａ）で発見された病変が現れる前又は悪化する前の状態が写っていると言える。
画像位置合わせ部１１４は、図６（Ａ）に示すＣＴ画像と、図６（Ｂ）に示すＣＴ画像との位置合わせを行う。つまり、画像位置合わせ部１１４は、図６（Ｂ）において、図６（Ａ）のＲＯＩの位置に対応する位置を、図６（Ｂ）のＣＴ画像におけるＲＯＩとして特定する。位置合わせを行うことにより、将来的に病変として発見される位置のＣＴ画像が、図６（Ｂ）において特定される。
位置合わせは、任意の公知の方法により実行されてよい。例えば、位置合わせにおいて、ＣＴ画像を平行移動による補正を行う場合、ＣＴ画像データがＤＩＣＯＭ（Digital Imaging and Communications in Medicine）という規格で各データベースに保存され、ＤＩＣＯＭのタグに、付加情報として、例えば撮像対象の画像位置等の、画像に関する情報を記録することにより、当該画像に関する情報を用いて、異なる時期に撮像された画像の位置合わせを行うことができる。
上述の方法に加えて、さらに他の手法を用いて位置合わせを行うこともできる。例えば、位置合わせの対象となる、同一種類の撮像装置で撮像されたＣＴ画像について、公知の２次元画像又は３次元ボクセルに対するパターンマッチを適用することができる。ＣＴ画像を撮像する際には、患者の姿勢の変化や移動等により、ＣＴ画像データごとに撮像部位のＣＴ画像に差異が発生する場合がある。しかしながら、上述したような手法を含む公知の手法を用いて位置合わせを行うことにより、上述した差異による影響を小さくし、より高い精度で位置合わせを行うことができる。
また、例えば、次の文献にも、位置合わせの手法の一例が記載されており、これらの手法を用いて位置合わせを実行してもよい。この場合も、上述した理由により、より高い精度で位置合わせを行うことができる。
・小山博史、外４名、「バイオメディカル融合3次元画像処理」、東京大学出版会、2015年03月31日、p.113-147
・特開２０１７－１２７４７４号公報
・特開２０１７－１３６２４２号公報
また、位置合わせは、上述した平行移動による補正に限られない。例えば、ＣＴ画像における回転角度の補正を行うことにより、位置合わせを実行してもよい。これは、例えば、位置合わせの対象となる複数のＣＴ画像について、患者の姿勢が、回転方向にずれている場合に有効である。実用上は、回転方向のずれが発生し得る範囲を考慮し、例えば±５度の範囲で何段階かの回転を行う。このようにして回転角度ごとに生成されたＣＴ画像について、それぞれ平行移動による補正を行い、位置合わせの対象となる画像同士の合致の度合いが最大となる回転角度のＣＴ画像を、補正後の画像として採用することができる。
さらに、位置合わせは、非剛体的な変形に関する補正であってもよい。非剛体的な変形は、呼吸や体形の変化に基づく変形である。非剛体的な変形は、例えば呼吸や体型の変化に基づく変形を補正する。非剛体的な変形に関する補正の手法については、例えば次の文献に一例が開示されている。
・小山博史、外４名、「バイオメディカル融合3次元画像処理」、東京大学出版会、2015年03月31日、p.132-147
図７は、位置合わせの他の一例について説明する図である。図７は、異なる種類の撮像装置により撮像された２つの画像について、位置合わせを行う場合の例について説明する図である。図７（Ａ）は、検査画像データベース１３に記憶された、診断のために検査用ＣＴ１１により撮像されたＣＴ画像を示す模式図である。図７（Ａ）は、患者の腹部断面の画像を示している。図７（Ｂ）は、検査画像データベース１３に記憶された、診断のために検査用ＭＲＩ１２により撮像されたＭＲＩ画像を示す模式図である。図７（Ｂ）は、図７（Ａ）のＣＴ画像と同一の患者の、同一の部位のＭＲＩ画像である。つまり、図７（Ａ）と、図７（Ｂ）とは、同一の患者の同一の部位における、異なる種類の撮像装置で撮像された画像を示す。図７（Ａ）のＣＴ画像と、図７（Ｂ）のＭＲＩ画像とは、同一の時期に撮像されたものである。図７（Ａ）のＣＴ画像及び図７（Ｂ）のＭＲＩ画像のいずれかにおいて、病変の位置を示すＲＯＩが指定されている。ＲＯＩは、例えば、医師により指定されてよい。ここでは、図７（Ａ）に示すＣＴ画像においてＲＯＩが特定され、図７（Ｂ）に示すＭＲＩ画像においてＲＯＩが特定されていないとする。この場合、図７（Ａ）に示すＣＴ画像で発見された病変が、図７（Ｂ）におけるＭＲＩ画像では、異なる態様で写っていたり、明確には目視で確認できない程度に写っていたりする。
画像位置合わせ部１１４は、図７（Ａ）に示すＣＴ画像と、図７（Ｂ）に示すＭＲＩ画像との位置合わせを行う。つまり、画像位置合わせ部１１４は、図７（Ｂ）において、図７（Ａ）のＲＯＩの位置に対応する位置を、図７（Ｂ）におけるＲＯＩとして特定する。位置合わせを行うことにより、ＣＴ画像において病変として発見される位置のＭＲＩ画像が、図７（Ｂ）において特定される。
位置合わせは、任意の公知の方法により実行されてよい。例えば、位置合わせは、次の文献に記載された方法を用いて実行することができる。
・小山博史、外４名、「バイオメディカル融合3次元画像処理」、東京大学出版会、2015年03月31日、p.113-147
異なる種類の撮像装置により取得される撮像画像は、それぞれ異なる原理で撮像されたものであるため、単純に画像同士のパターンマッチを実行できない場合がある。この場合、パターンマッチを実行可能にするために、前処理が実行されてもよい。前処理は、例えば、撮像画像について画像処理を行い、骨、臓器及び体表面等の輪郭を抽出することによって実行されてよい。輪郭の抽出は、例えば、画像の２次微分を用いるラプラシアンフィルタを適用したり、空間周波数分解による高周波フィルタを適用したりする等、公知の手法により実行することができる。画像位置合わせ部１１４は、抽出された輪郭を合わせるようにして位置合わせを行うことができる。異なる種類の撮像原理で撮像された画像同士であっても、骨、臓器及び体表面等の輪郭は対応する位置に写り込むため、輪郭を抽出して合わせることにより、高い精度で画像同士の位置を対応させて、パターンマッチを実行することができる。
再び図５を参照すると、機械学習実行部１１５は、機械学習を実行して、診断プログラムを生成する。機械学習実行部１１５は、例えば、治療計画データベース検索部１１１により検索されたＣＴ画像データと、検査画像データベース検索部１１２により検索されたＣＴ画像データ及び／又はＭＲＩ画像データとを用いて機械学習を実行する。
具体的には、機械学習実行部１１５は、学習を行う領域（以下「教師領域」ともいう）を設定する。本実施形態では、機械学習実行部１１５は、学習領域として、悪性領域（疾患領域）と、良性領域（正常領域）との、２種類の領域を設定する。悪性領域は、疾患を有する領域である。悪性領域は、ＲＯＩの範囲内において設定される領域を含む。この場合、悪性領域は、病変を含む。悪性領域は、ＲＯＩに対応する位置の範囲内において設定される領域を含む。ＲＯＩに対応する位置は、上述した位置合わせにより特定された位置である。悪性領域は、特定の疾患に関する悪性領域が指定されていてよい。この場合、後述する学習結果としての診断プログラムを用いることによって、当該特定の疾患に関する診断を行うことができる。良性領域は、疾患を有さない正常な領域である。良性領域は、ＲＯＩの範囲外において設定される領域を含む。この場合、良性領域は、病変を含まない。良性領域は、ＲＯＩに対応する位置の範囲内において設定される領域を含む。
図８は、教師領域の設定の一例について説明する図である。図８は、教師データとしての画像の一部を示す図である。図８において、破線で囲まれた領域は、ＲＯＩとして指定された領域を示す。機械学習実行部１１５は、ＲＯＩとして特定された破線内と、ＲＯＩとして特定されていない破線外とにおいて、それぞれ教師領域として、悪性領域と良性領域とを設定する。
ここで、教師データとして入力される画像では、ＲＯＩは、病変に合わせた多様な形状で指定されており、必ずしも機械学習に適した大きさや形状で指定されているわけではない。そこで、機械学習実行部１１５は、教師領域を、それぞれ機械学習に用いるための適当な大きさ及び形状で設定してよい。例えば、教師領域は、例えば所定の大きさの正方形又は長方形等の領域として指定されてよい。教師データが３次元データである場合には、教師領域は、例えば所定の大きさの立方体又は直方体等の領域として指定されてよい。
例えば、悪性領域の設定において、ＲＯＩの範囲が小さいことにより、ＲＯＩの範囲内に所定の大きさの正方形の領域を設定できない場合、設定の条件を緩和させてもよい。ＲＯＩの範囲内に所定の大きさの正方形の領域を設定できない場合とは、つまり、所定の大きさの正方形の領域を設定するに際して、少なくとも一部の領域がＲＯＩの外部にかかる場合である。設定の条件を緩和することにより、例えば、設定される悪性領域の全体がＲＯＩの範囲内に含まれなくてもよく、設定される悪性領域のうち所定の割合（例えば９０％以上等）がＲＯＩの範囲内に含まれていればよいという条件で、悪性領域の設定が行われてもよい。
教師領域の設定は、所定のプログラムに従って、機械学習実行部１１５により自動的に行われてよい。教師領域は、例えば図８に示すように１つの教師データから悪性領域と良性領域とをそれぞれ１つずつ設定してもよく、１つの教師データから悪性領域と良性領域とを複数設定してもよい。
機械学習実行部１１５は、教師領域を設定すると、設定した教師領域に基づいて、機械学習を実行する。機械学習は、公知の方法により実行できる。例えば、機械学習実行部１１５は、教師領域の画像を入力として、畳み込みニューラルネットワークによる機械学習を行う。畳み込みニューラルネットワークは、パターン抽出を行う畳み込み層を、１層実行し又は２層以上繰り返した後、プーリング層で出力を束ねる。畳み込みニューラルネットワークは、畳み込み層とプーリング層との他に、活性化関数や全結合層を積層して構成されていてよいが、この構成に限られるものではない。このようにして、畳み込みを用いる多層ニューラルネットワークの学習により、診断プログラムが生成される。
機械学習結果記録部１１６は、機械学習実行部１１５により生成された、機械学習の結果として生成された診断プログラムを、記憶部３００に記憶する。
第２制御部２１０は、診断処理部２００の各機能ブロックをはじめとして、診断処理部２００の全体を制御及び管理する。第２制御部２１０は、制御手順を規定したプログラムを実行するＣＰＵ等の任意の好適なプロセッサ上で実行されるソフトウェアとして構成したり、処理ごとに特化した専用のプロセッサによって構成したりすることができる。このようなプログラムは、例えば記憶部３００、又は診断システム１０に接続された外部の記憶媒体等に格納される。
第２制御部２１０は、診断処理を行う具体的な機能部として、機械学習結果読込部２１１と、学習結果適用演算部２１２と、診断結果表示処理部２１３とを有する。
機械学習結果読込部２１１は、記憶部３００に記憶された、機械学習の結果としての診断プログラムを読み込む。
学習結果適用演算部２１２は、診断プログラムを用いて、診断処理を行う。具体的には、学習結果適用演算部２１２は、まず、新たに撮像された画像データ（以下「新規画像データ」ともいう）を取得する。新規画像データは、例えば検査用ＣＴ１１で新たに撮像されたＣＴ画像データ及び検査用ＭＲＩ１２で新たに撮像されたＭＲＩ画像データ等である。学習結果適用演算部２１２は、新規画像データに対して、診断プログラムを適用し、新規画像データの診断を行う。診断の具体的な処理については、後述する。
診断結果表示処理部２１３は、学習結果適用演算部２１２による診断処理の結果を、表示部４００に表示させる。医師や患者は、表示部４００の表示を見ることにより、診断結果を確認することができる。
記憶部３００は、半導体メモリ又は磁気メモリ等で構成されることができる。記憶部３００は、各種情報や診断システム１０を動作させるためのプログラム等を記憶する。また、記憶部３００は、学習実行部１００により生成された診断プログラムを記憶する。記憶部３００は、ワークメモリとしても機能してもよい。
表示部４００は、例えば液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）、有機ＥＬディスプレイ（ＯＥＬＤ：Organic Electro-Luminescence Display）、又は無機ＥＬディスプレイ（ＩＥＬＤ：Inorganic Electro-Luminescence Display）等の周知のディスプレイにより構成される表示デバイスである。表示部４００は、例えば診断処理部２００による診断処理の結果を表示する。
次に、本実施形態に係る診断システム１０により実行される処理の一例について説明する。
図９は、診断システム１０が実行する処理の一例を示すフローチャートであり、学習実行部１００により実行される学習処理の一例を示すフローチャートである。図９に示すフローは、治療計画データベース２３から取得したＣＴ画像データを用いて学習を行う場合の処理の一例を示す。すなわち、図９に示すフローでは、教師データとして、治療計画データベース２３から取得したＣＴ画像データが用いられる。図９のフローは、例えば第１制御部１１０により実行される。
まず、第１制御部１１０は、治療計画データベース２３に記憶されたＣＴ画像データのうち、機械学習に用いるＣＴ画像データを検索する（ステップＳ１１）。例えば、第１制御部１１０は、所定の疾患による病変が含まれるＣＴ画像データを検索する。
第１制御部１１０は、ステップＳ１１で検索したＣＴ画像データを、ネットワーク３０を介して治療計画データベース２３から取得する（ステップＳ１２）。
また、第１制御部１１０は、ステップＳ１２で取得したＣＴ画像データにおけるＲＯＩに関する情報を、ネットワーク３０を介して治療計画データベース２３から取得する（ステップＳ１３）。
第１制御部１１０は、ステップＳ１２で取得したＣＴ画像データにおいて、悪性領域を設定する（ステップＳ１４）。つまり、第１制御部１１０は、ステップＳ１２で取得したＣＴ画像データのうち、ＲＯＩとして特定された領域内において、学習に用いる悪性領域を設定する。
また、第１制御部１１０は、ステップＳ１２で取得したＣＴ画像データにおいて、良性領域を設定する（ステップＳ１５）。つまり、第１制御部１１０は、ステップＳ１２で取得したＣＴ画像データのうち、ＲＯＩとして特定されていない領域外において、学習に用いる良性領域を設定する。
第１制御部１１０は、ステップＳ１４で設定した悪性領域と、ステップＳ１５で設定した良性領域とを、多層ニューラルネットワークを用いて分類することにより、機械学習を行う（ステップＳ１６）。例えば、第１制御部１１０は、公知のＣＮＮ（Convolutional Neural Network：畳み込みニューラルネットワーク）等の手法を用いて機械学習を行ってよい。
第１制御部１１０は、学習が終了したか否かを判定する（ステップＳ１７）。例えば、第１制御部１１０は、患者の診断を行うために十分な所定の数以上のデータを用いて機械学習を行った場合、学習が終了したと判定してよい。例えば、第１制御部１１０は、ステップＳ１１において検索されたＣＴ画像データの全データについて、機械学習を行った場合、学習が終了したと判定してもよい。第１制御部１１０は、これらの例に限られず、診断を実行可能な程度に機械学習を行った場合に、学習が終了したと判定してよい。
第１制御部１１０は、学習が終了していないと判定した場合（ステップＳ１７のＮｏ）、ステップＳ１２に移行し、学習処理を継続する。
第１制御部１１０は、学習が終了したと判定した場合（ステップＳ１７のＹｅｓ）、このフローを終了する。
このようにして、本実施形態に係る診断システム１０によれば、治療計画データベース２３に蓄積された、治療計画の作成のために収集されたＣＴ画像データを教師データとして用いて機械学習を行うことができる。治療計画の作成のために収集されたＣＴ画像データでは、すでにＲＯＩが指定されていることから、機械学習に際してＲＯＩを指定する作業を行うことなく、教師データとして活用することができる。
図１０は、診断システム１０が実行する他の処理の一例を示すフローチャートであり、学習実行部１００により実行される学習処理の他の一例を示すフローチャートである。図１０に示すフローは、位置合わせを行ってから学習を行う場合の処理の一例を示す。すなわち、図１０に示すフローでは、教師データとして、異なる時期に撮像された画像データ、又は異なる種類の撮像装置により撮像された画像データが用いられる。教師データとして異なる時期に撮像された画像データが用いられる場合、例えば、上述したようにして位置合わせがされた２つのＣＴ画像データが用いられる。教師データとして異なる種類の撮像装置により撮像された画像データが用いられる場合、例えば、上述したようにして位置合わせがされたＣＴ画像データとＭＲＩ画像データとが用いられる。図１０のフローは、例えば第１制御部１１０により実行される。
まず、第１制御部１１０は、機械学習に用いる画像データを検索する（ステップＳ２１）。
具体的には、教師データとして異なる時期に撮像された画像データを用いる場合、第１制御部１１０は、例えば、治療計画データベース２３に記憶されたＣＴ画像データのうち、機械学習に用いるＣＴ画像データを検索する。機械学習に用いるＣＴ画像データは、例えば所定の疾患による病変が含まれるＣＴ画像データである。また、第１制御部１１０は、検査画像データベース１３に記憶されたＣＴ画像データのうち、第１制御部１１０により治療計画データベース２３から検索されたＣＴ画像データと同一の患者の同一の部位を撮像したＣＴ画像データを検索する。
また、具体的には、教師データとして異なる種類の撮像装置により撮像された画像データを用いる場合、第１制御部１１０は、例えば、検査画像データベース１３に記憶されたＣＴ画像データ及び／又はＭＲＩ画像データのうち、機械学習に用いる画像データを検索する。機械学習に用いる画像データは、例えば所定の疾患による病変が含まれる画像データであって、ＲＯＩが指定された画像データである。また、第１制御部１１０は、検査画像データベース１３に記憶されたＣＴ画像及び／又はＭＲＩ画像のうち、上述のようにして第１制御部１１０により検索された画像データとは異なる種類の撮像装置により撮像された、同一の患者の同一の部位を撮像した画像データを検索する。つまり、ＲＯＩが指定された画像データとしてＣＴ画像データが検索された場合には、次にＭＲＩ画像データが検索され、反対に、ＲＯＩが指定された画像データとしてＭＲＩ画像データが検索された場合には、次にＣＴ画像データが検索される。
第１制御部１１０は、ステップＳ２１で検索した画像データを、ネットワーク３０を介して検査画像データベース１３及び／又は治療計画データベース２３から取得する（ステップＳ２２）。
また、第１制御部１１０は、ステップＳ２２で取得した画像データにおけるＲＯＩに関する情報を、ネットワーク３０を介して検査画像データベース１３及び／又は治療計画データベース２３から取得する（ステップＳ２３）。
第１制御部１１０は、ステップＳ２２で取得した複数の画像データについて、ステップＳ２３で取得したＲＯＩに関する情報を用いて、位置合わせを行う（ステップＳ２４）。位置合わせの詳細は、上述した通りである。位置合わせにより、ステップＳ２２で取得された画像データのうち、ＲＯＩが指定されていない画像データについて、ＲＯＩが指定される。
第１制御部１１０は、ステップＳ２４で位置合わせをした複数の画像データについて、悪性領域を設定する（ステップＳ２５）。つまり、第１制御部１１０は、ステップＳ２４で位置合わせをした複数の画像データについて、それぞれＲＯＩとして特定された領域内において、学習に用いる悪性領域を設定する。
また、第１制御部１１０は、ステップＳ２４で位置合わせをした複数の画像データについて、良性領域を設定する（ステップＳ１５）。つまり、第１制御部１１０は、ステップＳ２４で位置合わせをした複数の画像データについて、それぞれＲＯＩとして特定されていない領域外において、学習に用いる良性領域を設定する。
第１制御部１１０は、ステップＳ２５で設定した悪性領域と、ステップＳ２６で設定した良性領域とを、多層ニューラルネットワークを用いて分類することにより、機械学習を行う（ステップＳ２７）。例えば、第１制御部１１０は、公知のＣＮＮ（Convolutional Neural Network：畳み込みニューラルネットワーク）等の手法を用いて機械学習を行ってよい。なお、分類は、悪性領域と良性領域との２種類に限らず、複数の異なる疾患や進行度等に応じた３種類以上の領域に分類してもよい。
第１制御部１１０は、学習が終了したか否かを判定する（ステップＳ２８）。学習終了の判断は、図９のステップＳ１７で説明した方法と同様であってよい。
第１制御部１１０は、学習が終了していないと判定した場合（ステップＳ２８のＮｏ）、ステップＳ２２に移行し、学習処理を継続する。
第１制御部１１０は、学習が終了したと判定した場合（ステップＳ２８のＹｅｓ）、このフローを終了する。
このようにして、本実施形態に係る診断システム１０によれば、異なる時期に撮像された画像データ、又は異なる種類の撮像装置により撮像された画像データについて、位置合わせを行い、機械学習を実行することができる。
なお、図９及び図１０を参照して説明したフローにより学習を行う場合、必ずしも同一の患者の悪性領域と良性領域とに基づいて学習を行わなくてもよい。例えば、悪性領域と良性領域とが、互いに異なる患者の画像データにおいて設定されてもよい。この場合も、病変の診断を実行可能な診断プログラムを生成できる。
また、図９及び図１０において設定される悪性領域の数と良性領域の数とは、必ずしも同数でなくてもよい。設定される悪性領域の数と良性領域の数とが異なっていても、設定された悪性領域と良性領域とを入力として機械学習を実行することにより、病変の診断を実行可能な診断プログラムを生成できる。
図１１は、診断システム１０が実行するさらに他の処理の一例を示すフローチャートであり、診断処理部２００により実行される診断処理の一例を示すフローチャートである。具体的には、図１１に示すフローは、図９及び／又は図１０に示すフローにより生成された診断プログラムを用いて実行される診断処理の一例を示す。図１１のフローは、例えば第２制御部２１０により実行される。
第２制御部２１０は、新規画像データを取得する（ステップＳ３１）。新規画像データは、例えば検査画像データベース１３に記憶された、新たに撮像された画像データである。第２制御部２１０は、検査画像データベース１３から、新規画像データを取得することができる。
第２制御部２１０は、ステップＳ３１で取得した新規画像データに対して、診断プログラムを適用し、新規画像データの診断を行う。具体的には、まず、第２制御部２１０は、
取得した新規画像データを所定のサイズの断片画像に分割する（ステップＳ３２）。所定のサイズは、診断処理を実行可能なサイズであればよく、例えば、教師領域と同一のサイズであってよい。
第２制御部２１０は、断片画像を診断プログラムに入力することにより、診断を実行する（ステップＳ３３）。すなわち、第２制御部２１０は、断片画像が、病変に分類されるか否かを判定する。例えば、断片画像が、悪性領域として学習した画像と同一のグループに分類される場合は、病変であると分類され、良性領域として学習した画像と同一のグループに分類される場合は、病変でないと分類される。第２制御部２１０は、分割された断片画像の全てについて、診断を実行してよい。
第２制御部２１０は、ステップＳ３３の診断において、病変が検出されたか否かを判定する（ステップＳ３４）。第２制御部２１０は、断片画像が病変であると分類される場合、病変が検出されたと判定する。一方、第２制御部２１０は、断片画像が病変でないと分類される場合、病変が検出されていないと判定する。
第２制御部２１０は、病変が検出されたと判定した場合（ステップＳ３４のＹｅｓ）、病変が検出された位置を記憶部３００に記憶する（ステップＳ３５）。具体的には、第２制御部２１０は、病変であると判定された断片画像の、分割前の画像データにおける位置を、記憶部３００に記憶する。
そして、第２制御部２１０は、表示部４００において、診断の結果を表示する（ステップＳ３６）。この場合、例えば、第２制御部２１０は、病変が検出されたこと、検出された病変の種類（つまり病名等）、及び病変の位置等を表示する。医師及び／又は患者は、表示を見ることにより、患者の病変に関する情報を確認することができる。
一方、第２制御部２１０は、病変が検出されていないと判定した場合（ステップＳ３４のＮｏ）、病変が検出されていないことを、診断の結果として表示する（ステップＳ３６）。医師及び／又は患者は、表示を見ることにより、病変が検出されていないことを確認することができる。
なお、第２制御部２１０は、ステップＳ３６における表示に加え、又はステップＳ３６における表示に代えて、診断結果を、ネットワーク３０を介して診断装置１４に送信し、診断装置１４に表示させてもよい。この場合も、医師及び／又は患者は、患者の病変に関する情報を確認することができる。
また、第２制御部２１０は、ステップＳ３２及びステップＳ３３に代えて、スライディングセルに対して検出を行う方法により診断を実行してもよい。具体的には、第２制御部２１０は、新規画像データにおいて分割された領域を、一部重複させつつずらしながら検出を行う方法により、診断を実行してもよい。
また、第２制御部２１０は、病変が検出された場合、ステップＳ３５及びステップＳ３６において、病変が検出された連続する断片画像をラベル付けして識別し、その位置と個数とを記憶及び表示してもよい。
このようにして、診断システム１０によれば、生成した診断プログラムを用いて、患者の診断を自動的に実行することができる。
特に、異なる時期に撮像された撮像画像の位置合わせを行って機械学習を行った場合、病変として検出された部位と、当該部位における病変が検出される前の画像とが対応付けられて学習が行われる。つまり、機械学習において、検出された病変そのものの画像に加え、病変が現れる前又は病変の悪化の程度が低い時の撮像画像について、学習が行われる。診断システム１０は、このように異なる時期に撮像された撮像画像の位置合わせを行って機械学習を行って生成された診断プログラムを用いて、診断処理において、病変が現れる前又は病変の悪化の程度が低い状態においても、将来病変となる部位を検出することができる。すなわち、診断システム１０によれば、病変の早期段階での発見がしやすくなる。
また、異なる種類の撮像装置により撮像された撮像画像の位置合わせを行って機械学習を行った場合、異なる種類の撮像装置により撮像された撮像画像が対応付けられて学習が行われる。そのため、例えば、ある撮像装置による撮像画像における特定の病変の写り方と、他の撮像装置による撮像画像における当該病変の写り方とが対応付けられて学習が行われる。これにより、例えば、ある撮像装置による撮像画像では病変が確認しにくく、他の撮像装置による撮像画像では病変が確認しやすい場合であっても、病変の写り方の対応付けにより、当該ある撮像装置による撮像画像での病変の写り方を学習することができる。そうすると、診断システム１０は、異なる種類の撮像装置により撮像された撮像画像の位置合わせを行って機械学習を行って生成された診断プログラムを用いて、診断処理において、複数の撮像装置による撮像画像を用いなくとも、１つの撮像装置による撮像画像に基づいて、病変の有無の診断を行うことができる。つまり、新たな患者は、複数の撮像装置による撮像を行うことなく、１つの撮像装置による撮像を行うことによって、診断を受けることができる。これにより、より患者への負担が小さい撮像方法のみを用いて診断を行うことが可能となる。例えば、ＣＴ画像を撮像する場合、患者に放射線をあてる必要があるため、患者が放射線被曝を受けることとなる。しかしながら、本実施形態に係る診断システム１０を用いることによって、患者は、放射線被曝を受けないＭＲＩ画像の撮像のみによって、ＣＴ画像により検出し得る病変の診断も受けることができる。このようにして、診断システム１０によれば、患者への負担を低減することができる。
さらに、異なる種類の撮像装置により撮像された撮像画像の位置合わせを行って機械学習を行った場合、撮像画像の対応付けにより、複数の撮像装置による撮像画像の情報を集約することができる。すなわち、診断システム１０によれば、１つの撮像画像において、複数の撮像画像における病変の写り方を学習することができる。そのため、１つの撮像画像を用いて、より多様な病変を検出したり、より高い精度で病変を検出したりすることができる。
上述実施形態で説明した診断システム１０は、必ずしも診断のみに用いられるものでなくてもよい。例えば、上述した技術を用いて、自動的に治療計画を作成する治療計画作成システムとして実現されてもよい。
診断システム１０による学習は、上述した方法に限られない。例えば、診断システム１０は、画像データに加え、関連する情報を、教師データとして用いることができる。関連する情報は、例えば、画像データのＲＯＩに指定された箇所における病変に関する情報であってよい。例えば、診断システム１０は、異なる時期に撮像された撮像画像を用いて学習を行う場合、さらに、画像データのＲＯＩに指定された箇所における病変のＴＮＭ分類と、画像が撮像された時期に関する情報とを、教師データとして用いることができる。具体例を挙げると、画像に写った特定の種類の癌のＴＮＭ分類（例えばステージＩＩＩ等）と、当該画像と過去の画像との時間経過（例えば３年等）とを、さらに教師データとして用いることができる。これらの教師データを用いて機械学習することにより、例えば「ステージＩＩＩになる３年前の画像」等を学習することができるため、診断において、３年後にステージＩＩＩに至る可能性がある画像を検出することができるようになる。関連する情報は、例えば医師により、診断装置１４又は治療計画装置２４を用いて入力されることができる。
上記実施形態の説明において、撮像画像がＣＴ画像及びＭＲＩ画像である場合の例について説明したが、撮像画像はこれに限られない。他の撮像装置においても、上述した診断システム１０を適用可能である。例えば、撮像画像は、ＰＴ（Positron Emission Tomography）を用いて撮像されたＰＴ画像であってもよい。
教師データとして異なる種類の撮像装置により撮像された画像データを用いる場合、必ずしも撮像原理が異なる撮像装置により撮像された画像データを用いなくてもよい。例えば、ＣＴとＣＲ（Computed Radiography）、ＤＢＴ（Digital Breast Tomosynthesis）とマンモグラフィ等のように、３次元と２次元とが異なる画像データや、感度が異なる画像データ、解像度が異なる画像データ等において、位置合わせを行って機械学習を行うこともできる。これにより、例えば、より高感度の撮像装置による撮像画像で明確に検出した病変の写り方と、より低感度の撮像装置による撮像画像での写り方と、等を比較できるため、より低感度な撮像装置を用いた診断能力を向上させることができる。
上記実施形態では、診断システム１０が、治療計画データベース２３に既に記憶されたＣＴ画像を用いて機械学習を行う場合について説明した。しかしながら、診断システム１０は、例えば、新たに治療計画が作成されるたびに、又は定期的に、新たに作成された治療計画を用いて、機械学習を行ってもよい。
また、上記実施形態では、画像データを用いて機械学習を行うと説明したが、機械学習では、必ずしも画像データのみが教師データとして用いられなくてもよい。例えば、患者の遺伝子情報、血液検査等を含む他の検査結果の情報、並びに、喫煙及び飲酒等の生活習慣を含む患者に関する情報等の情報が、教師データとして用いられてもよい。また、これらの情報を組み合わせて機械学習を行ってもよい。特に、患者に関する情報が電子カルテとして電子的に保存されている場合には、新たにデータを入力又は加工等することなく、機械学習のための教師データとして用いることができる。
本開示は、上述した実施形態で特定された構成に限定されず、特許請求の範囲に記載した開示の要旨を逸脱しない範囲内で種々の変形が可能である。例えば、各構成部、各ステップなどに含まれる機能などは論理的に矛盾しないように再構成可能であり、複数の構成部またはステップなどを１つに組み合わせたり、あるいは分割したりすることが可能である。
１０ 診断システム
１１ 検査用ＣＴ
１２ 検査用ＭＲＩ
１３ 検査画像データベース
１４ 診断装置
２１ 治療計画用ＣＴ
２３ 治療計画データベース
２４ 治療計画装置
２５ 治療装置
３０ ネットワーク
１００ 学習実行部
１１０ 第１制御部
１１１ 治療計画データベース検索部
１１２ 検査画像データベース検索部
１１３ ＲＯＩ取得部
１１４ 画像位置合わせ部
１１５ 機械学習実行部
１１６ 機械学習結果記録部
２００ 診断処理部
２１０ 第２制御部
２１１ 機械学習結果読込部
２１２ 学習結果適用演算部
２１３ 診断結果表示処理部
３００ 記憶部
４００ 表示部

Claims (7)

  1. 治療対象となり得る治療対象領域が指定された第１画像データと、前記第１画像データと異なる時期に撮像された前記第１画像データの患者と同一の患者の同一部位について撮像された第２画像データと、に基づき、前記第２画像データについて、前記第１画像データの前記治療対象領域に対応する位置を特定する位置合わせを行う画像位置合わせ部と、
    前記位置合わせにより特定された前記位置に対応する前記第１画像データと前記第２画像データを教師データとして機械学習することにより、患者を診断するための診断プログラムを生成する機械学習実行部と、
    を備える、情報処理システム。
  2. 前記第２画像データは、前記第１画像データよりも過去に撮像された画像データである、請求項１に記載の情報処理システム。
  3. 前記第１画像データと前記第２画像データとは、同一種類の撮像装置を用いて撮像された画像データである、請求項１又は請求項２に記載の情報処理システム。
  4. 前記治療対象領域として特定された範囲内において設定された特定の疾患に関する悪性領域と、前記治療対象領域として特定されていない範囲外において設定された良性領域とを用いて、前記診断プログラムを生成する、請求項１乃至請求項３のいずれか一項に記載の情報処理システム。
  5. 前記画像データは、放射線治療の治療計画を作成するために撮像されたものである、請求項１乃至請求項４のいずれか一項に記載の情報処理システム。
  6. 情報処理システムにより実行される情報処理方法であって、
    治療対象となり得る治療対象領域が指定された第１画像データと、前記第１画像データと異なる時期に撮像された前記第１画像データの患者と同一の患者の同一部位について撮像された第２画像データと、を取得するステップと、
    前記第２画像データについて、前記第１画像データの前記治療対象領域に対応する位置を特定する位置合わせを行うステップと、
    前記位置合わせにより特定された前記位置に対応する前記第１画像データと前記第２画像データを教師データとして機械学習することにより、患者を診断するための診断プログラムを生成するステップと、
    を含む、情報処理方法。
  7. 情報処理システムにより実行される情報処理プログラムであって、
    前記情報処理システムのコンピュータに、
    治療対象となり得る治療対象領域が指定された第１画像データと、前記第１画像データと異なる種類の撮像装置を用いて撮像された前記第１画像データの患者と同一の患者の同一部位について撮像された第２画像データと、を取得するステップと、
    前記第２画像データについて、前記第１画像データの前記治療対象領域に対応する位置を特定する位置合わせを行うステップと、
    前記位置合わせにより特定された前記位置に対応する前記第１画像データと前記第２画像データを教師データとして機械学習することにより、患者を診断するための診断プログラムを生成するステップと、
    を実行させるための、情報処理プログラム。
JP2018196705A 2018-10-18 2018-10-18 情報処理システム及び情報処理方法 Active JP7097794B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018196705A JP7097794B2 (ja) 2018-10-18 2018-10-18 情報処理システム及び情報処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018196705A JP7097794B2 (ja) 2018-10-18 2018-10-18 情報処理システム及び情報処理方法

Publications (2)

Publication Number Publication Date
JP2020062281A JP2020062281A (ja) 2020-04-23
JP7097794B2 true JP7097794B2 (ja) 2022-07-08

Family

ID=70387887

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018196705A Active JP7097794B2 (ja) 2018-10-18 2018-10-18 情報処理システム及び情報処理方法

Country Status (1)

Country Link
JP (1) JP7097794B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114569146A (zh) * 2022-03-01 2022-06-03 西安大医集团股份有限公司 医学图像处理方法、装置、计算机设备及存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002165894A (ja) 2000-12-04 2002-06-11 Mitsubishi Electric Corp 放射線治療システム
US20050100208A1 (en) 2003-11-10 2005-05-12 University Of Chicago Image modification and detection using massive training artificial neural networks (MTANN)
JP2014212820A (ja) 2013-04-23 2014-11-17 株式会社日立製作所 放射線治療システム
JP2015116319A (ja) 2013-12-18 2015-06-25 パナソニックＩｐマネジメント株式会社 診断支援装置、診断支援方法、および診断支援プログラム
JP2015205110A (ja) 2014-04-23 2015-11-19 三菱電機株式会社 患者位置決めシステム、および位置ずれ量算出方法
JP2016536035A (ja) 2013-09-30 2016-11-24 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 変形可能レジストレーションのためのシステム及びモジュラーネットワーク
JP2017520305A (ja) 2014-06-30 2017-07-27 ウニヴェルズィテート・ベルンＵｎｉｖｅｒｓｉｔａｔ Ｂｅｒｎ 急性脳虚血患者における組織領域の区分法及び予測法
WO2018048507A1 (en) 2016-09-06 2018-03-15 Han Xiao Neural network for generating synthetic medical images
JP2018075356A (ja) 2016-11-02 2018-05-17 国立研究開発法人量子科学技術研究開発機構 Ｘ線透視装置およびｘ線透視方法
JP2018522651A (ja) 2015-06-30 2018-08-16 エレクタ リミテッド 放射線治療中に品質指標を使用して標的を追跡するためのシステム及び方法
JP2020054581A (ja) 2018-10-01 2020-04-09 富士フイルム株式会社 疾患領域を判別する判別器の学習装置、方法及びプログラム、疾患領域を判別する判別器、並びに疾患領域判別装置及びプログラム

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002165894A (ja) 2000-12-04 2002-06-11 Mitsubishi Electric Corp 放射線治療システム
US20050100208A1 (en) 2003-11-10 2005-05-12 University Of Chicago Image modification and detection using massive training artificial neural networks (MTANN)
JP2014212820A (ja) 2013-04-23 2014-11-17 株式会社日立製作所 放射線治療システム
JP2016536035A (ja) 2013-09-30 2016-11-24 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 変形可能レジストレーションのためのシステム及びモジュラーネットワーク
JP2015116319A (ja) 2013-12-18 2015-06-25 パナソニックＩｐマネジメント株式会社 診断支援装置、診断支援方法、および診断支援プログラム
JP2015205110A (ja) 2014-04-23 2015-11-19 三菱電機株式会社 患者位置決めシステム、および位置ずれ量算出方法
JP2017520305A (ja) 2014-06-30 2017-07-27 ウニヴェルズィテート・ベルンＵｎｉｖｅｒｓｉｔａｔ Ｂｅｒｎ 急性脳虚血患者における組織領域の区分法及び予測法
JP2018522651A (ja) 2015-06-30 2018-08-16 エレクタ リミテッド 放射線治療中に品質指標を使用して標的を追跡するためのシステム及び方法
WO2018048507A1 (en) 2016-09-06 2018-03-15 Han Xiao Neural network for generating synthetic medical images
JP2018075356A (ja) 2016-11-02 2018-05-17 国立研究開発法人量子科学技術研究開発機構 Ｘ線透視装置およびｘ線透視方法
JP2020054581A (ja) 2018-10-01 2020-04-09 富士フイルム株式会社 疾患領域を判別する判別器の学習装置、方法及びプログラム、疾患領域を判別する判別器、並びに疾患領域判別装置及びプログラム

Also Published As

Publication number Publication date
JP2020062281A (ja) 2020-04-23

Similar Documents

Publication Publication Date Title
Parvaiz et al. Vision transformers in medical computer vision—A contemplative retrospection
US20210158531A1 (en) Patient Management Based On Anatomic Measurements
US9662083B2 (en) Medical image display apparatus and medical image display system
EP3355273B1 (en) Coarse orientation detection in image data
JP6220310B2 (ja) 医用画像情報システム、医用画像情報処理方法及びプログラム
US20120166211A1 (en) Method and apparatus for aiding imaging diagnosis using medical image, and image diagnosis aiding system for performing the method
US8934687B2 (en) Image processing device, method and program including processing of tomographic images
CN103733200B (zh) 由带有解剖学标记临床管理促进的检查审阅
JP6460636B2 (ja) 読影レポート作成装置、読影レポート作成システムおよび読影レポート作成プログラム
JP5676269B2 (ja) 脳画像データの画像解析
US11468659B2 (en) Learning support device, learning support method, learning support program, region-of-interest discrimination device, region-of-interest discrimination method, region-of-interest discrimination program, and learned model
JP2018175864A (ja) 自動レイアウト装置および自動レイアウト方法並びに自動レイアウトプログラム
CN104217423B (zh) 选出图像数据组的自动产生
JP6738305B2 (ja) 学習データ生成支援装置および学習データ生成支援装置の作動方法並びに学習データ生成支援プログラム
US20140228667A1 (en) Determining lesions in image data of an examination object
JPWO2020129385A1 (ja) 医療文書作成支援装置、方法およびプログラム
WO2021112141A1 (ja) 文書作成支援装置、方法およびプログラム
JP7097794B2 (ja) 情報処理システム及び情報処理方法
CA3034814C (en) System and method for using imaging quality metric ranking
Eswaran et al. Applying Machine Learning for Medical Image Processing
JP7155274B2 (ja) 加速化された臨床ワークフローのためのシステムおよび方法
WO2022153702A1 (ja) 医用画像表示装置、方法およびプログラム
WO2022070528A1 (ja) 医用画像処理装置、方法およびプログラム
WO2021246047A1 (ja) 経過予測装置、方法およびプログラム
WO2022018942A1 (ja) 医用画像処理装置、方法およびプログラム

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20191016

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20191021

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20191025

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210406

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220302

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220329

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220428

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220607

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220628

R150 Certificate of patent or registration of utility model

Ref document number: 7097794

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150