JP2024044922A - 情報処理装置、情報処理方法及び情報処理プログラム - Google Patents

情報処理装置、情報処理方法及び情報処理プログラム Download PDF

Info

Publication number
JP2024044922A
JP2024044922A JP2022150755A JP2022150755A JP2024044922A JP 2024044922 A JP2024044922 A JP 2024044922A JP 2022150755 A JP2022150755 A JP 2022150755A JP 2022150755 A JP2022150755 A JP 2022150755A JP 2024044922 A JP2024044922 A JP 2024044922A
Authority
JP
Japan
Prior art keywords
finding information
information
information processing
lesion
finding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022150755A
Other languages
English (en)
Inventor
太郎 初谷
晶路 一ノ瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2022150755A priority Critical patent/JP2024044922A/ja
Priority to EP23196986.6A priority patent/EP4343781A1/en
Priority to US18/466,830 priority patent/US20240095915A1/en
Publication of JP2024044922A publication Critical patent/JP2024044922A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Epidemiology (AREA)
  • Public Health (AREA)
  • Primary Health Care (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

【課題】医用画像の読影を支援できる情報処理装置、情報処理方法及び情報処理プログラムを提供する。【解決手段】情報処理装置10は、少なくとも1つのプロセッサを備え、プロセッサは、複数の病変領域を含む医用画像を取得し、複数の病変領域の各々について複数の第1所見情報を特定し、複数の第1所見情報の組合せに基づいて、複数の病変領域のうち少なくとも1つの病変領域についての第2所見情報を特定する。【選択図】図5

Description

本開示は、情報処理装置、情報処理方法及び情報処理プログラムに関する。
従来、CT(Computed Tomography)装置及びMRI(Magnetic Resonance Imaging)装置等の撮影装置により得られる医用画像を用いての画像診断が行われている。また、ディープラーニング等により学習がなされた判別器を用いたCAD(Computer Aided Detection/Diagnosis)により医用画像を解析して、医用画像に含まれる構造物及び病変等を含む関心領域を検出及び/又は診断することが行われている。医用画像及びCADによる解析結果は、医用画像の読影を行う読影医等の医療従事者の端末に送信される。読影医等の医療従事者は、自身の端末を用いて医用画像及び解析結果を参照して医用画像の読影を行い、読影レポートを作成する。
また、医用画像の読影を支援する各種手法が提案されている。例えば、特許文献1には、読影医が入力したキーワード及び医用画像の解析結果に基づいて、読影レポートを作成する技術が開示されている。特許文献1に記載の技術では、入力された文字から文章を生成するように学習が行われたリカレントニューラルネットワークを用いて、読影レポートに記載するための文章が作成される。
また例えば、特許文献2には、検査画像内に存在する複数の関心領域毎の特徴量を、症例画像内の症例病変の特徴量と比較して、関心領域毎の個別類似度を算出し、算出した複数の個別類似度に基づいて、類似症例を検索する技術が開示されている。すなわち、特許文献2に記載の技術では、複数の関心領域のそれぞれの特徴量に着目して類似症例が検索される。
また例えば、特許文献3には、医用画像に含まれる病変候補領域を特定し、病変候補領域を複数の部分領域に分割し、分割された複数の部分領域に対応する特徴量をそれぞれ抽出することが記載されている。すなわち、特許文献3に記載の技術では、1つの病変候補領域を複数の部分領域に分割することによって、1つの病変候補領域についての診断能が向上する。
特開2019-153250号公報 特開2015-191287号公報 特開2016-007270号公報
ところで、医用画像には複数の病変が含まれる場合があり、ある病変単体に基づき推定される病名と、他の病変についても加味して推定される病名とが異なることがある。例えば、肺の医用画像に複数の結節が含まれる場合に、悪性腫瘍と推定される結節が存在したり、結節の数が多かったりすると、単体では良性腫瘍と推定される結節についても、転移性(悪性)腫瘍であると推定病名が覆ることがある。また例えば、CT画像のみ、及びMRI画像のみからは診断できない病変が、CT画像とMRI画像とを組み合わせることによって診断可能になることがある。そこで、医用画像に含まれる複数の病変に基づく診断を支援できる技術が望まれている。
本開示は、医用画像の読影を支援できる情報処理装置、情報処理方法及び情報処理プログラムを提供する。
本開示の第1態様は、情報処理装置であって、少なくとも1つのプロセッサを備え、プロセッサは、複数の病変領域を含む医用画像を取得し、複数の病変領域の各々について複数の第1所見情報を特定し、複数の第1所見情報の組合せに基づいて、複数の病変領域のうち少なくとも1つの病変領域についての第2所見情報を特定する。
本開示の第2態様は、上記第1態様において、第1所見情報は、病変領域の種類、性状、位置及び大きさのうち少なくとも1つを示し、プロセッサは、複数の第1所見情報によって示される病変領域の種類、性状、位置、大きさ及び数のうち少なくとも1つに基づいて、第2所見情報を特定してもよい。
本開示の第3態様は、上記第1態様又は第2態様において、プロセッサは、複数の第1所見情報及び医用画像に基づいて、第2所見情報を特定してもよい。
本開示の第4態様は、上記第1態様から第3態様の何れか1つにおいて、第2所見情報は、複数の病変領域の各々についての第1所見情報を更新するものであってもよい。
本開示の第5態様は、上記第1態様から第4態様の何れか1つにおいて、第2所見情報は、複数の第1所見情報から特定される総合的な所見であってもよい。
本開示の第6態様は、上記第1態様から第5態様の何れか1つにおいて、プロセッサは、病変領域を入力とし、第1所見情報を出力とするよう予め学習された第1学習モデルを用いて、複数の第1所見情報を特定し、複数の第1所見情報を入力とし、第2所見情報を出力とするよう予め学習された第2学習モデルを用いて、第2所見情報を特定してもよい。
本開示の第7態様は、上記第6態様において、第2学習モデルは、複数の第1所見情報及び医用画像を入力としてもよい。
本開示の第8態様は、上記第1態様から第7態様の何れか1つにおいて、医用画像は複数の画像を含んで構成されるものであってもよい。
本開示の第9態様は、情報処理方法であって、複数の病変領域を含む医用画像を取得し、複数の病変領域の各々について複数の第1所見情報を特定し、複数の第1所見情報の組合せに基づいて、複数の病変領域のうち少なくとも1つの病変領域についての第2所見情報を特定する処理を含む。
本開示の第10態様は、情報処理プログラムであって、複数の病変領域を含む医用画像を取得し、複数の病変領域の各々について複数の第1所見情報を特定し、複数の第1所見情報の組合せに基づいて、複数の病変領域のうち少なくとも1つの病変領域についての第2所見情報を特定する処理をコンピュータに実行させるためのものである。
上記態様によれば、本開示の情報処理装置、情報処理方法及び情報処理プログラムは、医用画像の読影を支援できる。
情報処理システムの概略構成の一例を示す図である。 医用画像の一例を示す図である。 医用画像の一例を示す図である。 情報処理装置のハードウェア構成の一例を示すブロック図である。 情報処理装置の機能的な構成の一例を示すブロック図である。 医用画像の一例を示す図である。 第1所見情報の特定方法を説明するための図である。 第2所見情報の特定方法を説明するための図である。 ディスプレイに表示される画面の一例を示す図である。 情報処理の一例を示すフローチャートである。
以下、図面を参照して本開示の実施形態について説明する。まず、本開示の情報処理装置10を適用した情報処理システム1の構成について説明する。図1は、情報処理システム1の概略構成を示す図である。図1に示す情報処理システム1は、公知のオーダリングシステムを用いた診療科の医師からの検査オーダに基づいて、被検体の検査対象部位の撮影、撮影により取得された医用画像の保管を行う。また、読影医による医用画像の読影作業及び読影レポートの作成、並びに、依頼元の診療科の医師による読影レポートの閲覧を行う。
図1に示すように、情報処理システム1は、撮影装置2、読影端末である読影WS(WorkStation)3、診療WS4、画像サーバ5、画像DB(DataBase)6、レポートサーバ7及びレポートDB8を含む。撮影装置2、読影WS3、診療WS4、画像サーバ5、画像DB6、レポートサーバ7及びレポートDB8は、有線又は無線のネットワーク9を介して互いに通信可能な状態で接続されている。
各機器は、情報処理システム1の構成要素として機能させるためのアプリケーションプログラムがインストールされたコンピュータである。アプリケーションプログラムは、例えば、DVD-ROM(Digital Versatile Disc Read Only Memory)及びCD-ROM(Compact Disc Read Only Memory)等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされてもよい。また例えば、ネットワーク9に接続されたサーバコンピュータの記憶装置又はネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じてコンピュータにダウンロードされ、インストールされてもよい。
撮影装置2は、被検体の診断対象となる部位を撮影することにより、診断対象部位を表す医用画像を生成する装置(モダリティ)である。撮影装置2の一例としては、単純X線撮影装置、CT(Computed Tomography)装置、MRI(Magnetic Resonance Imaging)装置、PET(Positron Emission Tomography)装置、超音波診断装置、内視鏡及び眼底カメラ等が挙げられる。撮影装置2により生成された医用画像は画像サーバ5に送信され、画像DB6に保存される。
図2は、撮影装置2によって取得される医用画像の一例を模式的に示す図である。図2に示す医用画像Tは、例えば、1人の被検体(人体)の頭部から腰部までの断層面をそれぞれ表す複数の断層画像T1~Tm(mは2以上)からなるCT画像である。
図3は、複数の断層画像T1~Tmのうちの1枚の断層画像Txの一例を模式的に示す図である。図3に示す断層画像Txは、肺を含む断層面を表す。各断層画像T1~Tmには、人体の各種器官及び臓器(例えば肺及び肝臓等)、並びに、各種器官及び臓器を構成する各種組織(例えば血管、神経及び筋肉等)等を示す構造物の領域SAが含まれ得る。また、各断層画像には、例えば結節、腫瘍、損傷、欠損及び炎症等の病変領域AAが含まれ得る。図3に示す断層画像Txにおいては、肺の領域が構造物の領域SAであり、結節の領域が病変領域AAである。なお、1枚の断層画像に複数の構造物の領域SA及び/又は病変領域AAが含まれていてもよい。以下、医用画像に含まれる構造物の領域SA、及び医用画像に含まれる病変領域AAの少なくとも一方を「関心領域」という。
読影WS3は、例えば放射線科の読影医等の医療従事者が、医用画像の読影及び読影レポートの作成等に利用するコンピュータであり、本実施形態に係る情報処理装置10を内包する。読影WS3では、画像サーバ5に対する医用画像の閲覧要求、画像サーバ5から受信した医用画像に対する各種画像処理、医用画像の表示、及び、医用画像に関する文章の入力受付が行われる。また、読影WS3では、医用画像に対する解析処理、解析結果に基づく読影レポートの作成の支援、レポートサーバ7に対する読影レポートの登録要求及び閲覧要求、並びに、レポートサーバ7から受信した読影レポートの表示が行われる。これらの処理は、読影WS3が各処理のためのソフトウェアプログラムを実行することにより行われる。
診療WS4は、例えば診療科の医師等の医療従事者が、医用画像の詳細観察、読影レポートの閲覧、及び、電子カルテの作成等に利用するコンピュータであり、処理装置、ディスプレイ等の表示装置、並びにキーボード及びマウス等の入力装置を含んで構成される。診療WS4では、画像サーバ5に対する医用画像の閲覧要求、画像サーバ5から受信した医用画像の表示、レポートサーバ7に対する読影レポートの閲覧要求、及び、レポートサーバ7から受信した読影レポートの表示が行われる。これらの処理は、診療WS4が各処理のためのソフトウェアプログラムを実行することにより行われる。
画像サーバ5は、汎用のコンピュータにデータベース管理システム(DataBase Management System:DBMS)の機能を提供するソフトウェアプログラムがインストールされたものである。画像サーバ5は、画像DB6と接続される。なお、画像サーバ5と画像DB6との接続形態は特に限定されず、データバスによって接続される形態でもよいし、NAS(Network Attached Storage)及びSAN(Storage Area Network)等のネットワークを介して接続される形態でもよい。
画像DB6は、例えば、HDD(Hard Disk Drive)、SSD(Solid State Drive)及びフラッシュメモリ等の記憶媒体によって実現される。画像DB6には、撮影装置2において取得された医用画像と、医用画像に付帯された付帯情報と、が対応付けられて登録される。
付帯情報には、例えば、医用画像を識別するための画像ID(identification)、医用画像に含まれる断層画像ごとに割り振られる断層ID、被検体を識別するための被検体ID、及び検査を識別するための検査ID等の識別情報が含まれてもよい。また、付帯情報には、例えば、医用画像の撮影に関する撮影方法、撮影条件、撮影目的及び撮影日時等の撮影に関する情報が含まれていてもよい。「撮影方法」及び「撮影条件」とは、例えば、撮影装置2の種類、撮影部位、撮影プロトコル、撮影シーケンス、撮像手法、造影剤の使用有無及び断層撮影におけるスライス厚等である。また、付帯情報には、被検体の名前、生年月日、年齢及び性別等の被検体に関する情報が含まれていてもよい。
また、画像サーバ5は、撮影装置2からの医用画像の登録要求を受信すると、その医用画像をデータベース用のフォーマットに整えて画像DB6に登録する。また、画像サーバ5は、読影WS3及び診療WS4からの閲覧要求を受信すると、画像DB6に登録されている医用画像を検索し、検索された医用画像を閲覧要求元の読影WS3及び診療WS4に送信する。
レポートサーバ7は、汎用のコンピュータにデータベース管理システムの機能を提供するソフトウェアプログラムがインストールされたものである。レポートサーバ7は、レポートDB8と接続される。なお、レポートサーバ7とレポートDB8との接続形態は特に限定されず、データバスによって接続される形態でもよいし、NAS及びSAN等のネットワークを介して接続される形態でもよい。
レポートDB8は、例えば、HDD、SSD及びフラッシュメモリ等の記憶媒体によって実現される。レポートDB8には、読影WS3において作成された読影レポートが登録される。また、レポートDB8には、医用画像に関する所見情報が記憶されていてもよい。所見情報とは、例えば読影WS3がCAD(Computer Aided Detection/Diagnosis)技術及びAI(Artificial Intelligence)技術等を用いて医用画像を画像解析して得た情報、並びにユーザが医用画像を読影して入力した情報等である(詳細は後述)。
また、レポートサーバ7は、読影WS3からの読影レポートの登録要求を受信すると、その読影レポートをデータベース用のフォーマットに整えてレポートDB8に登録する。また、レポートサーバ7は、読影WS3及び診療WS4からの読影レポートの閲覧要求を受信すると、レポートDB8に登録されている読影レポートを検索し、検索された読影レポートを閲覧要求元の読影WS3及び診療WS4に送信する。
ネットワーク9は、例えば、LAN(Local Area Network)及びWAN(Wide Area Network)等のネットワークである。なお、情報処理システム1に含まれる撮影装置2、読影WS3、診療WS4、画像サーバ5、画像DB6、レポートサーバ7及びレポートDB8は、それぞれ同一の医療機関に配置されていてもよいし、異なる医療機関等に配置されていてもよい。また、撮影装置2、読影WS3、診療WS4、画像サーバ5、画像DB6、レポートサーバ7及びレポートDB8の各装置の台数は図1に示す台数に限らず、各装置はそれぞれ同様の機能を有する複数台の装置で構成されていてもよい。
ところで、医用画像には複数の病変が含まれる場合があり、ある病変単体に基づき推定される病名と、他の病変についても加味して推定される病名とが異なることがある。例えば、肺の医用画像に複数の結節が含まれる場合に、悪性腫瘍と推定される結節が存在したり、結節の数が多かったりすると、単体では良性腫瘍と推定される結節についても、転移性(悪性)腫瘍であると推定病名が覆ることがある。また例えば、CT画像のみ、及びMRI画像のみからは診断できない病変が、CT画像とMRI画像とを組み合わせることによって診断可能になることがある。
そこで、本実施形態に係る情報処理装置10は、医用画像に複数の病変が含まれる場合に、当該複数の病変に基づく所見を特定することによって、医用画像の読影を支援する機能を有する。以下、情報処理装置10について説明する。上述したように、情報処理装置10は読影WS3に内包される。
まず、図4を参照して、本実施形態に係る情報処理装置10のハードウェア構成の一例を説明する。図4に示すように、情報処理装置10は、CPU(Central Processing Unit)21、不揮発性の記憶部22、及び一時記憶領域としてのメモリ23を含む。また、情報処理装置10は、液晶ディスプレイ等のディスプレイ24、キーボード及びマウス等の入力部25、並びにネットワークI/F(Interface)26を含む。ネットワークI/F26は、ネットワーク9に接続され、有線及び/又は無線通信を行う。CPU21、記憶部22、メモリ23、ディスプレイ24、入力部25及びネットワークI/F26は、システムバス及びコントロールバス等のバス28を介して相互に各種情報の授受が可能に接続されている。
記憶部22は、例えば、HDD、SSD及びフラッシュメモリ等の記憶媒体によって実現される。記憶部22には、情報処理装置10における情報処理プログラム27が記憶される。CPU21は、記憶部22から情報処理プログラム27を読み出してからメモリ23に展開し、展開した情報処理プログラム27を実行する。CPU21が本開示のプロセッサの一例である。情報処理装置10としては、例えば、パーソナルコンピュータ、サーバコンピュータ、スマートフォン、タブレット端末及びウェアラブル端末等を適宜適用できる。
次に、図5~図9を参照して、本実施形態に係る情報処理装置10の機能的な構成の一例について説明する。図5に示すように、情報処理装置10は、取得部30、第1特定部32、第2特定部34及び制御部36を含む。CPU21が情報処理プログラム27を実行することにより、CPU21が取得部30、第1特定部32、第2特定部34及び制御部36の各機能部として機能する。
取得部30は、画像サーバ5から、被検体を撮影して得られた複数の病変領域を含む医用画像を取得する。ここで、取得部30が取得する医用画像は、1つの画像からなるものであってもよいし、例えば図2の断層画像T1~Tmからなる医用画像Tのように、複数の画像を含んで構成されていてもよい。したがって例えば、1つの画像に複数の病変領域が含まれていてもよいし、複数の画像のそれぞれに病変領域が含まれていてもよい。また例えば、医用画像が複数の画像を含んで構成される場合、少なくとも一部の画像に病変領域が含まれていればよく、一部の画像には病変領域が含まれていなくてもよい。
以下、取得部30が、図6に示す医用画像T10を取得したものとして説明する。医用画像T10は、肺を含む断層面を表す画像であり、構造物(肺)の領域SAと、複数(3つ)の病変領域A1~A3が含まれている。
第1特定部32は、取得部30により取得された医用画像T10から関心領域を抽出する。すなわち、第1特定部32は、医用画像T10から複数の病変領域A1~A3を少なくとも抽出し、その他にも構造物の領域SA等を抽出してもよい。関心領域の抽出手法としては、公知のCAD技術及びAI技術を用いた方法等を適宜適用できる。例えば、第1特定部32は、医用画像を入力とし、当該医用画像に含まれる関心領域を抽出して出力するよう学習されたCNN(Convolutional Neural Network)等の学習モデルを用いて、医用画像から関心領域を抽出してもよい。また例えば、第1特定部32は、入力部25を介したユーザによる手動での関心領域の位置指定を受け付け、当該位置指定に基づき、関心領域を抽出してもよい。
また、第1特定部32は、抽出した複数の病変領域A1~A3の各々について複数の第1所見情報を特定する。例えば図7に示すように、第1特定部32は、医用画像T10から抽出した複数の病変領域A1~A3の各々を第1識別器33に入力することによって、複数の病変領域A1~A3の各々について複数の第1所見情報を特定してもよい。第1識別器33は、病変領域を入力とし、第1所見情報を出力とするよう予め学習されたCNN等の学習モデルである。第1識別器33の学習フェーズにおいては、学習用データとして、病変領域と、第1所見情報との組合せが用いられる。第1識別器33が、本開示の第1学習モデルの一例である。
第1所見情報とは、例えば、医用画像T10に含まれる関心領域の種類(名称)、性状、位置、大きさ等の測定値、及び推定病名等の各種所見を示す。種類(名称)の例としては、「肺」及び「肝臓」等の構造物の種類、並びに、「結節」及び「腫瘤」等の病変の種類が挙げられる。性状とは、主に病変の特徴を意味する。例えば肺結節の場合、「充実型」及び「すりガラス型」等の吸収値、「明瞭/不明瞭」、「平滑/不整」、「スピキュラ」、「分葉状」及び「鋸歯状」等の辺縁形状、並びに、「類円形」及び「不整形」等の全体形状を示す所見が挙げられる。また例えば、「胸膜接触」及び「胸膜陥入」等の周辺組織との関係、並びに、造影有無及びウォッシュアウト等に関する所見が挙げられる。
位置とは、解剖学的な位置、医用画像中の位置、並びに、「内部」、「辺縁」及び「周囲」等の他の関心領域との相対的な位置関係等を意味する。解剖学的な位置とは、「肺」及び「肝臓」等の臓器名で示されてもよいし、肺を「右肺」、「上葉」、及び肺尖区(「S1」)のように細分化した表現で表されてもよい。測定値とは、医用画像から定量的に測定可能な値であり、例えば、関心領域の大きさ及び信号値の少なくとも一方である。大きさは、例えば、関心領域の長径、短径、面積及び体積等で表される。信号値は、例えば、関心領域の画素値、及び単位をHUとするCT値等で表される。推定病名とは、病変に基づいて推定した評価結果であり、例えば、「がん」及び「炎症」等の病名、並びに、病名及び性状に関する「陰性/陽性」、「良性/悪性」及び「軽症/重症」等の評価結果が挙げられる。
なお、図7においては、1つの病変領域A1について「結節」、「辺縁平滑」、「良性腫瘍」の3つの第1所見情報が特定されているように、それぞれの病変領域A1~A3について複数の第1所見情報が特定されている例を示しているが、これに限らない。それぞれの病変領域A1~A3については、少なくとも1つずつの第1所見情報が特定されればよい。すなわち、本開示の第1特定部32によって特定される「複数の第1所見情報」とは、複数の病変領域A1~A3の各々についての第1所見情報が合わせて複数あることを意味する。
第2特定部34は、第1特定部32により特定された複数の第1所見情報の組合せに基づいて、複数の病変領域A1~A3のうち少なくとも1つの病変領域についての第2所見情報を特定する。第2所見情報とは、例えば第1所見情報と同様の、医用画像T10に含まれる関心領域の種類(名称)、性状、位置、大きさ等の測定値、及び推定病名等の各種所見を示す。
具体的には、第2特定部34は、複数の第1所見情報によって示される病変領域の種類、性状、位置、大きさ等の測定値及び数のうち少なくとも1つに基づいて、第2所見情報を特定してもよい。例えば、第2特定部34は、ある種類Aの病変の数が予め定められた閾値以上である場合に、当該種類Aの病変が単体で存在する場合には推定されないような推定病名αを示す第2所見情報を特定してもよい。また例えば、第2特定部34は、互いに異なる種類B及び種類Cの病変の組合せに基づいて、それぞれが単体で存在する場合には推定されないような推定病名βを示す第2所見情報を特定してもよい。
また例えば、第2特定部34は、上記各例において病変の性状及び大きさ等の測定値に関する条件も適宜組み合わせてもよい。例えば、第2特定部34は、性状Xを有する種類Aの病変の数が予め定められた閾値以上である場合に、推定病名γを示す第2所見情報を特定してもよい。また例えば、第2特定部34は、性状Yを有する種類Bの病変と、性状Zを有する種類Cの病変との組合せに基づいて、推定病名δを示す第2所見情報を特定してもよい。
また例えば、第2特定部34は、上記各例において病変の位置に関する条件も適宜組み合わせてもよい。例えば、第2特定部34は、予め定められた範囲内に存在する種類Aの病変の数が予め定められた閾値以上である場合に、推定病名εを示す第2所見情報を特定してもよい。また例えば、第2特定部34は、互いに異なる種類B及び種類Cの病変が予め定められた範囲内に両方存在する場合に、推定病名ζを示す第2所見情報を特定してもよい。
なお、第2特定部34は、第1特定部32により特定された複数の第1所見情報、及び取得部30により取得された医用画像に基づいて、第2所見情報を特定してもよい。例えば、病変領域同士の相対的な位置関係等の、病変領域の位置については、第1所見情報によって示すことが困難な場合がある。この場合、第2特定部34が、医用画像に基づいて病変領域の位置を特定し、第2所見情報の特定に用いてもよい。
なお、第2所見情報は、複数の病変領域A1~A3の各々についての第1所見情報を更新するものであってもよい。例えば、第1所見情報として「良性」が特定されていた場合に、第2特定部34は、「良性」という第1所見情報を「悪性」という第2所見情報に置き換えてもよい。
また、第2所見情報は、第1特定部32により特定された複数の第1所見情報から特定される総合的な所見であってもよい。例えば、第2特定部34は、第1所見情報単体では特定が困難な「多発性」という第2所見情報を新たに追加してもよい。
第2所見情報の特定方法としては、複数の第1所見情報を入力とし、第2所見情報を出力とするよう予め学習されたCNN等の学習モデルを用いることができる。また、上述したように第2所見情報の特定に医用画像も用いる場合は、複数の第1所見情報に加えて、医用画像も入力とする学習モデルを用いてもよい。以下、図8を参照して、このような学習モデルである第2識別器35を用いた第2所見情報の特定方法について説明する。第2識別器35が、本開示の第2学習モデルの一例である。
まず、図8に示すように、第2特定部34は、第1特定部32により特定された複数の第1所見情報に基づき、医用画像T10の画素ごとに第1所見情報を埋め込んだマップC1~Cnを生成する。マップC1~Cnは、「結節」、「辺縁平滑」、「スピキュラ」、「良性腫瘍」及び「肺がん」等の、第1特定部32により特定された第1所見情報の種類ごとに生成される。すなわち、nは第1所見情報の種類数に対応し、1以上である。
例えば、「結節」を示す第1所見情報が病変領域A1~A3のそれぞれについて特定されている場合、第2特定部34は、「結節」に対応するマップにおける病変領域A1~A3のそれぞれに対応する画素に「1」を付与し、その他の画素に「0」を付与する。また例えば、「スピキュラ」を示す第1所見情報が病変A3には特定され、病変A1及びA2には特定されていない場合、第2特定部34は、「スピキュラ」に対応するマップにおける病変領域A3に対応する画素に「1」を付与し、病変領域A1及びA2を含むその他の画素に「0」を付与する。
なお、マップC1~Cnは、第1所見情報の有無を示す「1」又は「0」により表されるものに限らない。例えば、第1識別器33は、病変領域の第1所見情報を特定する場合に、確信度も出力するものであってもよい。この場合、第2特定部34は、当該確信度に応じたマップ(例えばヒートマップ)を生成してもよい。
このようにして、第2特定部34は、第1特定部32により特定された全ての種類の第1所見情報についてマップC1~Cnを生成する。マップC1~Cnによって、第1所見情報が医用画像T10のどの画素(位置)に基づいて特定されたかが分かる。第2識別器35の学習フェーズにおいては、学習用データとして、このマップC1~Cnと、第2所見情報との組合せが用いられる。
次に、第2特定部34は、マップC1~Cn及び医用画像T10を第2識別器35に入力することによって、複数の病変領域A1~A3のうち少なくとも1つの病変領域についての第2所見情報を特定する。図8においては、複数の病変領域A1~A3についての第1所見情報(図7参照)としては特定されなかった第2所見情報として、総合的な推定病名「多発性肺がん」が特定されている。
また、第2特定部34は、特定した第2所見情報を含む所見文を生成してもよい。所見文の生成手法としては、公知のCAD技術及びAI技術を用いた方法等を適宜適用できる。例えば、第2特定部34は、上記特許文献1に記載のリカレントニューラルネットワーク等の機械学習を用いた手法を用いて所見文を生成してもよい。また例えば、第2特定部34は、予め定められたテンプレートに第2所見情報を埋め込むことによって所見文を生成してもよい。
制御部36は、第2特定部34により特定された第2所見情報をディスプレイ24に表示させる制御を行ってもよい。図9に、制御部36によってディスプレイ24に表示される画面D1の一例を示す。画面D1には、第2所見情報90が含まれている。
また、制御部36は、第2特定部34により生成された所見文をディスプレイ24に表示させる制御を行ってもよい。画面D1には、病変領域A1~A3のそれぞれに関する所見文92が含まれている。
また、制御部36は、第1特定部32により特定された複数の病変領域A1~A3を強調表示して、医用画像T10をディスプレイ24に表示させる制御を行ってもよい。画面D1には医用画像T10が含まれ、そのうち病変領域A1~A3がそれぞれバウンディングボックスB1~B3で囲われることによって強調されている。
なお、強調表示の方法としては、図9に示すようなバウンディングボックスB1~B3を用いた方法に限定されない。例えば、制御部36は、病変領域の付近に矢印等のマーカを付したり、病変領域A1~A3とその他の領域で色等の表示方法を異ならせたり(所謂マスク処理)、医用画像T10における病変領域A1~A3の部分を拡大表示したりしてもよい。
次に、図10を参照して、本実施形態に係る情報処理装置10の作用を説明する。情報処理装置10において、CPU21が情報処理プログラム27を実行することによって、図10に示す情報処理が実行される。情報処理は、例えば、ユーザにより入力部25を介して実行開始の指示があった場合に実行される。
ステップS10で、取得部30は、画像サーバ5から、被検体を撮影して得られた複数の病変領域を含む医用画像を取得する。ステップS12で、第1特定部32は、ステップS10で取得された医用画像から複数の病変領域を抽出し、抽出した複数の病変領域の各々について複数の第1所見情報を特定する。
ステップS14で、第2特定部34は、ステップS12で特定された複数の第1所見情報の組合せに基づいて、複数の病変領域のうち少なくとも1つの病変領域についての第2所見情報を特定する。ステップS16で、制御部36は、ステップS14で特定された第2所見情報をディスプレイ24に表示させる制御を行い、本情報処理を終了する。
以上説明したように、本開示の一態様に係る情報処理装置10は、少なくとも1つのプロセッサを備え、プロセッサは、複数の病変領域を含む医用画像を取得し、複数の病変領域の各々について複数の第1所見情報を特定し、複数の第1所見情報の組合せに基づいて、複数の病変領域のうち少なくとも1つの病変領域についての第2所見情報を特定する。
すなわち、本実施形態に係る情報処理装置10によれば、医用画像に複数の病変が含まれる場合に、当該複数の病変に基づく所見情報を特定できるので、医用画像の読影を支援できる。
なお、上記実施形態の図6~図8を用いた説明においては、1つの医用画像T10に複数の病変領域A1~A3が含まれている形態について説明したが、これに限らない。上述したように、取得部30が取得する医用画像は、例えば図2の断層画像T1~Tmからなる医用画像Tのように、複数の画像を含んで構成されるものであってもよい。したがって例えば、第1特定部32及び第2特定部34は、それぞれ異なる画像から抽出された複数の病変領域について、第1所見情報及び第2所見情報を特定してもよい。
また例えば、取得部30が取得する医用画像は、CT画像とMRI画像の組合せのように、同一部位を異なる種類の撮影装置2で撮影して得られるものであってもよい。この場合、CT画像に含まれる病変領域と、MRI画像に含まれる病変領域とは実質的には同一の病変を撮影したものであるが、本開示においては別の病変領域(すなわち「複数の病変領域」)とみなすものとする。
また、上記実施形態において、第1特定部32及び第2特定部34は、第1所見情報及び第2所見情報について、入力部25を介したユーザによる手動での追加及び修正を受け付けてもよい。したがって例えば、第1所見情報についてユーザによる修正を受け付けた場合、第2特定部34は、修正後の第1所見情報に基づいて、第2所見情報を特定してもよい。
また、上記実施形態において、例えば、取得部30、第1特定部32、第2特定部34及び制御部36といった各種の処理を実行する処理部(processing unit)のハードウェア的な構造としては、次に示す各種のプロセッサ(processor)を用いることができる。上記各種のプロセッサには、前述したように、ソフトウェア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPUに加えて、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、ASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
1つの処理部は、これらの各種のプロセッサのうちの1つで構成されてもよいし、同種又は異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせや、CPUとFPGAとの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。
複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアント及びサーバ等のコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System on Chip:SoC)等に代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの1つ以上を用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路(circuitry)を用いることができる。
また、上記実施形態では、情報処理プログラム27が記憶部22に予め記憶(インストール)されている態様を説明したが、これに限定されない。情報処理プログラム27は、CD-ROM(Compact Disc Read Only Memory)、DVD-ROM(Digital Versatile Disc Read Only Memory)、及びUSB(Universal Serial Bus)メモリ等の記録媒体に記録された形態で提供されてもよい。また、情報処理プログラム27は、ネットワークを介して外部装置からダウンロードされる形態としてもよい。さらに、本開示の技術は、情報処理プログラムに加えて、情報処理プログラムを非一時的に記憶する記憶媒体にもおよぶ。
本開示の技術は、上記実施形態例及び実施例を適宜組み合わせることも可能である。以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことはいうまでもない。
1 情報処理システム
2 撮影装置
3 読影WS
4 診療WS
5 画像サーバ
6 画像DB
7 レポートサーバ
8 レポートDB
9 ネットワーク
10 情報処理装置
21 CPU
22 記憶部
23 メモリ
24 ディスプレイ
25 入力部
26 ネットワークI/F
27 情報処理プログラム
28 バス
30 取得部
32 第1特定部
33 第1識別器
34 第2特定部
35 第2識別器
36 制御部
90 第2所見情報
92 所見文
A1~A3、AA 病変領域
B1~B3 バウンディングボックス
C1~Cn マップ
D1 画面
SA 構造物の領域
T、T10 医用画像
T1~Tm、Tx 断層画像

Claims (10)

  1. 少なくとも1つのプロセッサを備え、
    前記プロセッサは、
    複数の病変領域を含む医用画像を取得し、
    前記複数の病変領域の各々について複数の第1所見情報を特定し、
    前記複数の第1所見情報の組合せに基づいて、前記複数の病変領域のうち少なくとも1つの病変領域についての第2所見情報を特定する
    情報処理装置。
  2. 前記第1所見情報は、前記病変領域の種類、性状、位置及び大きさのうち少なくとも1つを示し、
    前記プロセッサは、
    前記複数の第1所見情報によって示される病変領域の種類、性状、位置、大きさ及び数のうち少なくとも1つに基づいて、前記第2所見情報を特定する
    請求項1に記載の情報処理装置。
  3. 前記プロセッサは、
    前記複数の第1所見情報及び前記医用画像に基づいて、前記第2所見情報を特定する
    請求項1に記載の情報処理装置。
  4. 前記第2所見情報は、前記複数の病変領域の各々についての前記第1所見情報を更新するものである
    請求項1に記載の情報処理装置。
  5. 前記第2所見情報は、前記複数の第1所見情報から特定される総合的な所見である
    請求項1に記載の情報処理装置。
  6. 前記プロセッサは、
    前記病変領域を入力とし、前記第1所見情報を出力とするよう予め学習された第1学習モデルを用いて、前記複数の第1所見情報を特定し、
    前記複数の第1所見情報を入力とし、前記第2所見情報を出力とするよう予め学習された第2学習モデルを用いて、前記第2所見情報を特定する
    請求項1に記載の情報処理装置。
  7. 前記第2学習モデルは、前記複数の第1所見情報及び前記医用画像を入力とする
    請求項6に記載の情報処理装置。
  8. 前記医用画像は複数の画像を含んで構成される
    請求項1に記載の情報処理装置。
  9. 複数の病変領域を含む医用画像を取得し、
    前記複数の病変領域の各々について複数の第1所見情報を特定し、
    前記複数の第1所見情報の組合せに基づいて、前記複数の病変領域のうち少なくとも1つの病変領域についての第2所見情報を特定する
    処理を含む情報処理方法。
  10. 複数の病変領域を含む医用画像を取得し、
    前記複数の病変領域の各々について複数の第1所見情報を特定し、
    前記複数の第1所見情報の組合せに基づいて、前記複数の病変領域のうち少なくとも1つの病変領域についての第2所見情報を特定する
    処理をコンピュータに実行させるための情報処理プログラム。
JP2022150755A 2022-09-21 2022-09-21 情報処理装置、情報処理方法及び情報処理プログラム Pending JP2024044922A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022150755A JP2024044922A (ja) 2022-09-21 2022-09-21 情報処理装置、情報処理方法及び情報処理プログラム
EP23196986.6A EP4343781A1 (en) 2022-09-21 2023-09-12 Information processing apparatus, information processing method, and information processing program
US18/466,830 US20240095915A1 (en) 2022-09-21 2023-09-14 Information processing apparatus, information processing method, and information processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022150755A JP2024044922A (ja) 2022-09-21 2022-09-21 情報処理装置、情報処理方法及び情報処理プログラム

Publications (1)

Publication Number Publication Date
JP2024044922A true JP2024044922A (ja) 2024-04-02

Family

ID=88018157

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022150755A Pending JP2024044922A (ja) 2022-09-21 2022-09-21 情報処理装置、情報処理方法及び情報処理プログラム

Country Status (3)

Country Link
US (1) US20240095915A1 (ja)
EP (1) EP4343781A1 (ja)
JP (1) JP2024044922A (ja)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8014576B2 (en) * 2005-11-23 2011-09-06 The Medipattern Corporation Method and system of computer-aided quantitative and qualitative analysis of medical images
JP6109778B2 (ja) 2014-03-27 2017-04-05 富士フイルム株式会社 類似症例検索装置、類似症例検索方法、及び類似症例検索プログラム
JP6510189B2 (ja) 2014-06-23 2019-05-08 キヤノンメディカルシステムズ株式会社 医用画像処理装置
JP2019153250A (ja) * 2018-03-06 2019-09-12 富士フイルム株式会社 医療文書作成支援装置、方法およびプログラム
US11610306B2 (en) * 2020-12-16 2023-03-21 Industrial Technology Research Institute Medical image analysis method and device
CN114140378A (zh) * 2021-09-26 2022-03-04 上海联影智能医疗科技有限公司 扫描图像处理方法、电子设备和可读介质

Also Published As

Publication number Publication date
US20240095915A1 (en) 2024-03-21
EP4343781A1 (en) 2024-03-27

Similar Documents

Publication Publication Date Title
JP2022058397A (ja) 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム
WO2020209382A1 (ja) 医療文書作成装置、方法およびプログラム
US20230005601A1 (en) Document creation support apparatus, method, and program
US11978274B2 (en) Document creation support apparatus, document creation support method, and document creation support program
WO2022153702A1 (ja) 医用画像表示装置、方法およびプログラム
JP2021175454A (ja) 医用画像処理装置、方法およびプログラム
EP4343781A1 (en) Information processing apparatus, information processing method, and information processing program
JP7436698B2 (ja) 医用画像処理装置、方法およびプログラム
EP4343780A1 (en) Information processing apparatus, information processing method, and information processing program
US20230326580A1 (en) Information processing apparatus, information processing method, and information processing program
US20230102418A1 (en) Medical image display apparatus, method, and program
JP7376715B2 (ja) 経過予測装置、経過予測装置の作動方法および経過予測プログラム
WO2023199957A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
EP4343695A1 (en) Information processing apparatus, information processing method, and information processing program
WO2023199956A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
US20230102745A1 (en) Medical image display apparatus, method, and program
US20230121783A1 (en) Medical image processing apparatus, method, and program
WO2022113587A1 (ja) 画像表示装置、方法およびプログラム
US20230245316A1 (en) Information processing apparatus, information processing method, and information processing program
US20230225681A1 (en) Image display apparatus, method, and program
US20230289534A1 (en) Information processing apparatus, information processing method, and information processing program
WO2024071246A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
US20230223124A1 (en) Information processing apparatus, information processing method, and information processing program
EP4287195A1 (en) Information processing device, method, and program
WO2022215530A1 (ja) 医用画像装置、医用画像方法、及び医用画像プログラム