JP7428055B2 - Diagnostic support system, diagnostic support device and program - Google Patents
Diagnostic support system, diagnostic support device and program Download PDFInfo
- Publication number
- JP7428055B2 JP7428055B2 JP2020068729A JP2020068729A JP7428055B2 JP 7428055 B2 JP7428055 B2 JP 7428055B2 JP 2020068729 A JP2020068729 A JP 2020068729A JP 2020068729 A JP2020068729 A JP 2020068729A JP 7428055 B2 JP7428055 B2 JP 7428055B2
- Authority
- JP
- Japan
- Prior art keywords
- region
- interest
- medical image
- outside
- medical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 claims description 59
- 230000005856 abnormality Effects 0.000 claims description 41
- 238000013473 artificial intelligence Methods 0.000 claims description 40
- 238000003745 diagnosis Methods 0.000 claims description 18
- 238000000034 method Methods 0.000 claims description 13
- 238000003384 imaging method Methods 0.000 claims description 8
- 238000004891 communication Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 8
- 230000003902 lesion Effects 0.000 description 6
- 210000000038 chest Anatomy 0.000 description 4
- 230000000052 comparative effect Effects 0.000 description 3
- 238000002591 computed tomography Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 238000004091 panning Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 239000002872 contrast media Substances 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 238000002601 radiography Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Description
本発明は、診断支援システム、診断支援装置及びプログラムに関する。 The present invention relates to a diagnostic support system, a diagnostic support device, and a program.
近年、医用画像の読影診断にAI(人工知能)を活用する技術が提案されている。
例えば、特許文献1には、診断用のX線画像において所望領域(例えば肺野)を矩形上の領域に区切って、AIエンジンによる病変の検知処理に付すことが記載されている。
また、非特許文献1には、X線検査により取得された胸部画像をAIに取り込み、AIで病変の有無を判定し、病変を矩形で囲んで示すことが記載されている。
In recent years, technology has been proposed that utilizes AI (artificial intelligence) for interpretation and diagnosis of medical images.
For example,
Furthermore, Non-Patent
基本的に、医師による読影の対象は関心領域であり、医師は医用画像における関心領域に注目して読影を行っている。
特許文献1の技術は、医師による関心領域の読影診断を支援することができる。しかしながら、医師が意図していない関心領域外に病変等の異常が存在した場合、見落としが生じる可能性がある。一方、非特許文献1の技術では、胸部画像全体をAIに取り込み、病変の判定を行わせていたため、AIの処理負荷が重くなり、高い処理能力のAIエンジンが必要であった。
Basically, the object of image interpretation by a doctor is a region of interest, and the doctor performs image interpretation by focusing on the region of interest in a medical image.
The technique disclosed in
本発明の課題は、意図しない箇所での異常の発見を補助し、効率的に読影の見落としの防止を図ることである。 An object of the present invention is to assist in finding abnormalities at unintended locations and to efficiently prevent oversights in image interpretation.
上記課題を解決するため、請求項1に記載の発明の診断支援システムは、
対象検査の医用情報に対して行われたユーザーの所定の操作を記憶する記憶手段と、
前記記憶手段に記憶された前記対象検査の医用情報に対するユーザーの前記所定の操作に基づいて、前記対象検査の少なくとも一つの医用画像から関心領域外の領域を特定する特定手段と、
前記医用画像の領域のうち、前記特定手段により特定された前記医用画像の関心領域外の領域のみに対して人工知能による異常検出を行う検出手段と、
を備える。
In order to solve the above problem, the diagnosis support system of the invention according to
a storage means for storing a predetermined operation performed by a user on the medical information of the target test;
identification means for identifying an area outside the region of interest from at least one medical image of the target examination based on the user's predetermined operation on the medical information of the target examination stored in the storage means;
Detection means for performing abnormality detection using artificial intelligence only in a region of the medical image that is outside the region of interest of the medical image specified by the specifying means;
Equipped with.
請求項2に記載の発明は、請求項1に記載の発明において、
前記検出手段による検出結果を出力する出力手段を備える。
The invention according to
An output means is provided for outputting a detection result by the detection means.
請求項3に記載の発明は、請求項1又は2に記載の発明において、
前記特定手段は、前記記憶手段に記憶された前記対象検査の医用情報に対するユーザーの前記所定の操作に基づいて、前記対象検査の少なくとも一つの医用画像から関心領域を特定し、前記医用画像における前記特定された関心領域の外の領域を関心領域外の領域として特定する。
The invention according to
The specifying means specifies a region of interest from at least one medical image of the target test based on the user's predetermined operation on the medical information of the target test stored in the storage unit, and A region outside the specified region of interest is identified as a region outside the region of interest.
請求項4に記載の発明は、請求項1~3のいずれか一項に記載の発明において、
前記特定手段は、さらに、前記関心領域外の領域が特定されていない、前記医用画像と同一患者の他の医用画像について、当該他の医用画像の全体を関心領域外と特定し、
前記検出手段は、前記他の医用画像全体に対して人工知能による異常検出を行う。
The invention according to claim 4 is the invention according to any one of
The specifying means further specifies, with respect to another medical image of the same patient as the medical image, in which a region outside the region of interest has not been specified, the entire other medical image to be outside the region of interest;
The detection means performs abnormality detection on the entire other medical image using artificial intelligence.
請求項5に記載の発明は、請求項1~3のいずれか一項に記載の発明において、
前記特定手段は、さらに、前記関心領域外の領域が特定されていない、前記医用画像と同一患者の他の医用画像について、前記医用画像において関心領域外と特定された領域に対応する領域を関心領域外と特定し、
前記検出手段は、前記他の医用画像の領域のうち、前記他の医用画像の関心領域外の領域のみに対して人工知能による異常検出を行う。
The invention according to claim 5 is the invention according to any one of
The specifying means further determines, with respect to another medical image of the same patient as the medical image, in which a region outside the region of interest has not been specified, a region corresponding to the region identified as outside the region of interest in the medical image. Identified as outside the area,
The detection means performs abnormality detection using artificial intelligence only in a region of the other medical image that is outside the region of interest of the other medical image.
請求項6に記載の発明は、請求項4又は5に記載の発明において、
前記他の医用画像は、異なるモダリティーで取得された医用画像か、異なる時刻に取得された医用画像か、又は異なる撮影方法で撮影された医用画像のうち、少なくとも一つの医用画像である。
The invention according to claim 6 is the invention according to claim 4 or 5,
The other medical image is at least one medical image among medical images acquired with a different modality, medical images acquired at different times, or medical images photographed with a different imaging method.
請求項7に記載の発明は、請求項1~6のいずれか一項に記載の発明において、
前記特定手段は、前記記憶手段に記憶された前記所定の操作に基づいて、前記医用画像から関心領域外の領域が特定できなかった場合、前記医用画像全体を関心領域外の領域と特定する。
The invention according to claim 7 is the invention according to any one of
The specifying means specifies the entire medical image as a region outside the region of interest when the region outside the region of interest cannot be specified from the medical image based on the predetermined operation stored in the storage means.
請求項8に記載の発明の診断支援装置は、
対象検査の医用情報に対して行われたユーザーの所定の操作を受け付け、前記所定の操作に基づいて、前記対象検査の少なくとも一つの医用画像から関心領域外の領域を特定する特定手段と、
前記医用画像の領域のうち、前記特定手段により特定された前記医用画像の関心領域外の領域のみに対して人工知能による異常検出を行う検出手段と、
を備える。
The diagnostic support device of the invention according to claim 8 includes:
identification means for receiving a predetermined operation performed by a user on the medical information of the target examination, and identifying an area outside the region of interest from at least one medical image of the target examination based on the predetermined operation;
Detection means for performing abnormality detection using artificial intelligence only in a region of the medical image that is outside the region of interest of the medical image specified by the specifying means;
Equipped with.
請求項9に記載の発明のプログラムは、
コンピューターを、
対象検査の医用情報に対して行われたユーザーの所定の操作を記憶する記憶手段、
前記記憶手段に記憶された前記対象検査の医用情報に対するユーザーの前記所定の操作に基づいて、前記対象検査の少なくとも一つの医用画像から関心領域外の領域を特定する特定手段、
前記医用画像の領域のうち、前記特定手段により特定された前記医用画像の関心領域外の領域のみに対して人工知能による異常検出を行う検出手段、
として機能させる。
The program of the invention according to claim 9 is:
computer,
storage means for storing predetermined operations performed by the user on the medical information of the target test;
identification means for identifying an area outside the region of interest from at least one medical image of the target examination based on the user's predetermined operation on the medical information of the target examination stored in the storage means;
Detection means for performing abnormality detection using artificial intelligence only in a region of the medical image that is outside the region of interest of the medical image specified by the identification means;
function as
本発明によれば、意図しない箇所での異常の発見を補助することができ、効率的に読影の見落としを防止することが可能となる。 According to the present invention, it is possible to assist in finding abnormalities at unintended locations, and it is possible to efficiently prevent oversights in image interpretation.
以下、図面を参照して本発明に係る好適な実施形態について説明する。なお、本発明は、図示例に限定されるものではない。 Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings. Note that the present invention is not limited to the illustrated example.
(診断支援システム100の構成)
まず、本発明の実施形態の構成を説明する。
図1に、本実施形態における診断支援システム100のシステム構成を示す。
図1に示すように、診断支援システム100は、画像生成装置1、サーバー装置2、読影端末3を備えて構成されている。これら各装置1~3は、LAN(Local Area Network)等の医療施設内で構築された通信ネットワークNを介して相互にデータを送受信可能に接続されている。通信ネットワークNは、DICOM(Digital Imaging and Communication in Medicine)規格が適用されている。なお、各装置の台数は、特に限定されない。
(Configuration of diagnosis support system 100)
First, the configuration of an embodiment of the present invention will be described.
FIG. 1 shows the system configuration of a
As shown in FIG. 1, the
以下、各構成装置1~3について説明する。
画像生成装置1は、人体における被写体部位を撮影し、その撮影画像(医用画像)のデジタルデータを生成するモダリティーであり、例えば、CR(Computed Radiography)装置、FPD(Flat Panel Detector)装置、CT(Computed Tomography)装置、MRI(Magnetic Resonance Imaging)装置、超音波診断装置等を適用可能である。
Each
The
なお、画像生成装置1は、上述したDICOM規格に準拠した装置であり、医用画像をDICOMファイル形式で生成する。DICOMファイルは画像部とヘッダ部から構成されている。画像部には医用画像の実データ、ヘッダ部には当該医用画像の付帯情報(DICOM情報)が書き込まれる。画像生成装置1は、撮影により得られた医用画像に上記付帯情報をヘッダ情報として付加して通信ネットワークNを介してサーバー装置2へ送信する。
Note that the
ここで、DICOM情報は、患者情報、検査情報、シリーズ情報、画像情報を含んで構成されている。
患者情報は、医用画像の患者(被検者)に関する各種情報であり、例えば、患者ID、患者氏名、生年月日、年齢、性別、身長、体重等の項目が含まれる。
検査情報は、検査に関する各種情報であり、例えば、検査ID、検査日、検査時刻、検査記述、シリーズ数、画像枚数等の項目が含まれる。
シリーズ情報は、検査に含まれるシリーズに関する各種情報であり、例えば、モダリティー、撮影部位、撮影方法(例えば、撮影方向(スライス方向)、造影剤の有無)、シリーズ記述、側性、シリーズ番号、画像枚数、AEタイトル等の項目が含まれる。
画像情報は、医用画像に関する各種情報であり、例えば、画像番号、患者方向、画像タイプ、ピクセル構造、縦幅、横幅、管電圧、mA、管電流、画素間隔、スライス厚、スライス位置、フレーム番号、フレーム数、TR、TE、WW/WC等の項目が含まれる。
Here, the DICOM information includes patient information, examination information, series information, and image information.
The patient information is various information regarding the patient (subject) of the medical image, and includes items such as patient ID, patient name, date of birth, age, sex, height, and weight.
The examination information is various information regarding the examination, and includes items such as examination ID, examination date, examination time, examination description, number of series, and number of images.
Series information is various information related to the series included in the examination, such as modality, imaging site, imaging method (e.g. imaging direction (slice direction), presence or absence of contrast agent), series description, laterality, series number, image Items such as number of sheets and AE title are included.
Image information includes various information related to medical images, such as image number, patient direction, image type, pixel structure, vertical width, horizontal width, tube voltage, mA, tube current, pixel spacing, slice thickness, slice position, and frame number. , number of frames, TR, TE, WW/WC, and other items are included.
サーバー装置2は、画像生成装置1から送信された医用画像を画像DB(Data Base)251に格納するとともに、付帯情報を付帯情報DB252に格納し、医用画像を管理する。また、サーバー装置2は、読影端末3からの要求に応じて、読影端末3に検査リスト画面やビューアー画面を表示し、ユーザー操作に応じて各種処理を行う。
ここで、検査リスト画面は、読影の対象検査を選択するための検査リストが表示された画面である。ビューアー画面は、対象検査の医用画像を表示して、医師による読影診断を支援するための画面である。
The
Here, the examination list screen is a screen on which an examination list for selecting a target examination for image interpretation is displayed. The viewer screen is a screen for displaying medical images of the target examination to support the doctor's interpretation and diagnosis.
図2に、サーバー装置2の機能構成例を示す。
図2に示すように、サーバー装置2は、制御部21、操作部22、表示部23、通信部24、記憶部25、検出部26を備えて構成され、各部はバス27により接続されている。
FIG. 2 shows an example of the functional configuration of the
As shown in FIG. 2, the
制御部21は、CPU(Central Processing Unit)、RAM(Random Access Memory
)等により構成される。制御部21のCPUは、記憶部25に記憶されているシステムプログラムや処理プログラム等の各種プログラムを読み出してRAMに展開し、展開されたプログラムに従って各種処理を実行する。例えば、制御部21は、記憶部25に記憶されているプログラムとの協働により、後述する診断支援処理を実行する。
The
) etc. The CPU of the
操作部22は、文字入力キー、数字入力キー、及び各種機能キー等を備えたキーボードと、マウス等のポインティングデバイスを備えて構成され、キーボードで押下操作されたキーの押下信号とマウスによる操作信号とを、入力信号として制御部21に出力する。
The
表示部23は、例えば、CRT(Cathode Ray Tube)やLCD(Liquid Crystal Display)等のモニターを備えて構成されており、制御部21から入力される表示信号の指示に従って、各種画面を表示する。
The
通信部24は、LANカード等を備え、通信ネットワークNに接続された外部機器との間でデータの送受信を行う。
The
記憶部25は、例えばHDD(Hard Disk Drive)や半導体の不揮発性メモリ等で構成されている。記憶部25には、前述のように各種プログラムが記憶されている。記憶部25に記憶されているプログラムには、後述する診断支援処理を実行させるためのプログラムが記憶されている。
The
また、記憶部25には、画像DB251、付帯情報DB252が設けられている。
画像DB251は、医用画像や読影レポートを格納するためのデータベースである。
付帯情報DB252は、画像DB251に格納されている医用画像に関する付帯情報を検索可能に格納するデータベースである。
Furthermore, the
The
The
検出部26は、制御部21により指示された医用画像の指定された領域からAI(人工知能)により異常検出処理を行い、検出結果情報を出力する。
本実施形態において、検出部26は、例えば、大量の学習データ(異常(病変)が写っている医用画像と正解ラベル(その医用画像における異常領域及び診断名のペア)を用いて機械学習により学習することにより作成された機械学習モデルを用いて、入力された医用画像の指定された領域から異常検出処理を行い、検出結果情報を医用画像に対応付けて制御部21に出力する。
なお、検出部26を構成するAIは、上述のものに限定されず、どのような手法で異常を検出するものであってもよい。
The
In this embodiment, the
Note that the AI that constitutes the
読影端末3は、読影アプリケーションが搭載された端末である。読影アプリケーションは、ユーザー操作に応じてサーバー装置2にアクセスし、サーバー装置2から送信された検査リスト画面やビューアー画面等を表示し、これらの画面からのユーザー操作を受け付けて、ユーザー操作に応じた処理を実行するアプリケーションである。読影端末3としては、パーソナルコンピューター、タブレット、スマートフォン等が適用可能である。
The
図3に、読影端末3の機能構成例を示す。
図3に示すように、読影端末3は、制御部31、操作部32、表示部33、通信部34、記憶部35を備えて構成され、各部はバス36により接続されている。
FIG. 3 shows an example of the functional configuration of the
As shown in FIG. 3, the
制御部31は、CPU、RAM等により構成される。制御部31のCPUは、記憶部35に記憶されているシステムプログラムや読影アプリケーションを始めとする各種プログラムを読み出してRAMに展開し、展開されたプログラムに従って各種処理を実行する。
The
操作部32は、文字入力キー、数字入力キー、及び各種機能キー等を備えたキーボードと、マウス等のポインティングデバイスを備えて構成され、ユーザーにより押下操作されたキーの押下信号とマウスによる操作信号とを、入力信号として制御部31に出力する。また、操作部32は、表示部33の表示画面にタッチパネルを備える構成として良く、この場合、タッチパネルを介してユーザー操作により入力された指示信号を制御部31に出力する。
The
表示部33は、例えば、CRT(Cathode Ray Tube)やLCD(Liquid Crystal Display)等のモニターを備えて構成されており、制御部31から入力される表示信号の指示に従って、各種画面を表示する。
The
通信部34は、LANカード等により構成され、有線又は無線により通信ネットワークNに接続された外部機器との間でデータの送受信を行う。
The
記憶部35は、例えばHDD(Hard Disk Drive)や半導体の不揮発性メモリ等で構成
されている。記憶部35には、前述のようにシステムプログラムや読影アプリケーションを始めとする各種プログラムが記憶されている。
The
(診断支援システム100の動作)
次に、診断支援システム100の動作について説明する。
読影端末3において読影アプリケーションが起動され、サーバー装置2にログイン要求が行われると、サーバー装置2はログイン認証を行う。認証後、サーバー装置2は、通信部24により読影端末3に検査リスト画面を送信する。読影端末3から読影の対象検査が選択されると、サーバー装置2は、選択された対象検査の医用画像が表示されたビューアー画面の画面情報を生成して通信部24により読影端末3に送信し、診断支援処理を開始する。
(Operation of diagnosis support system 100)
Next, the operation of the
When the image interpretation application is started on the
読影端末3においては、サーバー装置2からビューアー画面が送信されると、ビューアー画面を表示部33に表示する。ビューアー画面は、ユーザーによる各種操作(例えば、医用画像の拡大縮小、パン(医用画像における表示領域の移動)、ROI設定、階調調整、比較読影、読影レポート作成、終了指示等)を受け付け可能に構成されている。制御部31は、読影アプリケーションに従って、操作部32からのユーザー操作に応じた処理を実行するとともに、ユーザー操作の操作情報を通信部34を介してサーバー装置2に送信する。
In the
図4に、サーバー装置2の制御部21により実行される診断支援処理のフローチャートを示す。診断支援処理は、制御部21と記憶部25に記憶されているプログラムとの協働により実行される。また、診断支援処理に対応して読影端末3の制御部31で行われる処理は、制御部31と記憶部35に記憶されている読影アプリケーションとの協働により実行される。
FIG. 4 shows a flowchart of the diagnostic support process executed by the
診断支援処理において、制御部21は、読影端末3におけるビューアー画面上でのユーザー操作の操作情報を通信部24により受信すると、ビューアー画面において対象検査の医用情報に対して所定の操作が行われたか否かを判断し、所定の操作が行われた場合に、その操作情報をRAMに記憶する(ステップS1)。
ここで、医用情報には、医用画像や読影レポートが含まれる。所定の操作は、対象検査の医用画像における関心領域(医師が読影した領域)を特定するために用いられる予め定められた操作であり、例えば、図5に示すように、医用画像の拡大縮小、パン、ROIの設定等の操作や、読影レポートへの情報の書き込み、読影レポートへの画像添付等の操作が挙げられる。
In the diagnosis support process, when the
Here, the medical information includes medical images and interpretation reports. The predetermined operation is a predetermined operation used to specify the region of interest (the region interpreted by the doctor) in the medical image of the target examination. For example, as shown in FIG. Examples include operations such as panning and ROI settings, writing information to an interpretation report, and attaching an image to an interpretation report.
次いで、制御部21は、読影端末3からの操作情報に基づいて、ビューアー画面においてユーザー操作が終了したか否かを判断する(ステップS2)。
例えば、制御部21は、ビューアー画面において終了ボタン等が押下された場合等、所定のタイミングが到来した際に、ユーザー操作が終了したと判断する。
ユーザー操作が終了していないと判断した場合(ステップS2;NO)、制御部21は、ステップS1に戻る。
Next, the
For example, the
If it is determined that the user operation has not been completed (step S2; NO), the
ビューアー画面においてユーザー操作が終了したと判断した場合(ステップS2;YES)、制御部21は、RAMに記憶された、所定の操作の操作情報に基づいて、対象検査の医用画像から関心領域外の領域を特定する(ステップS3)。
すなわち、対象検査の医用情報に対して行われた所定の操作に基づいて、対象検査の医用画像における関心領域を特定し、医用画像における特定した関心領域の外の領域を関心領域外の領域として特定する。この関心領域外の特定にAIを用いることとしてもよい。
If it is determined that the user operation has ended on the viewer screen (step S2; YES), the
That is, based on a predetermined operation performed on the medical information of the target test, a region of interest in the medical image of the target test is identified, and a region outside the specified region of interest in the medical image is defined as a region outside the region of interest. Identify. AI may be used to specify areas outside this region of interest.
ステップS3において、例えば、対象検査に複数のシリーズが含まれており、一部のシリーズの医用画像に対してのみ所定の操作が行われた場合、制御部21は、まず、上述の所定の操作が行われたシリーズの医用画像に対して関心領域外の領域の特定を行う。
関心領域が特定できなかった医用画像については、その医用画像の全体を関心領域外の領域として特定する。これは、「関心領域が特定されていない=画像全てが関心領域外」という考えに基づく。
例えば、検査対象の医用画像がCTにより生成されたシリーズの医用画像である場合、所定の操作から関心領域が特定できた医用画像については、その医用画像における特定された関心領域の外の領域を関心領域外の領域として特定し、例えば、所定の操作が行われなかった等、関心領域が特定できなかった医用画像については、その医用画像の全体を関心領域外の領域として特定する。
In step S3, for example, if the target examination includes a plurality of series and a predetermined operation is performed only on the medical images of some series, the
For medical images for which the region of interest could not be identified, the entire medical image is identified as an area outside the region of interest. This is based on the idea that "the region of interest is not specified = the entire image is outside the region of interest."
For example, if the medical image to be examined is a series of medical images generated by CT, for medical images in which the region of interest has been identified through a predetermined operation, areas outside the identified region of interest in the medical image can be For medical images that are identified as areas outside the region of interest and whose regions of interest cannot be identified because, for example, a predetermined operation was not performed, the entire medical image is identified as an area outside the region of interest.
また、制御部21は、所定の操作が行われた医用画像と比較読影された医用画像や、対象検査の医用画像であって所定の操作が行われなかったシリーズの医用画像等、関心領域外の領域の特定が行われていない他の医用画像についても関心領域外の領域の特定を行う。ここで、他の医用画像とは、関心領域外の領域が特定された医用画像(特定済み医用画像と呼ぶ)と同一患者の医用画像であり、特定済み医用画像とは異なるモダリティーで取得された医用画像か、異なる時刻に撮影された医用画像か、異なる撮影方法で撮影された医用画像のうち、少なくとも一つの医用画像である。
例えば、他の医用画像において所定の操作が行われていた場合は、その所定の操作に基づいて、他の医用画像における関心領域を特定し、他の医用画像における特定した関心領域以外の領域を関心領域外の領域と特定する。他の医用画像において所定の操作が行われていない場合は、特定済みの医用画像の関心領域外の領域に対応する領域(特定済み医用画像の関心領域外と同様の部位が描画された領域)を関心領域外の領域として特定してもよい。あるいは、他の医用画像の全体を関心領域外の領域として特定してもよい。
The
For example, if a predetermined operation has been performed on another medical image, a region of interest in the other medical image is identified based on the predetermined operation, and a region other than the specified region of interest in the other medical image is identified. Identify the area outside the area of interest. If the predetermined operation is not performed on another medical image, an area corresponding to the area outside the area of interest of the identified medical image (an area where a similar part to that outside the area of interest of the identified medical image is drawn) may be specified as a region outside the region of interest. Alternatively, the entirety of another medical image may be specified as a region outside the region of interest.
次いで、制御部21は、AIにより医用画像における関心領域外の領域から異常検出を行う(ステップS4)。
制御部21は、検出部26に、関心領域外の領域が特定された医用画像と関心領域外の領域の位置情報を入力して(または、関心領域外の領域の画像を入力して)、入力された医用画像の関心領域外の領域についてAIにより異常検出を行わせる。
他の医用画像についての関心領域外の領域の特定が行われた場合には、制御部21は、検出部26に他の医用画像とその関心領域外の領域の位置情報を入力して、他の医用画像の関心領域外の領域についてAIにより異常検出を行わせる。
なお、AIによる異常検出は、必ずしも関心領域外の領域の全てに対して行われるものでなくてもよく、関心領域外の領域の一部に対して行われるものであってもよい。例えば、医用画像における被写体領域を認識し、被写体領域外を検出処理の対象からはずすこととしてもよい。
検出部26において、異常検出が終了すると、検出結果を制御部21に出力する。
Next, the
The
When a region outside the region of interest for another medical image is specified, the
Note that abnormality detection using AI does not necessarily have to be performed on the entire region outside the region of interest, and may be performed on a part of the region outside the region of interest. For example, a subject area in a medical image may be recognized, and areas outside the subject area may be excluded from detection processing.
When the abnormality detection is completed, the
制御部21は、異常検出が終了すると、検出結果を通信部24により読影端末3に送信し、読影端末3に検出結果を出力させる(ステップS5)。
例えば、AIにより異常が検出されなかった場合、図6(a)に示すように、「AIによる関心領域外の読影が完了しました」等の、AIによる関心領域外の読影が完了したことを知らせる通知を通信部24により読影端末3に送信し、表示部33に表示させる。また、図6(b)に示すように、異常検出が行われた関心領域外の領域がどこであったかを示す画像を生成して通信部24により読影端末3に送信し、表示部33に表示させる。AIにより異常が検出された場合、図7(a)に示すように、「AIによる関心領域外の読影の結果、異常が見つかりました。確認してください。」等の、AIにより関心領域外から異常が検出されたことを知らせる通知を通信部24により読影端末3に送信し、表示部33に表示させる。また、図7(b)に示すように、医用画像上の異常が検出された箇所をアノテーションAで囲んで表示させる。
When the abnormality detection is completed, the
For example, if no abnormality is detected by the AI, as shown in Figure 6(a), a message indicating that the AI has completed the interpretation of the image outside the region of interest, such as "AI has completed the interpretation of the image outside the region of interest." A notification is sent to the
以上説明したように、診断支援システム100のサーバー装置2によれば、制御部21は、対象検査の医用情報に対して行われたユーザーの所定の操作をRAMに記憶し、記憶された対象検査の医用情報に対するユーザーの所定の操作に基づいて、対象検査の少なくとも一つの医用画像から関心領域外の領域を特定し、特定された領域に対して検出部26により人工知能による異常検出を行う。
したがって、医師による読影の対象とはならない関心領域外から自動的に異常検出を行うので、関心領域外の領域、すなわち、意図しない領域に異常が存在した場合であっても、異常の発見を補助することができ、効率的に読影の見落としを防止することができる。また、検出部26においては画像全体ではなく関心領域外のみを検出処理するため、少ない処理負荷で、効率的に見落としを防止することができる。
As explained above, according to the
Therefore, abnormalities are automatically detected from outside the region of interest, which is not the subject of image interpretation by the doctor, so even if the abnormality exists in an area outside the region of interest, that is, an unintended area, it will assist in finding the abnormality. It is possible to efficiently prevent oversights in image interpretation. Further, since the
また、検出部26による検出結果を読影端末3に出力するので、医師等のユーザーは、医用画像の関心領域外の領域に異常が存在するか否かを確認することができる。
Further, since the detection result by the
また、例えば、制御部21は、RAMに記憶された対象検査の医用情報に対するユーザーの所定の操作に基づいて、対象検査の少なくとも一つの医用画像から関心領域を特定し、医用画像における特定された関心領域の外の領域を関心領域外の領域として特定する。
したがって、ユーザーが読影の際に通常行う関心領域を特定する操作に基づいて関心領域外の領域を特定することができるので、ユーザーに特別な操作を行わせることなく、関心領域外の領域を特定することが可能となる。
Further, for example, the
Therefore, areas outside the region of interest can be identified based on the operations that the user normally performs to identify the region of interest during image interpretation, so areas outside the region of interest can be identified without requiring the user to perform any special operations. It becomes possible to do so.
また、制御部21は、関心領域外の領域が特定されていない同一患者の他の医用画像について、当該他の医用画像の全体を関心領域外と特定し、検出部26により他の医用画像全体に対して人工知能による異常検出を行うので、例えば、比較読影を行った場合等に、ユーザーが他の医用画像についての読影を容易に行うことができ、利便性が向上する。
Further, with respect to other medical images of the same patient in which areas outside the region of interest have not been specified, the
また、制御部21は、関心領域外の領域が特定されていない同一患者の他の医用画像について、前記医用画像において関心領域外と特定された領域に対応する領域を関心領域外と特定し、検出部26により他の医用画像の関心領域外の領域に対して人工知能による異常検出を行うので、例えば、比較読影を行った場合等に、ユーザーが他の医用画像の対応する箇所についての読影を容易に行うことができ、利便性が向上する。
Further, regarding other medical images of the same patient in which a region outside the region of interest has not been specified, the
例えば、制御部21は、同一患者の異なるモダリティーで取得された医用画像、異なる時刻に取得された医用画像、又は異なる撮影方法で撮影された医用画像のうち、少なくとも一つの医用画像について、関心領域外の領域の特定及び異常検出を自動的に行うので、ユーザーがこれらの医用画像の読影を容易に行うことができ、利便性が向上する。
For example, the
また、制御部21は、RAMに記憶された所定の操作に基づいて医用画像から関心領域外の領域が特定できなかった場合、その医用画像全体を関心領域外の領域と特定するので、関心領域外の領域が特定できない場合であっても見落としを防止することができる。
Furthermore, if the area outside the area of interest cannot be identified from the medical image based on a predetermined operation stored in the RAM, the
なお、上記実施形態における記述内容は、本発明の好適な一例であり、これに限定されるものではない。 Note that the content described in the above embodiment is a preferred example of the present invention, and the present invention is not limited thereto.
例えば、上記実施形態では、本発明をサーバー装置2と読影端末3を備える診断支援システムに適用することとして説明したが、本発明は、コンソール、電子カルテ装置等を備えるシステムに適用してもよい。また、本発明の記憶手段、特定手段、検出手段、出力手段は、システムを構成するいずれの装置に備えられていることとしてもよい。
また、本発明の記憶手段、特定手段、検出手段、出力手段は、1つの診断支援装置に備えられている構成としてもよい。例えば、診断支援装置としての読影端末3の制御部31が、記憶部35に記憶されたプログラムとの協働により、操作部32により対象検査の医用情報に対して行われたユーザーの所定の操作を受け付け、ユーザーにより実施された所定の操作に基づいて、対象検査の少なくとも一つの医用画像から関心領域外の領域を特定し、前記医用画像において特定された関心領域外の領域に対して人工知能による異常検出を行って、検出結果を表示部33等により出力する構成としてもよい。また、受け付けた所定の操作をRAMに一時的に記憶しておき、記憶された操作情報に基づいて医用画像における関心領域外の領域を特定する構成としてもよい。また、本発明は、読影端末3に限らず、医用情報を表示可能な装置、例えば、コンソール、PACSのサーバー装置、電子カルテ装置等に適用することとしてもよい。
For example, in the above embodiment, the present invention has been described as being applied to a diagnosis support system that includes the
Moreover, the storage means, identification means, detection means, and output means of the present invention may be included in one diagnostic support device. For example, the
また、上記の説明では、本発明に係るプログラムのコンピューター読み取り可能な媒体としてハードディスクや半導体の不揮発性メモリ等を使用した例を開示したが、この例に限定されない。その他のコンピューター読み取り可能な媒体として、CD-ROM等の可搬型記録媒体を適用することが可能である。また、本発明に係るプログラムのデータを通信回線を介して提供する媒体として、キャリアウエーブ(搬送波)も適用される。 Further, in the above description, an example is disclosed in which a hard disk, a semiconductor nonvolatile memory, etc. are used as a computer-readable medium for the program according to the present invention, but the present invention is not limited to this example. As other computer-readable media, it is possible to apply a portable recording medium such as a CD-ROM. Further, a carrier wave is also applied as a medium for providing data of the program according to the present invention via a communication line.
その他、診断支援システムを構成する各装置の細部構成及び細部動作に関しても、本発明の趣旨を逸脱することのない範囲で適宜変更可能である。 In addition, the detailed configuration and detailed operation of each device constituting the diagnosis support system can be changed as appropriate without departing from the spirit of the present invention.
100 診断支援システム
1 画像生成装置
2 サーバー装置
21 制御部
22 操作部
23 表示部
24 通信部
25 記憶部
251 画像DB
252 付帯情報DB
26 検出部
27 バス
3 読影端末
31 制御部
32 操作部
33 表示部
34 通信部
35 記憶部
36 バス
100
252 Additional information DB
26
Claims (9)
前記記憶手段に記憶された前記対象検査の医用情報に対するユーザーの前記所定の操作に基づいて、前記対象検査の少なくとも一つの医用画像から関心領域外の領域を特定する特定手段と、
前記医用画像の領域のうち、前記特定手段により特定された前記医用画像の関心領域外の領域のみに対して人工知能による異常検出を行う検出手段と、
を備える診断支援システム。 a storage means for storing a predetermined operation performed by a user on the medical information of the target test;
identification means for identifying an area outside the region of interest from at least one medical image of the target examination based on the user's predetermined operation on the medical information of the target examination stored in the storage means;
Detection means for performing abnormality detection using artificial intelligence only in a region of the medical image that is outside the region of interest of the medical image specified by the specifying means;
A diagnostic support system equipped with
前記検出手段は、前記他の医用画像全体に対して人工知能による異常検出を行う請求項1~3のいずれか一項に記載の診断支援システム。 The specifying means further specifies, with respect to another medical image of the same patient as the medical image, in which a region outside the region of interest has not been specified, the entire other medical image to be outside the region of interest;
4. The diagnosis support system according to claim 1, wherein the detection means performs abnormality detection on the entire other medical image using artificial intelligence.
前記検出手段は、前記他の医用画像の領域のうち、前記他の医用画像の関心領域外の領域のみに対して人工知能による異常検出を行う請求項1~3のいずれか一項に記載の診断支援システム。 The specifying means further determines, with respect to another medical image of the same patient as the medical image, in which a region outside the region of interest has not been specified, a region corresponding to the region identified as outside the region of interest in the medical image. Identified as outside the area,
4. The method according to claim 1, wherein the detecting means performs abnormality detection using artificial intelligence only in a region of the other medical image that is outside the region of interest of the other medical image. Diagnostic support system.
前記医用画像の領域のうち、前記特定手段により特定された前記医用画像の関心領域外の領域のみに対して人工知能による異常検出を行う検出手段と、
を備える診断支援装置。 identification means for accepting a predetermined operation performed by a user on the medical information of the target examination, and specifying an area outside the region of interest from at least one medical image of the target examination based on the predetermined operation;
Detection means for performing abnormality detection using artificial intelligence only in a region of the medical image that is outside the region of interest of the medical image specified by the specifying means;
A diagnostic support device comprising:
対象検査の医用情報に対して行われたユーザーの所定の操作を記憶する記憶手段、
前記記憶手段に記憶された前記対象検査の医用情報に対するユーザーの前記所定の操作に基づいて、前記対象検査の少なくとも一つの医用画像から関心領域外の領域を特定する特定手段、
前記医用画像の領域のうち、前記特定手段により特定された前記医用画像の関心領域外の領域のみに対して人工知能による異常検出を行う検出手段、
として機能させるためのプログラム。 computer,
storage means for storing predetermined operations performed by the user on the medical information of the target test;
identification means for identifying an area outside the region of interest from at least one medical image of the target examination based on the user's predetermined operation on the medical information of the target examination stored in the storage means;
Detection means for performing abnormality detection using artificial intelligence only in a region of the medical image that is outside the region of interest of the medical image specified by the specifying means;
A program to function as
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020068729A JP7428055B2 (en) | 2020-04-07 | 2020-04-07 | Diagnostic support system, diagnostic support device and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020068729A JP7428055B2 (en) | 2020-04-07 | 2020-04-07 | Diagnostic support system, diagnostic support device and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021164538A JP2021164538A (en) | 2021-10-14 |
JP7428055B2 true JP7428055B2 (en) | 2024-02-06 |
Family
ID=78021338
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020068729A Active JP7428055B2 (en) | 2020-04-07 | 2020-04-07 | Diagnostic support system, diagnostic support device and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7428055B2 (en) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007528746A (en) | 2003-06-27 | 2007-10-18 | シーメンス メディカル ソリューションズ ユーエスエー インコーポレイテッド | CAD support for medical diagnostic imaging that uses machine learning to adapt the CAD (computer aided decision) process to the knowledge gained from routine CAD system usage |
WO2011132468A1 (en) | 2010-04-21 | 2011-10-27 | コニカミノルタエムジー株式会社 | Medical-image displaying device and program |
WO2015155807A1 (en) | 2014-04-09 | 2015-10-15 | パナソニック株式会社 | Information terminal control method and program |
JP2018201870A (en) | 2017-06-05 | 2018-12-27 | キヤノン株式会社 | Information processing device, information processing system, information processing method and program |
WO2020039968A1 (en) | 2018-08-20 | 2020-02-27 | 富士フイルム株式会社 | Medical image processing system |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6275773A (en) * | 1985-09-30 | 1987-04-07 | Toshiba Corp | Picture compression device |
JPH06251038A (en) * | 1993-03-01 | 1994-09-09 | Toshiba Corp | Medical diagnosis support system |
-
2020
- 2020-04-07 JP JP2020068729A patent/JP7428055B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007528746A (en) | 2003-06-27 | 2007-10-18 | シーメンス メディカル ソリューションズ ユーエスエー インコーポレイテッド | CAD support for medical diagnostic imaging that uses machine learning to adapt the CAD (computer aided decision) process to the knowledge gained from routine CAD system usage |
WO2011132468A1 (en) | 2010-04-21 | 2011-10-27 | コニカミノルタエムジー株式会社 | Medical-image displaying device and program |
WO2015155807A1 (en) | 2014-04-09 | 2015-10-15 | パナソニック株式会社 | Information terminal control method and program |
JP2018201870A (en) | 2017-06-05 | 2018-12-27 | キヤノン株式会社 | Information processing device, information processing system, information processing method and program |
WO2020039968A1 (en) | 2018-08-20 | 2020-02-27 | 富士フイルム株式会社 | Medical image processing system |
Also Published As
Publication number | Publication date |
---|---|
JP2021164538A (en) | 2021-10-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8397170B2 (en) | Medical image display apparatus | |
US8094901B1 (en) | Systems and methods for matching, naming, and displaying medical images | |
US10642956B2 (en) | Medical report generation apparatus, method for controlling medical report generation apparatus, medical image browsing apparatus, method for controlling medical image browsing apparatus, medical report generation system, and non-transitory computer readable medium | |
WO2011132468A1 (en) | Medical-image displaying device and program | |
JPWO2011083607A1 (en) | Medical information processing apparatus and program | |
JP2007307290A (en) | Medical image reading system | |
JP7416183B2 (en) | Information processing equipment, medical image display equipment and programs | |
CN110111876B (en) | Information processing apparatus and information processing method | |
JP2007260064A (en) | Display controller and display control program | |
JP2011103095A (en) | Medical image display system and program | |
WO2012005023A1 (en) | Medical image display system and program | |
JP7428055B2 (en) | Diagnostic support system, diagnostic support device and program | |
JP2012143368A (en) | Medical image display device and program | |
JP6966403B2 (en) | Diagnostic support device | |
JP7091857B2 (en) | Display control device and medical image display system | |
JP2004305272A (en) | Medical image displaying method and medical image displaying system | |
JP6841136B2 (en) | Medical image display device and program | |
JP2009066060A (en) | Medical image system, finding report generator, finding report generation method, and program | |
JP2003186461A (en) | Device and method for image display processing, medical image processor, program for implementing the image display processing method, and storage medium stored with the program | |
US20220304642A1 (en) | Dynamic analysis device and storage medium | |
JP7272149B2 (en) | Selection support system and program | |
US20230062463A1 (en) | Storage medium, display control device, and medical image display system | |
JP2012130369A (en) | Image inspection device and image inspection system | |
JP2010029284A (en) | Program, portable storage medium, and information processor | |
JP2021194139A (en) | Image display device and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221223 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230714 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230905 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231024 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231226 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240108 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7428055 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |