JP6997981B2 - Diagnostic support device, diagnostic support method and diagnostic support program - Google Patents

Diagnostic support device, diagnostic support method and diagnostic support program Download PDF

Info

Publication number
JP6997981B2
JP6997981B2 JP2017022515A JP2017022515A JP6997981B2 JP 6997981 B2 JP6997981 B2 JP 6997981B2 JP 2017022515 A JP2017022515 A JP 2017022515A JP 2017022515 A JP2017022515 A JP 2017022515A JP 6997981 B2 JP6997981 B2 JP 6997981B2
Authority
JP
Japan
Prior art keywords
analysis
request
diagnostic support
support device
analysis result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017022515A
Other languages
Japanese (ja)
Other versions
JP2018128933A (en
Inventor
司 古瀬
卓 箱石
Original Assignee
株式会社ジェイマックシステム
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ジェイマックシステム filed Critical 株式会社ジェイマックシステム
Priority to JP2017022515A priority Critical patent/JP6997981B2/en
Publication of JP2018128933A publication Critical patent/JP2018128933A/en
Application granted granted Critical
Publication of JP6997981B2 publication Critical patent/JP6997981B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Description

この発明は、診断支援装置,診断支援方法および診断支援プログラムに関し、特に、患者の医用画像と診断者の見解とに基づいて患者の疾患を解析する解析システムと連携して患者の診断を支援する、診断支援装置,診断支援方法および診断支援プログラムに関する。 The present invention relates to a diagnostic support device, a diagnostic support method and a diagnostic support program, and particularly supports a patient's diagnosis in cooperation with an analysis system that analyzes a patient's disease based on the patient's medical image and the opinion of the diagnostician. , Diagnostic support device, Diagnostic support method and Diagnostic support program.

医療施設において、読影医は、患者を撮影するモダリティから出力された複数の医用画像を解析して、読影レポートを作成する。読影レポートには、病変を表す医用画像が添付されるとともに、添付された医用画像から診断された病名や治療方法などが記載される。 In a medical facility, an image interpreter analyzes a plurality of medical images output from a modality that photographs a patient and creates an image interpretation report. A medical image showing the lesion is attached to the interpretation report, and the name of the disease diagnosed from the attached medical image and the treatment method are described.

読影医の診断精度つまり読影レポートの信頼度を高めるには、病変の有無を診断する“存在診断”および病変の性状を診断する“質的診断”の両方を正確に行うことが必要となる。ただし、近年におけるCT装置やMRI装置の性能の向上によって、検査数や画像枚数が増加しており、これによって読影医の負担も重くなっている。このような負担増は、病変の見落とし,入力ミス,書き忘れ等を引き起こすため、読影医の診断を如何に支援するかが注目される。 In order to improve the diagnostic accuracy of the image interpreter, that is, the reliability of the image interpretation report, it is necessary to accurately perform both "presence diagnosis" for diagnosing the presence or absence of a lesion and "qualitative diagnosis" for diagnosing the nature of the lesion. However, due to the improvement in the performance of CT devices and MRI devices in recent years, the number of examinations and the number of images have increased, which also increases the burden on the image interpreting doctor. Since such an increase in burden causes oversight of lesions, typographical errors, forgetting to write, etc., attention is paid to how to support the diagnosis of the image interpreter.

これに関連して、特許文献1は、診断対象の画像データとその病状情報とに基づいて異常陰影の検出と類似症例の検索とを行い、可能性の高い疾患候補名を表示する疾患候補情報出力システムを開示している。 In relation to this, Patent Document 1 detects abnormal shadows and searches for similar cases based on image data to be diagnosed and its pathological condition information, and displays disease candidate names with high possibility. The output system is disclosed.

また、特許文献2は、複数の病状情報が入力されたときに、ポイントマップを用いて疾患名毎にポイントを算出し、ポイントの高い疾患名の順に該疾患名に対応付けされた代表的な画像を表示する医療診断支援装置を開示している。 Further, in Patent Document 2, when a plurality of medical condition information is input, points are calculated for each disease name using a point map, and the disease names are associated with the disease names in descending order of the points. It discloses a medical diagnosis support device that displays images.

特許第4087640号公報Japanese Patent No. 4087640 特開2009-59381号公報Japanese Unexamined Patent Publication No. 2009-59381

特許文献1および2のいずれも、診断対象の画像データおよび/病状情報に基づいて患者の疾患を解析する解析システムの連携によって画像診断を行おうとするものである。ここで、画像診断における解析システムの依存度を高めるためには、解析システムによる診断精度の向上が求められる。しかし、診断精度を向上させるための解析システムの設計は、誤診を誘発し、ひいては診断支援性能を低下させるおそれがある。 Both Patent Documents 1 and 2 attempt to perform image diagnosis by coordinating an analysis system that analyzes a patient's disease based on image data and / pathological information of a diagnosis target. Here, in order to increase the dependence of the analysis system in image diagnosis, it is required to improve the diagnostic accuracy by the analysis system. However, the design of the analysis system for improving the diagnostic accuracy may induce misdiagnosis and eventually reduce the diagnostic support performance.

それゆえに、この発明の主たる目的は、支援性能を高めることができる、診断支援装置を提供することである。 Therefore, a main object of the present invention is to provide a diagnostic support device capable of enhancing support performance.

この発明に係る診断支援装置(10:実施例で相当する参照符号。以下同じ)は、共通の患者を対象として作成された複数の医用画像と依頼文とに基づく診断を支援する診断支援装置であって、複数の医用画像の少なくとも1つを診断者に向けて出力する医用画像出力手段(S9, S25~S27)、依頼文に対する診断者の見解を医用画像出力手段の処理に関連して取得する取得手段(S11~S17)、複数の医用画像を含む画像情報に基づいて患者の疾患を解析する第1解析処理を解析装置(40)に要求する第1解析要求手段(S41, S45)、依頼文と取得手段によって取得された見解とを含む文字情報に基づいて患者の疾患を解析する第2解析処理を第1解析要求手段の処理に関連して解析装置に要求する第2解析要求手段(S39, S43)、および第1解析処理によって得られた第1解析結果と第2解析処理によって得られた第2解析結果とを出力する解析結果出力手段(S47, S49)を備える。 The diagnostic support device according to the present invention (10: reference code corresponding to the embodiment; the same applies hereinafter) is a diagnostic support device that supports diagnosis based on a plurality of medical images created for a common patient and a request statement. Therefore, the medical image output means (S9, S25 to S27) that outputs at least one of a plurality of medical images to the diagnostician, and the diagnostician's opinion on the request sentence is acquired in relation to the processing of the medical image output means. Acquisition means (S11 to S17), first analysis requesting means (S41, S45) that requires the analyzer (40) to perform a first analysis process for analyzing a patient's disease based on image information including a plurality of medical images. A second analysis requesting means that requests an analyzer to perform a second analysis process for analyzing a patient's disease based on textual information including a request statement and an opinion acquired by the acquisition means in connection with the processing of the first analysis requesting means. (S39, S43), and an analysis result output means (S47, S49) for outputting the first analysis result obtained by the first analysis process and the second analysis result obtained by the second analysis process are provided.

好ましくは、第1解析処理は画像情報および文字情報のうち前者にのみ基づいて実行され、第2解析処理は画像情報および文字情報のうち後者にのみ基づいて実行される。 Preferably, the first analysis process is executed based only on the former of the image information and the character information, and the second analysis process is executed based only on the latter of the image information and the character information.

好ましくは、解析結果出力手段は第1解析結果および第2解析結果を診断者に向けて同時に出力する。 Preferably, the analysis result output means outputs the first analysis result and the second analysis result to the diagnostician at the same time.

好ましくは、医用画像出力手段は更新操作に応答して出力対象を更新する更新手段(S25,S27)を含み、解析結果出力手段は第1解析結果および第2解析結果の出力後に更新手段および取得手段の少なくとも一方を再起動する。 Preferably, the medical image output means includes an update means (S25, S27) that updates the output target in response to the update operation, and the analysis result output means updates and acquires after the output of the first analysis result and the second analysis result. Restart at least one of the means.

好ましくは、依頼文欄(REQ)および見解記入欄(RMK, DGN)を有する読影レポートを第1モニタ(12m1)に表示する読影レポート表示手段(S7)がさらに備えられ、取得手段は見解を見解記入欄に表示する見解表示手段(S13, S17)を含む。 Preferably, the interpretation report display means (S7) for displaying the interpretation report having the request text column (REQ) and the opinion entry column (RMK, DGN) on the first monitor (12m1) is further provided, and the acquisition means is the opinion opinion. Includes opinion display means (S13, S17) to be displayed in the entry field.

或る局面では、医用画像出力手段は複数の医用画像の少なくとも1つを第1モニタに付随する第2モニタ(12m2)に表示する医用画像表示手段(S9, S27)を含む。 In some aspects, the medical image output means include medical image display means (S9, S27) that display at least one of the plurality of medical images on a second monitor (12 m2) attached to the first monitor.

他の局面では、解析結果出力手段は第1解析結果および第2解析結果を第1モニタに追加表示する追加表示手段(S49)を含む。 In another aspect, the analysis result output means includes an additional display means (S49) for additionally displaying the first analysis result and the second analysis result on the first monitor.

好ましくは、第1解析要求手段および第2解析要求手段の各々は患者の属性に応じて異なる態様で解析要求を発行する。 Preferably, each of the first analysis requesting means and the second analysis requesting means issues an analysis request in a different manner depending on the attributes of the patient.

好ましくは、第1解析要求手段および第2解析要求手段の各々は要求発行操作を受け付けたとき解析装置に向けて解析要求を発行する。 Preferably, each of the first analysis requesting means and the second analysis requesting means issues an analysis request to the analyzer when the request issuing operation is accepted.

好ましくは、第1解析結果および第2解析結果の各々は複数の候補疾患名と各疾患候補の該当確率とを含む。 Preferably, each of the first analysis result and the second analysis result includes a plurality of candidate disease names and the corresponding probability of each disease candidate.

さらに好ましくは、複数の候補疾患名のうち既定条件を満足する候補疾患名を強調する強調手段(S57)がさらに備えられ、既定条件は取得手段によって取得された見解から漏れているという漏れ条件と該当確率が基準を上回るという確率条件とを含む。 More preferably, there is further an emphasis means (S57) that emphasizes the candidate disease name that satisfies the predetermined condition among the plurality of candidate disease names, and the omission condition that the default condition is omitted from the view acquired by the acquisition means. Includes the probability condition that the hit probability exceeds the standard.

この発明に係る診断支援方法は、共通の患者を対象として作成された複数の医用画像と依頼文とに基づく診断を支援する診断支援装置(10)によって実行される診断支援方法であって、複数の医用画像の少なくとも1つを診断者に向けて出力する医用画像出力ステップ(S9, S25~S27)、依頼文に対する診断者の見解を医用画像出力ステップの処理に関連して取得する取得ステップ(S11~S17)、複数の医用画像を含む画像情報に基づいて患者の疾患を解析する第1解析処理を解析装置(40)に要求する第1解析要求ステップ(S41, S45)、依頼文と取得ステップによって取得された見解とを含む文字情報に基づいて患者の疾患を解析する第2解析処理を第1解析要求ステップの処理に関連して解析装置に要求する第2解析要求ステップ(S39, S43)、および第1解析処理によって得られた第1解析結果と第2解析処理によって得られた第2解析結果とを出力する解析結果出力ステップ(S47, S49)を備える。 The diagnostic support method according to the present invention is a diagnostic support method executed by a diagnostic support device (10) that supports a diagnosis based on a plurality of medical images created for a common patient and a request statement. Medical image output step (S9, S25 to S27) to output at least one of the medical images of S11 ~ S17), 1st analysis request step (S41, S45) requesting the analyzer (40) to analyze the patient's disease based on image information including multiple medical images, request text and acquisition A second analysis request step (S39, S43) that requests an analyzer to perform a second analysis process for analyzing a patient's disease based on textual information including the views acquired by the step in connection with the process of the first analysis request step. ), And an analysis result output step (S47, S49) for outputting the first analysis result obtained by the first analysis process and the second analysis result obtained by the second analysis process.

この発明に係る診断支援プログラムは、共通の患者を対象として作成された複数の医用画像と依頼文とに基づく診断を支援する診断支援装置(10)のプロセッサ(12pr)に、複数の医用画像の少なくとも1つを診断者に向けて出力する医用画像出力ステップ(S9, S25~S27)、依頼文に対する診断者の見解を医用画像出力ステップの処理に関連して取得する取得ステップ(S11~S17)、複数の医用画像を含む画像情報に基づいて患者の疾患を解析する第1解析処理を解析装置(40)に要求する第1解析要求ステップ(S41, S45)、依頼文と取得ステップによって取得された見解とを含む文字情報に基づいて患者の疾患を解析する第2解析処理を第1解析要求ステップの処理に関連して解析装置に要求する第2解析要求ステップ(S39, S43)、および第1解析処理によって得られた第1解析結果と第2解析処理によって得られた第2解析結果とを出力する解析結果出力ステップ(S47, S49)を実行させるための、診断支援プログラムである。 In the diagnostic support program according to the present invention, a plurality of medical images are mounted on a processor (12pr) of a diagnostic support device (10) that supports diagnosis based on a plurality of medical images created for a common patient and a request statement. A medical image output step (S9, S25 to S27) that outputs at least one to the diagnostician, and an acquisition step (S11 to S17) that acquires the diagnostician's opinion on the request sentence in relation to the processing of the medical image output step. , Acquired by the first analysis request step (S41, S45), request statement and acquisition step, which requires the analyzer (40) to perform the first analysis process to analyze the patient's disease based on image information including multiple medical images. The second analysis request step (S39, S43), which requests the analyzer to perform the second analysis process for analyzing the patient's disease based on the textual information including the opinion, in relation to the process of the first analysis request step, and the first. 1 This is a diagnostic support program for executing an analysis result output step (S47, S49) that outputs the first analysis result obtained by the analysis process and the second analysis result obtained by the second analysis process.

複数の医用画像を第1解析処理の対象とすることで、病変が表れた医用画像を見落として診断が行われる懸念が軽減される。また、依頼文とこれに対する診断者の見解とを第2解析処理の対象とすることで、一部の疾患に気を配ることなく(つまり、疾患名の一部に気付くことなく)診断が行われる懸念が軽減される。これによって、診断支援性能の向上が図られる。 By targeting a plurality of medical images for the first analysis process, the concern that the medical image showing the lesion is overlooked and the diagnosis is made is reduced. In addition, by targeting the request text and the diagnostician's opinion on it in the second analysis process, diagnosis can be performed without paying attention to some diseases (that is, without noticing a part of the disease name). The concern is reduced. This improves the diagnostic support performance.

この発明の上述の目的,その他の目的,特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。 The above-mentioned object, other object, feature and advantage of the present invention will be further clarified from the detailed description of the following examples with reference to the drawings.

この実施例に適用される医療診断支援システムの構成を示すブロック図である。It is a block diagram which shows the structure of the medical diagnosis support system applied to this Example. 機械学習システムによって参照されるテーブルの構成の一例を示す図解図である。It is a schematic diagram which shows an example of the structure of the table referred by a machine learning system. モダリティによって作成されたDICOMファイルの構造の一例を示す図解図である。It is a schematic diagram which shows an example of the structure of the DICOM file created by a modality. 画像診断支援装置のメインモニタに表示される診断支援画面の一例を示す図解図である。It is a schematic diagram which shows an example of the diagnosis support screen displayed on the main monitor of an image diagnosis support device. 画像診断支援装置のメインモニタに表示される診断支援画面の他の一例を示す図解図である。It is a schematic diagram which shows another example of the diagnosis support screen displayed on the main monitor of an image diagnosis support device. 画像診断支援装置のサブモニタに表示される診断支援画面の一例を示す図解図である。It is a schematic diagram which shows an example of the diagnosis support screen displayed on the sub monitor of an image diagnosis support device. 画像診断支援装置のメインモニタに表示される診断支援画面のその他の一例を示す図解図である。It is a schematic diagram which shows another example of the diagnosis support screen displayed on the main monitor of an image diagnosis support device. 画像診断支援装置のメインモニタに表示される診断支援画面のさらにその他の一例を示す図解図である。It is a schematic diagram which shows the other example of the diagnosis support screen displayed on the main monitor of an image diagnosis support device. 画像診断支援装置のメインモニタに表示される診断支援画面の他の一例を示す図解図である。It is a schematic diagram which shows another example of the diagnosis support screen displayed on the main monitor of an image diagnosis support device. 画像診断支援装置のメインモニタに表示される診断支援画面のその他の一例を示す図解図である。It is a schematic diagram which shows another example of the diagnosis support screen displayed on the main monitor of an image diagnosis support device. 画像診断支援装置のメインモニタに表示される診断支援画面のさらにその他の一例を示す図解図である。It is a schematic diagram which shows the other example of the diagnosis support screen displayed on the main monitor of an image diagnosis support device. 画像診断支援装置に設けられたCPUの動作の一部を示すフロー図である。It is a flow diagram which shows a part of the operation of the CPU provided in the image diagnosis support apparatus. 画像診断支援装置に設けられたCPUの動作の他の一部を示すフロー図である。It is a flow diagram which shows the other part of the operation of the CPU provided in the image diagnosis support device. 画像診断支援装置に設けられたCPUの動作のその他の一部を示すフロー図である。It is a flow diagram which shows the other part of the operation of the CPU provided in the image diagnosis support device. 画像診断支援装置に設けられたCPUの動作のさらにその他の一部を示すフロー図である。It is a flow diagram which shows the other part of the operation of the CPU provided in the image diagnosis support apparatus. 画像診断支援装置に設けられたCPUの動作の他の一部を示すフロー図である。It is a flow diagram which shows the other part of the operation of the CPU provided in the image diagnosis support device.

図1を参照して、この実施例の医療診断支援システムは、院内LAN50を介して互いに接続された画像診断支援装置10,モダリティ20,PACS30および機械学習システム(解析装置)40によって構成される。 With reference to FIG. 1, the medical diagnosis support system of this embodiment is composed of an image diagnosis support device 10, a modality 20, a PACS 30, and a machine learning system (analysis device) 40 connected to each other via an in-hospital LAN 50.

画像診断支援装置10において、バスBS1には、通信I/F12cm,CPU12pr,キーボード/マウス12km,DRAM12mm,HDD12hd,メインモニタ(第1モニタ)12m1およびサブモニタ(第2モニタ)12m2が接続される。 In the image diagnosis support device 10, a communication I / F 12 cm, a CPU 12 pr, a keyboard / mouse 12 km, a DRAM 12 mm, an HDD 12 hd, a main monitor (first monitor) 12 m1 and a sub monitor (second monitor) 12 m 2 are connected to the bus BS1.

サブモニタ12m2は、メインモニタ12m1に付随する。読影医(診断者)は、メインモニタ12m1およびサブモニタ12m2と向き合い、キーボード/マウス12kmを操作して画像診断を行う。 The sub monitor 12m2 is attached to the main monitor 12m1. The image interpreter (diagnostician) faces the main monitor 12m1 and the sub monitor 12m2, and operates the keyboard / mouse 12km to perform image diagnosis.

機械学習システム40は、成人用のテキスト専門機械学習システム40at,成人用の画像専門機械学習システム40ai,小児用のテキスト専門機械学習システム40ct,および小児用の画像専門機械学習システム40ciによって構成される。図2に示す疾患候補テーブルは、テキスト専門機械学習システム40at,40ctおよび画像専門機械学習システム40ai,40ciのいずれからもアクセス可能に、機械学習システム40に設けられる。 The machine learning system 40 is composed of a text-specialized machine learning system 40at for adults, an image-specialized machine learning system 40ai for adults, a text-specialized machine learning system 40ct for children, and an image-specialized machine learning system 40ci for children. .. The disease candidate table shown in FIG. 2 is provided in the machine learning system 40 so as to be accessible from any of the text-specialized machine learning systems 40at and 40ct and the image-specialized machine learning systems 40ai and 40ci.

図2によれば、“肺がん”,“転移性肺腫瘍”,“縦隔腫瘍”,“肺動脈血栓症”,“肺水腫”,“胸膜炎”,“膿胸”,“気胸”,“慢性閉塞性肺疾患”,“肺結核”,“間質性肺炎”,“サルコイドーシス”,“じん肺”,“リンパ脈管筋腫症”,“急性呼吸不全”,“気管支拡張症”などの多数の文字列が疾患候補テーブルに登録される。 According to FIG. 2, "lung cancer", "metastatic lung tumor", "mediastinal tumor", "pulmonary arterial thrombosis", "pulmonary edema", "chestitis", "pneumothorax", "pneumothorax", "chronic obstructive" Many character strings such as "lung disease", "pulmonary tuberculosis", "interstitial pneumonia", "sarcoidosis", "lung lung", "lymphangioleiomyomatosis", "acute respiratory failure", "bronchiectasis" are diseases. Registered in the candidate table.

モダリティ20は、たとえば、患者の体軸断面を表す複数の医用画像を収めたDICOMファイルを出力するMRI装置である。モダリティ20を操作する検査技師は、主治医からの依頼コメントを踏まえてモダリティ20を操作する。これによって、所望の位置の断層画像が医用画像として作成され、作成された医用画像がDICOMファイルに収められる。こうして作成されたDICOMファイルは、図3に示すデータ構造を有し、院内LAN50を介してPACS30に保存される。 Modality 20 is, for example, an MRI apparatus that outputs a DICOM file containing a plurality of medical images representing a cross section of a patient's body axis. The inspection engineer who operates the modality 20 operates the modality 20 based on the request comment from the attending physician. As a result, a tomographic image at a desired position is created as a medical image, and the created medical image is stored in a DICOM file. The DICOM file thus created has the data structure shown in FIG. 3 and is stored in the PACS 30 via the in-hospital LAN 50.

図3を参照して、DICOMファイルには、複数の医用画像に加えて付属情報が収められる。ここで、付属情報は、検査属性を各々が示す複数の項目(検査日付,患者名,患者の検査時年齢,アクセッション番号など)によって構成される。 With reference to FIG. 3, the DICOM file contains a plurality of medical images as well as ancillary information. Here, the attached information is composed of a plurality of items (examination date, patient name, patient's age at the time of examination, accession number, etc.) indicating the examination attributes.

画像診断支援装置10に設けられたCPU12prは、機械学習システム40と連携して読影医による画像診断を支援するべく、図12~図16に示す診断支援処理を実行する。なお、このフロー図に相当するプログラムは、診断支援プログラムとしてHDD12hdに記憶される。 The CPU 12pr provided in the image diagnosis support device 10 executes the diagnosis support process shown in FIGS. 12 to 16 in order to support the image diagnosis by the image interpreting doctor in cooperation with the machine learning system 40. The program corresponding to this flow chart is stored in the HDD 12 hd as a diagnostic support program.

図12を参照して、ステップS1では、トップ画面をDRAM12mmに展開する。展開されたトップ画面は、メインモニタ12m1によって読み出され、図4に示す要領で表示される。図4によれば、トップ画面は、複数の検査をそれぞれ表す複数の見出しが列挙された見出し欄IDXを有する。また、図4に示すトップ画面においては、いずれも見出しに対応する読影レポートも“保留”とされる。 With reference to FIG. 12, in step S1, the top screen is expanded to the DRAM 12 mm. The expanded top screen is read by the main monitor 12m1 and displayed as shown in FIG. According to FIG. 4, the top screen has a heading column IDX in which a plurality of headings representing a plurality of tests are listed. Further, on the top screen shown in FIG. 4, the interpretation report corresponding to the heading is also "pending".

ステップS3では、キーボード/マウス12kmによって見出し選択操作(=見出し欄IDXに列挙された複数の見出しのいずれか1つを選択する操作)が行われたか否かを判別する。また、ステップS5では、キーボード/マウス12kmによって他の操作が行われたか否かを判別する。ステップS3の判別結果およびステップS5の判別結果のいずれもがNOであればステップS3に戻り、ステップS3の判別結果がYESであればステップS7に進み、ステップS5の判別結果がYESであれば他の処理に進む。 In step S3, it is determined whether or not the heading selection operation (= operation of selecting any one of the plurality of headings listed in the heading column IDX) is performed by the keyboard / mouse 12 km. Further, in step S5, it is determined whether or not another operation is performed by the keyboard / mouse 12 km. If both the discrimination result of step S3 and the discrimination result of step S5 are NO, the process returns to step S3, if the discrimination result of step S3 is YES, the process proceeds to step S7, and if the discrimination result of step S5 is YES, the other steps are taken. Proceed to the process of.

ステップS7では、見出し選択操作によって選択された見出しに対応する読影レポート画面をDRAM12mmに展開する。DRAM12mm上のトップ画面は、読影レポート画面によって更新される。 In step S7, the interpretation report screen corresponding to the heading selected by the heading selection operation is expanded on the DRAM 12 mm. The top screen on the DRAM 12 mm is updated by the interpretation report screen.

更新された読影レポート画面はメインモニタ12m1によって読み出され、図5に示す要領で表示される。図5によれば、読影レポート画面には、依頼コメント欄(依頼文欄)REQ,所見欄RMK,診断欄DGNおよび添付画像欄IMGが設けられる。このうち、依頼コメント欄REQにある“胸痛”の文字列は、主治医によって記載されたものである。また、この実施例では、所見欄RMKおよび診断欄DGNを“見解記入欄”と総称し、所見欄RMKに記載される所見および診断欄DGNに記載される診断コメントを“見解”と総称する。 The updated interpretation report screen is read by the main monitor 12m1 and displayed as shown in FIG. According to FIG. 5, the image interpretation report screen is provided with a request comment column (request sentence column) RQ, a finding column RMK, a diagnosis column DGN, and an attached image column IMG. Of these, the character string of "chest pain" in the request comment column RQ is written by the attending physician. Further, in this embodiment, the finding column RMK and the diagnostic column DGN are collectively referred to as "opinion entry column", and the findings described in the finding column RMK and the diagnostic comment described in the diagnostic column DGN are collectively referred to as "opinion".

ステップS9では、通信I/F12cmを通してPACS30にアクセスし、選択中の見出しに割り当てられたアクセッション番号に対応するDICOMファイルをPACS30から取得する。ステップS9ではまた、取得されたDICOMファイルに収められた複数の医用画像のいずれか1つをDRAM12mmに展開する。展開された医用画像はサブモニタ12m2によって読み出され、図6に示す要領で表示される。 In step S9, the PACS 30 is accessed through the communication I / F 12 cm, and the DICOM file corresponding to the accession number assigned to the selected heading is acquired from the PACS 30. In step S9, any one of the plurality of medical images contained in the acquired DICOM file is expanded into the DRAM 12 mm. The developed medical image is read out by the sub monitor 12m2 and displayed as shown in FIG.

ステップS11では、キーボード/マウス12kmによって所見入力操作(所見欄RMKを指定して所望の文字列を入力する操作)が行われたか否かを判別する。判別結果がNOであれば、そのままステップS15に進む。 In step S11, it is determined whether or not the finding input operation (the operation of designating the finding column RMK and inputting a desired character string) is performed by the keyboard / mouse 12 km. If the determination result is NO, the process proceeds to step S15 as it is.

一方、判別結果がYESであればステップS13に進み、所見入力操作によって取得した文字列を図7に示す要領で所見欄RMKに表示する。図7によれば、所見欄RMKには、“冠動脈起始部に石灰化を認める。”の文字列が表示される。文字列の表示が完了すると、ステップS15に進む。 On the other hand, if the determination result is YES, the process proceeds to step S13, and the character string acquired by the finding input operation is displayed in the finding column RMK as shown in FIG. According to FIG. 7, in the finding column RMK, the character string “calcification is observed at the origin of the coronary artery” is displayed. When the display of the character string is completed, the process proceeds to step S15.

ステップS15では、キーボード/マウス12kmによって診断コメント入力操作(診断欄DGNを指定して所望の文字列を入力する操作)が行われたか否かを判別する。判別結果がNOであれば、そのままステップS19に進む。 In step S15, it is determined whether or not the diagnostic comment input operation (the operation of designating the diagnostic field DGN and inputting a desired character string) is performed by the keyboard / mouse 12 km. If the determination result is NO, the process proceeds to step S19 as it is.

一方、判別結果がYESであればステップS17に進み、診断コメント入力操作によって取得した文字列を図8に示す要領で診断欄DGNに表示する。図8によれば、診断欄DGNには、“1.狭心症の疑い”の文字列が表示される。文字列の表示が完了すると、ステップS19に進む。 On the other hand, if the determination result is YES, the process proceeds to step S17, and the character string acquired by the diagnosis comment input operation is displayed in the diagnosis column DGN as shown in FIG. According to FIG. 8, the character string “1. Suspected angina” is displayed in the diagnosis column DGN. When the display of the character string is completed, the process proceeds to step S19.

ステップS19では、キーボード/マウス12kmによって画像添付操作(サブモニタ12m2に表示された医用画像をドラッグ&ドロップ操作によって添付画像欄IMGに移動させる操作)が行われたか否かを判別する。判別結果がNOであればそのままステップS25に進む一方、判別結果がYESであればステップS21およびステップS23で以下の処理を実行してからステップS31に進む。 In step S19, it is determined whether or not the image attachment operation (the operation of moving the medical image displayed on the sub monitor 12m2 to the attached image field IMG by the drag and drop operation) is performed by the keyboard / mouse 12 km. If the discrimination result is NO, the process proceeds to step S25 as it is, while if the discrimination result is YES, the following processes are executed in steps S21 and S23, and then the process proceeds to step S31.

つまり、ステップS21では、サブモニタ12m2に表示された医用画像に基づいてサムネイル画像を作成する。ステップS23では、作成されたサムネイル画像を添付画像欄IMGに表示する(図7,図8参照)。 That is, in step S21, a thumbnail image is created based on the medical image displayed on the sub monitor 12m2. In step S23, the created thumbnail image is displayed in the attached image field IMG (see FIGS. 7 and 8).

ステップS25では、キーボード/マウス12kmによって画像更新操作(サブモニタ12m2上の医用画像を更新する操作)が行われたか否かを判別する。判別結果がNOであれば、そのままステップS29に進む。 In step S25, it is determined whether or not the image update operation (the operation of updating the medical image on the sub monitor 12 m2) is performed by the keyboard / mouse 12 km. If the determination result is NO, the process proceeds to step S29 as it is.

一方、判別結果がYESであればステップS27に進み、ステップS9で取得されたDICOMファイル内の別の医用画像をDRAM12mmに展開する。この結果、サブモニタ12m2に表示される医用画像が別の医用画像に更新される。ステップS27の処理が完了すると、ステップS29に進む。 On the other hand, if the discrimination result is YES, the process proceeds to step S27, and another medical image in the DICOM file acquired in step S9 is developed on the DRAM 12 mm. As a result, the medical image displayed on the sub monitor 12m2 is updated with another medical image. When the process of step S27 is completed, the process proceeds to step S29.

ステップS29では、添付画像欄IMGの近傍に表示された「確認」ボタン(図7,図8参照)がキーボード/マウス12kmによってクリックされたか否か(要求発行操作が行われたか否か)を判別する。ステップS29の判別結果がNOであれば、読影レポート画面の右上に表示された「確定」ボタンがキーボード/マウス12kmによってクリックされたか否かをステップS31で判別し、キーボード/マウス12kmによって他の操作が行われたか否かをステップS35で判別する。 In step S29, it is determined whether or not the "confirmation" button (see FIGS. 7 and 8) displayed in the vicinity of the attached image field IMG is clicked by the keyboard / mouse 12 km (whether or not the request issuing operation is performed). do. If the determination result in step S29 is NO, it is determined in step S31 whether or not the "OK" button displayed in the upper right of the interpretation report screen is clicked by the keyboard / mouse 12 km, and another operation is performed by the keyboard / mouse 12 km. In step S35, it is determined whether or not the above has been performed.

ステップS31の判別結果およびステップS35の判別結果のいずれもがNOであればステップS11に戻り、ステップS35の判別結果がYESであれば他の処理に進み、ステップS31の判別結果がYESであればステップS33で確定処理を行ってからステップS1に戻る。 If both the discrimination result in step S31 and the discrimination result in step S35 are NO, the process returns to step S11. If the discrimination result in step S35 is YES, the process proceeds to another process. If the discrimination result in step S31 is YES, the process proceeds to another process. After performing the confirmation process in step S33, the process returns to step S1.

この結果、メインモニタ12m1の表示が読影レポート画面からトップ画面に復帰する。ただし、図9に太丸で示すように、確定処理を施された読影レポートに対応する見出しには、“保留”に代えて“確定”の文字列が付される。 As a result, the display of the main monitor 12m1 returns from the interpretation report screen to the top screen. However, as shown by thick circles in FIG. 9, the character string "confirmed" is added to the heading corresponding to the interpretation report that has undergone the definite process, instead of "pending".

ステップS29の判別結果がYESであれば、読影レポート画面に記載された患者の検査時年齢が15歳以上であるか否かをステップS37で判別する。判別結果がYESであればステップS39に進む一方、判別結果がNOであればステップS43に進む。 If the determination result in step S29 is YES, it is determined in step S37 whether or not the patient's examination age described on the interpretation report screen is 15 years or older. If the discrimination result is YES, the process proceeds to step S39, while if the discrimination result is NO, the process proceeds to step S43.

ステップS39では、候補疾患提示要求(解析要求)をテキスト専門機械学習システム40atに送信し、続くステップS41では、候補疾患提示要求を画像専門機械学習システム40aiに送信する。また、ステップS43では、候補疾患提示要求をテキスト専門機械学習システム40ctに送信し、続くステップS45では、候補疾患提示要求を画像専門機械学習システム40ciに送信する。候補疾患提示要求は、通信I/F12cmを介し、かつ患者の属性に応じて異なる態様で発行される。 In step S39, the candidate disease presentation request (analysis request) is transmitted to the text specialized machine learning system 40at, and in the following step S41, the candidate disease presentation request is transmitted to the image specialized machine learning system 40ai. Further, in step S43, the candidate disease presentation request is transmitted to the text specialized machine learning system 40ct, and in the following step S45, the candidate disease presentation request is transmitted to the image specialized machine learning system 40ci. Candidate disease presentation requests are issued via communication I / F 12 cm and in different embodiments depending on the patient's attributes.

ステップS39またはS43で送信される候補疾患提示要求には、依頼コメント欄REQに表示された文字列と同じ文字列が依頼コメントを表す文字情報として付随し、所見欄RMKに表示された文字列と同じ文字列が所見を表す文字情報として付随し、診断欄DGNに表示された文字列と同じ文字列が診断コメントを表す文字情報として付随する。 The candidate disease presentation request transmitted in step S39 or S43 is accompanied by the same character string as the character string displayed in the request comment field EQU as character information representing the request comment, and is combined with the character string displayed in the finding field RMK. The same character string is attached as character information representing a finding, and the same character string as the character string displayed in the diagnosis field DGN is attached as character information representing a diagnosis comment.

また、ステップS41またはS45で送信される候補疾患提示要求には、ステップS9で取得したDICOMファイル内の全ての医用画像が画像情報として付随する。 Further, the candidate disease presentation request transmitted in step S41 or S45 is accompanied by all the medical images in the DICOM file acquired in step S9 as image information.

テキスト専門機械学習システム40atおよび40ctの各々は、依頼コメント,所見および診断コメントに基づいて患者の疾患を診断した経験が豊富な医師の知能と同様の人工知能を有する。また、画像専門機械学習システム40aiおよび40ciの各々は、医用画像に基づいて患者の疾患を診断した経験が豊富な医師の知能と同様の人工知能を有する。 Each of the text-specialized machine learning systems 40at and 40ct has artificial intelligence similar to that of an experienced physician who has diagnosed a patient's disease based on request comments, findings and diagnostic comments. In addition, each of the image-specialized machine learning systems 40ai and 40ci has artificial intelligence similar to that of a doctor who has abundant experience in diagnosing a patient's disease based on medical images.

テキスト専門機械学習システム40atおよび40ctの各々は、候補疾患提示要求に付随する文字情報に基づいて患者の疾患を解析する。一方、画像専門機械学習システム40aiおよび40ciの各々は、候補疾患提示要求に付随する画像情報に基づいて患者の疾患を解析する。つまり、テキスト専門機械学習システム40atおよび40ctの各々は、文字情報および画像情報のうち前者にのみ基づいて解析処理(第解析処理)を実行し、画像専門機械学習システム40aiおよび40ciの各々は、文字情報および画像情報のうち後者にのみ基づいて解析処理(第解析処理)を実行する。 Each of the text-specialized machine learning systems 40at and 40ct analyzes the patient's disease based on the textual information accompanying the candidate disease presentation request. On the other hand, each of the image-specialized machine learning systems 40ai and 40ci analyzes the patient's disease based on the image information accompanying the candidate disease presentation request. That is, each of the text-specialized machine learning systems 40at and 40ct executes an analysis process ( second analysis process) based only on the former of the character information and the image information, and each of the image-specialized machine learning systems 40ai and 40ci The analysis process ( first analysis process) is executed based only on the latter of the character information and the image information.

テキスト専門機械学習システム40atおよび40ctの各々は、文字情報に基づく解析処理によって図2に示す候補疾患テーブルから複数の候補疾患を抽出し、抽出した複数の疾患候補と各疾患候補に該当する確率とを含む回答を要求元に返送する。同様に、画像専門機械学習システム40aiおよび40ciの各々も、画像情報に基づく解析処理によって図2に示す候補疾患テーブルから複数の候補疾患を抽出し、抽出した複数の疾患候補と各疾患候補に該当する確率とを含む回答を要求元に返送する。 Each of the text-specialized machine learning systems 40at and 40ct extracts a plurality of candidate diseases from the candidate disease table shown in FIG. 2 by analysis processing based on character information, and the extracted multiple disease candidates and the probability of corresponding to each disease candidate. The reply including is returned to the requester. Similarly, each of the image-specialized machine learning systems 40ai and 40ci also extracts a plurality of candidate diseases from the candidate disease table shown in FIG. 2 by analysis processing based on image information, and corresponds to the extracted multiple disease candidates and each disease candidate. Return the response, including the probability of doing so, to the requester.

ステップS41またはS45の処理が完了すると、テキスト専門機械学習システム40atおよび画像専門機械学習システム40aiの両方あるいはテキスト専門機械学習システム40ctおよび画像専門機械学習システム40ciの両方から回答があったか否かをステップS47で繰り返し判別する。 When the processing of step S41 or S45 is completed, it is determined whether or not there is an answer from both the text-specialized machine learning system 40at and the image-specialized machine learning system 40ai or both the text-specialized machine learning system 40ct and the image-specialized machine learning system 40ci. Repeatedly determine with.

判別結果がNOからYESに更新されると、ステップS49に進み、解析結果画面をDRAM12mmに展開する。展開された解析結果画面はメインモニタ12m1によって読み出され、図10に示す要領で読影レポート画面に多重表示(追加表示)される。 When the determination result is updated from NO to YES, the process proceeds to step S49, and the analysis result screen is expanded to the DRAM 12 mm. The expanded analysis result screen is read out by the main monitor 12m1 and is displayed multiple times (additionally displayed) on the image interpretation report screen as shown in FIG.

図10を参照して、画像情報に基づく解析結果を表す候補疾患名および該当確率は解析結果画面の左側に表示され、文字情報に基づく解析結果を表す候補疾患名および該当確率は解析結果画面の右側に表示される。また、画像情報に基づく解析結果および文字情報に基づく解析結果は、同時に表示される。 With reference to FIG. 10, the candidate disease name and the corresponding probability representing the analysis result based on the image information are displayed on the left side of the analysis result screen, and the candidate disease name and the corresponding probability representing the analysis result based on the text information are displayed on the analysis result screen. It is displayed on the right side. In addition, the analysis result based on the image information and the analysis result based on the character information are displayed at the same time.

ここでは、画像情報に基づく解析結果は、“胸膜炎80%”,“狭心症50%”,“急性心筋炎15%”,“肺癌10%”の順で並ぶ。また、文字情報に基づく解析結果は、“狭心症80%”,“心筋梗塞40%”,“大動脈弁疾患30%”,“急性心筋炎10%”の順で並ぶ。 Here, the analysis results based on the image information are arranged in the order of "pleurisy 80%", "angina 50%", "acute myocarditis 15%", and "lung cancer 10%". The analysis results based on the textual information are arranged in the order of "angina 80%", "myocardial infarction 40%", "aortic valve disease 30%", and "acute myocarditis 10%".

ステップS51では診断欄DGNから漏れている候補疾患名を解析結果画面から探索し、ステップS53では探索結果が“探知”を示すか否かを判別する。判別結果がNOであれば、漏れ条件は満足されていないとみなしてステップS11に戻る。一方、判別結果がYESであれば、漏れ条件が満足されたとみなしてステップS55に進む。 In step S51, the name of the candidate disease leaked from the diagnosis column DGN is searched from the analysis result screen, and in step S53, it is determined whether or not the search result indicates "detection". If the determination result is NO, it is considered that the leakage condition is not satisfied, and the process returns to step S11. On the other hand, if the determination result is YES, it is considered that the leakage condition is satisfied, and the process proceeds to step S55.

ステップS55では、探知された候補疾患名の該当確率が基準値(=70%)を上回るか否かを判別する。判別結果がNOであれば、確率条件は満足されていないとみなしてステップS11に戻る。一方、判別結果がYESであれば、確率条件が満足されたとみなしてステップS57に進む。ステップS57では、探知した疾患候補名および該当確率をアラートのために太枠で強調する。強調処理が完了すると、ステップS11に戻る。 In step S55, it is determined whether or not the corresponding probability of the detected candidate disease name exceeds the reference value (= 70%). If the determination result is NO, it is considered that the probability condition is not satisfied, and the process returns to step S11. On the other hand, if the determination result is YES, it is considered that the probability condition is satisfied, and the process proceeds to step S57. In step S57, the detected disease candidate names and applicable probabilities are highlighted in bold frames for alerts. When the enhancement process is completed, the process returns to step S11.

図10によれば、“胸膜炎”は診断欄DGNから漏れている一方、“狭心症”は診断欄DGNに記載されている。したがって、“胸膜炎80%”および“狭心症80%”のうち“胸膜炎80%”のみが太枠で強調される。 According to FIG. 10, "pleurisy" is leaking from the diagnostic column DGN, while "angina" is described in the diagnostic column DGN. Therefore, of "pleurisy 80%" and "angina 80%", only "pleurisy 80%" is emphasized in a thick frame.

DICOMファイルに収められた全ての医用画像を画像専門機械学習システム40aiまたは40ciによる解析処理の対象とすることで、病変が表れた医用画像を見落として診断が行われる懸念が軽減される。また、依頼コメント,所見および診断コメントをテキスト専門機械学習システム40atまたは40ctによる解析処理の対象とすることで、一部の疾患に気を配ることなく(つまり、疾患名の一部に気付くことなく)診断が行われる懸念が軽減される。 By subjecting all the medical images contained in the DICOM file to the analysis processing by the image specialized machine learning system 40ai or 40ci, the concern that the medical image showing the lesion is overlooked and the diagnosis is made is reduced. In addition, by targeting request comments, findings, and diagnostic comments for analysis processing by the text-specialized machine learning system 40at or 40ct, without paying attention to some diseases (that is, without noticing a part of the disease name). ) The concern that a diagnosis will be made is reduced.

解析結果画面の表示が完了した後にステップS11に戻ることで、ステップS11からステップS27までの処理が再起動され、所見欄RMKおよび診断欄DGNの各々に表示される文字列ならびに添付画像欄IMGに表示されるサムネイル画像の編集が可能となる(図11参照)。 By returning to step S11 after the display of the analysis result screen is completed, the processes from step S11 to step S27 are restarted, and the character string displayed in each of the finding column RMK and the diagnostic column DGN and the attached image column IMG are displayed. The displayed thumbnail image can be edited (see FIG. 11).

図11に示す太枠内の記載によれば、“左胸膜に炎症所見を認める。”の文字列が所見欄RMKに追加され、診断欄DGNの記載が“1.胸膜炎”および“2.狭心症疑い”に改められる。編集の後に“確認”ボタンがクリックされると、ステップS37からステップS57までの処理が再起動され、解析結果画面が更新される。 According to the description in the thick frame shown in FIG. 11, the character string "Inflammatory findings are found in the left pleura" is added to the finding column RMK, and the description in the diagnostic column DGN is "1. Pleurisy" and "2. Narrow". It is changed to "suspicion of pleurisy". When the "confirmation" button is clicked after editing, the processes from step S37 to step S57 are restarted, and the analysis result screen is updated.

以上の説明から分かるように、画像診断支援装置10は、共通の患者を対象として作成された複数の医用画像と依頼コメントとに基づく診断を支援する装置であり、これを構成するCPU12prによって以下の処理が実行される。 As can be seen from the above description, the diagnostic imaging support device 10 is a device that supports diagnosis based on a plurality of medical images created for a common patient and request comments, and is described by the CPU 12pr constituting the device. The process is executed.

まず、複数の医用画像の少なくとも1つが、読影医と向き合うサブモニタ12m2に表示される(S9, S25~S27)。また、依頼コメントに対する読影医の見解(所見および/または診断コメント)は、キーボード/マウス12kmを通して取得され、メインモニタ12m1上の読影レポート画面に表示される(S11~S17)。 First, at least one of the plurality of medical images is displayed on the sub monitor 12m2 facing the image interpreter (S9, S25 to S27). In addition, the opinion of the image interpreter (findings and / or diagnostic comment) regarding the request comment is acquired through the keyboard / mouse 12 km and displayed on the image interpretation report screen on the main monitor 12 m1 (S11 to S17).

その後、複数の医用画像が付随する候補疾患提示要求が、画像専門機械学習システム40aiまたは40ciに向けて発行され(S41, S45)、依頼コメントおよび見解が付随する候補疾患提示要求が、テキスト専門機械学習システム40atまたは40ctに向けて発行される(S39, S43)。前者の候補疾患提示要求は画像情報に基づいて患者の疾患の解析を要求するものであり、後者の候補疾患提示要求は文字情報に基づいて患者の疾患の解析を要求するものである。 Subsequently, a candidate disease presentation request accompanied by a plurality of medical images is issued to the image specialized machine learning system 40ai or 40ci (S41, S45), and a candidate disease presentation request accompanied by a request comment and an opinion is a text specialized machine. Issued for learning systems 40at or 40ct (S39, S43). The former candidate disease presentation request requests the analysis of the patient's disease based on the image information, and the latter candidate disease presentation request requests the analysis of the patient's disease based on the text information.

画像専門機械学習システム40aiまたは40ciによる解析結果ならびにテキスト専門機械学習システム40atまたは40ctによる解析結果は、メインモニタ12m1上の読影レポート画面に多重表示される(S47, S49)。 The analysis result by the image specialized machine learning system 40ai or 40ci and the analysis result by the text specialized machine learning system 40at or 40ct are displayed in multiple layers on the interpretation report screen on the main monitor 12m1 (S47, S49).

複数の医用画像を画像専門機械学習システム40aiまたは40ciによる解析処理の対象とすることで、病変が表れた医用画像を見落として診断が行われる懸念が軽減される。また、依頼コメントとこれに対する読影医の見解とをテキスト専門機械学習システム40atまたは40ctによる解析処理の対象とすることで、一部の疾患に気を配ることなく(つまり、疾患名の一部に気付くことなく)診断が行われる懸念が軽減される。これによって、経験が乏しい読影医でも的確に画像診断を実施することができる。 By targeting a plurality of medical images for analysis processing by the image specialized machine learning system 40ai or 40ci, the concern that the medical image showing the lesion is overlooked and the diagnosis is made is reduced. In addition, by subjecting the request comment and the opinion of the image interpreter to the analysis processing by the text-specialized machine learning system 40at or 40ct, it is possible to make a part of the disease name without paying attention to some diseases (that is, a part of the disease name). The concern that a diagnosis will be made (without being noticed) is reduced. As a result, even an inexperienced image interpreter can accurately perform diagnostic imaging.

なお、この実施例では、患者の属性を“成人”および“小児”の2つに分類するようにしている。しかし、患者の属性は、“男性”および“女性”の2つに分類し、或いは“成人男性”,“成人女性”,“小児男性”,“小児女性”の4つに分類してもよく、さらには、より多様性を有するように分類してもよい。 In this embodiment, the attributes of the patient are classified into two, "adult" and "child". However, the attributes of the patient may be classified into two categories, "male" and "female", or may be classified into four categories: "adult male", "adult female", "pediatric male", and "pediatric female". , And even more diverse.

また、この実施例では、「確認」ボタンがクリックされたときに、画像診断支援装置10が、画像専門機械学習システム40aiまたは40ciに対して候補疾患提示要求を送信する(図15のステップS41,S45参照)。また、画像専門機械学習システム40aiまたは40ciは、送信された候補疾患提示要求に付随する画像情報に基づいて患者の疾患を解析し、解析結果を画像診断支援装置10に返送する。 Further, in this embodiment, when the "confirmation" button is clicked, the diagnostic imaging support device 10 transmits a candidate disease presentation request to the image specialized machine learning system 40ai or 40ci (step S41 in FIG. 15). See S45). Further, the image-specialized machine learning system 40ai or 40ci analyzes the patient's disease based on the image information accompanying the transmitted candidate disease presentation request, and returns the analysis result to the image diagnosis support device 10.

しかし、これに代えて、DICOMファイルがPACS30に保存された時点で、PACS30が、画像専門機械学習システム40aiまたは40ciに対して解析要求(DICOMファイル内の全ての医用画像とDICOMファイル番号とが付随)を送信し、「確認」ボタンがクリックされたときに、画像診断支援装置10が、画像専門機械学習システム40aiまたは40ciに対して候補疾患提示要求(DICOMファイル番号が付随)を送信するようにしてもよい。 However, instead of this, when the DICOM file is saved in the PACS 30, the PACS 30 accompanies an analysis request (all medical images and DICOM file numbers in the DICOM file) to the image specialist machine learning system 40ai or 40ci. ), And when the "Confirm" button is clicked, the diagnostic imaging support device 10 sends a candidate disease presentation request (with a DICOM file number) to the image specialized machine learning system 40ai or 40ci. You may.

この場合、画像専門機械学習システム40aiまたは40ciは、解析要求に付随する画像情報に基づいて患者の疾患を解析し、候補疾患提示要求に応答して解析結果を画像診断支援装置10に返送する。 In this case, the image-specialized machine learning system 40ai or 40ci analyzes the patient's disease based on the image information accompanying the analysis request, and returns the analysis result to the image diagnosis support device 10 in response to the candidate disease presentation request.

これによって、画像専門機械学習システム40aiまたは40ciは、「確認」ボタンがクリックされる前に患者の疾患を解析することができる。この結果、「確認」ボタンのクリックに対する応答特性が向上する。 This allows the image specialist machine learning system 40ai or 40ci to analyze the patient's disease before the "confirm" button is clicked. As a result, the response characteristics to the click of the "confirmation" button are improved.

なお、PACS30から画像専門機械学習システム40aiまたは40ciに対して解析要求を送信する場合、画像診断支援装置10およびPACS30によって構成された装置が、この発明の“診断支援装置”に相当する。 When the analysis request is transmitted from the PACS 30 to the image specialized machine learning system 40ai or 40ci, the device configured by the diagnostic imaging support device 10 and the PACS 30 corresponds to the "diagnosis support device" of the present invention.

10 …画像診断支援装置
12pr …CPU
12km …キーボード/マウス
12hd …HDD
12m1 …メインモニタ
12m2 …サブモニタ
40 …機械学習システム
40at,40ct …テキスト専門機械学習システム
40ai,40ci …画像専門機械学習システム
10 ... Image diagnosis support device 12pr ... CPU
12km ... keyboard / mouse 12hd ... HDD
12m1 ... Main monitor 12m2 ... Sub monitor 40 ... Machine learning system 40at, 40ct ... Text specialized machine learning system 40ai, 40ci ... Image specialized machine learning system

Claims (12)

共通の患者を対象として作成された複数の医用画像と依頼文とに基づく診断を支援する診断支援装置であって、
前記複数の医用画像の少なくとも1つを診断者に向けて出力する医用画像出力手段、
前記依頼文に対する診断者の見解を前記医用画像出力手段の処理に関連して取得する取得手段、
前記複数の医用画像を含む画像情報に基づいて前記患者の疾患を解析する第1解析処理を解析装置に要求する第1解析要求手段、
前記依頼文と前記取得手段によって取得された見解とを含む文字情報に基づいて前記患者の疾患を解析する第2解析処理を前記第1解析要求手段の処理に関連して前記解析装置に要求する第2解析要求手段、および
前記第1解析処理によって得られた第1解析結果と前記第2解析処理によって得られた第2解析結果とを前記診断者に向けて同時に出力する解析結果出力手段を備える、診断支援装置。
It is a diagnostic support device that supports diagnosis based on multiple medical images created for a common patient and a request statement.
A medical image output means that outputs at least one of the plurality of medical images to a diagnostician.
An acquisition means for acquiring the diagnostician's opinion on the request statement in connection with the processing of the medical image output means,
A first analysis requesting means for requesting an analyzer to perform a first analysis process for analyzing a disease of the patient based on image information including the plurality of medical images.
The analysis device is requested to perform a second analysis process for analyzing the disease of the patient based on the character information including the request sentence and the opinion acquired by the acquisition means in relation to the process of the first analysis request means. A second analysis requesting means, and an analysis result output means for simultaneously outputting the first analysis result obtained by the first analysis process and the second analysis result obtained by the second analysis process to the diagnostician . A diagnostic support device to prepare.
前記第1解析処理は前記画像情報および前記文字情報のうち前者にのみ基づいて実行され、
前記第2解析処理は前記画像情報および前記文字情報のうち後者にのみ基づいて実行される、請求項1記載の診断支援装置。
The first analysis process is executed based only on the former of the image information and the character information.
The diagnostic support device according to claim 1, wherein the second analysis process is executed based only on the latter of the image information and the character information.
前記医用画像出力手段は更新操作に応答して出力対象を更新する更新手段を含み、
前記解析結果出力手段は前記第1解析結果および前記第2解析結果の出力後に前記更新手段および前記取得手段の少なくとも一方を再起動する、請求項1または2記載の診断支援装置。
The medical image output means includes an update means for updating an output target in response to an update operation.
The diagnostic support device according to claim 1 or 2 , wherein the analysis result output means restarts at least one of the update means and the acquisition means after the output of the first analysis result and the second analysis result.
依頼文欄および見解記入欄を有する読影レポートを第1モニタに表示する読影レポート表示手段をさらに備え、
前記取得手段は前記見解を前記見解記入欄に表示する見解表示手段を含む、請求項1ないしのいずれかに記載の診断支援装置。
Further provided with an interpretation report display means for displaying an interpretation report having a request text column and an opinion entry column on the first monitor.
The diagnostic support device according to any one of claims 1 to 3 , wherein the acquisition means includes an opinion display means for displaying the opinion in the opinion entry field.
前記医用画像出力手段は前記複数の医用画像の少なくとも1つを前記第1モニタに付随する第2モニタに表示する医用画像表示手段を含む、請求項記載の診断支援装置。 The diagnostic support device according to claim 4 , wherein the medical image output means includes a medical image display means for displaying at least one of the plurality of medical images on a second monitor attached to the first monitor. 前記解析結果出力手段は前記第1解析結果および前記第2解析結果を前記第1モニタに追加表示する追加表示手段を含む、請求項または記載の診断支援装置。 The diagnostic support device according to claim 4 or 5 , wherein the analysis result output means includes an additional display means for additionally displaying the first analysis result and the second analysis result on the first monitor. 前記第1解析要求手段および前記第2解析要求手段の各々は前記患者の属性に応じて異なる態様で解析要求を発行する、請求項1ないしのいずれかに記載の診断支援装置。 The diagnostic support device according to any one of claims 1 to 6 , wherein each of the first analysis requesting means and the second analysis requesting means issues an analysis request in a different manner according to the attribute of the patient. 前記第1解析要求手段および前記第2解析要求手段の各々は要求発行操作を受け付けたとき前記解析装置に向けて解析要求を発行する、請求項1ないしのいずれかに記載の診断支援装置。 The diagnostic support device according to any one of claims 1 to 7 , wherein each of the first analysis requesting means and the second analysis requesting means issues an analysis request to the analysis device when the request issuing operation is received. 前記第1解析結果および前記第2解析結果の各々は複数の候補疾患名と各疾患候補の該当確率とを含む、請求項1ないしのいずれかに記載の診断支援装置。 The diagnostic support device according to any one of claims 1 to 8 , wherein each of the first analysis result and the second analysis result includes a plurality of candidate disease names and corresponding probabilities of each disease candidate. 前記複数の候補疾患名のうち既定条件を満足する候補疾患名を強調する強調手段をさらに備え、
前記既定条件は前記取得手段によって取得された見解から漏れているという漏れ条件と前記該当確率が基準を上回るという確率条件とを含む、請求項記載の診断支援装置。
Further provided with an emphasis means for emphasizing the candidate disease name satisfying the predetermined condition among the plurality of candidate disease names.
The diagnostic support device according to claim 9 , wherein the default condition includes a leakage condition that the view acquired by the acquisition means is omitted and a probability condition that the corresponding probability exceeds the standard.
共通の患者を対象として作成された複数の医用画像と依頼文とに基づく診断を支援する診断支援装置のプロセッサによって実行される診断支援方法であって、
前記複数の医用画像の少なくとも1つを診断者に向けて出力する医用画像出力ステップ、
前記依頼文に対する診断者の見解を前記医用画像出力ステップの処理に関連して取得する取得ステップ、
前記複数の医用画像を含む画像情報に基づいて前記患者の疾患を解析する第1解析処理を解析装置に要求する第1解析要求ステップ、
前記依頼文と前記取得ステップによって取得された見解とを含む文字情報に基づいて前記患者の疾患を解析する第2解析処理を前記第1解析要求ステップの処理に関連して前記解析装置に要求する第2解析要求ステップ、および
前記第1解析処理によって得られた第1解析結果と前記第2解析処理によって得られた第2解析結果とを前記診断者に向けて同時に出力する解析結果出力ステップを備える、診断支援方法。
It is a diagnostic support method executed by the processor of a diagnostic support device that supports diagnosis based on multiple medical images created for a common patient and a request statement.
A medical image output step that outputs at least one of the plurality of medical images to a diagnostician.
An acquisition step of acquiring the diagnostician's view of the request statement in connection with the processing of the medical image output step,
A first analysis request step that requires an analyzer to perform a first analysis process for analyzing a disease of the patient based on image information including the plurality of medical images.
The analysis device is requested to perform a second analysis process for analyzing the patient's disease based on the character information including the request statement and the opinion acquired by the acquisition step in connection with the process of the first analysis request step. A second analysis request step, and an analysis result output step for simultaneously outputting the first analysis result obtained by the first analysis process and the second analysis result obtained by the second analysis process to the diagnostician . Diagnostic support method to prepare.
共通の患者を対象として作成された複数の医用画像と依頼文とに基づく診断を支援する診断支援装置のプロセッサに、
前記複数の医用画像の少なくとも1つを診断者に向けて出力する医用画像出力ステップ、
前記依頼文に対する診断者の見解を前記医用画像出力ステップの処理に関連して取得する取得ステップ、
前記複数の医用画像を含む画像情報に基づいて前記患者の疾患を解析する第1解析処理を解析装置に要求する第1解析要求ステップ、
前記依頼文と前記取得ステップによって取得された見解とを含む文字情報に基づいて前記患者の疾患を解析する第2解析処理を前記第1解析要求ステップの処理に関連して前記解析装置に要求する第2解析要求ステップ、および
前記第1解析処理によって得られた第1解析結果と前記第2解析処理によって得られた第2解析結果とを前記診断者に向けて同時に出力する解析結果出力ステップを実行させるための、診断支援プログラム。
To the processor of the diagnostic support device that supports the diagnosis based on multiple medical images created for a common patient and the request text.
A medical image output step that outputs at least one of the plurality of medical images to a diagnostician.
An acquisition step of acquiring the diagnostician's view of the request statement in connection with the processing of the medical image output step,
A first analysis request step that requires an analyzer to perform a first analysis process for analyzing a disease of the patient based on image information including the plurality of medical images.
The analysis device is requested to perform a second analysis process for analyzing the patient's disease based on the character information including the request statement and the opinion acquired by the acquisition step in connection with the process of the first analysis request step. A second analysis request step, and an analysis result output step for simultaneously outputting the first analysis result obtained by the first analysis process and the second analysis result obtained by the second analysis process to the diagnostician . A diagnostic support program to be executed.
JP2017022515A 2017-02-09 2017-02-09 Diagnostic support device, diagnostic support method and diagnostic support program Active JP6997981B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017022515A JP6997981B2 (en) 2017-02-09 2017-02-09 Diagnostic support device, diagnostic support method and diagnostic support program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017022515A JP6997981B2 (en) 2017-02-09 2017-02-09 Diagnostic support device, diagnostic support method and diagnostic support program

Publications (2)

Publication Number Publication Date
JP2018128933A JP2018128933A (en) 2018-08-16
JP6997981B2 true JP6997981B2 (en) 2022-01-18

Family

ID=63173445

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017022515A Active JP6997981B2 (en) 2017-02-09 2017-02-09 Diagnostic support device, diagnostic support method and diagnostic support program

Country Status (1)

Country Link
JP (1) JP6997981B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3651163A1 (en) * 2018-11-06 2020-05-13 Koninklijke Philips N.V. Medical image device and operating method
KR102419322B1 (en) * 2019-12-06 2022-07-11 아주대학교산학협력단 An industrial accident diagnosis simulator system on the basis of exposure risk level for industrial working environment-related disease factor
JP7097035B2 (en) * 2020-02-03 2022-07-07 株式会社ジェイマックシステム Image diagnosis support device, image diagnosis support method and image diagnosis support program
CN112117001A (en) * 2020-09-08 2020-12-22 深圳市智慧健康产业发展有限公司 General practitioner intelligence image auxiliary diagnosis system

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004267403A (en) 2003-03-07 2004-09-30 Hitachi Medical Corp Medical examination report system
JP2006059063A (en) 2004-08-19 2006-03-02 Fujitsu Ltd Diagnostic reading report analysis program
JP2006260318A (en) 2005-03-18 2006-09-28 Hitachi Medical Corp Diagnostic reading report input support method and system
JP2008146219A (en) 2006-12-07 2008-06-26 Fuji Xerox Co Ltd Data retrieval system, data retrieval method, and computer program
JP2009086750A (en) 2007-09-27 2009-04-23 Canon Inc Medical diagnostic support device
JP2011036383A (en) 2009-08-10 2011-02-24 Canon Inc Medical diagnosis supporting apparatus, method of controlling medical diagnosis supporting apparatus, and program
US20150324523A1 (en) 2014-05-06 2015-11-12 Koninklijke Philips N.V. System and method for indicating the quality of information to support decision making

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004267403A (en) 2003-03-07 2004-09-30 Hitachi Medical Corp Medical examination report system
JP2006059063A (en) 2004-08-19 2006-03-02 Fujitsu Ltd Diagnostic reading report analysis program
JP2006260318A (en) 2005-03-18 2006-09-28 Hitachi Medical Corp Diagnostic reading report input support method and system
JP2008146219A (en) 2006-12-07 2008-06-26 Fuji Xerox Co Ltd Data retrieval system, data retrieval method, and computer program
JP2009086750A (en) 2007-09-27 2009-04-23 Canon Inc Medical diagnostic support device
JP2011036383A (en) 2009-08-10 2011-02-24 Canon Inc Medical diagnosis supporting apparatus, method of controlling medical diagnosis supporting apparatus, and program
US20150324523A1 (en) 2014-05-06 2015-11-12 Koninklijke Philips N.V. System and method for indicating the quality of information to support decision making

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
蓮尾 金博,「HISと連携したRIS・PACS・レポーティングシステムの構築」,月刊新医療 ,株式会社エム・イー振興協会 ,2002年08月31日,第29巻第8号 ,86~89ページ

Also Published As

Publication number Publication date
JP2018128933A (en) 2018-08-16

Similar Documents

Publication Publication Date Title
JP5383431B2 (en) Information processing apparatus, information processing method, and program
US10593428B2 (en) Diagnosis support apparatus and method, and non-transitory computer readable medium
JP5517524B2 (en) Medical diagnosis support apparatus, control method and program for medical diagnosis support apparatus
US20190156947A1 (en) Automated information collection and evaluation of clinical data
JP2019153250A (en) Device, method, and program for supporting preparation of medical document
JP6997981B2 (en) Diagnostic support device, diagnostic support method and diagnostic support program
JP5875285B2 (en) Medical diagnosis support apparatus, information processing method, and program
JP5098314B2 (en) Document creation support system, document creation support method, and computer program
JP5661890B2 (en) Information processing apparatus, information processing method, and program
US20140122515A1 (en) Apparatus and method for aiding diagnosis
JP2016045662A (en) Similar image retrieval device, operation method of similar image retrieval device and similar image retrieval program
JP2019149005A (en) Medical document creation support apparatus, method, and program
WO2021157705A1 (en) Document creation assistance device, method, and program
WO2020209382A1 (en) Medical document generation device, method, and program
WO2019193982A1 (en) Medical document creation assistance device, medical document creation assistance method, and medical document creation assistance program
US20230005580A1 (en) Document creation support apparatus, method, and program
JP2017010577A (en) Medical diagnosis support device and medical diagnosis support method
WO2021107099A1 (en) Document creation assistance device, document creation assistance method, and program
JP2019208620A (en) Medical image processor, medical image processing method, and medical image processing program
US20220391599A1 (en) Information saving apparatus, method, and program and analysis record generation apparatus, method, and program
JP5816321B2 (en) Information processing apparatus, information processing system, information processing method, and program
JP7097035B2 (en) Image diagnosis support device, image diagnosis support method and image diagnosis support program
JP6316325B2 (en) Information processing apparatus, information processing apparatus operating method, and information processing system
KR20220136226A (en) Method and apparatus for providing medical expectations using artificial intelligence model
US12014823B2 (en) Methods and systems for computer-aided diagnosis with deep learning models

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20180509

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191218

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200424

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210330

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210527

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211130

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211209

R150 Certificate of patent or registration of utility model

Ref document number: 6997981

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150