JP7504987B2 - 情報処理装置、情報処理方法及び情報処理プログラム - Google Patents

情報処理装置、情報処理方法及び情報処理プログラム Download PDF

Info

Publication number
JP7504987B2
JP7504987B2 JP2022504428A JP2022504428A JP7504987B2 JP 7504987 B2 JP7504987 B2 JP 7504987B2 JP 2022504428 A JP2022504428 A JP 2022504428A JP 2022504428 A JP2022504428 A JP 2022504428A JP 7504987 B2 JP7504987 B2 JP 7504987B2
Authority
JP
Japan
Prior art keywords
attribute
score
description
image
scores
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022504428A
Other languages
English (en)
Other versions
JPWO2021177357A1 (ja
Inventor
晶路 一ノ瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2021177357A1 publication Critical patent/JPWO2021177357A1/ja
Application granted granted Critical
Publication of JP7504987B2 publication Critical patent/JP7504987B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10104—Positron emission tomography [PET]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G06T2207/30064—Lung nodule

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Radiology & Medical Imaging (AREA)
  • Primary Health Care (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Epidemiology (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Description

本開示は、読影レポート等の文書の作成を支援するための情報処理装置、情報処理方法及び情報処理プログラムに関する。
近年、ＣＴ(Computed Tomography)装置及びＭＲＩ（Magnetic Resonance Imaging）装置等の医療機器の進歩により、より質の高い高解像度の医用画像を用いての画像診断が可能となってきている。とくに、ＣＴ画像及びＭＲＩ画像等を用いた画像診断により、病変の領域を精度よく特定することができるため、特定した結果に基づいて適切な治療が行われるようになってきている。
また、ディープラーニング等により学習がなされた判別器を用いたＣＡＤ（Computer-Aided Diagnosis）により医用画像を解析して、医用画像に含まれる病変等の関心構造物の形状、濃度、位置及び大きさ等の性状を判別することが行われている。このようにして得られる解析結果は、患者名、性別、年齢及び医用画像を取得した撮影装置等の検査情報と対応づけられて、データベースに保存される。医用画像及び解析結果は、医用画像の読影を行う読影医の端末に送信される。読影医は、自身の読影端末において、配信された医用画像及び解析結果を参照して医用画像の読影を行い、読影レポートを作成する。
一方、上述したＣＴ装置およびＭＲＩ装置の高性能化に伴い、読影を行う医用画像の数は増大している。そこで、読影医の読影業務の負担を軽減するために、読影レポート等の医療文書の作成を支援するための各種手法が提案されている。
例えば、特開２０１０－１６７１４４号公報には、読影医により入力された医用画像中の結節の位置情報から、結節の大きさ等の解析を行い、解析した結節の情報を医用画像とともに読影レポート作成画面に貼りつける手法が開示されている。また、特開２０１７－１９１５２０号公報には、結節性病変及び肺気腫等の所見の候補を表示してユーザに選択させる場合に、各所見が選択された回数若しくは頻度を記憶しておき、当該回数若しくは頻度に基づいて、所見の候補の表示順を決定することが開示されている。
しかしながら、特開２０１０－１６７１４４号公報及び特開２０１７－１９１５２０号公報に記載の技術では、医用画像に含まれる病変等の関心構造物の性状についての情報を、読影医の入力操作に依らずに提示することはできない。したがって、読影レポート等の文書の作成を支援するには十分ではない。
本開示は、読影レポート等の文書の作成を支援できる情報処理装置、情報処理方法及び情報処理プログラムを提供する。
本開示の第１の態様は、情報処理装置であって、少なくとも１つのプロセッサを備えた情報処理装置であって、プロセッサは、少なくとも１つの画像から、予め定められた性状項目ごとの性状の顕著性を示す性状スコアを導出し、性状項目ごとに、当該性状項目に関する記述を文書に記載することの推奨度合を示す記載スコアを導出する場合に、画像を学習済みモデルに入力することで、性状スコア及び記載スコアを導出し、学習済みモデルは、学習用画像と、当該学習用画像から導出された性状スコア及び記載スコアと、の複数の組合せを学習用データとして用いた機械学習によって学習され、画像を入力とし、性状スコア及び記載スコアを出力とするモデルである。
本開示の第２の態様は、上記態様において、プロセッサが、性状項目に関する記述を文書に記載するか否かについて予め定められた規則に基づいて、記載スコアを導出してもよい。
本開示の第３の態様は、上記態様において、プロセッサが、性状項目ごとに、当該性状項目に対応する性状スコアに基づいて、記載スコアを導出してもよい。
本開示の第４の態様は、上記態様において、プロセッサが、何れかの性状項目についての記載スコアを、他の何れかの性状項目について導出された性状スコアに基づいて導出してもよい。
本開示の第５の態様は、上記態様において、学習済みモデルは、性状スコア及び記載スコアをそれぞれ導出するための第１の学習済みモデルと第２の学習済みモデルとで構成されるものであってもよい。第１の学習済みモデルは、学習用画像と、当該学習用画像から導出された性状スコアと、の複数の組合せを学習用データとして用いた機械学習によって学習され、画像を入力とし、性状スコアを出力とするモデルである。第２の学習済みモデルは、第１の学習済みモデルにより導出された性状スコアと、当該性状スコアに基づいて導出された記載スコアと、の複数の組合せを学習用データとして用いた機械学習によって学習され、画像及び性状スコアの少なくとも一方を入力とし、記載スコアを出力とするモデルである。
本開示の第６の態様は、上記態様において、プロセッサが、互いに異なる時点で取得された複数の画像のそれぞれについて、性状スコアを導出し、性状項目ごとに、記載スコアを導出してもよい。
本開示の第７の態様は、上記態様において、プロセッサが、画像に含まれる構造物の位置、種類、及び大きさの少なくとも１つに基づいて、性状スコアを導出してもよい。
本開示の第８の態様は、上記態様において、プロセッサが、記載スコアに基づいて、画像に関する文字列を生成し、文字列をディスプレイに表示する制御を行ってもよい。
本開示の第９の態様は、上記態様において、プロセッサが、記載スコアの順に選択された、予め定められた数の性状項目に関する文字列を生成してもよい。
本開示の第１０の態様は、情報処理方法であって、少なくとも１つの画像から、予め定められた性状項目ごとの性状の顕著性を示す性状スコアを導出し、性状項目ごとに、当該性状項目に対応する性状スコアに基づいて、当該性状項目に関する記述を文書に記載することの推奨度合を示す記載スコアを導出する場合に、画像を学習済みモデルに入力することで、性状スコア及び記載スコアを導出し、学習済みモデルは、学習用画像と、当該学習用画像から導出された性状スコア及び記載スコアと、の複数の組合せを学習用データとして用いた機械学習によって学習され、画像を入力とし、性状スコア及び記載スコアを出力とするモデルである。
本開示の第１１の態様は、情報処理プログラムであって、互いに異なる時点で取得された複数の画像のそれぞれについて、予め定められた性状項目ごとの性状の顕著性を示す性状スコアを導出し、性状項目ごとに、当該性状項目に対応する性状スコアに基づいて、当該性状項目に関する記述を文書に記載することの推奨度合を示す記載スコアを導出する場合に、画像を学習済みモデルに入力することで、性状スコア及び記載スコアを導出し、学習済みモデルは、学習用画像と、当該学習用画像から導出された性状スコア及び記載スコアと、の複数の組合せを学習用データとして用いた機械学習によって学習され、画像を入力とし、性状スコア及び記載スコアを出力とするモデルである処理をコンピュータに実行させるためのものである。
上記態様によれば、本開示の情報処理装置、情報処理方法及び情報処理プログラムは、読影レポート等の文書の作成を支援できる。
例示的実施形態に係る医療情報システムの概略構成の一例を示す図である。 例示的実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。 例示的実施形態に係る情報処理装置の機能的な構成の一例を示すブロック図である。 医用画像を模式的に示す図である。 性状スコア及び記載スコアを説明するための図である。 読影レポートの作成画面の一例を示す図である。 例示的実施形態に係る情報処理の一例を示すフローチャートである。 性状スコア及び記載スコアを出力する学習済みモデルの一例を示す図である。 性状スコア及び記載スコアを出力する学習済みモデルの一例を示す図である。
以下、図面を参照して本開示の各例示的実施形態について説明する。
［第１例示的実施形態］
まず、本開示の情報処理装置を適用した医療情報システム１の構成について説明する。
図１は、医療情報システム１の概略構成を示す図である。図１に示す医療情報システム１は、公知のオーダリングシステムを用いた診療科の医師からの検査オーダに基づいて、被写体の検査対象部位の撮影、撮影により取得された医用画像の保管、読影医による医用画像の読影と読影レポートの作成、及び依頼元の診療科の医師による読影レポートの閲覧と読影対象の医用画像の詳細観察とを行うためのシステムである。
図１に示すように、医療情報システム１は、複数の撮影装置２、読影端末である複数の読影ＷＳ（WorkStation）３、診療ＷＳ４、画像サーバ５、画像ＤＢ（DataBase）６、レポートサーバ７及びレポートＤＢ８が、有線又は無線のネットワーク１０を介して互いに通信可能な状態で接続されて構成されている。
各機器は、医療情報システム１の構成要素として機能させるためのアプリケーションプログラムがインストールされたコンピュータである。アプリケーションプログラムは、ＤＶＤ（Digital Versatile Disc）及びＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。又は、ネットワーク１０に接続されたサーバコンピュータの記憶装置、若しくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じてコンピュータにダウンロードされ、インストールされる。
撮影装置２は、被写体の診断対象となる部位を撮影することにより、診断対象部位を表す医用画像を生成する装置（モダリティ）である。具体的には、単純Ｘ線撮影装置、ＣＴ装置、ＭＲＩ装置、及びＰＥＴ（Positron Emission Tomography)装置等である。撮影装置２により生成された医用画像は画像サーバ５に送信され、画像ＤＢ６に保存される。
読影ＷＳ３は、例えば放射線科の読影医が、医用画像の読影及び読影レポートの作成等に利用するコンピュータであり、本例示的実施形態に係る情報処理装置２０（詳細は後述）を内包する。読影ＷＳ３では、画像サーバ５に対する医用画像の閲覧要求、画像サーバ５から受信した医用画像に対する各種画像処理、医用画像の表示、医用画像に関する所見文の入力受付が行われる。また、読影ＷＳ３では、医用画像に対する解析処理、解析結果に基づく読影レポートの作成の支援、レポートサーバ７に対する読影レポートの登録要求と閲覧要求、及びレポートサーバ７から受信した読影レポートの表示が行われる。これらの処理は、読影ＷＳ３が各処理のためのソフトウェアプログラムを実行することにより行われる。
診療ＷＳ４は、例えば診療科の医師が、画像の詳細観察、読影レポートの閲覧、及び電子カルテの作成等に利用するコンピュータであり、処理装置、ディスプレイ等の表示装置、並びにキーボード及びマウス等の入力装置により構成される。診療ＷＳ４では、画像サーバ５に対する画像の閲覧要求、画像サーバ５から受信した画像の表示、レポートサーバ７に対する読影レポートの閲覧要求、及びレポートサーバ７から受信した読影レポートの表示が行われる。これらの処理は、診療ＷＳ４が各処理のためのソフトウェアプログラムを実行することにより行われる。
画像サーバ５は、汎用のコンピュータにデータベース管理システム（DataBase Management System: DBMS）の機能を提供するソフトウェアプログラムがインストールされたものである。また、画像サーバ５は画像ＤＢ６が構成されるストレージを備えている。このストレージは、画像サーバ５とデータバスとによって接続されたハードディスク装置であってもよいし、ネットワーク１０に接続されているＮＡＳ（Network Attached Storage）及びＳＡＮ（Storage Area Network）に接続されたディスク装置であってもよい。また、画像サーバ５は、撮影装置２からの医用画像の登録要求を受け付けると、その医用画像をデータベース用のフォーマットに整えて画像ＤＢ６に登録する。
画像ＤＢ６には、撮影装置２において取得された医用画像の画像データと付帯情報とが登録される。付帯情報には、例えば、個々の医用画像を識別するための画像ＩＤ(identification)、被写体を識別するための患者ＩＤ、検査を識別するための検査ＩＤ、医用画像ごとに割り振られるユニークなＩＤ（ＵＩＤ：unique identification）、医用画像が生成された検査日、検査時刻、医用画像を取得するための検査で使用された撮影装置の種類、患者氏名、年齢、性別等の患者情報、検査部位（撮影部位）、撮影情報（撮影プロトコル、撮影シーケンス、撮像手法、撮影条件、造影剤の使用等）、１回の検査で複数の医用画像を取得した場合のシリーズ番号あるいは採取番号等の情報が含まれる。
また、画像サーバ５は、読影ＷＳ３及び診療ＷＳ４からの閲覧要求をネットワーク１０経由で受信すると、画像ＤＢ６に登録されている医用画像を検索し、検索された医用画像を要求元の読影ＷＳ３及び診療ＷＳ４に送信する。
レポートサーバ７には、汎用のコンピュータにデータベース管理システムの機能を提供するソフトウェアプログラムが組み込まれる。レポートサーバ７は、読影ＷＳ３からの読影レポートの登録要求を受け付けると、その読影レポートをデータベース用のフォーマットに整えてレポートＤＢ８に登録する。
レポートＤＢ８には、読影医が読影ＷＳ３を用いて作成した所見文を少なくとも含む読影レポートが登録される。読影レポートは、例えば、読影対象の医用画像、医用画像を識別する画像ＩＤ、読影を行った読影医を識別するための読影医ＩＤ、病変名、病変の位置情報、性状スコア及び記載スコア（詳細は後述）等の情報を含んでいてもよい。
また、レポートサーバ７は、読影ＷＳ３及び診療ＷＳ４からの読影レポートの閲覧要求をネットワーク１０経由で受信すると、レポートＤＢ８に登録されている読影レポートを検索し、検索された読影レポートを要求元の読影ＷＳ３及び診療ＷＳ４に送信する。
ネットワーク１０は、病院内の各種機器を接続する有線又は無線のローカルエリアネットワークである。読影ＷＳ３が他の病院あるいは診療所に設置されている場合には、ネットワーク１０は、各病院のローカルエリアネットワーク同士をインターネット又は専用回線で接続した構成としてもよい。
次に、本例示的実施形態に係る情報処理装置２０について説明する。
まず、図２を参照して、本例示的実施形態に係る情報処理装置２０のハードウェア構成を説明する。図２に示すように、情報処理装置２０は、ＣＰＵ（Central Processing Unit）１１、不揮発性の記憶部１３、及び一時記憶領域としてのメモリ１６を含む。また、情報処理装置２０は、液晶ディスプレイ及び有機ＥＬ（Electro Luminescence）ディスプレイ等のディスプレイ１４、キーボードとマウス等の入力部１５、及びネットワーク１０に接続されるネットワークＩ／Ｆ（InterFace）１７を含む。ＣＰＵ１１、記憶部１３、ディスプレイ１４、入力部１５、メモリ１６及びネットワークＩ／Ｆ１７は、バス１８に接続される。なお、ＣＰＵ１１は、本開示におけるプロセッサの一例である。
記憶部１３は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、及びフラッシュメモリ等の記憶装置によって実現される。記憶媒体としての記憶部１３には、情報処理プログラム１２が記憶される。ＣＰＵ１１は、記憶部１３から情報処理プログラム１２を読み出してからメモリ１６に展開し、展開した情報処理プログラム１２を実行する。
次に、図３～６を参照して、本例示的実施形態に係る情報処理装置２０の機能的な構成を説明する。図３に示すように、情報処理装置２０は、取得部２１、導出部２２、生成部２３及び表示制御部２４を含む。ＣＰＵ１１が情報処理プログラム１２を実行することにより、取得部２１、導出部２２、生成部２３及び表示制御部２４として機能する。
取得部２１は、画像の一例としての医用画像Ｇ０を、ネットワークＩ／Ｆ１７を介して画像サーバ５から取得する。図４は、医用画像Ｇ０を模式的に示す図である。本例示的実施形態においては、一例として、肺のＣＴ画像を医用画像Ｇ０として用いている。医用画像Ｇ０には、病変等の関心構造物の一例としての結節影Ｎが含まれている。
ところで、結節影Ｎからは、辺縁の形状及び吸収値（濃度）等の複数の性状項目の性状を把握することができる。したがって、読影医が結節影Ｎに関する読影レポートを作成する場合、何れの性状項目に関する記述を読影レポートに記載するべきかを判断する必要がある。例えば、性状が顕著に表れている性状項目に関する記述は読影レポートに記載し、性状が顕著に表れていない性状項目に関する記述は読影レポートに記載しないと判断する場合がある。また、例えば、ある特定の性状項目に関する記述は、その性状に関わらず、読影レポートに記載する又は記載しないと判断する場合がある。このような、何れの性状項目に関する記述を読影レポートに記載するべきかの判断を支援することが望まれている。
そこで、本例示的実施形態に係る導出部２２は、何れの性状項目に関する記述を読影レポートに記載するべきかの判断を支援するために、性状スコア及び記載スコアを導出する。図５に、導出部２２により結節影Ｎを含む医用画像Ｇ０から導出された、結節影Ｎに関する予め定められた性状項目ごとの性状スコア及び記載スコアの一例を示す。図５には、結節影Ｎに関する性状項目として、辺縁の形状（分葉状、スピキュラ）、辺縁平滑度、境界明瞭度、吸収値（充実性、スリガラス）、及び石灰化の有無を例示している。図５において、性状スコアは、最大値を１、最小値を０とする値であり、１に近いほど、結節影Ｎにおける当該性状が顕著であることを示す。記載スコアは、最大値を１、最小値を０とする値であり、１に近いほど、性状項目に関する記述を文書に記載することの推奨度合が高いことを示す。
導出部２２は、少なくとも１つの医用画像Ｇ０から、予め定められた性状項目ごとの性状の顕著性を示す性状スコアを導出する。具体的には、導出部２２は、ＣＡＤ等により医用画像Ｇ０を解析して、医用画像Ｇ０に含まれる病変等の構造物の位置、種類及び大きさを特定し、特定した病変に関する予め定められた性状項目の性状について、性状スコアを導出する。すなわち、性状項目は、例えば、病変の位置、種類及び大きさの少なくとも１つに応じて予め定められ、記憶部１３に記憶されている項目である。
また、導出部２２は、性状項目ごとに、当該性状項目に関する記述を文書に記載することの推奨度合を示す記載スコアを導出する。具体的には、導出部２２は、性状項目に関する記述を文書に記載するか否かについて予め定められた規則に基づいて、記載スコアを導出する。なお、導出部２２は、予め記憶部１３に記憶された規則との適合度合に応じて記載スコアを導出してもよいし、規則との適合度合に応じて記載スコアが出力されるよう学習された学習済みモデル（詳細は後述）を用いて記載スコアを導出してもよい。
導出部２２が記載スコアの導出に用いる規則について、具体例を挙げて説明する。図５の「石灰化」は、結節影Ｎが悪性か良性かの判断によく用いられる。したがって、導出部２２は、「石灰化」の性状項目に関して、その性状スコアに関わらず、記載スコアを高く導出してもよい。
また、導出部２２は、性状項目ごとに、当該性状項目に対応する性状スコアに基づいて、記載スコアを導出してもよい。例えば、導出部２２は、陽性の性状項目は文書に記載し、陰性の性状項目は文書に記載しないように、記載スコアを導出してもよい。また、導出部２２は、図５の「辺縁／分葉状」と「辺縁／スピキュラ」、及び「吸収値／充実」と「吸収値／スリガラス」に示すように、同類の性状項目に関して、性状スコアがより高い性状項目の記載スコアが高くなるように、記載スコアを導出してもよい。
また、図５の「辺縁平滑度」及び「境界明瞭度」は、辺縁が不正で、境界が不明瞭であるほど、結節影Ｎが悪性であることが疑われる。すなわち、「辺縁平滑度」及び「境界明瞭度」は、その性状スコアが高いほど良性である可能性が高く、敢えて読影レポートに記載する必要性は低くなる。そこで、導出部２２は、図５に示すように「辺縁平滑度」及び「境界明瞭度」の性状スコアが高い場合は、記載スコアを低く導出してもよい。
また、導出部２２は、何れかの性状項目についての記載スコアを、他の何れかの性状項目について導出された性状スコアに基づいて導出してもよい。例えば、結節影Ｎがスリガラス状である場合は、石灰化は通常認められないため、石灰化に関する記述を省略することができる。そこで、例えば、「吸収値／スリガラス」の性状スコアから結節影Ｎがスリガラス状である可能性が高いと判断される場合には、「石灰化」の記載スコアを０．００にすることで、石灰化の性状項目に関する記述を省略してもよい。
なお、上述した具体例は一例であり、規則はこれに限るものではない。また、規則として、予め定められた規則のうち、ユーザによって選択された規則を用いてもよい。例えば、導出部２２による記載スコアの導出に先立って、予め定められた複数の規則のうち任意の規則を選択するためのチェックボックスを備えた画面をディスプレイ１４に表示し、ユーザによる選択を受け付けるようにしてもよい。
生成部２３は、以上のようにして導出された記載スコアに基づいて、医用画像Ｇ０に関して、文書に記載すると判断した性状項目についての文字列を生成する。例えば、生成部２３は、記載スコアが予め定められた閾値以上の性状項目についての記述を含む所見文を生成する。生成部２３による所見文の生成方法としては、例えば、各性状項目についての定型文を用いてもよいし、特開２０１９－１５３２５０号公報に記載のリカレントニューラルネットワーク等の機械学習がなされた学習モデルを用いてもよい。なお、生成部２３が生成する文字列は、所見文に限らず、性状項目の性状を示すキーワード等であってもよい。また、生成部２３は、所見文及びキーワードをともに生成してもよいし、表現が異なる複数の所見文候補を生成してもよい。
また、生成部２３は、記載スコアの順に選択された、予め定められた数の性状項目に関する文字列を生成してもよい。例えば、生成部２３が、記載スコアが高い順に選択された、３つの性状項目に関する文字列を生成する場合、図５の例では、「辺縁／分葉状」、「吸収値／充実」、及び「石灰化」の性状項目に関する文字列が生成される。また、ユーザが、文字列に含まれる性状項目の数を設定できるようにしてもよい。
表示制御部２４は、生成部２３により生成された文字列をディスプレイに表示する制御を行う。図６は、ディスプレイ１４に表示される、読影レポートの作成画面３０の一例を示す図である。作成画面３０には、医用画像Ｇ０が表示される画像表示領域３１と、生成部２３により生成された性状項目の性状を示すキーワードが表示されるキーワード表示領域３２と、生成部２３により生成された所見文が表示される所見文表示領域３３と、が含まれる。
次に、図７を参照して、本例示的実施形態に係る情報処理装置２０の作用を説明する。ＣＰＵ１１が情報処理プログラム１２を実行することによって、図７に示す情報処理が実行される。図７に示す情報処理は、例えば、医用画像Ｇ０の読影レポートの作成開始の指示が、入力部１５を介して入力された場合に実行される。
図７のステップＳ１０で、取得部２１は、医用画像Ｇ０を画像サーバ５から取得する。ステップＳ１２で、導出部２２は、ステップＳ１０で取得した医用画像Ｇ０に基づいて、医用画像Ｇ０に含まれる病変の位置、種類及び大きさを特定し、特定した病変に関する予め定められた性状項目について、性状スコアを導出する。ステップＳ１４で、導出部２２は、性状項目ごとに、記載スコアを導出する。ステップＳ１６で、生成部２３は、記載スコアに基づいて、医用画像Ｇ０に関する文字列を生成する。ステップＳ１８で、表示制御部２４は、ステップＳ１６で生成した文字列をディスプレイ１４に表示する制御を行い、処理を終了する。
以上説明したように、本開示の例示的実施形態に係る情報処理装置２０によれば、少なくとも１つの画像から、予め定められた性状項目ごとの性状の顕著性を示す性状スコアを導出し、性状項目ごとに、当該性状項目に関する記述を文書に記載することの推奨度合を示す記載スコアを導出する。このような記載スコアにより、文書に記載することが推奨される性状項目を把握することができるので、何れの性状項目に関する記述を読影レポートに記載するべきかの判断を支援することができ、読影レポート等の文書の作成を支援することができる。
なお、図８に示すように、導出部２２は、医用画像Ｇ０を学習済みモデルＭ１に入力することで、性状項目ごとに、性状スコア及び記載スコアを導出してもよい。学習済みモデルＭ１は、医用画像Ｇ０を入力とし、性状スコア及び記載スコアを出力とする、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）等のモデルを用いた機械学習によって実現することができる。学習済みモデルＭ１は、学習用画像Ｓ０と、当該学習用画像Ｓ０から導出された性状スコア及び記載スコアと、の複数の組合せを学習用データとして用いた機械学習によって学習される。
学習用データとしては、例えば、過去に撮影された結節影Ｎを含む医用画像である学習用画像Ｓ０について、読影医が性状項目ごとに性状スコア及び記載スコアを決定したデータを用いることができる。図８には、一例として、学習用画像Ｓ０と、学習用画像Ｓ０について読影医が０．００～１．００の範囲でスコアリングをした性状スコア及び記載スコアと、の組合せからなる学習用データを複数示している。
なお、読影医により作成される学習用データとしては、数値によるスコアリングがされた性状スコア及び記載スコアの他に、性状の顕著性及び記載の推奨度合いについて、２以上のクラス分けがされたデータとしてもよい。例えば、学習用の性状スコアに代えて、当該性状項目の性状が認められるか否かを示す情報を用いてもよい。また、例えば、学習用の記載スコアに代えて、当該性状項目に関する記述について、記載必須／記載可／記載不要を示す情報を用いてもよい。
導出部２２が学習済みモデルＭ１を用いることで、学習用データの傾向に沿った記載スコアを導出することができる。したがって、読影レポート等の文書の作成を支援することができる。
また、読影レポートには、同一の結節影Ｎについて、経時的にどのように性状が変化したかを記載する場合がある。そこで、導出部２２は、互いに異なる時点で取得された複数の画像のそれぞれについて、性状スコアを導出し、性状項目ごとに、記載スコアを導出してもよい。ここで、導出部２２は、予め記憶部１３に記憶された規則との適合度合に応じて記載スコアを導出してもよいし、規則との適合度合に応じて記載スコアが出力されるよう学習された、図９に示す学習済みモデルＭ２を用いて記載スコアを導出してもよい。
このような形態においては、第１の画像Ｇ１及び第２の画像Ｇ２の性状スコアの差が大きいほど、文書に記載することの推奨度合が高くなるような記載スコアを導出するように定められた規則を適用することができる。このような規則に基づき導出部２２が記載スコアを導出することで、例えば、同一の結節影Ｎについて、過去と現在の性状の経時変化を把握することができる。
図９には、第１の時点で取得された第１の画像Ｇ１、及び第１の時点とは異なる第２の時点で取得された第２の画像Ｇ２を入力とし、第１の画像Ｇ１及び第２の画像Ｇ２のそれぞれの性状スコア、並びに記載スコアを出力とする学習済みモデルＭ２を示している。学習済みモデルＭ２は、ＣＮＮ等のモデルを用いた機械学習によって実現することができる。学習済みモデルＭ２は、互いに異なる時点で取得された学習用画像Ｓ１及びＳ２と、当該学習用画像Ｓ１及びＳ２から導出された性状スコア及び記載スコアと、の複数の組合せを学習用データとして用いた機械学習によって学習される。
学習用データとしては、例えば、同一の結節影Ｎについて、２回に分けて撮影された医用画像である学習用画像Ｓ１及びＳ２のそれぞれについて、読影医が性状項目ごとに性状スコア及び記載スコアを決定したデータを用いることができる。図９には、一例として、学習用画像Ｓ１及びＳ２と、学習用画像Ｓ１及びＳ２について読影医が０．００～１．００の範囲でスコアリングをした性状スコア及び記載スコアと、の組合せからなる学習用データを複数示している。なお、読影医により作成される学習用データとしては、性状スコア及び記載スコアの他に、性状の顕著性及び記載の推奨度合いについて、２以上のクラス分けがされたデータとしてもよい。
このような形態によれば、例えば、複数の画像のそれぞれから導出された性状スコアの差が大きい性状項目について、文書に記載することの推奨度合が高くなるように、記載スコアを導出することができる。したがって、経時変化が認められる性状項目を優先的に読影レポートに記載することができるので、読影レポート等の文書の作成を支援することができる。
なお、学習済みモデルＭ２は、第１の画像Ｇ１について既に性状スコア及び記載スコアが導出されてレポートＤＢ８に格納されている場合、第１の画像Ｇ１に代えて、レポートＤＢ８に格納された第１の画像Ｇ１の性状スコア及び記載スコアを入力としてもよい。
また、学習済みモデルＭ１及びＭ２は、予め学習されていてもよい。この場合、複数人の読影医のそれぞれが、同様の性状を有する結節影Ｎについての読影レポートを作成する場合に、同様の記載スコアを導出することができるので、記載内容を一様とすることができる。
また、学習済みモデルＭ１及びＭ２は、読影レポートを作成する読影医が学習用データを作成し、学習済みモデルＭ１及びＭ２に学習させる形態としてもよい。この場合、読影レポートを作成する読影医の好みに応じた記載スコアを導出することができる。
また、学習済みモデルＭ１及びＭ２は、生成部２３により生成された文字列について読影医がその内容を修正した場合に、修正後の文字列の内容を学習用データとして、再学習を行ってもよい。この場合、読影医が敢えて学習用データを作成しなくても、読影レポートを作成するにしたがって、読影医の好みに適合した記載スコアを導出することができる。
また、学習済みモデルＭ１及びＭ２における学習用データは、性状項目に関する記述を文書に記載するか否かについて予め定められた規則に基づいて作成されたデータであってもよい。例えば、学習用データとして、「吸収値／スリガラス」の性状スコアが０．５０以上で、「石灰化」の記載スコアを０．００とするデータを用い、学習用モデルに学習させる。すると、結節影Ｎがスリガラス状である可能性が高い場合に、石灰化の性状項目に関する記述を省略するよう、学習用モデルに学習させることができる。このように、性状項目に関する記述を文書に記載するか否かについて予め定められた規則に基づいて作成された学習用データを学習用モデルに学習させることで、導出部２２が導出する記載スコアも、予め定められた規則に則ったものとすることができる。
また、学習済みモデルＭ１及びＭ２は、性状スコア及び記載スコアをそれぞれ導出する複数のモデルで構成されていてもよい。例えば、入力を医用画像Ｇ０とし、出力を性状スコアとする第１のＣＮＮと、入力を医用画像Ｇ０及び性状スコアの少なくとも一方とし、出力を記載スコアとする第２のＣＮＮと、で構成されていてもよい。すなわち、記載スコアは、医用画像Ｇ０に代えて性状スコアに基づいて導出されてもよいし、医用画像Ｇ０及び性状スコアの双方に基づいて導出されてもよい。
第１のＣＮＮは、例えば、学習用画像Ｓ０と、当該学習用画像Ｓ０から導出された性状スコアと、の複数の組合せを学習用データとして用いた機械学習によって学習される。第２のＣＮＮは、例えば、第１のＣＮＮにより導出された性状スコアと、性状スコアに基づいて導出された記載スコアと、の複数の組合せを学習用データとして用いた機械学習によって学習される。第２のＣＮＮの学習用データの一例としては、「吸収値／スリガラス」の性状スコアが０．５０以上で、「石灰化」の記載スコアを０．００とするデータが挙げられる。
また、上記例示的実施形態においては、文書として読影レポートを作成し、文字列として所見文及びキーワードを生成する場合に、本開示を適用しているが、これに限らない。例えば、電子カルテ及び診断レポート等の読影レポート以外の医療文書、並びにその他の画像に関する文字列を含む文書を作成する場合に、本開示を適用してもよい。
また、上記例示的実施形態においては、診断対象を肺とした医用画像Ｇ０を用いて各種処理を行っているが、診断対象は肺に限定されるものではない。肺の他に、心臓、肝臓、脳、及び四肢等の人体の任意の部位を診断対象とすることができる。また、上記例示的実施形態においては、１つの医用画像Ｇ０を用いて各種処理を行っているが、同一の診断対象に関する複数の断層画像等の、複数の画像を用いて各種処理を行ってもよい。
また、上記例示的実施形態では、導出部２２が、医用画像Ｇ０に含まれる病変の位置を特定する形態としたが、これに限らない。例えば、ユーザが、入力部１５を介して医用画像Ｇ０における注目領域を選択し、導出部２２が、選択された領域に含まれる病変の性状項目について性状を判定する形態としてもよい。このような形態によれば、例えば、１つの医用画像Ｇ０に複数の病変が含まれる場合であっても、ユーザが所望する病変について、所見文の作成を支援することができる。
また、上記例示的実施形態において、表示制御部２４は、医用画像Ｇ０に、導出部２２により特定された病変の位置を示すマークを付与した画像を生成してもよい。図６の例では、医用画像Ｇ０に含まれる結節影Ｎを、破線の矩形のマーク３８で囲んでいる。これにより、例えば、読影医が病変の位置に関する所見文を記載しなくても、読影レポートの読者にとって、病変の根拠となる画像中の領域が容易に分かるようになるので、読影レポート等の文書の作成を支援することができる。なお、病変の位置を示すマーク３８としては、破線の矩形に限らず、例えば、多角形、円、矢印等の種々のマークとしてもよく、マークの線種（実線、破線及び点線等）、線の色並びに線の太さ等を適宜変更してもよい。
また、上記例示的実施形態において、読影ＷＳ３が内包する情報処理装置２０における導出部２２及び生成部２３の各処理を、例えばネットワーク１０に接続された他の解析サーバ等の、外部装置で行うようにしてもよい。この場合、外部装置は、医用画像Ｇ０を画像サーバ５から取得し、医用画像Ｇ０から、予め定められた性状項目ごとの性状の顕著性を示す性状スコアを導出する。また、性状項目ごとに、当該性状項目に関する記述を文書に記載することの推奨度合を示す記載スコアを導出する。また、記載スコアに基づいて、医用画像Ｇ０に関する文字列を生成する。情報処理装置２０は、外部装置で導出された性状スコア及び記載スコア、並びに外部装置で生成された文字列に基づいて、表示制御部２４が、ディスプレイ１４に表示する表示内容を制御する。
また、上記例示的実施形態において、例えば、取得部２１、導出部２２、生成部２３及び表示制御部２４といった各種の処理を実行する処理部（Processing Unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（Processor）を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device :PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ又はＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアント及びサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアとの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（Circuitry）を用いることができる。
２０２０年３月３日に出願された日本国特許出願２０２０－０３６２９０号の開示は、その全体が参照により本明細書に取り込まれる。本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

Claims (11)

  1. 少なくとも１つのプロセッサを備えた情報処理装置であって、
    前記プロセッサは、
    少なくとも１つの画像から、予め定められた性状項目ごとの性状の顕著性を示す性状スコアを導出し、
    前記性状項目ごとに、当該性状項目に関する記述を文書に記載することの推奨度合を示す記載スコアを導出する場合に、前記画像を学習済みモデルに入力することで、前記性状スコア及び前記記載スコアを導出し、
    前記学習済みモデルは、学習用画像と、当該学習用画像から導出された前記性状スコア及び前記記載スコアと、の複数の組合せを学習用データとして用いた機械学習によって学習され、前記画像を入力とし、前記性状スコア及び前記記載スコアを出力とするモデルである
    情報処理装置。
  2. 前記プロセッサは、前記性状項目に関する記述を前記文書に記載するか否かについて予め定められた規則に基づいて、前記記載スコアを導出する
    請求項１に記載の情報処理装置。
  3. 前記プロセッサは、前記性状項目ごとに、当該性状項目に対応する前記性状スコアに基づいて、前記記載スコアを導出する
    請求項１又は請求項２に記載の情報処理装置。
  4. 前記プロセッサは、何れかの前記性状項目についての前記記載スコアを、他の何れかの前記性状項目について導出された前記性状スコアに基づいて導出する
    請求項１から請求項３の何れか１項に記載の情報処理装置。
  5. 前記学習済みモデルは、前記性状スコア及び前記記載スコアをそれぞれ導出するための第１の学習済みモデルと第２の学習済みモデルとで構成され、
    前記第１の学習済みモデルは、学習用画像と、当該学習用画像から導出された前記性状スコアと、の複数の組合せを学習用データとして用いた機械学習によって学習され、前記画像を入力とし、前記性状スコアを出力とするモデルであり、
    前記第２の学習済みモデルは、前記第１の学習済みモデルにより導出された前記性状スコアと、当該性状スコアに基づいて導出された前記記載スコアと、の複数の組合せを学習用データとして用いた機械学習によって学習され、前記画像及び前記性状スコアの少なくとも一方を入力とし、前記記載スコアを出力とするモデルである
    請求項１から請求項４の何れか１項に記載の情報処理装置。
  6. 前記プロセッサは、
    互いに異なる時点で取得された複数の前記画像のそれぞれについて、前記性状スコアを導出し、
    前記性状項目ごとに、前記記載スコアを導出する
    請求項１から請求項５の何れか１項に記載の情報処理装置。
  7. 前記プロセッサは、前記画像に含まれる構造物の位置、種類、及び大きさの少なくとも１つに基づいて、前記性状スコアを導出する
    請求項１から請求項６の何れか１項に記載の情報処理装置。
  8. 前記プロセッサは、
    前記記載スコアに基づいて、前記画像に関する文字列を生成し、
    前記文字列をディスプレイに表示する制御を行う
    請求項１から請求項７の何れか１項に記載の情報処理装置。
  9. 前記プロセッサは、前記記載スコアの順に選択された、予め定められた数の前記性状項目に関する文字列を生成する
    請求項１から請求項８の何れか１項に記載の情報処理装置。
  10. 少なくとも１つの画像から、予め定められた性状項目ごとの性状の顕著性を示す性状スコアを導出し、
    前記性状項目ごとに、当該性状項目に対応する前記性状スコアに基づいて、当該性状項目に関する記述を文書に記載することの推奨度合を示す記載スコアを導出する場合に、前記画像を学習済みモデルに入力することで、前記性状スコア及び前記記載スコアを導出し、
    前記学習済みモデルは、学習用画像と、当該学習用画像から導出された前記性状スコア及び前記記載スコアと、の複数の組合せを学習用データとして用いた機械学習によって学習され、前記画像を入力とし、前記性状スコア及び前記記載スコアを出力とするモデルである
    情報処理方法。
  11. 少なくとも１つの画像から、予め定められた性状項目ごとの性状の顕著性を示す性状スコアを導出し、
    前記性状項目ごとに、当該性状項目に対応する前記性状スコアに基づいて、当該性状項目に関する記述を文書に記載することの推奨度合を示す記載スコアを導出する場合に、前記画像を学習済みモデルに入力することで、前記性状スコア及び前記記載スコアを導出し、
    前記学習済みモデルは、学習用画像と、当該学習用画像から導出された前記性状スコア及び前記記載スコアと、の複数の組合せを学習用データとして用いた機械学習によって学習され、前記画像を入力とし、前記性状スコア及び前記記載スコアを出力とするモデルである
    処理をコンピュータに実行させるための情報処理プログラム。
JP2022504428A 2020-03-03 2021-03-03 情報処理装置、情報処理方法及び情報処理プログラム Active JP7504987B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020036290 2020-03-03
JP2020036290 2020-03-03
PCT/JP2021/008222 WO2021177357A1 (ja) 2020-03-03 2021-03-03 情報処理装置、情報処理方法及び情報処理プログラム

Publications (2)

Publication Number Publication Date
JPWO2021177357A1 JPWO2021177357A1 (ja) 2021-09-10
JP7504987B2 true JP7504987B2 (ja) 2024-06-24

Family

ID=77614031

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022504428A Active JP7504987B2 (ja) 2020-03-03 2021-03-03 情報処理装置、情報処理方法及び情報処理プログラム

Country Status (3)

Country Link
US (1) US20220415459A1 (ja)
JP (1) JP7504987B2 (ja)
WO (1) WO2021177357A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021107098A1 (ja) * 2019-11-29 2021-06-03

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011101759A (ja) 2009-11-12 2011-05-26 Konica Minolta Medical & Graphic Inc 医用画像表示システム及びプログラム
JP2012069089A (ja) 2010-08-27 2012-04-05 Canon Inc 医療診断支援装置、医療診断支援システム、医療診断支援の制御方法、及びプログラム
JP2012088828A (ja) 2010-10-18 2012-05-10 Sony Corp 情報処理装置及び方法、並びにプログラム
WO2018012090A1 (ja) 2016-07-13 2018-01-18 メディアマート株式会社 診断支援システム、医療診断支援装置及び診断支援方法
JP2018020107A (ja) 2016-07-22 2018-02-08 東芝メディカルシステムズ株式会社 解析装置及び解析プログラム
JP2018206082A (ja) 2017-06-05 2018-12-27 キヤノン株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP2019074868A (ja) 2017-10-13 2019-05-16 キヤノン株式会社 診断支援装置、情報処理方法、診断支援システム及びプログラム
WO2019102829A1 (ja) 2017-11-24 2019-05-31 国立大学法人大阪大学 画像解析方法、画像解析装置、画像解析システム、画像解析プログラム、記録媒体
US20190392944A1 (en) 2018-06-22 2019-12-26 General Electric Company Method and workstations for a diagnostic support system

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5100285B2 (ja) * 2007-09-28 2012-12-19 キヤノン株式会社 医用診断支援装置およびその制御方法、プログラム、記憶媒体
US9805160B2 (en) * 2011-02-01 2017-10-31 Microsoft Technology Licensing, Llc Automatic generation of an executive summary for a medical event in an electronic medical record
US9411799B2 (en) * 2012-04-05 2016-08-09 Siemens Aktiengesellschaft Methods, apparatuses, systems and computer readable mediums to create documents and templates using domain ontology concepts
US10176892B2 (en) * 2012-09-04 2019-01-08 Koninklijke Philips N.V. Method and system for presenting summarized information of medical reports
US9782075B2 (en) * 2013-03-15 2017-10-10 I2Dx, Inc. Electronic delivery of information in personalized medicine
US20160147971A1 (en) * 2014-11-26 2016-05-26 General Electric Company Radiology contextual collaboration system
US10276261B2 (en) * 2014-11-26 2019-04-30 General Electric Company Patient library interface combining comparison information with feedback
US10452813B2 (en) * 2016-11-17 2019-10-22 Terarecon, Inc. Medical image identification and interpretation
US10140421B1 (en) * 2017-05-25 2018-11-27 Enlitic, Inc. Medical scan annotator system
US11538560B2 (en) * 2017-11-22 2022-12-27 General Electric Company Imaging related clinical context apparatus and associated methods
EP3506279A1 (en) * 2018-01-02 2019-07-03 Koninklijke Philips N.V. Automatic diagnosis report preparation
EP3567605A1 (en) * 2018-05-08 2019-11-13 Siemens Healthcare GmbH Structured report data from a medical text report
US20200027567A1 (en) * 2018-07-17 2020-01-23 Petuum Inc. Systems and Methods for Automatically Generating International Classification of Diseases Codes for a Patient Based on Machine Learning
JP6933617B2 (ja) * 2018-09-03 2021-09-08 富士フイルム株式会社 診療支援装置
US20210366106A1 (en) * 2018-11-21 2021-11-25 Enlitic, Inc. System with confidence-based retroactive discrepancy flagging and methods for use therewith
US10943681B2 (en) * 2018-11-21 2021-03-09 Enlitic, Inc. Global multi-label generating system
US20230071400A1 (en) * 2018-11-24 2023-03-09 Densitas Incorporated System and method for assessing medical images
US11322256B2 (en) * 2018-11-30 2022-05-03 International Business Machines Corporation Automated labeling of images to train machine learning
US10957442B2 (en) * 2018-12-31 2021-03-23 GE Precision Healthcare, LLC Facilitating artificial intelligence integration into systems using a distributed learning platform
US10957038B2 (en) * 2019-02-04 2021-03-23 International Business Machines Corporation Machine learning to determine clinical change from prior images
US10910100B2 (en) * 2019-03-14 2021-02-02 Fuji Xerox Co., Ltd. System and method for generating descriptions of abnormalities in medical images
US11164309B2 (en) * 2019-04-10 2021-11-02 International Business Machines Corporation Image analysis and annotation
US11935636B2 (en) * 2019-04-26 2024-03-19 Merative Us L.P. Dynamic medical summary
US20210142904A1 (en) * 2019-05-14 2021-05-13 Tempus Labs, Inc. Systems and methods for multi-label cancer classification
WO2021011775A1 (en) * 2019-07-17 2021-01-21 The Medical College Of Wisconsin, Inc. Systems and methods for generating classifying and quantitative analysis reports of aneurysms from medical image data
AU2020357886A1 (en) * 2019-10-01 2022-04-21 Sirona Medical Inc. AI-assisted medical image interpretation and report generation
US11848100B2 (en) * 2019-10-18 2023-12-19 Merative Us L.P. Automatic clinical report generation
US11462315B2 (en) * 2019-11-26 2022-10-04 Enlitic, Inc. Medical scan co-registration and methods for use therewith
WO2021106018A1 (en) * 2019-11-28 2021-06-03 Deeptek Medical Imaging Pvt. Ltd., Systems and methods for structured report regeneration
US11227683B2 (en) * 2020-01-23 2022-01-18 GE Precision Healthcare LLC Methods and systems for characterizing anatomical features in medical images

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011101759A (ja) 2009-11-12 2011-05-26 Konica Minolta Medical & Graphic Inc 医用画像表示システム及びプログラム
JP2012069089A (ja) 2010-08-27 2012-04-05 Canon Inc 医療診断支援装置、医療診断支援システム、医療診断支援の制御方法、及びプログラム
JP2012088828A (ja) 2010-10-18 2012-05-10 Sony Corp 情報処理装置及び方法、並びにプログラム
WO2018012090A1 (ja) 2016-07-13 2018-01-18 メディアマート株式会社 診断支援システム、医療診断支援装置及び診断支援方法
JP2018020107A (ja) 2016-07-22 2018-02-08 東芝メディカルシステムズ株式会社 解析装置及び解析プログラム
JP2018206082A (ja) 2017-06-05 2018-12-27 キヤノン株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP2019074868A (ja) 2017-10-13 2019-05-16 キヤノン株式会社 診断支援装置、情報処理方法、診断支援システム及びプログラム
WO2019102829A1 (ja) 2017-11-24 2019-05-31 国立大学法人大阪大学 画像解析方法、画像解析装置、画像解析システム、画像解析プログラム、記録媒体
US20190392944A1 (en) 2018-06-22 2019-12-26 General Electric Company Method and workstations for a diagnostic support system

Also Published As

Publication number Publication date
US20220415459A1 (en) 2022-12-29
JPWO2021177357A1 (ja) 2021-09-10
WO2021177357A1 (ja) 2021-09-10

Similar Documents

Publication Publication Date Title
JP2019153250A (ja) 医療文書作成支援装置、方法およびプログラム
US11574717B2 (en) Medical document creation support apparatus, medical document creation support method, and medical document creation support program
JP2019149005A (ja) 医療文書作成支援装置、方法およびプログラム
EP3954277A1 (en) Medical document generation device, method, and program
JP2024009342A (ja) 文書作成支援装置、方法およびプログラム
WO2019193983A1 (ja) 医療文書表示制御装置、医療文書表示制御方法、及び医療文書表示制御プログラム
JP7479405B2 (ja) 文書作成支援装置、文書作成支援方法及びプログラム
JP7504987B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
US20220392595A1 (en) Information processing apparatus, information processing method, and information processing program
JP7007469B2 (ja) 医療文書作成支援装置、方法およびプログラム、学習済みモデル、並びに学習装置、方法およびプログラム
US20230005580A1 (en) Document creation support apparatus, method, and program
US20230005601A1 (en) Document creation support apparatus, method, and program
US20220392619A1 (en) Information processing apparatus, method, and program
US11978274B2 (en) Document creation support apparatus, document creation support method, and document creation support program
JP7371220B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
WO2022215530A1 (ja) 医用画像装置、医用画像方法、及び医用画像プログラム
WO2022239593A1 (ja) 文書作成支援装置、文書作成支援方法、及び文書作成支援プログラム
WO2022224848A1 (ja) 文書作成支援装置、文書作成支援方法、及び文書作成支援プログラム
JP7542710B2 (ja) 文書作成支援装置、文書作成支援方法及びプログラム
JP7368592B2 (ja) 文書作成支援装置、方法およびプログラム
JP7436628B2 (ja) 情報保存装置、方法およびプログラム、並びに解析記録生成装置、方法およびプログラム
WO2023054646A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
WO2022230641A1 (ja) 文書作成支援装置、文書作成支援方法、及び文書作成支援プログラム
US20230070906A1 (en) Information processing apparatus, method, and program
US20230360213A1 (en) Information processing apparatus, method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220826

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230926

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240318

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240521

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240612

R150 Certificate of patent or registration of utility model

Ref document number: 7504987

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150