JP7374215B2 - 文書作成支援装置、方法およびプログラム - Google Patents

文書作成支援装置、方法およびプログラム Download PDF

Info

Publication number
JP7374215B2
JP7374215B2 JP2021562692A JP2021562692A JP7374215B2 JP 7374215 B2 JP7374215 B2 JP 7374215B2 JP 2021562692 A JP2021562692 A JP 2021562692A JP 2021562692 A JP2021562692 A JP 2021562692A JP 7374215 B2 JP7374215 B2 JP 7374215B2
Authority
JP
Japan
Prior art keywords
image
text
medical
property information
term
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021562692A
Other languages
English (en)
Other versions
JPWO2021112141A1 (ja
JPWO2021112141A5 (ja
Inventor
佳児 中村
陽平 桃木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2021112141A1 publication Critical patent/JPWO2021112141A1/ja
Publication of JPWO2021112141A5 publication Critical patent/JPWO2021112141A5/ja
Priority to JP2023182360A priority Critical patent/JP2023175011A/ja
Application granted granted Critical
Publication of JP7374215B2 publication Critical patent/JP7374215B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/169—Annotation, e.g. comment data or footnotes
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/55—Rule-based translation
    • G06F40/56—Natural language generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • General Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Engineering & Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Optics & Photonics (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Description

本開示は、医療文書等の文書の作成を支援する文書作成支援装置、方法およびプログラムに関する。
近年、ＣＴ(Computed Tomography)装置およびＭＲＩ（Magnetic Resonance Imaging）装置等の医療機器の進歩により、より質の高い高解像度の医用画像を用いての画像診断が可能となってきている。とくに、ＣＴ画像およびＭＲＩ画像等を用いた画像診断により、病変の領域を精度よく特定することができるため、特定した結果に基づいて適切な治療が行われるようになってきている。
また、ディープラーニング等により機械学習がなされた学習モデルを用いたＣＡＤ（Computer-Aided Diagnosis）により医用画像を解析して、医用画像に含まれる異常陰影候補等の関心構造物の形状、濃度、位置および大きさ等の性状を判別し、これらを解析結果として取得することも行われている。ＣＡＤにより取得された解析結果は、患者名、性別、年齢および医用画像を取得したモダリティ等の検査情報と対応づけられて、データベースに保存される。医用画像および解析結果は、医用画像の読影を行う読影医の端末に送信される。読影医は、自身の端末において、送信された医用画像および解析結果を参照して医用画像の読影を行い、読影レポートを作成する。
一方、上述したＣＴ装置およびＭＲＩ装置の高性能化に伴い、読影を行う医用画像の数も増大している。しかしながら、読影医の数は医用画像の数に追いついていないことから、読影医の読影業務の負担を軽減することが望まれている。このため、読影レポート等の医療文書の作成を支援するための各種手法が提案されている。例えば、特開２０１９－１５３２５０号公報には、読影医が入力したキーワードおよび医用画像の解析結果に含まれる、関心構造物の性状を表す情報（以下、性状情報とする）に基づいて、読影レポートに記載するための文章を生成する手法が提案されている（特開２０１９－１５３２５０号公報参照）。特開２０１９－１５３２５０号公報に記載された手法においては、入力された性状情報を表す文字から文章を生成するように学習が行われたリカレントニューラルネットワーク等の機械学習がなされた学習モデルを用いて、医療用の文章（以下、医療文章とする）が作成される。特開２０１９－１５３２５０号公報に記載された手法のように、医療文章を自動で生成することにより、読影レポート等の医療文書を作成する際の読影医の負担を軽減することができる。
一方、医用画像を解析することにより取得される性状情報のみを用いて、医療文章を生成する学習モデルを生成することが考えられる。しかしながら、学習モデルの学習に使用した教師データの内容に依存して、あるいは学習モデルの学習の限界に依存して、医用画像から取得したすべての性状情報が、生成された医療文章に含まれなくなる場合がある。また、医用画像から取得した性状情報以外の性状情報が、生成された医療文章に含まれてしまう場合もある。このような医療文章を読影レポートとして用いたのでは、読影レポートの精度が低下する。
本開示は上記事情に鑑みなされたものであり、医用画像から医療文章を生成する場合のように、画像から画像に含まれる関心構造物に関する文章を高精度に生成することを目的とする。
本開示による文書作成支援装置は、少なくとも１つのプロセッサを備え、
プロセッサは、
画像を解析することにより、画像に含まれる関心構造物の性状を表す性状情報を導出し、
性状情報に基づいて、画像に関する文章を生成し、
文章を解析することにより、文章に含まれる関心構造物に関する性状を表す用語を特定し、
性状情報と用語とを照合するように構成される。
なお、本開示による文書作成支援装置においては、プロセッサは、さらに文章をディスプレイに表示するように構成されるものであってもよい。
この場合、プロセッサは、さらに照合の結果をディスプレイに表示するように構成されるものであってもよい。
また、本開示による文書作成支援装置においては、プロセッサは、さらに文章において用語と性状情報とが相違する場合、相違箇所を強調表示することにより照合の結果を表示するように構成されるものであってもよい。
また、本開示による文書作成支援装置においては、プロセッサは、さらに文章において用語と性状情報とが相違する場合、文章を再生成するように構成されるものであってもよい。
また、本開示による文書作成支援装置においては、プロセッサは、さらに文章の修正を受け付けるように構成されるものであってもよい。
また、本開示による文書作成支援装置においては、プロセッサは、性状情報に基づいて、画像に関する文章を複数生成し、
複数の文章のそれぞれを解析することにより、複数の文章のそれぞれに含まれる関心構造物に関する性状を表す用語を特定し、
複数の文章のそれぞれについて、性状情報と用語とを照合し、
照合の結果に基づいて、複数の文章から少なくとも１つの文章を選択するように構成されるものであってもよい。
また、本開示による文書作成支援装置においては、画像は医用画像であり、文章は、医用画像に含まれる関心構造物に関する医療文章であってもよい。
本開示による文書作成支援方法は、画像を解析することにより、画像に含まれる関心構造物の性状を表す性状情報を導出し、
性状情報に基づいて、画像に関する文章を生成し、
文章を解析することにより、文章に含まれる関心構造物に関する性状を表す用語を特定し、
性状情報と用語とを照合する。
なお、本開示による文書作成支援方法をコンピュータに実行させるためのプログラムとして提供してもよい。
本開示によれば、画像から画像に含まれる関心構造物に関する文章を高精度に生成することができる。
本開示の実施形態による文書作成支援装置を適用した医療情報システムの概略構成を示す図 本実施形態による文書作成支援装置の概略構成を示す図 第１の学習モデルを学習するための教師データの例を示す図 リカレントニューラルネットワークの模式的な構成を示す図 第３の学習モデルを学習するための教師データの例を示す図 第４の学習モデルを学習するための教師データの例を示す図 医療文章および照合結果の表示画面の例を示す図 医療文章および照合結果の表示画面の例を示す図 医療文章および照合結果の表示画面の例を示す図 本実施形態において行われる処理を示すフローチャート 他の実施形態において行われる処理を示すフローチャート
以下、図面を参照して本開示の実施形態について説明する。図１は本開示の実施形態による文書作成支援装置を適用した医療情報システムの概略構成を示す図である。図１に示す医療情報システム１は、公知のオーダリングシステムを用いた診療科の医師からの検査オーダに基づいて、被写体の検査対象部位の撮影、撮影により取得された医用画像の保管、読影医による医用画像の読影と読影レポートの作成、および依頼元の診療科の医師による読影レポートの閲覧と読影対象の医用画像の詳細観察とを行うためのシステムである。図１に示すように、医療情報システム１は、複数のモダリティ（撮影装置）２、読影端末である複数の読影ワークステーション（ＷＳ）３、診療科ワークステーション（ＷＳ）４、画像サーバ５、画像データベース６、読影レポートサーバ７、および読影レポートデータベース８が、有線または無線のネットワーク１０を介して互いに通信可能な状態で接続されて構成されている。
各機器は、医療情報システム１の構成要素として機能させるためのアプリケーションプログラムがインストールされたコンピュータである。アプリケーションプログラムは、ネットワーク１０に接続されたサーバコンピュータの記憶装置、もしくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じてコンピュータにダウンロードされ、インストールされる。または、ＤＶＤ（Digital Versatile Disc）あるいはＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。
モダリティ２は、被写体の診断対象となる部位を撮影することにより、診断対象部位を表す医用画像を生成する装置である。具体的には、単純Ｘ線撮影装置、ＣＴ装置、ＭＲＩ装置、およびＰＥＴ（Positron Emission Tomography)装置等である。モダリティ２により生成された医用画像は画像サーバ５に送信され、保存される。
読影ＷＳ３は、本実施形態による文書作成支援装置を内包する。読影ＷＳ３の構成については後述する。
診療科ＷＳ４は、診療科の医師が画像の詳細観察、読影レポートの閲覧、および電子カルテの作成等に利用するコンピュータであり、処理装置、ディスプレイ、並びにキーボードおよびマウス等の入力デバイスにより構成される。診療科ＷＳ４では、患者のカルテ（電子カルテ）の作成、画像サーバ５に対する画像の閲覧要求、画像サーバ５から受信した画像の表示、画像中の病変らしき部分の自動検出または強調表示、読影レポートサーバ７に対する読影レポートの閲覧要求、および読影レポートサーバ７から受信した読影レポートの表示等の各処理が、各処理のためのソフトウェアプログラムを実行することにより行われる。
画像サーバ５は、汎用のコンピュータにデータベース管理システム（DataBase Management System: DBMS）の機能を提供するソフトウェアプログラムがインストールされたものである。また、画像サーバ５は画像データベース６が構成されるストレージを備えている。このストレージは、画像サーバ５とデータバスとによって接続されたハードディスク装置であってもよいし、ネットワーク１０に接続されているＮＡＳ（Network Attached Storage）およびＳＡＮ（Storage Area Network）に接続されたディスク装置であってもよい。また、画像サーバ５は、モダリティ２からの医用画像の登録要求を受け付けると、その医用画像をデータベース用のフォーマットに整えて画像データベース６に登録する。
画像データベース６には、モダリティ２において取得された医用画像の画像データと付帯情報とが登録される。付帯情報には、例えば、個々の医用画像を識別するための画像ＩＤ(identification)、被写体を識別するための患者ＩＤ、検査を識別するための検査ＩＤ、医用画像毎に割り振られるユニークなＩＤ（ＵＩＤ：unique identification）、医用画像が生成された検査日、検査時刻、医用画像を取得するための検査で使用されたモダリティの種類、患者氏名、年齢、性別等の患者情報、検査部位（撮影部位）、撮影情報（撮影プロトコル、撮影シーケンス、撮像手法、撮影条件および造影剤の使用等）、１回の検査で複数の医用画像を取得したときのシリーズ番号あるいは採取番号等の情報が含まれる。
また、画像サーバ５は、読影ＷＳ３からの閲覧要求をネットワーク１０経由で受信すると、画像データベース６に登録されている医用画像を検索し、検索された医用画像を要求元の読影ＷＳ３に送信する。
読影レポートサーバ７には、汎用のコンピュータにデータベース管理システムの機能を提供するソフトウェアプログラムが組み込まれる。読影レポートサーバ７は、読影ＷＳ３からの読影レポートの登録要求を受け付けると、その読影レポートをデータベース用のフォーマットに整えて読影レポートデータベース８に登録する。また、読影レポートの検索要求を受け付けると、その読影レポートを読影レポートデータベース８から検索する。
読影レポートデータベース８には、例えば、読影対象の医用画像を識別する画像ＩＤ、読影を行った画像診断医を識別するための読影医ＩＤ、病変名、病変の位置情報、所見、および所見の確信度等の情報が記録された読影レポートが登録される。
なお、本実施形態においては、医用画像は診断対象を肺とした、複数の断層画像からなる３次元のＣＴ画像とし、ＣＴ画像を読影することにより、肺に含まれる異常陰影についての読影レポートを医療文書として作成するものとする。なお、医用画像はＣＴ画像に限定されるものではなく、ＭＲＩ画像および単純Ｘ線撮影装置により取得された単純２次元画像等の任意の医用画像を用いることができる。
ネットワーク１０は、病院内の各種機器を接続する有線または無線のネットワークである。読影ＷＳ３が他の病院あるいは診療所に設置されている場合には、ネットワーク１０は、各病院のローカルエリアネットワーク同士をインターネットまたは専用回線で接続した構成としてもよい。
以下、本実施形態による読影ＷＳ３について詳細に説明する。読影ＷＳ３は、医用画像の読影医が、医用画像の読影および読影レポートの作成に利用するコンピュータであり、処理装置、ディスプレイ、並びにキーボードおよびマウス等の入力デバイスにより構成される。読影ＷＳ３では、画像サーバ５に対する医用画像の閲覧要求、画像サーバ５から受信した医用画像に対する各種画像処理、医用画像の表示、医用画像に対する解析処理、解析結果に基づく医用画像の強調表示、解析結果に基づく読影レポートの作成、読影レポートの作成の支援、読影レポートサーバ７に対する読影レポートの登録要求と閲覧要求、並びに読影レポートサーバ７から受信した読影レポートの表示等の各処理が、各処理のためのソフトウェアプログラムを実行することにより行われる。なお、これらの処理のうち、本実施形態の文書作成支援装置が行う処理以外の処理は、周知のソフトウェアプログラムにより行われるため、ここでは詳細な説明は省略する。また、本実施形態の文書作成支援装置が行う処理以外の処理を読影ＷＳ３において行わず、別途その処理を行うコンピュータをネットワーク１０に接続しておき、読影ＷＳ３からの処理の要求に応じて、そのコンピュータにおいて要求された処理を行うようにしてもよい。
読影ＷＳ３は、本実施形態による文書作成支援装置が内包されている。このため、読影ＷＳ３には、本実施形態による文書作成支援プログラムがインストールされている。文書作成支援プログラムは、ネットワークに接続されたサーバコンピュータの記憶装置、もしくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて読影ＷＳ３にダウンロードされ、インストールされる。または、ＤＶＤあるいはＣＤ－ＲＯＭ等の記録媒体に記録されて配布され、その記録媒体から読影ＷＳ３にインストールされる。
図２は、文書作成支援プログラムを読影ＷＳ３にインストールすることにより実現される、本実施形態による文書作成支援装置の概略構成を示す図である。図２に示すように、文書作成支援装置２０は、標準的なコンピュータの構成として、ＣＰＵ（Central Processing Unit）１１、メモリ１２、ストレージ１３および通信Ｉ／Ｆ（インターフェース）１４を備える。また、文書作成支援装置２０には、液晶ディスプレイ等のディスプレイ１５、並びにキーボードおよびマウス等の入力デバイス１６が接続されている。ＣＰＵ１１がプロセッサに相当する。
ストレージ１３は、ハードディスクまたはＳＳＤ（Solid State Drive）等のストレージデバイスからなる。ストレージ１３には、ネットワーク１０を経由して画像サーバ５から取得した、医用画像および文書作成支援装置２０の処理に必要な情報を含む各種情報が記憶されている。
通信Ｉ／Ｆ１４は、ネットワーク１０を介した外部装置と文書作成支援装置２０との各種情報の伝送制御を行うネットワークインターフェースである。
また、メモリ１２には、文書作成支援プログラムが記憶されている。文書作成支援プログラムは、ＣＰＵ１１に実行させる処理として、医用画像を取得する画像取得処理、医用画像を解析することにより、医用画像に含まれる関心構造物の性状を表す性状情報を導出する画像解析処理、性状情報に基づいて医用画像に関する医療文章を生成する文章生成処理、医療文章を解析することにより、医療文章に含まれる関心構造物に関する性状を表す用語を特定する用語特定処理、性状情報と用語とを照合する照合処理、並びに医療文章および照合結果をディスプレイ１５に表示する表示制御処理を規定する。
そして、ＣＰＵ１１が文書作成支援プログラムに従いこれらの処理を実行することで、コンピュータは、画像取得部２１、画像解析部２２、文章生成部２３、用語特定部２４、照合部２５および表示制御部２６として機能する。
画像取得部２１は、ネットワーク１０と接続されたインターフェースからなり、操作者である読影医による入力デバイス１６からの指示により、画像サーバ５から読影レポートを作成するための医用画像を取得する。
画像解析部２２は、医用画像を解析することにより、医用画像に含まれる異常陰影候補等の関心構造物の性状を表す性状情報を導出する。このために、画像解析部２２は、医用画像における異常陰影候補を判別し、判別した異常陰影候補の性状を判別するように機械学習がなされた第１の学習モデル２２Ａを有する。本実施形態においては、第１の学習モデル２２Ａは、医用画像における各画素（ボクセル）が異常陰影候補を表すものであるか否かを判別し、異常陰影候補である場合には、その性状を判別するように、教師データを用いてディープラーニング（深層学習）がなされた畳み込みニューラルネットワーク（ＣＮＮ(Convolutional Neural Network)）からなる。
図３は第１の学習モデルを学習するための教師データの例を示す図である。図３に示すように、教師データ３０は、異常陰影３１が含まれる医用画像３２および異常陰影についての性状情報３３を含む。本実施形態においては、異常陰影３１は肺結節であり、性状情報３３は肺結節についての複数の性状を表すものとする。例えば、性状情報３３としては、異常陰影の場所、異常陰影のサイズ、境界の形状（明瞭および不整形）、吸収値の種類（充実型およびスリガラス型）、スピキュラの有無、腫瘤か結節か、胸膜接触の有無、胸膜陥入の有無、胸膜浸潤の有無、空洞の有無、および石灰化の有無等が用いられる。図３に示す教師データ３０に含まれる異常陰影３１については、性状情報３３は、図３に示すように、異常陰影の場所は左肺胸膜下、異常陰影のサイズは直径４．２ｃｍ、境界の形状は不整形、吸収値は充実型、スピキュラは有、腫瘤、胸膜接触は有、胸膜陥入は有、胸膜浸潤は無、空洞は無、および石灰化は無となっている。なお、図３においては、「有り」の場合は＋、無しの場合は－を付与している。第１の学習モデル２２Ａは、図３に示すような教師データを多数用いてニューラルネットワークを学習することにより構築される。例えば、図３に示す教師データ３０を用いることにより、第１の学習モデル２２Ａは、図３に示す医用画像３２が入力されると、医用画像３２に含まれる異常陰影３１を判別し、異常陰影３１に関して、図３に示す性状情報３３を出力するように学習がなされる。
また、第１の学習モデル２２Ａとしては、畳み込みニューラルネットワークの他、例えばサポートベクタマシン（ＳＶＭ(Support Vector Machine)）等の任意の学習モデルを用いることができる。
なお、医用画像から異常陰影候補を検出する学習モデルと、異常陰影候補の性状情報を検出する学習モデルとを別々に構築するようにしてもよい。
文章生成部２３は、画像解析部２２が導出した性状情報を用いて、医療文章を生成する。文章生成部２３は、入力された情報から文章を生成するように学習が行われた第２の学習モデル２３Ａからなる。第２の学習モデル２３Ａとしては、例えばリカレントニューラルネットワークを用いることができる。図４はリカレントニューラルネットワークの模式的な構成を示す図である。図４に示すように、リカレントニューラルネットワーク４０は、エンコーダ４１およびデコーダ４２からなる。エンコーダ４１には、画像解析部２２が導出した性状情報が入力される。例えば、エンコーダ４１には、「左肺胸膜下」、「４．２ｃｍ」、「スピキュラ＋」および「腫瘤」の性状情報が入力される。デコーダ４２は、文字情報を文章化するように学習がなされており、入力された性状情報から文章を生成する。具体的には、上述した「左肺胸膜下」、「４．２ｃｍ」、「スピキュラ＋」および「腫瘤」の性状情報から、「左肺胸膜下にスピキュラを有する４．２ｃｍ径の腫瘤が認められます。」の医療文章を生成する。なお、図４において「ＥＯＳ」は文章の終わりを示す（End Of Sentence）。
このように、性状情報の入力によって医療文章を出力するために、リカレントニューラルネットワーク４０は、性状情報と医療文章との組み合わせからなる多数の教師データを用いてエンコーダ４１およびデコーダ４２を学習することにより構築されてなる。
なお、リカレントニューラルネットワーク４０には、文章生成のパラメータとして、文章に使用すべきでない用語および使用すべき用語を指定することが可能となっている。このパラメータは、後述する照合部２５による照合結果に基づいて決定される。
用語特定部２４は、文章生成部２３が生成した医療文章に含まれる性状を表す用語を特定する。このために、用語特定部２４は、文章に含まれる性状を表す用語を特定するように機械学習がなされた第３の学習モデル２４Ａを有する。本実施形態においては、第３の学習モデル２４Ａは、文章が入力されると、入力された文章に含まれる性状を表す用語を判別するように、教師データを用いてディープラーニングがなされた畳み込みニューラルネットワークからなる。
図５は第３の学習モデルを学習するための教師データの例を示す図である。図５に示すように、教師データ５０は、医療文章５１および医療文章５１に含まれる性状を表す用語５２を含む。図５に示す医療文章５１は、「左肺下葉Ｓ６に、境界が明瞭な充実型の腫瘤を認めます。」であり、性状を表す用語５２は、医療文章５１に含まれる「左肺下葉Ｓ６」、「境界が明瞭」、「充実型」および「腫瘤」である。第３の学習モデル２４Ａは、図５に示すような教師データを多数用いてニューラルネットワークを学習することにより構築される。例えば、図５に示す教師データ５０を用いることにより、第３の学習モデル２４Ａは、図５に示す医療文章５１が入力されると、図５に示す用語５２を出力するように学習がなされる。
また、第３の学習モデル２４Ａとしては、畳み込みニューラルネットワークの他、例えばサポートベクタマシンおよびリカレントニューラルネットワーク等の任意の学習モデルを用いることができる。
照合部２５は、画像解析部２２が導出した性状情報と、用語特定部２４が特定した医療文章に含まれる性状を表す用語とを照合する。このために、照合部２５は、性状情報および性状を表す用語が入力されると、性状を表す用語と性状情報との相違を判別して、性状を表す用語に含まれない性状情報、および性状情報に含まれない性状を表す用語を判別するように機械学習がなされた第４の学習モデル２５Ａを有する。本実施形態においては、第４の学習モデル２５Ａは、性状を表す用語と性状情報との相違を判別して、性状を表す用語に含まれない性状情報、および性状情報に含まれない性状を表す用語を判別するように、教師データを用いてディープラーニングがなされた畳み込みニューラルネットワークからなる。
図６は第４の学習モデルを学習するための教師データの例を示す図である。図６には、２種類の教師データ６０，６５が示されている。図６に示すように、教師データ６０は、性状情報６１、性状を表す用語６２および性状情報の過不足を表す過不足情報６３を含む。また、教師データ６５は、性状情報６６、性状を表す用語６７および性状情報の過不足を表す過不足情報６８を含む。図６に示す教師データ６０に関して、性状情報６１は、「左肺下葉Ｓ６」、「境界：明瞭」、「吸収値：充実型」、「スピキュラ＋」および「腫瘤」である。用語６２は、「左肺下葉Ｓ６」、「境界が明瞭」、「充実型」および「腫瘤」である。過不足情報６３は「スピキュラが不足」である。
図６に示す教師データ６５に関して、性状情報６６は性状情報６１と同様に、「左肺下葉Ｓ６」、「境界：明瞭」、「吸収値：充実型」、「スピキュラ＋」および「腫瘤」である。用語６７は、「左肺下葉Ｓ６」、「境界が明瞭」、「充実型」、「スピキュラを認め」、「石灰化を認め」および「腫瘤」である。過不足情報６８は「石灰化が過剰」である。
第４の学習モデルは、図６に示すような教師データを多数用いてニューラルネットワークを学習することにより構築される。例えば、図６に示す教師データ６０を用いることにより、第４の学習モデル２５Ａは、図６に示す性状情報６１および性状を表す用語６２が入力されると、過不足情報６３を出力するように学習がなされる。また、過不足情報６３に基づいて、「スピキュラ」の用語が不足していることを表すパラメータを、照合結果に基づくパラメータとして生成するようにも学習がなされる。
また、図６に示す教師データ６５を用いることにより、第４の学習モデル２５Ａは、図６に示す性状情報６６および性状を表す用語６７が入力されると、過不足情報６８を出力するように学習がなされる。また、過不足情報６８に基づいて、「石灰化」の用語が過剰であることを表すパラメータを照合結果に基づくパラメータとして生成するようにも学習がなされる。
なお、第４の学習モデル２５Ａとしては、畳み込みニューラルネットワークの他、例えばサポートベクタマシンおよびリカレントニューラルネットワーク等の任意の機械学習モデルを用いることができる。
表示制御部２６は、文章生成部２３が生成した医療文章および照合部２５による照合結果をディスプレイ１５に表示する。図７は医療文章および照合結果の表示画面の例を示す図である。図７に示すように、表示画面７０は画像表示領域７１および文章表示領域７２を含む。画像表示領域７１には、画像解析部２２が検出した異常陰影候補を最も特定しやすいスライス画像ＳＬ１が表示される。スライス画像ＳＬ１には異常陰影候補７３が含まれ、異常陰影候補７３は矩形領域７４により囲まれている。
文章表示領域７２には、文章生成部２３が生成した医療文章７５および画像解析部２２が導出した性状情報７６が表示されている。なお、性状情報７６は表示しなくてもよい。医療文章７５は、「左肺下葉Ｓ６に境界が明瞭で充実型の腫瘤を認めます。スピキュラおよび石灰化を認めます。」である。性状情報７６は、「左肺下葉Ｓ６」、「境界：明瞭」、「吸収値：充実型」、「スピキュラ：＋」および「腫瘤」である。また、照合結果としては、医療文章７５に含まれる「石灰化」が過剰であるため、医療文章７５に含まれる「石灰化」の用語に、過剰であることを示す実線の枠７７が付与されることにより、「石灰化」が強調表示されることにより、照合結果が表示されている。
文章表示領域７２の下方には、自動修正ボタン７８Ａ、手動修正ボタン７８Ｂおよび確定ボタン７８Ｃが表示されている。
読影医は、画像表示領域７１に表示されたスライス画像ＳＬ１を読影し、文章表示領域７２に表示された医療文章７５の適否を判定する。また、読影医は、医療文章７５に含まれる「石灰化」の用語が過剰であることを、「石灰化」に付与された実線の枠７７により認識することができる。
一方、読影医は医療文章７５の再作成を所望する場合、自動修正ボタン７８Ａを入力デバイス１６を用いて選択する。これにより、文章生成部２３が画像解析部２２が導出した性状情報を用いて医療文章を再度生成する。この際、文章生成部２３の第２の学習モデル２３Ａには、照合結果に基づくパラメータ、すなわち「石灰化」の用語を使用しないようにするためのパラメータが入力される。これにより、文章生成部２３は、「石灰化」の用語を使用しないように医療文章を生成し、その結果、例えば「左肺下葉Ｓ６に境界が明瞭で充実型の腫瘤を認めます。スピキュラを認めます。」の医療文章を生成することが可能となる。この場合、後述する図９に示す照合結果が表示されることとなる。
一方、読影医は手動修正ボタン７８Ｂを選択することにより、文章表示領域７２に表示された医療文章７５を、入力デバイス１６からの入力により、手動で修正することが可能である。また、確定ボタン７８Ｃを選択することにより、文章表示領域７２に表示された医療文章７５をその内容で確定することができる。これにより、医療文章７５は読影レポートに転記され、医療文章７５が転記された読影レポートはスライス画像ＳＬ１と併せて読影レポートサーバ７に送信されて保管される。
図８は医療文章および照合結果の表示画面の他の例を示す図である。なお、図８に示す表示画面において図７と同一の構成については同一の参照番号を付与し、詳細な説明は省略する。図８に示す表示画面７０Ａの文章表示領域７２には、「左肺下葉Ｓ６に境界が明瞭で充実型の腫瘤を認めます。」の医療文章７５Ａが表示されている。
ここで、性状情報７６は、「左肺下葉Ｓ６」、「境界：明瞭」、「吸収値：充実型」、「スピキュラ：＋」および「腫瘤」である。また、医療文章７５Ａには、「スピキュラ」の用語が不足しているため、文章表示領域７２には、「スピキュラ」の用語が表示され、不足していることを表す破線の枠７９が付与されることにより、「スピキュラ」の用語が強調表示されることにより、照合結果が表示されている。
図８に示す表示画面７０Ａに関して、読影医は、画像表示領域７１に表示されたスライス画像ＳＬ１における異常陰影候補７３を読影し、文章表示領域７２に表示された医療文章７５Ａの適否を判定する。また、読影医は、医療文章７５Ａに含まれる「スピキュラ」の用語が不足していることを、「スピキュラ」に付与された破線の枠７９により認識することができる。なお、文章表示領域７２に「スピキュラ」の用語を表示し、さらに不足していることを表す破線の枠７９を付与することに代えて、またはこれに加えて、性状情報７６に表示されている「スピキュラ」の用語に不足していることを表す、矢印または枠等のマークを付与するようにしてもよい。図９においては、性状情報７６に表示されている「スピキュラ」に対して、医療文章７５Ａにおいて不足していることを表す矢印８１をマークとしてさらに付与した状態を示している。
そして、読影医は医療文章７５Ａの再作成を所望する場合、自動修正ボタン７８Ａを入力デバイス１６を用いて選択する。これにより、文章生成部２３が画像解析部２２が導出した性状情報を用いて医療文章を再度生成する。この際、文章生成部２３の学習モデルには、照合結果に基づくパラメータ、すなわち「スピキュラ」の用語を使用するようにするためのパラメータが入力される。これにより、文章生成部２３は、「スピキュラ」の用語を使用するように医療文章を生成し、その結果、例えば「左肺下葉Ｓ６に境界が明瞭で充実型の腫瘤を認めます。スピキュラを認めます。」の医療文章を生成することが可能となる。この場合、後述する図９に示す照合結果が表示されることとなる。なお、この場合、すでに作成されている医療文章、すなわち「左肺下葉Ｓ６に境界が明瞭で充実型の腫瘤を認めます。」に対して、「スピキュラを認めます。」の文章を追記することにより、医療文章が生成されることとなる。しかしながら、医療文章７５の全体を再度生成してもよい。
なお、文章表示領域７２に表示された医療文章において、性状情報が過不足なく表示されている場合、例えば、図９に示す表示画面７０Ｂのように、文章表示領域７２にＯＫマーク８０が表示される。読影医は、ＯＫマーク８０により、文章表示領域７２に表示された医療文章７５Ｂである、「左肺下葉Ｓ６に境界が明瞭で充実型の腫瘤を認めます。スピキュラを認めます。」には、医用画像から導出された性状情報が過不足なく使用されていることを認識することができる。
次いで、本実施形態において行われる処理について説明する。図１０は本実施形態において行われる処理を示すフローチャートである。なお、読影の対象となる医用画像は、画像取得部２１により画像サーバ５から取得されて、ストレージ１３に保存されているものとする。読影レポートの作成の指示が読影医により行われることにより処理が開始され、画像解析部２２が、医用画像を解析することにより、医用画像に含まれる異常陰影候補等の関心構造物の性状を表す性状情報を導出する（ステップＳＴ１）。次いで、文章生成部２３が、性状情報に基づいて医用画像に関する医療文章を生成する（ステップＳＴ２）。続いて、用語特定部２４が、文章生成部２３が生成した医療文章を解析することにより、医療文章に含まれる関心構造物に関する性状を表す用語を特定する（ステップＳＴ３）。さらに、照合部２５が、画像解析部２２が導出した性状情報と、用語特定部２４が特定した用語とを照合する（ステップＳＴ４）。そして、表示制御部２６が、文章生成部２３が生成した医療文章および照合部２５による照合結果をディスプレイ１５に表示する（ステップＳＴ５）。
次いで、表示制御部２６は、照合結果の表示画面に表示された自動修正ボタン７８Ａが選択されたか否かを判定する（ステップＳＴ６）。ステップＳＴ６が肯定されると、ステップＳＴ２に戻り、ステップＳＴ２～ステップＳＴ５の処理が繰り返される。これにより、文章生成部２３は、照合結果に基づくパラメータにしたがって、医療文章を再生成する。用語特定部２４は、再生成された医療文章における用語を特定する。照合部２５は、性状情報と再度特定された用語とを照合する。表示制御部２６は、再度の照合結果を含む表示画面をディスプレイ１５に表示する。
ステップＳＴ６が否定されると、表示制御部２６は、照合結果の表示画面に表示された手動修正ボタン７８Ｂが選択されたか否かを判定する（ステップＳＴ７）。ステップＳＴ７が肯定されると、表示制御部２６は、文章表示領域７２に表示された医療文章に対する、入力デバイス１６を用いての修正を受け付ける（ステップＳＴ８）。
ステップＳＴ７が否定された場合、およびステップＳＴ８に続いて、表示制御部２６は、確定ボタン７８Ｃが選択されたか否かを判定する（ステップＳＴ９）。ステップＳＴ９が否定されると、ステップＳＴ６に戻る。ステップＳＴ９が肯定されると、表示制御部２６は、医療文章を読影レポートに転記し、医療文章が転記された読影レポートをスライス画像ＳＬ１と併せて読影レポートサーバ７に送信し（読影レポート送信：ステップＳＴ１０）、処理を終了する。
このように、本実施形態においては、医用画像を解析することにより、医用画像に含まれる異常陰影候補等の関心構造物の性状を表す性状情報が導出され、性状情報に基づいて、医用画像に関する医療文章が生成される。また、医療文章を解析することにより、医療文章に含まれる関心構造物に関する性状を表す用語が特定され、性状情報と用語とが照合される。このため、照合結果を参照することにより、すべての性状情報を用いて医療文章が生成されているか、過剰な性状情報が文章に含まれていないかを、容易に確認することができる。これにより、照合結果を参照すれば、医療文章を修正したり、医療文章の生成をやり直したりして、生成される医療文章の精度を高めることができる。したがって、本実施形態によれば、医用画像から医用画像に含まれる関心構造物に関する医療文章を高精度に生成することができる。
次いで、本開示の他の実施形態について説明する。なお、他の実施形態による文書作成支援装置の構成は、図２に示す文書作成支援装置２０の構成と同一であり、行われる処理のみが異なるため、ここでは装置についての詳細な説明は省略する。他の実施形態による文書作成支援装置は、文章生成部２３において、性状情報に基づいて複数の医療文章を生成するようにした点が、上記実施形態と異なる。図１１は、他の実施形態において行われる処理を示すフローチャートである。なお、他の実施形態においては、図１０に示すステップＳＴ５までの処理が上記実施形態と異なる。このため、図１１においては、図１０に示すフローチャートとの相違点についてのみ説明する。
読影レポートの作成の指示が読影医により行われることにより処理が開始され、画像解析部２２が、医用画像を解析することにより、医用画像に含まれる異常陰影候補等の関心構造物の性状を表す性状情報を導出する（ステップＳＴ２１）。次いで、文章生成部２３が、性状情報に基づいて医用画像に関する複数の医療文章を生成する（ステップＳＴ２２）。
複数の医療文章は、例えば、「https://geekyisawesome.blogspot.com/2016/10/using-beam-serach-to-genrate-most.html」に記載された、ビームサーチの手法を、第２の学習モデル２３Ａを構成するリカレントニューラルネットワーク４０に適用することにより、生成することができる。ビームサーチの手法は、ある単語の次に出現する単語について、単語の出現確率を考慮して、ある単語の次に出現する単語を探索する手法である。他の実施形態においては、文章生成部２３は、ビームサーチの手法をリカレントニューラルネットワーク４０に適用して、単語の出現確率が高い複数（例えば５つ）の医療文章を生成する。
続いて、用語特定部２４が、文章生成部２３が生成した複数の医療文章のそれぞれを解析することにより、複数の医療文章のそれぞれに含まれる関心構造物に関する性状を表す用語を特定する（ステップＳＴ２３）。さらに、照合部２５が、複数の医療文章のそれぞれについて、画像解析部２２が導出した性状情報と、用語特定部２４が特定した用語とを照合し（ステップＳＴ２４）、照合の結果に基づいて、複数の医療文章から１つの医療文章を選択する（ステップＳＴ２５）。この際、照合部２５は、性状情報と用語とが最も一致する医療文章を選択するようにすればよい。なお、照合部２５は、文章において性状情報が記述される順序が、画像解析部２２が導出した性状情報の順序と最も一致する医療文章を選択するものとしてもよい。そして、表示制御部２６が、選択した医療文章および照合部２５による照合結果をディスプレイ１５に表示し（ステップＳＴ２６）、図１０に示すステップＳＴ６の処理に進む。
このように、他の実施形態においては、複数の医療文章を生成し、複数の医療文章から、性状情報と用語とが最も一致する医療文章を選択するようにした。このため、性状情報と含まれる用語との相違が少ない医療文章を照合結果と併せて読影医に提示することができる。このため、医療文章を修正したり、医療文章の生成をやり直する頻度を低減することができ、その結果、読影レポートを作成する読影医の負担を軽減することができる。
なお、上記他の実施形態においては、複数の医療文章から１つの医療文章を選択しているが、２以上の医療文章を選択するようにしてもよい。この場合、複数の医療文章のうち、性状情報と用語とが一致する程度が高い上位予め定められた数の医療文章を選択するようにすればよい。また、複数の医療文章が選択された場合、複数の医療文章および複数の医療文章のそれぞれについての照合結果をディスプレイ１５に表示し、所望とされる医療文章を読影医に選択させるようにすることが好ましい。
また、上記各実施形態においては、図７に示す表示画面７０の文章表示領域７２に表示された医療文章７５における過剰な用語に実線の枠７７を付与し、図８に示す表示画面７０Ａの文章表示領域７２に表示された医療文章７５Ａにおける不足している用語を表示し、かつ不足している用語に破線の枠７９を付与しているが、これに限定されるものではない。過剰な用語および不足している用語を区別して強調表示できれば、文字の色を変更したり、異なる種類の破線を付与したり、ハイライトさせる色を変更する等、任意の表示態様とすることが可能である。また、音声により用語の過不足を報知するようにしてもよい。
また、上記各実施形態においては、照合部２５を第４の学習モデル２５Ａを備えたものとしているが、これに限定されるものではない。画像解析部２２が導出した性状情報と、用語特定部２４が特定した医療文章に含まれる性状を表す用語とが一致するか否かを判定できれば、学習モデル以外の任意の手法を適用することが可能である。
また、上記各実施形態においては、自動修正ボタン７８Ａの選択に基づいて、医療文章７５を再作成しているが、これに限定されるものではない。照合部２５による照合の結果、画像解析部２２が導出した性状情報と、用語特定部２４が特定した医療文章に含まれる性状とが一致しない場合、文章生成部２３が、自動修正ボタン７８Ａの選択を待たずに、照合の結果に基づいて医療文章７５を再作成するようにしてもよい。
また、上記各実施形態においては、表示制御部２６が、文章生成部２３が生成した医療文章および照合部２５による照合結果の双方を表示しているが，これに限定されるものではない。ディスプレイ１５に表示される表示画面７０には、医療文章のみを表示してもよい。この場合、例えば入力デバイス１６からの照合結果の表示の指示により、上記各実施形態と同様に医療文書における過剰な用語または不足している用語を強調表示したり、ＯＫマーク８０を表示したりしてもよい。
また、上記各実施形態においては、診断対象を肺とした医用画像を用いて医療文章を生成することにより、読影レポート等の医療文書の作成支援処理を行っているが、診断対象は肺に限定されるものではない。肺の他に、心臓、肝臓、脳、および四肢等の人体の任意の部位を診断対象とすることができる。この場合、画像解析部２２、文章生成部２３および用語特定部２４の各学習モデルは、診断対象に応じた解析処理、文章生成処理および用語特定処理を行うものが用意され、診断対象に応じた、解析処理、文章生成処理および用語特定処理を行う学習モデルが選択され、医療文章の生成処理が実行される。
また、上記各実施形態においては、医療文書として読影レポートを作成する際に、本開示の技術を適用しているが、電子カルテおよび診断レポート等の読影レポート以外の医療文書を作成する場合にも、本開示の技術を適用できることはもちろんである。
また、上記各実施形態においては、医用画像を用いて医療文章を生成しているが、これに限定されるものではない。医用画像以外の任意の画像を対象とした文章を生成する場合にも、本開示の技術を適用できることはもちろんである。
また、上記各実施形態において、例えば、画像取得部２１、画像解析部２２、文章生成部２３、用語特定部２４、照合部２５および表示制御部２６といった各種の処理を実行する処理部（Processing Unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（Processor）を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device :PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせまたはＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。
複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントおよびサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアとの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（Circuitry）を用いることができる。
１ 医療情報システム
２ モダリティ
３ 読影ワークステーション
４ 診療科ワークステーション
５ 画像サーバ
６ 画像データベース
７ 読影レポートサーバ
８ 読影レポートデータベース
１０ ネットワーク
１１ ＣＰＵ
１２ メモリ
１３ ストレージ
１４ 通信Ｉ／Ｆ
１５ ディスプレイ
１６ 入力デバイス
２０ 文書作成支援装置
２１ 画像取得部
２２ 画像解析部
２２Ａ 第１の学習モデル
２３ 文章生成部
２３Ａ 第２の学習モデル
２４ 用語特定部
２４Ａ 第３の学習モデル
２５ 照合部
２５Ａ 第４の学習モデル
２６ 表示制御部
３０ 教師データ
３１ 異常陰影
３２ 医用画像
３３ 性状情報
４０ リカレントニューラルネットワーク
４１ エンコーダ
４２ デコーダ
５０ 教師データ
５１ 医療文章
５２ 性状を表す用語
６０，６５ 教師データ
６１，６６ 性状情報
６２，６７ 性状を表す用語
６３，６８ 過不足情報
７０，７０Ａ，７０Ｂ 表示画面
７１ 画像表示領域
７２ 文章表示領域
７３ 異常陰影候補
７４ 矩形領域
７５，７５Ａ，７５Ｂ 医療文章
７６ 性状情報
７７ 実線の枠
７８Ａ 自動修正ボタン
７８Ｂ 手動修正ボタン
７８Ｃ 確定ボタン
７９ 破線の枠
８０ ＯＫマーク
８１ 矢印
ＳＬ１ スライス画像

Claims (9)

  1. 少なくとも１つのプロセッサを備え、
    前記プロセッサは、
    画像を解析することにより、該画像に含まれる関心構造物の性状を表す性状情報を導出し、
    前記性状情報に基づいて、前記画像に関する文章を生成し、
    前記文章を解析することにより、該文章に含まれる前記関心構造物に関する性状を表す用語を特定し、
    前記性状情報と前記用語とを照合し、
    前記性状情報が前記文章に過不足なく使用されているか否かをディスプレイに表示するように構成される文書作成支援装置。
  2. 前記プロセッサは、さらに前記文章を前記ディスプレイに表示するように構成される請求項１に記載の文書作成支援装置。
  3. 前記プロセッサは、さらに前記文章において前記用語と前記性状情報とが相違する場合、相違箇所を強調表示するように構成される請求項１または２に記載の文書作成支援装置。
  4. 前記プロセッサは、さらに前記文章において前記用語と前記性状情報とが相違する場合、前記文章を再生成するように構成される請求項１から３のいずれか１項に記載の文書作成支援装置。
  5. 前記プロセッサは、さらに前記文章の修正を受け付けるように構成される請求項１から４のいずれか１項に記載の文書作成支援装置。
  6. 前記プロセッサは、前記性状情報に基づいて、前記画像に関する文章を複数生成し、
    前記複数の文章のそれぞれを解析することにより、該複数の文章のそれぞれに含まれる前記関心構造物に関する性状を表す用語を特定し、
    前記複数の文章のそれぞれについて、前記性状情報と前記用語とを照合し、
    前記性状情報と前記用語とが一致する程度が高い方から上位の少なくとも１つの文章を、前記複数の文章から選択するように構成される請求項１から５のいずれか１項に記載の文書作成支援装置。
  7. 前記画像は医用画像であり、前記文章は、前記医用画像に含まれる前記関心構造物に関する医療文章である請求項１から６のいずれか１項に記載の文書作成支援装置。
  8. 画像を解析することにより、該画像に含まれる関心構造物の性状を表す性状情報を導出し、
    前記性状情報に基づいて、前記画像に関する文章を生成し、
    前記文章を解析することにより、該文章に含まれる前記関心構造物に関する性状を表す用語を特定し、
    前記性状情報と前記用語とを照合し、
    前記性状情報が前記文章に過不足なく使用されているか否かをディスプレイに表示する、コンピュータが実行する文書作成支援方法。
  9. 画像を解析することにより、該画像に含まれる関心構造物の性状を表す性状情報を導出する手順と、
    前記性状情報に基づいて、前記画像に関する文章を生成する手順と、
    前記文章を解析することにより、該文章に含まれる前記関心構造物に関する性状を表す用語を特定する手順と、
    前記性状情報と前記用語とを照合する手順と、
    前記性状情報が前記文章に過不足なく使用されているか否かをディスプレイに表示する手順とをコンピュータに実行させる文書作成支援プログラム。
JP2021562692A 2019-12-03 2020-12-02 文書作成支援装置、方法およびプログラム Active JP7374215B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023182360A JP2023175011A (ja) 2019-12-03 2023-10-24 文書作成支援装置、方法およびプログラム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019218588 2019-12-03
JP2019218588 2019-12-03
PCT/JP2020/044926 WO2021112141A1 (ja) 2019-12-03 2020-12-02 文書作成支援装置、方法およびプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023182360A Division JP2023175011A (ja) 2019-12-03 2023-10-24 文書作成支援装置、方法およびプログラム

Publications (3)

Publication Number Publication Date
JPWO2021112141A1 JPWO2021112141A1 (ja) 2021-06-10
JPWO2021112141A5 JPWO2021112141A5 (ja) 2022-07-12
JP7374215B2 true JP7374215B2 (ja) 2023-11-06

Family

ID=76222414

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021562692A Active JP7374215B2 (ja) 2019-12-03 2020-12-02 文書作成支援装置、方法およびプログラム
JP2023182360A Pending JP2023175011A (ja) 2019-12-03 2023-10-24 文書作成支援装置、方法およびプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023182360A Pending JP2023175011A (ja) 2019-12-03 2023-10-24 文書作成支援装置、方法およびプログラム

Country Status (3)

Country Link
US (1) US11837346B2 (ja)
JP (2) JP7374215B2 (ja)
WO (1) WO2021112141A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110309289B (zh) * 2019-08-23 2019-12-06 深圳市优必选科技股份有限公司 一种句子生成方法、句子生成装置及智能设备
DE112020005870T5 (de) * 2019-11-29 2022-11-03 Fujifilm Corporation Unterstützungsvorrichtung für dokumentenerstellung, unterstützungsverfahren für dokumentenerstellung und unterstützungsprogramm für dokumentenerstellung

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009082443A (ja) 2007-09-28 2009-04-23 Canon Inc 診断支援装置及びその制御方法
JP2019149130A (ja) 2018-02-28 2019-09-05 富士フイルム株式会社 医用画像表示装置、方法およびプログラム
JP2019169049A (ja) 2018-03-26 2019-10-03 富士フイルム株式会社 医用画像特定装置、方法およびプログラム

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007287134A (ja) * 2006-03-20 2007-11-01 Ricoh Co Ltd 情報抽出装置、及び情報抽出方法
US9098489B2 (en) * 2006-10-10 2015-08-04 Abbyy Infopoisk Llc Method and system for semantic searching
US8239216B2 (en) * 2009-01-09 2012-08-07 Cerner Innovation, Inc. Searching an electronic medical record
EP2612293A4 (en) * 2010-09-01 2016-05-04 Apixio Inc NAVIGATION ENGINE TYPE SYSTEM FOR MEDICAL INFORMATION (MINE)
JP5870790B2 (ja) * 2012-03-19 2016-03-01 富士通株式会社 文章校正装置、及び文章校正方法
WO2014159187A2 (en) * 2013-03-14 2014-10-02 Worldone, Inc. System and method for concept discovery with online information environments
WO2016147276A1 (ja) * 2015-03-13 2016-09-22 株式会社Ｕｂｉｃ データ分析システム及びデータ分析方法並びにデータ分析プログラム
WO2017075077A1 (en) * 2015-10-26 2017-05-04 The Johns Hopkins University Automated generation of sentence-based descriptors from imaging data
US11068660B2 (en) * 2016-01-26 2021-07-20 Koninklijke Philips N.V. Systems and methods for neural clinical paraphrase generation
US10740678B2 (en) * 2016-03-31 2020-08-11 International Business Machines Corporation Concept hierarchies
CN107704482A (zh) * 2016-08-09 2018-02-16 松下知识产权经营株式会社 方法、装置以及程序
US10140421B1 (en) * 2017-05-25 2018-11-27 Enlitic, Inc. Medical scan annotator system
US10679345B2 (en) * 2017-12-20 2020-06-09 International Business Machines Corporation Automatic contour annotation of medical images based on correlations with medical reports
JP2019153250A (ja) 2018-03-06 2019-09-12 富士フイルム株式会社 医療文書作成支援装置、方法およびプログラム
US10891352B1 (en) * 2018-03-21 2021-01-12 Optum, Inc. Code vector embeddings for similarity metrics
EP3706128A4 (en) * 2018-11-09 2021-05-12 Lunit Inc. ANNOTATION WORK MANAGEMENT PROCESS AND APPARATUS AND SYSTEM SUPPORTING IT
US11322256B2 (en) * 2018-11-30 2022-05-03 International Business Machines Corporation Automated labeling of images to train machine learning
US11928142B2 (en) * 2019-02-18 2024-03-12 Sony Group Corporation Information processing apparatus and information processing method
US10910100B2 (en) * 2019-03-14 2021-02-02 Fuji Xerox Co., Ltd. System and method for generating descriptions of abnormalities in medical images
CN109948166B (zh) * 2019-03-25 2021-03-02 腾讯科技（深圳）有限公司 文本翻译方法、装置、存储介质和计算机设备
KR102140402B1 (ko) * 2019-09-05 2020-08-03 주식회사 루닛 기계학습을 이용한 의료 영상 판독의 품질 관리 방법 및 장치
CN114930407A (zh) * 2019-11-08 2022-08-19 徕卡仪器（新加坡）有限公司 用于训练或使用机器学习模型的系统、显微镜系统、方法和计算机程序

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009082443A (ja) 2007-09-28 2009-04-23 Canon Inc 診断支援装置及びその制御方法
JP2019149130A (ja) 2018-02-28 2019-09-05 富士フイルム株式会社 医用画像表示装置、方法およびプログラム
JP2019169049A (ja) 2018-03-26 2019-10-03 富士フイルム株式会社 医用画像特定装置、方法およびプログラム

Also Published As

Publication number Publication date
US11837346B2 (en) 2023-12-05
JP2023175011A (ja) 2023-12-08
US20220262471A1 (en) 2022-08-18
JPWO2021112141A1 (ja) 2021-06-10
WO2021112141A1 (ja) 2021-06-10

Similar Documents

Publication Publication Date Title
JP2019153250A (ja) 医療文書作成支援装置、方法およびプログラム
JP2023175011A (ja) 文書作成支援装置、方法およびプログラム
EP3762936A1 (en) Display of medical image data
JP2024009342A (ja) 文書作成支援装置、方法およびプログラム
WO2020209382A1 (ja) 医療文書作成装置、方法およびプログラム
US20220285011A1 (en) Document creation support apparatus, document creation support method, and program
US11923069B2 (en) Medical document creation support apparatus, method and program, learned model, and learning apparatus, method and program
US20220399107A1 (en) Automated protocoling in medical imaging systems
US20230005580A1 (en) Document creation support apparatus, method, and program
US20230005601A1 (en) Document creation support apparatus, method, and program
US20220392619A1 (en) Information processing apparatus, method, and program
US20220392595A1 (en) Information processing apparatus, information processing method, and information processing program
US20220277577A1 (en) Document creation support apparatus, document creation support method, and document creation support program
WO2021177357A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
WO2021107142A1 (ja) 文書作成支援装置、方法およびプログラム
WO2021177312A1 (ja) 情報保存装置、方法およびプログラム、並びに解析記録生成装置、方法およびプログラム
JP7371220B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP7376715B2 (ja) 経過予測装置、経過予測装置の作動方法および経過予測プログラム
US20230197253A1 (en) Medical image processing apparatus, method, and program
WO2022196106A1 (ja) 文書作成装置、方法およびプログラム
US20220076796A1 (en) Medical document creation apparatus, method and program, learning device, method and program, and trained model
WO2021172477A1 (ja) 文書作成支援装置、方法およびプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220511

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220511

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230704

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230824

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231003

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231024

R150 Certificate of patent or registration of utility model

Ref document number: 7374215

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150