JP7339270B2 - 医用画像処理装置、方法およびプログラム - Google Patents

医用画像処理装置、方法およびプログラム Download PDF

Info

Publication number
JP7339270B2
JP7339270B2 JP2020546713A JP2020546713A JP7339270B2 JP 7339270 B2 JP7339270 B2 JP 7339270B2 JP 2020546713 A JP2020546713 A JP 2020546713A JP 2020546713 A JP2020546713 A JP 2020546713A JP 7339270 B2 JP7339270 B2 JP 7339270B2
Authority
JP
Japan
Prior art keywords
neural network
medical
medical image
feature
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020546713A
Other languages
English (en)
Other versions
JPWO2020054188A1 (ja
Inventor
瑞希 武井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2020054188A1 publication Critical patent/JPWO2020054188A1/ja
Application granted granted Critical
Publication of JP7339270B2 publication Critical patent/JP7339270B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A61B5/0042—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part for the brain
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01T—MEASUREMENT OF NUCLEAR OR X-RADIATION
    • G01T1/00—Measuring X-radiation, gamma radiation, corpuscular radiation, or cosmic radiation
    • G01T1/16—Measuring radiation intensity
    • G01T1/161—Applications in the field of nuclear medicine, e.g. in vivo counting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • Public Health (AREA)
  • Radiology & Medical Imaging (AREA)
  • Molecular Biology (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Pathology (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Epidemiology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Primary Health Care (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Neurology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Description

本開示は、頭部のＣＴ(Computed Tomography）画像等の医用画像に含まれる医学的特徴を判別する医用画像処理装置、方法およびプログラムに関するものである。
近年、ＣＴ装置およびＭＲＩ（Magnetic Resonance Imaging）装置等の医療機器の進歩により、より質の高い高解像度の医用画像を用いての画像診断が可能となってきている。とくに、対象部位を脳とした場合において、ＣＴ画像およびＭＲＩ画像等を用いた画像診断により、脳梗塞および脳出血等の血管障害を起こしている疾病領域を特定することができるため、特定した結果に基づいて適切な治療が行われるようになってきている。一般に疾病領域はＣＴ画像上において周囲の領域と比較して高いＣＴ値を示す。このため、画像診断においては周囲の領域と比較して高いＣＴ値を示す領域の有無を読影することにより、疾病領域を判別することができる。
このように、医用画像から疾病領域を自動的に判別するための各種手法が提案されている。例えば、特開平８－２５１４０４号公報においては、入力層と中間層と出力層とを有する第１および第２のニューラルネットワークを備え、第１のニューラルネットワークのうちの入力層から中間層までの出力を、第２のニューラルネットワークの入力層に入力するように結合した判別装置が提案されている。特開平８－２５１４０４号公報に記載の判別装置においては、第１のニューラルネットワークに入力される画像データに基づいて、画像データの領域属性についての判別結果が出力される。このような判別装置を用いることにより、上述したような医用画像に含まれる特定の医学的特徴を判別することが可能となる。
しかしながら、医学的特徴の種類によっては、医用画像からの判別が困難となる場合がある。
本開示は上記事情に鑑みなされたものであり、医用画像からの医学的特徴を容易に判別できるようにすることを目的とする。
本開示による医用画像処理装置は、医用画像に含まれる第１の医学的特徴の領域を判別する判別部を備え、
判別部は、医用画像における第１の医学的特徴を判別する、複数の処理層からなる第１のニューラルネットワークと、
第１の医学的特徴と関連する第２の医学的特徴を医用画像において判別する、複数の処理層からなる第２のニューラルネットワークとを有し、
第１のニューラルネットワークには、第２のニューラルネットワークの途中の処理層が出力した特徴量、または第２のニューラルネットワークの出力結果が入力される。
「判別」は医用画像における第１または第２の医学的特徴の有無を判別すること、医用画像における第１または第２の医学的特徴の場所を判別することの双方を含む。
第２のニューラルネットワークの途中の処理層が出力した特徴量または第２のニューラルネットワークの出力結果が入力されるのは、第１のニューラルネットワークにおける途中の処理層であってもよく、最初の処理層であってもよい。
また、本開示による医用画像処理装置においては、第２のニューラルネットワークは、第１のニューラルネットワークとは異なるタスクが学習されてなるものであってもよい。
また、本開示による医用画像処理装置においては、第２のニューラルネットワークが学習するタスクは、疾患の有無を予測するタスク、疾患の種類を予測するタスク、患者に発現している臨床所見を予測するタスク、および患者の意識レベルを予測するタスクのいずれかであってもよい。
また、本開示による医用画像処理装置においては、第１のニューラルネットワークは、医用画像から局所的な医学的特徴を第１の医学的特徴として判別し、
第２のニューラルネットワークは、医用画像から大局的な医学的特徴を第２の医学的特徴として判別するものであってもよい。
また、本開示による医用画像処理装置においては、医用画像は脳を含み、
局所的な医学的特徴は脳の出血領域および梗塞領域の少なくとも一方であり、
大局的な医学的特徴は、出血領域および梗塞領域の少なくとも一方の有無であってもよい。
また、本開示による医用画像処理装置においては、局所的な医学的特徴が特定された医用画像を表示部に表示する表示制御部をさらに備えるものであってもよい。
また、本開示による医用画像処理装置においては、医用画像は脳のＣＴ画像であってもよい。
本開示による医用画像処理方法は、医用画像に含まれる第１の医学的特徴の領域を判別部により判別する医用画像処理方法であって、
判別部は、第１のニューラルネットワークと第２のニューラルネットワークとを有し、第１のニューラルネットワークには、第２のニューラルネットワークの途中の処理層が出力した特徴量、または第２のニューラルネットワークの出力結果が入力され、
第１のニューラルネットワークにより医用画像における第１の医学的特徴を判別し、
第２のニューラルネットワークにより、第１の医学的特徴と関連する第２の医学的特徴を医用画像において判別する。
なお、本開示による医用画像処理方法をコンピュータに実行させるためのプログラムとして提供してもよい。
本開示による他の医用画像処理装置は、医用画像に含まれる第１の医学的特徴の領域を判別部により判別する処理をコンピュータに実行させるための命令を記憶するメモリと、
記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、
第１のニューラルネットワークと第２のニューラルネットワークとを有し、第１のニューラルネットワークには、第２のニューラルネットワークの途中の処理層が出力した特徴量、または第２のニューラルネットワークの出力結果が入力される判別部として機能し、
第１のニューラルネットワークにより医用画像における第１の医学的特徴を判別し、
第２のニューラルネットワークにより、第１の医学的特徴と関連する第２の医学的特徴を医用画像において判別する処理を実行する。
本開示によれば、医用画像において第１の医学的特徴を容易かつ精度よく判別することができる。
本開示の実施形態による医用画像処理装置を適用した、診断支援システムの概要を示すハードウェア構成図 本開示の実施形態による医用画像処理装置の概略構成を示す図 本実施形態における畳み込みニューラルネットワークの構成を示す概略図 出血領域が特定された脳画像を示す図 本実施形態において行われる処理を示すフローチャート
以下、図面を参照して本開示の実施形態について説明する。図１は、本開示の実施形態による医用画像処理装置を適用した、診断支援システムの概要を示すハードウェア構成図である。図１に示すように、診断支援システムでは、本実施形態による医用画像処理装置１、３次元画像撮影装置２、および画像保管サーバ３が、ネットワーク４を経由して通信可能な状態で接続されている。
３次元画像撮影装置２は、被検体の診断対象となる部位を撮影することにより、その部位を表す３次元画像を生成する装置であり、具体的には、ＣＴ装置、ＭＲＩ装置、およびＰＥＴ（Positron Emission Tomography）装置等である。３次元画像撮影装置２により生成された３次元画像は画像保管サーバ３に送信され、保存される。なお、本実施形態においては、被検体である患者の診断対象部位は脳であり、３次元画像撮影装置２はＣＴ装置であり、被検体の脳を含む頭部のＣＴ画像を３次元の脳画像Ｂ０として生成する。
画像保管サーバ３は、各種データを保存して管理するコンピュータであり、大容量外部記憶装置およびデータベース管理用ソフトウェアを備えている。画像保管サーバ３は、有線あるいは無線のネットワーク４を介して他の装置と通信を行い、画像データ等を送受信する。具体的には３次元画像撮影装置２で生成された脳画像Ｂ０の画像データを含む各種データをネットワーク経由で取得し、大容量外部記憶装置等の記録媒体に保存して管理する。なお、画像データの格納形式およびネットワーク４経由での各装置間の通信は、ＤＩＣＯＭ（Digital Imaging and Communication in Medicine）等のプロトコルに基づいている。
医用画像処理装置１は、１台のコンピュータに、本実施形態の医用画像処理プログラムをインストールしたものである。コンピュータは、診断を行う医師が直接操作するワークステーションまたはパーソナルコンピュータでもよいし、それらとネットワークを介して接続されたサーバコンピュータでもよい。医用画像処理プログラムは、ＤＶＤ（Digital Versatile Disc）あるいはＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。または、ネットワークに接続されたサーバコンピュータの記憶装置、もしくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて医師が使用するコンピュータにダウンロードされ、インストールされる。
図２は、コンピュータに医用画像処理プログラムをインストールすることにより実現される医用画像処理装置の概略構成を示す図である。図２に示すように、医用画像処理装置１は、標準的なワークステーションの構成として、ＣＰＵ（Central Processing Unit）１１、メモリ１２およびストレージ１３を備えている。また、医用画像処理装置１には、液晶ディスプレイ等の表示部１４、並びにキーボードおよびマウス等の入力部１５が接続されている。
ストレージ１３はハードディスクドライブ等からなり、ネットワーク４を経由して画像保管サーバ３から取得した、被検体の脳画像、並びに処理に必要な情報を含む各種情報が記憶されている。
また、メモリ１２には、医用画像処理プログラムが記憶されている。医用画像処理プログラムは、ＣＰＵ１１に実行させる処理として、被検体の脳画像Ｂ０を取得する画像取得処理、脳画像Ｂ０に含まれる疾病領域を判別する判別処理、および判別された疾病領域を表示部１４に表示する表示制御処理を規定する。
そして、ＣＰＵ１１がプログラムに従いこれらの処理を実行することで、コンピュータは、画像取得部２１、判別部２２および表示制御部２３として機能する。
画像取得部２１は、被検体の脳の脳画像Ｂ０を画像保管サーバ３から取得する。なお、脳画像Ｂ０が既にストレージ１３に記憶されている場合には、画像取得部２１は、ストレージ１３から脳画像Ｂ０を取得するようにしてもよい。
判別部２２は、脳画像Ｂ０における疾病領域を判別する。疾病領域としては、本実施形態においては出血領域とする。本実施形態においては、判別部２２は、複数の処理層が階層的に接続され、深層学習（ディープラーニング）がなされた多層ニューラルネットワークの１つである、畳み込みニューラルネットワーク（以下ＣＮＮ(Convolutional Neural Network)とする）であるものとする。
図３は本実施形態におけるＣＮＮの構成を示す概略図である。図３に示すように、ＣＮＮ３０は、第１のニューラルネットワーク３１および第２のニューラルネットワーク３２を有する。第１のニューラルネットワーク３１は、複数の処理層３１－１，３１－２…，３１－ｎ（ｎは処理層の数）を有する。また、第２のニューラルネットワーク３２は、複数の処理層３２－１，３２－２…，３２－ｍ（ｍは処理層の数）を有する。なお、第１および第２のニューラルネットワーク３１，３２における最初の処理層３１－１，３２－１は入力層であり、最後の処理層３１－ｎ、３２－ｍは出力層である。
第１のニューラルネットワーク３１および第２のニューラルネットワーク３２が有する処理層は、畳み込み層またはプーリング層からなる。畳み込み層は、入力される画像に対して各種カーネルを用いた畳み込み処理を行い、畳み込み処理により得られた特徴量データからなる特徴量マップを出力する。カーネルは、ｎ×ｎ画素サイズ（例えばｎ＝３）を有し、各要素に重みが設定されている。具体的には、脳画像Ｂ０または特徴量マップといった２次元画像のエッジを強調する微分フィルタのような重みが設定されている。畳み込み層は、カーネルの注目画素をずらしながら、脳画像Ｂ０または前段の処理層から出力された特徴量マップの全体にカーネルを適用する。さらに、畳み込み層は、畳み込みされた値に対して、シグモイド関数等の活性化関数を適用し、特徴量マップを出力する。
プーリング層は、畳み込み層が出力した特徴量マップをプーリングすることにより、特徴量マップのデータ量を低減して、データ量が低減された特徴量マップを出力する。
本実施形態において、第１のニューラルネットワーク３１は、出血領域を含む多数の脳画像を教師データとして使用して、入力された脳画像に含まれる各画素についての出血領域の判別結果Ｒ１を出力するように学習がなされている。なお、出血領域が第１の医学的特徴に相当する。これにより、第１のニューラルネットワーク３１に脳画像Ｂ０が入力されると、複数の処理層３１－ｉ（ｉ＝１～ｎ）において、前段の処理層から出力された特徴量マップが次段の処理層に順次入力され、脳画像Ｂ０における各画素についての出血領域の判別結果Ｒ１が出力層３１－ｎから出力される。なお、第１のニューラルネットワーク３１が出力する判別結果Ｒ１は、脳画像Ｂ０の各画素が出血領域であるか出血領域以外の領域であるかを判別した結果となる。
第２のニューラルネットワーク３２は、第１のニューラルネットワーク３１とは異なり、脳画像Ｂ０の全体における疾患の有無を予測するタスクが学習されてなる。なお、出血の有無が第２の医学的特徴に対応する。このために、第２のニューラルネットワーク３２は、出血領域があることが分かっている多数の脳画像を教師データとして使用し、入力された脳画像に出血領域が含まれるか否かの判別結果Ｒ２を出力するように学習がなされる。これにより、第２のニューラルネットワーク３２に脳画像Ｂ０が入力されると、複数の処理層３２－ｊ（ｊ＝１～ｍ）において、前段の処理層から出力された特徴量マップが次段の処理層に順次入力され、脳画像Ｂ０の全体の情報が統合されて、脳画像Ｂ０に出血領域が含まれるか否かの判別結果Ｒ２が出力層３２－ｍから出力される。
なお、第１のニューラルネットワーク３１の判別結果Ｒ１は脳画像Ｂ０内における出血領域の位置の情報を含むが、第２のニューラルネットワーク３２の判別結果Ｒ２は、出血領域の有無を表すのみであるため、脳画像Ｂ０内における位置の情報を含まない。
ここで、本実施形態においては、第２のニューラルネットワーク３２における途中の処理層３２－ｋから出力された特徴量マップＴ２ｋが、第１のニューラルネットワーク３１の途中の処理層３１－ｒに入力される。特徴量マップＴ２ｋは、入力された脳画像Ｂ０における出血領域の有無がある程度分かっているような特徴量を含む。第２のニューラルネットワーク３２におけるいずれの処理層から出力された特徴量マップを第１のニューラルネットワーク３１のいずれの処理層に入力するかは、第１および第２のニューラルネットワーク３１，３２の学習の段階において予め設計されてなる。なお、特徴量マップＴ２ｋは、処理層３１－ｒの前段の処理層３１－ｒ－１から出力される特徴量マップＴ１ｒ－１と同一サイズとなるように拡大縮小されて、特徴量マップＴ１ｒ－１と併せて、処理層３１－ｒに入力される。したがって、本実施形態においては、第１のニューラルネットワーク３１は、処理層３１－ｒ以降の処理層において、第２のニューラルネットワーク３２の途中の処理層から出力された特徴量マップを統合して、脳画像Ｂ０における局所的な出血領域の判別結果Ｒ１を出力するものとなる。
ここで、脳画像Ｂ０によっては、局所的な特徴のみでは出血領域を判別することが難しいものがある。このような脳画像Ｂ０の出血領域は熟練した医師が読影すれば確認することはできるが、畳み込みニューラルネットワーク等を用いた判別部においては、出血領域を精度よく判別することは難しい場合がある。本実施形態においては、第１のニューラルネットワーク３１において、第２のニューラルネットワーク３２の出力、すなわち脳画像Ｂ０内における出血の有無の情報が統合されて出血領域の判別結果Ｒ１が出力されることとなる。
表示制御部２３は、出血領域が判別された脳画像を表示部１４に表示する。図４は表示された脳画像を示す図である。なお、図４においては、脳画像Ｂ０の１つの断層面のスライス画像を示している。図４に示すように、脳画像Ｂ０において判別された出血領域Ａ１がハイライトされて表示されている。なお、ハイライトは、出血領域Ａ１を線で囲む、出血領域Ａ１に特定の色を付与する、および出血領域Ａ１に矢印を付与する等、任意の態様を用いることができる。
次いで、本実施形態において行われる処理について説明する。図５は本実施形態において行われる処理を示すフローチャートである。まず、画像取得部２１が、被検体の脳画像Ｂ０を取得する（ステップＳＴ１）。次いで、判別部２２が脳画像Ｂ０内における出血領域を判別し（ステップＳＴ２）、表示制御部２３が出血領域が判別された脳画像Ｂ０を表示部１４に表示し（ステップＳＴ３）、処理を終了する。
このように、本実施形態においては、判別部２２の第１のニューラルネットワーク３１により、脳画像Ｂ０における出血領域が判別され、第２のニューラルネットワーク３２により、脳画像Ｂ０における出血領域の有無が判別される。この際、第１のニューラルネットワーク３１には、第２のニューラルネットワーク３２の途中の処理層３２－ｋが出力した特徴量マップＴ２ｋが入力される。このため、第１のニューラルネットワーク３１における特徴量マップと、第２のニューラルネットワーク３２が判別する出血領域の有無に関する特徴量マップとが統合されて、第１のニューラルネットワーク３１において、脳画像Ｂ０における出血領域が判別されることとなる。したがって、本実施形態によれば、脳画像Ｂ０において出血領域を容易かつ精度よく判別することができる。
なお、上記実施形態においては、第２のニューラルネットワーク３２の途中の処理層３２－ｋが出力した特徴量マップＴ２ｋを第１のニューラルネットワーク３１に入力しているが、第２のニューラルネットワーク３２の出力層３２－ｍが出力した判別結果Ｒ２を、第１のニューラルネットワーク３１に入力するようにしてもよい。
また、上記実施形態においては、第２のニューラルネットワーク３２の途中の処理層３２－ｋが出力した特徴量マップＴ２ｋを、第１のニューラルネットワーク３１の途中の処理層３１－ｒに入力しているが、これに限定されるものではない。第２のニューラルネットワーク３２の途中の処理層３２－ｋが出力した特徴量マップＴ２ｋまたは第２のニューラルネットワーク３２の出力層３２－ｍが出力した判別結果Ｒ２を、第１のニューラルネットワーク３１の最初の処理層３１－１、すなわち入力層に入力するようにしてもよい。
また、上記実施形態においては、第２のニューラルネットワーク３２は、出血領域の有無を予測するタスクが学習されてなる。しかしながら、第２のニューラルネットワーク３２が学習するタスクはこれに限定されるものではない。例えば、脳画像Ｂ０における疾病の種類、例えば出血および梗塞を予測するタスクが学習されてなるものであってもよい。この場合、第２のニューラルネットワーク３２は、含まれる疾病が出血および梗塞のいずれかであることが分かっている脳画像を教師データとして使用し、脳画像が入力されると含まれる疾病の種類（出血、梗塞および疾病無し）の判別結果を出力するように学習がなされる。
一方、疾病の種類としては、出血の種類としてもよい。例えば、出血の種類として、脳内出血、脳室内出血、くも膜下出血および硬膜外出血のいずれの種類であるかの判別結果を出力するように、第２のニューラルネットワーク３２を学習するようにしてもよい。また、第２のニューラルネットワーク３２は、脳圧迫所見の有無を判別するように学習されたものであってもよく、脳梗塞の種類（急性期および陳旧性等）を判別するように学習されたものであってもよい。
また、第２のニューラルネットワーク３２が学習するタスクとして、被検体である患者に発現している臨床所見を予測するタスクであってもよい。ここで、臨床所見としては、意識の状態、開眼の状態および覚醒の状態等が挙げられる。この場合、第２のニューラルネットワーク３２は、臨床所見が分かっている脳画像を教師データとして使用し、脳画像が入力されると臨床所見の判別結果を出力するように学習がなされる。
また、上記実施形態においては、脳画像Ｂ０としてＣＴ画像を用いているが、これに限定されるものではなく、ＭＲＩ画像およびＰＥＴ画像等の他の医用画像を用いてもよい。
また、上記実施形態においては、医用画像として脳画像Ｂ０を用いているが、これに限定されるものではない。例えば、人体の胸部、腹部、全身および四肢等の医用画像に含まれる医学的特徴を判別する場合にも、本開示を適用することができる。
また、上記実施形態においては、第１および第２のニューラルネットワーク３１，３２として畳み込みニューラルネットワークを用いているが、これに限定されるものではない。複数の処理層から構成されるニューラルネットワークであれば、ディープニューラルネットワーク（ＤＮＮ(Deep Neural Network)）およびリカレントニューラルネットワーク（ＲＮＮ(Recurrent Neural Network)）等を用いることができる。また、第１のニューラルネットワーク３１と第２のニューラルネットワーク３２とは、同一のニューラルネットワークで無くてもよい。例えば、第１のニューラルネットワーク３１を畳み込みニューラルネットワークとし、第２のニューラルネットワーク３２をリカレントニューラルネットワークとしてもよい。
また、上記各実施形態において、例えば、画像取得部２１、判別部２２および表示制御部２３といった各種の処理を実行する処理部（processing unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（processor）を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device :PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせまたはＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。
複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントおよびサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアとの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（circuitry）を用いることができる。
１ 医用画像処理装置
２ ３次元画像撮影装置
３ 画像保管サーバ
４ ネットワーク
１１ ＣＰＵ
１２ メモリ
１３ ストレージ
１４ ディスプレイ
１５ 入力部
２１ 画像取得部
２２ 判別部
２３ 表示制御部
３０ ＣＮＮ
３１ 第１のニューラルネットワーク
３１－１，３１－２… 処理層
３２ 第２のニューラルネットワーク
３２－１，３２－２… 処理層
Ａ１ 出血領域
Ｂ０ 脳画像
Ｒ１，Ｒ２ 判別結果
Ｔ１ｒ－１，Ｔ２ｋ 特徴量マップ

Claims (11)

  1. 脳を含む医用画像に含まれる医学的特徴を判別する判別部を備え、
    前記判別部は、前記医用画像における脳の出血領域および梗塞領域の少なくとも一方を局所的な医学的特徴として判別する、複数の処理層からなる第１のニューラルネットワークと、
    前記医用画像における前記出血領域および前記梗塞領域の少なくとも一方の有無を前記局所的な医学的特徴と関連する大局的な医学的特徴として判別する、複数の処理層からなる第２のニューラルネットワークとを有し、
    前記第１のニューラルネットワークには、前記第２のニューラルネットワークの途中の処理層が出力した特徴量が入力される医用画像処理装置。
  2. 脳のＣＴ画像である医用画像に含まれる医学的特徴を判別する判別部を備え、
    前記判別部は、前記医用画像における第１の医学的特徴を判別する、複数の処理層からなる第１のニューラルネットワークと、
    前記第１の医学的特徴と関連する第２の医学的特徴を前記医用画像において判別する、複数の処理層からなる第２のニューラルネットワークとを有し、
    前記第１のニューラルネットワークには、前記第２のニューラルネットワークの途中の処理層が出力した特徴量が入力される医用画像処理装置。
  3. 前記第２のニューラルネットワークは、前記第１のニューラルネットワークとは異なるタスクが学習されてなる請求項２に記載の医用画像処理装置。
  4. 前記第２のニューラルネットワークが学習するタスクは、疾患の有無を予測するタスク、疾患の種類を予測するタスク、患者に発現している臨床所見を予測するタスク、および患者の意識レベルを予測するタスクのいずれかである請求項３に記載の医用画像処理装置。
  5. 前記第１のニューラルネットワークは、前記医用画像における局所的な医学的特徴を前記第１の医学的特徴として判別し、
    前記第２のニューラルネットワークは、前記医用画像における大局的な医学的特徴を前記第２の医学的特徴として判別する請求項２から４のいずれか１項に記載の医用画像処理装置。
  6. 前記局所的な医学的特徴は脳の出血領域および梗塞領域の少なくとも一方であり、
    前記大局的な医学的特徴は、前記出血領域および前記梗塞領域の少なくとも一方の有無である請求項５に記載の医用画像処理装置。
  7. 前記局所的な医学的特徴が特定された前記医用画像を表示部に表示する表示制御部をさらに備えた請求項１、５または６に記載の医用画像処理装置。
  8. 脳を含む医用画像に含まれる医学的特徴を判別部により判別する医用画像処理方法であって、
    前記判別部は、第１のニューラルネットワークと第２のニューラルネットワークとを有し、前記第１のニューラルネットワークには、前記第２のニューラルネットワークの途中の処理層が出力した特徴量が入力され、
    前記第１のニューラルネットワークにより、前記医用画像における脳の出血領域および梗塞領域の少なくとも一方を局所的な医学的特徴として判別し、
    前記第２のニューラルネットワークにより、前記医用画像における前記出血領域および前記梗塞領域の少なくとも一方の有無を前記局所的な医学的特徴と関連する大局的な医学的特徴として判別する医用画像処理方法。
  9. 脳のＣＴ画像である医用画像に含まれる医学的特徴を判別部により判別する医用画像処理方法であって、
    前記判別部は、第１のニューラルネットワークと第２のニューラルネットワークとを有し、前記第１のニューラルネットワークには、前記第２のニューラルネットワークの途中の処理層が出力した特徴量が入力され、
    前記第１のニューラルネットワークにより前記医用画像における第１の医学的特徴を判別し、
    第２のニューラルネットワークにより、前記第１の医学的特徴と関連する第２の医学的特徴を前記医用画像において判別する医用画像処理方法。
  10. 脳を含む医用画像に含まれる医学的特徴を判別する処理をコンピュータに実行させる医用画像処理プログラムであって、
    前記コンピュータを、第１のニューラルネットワークと第２のニューラルネットワークとを有し、前記第１のニューラルネットワークには、前記第２のニューラルネットワークの途中の処理層が出力した特徴量が入力される判別部として機能させ、
    前記第１のニューラルネットワークにより、前記医用画像における脳の出血領域および梗塞領域の少なくとも一方を局所的な医学的特徴として判別する手順と、
    前記第２のニューラルネットワークにより、前記医用画像における前記出血領域および前記梗塞領域の少なくとも一方の有無を前記局所的な医学的特徴と関連する大局的な医学的特徴として判別する手順とをコンピュータに実行させる医用画像処理プログラム。
  11. 脳のＣＴ画像である医用画像に含まれる医学的特徴を判別する処理をコンピュータに実行させる医用画像処理プログラムであって、
    前記コンピュータを、第１のニューラルネットワークと第２のニューラルネットワークとを有し、前記第１のニューラルネットワークには、前記第２のニューラルネットワークの途中の処理層が出力した特徴量が入力される判別部として機能させ、
    前記第１のニューラルネットワークにより前記医用画像における第１の医学的特徴を判別する手順と、
    第２のニューラルネットワークにより、前記第１の医学的特徴と関連する第２の医学的特徴を前記医用画像において判別する手順とをコンピュータに実行させる医用画像処理プログラム。
JP2020546713A 2018-09-14 2019-07-03 医用画像処理装置、方法およびプログラム Active JP7339270B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018172989 2018-09-14
JP2018172989 2018-09-14
PCT/JP2019/026533 WO2020054188A1 (ja) 2018-09-14 2019-07-03 医用画像処理装置、方法およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2020054188A1 JPWO2020054188A1 (ja) 2021-08-30
JP7339270B2 true JP7339270B2 (ja) 2023-09-05

Family

ID=69778538

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020546713A Active JP7339270B2 (ja) 2018-09-14 2019-07-03 医用画像処理装置、方法およびプログラム

Country Status (4)

Country Link
US (1) US11915414B2 (ja)
EP (1) EP3851049A4 (ja)
JP (1) JP7339270B2 (ja)
WO (1) WO2020054188A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210093278A1 (en) * 2019-09-30 2021-04-01 GE Precision Healthcare LLC Computed tomography medical imaging intracranial hemorrhage model
JPWO2022054858A1 (ja) * 2020-09-11 2022-03-17
JP2022074224A (ja) * 2020-11-04 2022-05-18 株式会社トプコン 眼科情報処理装置、眼科装置、眼科情報処理方法、及びプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017106645A1 (en) 2015-12-18 2017-06-22 The Regents Of The University Of California Interpretation and quantification of emergency features on head computed tomography
CN107292884A (zh) 2017-08-07 2017-10-24 北京深睿博联科技有限责任公司 一种识别mri图像中水肿和血肿的方法及装置
WO2018026431A1 (en) 2016-08-01 2018-02-08 12 Sigma Technologies Computer-aided diagnosis system for medical images using deep convolutional neural networks
US20180068218A1 (en) 2016-09-07 2018-03-08 Samsung Electronics Co., Ltd. Neural network based recognition apparatus and method of training neural network
US20180075628A1 (en) 2016-09-12 2018-03-15 Zebra Medical Vision Ltd. Systems and methods for automated detection of an indication of malignancy in a mammographic image

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08251404A (ja) 1995-03-13 1996-09-27 Minolta Co Ltd 画像領域属性判別方法及び装置
CN101065762A (zh) * 2004-11-23 2007-10-31 伊斯曼柯达公司 使用组织信息的自动放射线照片分类
EP1780651A1 (en) * 2005-10-25 2007-05-02 Bracco Imaging, S.P.A. Method and system for automatic processing and evaluation of images, particularly diagnostic images
JP2016031747A (ja) 2014-07-30 2016-03-07 キヤノン株式会社 情報処理装置、情報処理方法
US20170236027A1 (en) * 2016-02-16 2017-08-17 Brainchip Inc. Intelligent biomorphic system for pattern recognition with autonomous visual feature extraction
US9886758B2 (en) * 2016-03-31 2018-02-06 International Business Machines Corporation Annotation of skin image using learned feature representation
KR101908680B1 (ko) * 2016-08-30 2018-10-17 주식회사 루닛 약한 지도 학습 기반의 기계 학습 방법 및 그 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017106645A1 (en) 2015-12-18 2017-06-22 The Regents Of The University Of California Interpretation and quantification of emergency features on head computed tomography
WO2018026431A1 (en) 2016-08-01 2018-02-08 12 Sigma Technologies Computer-aided diagnosis system for medical images using deep convolutional neural networks
US20180068218A1 (en) 2016-09-07 2018-03-08 Samsung Electronics Co., Ltd. Neural network based recognition apparatus and method of training neural network
US20180075628A1 (en) 2016-09-12 2018-03-15 Zebra Medical Vision Ltd. Systems and methods for automated detection of an indication of malignancy in a mammographic image
CN107292884A (zh) 2017-08-07 2017-10-24 北京深睿博联科技有限责任公司 一种识别mri图像中水肿和血肿的方法及装置

Also Published As

Publication number Publication date
WO2020054188A1 (ja) 2020-03-19
US11915414B2 (en) 2024-02-27
JPWO2020054188A1 (ja) 2021-08-30
EP3851049A4 (en) 2021-11-10
US20210150713A1 (en) 2021-05-20
EP3851049A1 (en) 2021-07-21

Similar Documents

Publication Publication Date Title
JP7018856B2 (ja) 医用画像処理装置、方法およびプログラム
US11244455B2 (en) Apparatus, method, and program for training discriminator discriminating disease region, discriminator discriminating disease region, disease region discrimination apparatus, and disease region discrimination program
US11915414B2 (en) Medical image processing apparatus, method, and program
JP7129869B2 (ja) 疾患領域抽出装置、方法及びプログラム
US11049251B2 (en) Apparatus, method, and program for learning discriminator discriminating infarction region, discriminator for discriminating infarction region, and apparatus, method, and program for discriminating infarction region
US20190026888A1 (en) Method and apparatus for presentation of medical images
JPWO2020158717A1 (ja) 学習済みモデル、学習方法、及びプログラム、並びに医用情報取得装置、方法、及びプログラム
JP2021140769A (ja) 医用情報処理装置、医用情報処理方法及び医用情報処理プログラム
US20140153795A1 (en) Parametric imaging for the evaluation of biological condition
JP7114347B2 (ja) 断層画像予測装置および断層画像予測方法
US11551351B2 (en) Priority judgement device, method, and program
JP7479546B2 (ja) 表示装置、方法およびプログラム
JP7007469B2 (ja) 医療文書作成支援装置、方法およびプログラム、学習済みモデル、並びに学習装置、方法およびプログラム
WO2019102917A1 (ja) 読影医決定装置、方法およびプログラム
JP7098498B2 (ja) 疾患領域を判別する判別器の学習装置、方法及びプログラム、疾患領域を判別する判別器、並びに疾患領域判別装置及びプログラム
US11328414B2 (en) Priority judgement device, method, and program
WO2020262681A1 (ja) 学習装置、方法およびプログラム、医用画像処理装置、方法およびプログラム、並びに判別器
WO2020110520A1 (ja) 類似度決定装置、方法およびプログラム
WO2021060461A1 (ja) 画像処理装置、方法およびプログラム
WO2021246047A1 (ja) 経過予測装置、方法およびプログラム
US20230143966A1 (en) Image processing apparatus and non-transitory computer readable medium
CN118103923A (zh) 用于阿尔茨海默病分类的多模态神经网络

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210128

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220216

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220412

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220705

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20230117

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20230228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230330

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230824

R150 Certificate of patent or registration of utility model

Ref document number: 7339270

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150