JP7018856B2 - 医用画像処理装置、方法およびプログラム - Google Patents

医用画像処理装置、方法およびプログラム Download PDF

Info

Publication number
JP7018856B2
JP7018856B2 JP2018172988A JP2018172988A JP7018856B2 JP 7018856 B2 JP7018856 B2 JP 7018856B2 JP 2018172988 A JP2018172988 A JP 2018172988A JP 2018172988 A JP2018172988 A JP 2018172988A JP 7018856 B2 JP7018856 B2 JP 7018856B2
Authority
JP
Japan
Prior art keywords
medical image
feature amount
amount map
map
brain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018172988A
Other languages
English (en)
Other versions
JP2020043927A (ja
JP2020043927A5 (ja
Inventor
瑞希 武井
嘉郎 北村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2018172988A priority Critical patent/JP7018856B2/ja
Priority to US16/553,636 priority patent/US11087465B2/en
Publication of JP2020043927A publication Critical patent/JP2020043927A/ja
Publication of JP2020043927A5 publication Critical patent/JP2020043927A5/ja
Application granted granted Critical
Publication of JP7018856B2 publication Critical patent/JP7018856B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A61B5/0042—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part for the brain
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/50—Clinical applications
    • A61B6/501—Clinical applications involving diagnosis of head, e.g. neuroimaging, craniography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • A61B2576/026—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part for the brain
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026—Measuring blood flow
    • A61B5/0261—Measuring blood flow using optical means, e.g. infrared light
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02—Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computerised tomographs
    • A61B6/032—Transmission computed tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10104—Positron emission tomography [PET]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/68—Analysis of geometric attributes of symmetry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • General Physics & Mathematics (AREA)
  • Neurology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Quality & Reliability (AREA)
  • Neurosurgery (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Psychiatry (AREA)
  • Physiology (AREA)
  • Fuzzy Systems (AREA)
  • Geometry (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Pulmonology (AREA)

Description

本開示は、脳画像等の医用画像における疾病領域を判別する医用画像処理装置、方法およびプログラムに関するものである。
近年、ＣＴ装置およびＭＲＩ（Magnetic Resonance Imaging）装置等の医療機器の進歩により、より質の高い高解像度の医用画像を用いての画像診断が可能となってきている。とくに、対象部位を脳とした場合において、ＣＴ画像およびＭＲＩ画像等を用いた画像診断により、脳梗塞および脳出血等の血管障害を起こしている疾病領域を特定することができるため、特定した結果に基づいて適切な治療が行われるようになってきている。一般に疾病領域はＣＴ画像上において周囲の領域と比較して高いＣＴ値を示す。このため、画像診断においては周囲の領域と比較して高いＣＴ値を示す領域の有無を読影することにより、疾病領域を判別することができる。
一方、医用画像が非造影ＣＴ画像である場合、軽度のくも膜下出血、または超急性期の脳梗塞では、疾患が発生している部分とその周辺部分とのコントラストが不明瞭な場合が多い。このため、画像診断に際しては、医用画像において脳の左右対称な領域を比較することによって、疾病領域が存在するか否かを読影することが一般的に行われている。
このような左右対称な領域を比較して疾病領域を検出するための各種手法が提案されている。例えば特許文献１には、医用画像における左右対称な領域の組み合わせを入力として、機械学習を行った判別器を用いて、疾病領域の有無を判別する手法が提案されている。
特開２０１８－０１１９５８号公報
しかしながら、医用画像に含まれる脳の対称軸が医用画像に対して必ずしも垂直とならない場合がある。また、脳の形状が左脳と右脳とで異なる場合もある。このため、医用画像に含まれる脳が、厳密に左右対称とならない場合がある。ここで、特許文献１に記載された手法は、医用画像そのものを判別器に入力している。このため、特許文献１に記載された手法においては、脳の左右対称領域を比較しているものの、厳密に対称軸に対して対称でない脳が含まれる脳画像においては、疾病領域を精度よく判別することは困難である。
本開示は上記事情に鑑みなされたものであり、脳等の線対称な構造物を含む医用画像における疾病領域を精度よく判別することを目的とする。
本開示による医用画像処理装置は、線対称な構造物を含む医用画像における疾病領域を判別する判別処理部を備え、
判別処理部は、医用画像から医用画像の特徴量マップを生成する第１判別部と、
特徴量マップの対称軸を基準として特徴量マップを反転して反転特徴量マップを生成する第２判別部と、
特徴量マップおよび反転特徴量マップを重ね合わせ、重ね合わせた特徴量マップおよび反転特徴量マップを用いて、医用画像における疾病領域を判別する第３判別部とを有する。
「線対称な構造物」とは、医用画像上においてそれ自体が線対称である１つの構造物のみならず、医用画像上において線対称な位置に存在する一対または複数対の構造物をも含む。なお、例えば脳は基本的には（すなわち解剖学的には）線対称な形をなしており、線対称に存在することが前提とされているが、厳密に線対称な形をなしているものではなく、左脳および右脳で大きさおよび形状が異なる場合がある。また、腎臓も解剖学的に線対称に対に存在するが、左右の腎臓の大きさおよび形状が異なる場合がある。このため、「線対称な構造物」は、完全に線対称な対をなす構造物のみならず、おおよそ線対称をなす構造物および線対称に存在することが前提とされる構造物も含むものとする。
「判別」は医用画像における疾病領域の位置を判別すること、および医用画像における疾病領域の有無を判別することのいずれであってもよい。
なお、本開示による医用画像処理装置においては、第１判別部、第２判別部および第３判別部は、それぞれが少なくとも１つの処理層を有するニューラルネットワークからなるものであってもよい。
また、本開示による医用画像処理装置においては、医用画像は脳のＣＴ画像であり、疾病領域は脳内の疾病領域であってもよい。
また、本開示による医用画像処理装置においては、疾病領域は出血領域または梗塞領域であってもよい。
また、本開示による医用画像処理装置においては、疾病領域が判別された医用画像を表示部に表示する表示制御部をさらに備えるものであってもよい。
本開示による医用画像処理方法は、線対称な構造物を含む医用画像における疾病領域を判別処理部により判別する医用画像処理方法であって、
医用画像から医用画像の特徴量マップを生成し、
特徴量マップの対称軸を基準として特徴量マップを反転して反転特徴量マップを生成し、
特徴量マップおよび反転特徴量マップを重ね合わせ、重ね合わせた特徴量マップおよび反転特徴量マップを用いて、医用画像における疾病領域を判別する。
本開示による医用画像処理プログラムは、線対称な構造物を含む医用画像における疾病領域を判別する処理をコンピュータに実行させる医用画像処理プログラムであって、
医用画像から医用画像の特徴量マップを生成する手順と、
特徴量マップの対称軸を基準として特徴量マップを反転して反転特徴量マップを生成する手順と、
特徴量マップおよび反転特徴量マップを重ね合わせ、重ね合わせた特徴量マップおよび反転特徴量マップを用いて、医用画像における疾病領域を判別する手順とをコンピュータに実行させる。
本開示による他の医用画像処理装置は、コンピュータに実行させるための命令を記憶するメモリと、
記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、
線対称な構造物を含む医用画像における疾病領域を判別する処理であって、
医用画像から医用画像の特徴量マップを生成し、
特徴量マップの対称軸を基準として特徴量マップを反転して反転特徴量マップを生成し、
特徴量マップおよび反転特徴量マップを重ね合わせ、重ね合わせた特徴量マップおよび反転特徴量マップを用いて、医用画像における疾病領域を判別する処理を実行する。
本開示によれば、より精度よく疾病領域を判別することができる。
本開示の実施形態による医用画像処理装置を適用した、診断支援システムの概要を示すハードウェア構成図 本開示の実施形態による医用画像処理装置の概略構成を示す図 本実施形態における判別処理部の構成を示す概略図 出血領域を含む脳画像を示す図 特徴量マップを示す図 反転特徴量マップを示す図 重ね合わせマップを示す図 出血領域が特定された脳画像を示す図 本実施形態において行われる処理を示すフローチャート 脳画像を示す図 出血領域が存在する脳画像を示す図
以下、図面を参照して本開示の実施形態について説明する。図１は、本開示の実施形態による医用画像処理装置を適用した、診断支援システムの概要を示すハードウェア構成図である。図１に示すように、診断支援システムでは、本実施形態による医用画像処理装置１、３次元画像撮影装置２、および画像保管サーバ３が、ネットワーク４を経由して通信可能な状態で接続されている。
３次元画像撮影装置２は、被検体の診断対象となる部位を撮影することにより、その部位を表す３次元画像を生成する装置であり、具体的には、ＣＴ装置、ＭＲＩ装置、およびＰＥＴ（Positron Emission Tomography）装置等である。３次元画像撮影装置２により生成された３次元画像は画像保管サーバ３に送信され、保存される。なお、本実施形態においては、被検体である患者の診断対象部位は脳であり、３次元画像撮影装置２はＣＴ装置であり、被検体の脳を含む頭部のＣＴ画像を３次元の脳画像Ｂ０として生成する。
画像保管サーバ３は、各種データを保存して管理するコンピュータであり、大容量外部記憶装置およびデータベース管理用ソフトウェアを備えている。画像保管サーバ３は、有線あるいは無線のネットワーク４を介して他の装置と通信を行い、画像データ等を送受信する。具体的には３次元画像撮影装置２で生成された脳画像Ｂ０の画像データを含む各種データをネットワーク経由で取得し、大容量外部記憶装置等の記録媒体に保存して管理する。なお、画像データの格納形式およびネットワーク４経由での各装置間の通信は、ＤＩＣＯＭ（Digital Imaging and Communication in Medicine）等のプロトコルに基づいている。
医用画像処理装置１は、１台のコンピュータに、本開示の医用画像処理プログラムをインストールしたものである。コンピュータは、診断を行う医師が直接操作するワークステーションまたはパーソナルコンピュータでもよいし、それらとネットワークを介して接続されたサーバコンピュータでもよい。医用画像処理プログラムは、ＤＶＤ（Digital Versatile Disc）あるいはＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。または、ネットワークに接続されたサーバコンピュータの記憶装置、もしくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて医師が使用するコンピュータにダウンロードされ、インストールされる。
図２は、コンピュータに医用画像処理プログラムをインストールすることにより実現される医用画像処理装置の概略構成を示す図である。図２に示すように、医用画像処理装置１は、標準的なワークステーションの構成として、ＣＰＵ（Central Processing Unit）１１、メモリ１２およびストレージ１３を備えている。また、医用画像処理装置１には、液晶ディスプレイ等の表示部１４、並びにキーボードおよびマウス等の入力部１５が接続されている。
ストレージ１３には、ハードディスクドライブ等からなり、ネットワーク４を経由して画像保管サーバ３から取得した、被検体の脳画像、並びに処理に必要な情報を含む各種情報が記憶されている。
また、メモリ１２には、医用画像処理プログラムが記憶されている。医用画像処理プログラムは、ＣＰＵ１１に実行させる処理として、被検体の脳画像Ｂ０を取得する画像取得処理、脳画像Ｂ０に含まれる疾病領域を判別する判別処理、および判別された疾病領域を表示部１４に表示する表示制御処理を規定する。
そして、ＣＰＵ１１がプログラムに従いこれらの処理を実行することで、コンピュータは、画像取得部２１、判別処理部２２および表示制御部２３として機能する。
画像取得部２１は、被検体の脳の脳画像Ｂ０を画像保管サーバ３から取得する。なお、脳画像Ｂ０が既にストレージ１３に記憶されている場合には、画像取得部２１は、ストレージ１３から脳画像Ｂ０を取得するようにしてもよい。
判別処理部２２は、脳画像Ｂ０における疾病領域を判別する。疾病領域としては、本実施形態においては出血領域とする。本実施形態においては、判別処理部２２は、複数の処理層が階層的に接続され、深層学習（ディープラーニング）がなされた多層ニューラルネットワークの１つである、畳み込みニューラルネットワーク（以下ＣＮＮ(Convolutional Neural Network)とする）であるものとする。
図３は本実施形態における判別処理部の構成を示す概略図である。図３に示すように、判別処理部２２は、脳画像Ｂ０から脳画像Ｂ０の特徴量マップを生成する第１判別部３１と、特徴量マップを対称軸を基準として反転して反転特徴量マップを生成する第２判別部３２と、特徴量マップおよび反転特徴量マップを重ね合わせ、重ね合わせた特徴量マップおよび反転特徴量マップを用いて、脳画像Ｂ０における出血領域を判別する第３判別部３３とを備える。
なお、第１判別部３１、第２判別部３２および第３判別部３３のそれぞれがＣＮＮであり、それぞれが少なくとも１つの処理層を有する。第１判別部３１の最初の処理層が、判別処理部２２を構成するＣＮＮの入力層であり、第３判別部３３の最後の処理層が出力層である。
第１判別部３１、第２判別部３２および第３判別部３３が有する処理層は、畳み込み層およびプーリング層の少なくとも一方を含む。畳み込み層は、入力される画像に対して各種カーネルを用いた畳み込み処理を行い、畳み込み処理により得られた特徴量データからなる特徴量マップを出力する。カーネルは、ｎ×ｎ画素サイズ（例えばｎ＝３）を有し、各要素に重みが設定されている。具体的には、脳画像Ｂ０または特徴量マップといった２次元画像のエッジを強調する微分フィルタのような重みが設定されている。畳み込み層は、カーネルの注目画素をずらしながら、脳画像Ｂ０または特徴量マップの全体にカーネルを適用する。さらに、畳み込み層は、畳み込みされた値に対してシグモイド関数等の活性化関数を適用し、特徴量マップを出力する。
プーリング層は、畳み込み層が出力した特徴量マップをプーリングすることにより、特徴量マップのデータ量を低減して、データ量が低減された特徴量マップを出力する。
本実施形態において、第１判別部３１、第２判別部３２および第３判別部３３は、出血領域を含む多数の脳画像を教師データとして使用して、入力された脳画像の各画素が出血領域であるか否かを判別した判別結果Ｒ１を出力するように学習がなされている。これにより、判別処理部２２に脳画像Ｂ０が入力されると、第１判別部３１、第２判別部３２および第３判別部３３の複数の処理層において、前段の処理層から出力された特徴量マップが次段の処理層に順次入力され、脳画像Ｂ０における出血領域の判別結果Ｒ１が出力される。
ここで、第１判別部３１は、複数の処理層からなり、各処理層において特徴量マップを出力する。ここで、特徴量マップは脳画像Ｂ０に対してカーネルによる畳み込み処理およびプーリングの少なくとも一方を行うことにより生成されるため、脳画像Ｂ０よりも低解像度となっている。図４は脳画像を示す図である。図４に示すように脳画像Ｂ０には右脳に出血領域Ａ１が含まれる。なお、脳画像Ｂ０においては、画像の左側が右脳となり、画像の右側が左脳となる。ここで、脳画像Ｂ０の解像度が例えば１９２０×１９２０画素であったとする。図５は第１判別部３１から出力される特徴量マップの例を示す図である。なお、図５においては、説明を簡単なものとするために、特徴量マップＦ１の解像度を５×５画素としているがこれに限定されるものではない。図５に示すように、第１判別部３１により出力される特徴量マップＦ１の解像度は５×５画素となっており、左上の画素に図４に示す脳画像Ｂ０の出血領域Ａ１に対応する特徴Ａ２が含まれる。
第２判別部３２は、第１判別部３１が出力した特徴量マップＦ１を、その対称軸を基準として反転して反転特徴量マップＦ２を生成する。このために、第２判別部３２の処理層は、特徴量マップＦ１を対称軸を基準として反転する畳み込み処理を行う。図６は反転特徴量マップを示す図である。図６に示すように反転特徴量マップＦ２は、図５に示す特徴量マップＦ１を対称軸Ｘ０を基準として左右反転することにより生成される。このため、特徴量マップＦ１の左上に存在した右脳の特徴Ａ２は、反転特徴量マップＦ２の右上に特徴Ａ３として存在することとなる。なお、第２判別部３２は、特徴量マップＦ１から反転特徴量マップＦ２を生成することができれば、１つの処理層のみを有するものであってもよく、複数の処理層を有するものであってもよい。
第３判別部３３は複数の処理層からなり、最初の処理層において、第１判別部３１が出力した特徴量マップＦ１および第２判別部３２が出力した反転特徴量マップＦ２を重ね合わせることにより重ね合わせマップを生成する。図７は重ね合わせマップを示す図である。第３判別部３３は、最初の処理層以降において、重ね合わせマップＦ３に基づいて、脳画像Ｂ０における出血領域を判別する。ここで、第３判別部３３の前段は、重ね合わせマップに基づいて、重ね合わせマップのサイズを変更することなく出血領域を特定する処理を行い、後段は出血領域が特定された特徴量マップを、脳画像Ｂ０の解像度となるように高解像度化しつつ、脳画像Ｂ０における各画素を出血領域と出血領域でない画素に分類する処理を行う。これにより、第３判別部３３からは、脳画像Ｂ０における各画素についての出血領域の判別結果Ｒ１が出力される。
表示制御部２３は、出血領域が判別された脳画像を表示部１４に表示する。図８は表示された脳画像を示す図である。なお、図８においては、脳画像Ｂ０の１つの断層面のスライス画像を示している。図８に示すように、脳画像Ｂ０において判別された出血領域Ａ１がハイライトされて表示されている。なお、ハイライトは、出血領域Ａ１を線で囲む、出血領域Ａ１に特定の色を付与する、および出血領域Ａ１に矢印を付与する等、任意の態様を用いることができる。
次いで、本実施形態において行われる処理について説明する。図９は本実施形態において行われる処理を示すフローチャートである。まず、画像取得部２１が、被検体の脳画像Ｂ０を取得する（ステップＳＴ１）。次いで、判別処理部２２が脳画像Ｂ０内における出血領域を判別し（ステップＳＴ２）、表示制御部２３が出血領域が判別された脳画像Ｂ０を表示部１４に表示し（ステップＳＴ３）、処理を終了する。
ここで、脳画像Ｂ０に含まれる脳は基本的に図１０に示すように対称軸Ｘ０に関して線対称な構造物である。脳溝および脳室はＣＴ画像においては高濃度（高輝度）の領域となるため、正常な脳画像においては脳溝および脳室は対称軸Ｘ０に関して対称に存在する。図１０に示す脳画像Ｂ０においては、左脳の脳溝４０Ｌおよび右脳の脳溝４０Ｒを確認することができる。
一方、脳内出血があると、血液は脳溝および脳室に流入するため、血液が流入した脳溝および脳室は、脳実質と同程度の濃度となる。ここで、脳内出血が発症した場合、左右の脳の双方に出血が発症することは極めて希である。例えば、右脳の脳溝４０Ｒにおいて脳内出血が発症した場合、左脳の脳溝４０Ｌにおいて脳内出血が発症することは希である。このような状況においては、図１１に示すように脳画像Ｂ０において左脳の脳溝４０Ｌを確認することができるが、右脳の脳溝４０Ｒは脳実質と同程度の濃度となるため、確認しにくいものとなる。このため、左右の脳を比較し、左脳の脳溝４０Ｌおよび右脳の脳溝４０Ｒの濃度の相違を確認することにより、出血領域を特定することができる。
しかしながら、脳画像においては、脳の対称軸が脳画像に対して必ずしも垂直とならない場合がある。また、脳の形状が左脳と右脳とで異なる場合もある。このため、脳画像に含まれる脳が、厳密に左右対称とならないことがある。上記特許文献１においては、医用画像そのものを判別器に入力している。このため、特許文献１に記載された手法においては、脳の左右対称領域を比較しているものの、厳密に対称軸に対して対称でない脳が含まれる脳画像においては、疾病領域を精度よく判別することは困難である。
本実施形態においては、第１判別部３１において生成された特徴量マップＦ１を、第２判別部３２において反転することにより反転特徴量マップＦ２を生成し、第３判別部３３において反転特徴量マップＦ２を用いて出血領域を判別している。特徴量マップＦ１は、脳画像Ｂ０と比較して低解像度であるため、対称軸に対する対称性のずれ等が吸収され、かつ出血領域が判別されたものとなっている。このため、本実施形態によれば、厳密に対称軸に対して対称でない脳が含まれる脳画像であっても、精度よく出血領域を判別することができる。
なお、上記実施形態においては、第１判別部３１から出力された特徴量マップＦ１を第２判別部３２に入力しているが、第２判別部３２に入力される特徴量マップＦ１は、第１判別部３１の途中の処理層から出力されたものであってもよい。
また、上記実施形態においては、疾病領域として出血領域を用いているが、これに限定されるものではなく、梗塞領域を用いるようにしてもよい。
また、上記実施形態においては、脳画像Ｂ０における各画素を出血領域と出血領域でない画素に分類した判別結果Ｒ１を判別処理部２２が出力しているが、脳画像Ｂ０における出血領域の有無を判別結果Ｒ１として出力するようにしてもよい。この場合、第１判別部３１、第２判別部３２および第３判別部３３は、脳画像Ｂ０が入力されると疾病領域の有無を判別結果Ｒ１として出力するように学習がなされることとなる。
また、上記実施形態においては、脳画像Ｂ０としてＣＴ画像を用いているが、これに限定されるものではなく、ＭＲＩ画像およびＰＥＴ画像等の他の医用画像を用いてもよい。
また、上記実施形態においては、医用画像として脳画像を用いているが、これに限定されるものではない。例えば、肺、腎臓、眼球および耳等の線対称に存在する一対または複数対の構造物を含む医用画像における疾病領域を判別する場合にも、本開示を適用することができる。
また、上記実施形態においては、第１判別部３１、第２判別部３２および第３判別部３３として、ＣＮＮ（畳み込みニューラルネットワーク）を用いているが、これに限定されるものではない。疾病領域を判別することができれば、サポートベクタマシン（ＳＶＭ(Support Vector Machine)、ディープニューラルネットワーク（ＤＮＮ(Deep Neural Network)）およびリカレントニューラルネットワーク（ＲＮＮ(Recurrent Neural Network)）等を用いることができる。また、第１判別部３１、第２判別部３２および第３判別部３３は、同一種類のニューラルネットワークでなくてもよい。例えば、第１判別部３１および第２判別部３２を畳み込みニューラルネットワークとし、第３判別部３３をリカレントニューラルネットワークとしてもよい。
また、上記各実施形態において、例えば、画像取得部２１、判別処理部２２および表示制御部２３といった各種の処理を実行する処理部（processing unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（processor）を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device :PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせまたはＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。
複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントおよびサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアとの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（circuitry）を用いることができる。
１ 医用画像処理装置
２ ３次元画像撮影装置
３ 画像保管サーバ
４ ネットワーク
１１ ＣＰＵ
１２ メモリ
１３ ストレージ
１４ ディスプレイ
１５ 入力部
２１ 画像取得部
２２ 判別処理部
２３ 表示制御部
３０ ＣＮＮ
３１ 第１判別部
３２ 第２判別部
３３ 第３判別部
４０Ｒ，４０Ｌ 脳溝
Ａ１ 出血領域
Ａ２，Ａ３ 特徴
Ｂ０ 脳画像
Ｆ１ 特徴量マップ
Ｆ２ 反転特徴量マップ
Ｆ３ 重ね合わせマップ
Ｒ１ 判別結果

Claims (7)

  1. 線対称な構造物を含む医用画像における疾病領域を判別する判別処理部を備え、
    前記判別処理部は、前記医用画像から該医用画像よりも低解像度の特徴量マップを生成する第１判別部と、
    前記特徴量マップの対称軸を基準として該特徴量マップを反転して反転特徴量マップを生成する第２判別部と、
    前記特徴量マップおよび前記反転特徴量マップを重ね合わせ、重ね合わせた前記特徴量マップおよび前記反転特徴量マップを用いて、前記医用画像における前記疾病領域を判別する第３判別部とを有する医用画像処理装置。
  2. 前記第１判別部、前記第２判別部および前記第３判別部は、それぞれが少なくとも１つの処理層を有するニューラルネットワークからなる請求項１に記載の医用画像処理装置。
  3. 前記医用画像は脳のＣＴ画像であり、前記疾病領域は前記脳内の疾病領域である請求項１または２に記載の医用画像処理装置。
  4. 前記疾病領域は出血領域または梗塞領域である請求項３に記載の医用画像処理装置。
  5. 前記疾病領域が判別された前記医用画像を表示部に表示する表示制御部をさらに備えた請求項１から４のいずれか１項に記載の医用画像処理装置。
  6. 線対称な構造物を含む医用画像における疾病領域を判別処理部により判別する医用画像処理方法であって、
    前記医用画像から該医用画像よりも低解像度の特徴量マップを生成し、
    前記特徴量マップの対称軸を基準として該特徴量マップを反転して反転特徴量マップを生成し、
    前記特徴量マップおよび前記反転特徴量マップを重ね合わせ、重ね合わせた前記特徴量マップおよび前記反転特徴量マップを用いて、前記医用画像における前記疾病領域を判別する医用画像処理方法。
  7. 線対称な構造物を含む医用画像における疾病領域を判別する処理をコンピュータに実行させる医用画像処理プログラムであって、
    前記医用画像から該医用画像よりも低解像度の特徴量マップを生成する手順と、
    前記特徴量マップの対称軸を基準として該特徴量マップを反転して反転特徴量マップを生成する手順と、
    前記特徴量マップおよび前記反転特徴量マップを重ね合わせ、重ね合わせた前記特徴量マップおよび前記反転特徴量マップを用いて、前記医用画像における前記疾病領域を判別する手順とをコンピュータに実行させる医用画像処理プログラム。
JP2018172988A 2018-09-14 2018-09-14 医用画像処理装置、方法およびプログラム Active JP7018856B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018172988A JP7018856B2 (ja) 2018-09-14 2018-09-14 医用画像処理装置、方法およびプログラム
US16/553,636 US11087465B2 (en) 2018-09-14 2019-08-28 Medical image processing apparatus, medical image processing method, and medical image processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018172988A JP7018856B2 (ja) 2018-09-14 2018-09-14 医用画像処理装置、方法およびプログラム

Publications (3)

Publication Number Publication Date
JP2020043927A JP2020043927A (ja) 2020-03-26
JP2020043927A5 JP2020043927A5 (ja) 2020-10-15
JP7018856B2 true JP7018856B2 (ja) 2022-02-14

Family

ID=69774252

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018172988A Active JP7018856B2 (ja) 2018-09-14 2018-09-14 医用画像処理装置、方法およびプログラム

Country Status (2)

Country Link
US (1) US11087465B2 (ja)
JP (1) JP7018856B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110111313B (zh) * 2019-04-22 2022-12-30 腾讯科技（深圳）有限公司 基于深度学习的医学图像检测方法及相关设备
JP7234364B2 (ja) * 2019-06-28 2023-03-07 富士フイルム株式会社 医用画像処理装置、方法およびプログラム
CN111584066B (zh) * 2020-04-13 2022-09-09 清华大学 基于卷积神经网络与对称信息的脑部医学影像诊断方法
JP7413147B2 (ja) * 2020-05-21 2024-01-15 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JPWO2022059799A1 (ja) * 2020-09-18 2022-03-24
CN113808735B (zh) * 2021-09-08 2024-03-12 山西大学 一种基于脑影像的精神疾病评估方法
US11941825B2 (en) 2021-10-28 2024-03-26 Canon Medical Systems Corporation Method and apparatus for registering image volumes
KR102584545B1 (ko) * 2023-03-06 2023-10-04 주식회사 젠젠에이아이 3차원 공간에서 일관성 있는 의료 볼륨 데이터 생성 모델 학습 방법 및 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018011958A (ja) 2016-07-21 2018-01-25 東芝メディカルシステムズ株式会社 医用画像処理装置及び医用画像処理プログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7462472B2 (en) * 2001-11-02 2008-12-09 The University Of Chicago Methods and compositions relating to anthrax pathogenesis
US8331637B2 (en) * 2006-03-03 2012-12-11 Medic Vision-Brain Technologies Ltd. System and method of automatic prioritization and analysis of medical images
WO2014152919A1 (en) * 2013-03-14 2014-09-25 Arizona Board Of Regents, A Body Corporate Of The State Of Arizona For And On Behalf Of Arizona State University Kernel sparse models for automated tumor segmentation
US9445713B2 (en) * 2013-09-05 2016-09-20 Cellscope, Inc. Apparatuses and methods for mobile imaging and analysis
US20160220166A1 (en) * 2015-01-29 2016-08-04 Kirtley Elliott Thornton Methodology for Discriminating Concussion Subjects from Normal Subjects by Identifying and Using QEEG correlates of concussion across 4 cognitive tasks and eyes closed condition.

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018011958A (ja) 2016-07-21 2018-01-25 東芝メディカルシステムズ株式会社 医用画像処理装置及び医用画像処理プログラム

Also Published As

Publication number Publication date
US11087465B2 (en) 2021-08-10
JP2020043927A (ja) 2020-03-26
US20200090328A1 (en) 2020-03-19

Similar Documents

Publication Publication Date Title
JP7018856B2 (ja) 医用画像処理装置、方法およびプログラム
Hao et al. Local label learning (LLL) for subcortical structure segmentation: application to hippocampus segmentation
WO2020262683A1 (ja) 医用画像処理装置、方法およびプログラム
JP7129870B2 (ja) 疾患領域を判別する判別器の学習装置、方法及びプログラム、疾患領域を判別する判別器、並びに疾患領域判別装置及びプログラム
US11915414B2 (en) Medical image processing apparatus, method, and program
US11049251B2 (en) Apparatus, method, and program for learning discriminator discriminating infarction region, discriminator for discriminating infarction region, and apparatus, method, and program for discriminating infarction region
KR102015224B1 (ko) 딥러닝 기반의 뇌출혈 및 뇌종양 병변 진단 방법 및 장치
JP7129869B2 (ja) 疾患領域抽出装置、方法及びプログラム
KR102015223B1 (ko) 3차원 자기공명영상과 다평면 혈관투영영상을 활용한 뇌질환 진단 방법 및 장치
JP2021140769A (ja) 医用情報処理装置、医用情報処理方法及び医用情報処理プログラム
WO2019216125A1 (ja) 梗塞領域を判別する判別器の学習装置、方法およびプログラム、梗塞領域を判別する判別器、並びに梗塞領域判別装置、方法およびプログラム
Ahmadi et al. IE-Vnet: deep learning-based segmentation of the inner ear's total fluid space
US11551351B2 (en) Priority judgement device, method, and program
JP7098498B2 (ja) 疾患領域を判別する判別器の学習装置、方法及びプログラム、疾患領域を判別する判別器、並びに疾患領域判別装置及びプログラム
WO2019102917A1 (ja) 読影医決定装置、方法およびプログラム
US20220148294A1 (en) Learning image generation device, learning image generation method, learning image generation program, learning method, learning device, and learning program
JP7262606B2 (ja) 領域同定装置、方法およびプログラム
US11328414B2 (en) Priority judgement device, method, and program
WO2020262681A1 (ja) 学習装置、方法およびプログラム、医用画像処理装置、方法およびプログラム、並びに判別器
WO2021060461A1 (ja) 画像処理装置、方法およびプログラム
US20230089212A1 (en) Image generation device, image generation method, image generation program, learning device, learning method, and learning program
Kumar et al. Segmentation of White Matter Lesions in MRI Images Using Optimization-Based Deep Neural Network
Zarrin et al. A deep network ensemble for segmentation of cervical spinal cord and neural foramina
Kakade et al. Brain Tumor segmentation with Anti-Aliasing Impact filtration using Modified Finite Impulse Response Linear filter

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200812

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200812

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210716

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210803

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210908

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220111

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220201

R150 Certificate of patent or registration of utility model

Ref document number: 7018856

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150