JP7115891B2 - 画像診断支援装置、方法およびプログラム - Google Patents

画像診断支援装置、方法およびプログラム Download PDF

Info

Publication number
JP7115891B2
JP7115891B2 JP2018074186A JP2018074186A JP7115891B2 JP 7115891 B2 JP7115891 B2 JP 7115891B2 JP 2018074186 A JP2018074186 A JP 2018074186A JP 2018074186 A JP2018074186 A JP 2018074186A JP 7115891 B2 JP7115891 B2 JP 7115891B2
Authority
JP
Japan
Prior art keywords
image
interpolated
slice
interest
slice image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018074186A
Other languages
English (en)
Other versions
JP2019180699A5 (ja
JP2019180699A (ja
Inventor
悠 長谷川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2018074186A priority Critical patent/JP7115891B2/ja
Priority to US16/365,254 priority patent/US10922786B2/en
Priority to DE102019108719.8A priority patent/DE102019108719A1/de
Publication of JP2019180699A publication Critical patent/JP2019180699A/ja
Publication of JP2019180699A5 publication Critical patent/JP2019180699A5/ja
Application granted granted Critical
Publication of JP7115891B2 publication Critical patent/JP7115891B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/174Segmentation; Edge detection involving the use of two or more images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30016Brain

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Analysis (AREA)

Description

本発明は、画像を用いて被写体の診断を支援する画像診断支援装置、方法およびプログラムに関するものである。
近年、CT(Computed Tomography)装置およびMRI(Magnetic Resonance Imaging)装置等の医療機器の進歩により、より質の高い高解像度の医用画像を用いての画像診断が可能となってきている。とくに、対象部位を脳とした場合において、CT画像およびMRI画像等の3次元画像を用いた画像診断により、脳梗塞および脳出血等の血管障害を起こしている領域を特定することができるため、特定した結果に基づいて適切な治療が行われるようになってきている。
一般に、脳出血が発生した場合、CT画像における出血領域は、出血領域以外の領域と比較して高いCT値を示す。このため、CT画像を用いた画像診断においては、CT画像上において高いCT値を示す領域を出血領域と見なして出血量を算出し、脳出血の重症度および予後予測等の診断が行われる。このような診断を行う際に、CT画像の精度を向上させるためには、CT画像を構成するスライス間隔をできるだけ小さくすることが好ましい。
しかしながら、スライス間隔を小さくすると、撮影時間が長くなったり、被写体の被曝量が多くなったりする。また、古いCT装置等においては、スライス間隔を小さくできない場合がある。このような場合、スライス画像に含まれる各画素が出血領域であるか否かの判断が難しいため、他の被写体のスライス画像を参照する等して、医師が勘または経験により出血領域であるか否かを判断している。
このため、スライス間を補間することにより、スライス分解能を向上させる手法が提案されている。例えば、特許文献1では、2つのスライス画像を補間した補間画像を生成し、スライス画像を第1のしきい値により2値化し、補間画像を第1のしきい値とは異なる第2のしきい値により2値化して、対象領域を抽出する手法が提案されている。また、特許文献2では、連続的な位置関係にある2次元画像群を順次表示する際に、直前に表示された複数フレームにおいて、指示された関心点座標の移動方向に直交する補間画像を生成する手法が提案されている。
特開平10-283496号公報 特開2014-50465号公報
原画像から生成した補間画像を用いることにより、被写体内における病変等の異常部分の広がりを効率よく確認することができる。しかしながら、補間画像は、被写体における補間面に対応する断層面を実際に撮影することにより取得されたものではないため、被写体に含まれる実際の構造物を表すものではない。このため、補間画像を用いたのでは、被写体の正確な診断を行うことはできない。
本発明は、上記事情に鑑みなされたものであり、原画像から生成された補間画像をも用いて、被写体の診断を正確かつ効率よく行うことを目的とする。
本発明による画像診断支援装置は、被写体を撮影することにより取得された原画像から補間画像を生成する補間部と、
原画像における注目領域に含まれる画素位置に対応する、補間画像の複数の画素位置である対応画素位置の画素値に基づいて、原画像の注目領域における画素位置の特徴を表す指標値を算出する指標値算出部と、
指標値を原画像の注目領域における画素位置に反映させる反映部とを備える。
なお、本発明による画像診断支援装置においては、原画像は複数のスライス画像からなる3次元画像であり、
補間部は、複数のスライス画像のスライス間を補間する複数の補間スライス画像を補間画像として生成し、
指標値算出部は、複数の補間スライス画像において、指標値の算出の対象となる対象スライス画像に対応する対応補間スライス画像を設定し、対象スライス画像の注目領域内の画素位置に対応する、対応補間スライス画像の対応画素位置の画素値に基づいて、対象スライス画像の注目領域における画素位置の特徴を表す指標値を算出するものであってもよい。
「対応補間スライス画像」は、対象スライス画像を基準とした一定の範囲内の補間スライス画像であってもよく、すべての補間スライス画像であってもよい
また、本発明による画像診断支援装置においては、指標値算出部は、対応補間スライス画像の対応画素位置のうちの注目領域を表す画素値を有する画素位置の数である注目画素数をカウントし、注目画素数を対応補間スライス画像の対応画素位置の数により除した値を指標値として算出するものであってもよい。
また、本発明による画像診断支援装置においては、原画像は脳のCT画像であり、注目領域は出血領域であってもよい。
また、本発明による画像診断支援装置においては、原画像は2次元画像であり、
補間部は、原画像の画素間を補間した2次元補間画像を補間画像として生成し、
指標値算出部は、2次元補間画像において、原画像における指標値の算出の対象となる対象画素位置に対応する対応補間画素位置を設定し、対応補間画素位置の画素値に基づいて、対象画素位置の指標値を算出するものであってもよい。
また、本発明による画像診断支援装置においては、補間部は、原画像が入力されると補間画像を出力する学習がなされたコンボリューショナルニューラルネットワークにより、補間画像を生成するものであってもよい。
また、本発明による画像診断支援装置においては、反映部は、さらに指標値を原画像の注目領域における画素位置に反映させた反映画像を生成するものであってもよい。
また、本発明による画像診断支援装置においては、反映画像を表示部に表示する表示制御部をさらに備えるものであってもよい。
本発明による画像診断支援方法は、被写体を撮影することにより取得された原画像から補間画像を生成し、
原画像における注目領域に含まれる画素位置に対応する、補間画像の複数の画素位置である対応画素位置の画素値に基づいて、原画像の注目領域における画素位置の特徴を表す指標値を算出し、
指標値を原画像の注目領域における画素位置に反映させる。
なお、本発明による画像診断支援方法をコンピュータに実行させるためのプログラムとして提供してもよい。
本発明による他の画像診断支援装置は、コンピュータに実行させるための命令を記憶するメモリと、
記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、
被写体を撮影することにより取得された原画像から補間画像を生成し、
原画像における注目領域に含まれる画素位置に対応する、補間画像の複数の画素位置である対応画素位置の画素値に基づいて、原画像の注目領域における画素位置の特徴を表す指標値を算出し、
指標値を原画像の注目領域における画素位置に反映させる処理を実行する。
本発明によれば、被写体を撮影することにより取得された原画像から補間画像が生成され、原画像における注目領域に含まれる画素位置に対応する、補間画像の複数の画素位置である対応画素位置の画素値に基づいて、原画像の注目領域における画素位置の特徴を表す指標値が算出される。そして、指標値が原画像の注目領域における画素位置に反映される。このため、原画像に反映された指標値を参照することにより、被写体における病変等の異常部分の広がりを効率よく確認することができる。したがって、本発明によれば、原画像のみならず、補間画像から得られる情報をも参照することができ、その結果、原画像を用いての被写体の診断を正確かつ効率よく行うことができる。
本発明の第1の実施形態による画像診断支援装置を適用した、診断支援システムの概要を示すハードウェア構成図 本実施形態による画像診断支援装置の概略構成を示す図 補間スライス画像の生成を模式的に示す図 指標値の算出を説明するための図 反映画像の例を示す図 反映画像の表示画面を示す図 第1の実施形態において学習時に行われる処理を示すフローチャート 第2の実施形態における2次元補間画像の生成を説明するための図 第2の実施形態における指標値の算出を説明するための図 図8に示す2次元補間画像を用いた指標値の算出結果を示す図
以下、図面を参照して本発明の実施形態について説明する。図1は、本発明の第1の実施形態による画像診断支援装置を適用した、診断支援システムの概要を示すハードウェア構成図である。図1に示すように、診断支援システムでは、第1の実施形態による画像診断支援装置1、3次元画像撮影装置2、および画像保管サーバ3が、ネットワーク4を経由して通信可能な状態で接続されている。
3次元画像撮影装置2は、被写体である人体の診断対象となる部位を撮影することにより、その部位を表す3次元画像を生成する装置であり、具体的には、CT装置、MRI装置、およびPET(Positron Emission Tomography)装置等である。3次元画像撮影装置2により生成された3次元画像は画像保管サーバ3に送信され、保存される。なお、本実施形態においては、被写体である患者の診断対象部位は脳であり、3次元画像撮影装置2はCT装置であり、被写体の脳を含む3次元のCT画像を3次元画像V0として生成する。3次元画像V0は脳における複数のスライス面の画像である複数のスライス画像からなる。なお、3次元画像V0が原画像に対応する。
画像保管サーバ3は、各種データを保存して管理するコンピュータであり、大容量外部記憶装置およびデータベース管理用ソフトウェアを備えている。画像保管サーバ3は、有線あるいは無線のネットワーク4を介して他の装置と通信を行い、画像データ等を送受信する。具体的には3次元画像撮影装置2で生成された3次元画像V0の画像データを含む各種データをネットワーク経由で取得し、大容量外部記憶装置等の記録媒体に保存して管理する。なお、画像データの格納形式およびネットワーク4経由での各装置間の通信は、DICOM(Digital Imaging and Communication in Medicine)等のプロトコルに基づいている。
画像診断支援装置1は、1台のコンピュータに、本発明の画像診断支援プログラムをインストールしたものである。コンピュータは、診断を行う医師が直接操作するワークステーションまたはパーソナルコンピュータでもよく、それらとネットワークを介して接続されたサーバコンピュータでもよい。画像診断支援プログラムは、DVD(Digital Versatile Disc)あるいはCD-ROM(Compact Disc Read Only Memory)等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。または、ネットワークに接続されたサーバコンピュータの記憶装置、もしくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて医師が使用するコンピュータにダウンロードされ、インストールされる。
図2は、コンピュータに画像診断支援プログラムをインストールすることにより実現される、第1の実施形態による画像診断支援装置の概略構成を示す図である。図2に示すように、画像診断支援装置1は、標準的なワークステーションの構成として、CPU(Central Processing Unit)11、メモリ12およびストレージ13を備えている。また、画像診断支援装置1には、ディスプレイ14、並びにキーボードおよびマウス等の入力部15が接続されている。なお、ディスプレイ14が表示部に対応する。
ストレージ13は、ハードディスクドライブ等からなり、ネットワーク4を経由して画像保管サーバ3から取得した3次元画像V0および処理に必要な情報を含む各種情報が記憶されている。
また、メモリ12には、画像診断支援プログラムが記憶されている。画像診断支援プログラムは、CPU11に実行させる処理として、3次元画像V0を取得する画像取得処理、3次元画像V0から補間画像を生成する補間処理、3次元画像V0における注目領域に含まれる画素位置に対応する、補間画像の複数の画素位置である対応画素位置の画素値に基づいて、3次元画像V0の注目領域における画素位置の特徴を表す指標値を算出する指標値算出処理、指標値を原画像の注目領域における画素位置に反映させる反映処理、および指標値を3次元画像V0の注目領域における画素位置に反映させた反映画像をディスプレイ14に表示する表示制御処理を規定する。
そして、CPU11がプログラムに従いこれらの処理を実行することで、コンピュータは、画像取得部21、補間部22、指標値算出部23、反映部24および表示制御部25として機能する。なお、本実施形態においては、CPU11が画像診断支援プログラムによって、各部の機能を実行するようにしたが、ソフトウェアを実行して各種の処理部として機能する汎用的なプロセッサとしては、CPU11の他、FPGA (Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)を用いることができる。また、ASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等により、各部の処理を実行するようにしてもよい。
1つの処理部は、これら各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGA、またはCPUとFPGAの組み合わせ等)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントおよびサーバ等のコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)等に代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路(circuitry)である。
画像取得部21は、被写体の3次元画像V0を画像保管サーバ3から取得する。なお、3次元画像V0が既にストレージ13に記憶されている場合には、画像取得部21は、ストレージ13から3次元画像V0を取得するようにしてもよい。
補間部22は、3次元画像V0から補間画像を生成する。第1の実施形態においては、3次元画像V0は複数のスライス画像(以下、原スライス画像とする)Siからなる。補間部22は、複数の原スライス画像Siのスライス間を補間する複数の補間スライス画像Shjを生成する。補間部22による補間スライス画像Shjの生成処理には、例えば、AI(Artificial Intelligence)技術を適用することができる。本実施形態においては、補間部22は、ディープラーニングのアルゴリズムの1つであるコンボリューショナルニューラルネットワーク(以下CNN(Convolutional Neural Network)とする)により、補間スライス画像Shjを生成する。CNNは、原スライス画像および原スライス画像を用いて生成された補間スライス画像を含む教師データを用いて、原スライス画像Siが入力されると補間スライス画像Shjを出力するように学習がなされる。
図3は補間スライス画像の生成を模式的に示す図である。なお、図3においては、3次元画像V0は3枚の原スライス画像S1~S3からなり、原スライス画像間に2枚の補間スライス画像を生成する状態を示している。なお、原スライス画像S1には出血領域B1が、原スライス画像S2には出血領域B2が、原スライス画像S3には出血領域B3がそれぞれ含まれる。なお、3次元画像V0はCT画像であるため、出血領域B1~B3は他の領域と比較して高い画素値を有するものとなる。図3に示すように、補間部22に原スライス画像S1~S3を入力すると、原スライス画像S1と原スライス画像S2との間を補間する2枚の補間スライス画像Sh1-1,Sh1-2が生成される。また、原スライス画像S2と原スライス画像S3との間を補間する2枚の補間スライス画像Sh2-1,Sh2-2が生成される。補間スライス画像Sh1-1,Sh1-2には出血領域Bh1-1,Bh1-2が、補間スライス画像Sh2-1,Sh2-2には出血領域Bh2-1,Bh2-2がそれぞれ含まれる。
なお、補間部22は、上述したCNNを用いて補間スライス画像を生成するものに限定されない。例えば、線形補間またはスプライン補間等の補間演算を用いて補間スライス画像を生成するものであってもよい。
指標値算出部23は、3次元画像V0における注目領域に含まれる画素位置に対応する、補間スライス画像の複数の画素位置である対応画素位置の画素値に基づいて、3次元画像V0の注目領域における画素位置の特徴を表す指標値を算出する。具体的には、複数の補間スライス画像において、指標値の算出の対象となる対象スライス画像に対応する対応補間スライス画像を設定し、対象スライス画像の注目領域内の画素位置に対応する、対応補間スライス画像の対応画素位置の画素値に基づいて、対象スライス画像の注目領域における画素位置の特徴を表す指標値を算出する。
以下、指標値の算出について詳細に説明する。なお、ここでは、指標値算出の対象となる対象スライス画像を、図3に示す原スライス画像S2とする。また、対象スライス画像に対応する対応補間スライス画像を、図3に示す4つの補間スライス画像Sh1-1,Sh1-2,Sh2-1,Sh2-2とする。図4は指標値の算出を説明するための図である。なお、図4は対象スライス画像S2および補間スライス画像Sh1-1,Sh1-2,Sh2-1,Sh2-2を側面から見た状態を模式的に示している。図4における1つのマス目は、対象スライス画像S2および補間スライス画像Sh1-1,Sh1-2,Sh2-1,Sh2-2の画素を示している。また、出血領域B2および出血領域Bh1-1,Bh1-2,Bh2-1,Bh2-2にはそれぞれ異なるハッチングが付与されている。また、図4において、対象スライス画像S2の画素位置の上下に位置する補間スライス画像Sh1-1,Sh1-2,Sh2-1,Sh2-2の画素位置が対応画素位置となる。
第1の実施形態において、指標値算出部23は、対応補間スライス画像の対応画素位置のうちの注目領域、すなわち出血領域を表す画素値を有する画素位置の数である注目画素数をカウントし、注目画素数を対応補間スライス画像の対応画素位置の数により除した値を指標値として算出する。例えば、対象スライス画像S2の出血領域B2内の画素位置P1に関して、画素位置P1に対応する補間スライス画像Sh1-1,Sh1-2,Sh2-1,Sh2-2における対応画素位置(図4における線31により囲まれた画素位置)は、いずれも出血領域にはない。このため、注目画素数は0となり、注目画素数を対応補間スライス画像の対応画素位置の数(本実施形態においては4)により除した値である指標値は0となる。
また、対象スライス画像S2の出血領域B2内の画素位置P2に関して、画素位置P2に対応する補間スライス画像Sh1-1,Sh1-2,Sh2-1,Sh2-2における対応画素位置(図4における線32により囲まれた画素位置)のうち、補間スライス画像Sh1-2および補間スライス画像Sh2-1の対応画素位置が出血領域にある。このため、注目画素数は2となり、指標値は2/4(=1/2)となる。
また、対象スライス画像S2の出血領域B2内の画素位置P3に関して、画素位置P3に対応する補間スライス画像Sh1-1,Sh1-2,Sh2-1,Sh2-2における対応画素位置(図4における線33により囲まれた画素位置)は、すべて出血領域にある。このため、注目画素数は4となり、指標値は4/4(=1)となる。
指標値算出部23は、上記のようにして原スライス画像Siの出血領域に含まれる画素位置において指標値を算出する。
反映部24は、指標値算出部23が算出した指標値を原スライス画像Siの出血領域の画素位置に反映させる。具体的には、指標値を原スライス画像Siの出血領域における画素位置に反映させた反映画像Riを生成する。図5は反映画像の例を示す図である。なお、図5は図4に示す原スライス画像S2についての反映画像R2を模式に示すものであり、マス目が画素位置を表すものである。また、反映画像R2において、指標値が取り得る値は、0,1/4,2/4(=1/2),3/4および1である。このため、図5においては、指標値が0の画素値については模様を付与せず、指標値が1/4,2/4(=1/2),3/4および1の画素位置においては、それぞれ異なる模様を付与している。
表示制御部25は、反映画像Riをディスプレイ14に表示する。図6は反映画像の表示画面を示す図である。図6に示すように、ディスプレイ14の表示画面40には、反映画像Riおよび反映画像Riに対応する原スライス画像Siが表示される。なお、図6においては図示を容易なものとするために指標値を4段階で示している。操作者は入力部15を用いて、表示するスライス面を切り替えることができる。これにより、表示制御部25は、原スライス画像Siと反映画像Riとのスライス面を同期させて切り替える。
次いで、第1の実施形態において行われる処理について説明する。図7は第1の実施形態において行われる処理を示すフローチャートである。まず、画像取得部21が、3次元画像V0を取得し(ステップST1)、補間部22が、3次元画像V0から補間画像を生成する(ステップST2)。次いで、指標値算出部23が、3次元画像V0における注目領域に含まれる画素位置に対応する、補間スライス画像の複数の画素位置である対応画素位置の画素値に基づいて、3次元画像V0の注目領域における画素位置の特徴を表す指標値を算出する(ステップST3)。そして、反映部24が、指標値算出部23が算出した指標値を原スライス画像Siの出血領域の画素位置に反映させて、反映画像Riを生成する(ステップST4)。そして、表示制御部25が反映画像Riをディスプレイ14に表示し(ステップST5)、処理を終了する。
このように、本実施形態においては、3次元画像V0の注目領域における画素位置の特徴を表す指標値を算出し、指標値を3次元画像V0の注目領域における画素位置に反映するようにした。このため、3次元画像V0に反映された指標値を参照することにより、被写体における病変等の異常部分の広がりを効率よく確認することができる。したがって、本実施形態によれば、3次元画像V0のみならず、補間スライス画像から得られる情報をも参照することができ、その結果、3次元画像V0を用いての被写体の診断を正確かつ効率よく行うことができる。
なお、上記第1の実施形態においては、対応補間スライス画像として、対象スライス画像の上下それぞれ2つずつの補間スライス画像を用いているが、これに限定されるものではなく、対象スライス画像の上下それぞれ1つの補間スライス画像を、対応補間スライス画像としてもよい。また、対象スライス画像の上下それぞれ3以上の補間スライス画像を、対応補間スライス画像としてもよい。また、すべての補間スライス画像を対応補間スライス画像としてもよい。
次いで、本発明の第2の実施形態について説明する。上記第1の実施形態においては、本発明の原画像として3次元画像V0を用いているが、第2の実施形態においては原画像として2次元画像を用いた点が第1の実施形態と異なる。なお、第2の実施形態による画像診断支援装置の構成は、図2に示す第1の実施形態による画像診断支援装置の構成と同一であり、行われる処理のみが異なるため、ここでは装置についての詳細な説明は省略する。また、2次元画像としては、第1の実施形態における3次元画像V0を構成する1つの原スライス画像とするが、これに限定されるものではない。
第2の実施形態においては、補間部22は、2次元画像の画素間を補間する2次元補間画像を生成する。具体的には、補間部22は、2次元画像における画素位置の間にさらに画素位置を補間することにより、2次元画像よりも高解像度の2次元補間画像を生成する。図8は第2の実施形態における2次元補間画像の生成を説明するための図である。図8に示すように、第2の実施形態においては、2次元画像を構成する画素位置P10(図8において×印で示す)の間に、2次元補間画像の解像度が2次元画像の3倍となるように、補間画素位置P11を補間することにより、2次元補間画像H0を生成する。ここで、第2の実施形態においても注目領域は出血領域とし、図8において、出血領域に含まれる画素位置P10は×に四角マークを付与している。また、出血領域を表す画素値を有する補間画素位置P11を黒丸で示し、出血領域を表す画素値を有さない補間画素位置P11を白丸で示している。
なお、第2の実施形態においても、補間部22はCNNにより2次元補間画像H0を生成する。この場合、CNNは、2次元画像および2次元画像を用いて生成された2次元補間画像を含む教師データを用いて学習がなされる。また、第2の実施形態においても、補間部22は、上述したCNNを用いて2次元補間画像H0を生成するものに限定されず、線形補間またはスプライン補間等の補間演算を用いて2次元補間画像H0を生成するものであってもよい。
第2の実施形態において、指標値算出部23は、2次元補間画像H0において、2次元画像における指標値の算出の対象となる対象画素位置に対応する対応補間画素位置を設定し、対応補間画素位置の画素値に基づいて、対象画素位置の指標値を算出する。図9は第2の実施形態における指標値の算出を説明するための図である。第2の実施形態においては、指標値算出部23は、まず、指標値の算出の対象となる対象画素位置に対応する対応補間画素位置を設定する。第2の実施形態においては、対応補間画素位置は対象画素位置Pt0-1を中心とした3×3画素の領域内に含まれる8個の補間画素位置P11とするが、これに限定されるものではない。図9は、対象画素位置Pt0-1を中心とする3×3画素の領域A0を設定した状態を示している。領域A0内の8個の補間画素位置P11が対応補間画素位置となる。
指標値算出部23は、対応補間画素位置のうちの注目領域、すなわち出血領域を表す画素値を有する注目画素数をカウントし、注目画素数を対応補間画素位置の数により除した値を指標値として算出する。例えば、図9に示す対象画素位置Pt0-1に関して、対応補間画素位置のうちの出血領域を表す画素値を有する注目画素数は7個である。このため、注目画素数は7となり、注目画素数を対応補間画素位置の数(本実施形態においては8)により除した値である指標値は7/8となる。また、図9に示す対象画素位置Pt0-2に関して、対応補間画素位置のうちの出血領域を表す画素値を有する注目画素数は3個である。このため、注目画素数は3となり、注目画素数を対応補間画素位置の数(本実施形態においては8)により除した値である指標値は3/8となる。
指標値算出部23は、上記のようにして2次元画像の出血領域に含まれる画素位置において指標値を算出する。図10は図8に示す補間画像を用いた指標値の算出結果を示す図である。なお、図10は2次元画像を構成する画素位置P10における指標値のみを示している。
第2の実施形態においては、反映部24は、指標値算出部23が算出した指標値を、2次元画像の出血領域の画素位置に反映させる。すなわち、指標値を2次元画像の画素位置に反映させた反映画像を生成する。第2の実施形態においては、指標値は0,1/8,2/8,3/8,4/8,5/8,6/8,7/8,1の値をとるため、反映画像の画素値は指標値の値に応じた9通りの値を有するものとなる。
なお、上記各実施形態においては、3次元画像V0および2次元画像を対象としているが、4次元画像を対象としてもよい。4次元画像とは3次元画像に対して時間的な変化を反映させた画像、すなわち、複数の3次元画像が予め定められたフレームレートにより並べられた動画像である。このため、4次元画像を構成する3次元画像に関して、上記第1の実施形態と同様に指標値を算出して反映画像を生成し、生成した反映画像を上記予め定められたフレームレートにより並べることにより、4次元の反映画像を生成することができる。
また、上記各実施形態においては、注目領域として脳の出血領域を用いているが、梗塞領域を注目領域として用いてもよい。ここで、脳における出血領域はCT画像において確認がし易い。一方、梗塞領域はMRI画像の方がCT画像よりも確認がし易い。このため、疾病領域として梗塞領域も使用する場合には、3次元画像V0としてMRI画像を使用することが好ましい。
また、上記各実施形態においては、被写体として人体の脳を用いているが、これに限定されるものではない。例えば、人体の心臓、肺、肝臓および腎臓等の他の構造物を被写体として用いてもよい。また、被写体は人体に限定されるものではなく、人体以外の構造物または建造物を被写体としてもよい。この場合、構造物または建造物に含まれるクラック等の欠陥を注目領域として用いて、被写体の画像を用いて被写体の欠陥の診断を行うようにすればよい。
1 画像診断支援装置
2 3次元画像撮影装置
3 画像保管サーバ
4 ネットワーク
11 CPU
12 メモリ
13 ストレージ
14 ディスプレイ
15 入力部
21 画像取得部
22 補間部
23 指標値算出部
24 反映部
25 表示制御部
31~33 線
40 表示画面
A0 領域
B1~B3、Bh1-1,Bh1-2,Bh2-1,Bh2-2 出血領域
H0 2次元補間画像
P1~P3,P10 画素位置
P11 補間画素位置
Pt0-1,Pt0-2 対象画素位置
S1~S3 原スライス画像
Sh1-1,Sh1-2,Sh2-1,Sh2-2 補間スライス画像
V0 3次元画像

Claims (7)

  1. 被写体を撮影することにより取得された3次元画像に含まれる複数のスライス画像から、前記複数のスライス画像のスライス間を補間する複数の補間スライス画像を生成する補間部と、
    前記複数の補間スライス画像における対象スライス画像に対応する対応補間スライス画像であって、前記対象スライス画像と前記対象スライス画像に隣接するスライス画像との間において生成された対応補間スライス画像を設定し、前記対象スライス画像の前記3次元画像における注目領域内の画素位置に対応する、前記対応補間スライス画像の対応画素位置のうちの前記注目領域を表す画素値を有する画素位置の数である注目画素数をカウントし、前記注目画素数を前記対応補間スライス画像の前記対応画素位置の数により除することにより、前記対象スライス画像の前記注目領域における画素位置の特徴を表す指標値を算出する指標値算出部と、
    前記指標値を前記注目領域における前記画素位置に反映させる反映部とを備えた画像診断支援装置。
  2. 前記3次元画像は脳のCT画像であり、前記注目領域は出血領域である請求項に記載の画像診断支援装置。
  3. 前記補間部は、前記3次元画像が入力されると前記補間スライス画像を出力する学習がなされたコンボリューショナルニューラルネットワークにより、前記補間スライス画像を生成する請求項1または2に記載の画像診断支援装置。
  4. 前記反映部は、さらに前記指標値を前記注目領域における前記画素位置に反映させた反映画像を生成する請求項1からのいずれか1項に記載の画像診断支援装置。
  5. 前記反映画像を表示部に表示する表示制御部をさらに備えた請求項に記載の画像診断支援装置。
  6. 被写体を撮影することにより取得された3次元画像に含まれる複数のスライス画像から、前記複数のスライス画像のスライス間を補間する複数の補間スライス画像を生成し、
    前記複数の補間スライス画像における対象スライス画像に対応する対応補間スライス画像であって、前記対象スライス画像と前記対象スライス画像に隣接するスライス画像との間において生成された対応補間スライス画像を設定し、前記対象スライス画像の前記3次元画像における注目領域内の画素位置に対応する、前記対応補間スライス画像の対応画素位置のうちの前記注目領域を表す画素値を有する画素位置の数である注目画素数をカウントし、前記注目画素数を前記対応補間スライス画像の前記対応画素位置の数により除することにより、前記対象スライス画像の前記注目領域における画素位置の特徴を表す指標値を算出し、
    前記指標値を前記注目領域における前記画素位置に反映させる画像診断支援方法。
  7. 被写体を撮影することにより取得された3次元画像に含まれる複数のスライス画像から、前記複数のスライス画像のスライス間を補間する複数の補間スライス画像を生成する手順と、
    前記複数の補間スライス画像における対象スライス画像に対応する対応補間スライス画像であって、前記対象スライス画像と前記対象スライス画像に隣接するスライス画像との間において生成された対応補間スライス画像を設定し、前記対象スライス画像の前記3次元画像における注目領域内の画素位置に対応する、前記対応補間スライス画像の対応画素位置のうちの前記注目領域を表す画素値を有する画素位置の数である注目画素数をカウントし、前記注目画素数を前記対応補間スライス画像の前記対応画素位置の数により除することにより、前記対象スライス画像の前記注目領域における画素位置の特徴を表す指標値を算出する手順と、
    前記指標値を前記注目領域における前記画素位置に反映させる手順とをコンピュータに実行させる画像診断支援プログラム。
JP2018074186A 2018-04-06 2018-04-06 画像診断支援装置、方法およびプログラム Active JP7115891B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018074186A JP7115891B2 (ja) 2018-04-06 2018-04-06 画像診断支援装置、方法およびプログラム
US16/365,254 US10922786B2 (en) 2018-04-06 2019-03-26 Image diagnosis support apparatus, method, and program
DE102019108719.8A DE102019108719A1 (de) 2018-04-06 2019-04-03 Vorrichtung, verfahren und programm zur unterstützung der bilddiagnose

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018074186A JP7115891B2 (ja) 2018-04-06 2018-04-06 画像診断支援装置、方法およびプログラム

Publications (3)

Publication Number Publication Date
JP2019180699A JP2019180699A (ja) 2019-10-24
JP2019180699A5 JP2019180699A5 (ja) 2020-09-24
JP7115891B2 true JP7115891B2 (ja) 2022-08-09

Family

ID=67991639

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018074186A Active JP7115891B2 (ja) 2018-04-06 2018-04-06 画像診断支援装置、方法およびプログラム

Country Status (3)

Country Link
US (1) US10922786B2 (ja)
JP (1) JP7115891B2 (ja)
DE (1) DE102019108719A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001095765A (ja) 1999-09-30 2001-04-10 Hitachi Medical Corp 断層像加算装置
JP2006519634A (ja) 2003-03-11 2006-08-31 シーメンス メディカル ソリューションズ ユーエスエー インコーポレイテッド 自動三次元病変セグメント化および測定を行なうためのシステムおよび方法
JP2007152105A (ja) 2005-12-01 2007-06-21 Ge Medical Systems Global Technology Co Llc 脳出血部位体積計算方法および装置
JP2012016575A (ja) 2010-06-07 2012-01-26 Toshiba Corp 画像処理装置及び医用画像診断装置
JP2013232138A (ja) 2012-05-01 2013-11-14 Asahikawa Medical College 画像処理装置、画像処理方法、およびプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07234927A (ja) * 1994-02-22 1995-09-05 Toshiba Medical Eng Co Ltd 三次元画像表示装置
JPH10283496A (ja) 1997-04-08 1998-10-23 Toshiba Mach Co Ltd スライス画像のスライス間補間方法
JP3549720B2 (ja) * 1998-01-28 2004-08-04 シャープ株式会社 画像処理装置
US8135198B2 (en) * 2007-08-08 2012-03-13 Resonant Medical, Inc. Systems and methods for constructing images
JP6085435B2 (ja) 2012-09-05 2017-02-22 株式会社日立製作所 画像処理装置及び関心領域設定方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001095765A (ja) 1999-09-30 2001-04-10 Hitachi Medical Corp 断層像加算装置
JP2006519634A (ja) 2003-03-11 2006-08-31 シーメンス メディカル ソリューションズ ユーエスエー インコーポレイテッド 自動三次元病変セグメント化および測定を行なうためのシステムおよび方法
JP2007152105A (ja) 2005-12-01 2007-06-21 Ge Medical Systems Global Technology Co Llc 脳出血部位体積計算方法および装置
JP2012016575A (ja) 2010-06-07 2012-01-26 Toshiba Corp 画像処理装置及び医用画像診断装置
JP2013232138A (ja) 2012-05-01 2013-11-14 Asahikawa Medical College 画像処理装置、画像処理方法、およびプログラム

Also Published As

Publication number Publication date
DE102019108719A1 (de) 2019-10-10
JP2019180699A (ja) 2019-10-24
US20190311462A1 (en) 2019-10-10
US10922786B2 (en) 2021-02-16

Similar Documents

Publication Publication Date Title
US20200058098A1 (en) Image processing apparatus, image processing method, and image processing program
JP7129869B2 (ja) 疾患領域抽出装置、方法及びプログラム
Al-Saleh et al. Three-dimensional assessment of temporomandibular joint using MRI-CBCT image registration
JP6981940B2 (ja) 画像診断支援装置、方法及びプログラム
JP6772123B2 (ja) 画像処理装置、画像処理方法、画像処理システムおよびプログラム
JP2020032045A (ja) 梗塞領域を判別する判別器の学習装置、方法およびプログラム、梗塞領域を判別する判別器、並びに梗塞領域判別装置、方法およびプログラム
EP3932319A1 (en) Learning method, learning device, generative model and program
US11551351B2 (en) Priority judgement device, method, and program
US20230089212A1 (en) Image generation device, image generation method, image generation program, learning device, learning method, and learning program
JP7115891B2 (ja) 画像診断支援装置、方法およびプログラム
JP2023114463A (ja) 表示装置、方法およびプログラム
JP7048760B2 (ja) 領域修正装置、方法およびプログラム
JP2019213785A (ja) 医用画像処理装置、方法およびプログラム
JP7083427B2 (ja) 修正指示領域表示装置、方法およびプログラム
US11176413B2 (en) Apparatus, method, and program for training discriminator discriminating disease region, discriminator discriminating disease region, disease region discrimination apparatus, and disease region discrimination program
US11328414B2 (en) Priority judgement device, method, and program
US10929990B2 (en) Registration apparatus, method, and program
JP6645904B2 (ja) 医用画像表示装置及び表示プログラム
US20200357127A1 (en) Registration apparatus, registration method, and program
US20220122350A1 (en) Learning image generation device, learning image generation method, learning image generation program, learning method, learning device, and learning program
JPWO2019150717A1 (ja) 葉間膜表示装置、方法およびプログラム
US20240037738A1 (en) Image processing apparatus, image processing method, and image processing program
JP7204781B2 (ja) 画像処理装置、方法及びプログラム
JP6765396B2 (ja) 医用画像処理装置、方法およびプログラム
WO2022264757A1 (ja) 医用画像診断システム、医用画像診断方法及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200812

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200812

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210625

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210713

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210831

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220628

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220728

R150 Certificate of patent or registration of utility model

Ref document number: 7115891

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150