JP6981940B2 - 画像診断支援装置、方法及びプログラム - Google Patents

画像診断支援装置、方法及びプログラム Download PDF

Info

Publication number
JP6981940B2
JP6981940B2 JP2018159918A JP2018159918A JP6981940B2 JP 6981940 B2 JP6981940 B2 JP 6981940B2 JP 2018159918 A JP2018159918 A JP 2018159918A JP 2018159918 A JP2018159918 A JP 2018159918A JP 6981940 B2 JP6981940 B2 JP 6981940B2
Authority
JP
Japan
Prior art keywords
image
image data
series
data groups
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018159918A
Other languages
English (en)
Other versions
JP2020031803A (ja
Inventor
貞登 赤堀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2018159918A priority Critical patent/JP6981940B2/ja
Priority to US16/546,769 priority patent/US10910101B2/en
Publication of JP2020031803A publication Critical patent/JP2020031803A/ja
Application granted granted Critical
Publication of JP6981940B2 publication Critical patent/JP6981940B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Description

本開示は、画像診断支援装置、方法及びプログラムに関する。
近年、医用画像の分野においては、Ｘ線撮影装置の他、ＣＴ（Computed Tomography）装置、超音波（ＵＳ）診断装置、ＭＲＩ（Magnetic Resonance Imaging）装置、ＰＥＴ（Positron Emission Tomography）装置、及びＳＰＥＣＴ（Single-Photon Emission Computed Tomography）装置等の様々な技術を用いた画像撮影装置（以下、モダリティという）が利用されている。このようなモダリティの高速化およびマルチスライス対応といった高性能化に伴い、１つのシリーズ（モダリティにより取得された撮影単位毎の複数枚の画像データである）において被検体の複数の部位の撮影を行い、数百から数千の高精細な断層画像を取得することが可能になってきている。
一方、従来から、複数の医用画像を液晶ディスプレイ等の表示装置に表示させて、画像を比較しながら読影をする比較読影が行われている。例えば、被検体の現在検査の医用画像及び過去検査の医用画像を表示させて比較読影することにより、病変の進行度合いの確認、あるいは異常を早期に発見することができる。しかしながら、実際に読影する際に、どの画面にどのシリーズのどの断層画像を表示させるのかは、ユーザによる画面操作に基づいており、現在検査と過去検査とを比較する際に、ユーザはシリーズや断層画像を読影し易いように選択する操作に手間を要していた。
そこで、このような比較読影を行い易くするために、医用画像を表示装置に表示させる様々な技術が提案されている。表示の具体的な方法として、例えば、特許文献１には、検査時の画像取得条件、及び検査に関連する他のシリーズ画像データを特定する特定情報を含むオブジェクトデータを参照し、今回のシリーズ画像データと関連する過去のシリーズ画像データの組み合わせ情報を表すサムネイル画像を生成して表示する技術が開示されている。また、特許文献２には、第２撮影時期のスライス画像における領域変化率と、第１撮影時期のスライス画像群に含まれるスライス画像毎における領域変化率との差が所定範囲内にある領域変化率をもつスライス画像を、第１撮影時期のスライス画像群から選択し、選択されたスライス画像及び上記第２撮影時期のスライス画像を表示させる技術が開示されている。
特開２００８−２００１３９号公報 特開２０１１−０３６６８４号公報
しかしながら、例えば比較的に古い過去検査において取得されたシリーズには、上記オブジェクトデータが存在しない場合及び規格化されていない場合がある。上記オブジェクトデータが存在しない及び規格化されていないシリーズにおいては、オブジェクトデータを適切に参照できないため、比較読影の対象となるシリーズを適切に対応付けることはできない。そのため、特許文献１に記載の技術を適用することは困難である。また、特許文献２は、スライス画像間のスライス位置のマッチングを行うことはできるが、複数のスライス画像で構成された画像データ群すなわちシリーズ間でのマッチング方法についての記載はない。
本開示は上記事情に鑑みなされたものであり、比較読影の対象となるシリーズの組を適切に対応付け、かつ対応付けられたシリーズの組間において対応する各画像を抽出して対比可能なレイアウトで表示できるようにすることを目的とする。
本開示による画像診断支援装置は、複数の画像を含む画像データ群が単位検査毎に複数群記憶されたデータ保管部から、比較読影の対象となる第１の複数の画像データ群及び第２の複数の画像データ群を取得する取得部と、
取得部によって取得された第１の複数の画像データ群と第２の複数の画像データ群との間で、各画像データ群間の類似度に基づいて、第１の複数の画像データ群の各画像データ群と第２の複数の画像データ群の各画像データ群とを対応付ける対応付け部と、
対応付け部によって第１の複数の画像データ群のうちの何れかの画像データ群である第１の画像データ群と対応付けられた第２の複数の画像データ群のうちの何れかの画像データ群である第２の画像データ群から、第１の画像データ群の少なくとも１枚の対象画像と対応する対応画像を抽出する画像抽出部と、
対象画像と対応画像との画像の組を対比可能なレイアウトで表示部に表示させる表示制御部と、
を含む。
なお、本開示による画像診断支援装置においては、画像抽出部は、第１の複数の画像データ群に含まれる全ての対象画像について、対応画像を抽出してもよい。
また、本開示による画像診断支援装置においては、表示制御部は、全ての対象画像及び対応画像との画像の組を表示させてもよい。
この場合、表示制御部は、画像の組を表示部の画面上に並列に表示させてもよいし、全ての画像の組を表示部の画面上に一組ずつ切り替えて表示させてもよい。
また、本開示による画像診断支援装置においては、画像データ群が、複数のスライス画像で構成されたボリュームデータであり、
対応付け部は、ボリュームデータのピクセルデータ間における類似度に基づいて対応付けを行ってもよい。
なお、本開示において、「ピクセルデータ」は、画像を構成する画素（ピクセル）の集まりをいう。
また、本開示による画像診断支援装置においては、対応付け部は、画像データ群に含まれる特定の解剖構造を含む領域における特徴量に基づいて対応付けを行ってもよい。
なお、本開示において、「特定の解剖構造」は、例えば脊髄及び心臓等の被検体を構成する特定の構造である。
また、本開示による画像診断支援装置においては、対応付け部は、第１の複数の画像データ群の各画像データ群のうちの何れかの画像データ群及び第２の複数の画像データ群のうちの何れかの画像データ群の入力により、入力された画像データ群の組合せが対応するか否かを出力するように機械学習がなされた学習済みモデルを有していてもよい。
また、本開示による画像診断支援装置においては、画像抽出部は、対象画像と第２の画像データ群の各画像との類似度に基づいて対応画像を抽出してもよい。
また、本開示による画像診断支援装置においては、第１の複数の画像データ群と第２の複数の画像データ群とが、同一の被検体に対して異なる撮影時期でそれぞれ撮影して取得された画像データ群であってもよい。
本開示による画像診断支援方法は、複数の画像を含む画像データ群が単位検査毎に複数群記憶されたデータ保管部から、比較読影の対象となる第１の複数の画像データ群及び第２の複数の画像データ群を取得し、
第１の複数の画像データ群と第２の複数の画像データ群との間で、各画像データ群間の類似度に基づいて、第１の複数の画像データ群の各画像データ群と第２の複数の画像データ群の各画像データ群とを対応付け、
第１の複数の画像データ群のうちの何れかの画像データ群である第１の画像データ群と対応付けられた第２の複数の画像データ群のうちの何れかの画像データ群である第２の画像データ群から、第１の画像データ群の少なくとも１枚の対象画像と対応する対応画像を抽出し、
対象画像と対応画像との画像の組を対比可能なレイアウトで表示部に表示させる。
なお、本開示による画像診断支援方法をコンピュータに実行させるためのプログラムとして提供してもよい。
本開示による他の画像診断支援装置は、コンピュータに実行させるための命令を記憶するメモリと、
記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、
複数の画像を含む画像データ群が単位検査毎に複数群記憶されたデータ保管部から、比較読影の対象となる第１の複数の画像データ群及び第２の複数の画像データ群を取得し、
第１の複数の画像データ群と第２の複数の画像データ群との間で、各画像データ群間の類似度に基づいて、第１の複数の画像データ群の各画像データ群と第２の複数の画像データ群の各画像データ群とを対応付け、
第１の複数の画像データ群のうちの何れかの画像データ群である第１の画像データ群と対応付けられた第２の複数の画像データ群のうちの何れかの画像データ群である第２の画像データ群から、第１の画像データ群の少なくとも１枚の対象画像と対応する対応画像を抽出し、
対象画像と対応画像との画像の組を対比可能なレイアウトで表示部に表示させる処理を実行する。
本開示の画像診断支援装置、方法及びプログラムによれば、比較読影の対象となるシリーズの組を適切に対応付け、かつ対応付けられたシリーズの組間において対応する各画像を抽出して対比可能なレイアウトで表示することができる。
本開示の一実施形態である画像診断支援装置を適用した、診断支援システムの概要を示すハードウェア構成図 検査とシリーズの一例を示す図 本開示の一実施形態である画像診断支援装置の構成を示す概略ブロック図 シリーズ間の対応付けを説明するための図 シリーズ間の対応付けの一実施形態を説明するための図（その１） シリーズ間の対応付けの一実施形態を説明するための図（その２） シリーズ間の対応付けの一実施形態を説明するための図（その３） 現在シリーズと過去シリーズとの間において、対応付けられた画像同士を結ぶ図 表示部のレイアウトの一例を説明するための図 表示部の画面の一例を説明するための図 本開示の一実施形態において行われる処理を示すフローチャート 本開示の一実施形態において行われるシリーズの対応付け処理を示すフローチャート ヒストグラムインターセクションから類似度を求める方法を説明するための図 特定の解剖構造を含む領域を検出してシリーズ間の対応付けを行う方法を説明するための図（その１） 特定の解剖構造を含む領域を検出してシリーズ間の対応付けを行う方法を説明するための図（その２） 学習済みモデルを説明するための図 シリーズ間の対応付けの正解データを説明するための図 表示部のレイアウトの一例を説明するための図 表示部の画面の一例を説明するための図
以下、図面を参照して本発明の実施形態について説明する。図１は本発明の実施形態による画像診断支援装置を適用した、診断支援システムの概要を示すハードウェア構成図である。図１に示すように、診断支援システムでは、本実施形態による画像診断支援装置１、３次元画像撮影装置２、及び画像保管サーバ３が、ネットワーク４を経由して通信可能な状態で接続されている。なお、画像保管サーバ３は、本発明のデータ保管部に対応する。
３次元画像撮影装置２は、被検体の診断対象となる部位を撮影することにより、その部位を表す３次元画像を生成する装置であり、具体的には、ＣＴ装置、ＭＲＩ装置、及びＰＥＴ（Positron Emission Tomography）装置等である。この３次元画像撮影装置２により生成された、複数のスライス画像からなる３次元画像は単位検査毎に画像保管サーバ３に送信され、保存される。
画像保管サーバ３は、各種データを保存して管理するコンピュータであり、大容量外部記憶装置及びデータベース管理用ソフトウェアを備えている。画像保管サーバ３は、有線あるいは無線のネットワーク４を介して他の装置と通信を行い、画像データ等を送受信する。具体的には３次元画像撮影装置２で生成された３次元画像の画像データを含む各種データをネットワーク経由で取得し、大容量外部記憶装置等の記録媒体に保存して管理する。なお、画像データの格納形式及びネットワーク４経由での各装置間の通信は、ＤＩＣＯＭ（Digital Imaging and Communication in Medicine）等のプロトコルに基づいている。
本実施形態においては、画像保管サーバ３には、同一被検体に対して異なる時期に行われた検査毎に取得された被検体の３次元画像と付帯画像とが保管されている。図２は検査とシリーズの一例を示す図である。図２に示すように、腹部ＣＴ及び頭部ＭＲＩ等の単位検査毎に取得されたシリーズ１、シリーズ２、シリーズ３、、、等の複数のシリーズが保管サーバ３に保管されている。本開示において「複数のシリーズ」は「複数の画像データ群」に対応し、「シリーズ」は「画像データ群」に対応する。シリーズは、１回の撮影で取得されるボリュームデータであり、ボリュームデータは例えばＣＴ装置、ＭＲＩ装置等の断層撮影装置が出力する複数枚のスライス画像データを再構成して得た３次元画像である。
１検査として、例えば頭部ＣＴ検査が行われた場合には、図２に一例として示すように、被検体に造影剤を投与せずに取得した非造影ＣＴのボリュームデータをシリーズ１、被検体に造影剤を投与して予め定められた規定時間内に取得した動脈相のボリュームデータをシリーズ２、被検体に造影剤を投与して上記規定時間よりも長い時間経過した後で取得した動脈相のボリュームデータをシリーズ３等とする。
また、１検査として、例えば頭部ＭＲＩ検査が行われた場合には、図２に一例として示すように、異なる撮影プロトコルで取得したボリュームデータ、例えば拡散強調画像で構成されたボリュームデータをシリーズ１、ＡＤＣ（Apparent Diffusion Coefficient）マップで構成されたボリュームデータをシリーズ２、ＦＬＡＩＲ（FLuid Attenuation Inversion Recovery）法を用いて取得されたＦＬＡＩＲ画像で構成されたボリュームデータをシリーズ３等とする。なお、ＡＤＣマップは、ＡＤＣを画素ごとに算出して、拡散強調画像の画素位置に対応して配列した画像である。
また、付帯情報には、例えば、個々の画像を識別するための画像ＩＤ（identification）、被検体を識別するための患者ＩＤ、検査を識別するための検査ＩＤ、医用画像ごとに割り振られるユニークなＩＤ（ＵＩＤ：unique identification）、その医用画像が生成された検査日、検査時刻、その医用画像を取得するための検査で使用されたモダリティの種類、患者氏名と年齢と性別などの患者情報、検査部位（撮影部位）、撮影条件（造影剤の使用有無または放射線量など）、および、１回の検査で複数の断層画像を取得したときのシリーズ番号などの情報が含まれる。
画像診断支援装置１は、１台のコンピュータに、本開示の画像診断支援プログラムをインストールしたものである。コンピュータは、診断を行う医師が直接操作するワークステーション又はパーソナルコンピュータでもよいし、それらとネットワークを介して接続されたサーバコンピュータでもよい。画像診断支援プログラムは、ＤＶＤ（Digital Versatile Disc）あるいはＣＤ−ＲＯＭ（Compact Disc Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。又は、ネットワークに接続されたサーバコンピュータの記憶装置、もしくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて医師が使用するコンピュータにダウンロードされ、インストールされる。
図３は、コンピュータに画像診断支援プログラムをインストールすることにより実現される本開示の一実施形態である画像診断支援装置の概略構成を示す図である。図３に示すように、画像診断支援装置１は、標準的なワークステーションの構成として、ＣＰＵ（Central Processing Unit）１１、メモリ１２及びストレージ１３を備えている。また、画像診断支援装置１には、液晶ディスプレイ等からなる表示部１４、並びにキーボード及びマウス等からなる入力部１５が接続されている。表示部１４は、後述する比較読影の対象となる画像の組が対比可能なレイアウトで表示される。入力部１５は、ユーザによる種々の設定入力を受け付けるものであり、例えば患者の識別情報の設定入力及び後述する対象画像の選択等を受け付ける。なお、タッチパネルを用いることによって表示部１４と入力部１５とを兼用するようにしてもよい。
ストレージ１３は、ハードディスクドライブ及びＳＳＤ(Solid State Drive)等からなる。ストレージ１３には、ネットワーク４を経由して画像保管サーバ３から取得した、被検体の検査画像及び処理に必要な情報を含む各種情報が記憶されている。
また、メモリ１２には、画像診断支援プログラムが記憶されている。画像診断支援プログラムは、ＣＰＵ１１に実行させる処理として、複数の画像を含む画像データ群が単位検査毎に複数群記憶されたデータ保管部（画像保管サーバ３）から、比較読影の対象となる第１の複数の画像データ群及び第２の複数の画像データ群を取得する取得処理、第１の複数の画像データ群と第２の複数の画像データ群との間で、各画像データ群間の類似度に基づいて、第１の複数の画像データ群の各画像データ群と第２の複数の画像データ群の各画像データ群とを対応付ける対応付け処理、第１の複数の画像データ群のうちの何れかの画像データ群である第１の画像データ群と対応付けられた第２の複数の画像データ群のうちの何れかの画像データ群である第２の画像データ群から、第１の画像データ群の少なくとも１枚の対象画像と対応する対応画像を抽出する画像抽出処理、対象画像と対応画像との画像の組を対比可能なレイアウトで表示部に表示させる表示制御処理を規定する。
そして、ＣＰＵ１１がプログラムに従いこれらの処理を実行することで、コンピュータは、取得部２１、対応付け部２２、画像抽出部２３、及び表示制御部２４として機能する。
取得部２１は、入力部１５を用いてユーザによって入力された患者の識別情報に基づいて、その識別情報を有する同一の被検体に対して異なる撮影時期でそれぞれ撮影して取得された複数のシリーズを画像保管サーバ３から読み出して取得する。なお、複数のシリーズが既にストレージ１３に保存されている場合には、取得部２１は、ストレージ１３から複数のシリーズを取得するようにしてもよい。
取得部２１は、今回の検査（以下、現在検査という）により取得された複数のシリーズを現在シリーズＳｃ、現在検査よりも以前の検査（以下、過去検査という）により取得された複数のシリーズを過去シリーズＳｐとして取得する。ここで現在シリーズＳｃは、本開示の第１の複数の画像データ群に、過去シリーズＳｐは本開示の第２の複数の画像データ群にそれぞれ対応する。なお、現在シリーズＳｃ及び過去シリーズＳｐの各シリーズは、ＣＴ装置またはＭＲＩ装置で撮影された複数枚のスライス画像で構成される。また、現在シリーズＳｃ及び過去シリーズＳｐは同一の撮影原理の３次元画像撮影装置２により取得された画像とする。また、シリーズとしては、アキシャル断層画像、サジタル断層画像及びコロナル断層画像等の断層画像からなるボリュームデータを取得する。
対応付け部２２は、現在シリーズＳｃと過去シリーズＳｐとの間で、各シリーズ間の類似度に基づいて、現在シリーズＳｃの各シリーズと過去シリーズＳｐの各シリーズとを対応付ける。図４はシリーズ間の対応付けを説明するための図である。
対応付け部２２は、図４に示すように、現在検査で取得された現在シリーズＳｃのシリーズ１、シリーズ２、及びシリーズ３を含む複数のシリーズの各々と、過去検査で取得された過去シリーズＳｐのシリーズ１、シリーズ２、及びシリーズ３を含む複数のシリーズの各々とを対応付ける。各シリーズを対応付ける際には、現在シリーズＳｃの１つのシリーズに対して過去シリーズＳｐの２つ以上のシリーズが対応付けられないようにする。すなわち、現在シリーズＳｃの１つのシリーズに対して対応付けられるのは過去シリーズＳｐの１つのシリーズとする。
図５、図６、図７はそれぞれシリーズ間の対応付けの一実施形態を説明するための図である。なお、図５、図６、図７においては、便宜上、各シリーズを２次元画像として表しているが、実際には各シリーズは３次元画像すなわちボリュームデータである。対応付け部２２は、現在検査Ｃにおいて取得された現在シリーズＳｃのシリーズ毎に、過去検査Ｐにおいて取得された過去シリーズＳｐのシリーズの各々との類似度を算出して、シリーズ間の類似度が最も高いシリーズ同士を対応付ける。すなわち一例として図５に示すように、現在シリーズＳｃが複数のシリーズＳｃ１，Ｓｃ２，Ｓｃ３、、、過去シリーズＳｐが複数のシリーズＳｐ１，Ｓｐ２，Ｓｐ３、、、をそれぞれ有する場合には、対応付け部２２は、シリーズＳｃ１に対して、シリーズＳｃ１とシリーズＳｐ１、シリーズＳｃ１とシリーズＳｐ２、シリーズＳｃ１とシリーズＳｐ３、、、の各シリーズ間の類似度を算出する。
そして、対応付け部２２は、シリーズＳｃ１と最も類似度が高いシリーズを、シリーズＳｃ１と対応付けるシリーズとして決定する。すなわち一例として図６に示すように、シリーズＳｃ１とシリーズＳｐ１との組み合わせが最も類似度が高い場合には、対応付け部２２は、シリーズＳｃ１とシリーズＳｐ１とを対応付ける。
対応付け部２２は、他のシリーズＳｃ２，Ｓｃ３、、、についても同様にして、対応付け処理を行い、一例として図７に示すように、現在シリーズＳｃのシリーズＳｃ１，Ｓｃ２，Ｓｃ３、、、と過去シリーズＳｐのシリーズＳｐ１，Ｓｐ２，Ｓｐ３、、、とを対応付ける。なお、対応付け部２２における類似度の算出方法については後で詳細に説明する。
画像抽出部２３は、現在シリーズＳｃの対象画像と対応する対応画像を、現在シリーズＳｃの上記対象画像が含まれるシリーズと対応付けられた過去シリーズＳｐのシリーズから抽出する。すなわち対応付けられたシリーズ間において一方のシリーズの対象画像と対応する対応画像を他方のシリーズから抽出する。図８は現在シリーズＳｃ１と過去シリーズＳｐ２との間において、対応付けられた画像同士を結ぶ図である。本開示においては、画像抽出部２３は、図８に示すように、現在シリーズＳｃ１を構成する各スライス画像ａ１，ａ２，ａ３、、、の各々に対応する対応画像を過去シリーズＳｐ２を構成する各スライス画像ｂ１，ｂ２，ｂ３、、、から抽出する。
画像抽出部２３は、対応付け部２２によって対応付けられた全てのシリーズ間において、現在シリーズＳｃに含まれるスライス画像（以下、対象画像という）全てに対して、各々対応する過去シリーズＳｐに含まれるスライス画像を対応画像として抽出する。なお、現在シリーズＳｃのシリーズに含まれる対象画像の数が過去シリーズＳｐのシリーズに含まれるスライス画像の数より多い場合には、１枚のスライス画像が重複して抽出される。すなわち、画像抽出部２３は、現在シリーズＳｃのシリーズに含まれる対応画像に対して、必ず１枚の対応画像を抽出する。
画像抽出部２３は、具体的には、対応付け部２２によって対応付けられた全てのシリーズ間において、各スライス画像の画素値（例えばＣＴ値）を用いて、現在シリーズＳｃに含まれる対象画像全てに対して、各々対応する過去シリーズＳｐに含まれるスライス画像の全ての組み合わせについて相関値を算出する。そして、画像抽出部２３は、相関値が最も大きい値を有するスライス画像の組み合わせが、対応付けられるべき組み合わせであると判定して、対象画像に対して組み合わせられた過去シリーズＳｐのスライス画像を対応画像として抽出する。相関値の算出方法としては、例えば正規化相互相関（ZNCC：Zero-mean Normalized Cross-Correlation）を用いて算出するようにすればよい。ただし、これに限らず、その他の算出方法を用いるようにしてもよい。例えば、特願２０１７−０８３４０３号に記載されたスライス画像同士の対応付け方法を使用し、対象画像に対して対応付けられた過去シリーズＳｐのスライス画像を対応画像として抽出するようにしてもよい。また、３次元的な位置関係を公知の非剛体レジストレーションの技術を用いて求めて、３次元的な位置関係が最も一致するスライス画像同士を対応付けてもよい。
表示制御部２４は、現在シリーズＳｃに含まれる各対象画像と、この対象画像と対応する過去シリーズＳｐに含まれる対応画像との画像の組を対比可能なレイアウトで表示部に表示させる。図９は表示部１４のレイアウトの一例を説明するための図である。なお、便宜上、図９においては紙面上側を上方として、以下説明する。
表示制御部２４は、現在シリーズＳｃに含まれる各対象画像と、この対象画像と対応する過去シリーズＳｐに含まれる対応画像との画像の組を表示部１４の画面上に並列に表示させる。具体的には、対応付け部２２によって現在検査ＣのシリーズＳｃ１と過去検査ＰのシリーズＳｐ２、現在検査ＣのシリーズＳｃ２と過去検査ＰのシリーズＳｐ３がそれぞれ対応付けられ、画像抽出部２３によってシリーズＳｃ１の対象画像ａ３に対してシリーズＳｐ２の対応画像ｂ２が、シリーズＳｃ２の対象画像ａ３に対してシリーズＳｐ３の対応画像ｂ２がそれぞれ抽出された場合には、表示制御部２４は、対象画像ａ３と対応画像ｂ２との画像の組を対比可能なレイアウトとして、一例として図９に示すように、現在検査Ｃで取得された画像が上側、過去検査Ｐで取得された画像が下側に位置するように各画像の組を上下に並列に表示させる。
図１０は表示部１４の画面の一例を説明するための図である。なお、便宜上、図１０においては紙面左側を上方として、以下説明する。表示制御部２４は、一例として図１０に示すように、現在検査Ｃで取得した各対象画像と、この各対象画像に対応する過去検査Ｐで取得された対応画像とを表示部１４の画面１４Ａ上に上下に並列に表示させる。なお、画面１４Ａ上に表示可能な画像の枚数は、ユーザによって適宜変更することができる。また、画面１４Ａの上方に表示される対象画像はユーザが入力部１５を操作することにより適宜選択して配置することができる。表示制御部２４は、ユーザが配置した対象画像に対応する対応画像を、対象画像の下方に並列に表示する。
なお、表示制御部２４は、全ての対応画像と対象画像との画像の組を表示部１４に表示させてもよい。対象画像の枚数が多い場合には、例えばユーザが入力部１５を操作することによって、対象画像と対応画像との画像の組を同時に左右方向にスクロールさせることにより、上記画像の組を表示させてもよい。
また、本開示の技術において表示制御部２４は、対応画像と対象画像を上下に並列に表示させるものに限られず、例えば対応画像と対象画像とを左右に並列に表示させてもよい。
次いで、本実施形態において行われる処理について説明する。図１１は本開示の一実施形態において行われる処理を示すフローチャートである。
先ず、取得部２１は、ユーザによる患者の識別情報などの入力に基づいて、その患者を異なる撮影時期でそれぞれ撮影して取得した第１の複数のシリーズ及び第２の複数のシリーズを取得する（ステップＳＴ１）。本開示においては、現在シリーズＳｃ及び過去シリーズＳｐをそれぞれ第１の複数のシリーズ及び第２の複数のシリーズとして取得する。
次に、対応付け部２２は、取得部２１によって取得された現在シリーズＳｃと過去シリーズＳｐとの間で、各シリーズ間の類似度に基づいて対応付けるシリーズの対応付け処理を行う（ステップＳＴ２）。
ここで、対応付け部２２によるシリーズの対応付け処理について説明する。対応付け部２２は、上述したシリーズ間の対応付けにおいて使用されるピクセルデータ間の類似度を計算する。具体的には、類似度は相互相関やヒストグラムインターセクションなどの公知の技術を用いて取得することができる。しかしながら、ピクセルデータだけでは正確な類似度が算出し難い場合もある。例えば、アキシャル断面とサジタル断面のように異なる画像面の方向のシリーズ間でも、ピクセルデータ間の類似度が高くなる場合がある。そこで本開示においては、シリーズの種類や撮影情報に関わるＤＩＣＯＭタグ情報をさらに考慮した上で類似度を計算する。具体的には、ＤＩＣＯＭタグなどの付帯情報を参照して画像面の方向を判定し、画像面の方向が一致する場合は、類似度は高くなり、画像面の方向が一致しない場合は、類似度は低くなるように類似度を算出する。
本開示においては、一例として、ＤＩＣＯＭタグ情報に含まれる「Image Orientation」を参照し、画像面の方向を判断した上で、ピクセルデータ間の類似度を算出する方法を使用する。ここで、「Image Orientation」は、画像の「first row」と「first column」の方向を、被検体を基準に定義したものである。なお、画像面の方向は、「Image Orientation」に基づいて判断する。「Image Orientation」は、例えば、http://dicom.nema.org/medical/dicom/current/output/chtml/part03/sect_C.7.6.2.html#sect_C.7.6.2.1.1（検索日：2018年8月23日）の記載に基づいて定義することができる。例えば、画像が被検体の体軸に垂直なアキシャル断面の場合、「Image Orientation」の「first row」は（１，０，０）、「first column」は（０，１，０）にほぼ一致するので、「Image Orientation」を参照して得られる２つのベクトルと、（１，０，０）及び（０，１，０）との一致度を、内積演算を使って求めることにより、画像における画像面の方向を判断することができる。
図１２は本開示の一実施形態において行われるシリーズの対応付け処理を示すフローチャート、図１３はヒストグラムインターセクションから類似度を求める方法を説明するための図である。
対応付け部２２は、一例として図１２に示すように、先ず、現在シリーズＳｃのシリーズＳｃ１において、過去シリーズＳｐのシリーズＳｐ１と画像面の方向が同じか否かを判別する（ステップＳＴ２１）。シリーズＳｃ１及びシリーズＳｐ１の画像面の方向は、それぞれ上述したようにＤＩＣＯＭタグの「Image Orientation」の記述に基づいて判断することができる。シリーズＳｃ１及びシリーズＳｐ１の画像面の方向が一致している場合には（ステップＳＴ２１；Ｙｅｓ）、ピクセルデータ間の類似度を算出する（ステップＳＴ２２）。
図１３はヒストグラムインターセクションから類似度を求める方法を説明するための図である。ヒストグラムインターセクションは、図１３に示すように、シリーズＳｃ１のヒストグラムｈ１とシリーズＳｐ１のヒストグラムｈ２のそれぞれのヒストグラムの共通部分の割合を指す。この共通部分の割合から類似度が導出される。具体的には、共通部分の割合が１００％の場合には類似度は１となり、共通部分の割合が０％の場合には類似度は０となる。このように対応付け部２２は、シリーズＳｃ１及びシリーズＳｐ１すなわちボリュームデータ全体のピクセルデータを用いることにより、ボリュームデータ全体の類似度を算出することができる。ここで算出された類似度は０以上１．０以下の値となる。
なお、シリーズＳｃ１及びシリーズＳｐ１のおおまかな構図を反映させるために、例えば、シリーズＳｃ１及びシリーズＳｐ１の縦方向、横方向及び高さ方向をそれぞれ３つに等分し、３×３×３区画すなわち２７区画に区分したそれぞれの区画でヒストグラムインターセクションを求め、その平均値をシリーズＳｃ１及びシリーズＳｐ１各々の類似度とするようにしてもよい。なお、区分の数は２７区画に限られるものではなく、必要とする対応付けの精度に基づいて適宜変更することができる。
一方、ステップＳＴ２１にて、シリーズＳｃ１及びシリーズＳｐ１の画像面の方向が同じでない場合には（ステップＳＴ２１；Ｎｏ）、対応付け部２２は、ピクセルデータ間の類似度を−１とする（ステップＳＴ２３）。
次に、対応付け部２２は、現在シリーズＳｃ及び過去シリーズＳｐの各々のシリーズの全ての組合せの類似度を算出したか否かを判別する（ステップＳＴ２４）。対応付け部２２が全ての組合せの類似度を算出したと判別した場合には（ステップＳＴ２４；ＹＥＳ）、対応付け部２２は、現在シリーズＳｃ及び過去シリーズＳｐ間において、最も類似度が高いシリーズ同士を対応付ける（ステップＳＴ２５）。
一方、ステップＳＴ２４にて、対応付け部２２が全ての組合せの類似度を算出していないと判別した場合には（ステップＳＴ２４；ＮＯ）、対応付け部２２はステップＳＴ２１に処理を移行して、現在シリーズＳｃ及び過去シリーズＳｐ各々のシリーズの全ての組合せの類似度を算出するまでステップＳＴ２１移行の処理を繰り返し行う。
以上のようにして対応付け部２２によるシリーズの対応付け処理が終了すると、図１１に戻り、画像抽出部２３が上述のようにして、現在シリーズＳｃの各シリーズに含まれる対応画像に対して、ステップＳＴ２において対応付けられた過去シリーズＳｐのシリーズに含まれるスライス画像から、１枚の対応画像を抽出する対応画像の抽出処理を行う。
次に、表示制御部２４が上述のようにして、一例として図１０に示すように、現在検査Ｃで取得した各対象画像と、この各対象画像に対応する過去検査Ｐで取得された対応画像とを表示部１４の画面１４Ａ上に上下に並列に表示させて（ステップＳＴ４）、一連の処理が終了する。
このように、本開示の上記実施形態によれば、画像保管サーバ３から、比較読影の対象となる現在シリーズＳｃ及び過去シリーズＳｐを取得し、現在シリーズＳｃと過去シリーズＳｐとの間で、各シリーズ間の類似度に基づいて、現在シリーズＳｃの各シリーズと過去シリーズＳｐの各シリーズとを対応付け、現在シリーズＳｃのうちの何れかのシリーズであるシリーズＳｃ１と対応付けられた過去シリーズＳｐのうちの何れかのシリーズであるシリーズＳｐ２から、シリーズＳｃ１の少なくとも１枚の対象画像と対応する対応画像を抽出し、対象画像と対応画像との画像の組を対比可能なレイアウトで表示部に表示させる。従って、比較読影の対象となるシリーズの組を適切に対応付け、かつ対応付けられたシリーズの組間において対応する各スライス画像を抽出して対比可能なレイアウトで表示することができる。これにより、現在検査のスライス画像に対して対応する過去検査のスライス画像を自動的に追従させて表示することができるので、現在検査と過去検査を比較する際に、ユーザはシリーズやスライス画像を読影し易いように選択する操作に要する手間を低減することができる。
なお、上記実施形態において対応付け部２２は、一例としてシリーズを対応付ける際に使用した、シリーズのボリュームデータ間における類似度の算出において、対応付け部２２は、図１２に示すステップＳＴ２１で、画像面の方向が同じか否かを判別したが、本開示の技術はこれに限られない。例えば、ＤＩＣＯＭタグなどの付帯情報に、画像面の方向に関する情報が存在しない場合には、ステップＳＴ２１及びステップＳＴ２３の処理を省略して、ピクセルデータのみで類似度を算出してもよい。
また、対応付け部２２によるシリーズ間の対応付け方法は、上記実施形態に限られるものではなく、例えば、特願２０１８−０７４１８８号に記載された対応付け方法を使用することができる。
また、上記実施形態において画像抽出部２３は、一例として対応付け部２２によって対応付けられた全てのシリーズ間において、現在シリーズＳｃに含まれる対象画像全てに対して、各々対応する過去シリーズＳｐに含まれるスライス画像を対応画像として抽出したが、本開示の技術はこれに限られない。例えば、図１０に示す画面１４Ａにおいて画面１４Ａの上方に配置する現在検査Ｃで取得された画像が、現在シリーズＳｃのうちのシリーズＳｃ１のみであることが予め画像診断支援装置１において設定されている場合には、画像抽出部２３は、シリーズＳｃ１に含まれる対象画像についてのみ対応画像を抽出してもよい。
なお、上記実施形態において対応付け部２２は、一例としてシリーズを対応付ける際に、シリーズのボリュームデータ間における類似度を算出したが、本開示の技術はこれに限られない。対応付け部２２は、現在シリーズＳｃ及び過去シリーズＳｐに含まれる各シリーズから特定の解剖構造を含む領域を検出して、検出した領域の特徴量として画素値分布を比較することにより、類似度を算出してもよい。図１４及び図１５はそれぞれ特定の解剖構造を含む領域を検出してシリーズ間の対応付けを行う方法を説明するための図である。
一般的に、Ｔ１強調画像は、おもに縦緩和によってコントラストのついた核磁化分布を画像にしたものであり、Ｔ２強調画像はおもに横緩和によってコントラストのついた核磁化分布を画像にしたものである。Ｔ２強調画像においては、水、血液、及び脂肪などが高信号（白）となり、出血、石灰化、線維組織、及びメラニンなどが低信号（黒）となる。
そこで、対応付け部２２は、一例として図１４に示すように、各シリーズすなわち各ボリュームデータから脊髄を含む領域を検出して、検出した脊髄を含む領域の画素値分布つまりヒストグラムを比較する。図１４に示すように、Ｔ２強調像Ｇ２においては、脊髄領域Ｔが高信号を示すが、Ｔ１強調像Ｇ１においては、脊髄領域Ｔは高信号を示さない。従って、検出した脊髄を含む領域のヒストグラムを比較することにより、Ｔ２強調像Ｇ２とＴ１強調像Ｇ１等の他の画像とを区別することができる。
具体的には、対応付け部２２は、図１５に示すように、現在シリーズＳｃ１のシリーズＳｃ１の脊髄を含む領域に対して、過去シリーズＳｐに含まれる全てのシリーズの脊髄を含む領域とヒストグラムの比較を行うことにより、シリーズ間での対応付けを決定する。なお、ヒストグラムの比較を行う領域は脊髄を含む領域に限られず、特定の解剖構造を含む領域であればよい。特定の解剖構造は、現在検査Ｃ及び過去検査Ｐにより撮影された被検体の種類に基づいて決定される。このように特定の解剖構造を含む領域のヒストグラムを比較することによりシリーズ間での対応付けを決定することができる。
なお、対応付け部２２は、現在シリーズＳｃの各シリーズの入力により、入力されたシリーズと最も類似度が高い過去シリーズＳｐのシリーズを出力するように機械学習がなされた学習済みモデルを有していてもよい。シリーズ間の対応づけの正解データを多数用意することで、上記において図１２から図１５で示して説明したシリーズを対応付ける方法と機械学習とを組み合わせることができる。本開示において学習済みモデルＭは、一例としてSiamese Networkを用いる。図１６は学習済みモデルを説明するための図、図１７はシリーズ間の対応付けの正解データを説明するための図である。
学習済みモデルＭは、一例として、図１６に示す構造を有するネットワークであるSiamese Networkを用いる。Siamese Networkは、２つの入力Ｘ１、Ｘ２に対するConvolutional Network出力Ｇｗ（Ｘ１）、Ｇｗ（Ｘ２）の距離が、Ｘ１とＸ２を対応づけたい場合には近づくように、対応づけたくない場合には遠ざかるように学習させることができる。なお、具体的には、S. Chopra, R. Hadsell, Y. LeCun, “Learning a Similarity Metric Discriminatively, with Application to Face Verification”, International Conference on Computer Vision and Pattern Recognition (CVPR), 2005.に記載された技術を使用することができる。
学習用の正解データは、例えば図７に示すシリーズ間の対応付けを対応付けの正解とする場合には、２つのシリーズを入力とし、対応する又は対応しないを出力とする。図１７に示すように、シリーズＳｃ１及びシリーズＳｐ１を入力とすると対応するが出力となり、シリーズＳｃ１及びシリーズＳｐ２を入力とすると対応しないが出力となり、シリーズＳｃ１及びシリーズＳｐ３を入力とすると対応しないが出力となる。なお、入力Ｘ１、Ｘ２は、シリーズ（ボリューム）全体のヒストグラムであってもよいし、特定の解剖構造を含む領域のヒストグラムであってもよいし、ピクセルデータそのものであってもよい。以上のように、対応付け部２２は、学習済みモデルＭを使用してシリーズ間の対応付けを行うことができる。
なお、本開示の技術において学習済みモデルは、Siamese Networkを用いるものに限られない。学習済みモデルＭは、例えば、１つの対象となるシリーズ、対象となるシリーズに対して対応するシリーズ、及び対象となるシリーズに対して対応しないシリーズの合計３つのシリーズを入力とするTriplet Network 等を用いてもよい。なお、Triplet Networkは、エラード・ホファー(Elad Hoffer),ニル・アイロン(Nir Ailon)著、「DEEP METRIC LEARNING USING TRIPLET NETWORK」、Accepted as a workshop contribution at ICLR 2015に記載された技術を使用することができる。
また、上述した実施形態においては、表示制御部２４は、対象画像と対応画像との画像の組を表示部１４の画面１４Ａ上に並列に表示させたが、本開示の表示制御部２４はこれに限られない。表示制御部２４は、対象画像と対応画像との全ての画像の組を表示部１４の画面１４Ｂ上に一組ずつ切り替えて表示させてもよい。図１８は表示部１４のレイアウトの一例を説明するための図である。なお、便宜上、図１８においては紙面上側を上方として、以下説明する
表示制御部２４は、現在シリーズＳｃに含まれる各対象画像と、この対象画像と対応する過去シリーズＳｐに含まれる対応画像との画像の組を表示部１４の画面１４Ｂ上に一組ずつ切り替えて表示させる。具体的には一例として、対応付け部２２によって現在検査ＣのシリーズＳｃ１と過去検査ＰのシリーズＳｐ２が対応付けられ、画像抽出部２３によってシリーズＳｃ１の対象画像ａ３に対してシリーズＳｐ２の対応画像ｂ２が抽出された場合には、表示制御部２４は、対象画像ａ３と対応画像ｂ２との画像の組を対比可能なレイアウトとして、一例として図１８に示すように、現在検査Ｃで取得された画像が左側、過去検査Ｐで取得された画像が右側に位置するように各画像の組を左右に並列に表示させる。
図１９は表示部１４の画面１４Ｂの一例を説明するための図である。なお、便宜上、図１９においては紙面上側を上方として、以下説明する。表示制御部２４は、一例として図１９に示すように、現在検査Ｃで取得した１枚の対象画像と、この対象画像に対応する過去検査Ｐで取得された対応画像とを表示部１４の画面１４Ｂ上に左右に並列に表示させる。表示制御部２４は、例えば、ユーザが入力部１５を操作する度に、画面１４Ｂ上に表示される画像の組を切り替えて表示させる。表示制御部２４は、全ての対応画像と対象画像との画像の組を順次切り替えて表示部１４に表示させる。
なお、画面１４Ｂ上に順次表示する対象画像は、ユーザによって適宜変更することができる。すなわち、全ての対象画像であってもよいし、ユーザによって予め選択された対象画像のみであってもよい。どちらの場合であっても、順次表示される対象画像に対して画像抽出部２３により抽出された対応画像が、対象画像と共に画面１４Ｂに表示される。
本開示の表示制御部２４は、例えばユーザが入力部１５を操作することにより、全画像表示機能及び全画面表示機能等が選択された場合に、図１９に示す画面１４Ｂの表示をさせ、全画像表示機能及び全画面表示機能等の選択が解除された場合に、図１０に示す画面１４Ａの表示をさせるようにしてもよい。
また、上述した実施形態においては、一例として各シリーズを３次元画像として説明したが、本開示の技術は３次元画像に限られず、例えば連続して撮影された複数の２次元画像及び４次元画像をシリーズとすることもできる。ここで４次元画像は、心臓の三次元動画を意味する。
また、上述した実施形態においては、本開示の「第１の複数の画像データ群」及び「第２の複数の画像データ群」を同一の被検体に対して異なる時期でそれぞれ撮影して取得された現在シリーズＳｃ及び過去シリーズＳｐとしたが、本開示の技術はこれに限られない。例えば、「第１の複数の画像データ群」を現在シリーズＳｃとし、「第２の複数の画像データ群」を被検体の様々な解剖面に沿った断面画像を連続的に貼り合わせて作った地図であるアトラスの画像を複数含むシリーズとしてもよいし、「第２の複数の画像データ群」を「第１の複数の画像データ群」とは異なる被検体に対して撮影して取得された複数のシリーズとしてもよい。
また、上述した実施形態において、例えば、取得部２１、対応付け部２２、画像抽出部２３、及び表示制御部２４といった各種の処理を実行する処理部（processing unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（processor）を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device :PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせまたはＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。
複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアント及びサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアとの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（circuitry）を用いることができる。
１ 画像診断支援装置
２ ３次元画像撮影装置
３ 画像保管サーバ
４ ネットワーク
１１ ＣＰＵ
１２ メモリ
１３ ストレージ
１４ 表示部
１５ 入力部
２１ 取得部
２２ 対応付け部
２３ 画像抽出部
２４ 表示制御部
Ｃ 現在検査
Ｐ 過去検査
Ｓｃ 現在シリーズ
Ｓｐ 過去シリーズ
ａ 対象画像（スライス画像）
ｂ 対応画像（スライス画像）
Ｔ 脊髄領域
Ｍ 学習済みモデル

Claims (13)

  1. 複数の画像を含む画像データ群が単位検査毎に複数群記憶されたデータ保管部から、比較読影の対象となる第１の複数の画像データ群及び第２の複数の画像データ群を取得する取得部と、
    前記取得部によって取得された前記第１の複数の画像データ群と前記第２の複数の画像データ群との間で、各画像データ群間の類似度に基づいて、前記第１の複数の画像データ群の各画像データ群と前記第２の複数の画像データ群の各画像データ群とを対応付ける対応付け部と、
    前記対応付け部によって前記第１の複数の画像データ群のうちの何れかの画像データ群である第１の画像データ群と対応付けられた前記第２の複数の画像データ群のうちの何れかの画像データ群である第２の画像データ群から、前記第１の画像データ群の少なくとも１枚の対象画像と対応する対応画像を抽出する画像抽出部と、
    前記対象画像と前記対応画像との画像の組を対比可能なレイアウトで表示部に表示させる表示制御部と、
    を含み、
    前記対応付け部は、前記第１の複数の画像データ群において、前記第２の複数の画像データ群と画像面の方向が一致しているか否かを判別し、一致している場合に前記類似度を算出する画像診断支援装置。
  2. 前記対応付け部は、前記画像面の方向が一致しない場合より高くなるように前記類似度を算出する請求項１に記載の画像診断支援装置。
  3. 前記画像抽出部は、前記第１の複数の画像データ群に含まれる全ての前記対象画像について、前記対応画像を抽出する請求項１又は２に記載の画像診断支援装置。
  4. 前記表示制御部は、全ての前記対象画像及び前記対応画像との画像の組を表示させる請求項３に記載の画像診断支援装置。
  5. 前記表示制御部は、前記画像の組を前記表示部の画面上に並列に表示させる請求項１から４の何れか１項に記載の画像診断支援装置。
  6. 前記表示制御部は、全ての前記画像の組を前記表示部の画面上に一組ずつ切り替えて表示させる請求項４に記載の画像診断支援装置。
  7. 前記画像データ群が、複数のスライス画像で構成されたボリュームデータであり、
    前記対応付け部は、前記ボリュームデータのピクセルデータ間における類似度に基づいて対応付けを行う請求項１から６の何れか１項に記載の画像診断支援装置。
  8. 前記対応付け部は、前記画像データ群に含まれる特定の解剖構造を含む領域における特徴量に基づいて対応付けを行う請求項１から６の何れか１項に記載の画像診断支援装置。
  9. 前記対応付け部は、前記第１の複数の画像データ群のうちの何れかの画像データ群及び前記第２の複数の画像データ群のうちの何れかの画像データ群の入力により、入力された画像データ群の組合せが対応するか否かを出力するように機械学習がなされた学習済みモデルを有する請求項１から６の何れか１項に記載の画像診断支援装置。
  10. 前記画像抽出部は、前記対象画像と前記第２の画像データ群の各画像との類似度に基づいて前記対応画像を抽出する請求項１から９の何れか１項に記載の画像診断支援装置。
  11. 前記第１の複数の画像データ群と前記第２の複数の画像データ群とが、同一の被検体に対して異なる撮影時期でそれぞれ撮影して取得された画像データ群である請求項１から１０の何れか１項に記載の画像診断支援装置。
  12. 複数の画像を含む画像データ群が単位検査毎に複数群記憶されたデータ保管部から、比較読影の対象となる第１の複数の画像データ群及び第２の複数の画像データ群を取得し、
    前記第１の複数の画像データ群において、前記第２の複数の画像データ群と画像面の方向が一致しているか否かを判別し、一致している場合に、前記第１の複数の画像データ群と前記第２の複数の画像データ群との間で、各画像データ群間の類似度に基づいて、前記第１の複数の画像データ群の各画像データ群と前記第２の複数の画像データ群の各画像データ群とを対応付け、
    前記第１の複数の画像データ群のうちの何れかの画像データ群である第１の画像データ群と対応付けられた前記第２の複数の画像データ群のうちの何れかの画像データ群である第２の画像データ群から、前記第１の画像データ群の少なくとも１枚の対象画像と対応する対応画像を抽出し、
    前記対象画像と前記対応画像との画像の組を対比可能なレイアウトで表示部に表示させる画像診断支援方法。
  13. 複数の画像を含む画像データ群が単位検査毎に複数群記憶されたデータ保管部から、比較読影の対象となる第１の複数の画像データ群及び第２の複数の画像データ群を取得する手順と、
    前記第１の複数の画像データ群において、前記第２の複数の画像データ群と画像面の方向が一致しているか否かを判別し、一致している場合に、前記第１の複数の画像データ群と前記第２の複数の画像データ群との間で、各画像データ群間の類似度に基づいて、前記第１の複数の画像データ群の各画像データ群と前記第２の複数の画像データ群の各画像データ群とを対応付ける手順と、
    前記第１の複数の画像データ群のうちの何れかの画像データ群である第１の画像データ群と対応付けられた前記第２の複数の画像データ群のうちの何れかの画像データ群である第２の画像データ群から、前記第１の画像データ群の少なくとも１枚の対象画像と対応する対応画像を抽出する手順と、
    前記対象画像と前記対応画像との画像の組を対比可能なレイアウトで表示部に表示させる手順とをコンピュータに実行させる画像診断支援プログラム。
JP2018159918A 2018-08-29 2018-08-29 画像診断支援装置、方法及びプログラム Active JP6981940B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018159918A JP6981940B2 (ja) 2018-08-29 2018-08-29 画像診断支援装置、方法及びプログラム
US16/546,769 US10910101B2 (en) 2018-08-29 2019-08-21 Image diagnosis support apparatus, image diagnosis support method, and image diagnosis support program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018159918A JP6981940B2 (ja) 2018-08-29 2018-08-29 画像診断支援装置、方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2020031803A JP2020031803A (ja) 2020-03-05
JP6981940B2 true JP6981940B2 (ja) 2021-12-17

Family

ID=69641544

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018159918A Active JP6981940B2 (ja) 2018-08-29 2018-08-29 画像診断支援装置、方法及びプログラム

Country Status (2)

Country Link
US (1) US10910101B2 (ja)
JP (1) JP6981940B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017099616A (ja) * 2015-12-01 2017-06-08 ソニー株式会社 手術用制御装置、手術用制御方法、およびプログラム、並びに手術システム
JP6885896B2 (ja) * 2017-04-10 2021-06-16 富士フイルム株式会社 自動レイアウト装置および自動レイアウト方法並びに自動レイアウトプログラム
JP6876940B2 (ja) * 2018-04-04 2021-05-26 パナソニックＩｐマネジメント株式会社 画像処理装置および画像処理方法
US11250569B2 (en) * 2019-11-04 2022-02-15 GE Precision Healthcare LLC Systems and methods for functional imaging follow-up evaluation using deep neural network

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3570576B2 (ja) * 1995-06-19 2004-09-29 株式会社日立製作所 マルチモダリティに対応した３次元画像合成表示装置
JP4218772B2 (ja) * 2007-02-16 2009-02-04 国立大学法人名古屋大学 画像診断支援装置
US20090220135A1 (en) * 2008-02-28 2009-09-03 Keigo Nakamura System, server, method and program for image transfer
JP2011036684A (ja) 2010-09-13 2011-02-24 Toshiba Corp コンピュータ支援画像診断システム
JP5462414B2 (ja) * 2011-06-30 2014-04-02 パナソニック株式会社 類似症例検索装置および関連度データベース作成装置並びに類似症例検索方法および関連度データベース作成方法
US8751961B2 (en) * 2012-01-30 2014-06-10 Kabushiki Kaisha Toshiba Selection of presets for the visualization of image data sets
JP5879231B2 (ja) * 2012-08-21 2016-03-08 富士フイルム株式会社 画像表示装置及びプログラム並びに画像表示装置の作動方法
JP6576690B2 (ja) * 2014-05-29 2019-09-18 キヤノンメディカルシステムズ株式会社 医用画像処理装置
US9922272B2 (en) * 2014-09-25 2018-03-20 Siemens Healthcare Gmbh Deep similarity learning for multimodal medical images
JP6415937B2 (ja) * 2014-11-13 2018-10-31 キヤノンメディカルシステムズ株式会社 医用画像処理装置、超音波診断装置、医用画像処理方法および医用画像処理プログラム
JP6830068B2 (ja) * 2015-06-12 2021-02-17 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 意味的にカテゴライズされたタイムラインを表示するための装置、システム及び方法
JP6540477B2 (ja) * 2015-11-27 2019-07-10 株式会社島津製作所 画像処理装置および放射線撮影装置
KR102622542B1 (ko) * 2017-02-21 2024-01-10 주식회사 고영테크놀러지 의료 이미징 디바이스에 의해 캡처된 조직학적 이미지를 프로세싱하기 위한 방법 및 장치

Also Published As

Publication number Publication date
JP2020031803A (ja) 2020-03-05
US10910101B2 (en) 2021-02-02
US20200075154A1 (en) 2020-03-05

Similar Documents

Publication Publication Date Title
US10909681B2 (en) Automated selection of an optimal image from a series of images
JP6981940B2 (ja) 画像診断支援装置、方法及びプログラム
US11023765B2 (en) Apparatus and method for providing additional information for each region of interest
US8380013B2 (en) Case image search apparatus, method and computer-readable recording medium
US11941812B2 (en) Diagnosis support apparatus and X-ray CT apparatus
EP3550515A1 (en) Cross-modality image synthesis
JP6495037B2 (ja) 医用画像処理装置及び医用画像診断装置
JP7129869B2 (ja) 疾患領域抽出装置、方法及びプログラム
JP5367066B2 (ja) 代替正常脳データベース生成装置
US11049251B2 (en) Apparatus, method, and program for learning discriminator discriminating infarction region, discriminator for discriminating infarction region, and apparatus, method, and program for discriminating infarction region
JP6945493B2 (ja) 医用画像処理装置、方法およびプログラム
JP6827120B2 (ja) 医用情報表示装置、方法及びプログラム
CN108230289A (zh) 基于x线体检正位胸片的计算机辅助诊断系统和方法
JP7262606B2 (ja) 領域同定装置、方法およびプログラム
US20210210206A1 (en) Medical image diagnosis support device, method, and program
US11176413B2 (en) Apparatus, method, and program for training discriminator discriminating disease region, discriminator discriminating disease region, disease region discrimination apparatus, and disease region discrimination program
US20240112786A1 (en) Image processing apparatus, image processing method, and image processing program
JP7059391B2 (ja) 流体解析装置、方法およびプログラム
US20240037738A1 (en) Image processing apparatus, image processing method, and image processing program
JP6765396B2 (ja) 医用画像処理装置、方法およびプログラム
CN116645316A (zh) 数据生成、算法训练、疾病信息检测方法以及系统和程序
Kakade et al. Brain Tumor segmentation with Anti-Aliasing Impact filtration using Modified Finite Impulse Response Linear filter

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200728

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210428

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210511

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210712

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211026

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211118

R150 Certificate of patent or registration of utility model

Ref document number: 6981940

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150