JP7170747B2 - 類似度決定装置、方法およびプログラム - Google Patents

類似度決定装置、方法およびプログラム Download PDF

Info

Publication number
JP7170747B2
JP7170747B2 JP2020558178A JP2020558178A JP7170747B2 JP 7170747 B2 JP7170747 B2 JP 7170747B2 JP 2020558178 A JP2020558178 A JP 2020558178A JP 2020558178 A JP2020558178 A JP 2020558178A JP 7170747 B2 JP7170747 B2 JP 7170747B2
Authority
JP
Japan
Prior art keywords
medical image
finding
similarity
image
feature amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020558178A
Other languages
English (en)
Other versions
JPWO2020110519A1 (ja
Inventor
昭治 金田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2020110519A1 publication Critical patent/JPWO2020110519A1/ja
Application granted granted Critical
Publication of JP7170747B2 publication Critical patent/JP7170747B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02—Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computerised tomographs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/005—Specific pre-processing for tomographic reconstruction, e.g. calibration, source positioning, rebinning, scatter correction, retrospective gating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10076—4D tomography; Time-sequential 3D tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/759—Region-based matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12—Acquisition of 3D measurements of objects

Description

本開示は、２つの医用画像の類似度を決定する類似度決定装置、方法およびプログラムに関するものである。
近年、ＣＴ（Computed Tomography）装置およびＭＲＩ（Magnetic Resonance Imaging）装置等の医療機器の進歩により、より質の高い高解像度の３次元画像が画像診断に用いられるようになってきている。
一方、医療分野において、検査の対象となるＣＴ画像等の検査画像に基づいて、検査画像に類似する過去の症例を検索する類似症例検索装置が知られている（例えば「Case-based lung image categorization and retrieval for interstitial lung diseases: clinical workflows、Adrien Depeursingeら、Int J CARS (2012) 7:97-110、Published online: 1 June 2011」参照）。Depeursingeらの文献には、肺の症例画像を複数種類の組織または病変（以下組織または病変を所見と称するものとする）をそれぞれ示す複数の領域に分類した上で、症例データベースに登録しておき、検査画像についても同様に肺を複数種類の所見をそれぞれ示す複数の領域に分類し、検査画像についての所見の分類結果に基づいて、検査画像に類似する症例画像を検索する手法が提案されている。
また、画像間の類似度を算出する手法として、複数の画像のうち少なくとも１つの画像内に複数の部分領域を設定し、設定した部分領域毎に、他の画像内の対応する領域との間の類似度を決定し、決定した部分領域毎の類似度を、各部分領域に対して設定された重み係数を用いて重み付け加算することにより、全体領域類似度を算出する手法が提案されている（特開２０００－３４２５５８号公報参照）。また、複数断面を有する第１の画像と第２の画像の各断面から取得した注目領域を複数の部分領域に分割し、第１の画像と第２の画像の各断面、および各部分領域について、部分領域に含まれる画素の特徴量を計算し、第１の画像と第２の画像の断面位置の組み合わせにおいて、第１の画像の部分領域と、当該部分領域に対応する第２の画像の部分領域について特徴量の一致度を計算し、一致度を複数の部分領域に亘って統合した評価値の比較に基づいて、第１の画像と第２の画像との間で互いに対応する断面の位置を特定する手法も提案されている（特開２０１７－１８９３８４号公報参照）。
ところで、肺の疾患として間質性肺炎が知られている。間質性肺炎の患者のＣＴ画像を解析することにより、ＣＴ画像に含まれる蜂窩肺、網状影および嚢胞等の特定の所見を示す病変を分類して定量化する手法が提案されている（「Evaluation of computer-based computer tomography stratification against outcome models in connective tissue disease-related interstitial lung disease: a patient outcome study、Joseph Jacobiら、BMC Medicine (2016) 14:190、DOI 10.1186/s12916-016-0739-7」および「コンピュータによる間質性肺炎のＣＴ画像の定量評価、岩澤多恵、断層映像研究会雑誌 第４１巻第２号、２０１４年８月」参照）。このようにＣＴ画像を解析して病変を分類して定量化することにより、肺の疾患の程度を容易に判定することができる。また、このように分類して定量化した領域にそれぞれ異なる色を割り当てて表示することにより、特定の症状の領域がどの程度画像内に含まれているかを、容易に診断できることとなる。
また、ＣＴ画像等の３次元画像から注目する臓器等の構造物を抽出するためには、３次元画像において構造物を検出する必要がある。ここで、画像における注目する画素を複数のクラスに分類するために、深層学習（ディープラーニング）の手法が提案されている。ディープラーニングとは、複数の処理層が階層的に接続されることにより構築された多層ニューラルネットワークを用いた機械学習の手法である。
ディープラーニングにおいては、多層ニューラルネットワークの各層において、入力されるデータに対する前段の階層により得られる異なる複数の演算結果データ、すなわち特徴量の抽出結果データに対して演算処理を行う。そして、これにより得られる特徴量のデータに対して、次段以降の処理層においてさらなる演算処理を行うことにより、特徴量の認識率を向上させて、入力されたデータを複数のクラスに分類することができる。
このようなディープラーニングの手法を、上述した３次元画像に適用して、３次元画像の各画素を複数のクラスに分類することが考えられる。例えば、３次元画像に含まれる複数種類の構造物を分類するに際し、３次元画像を入力として、３次元画像における処理対象となる画素を、複数種類の構造物のいずれかに分類するように、ニューラルネットワークに対してディープラーニングを行う。このようにしてディープラーニングがなされたニューラルネットワークを用いることにより、入力された３次元画像の処理対象となる画素を、複数種類の構造物のいずれかに分類することが可能となる。
Depeursingeらの文献に記載された手法を用いることにより、検査画像の肺に含まれる病変が類似する症例画像を検索することができる。一方、検査画像に含まれる特徴的な所見はそのサイズによって重要度が異なる。また、特開２０００－３４２５５８号公報および特開２０１７－１８９３８４号公報に記載された手法を用いることにより、画像中の部分領域を考慮して画像間の類似度を決定したり、対応する部分領域の位置を特定したりすることができる。その一方で、とくに検索の対象が３次元画像である場合において、検査画像における医師が注目している断層面を考慮して、検査画像に類似する症例画像を検索することが重要である。
本開示は上記事情に鑑みなされたものであり、医用画像に含まれる所見のサイズに応じて、かつ医師が注目している断層面を考慮して医用画像間の類似度を適切に決定できるようにすることを目的とする。
本開示による類似度決定装置は、３次元の第１の医用画像と３次元の第２の医用画像との類似度を決定する類似度決定装置であって、
第１の医用画像における特定の断層面の断層画像を表示部に表示する表示制御部と、
第１の医用画像における、少なくとも特定の断層面を含む部分領域内の各画素を、複数種類の所見のうちの少なくとも１つの所見に分類する所見分類部と、
部分領域において分類された所見毎に第１の特徴量を算出する特徴量算出部と、
部分領域において分類された各所見に対して、各所見のサイズに応じて重み付けの程度が異なる重み係数を設定する重み係数設定部と、
重み係数に応じて、部分領域において算出された所見毎の第１の特徴量と、第２の医用画像において予め算出された所見毎の第２の特徴量との重み付け演算を行って、第１の医用画像と第２の医用画像との類似度を導出する類似度導出部とを備える。
なお、本開示による類似度決定装置においては、類似度導出部は、第２の医用画像における複数の小領域のそれぞれと部分領域との領域類似度を導出し、複数の領域類似度のうちの代表類似度を、第１の医用画像と第２の医用画像との類似度として導出するものであってもよい。
代表類似度は、複数の領域類似度を代表する任意の類似度を用いることができる。例えば、複数の領域類似度の最大類似度、中間類似度、平均類似度、および上位所定数の類似度を加算した値等を用いることができる。
また、本開示による類似度決定装置においては、類似度導出部は、複数の小領域のうちの部分領域に位置的に近い小領域ほど、領域類似度を大きくして代表類似度を決定するものであってもよい。
また、本開示による類似度決定装置においては、第２の医用画像は、互いに重複する領域を有する複数の小領域に分割されてなるものであってもよい。
また、本開示による類似度決定装置においては、第１の医用画像は予め複数の小領域に分割され、複数の小領域のそれぞれにおいて予め第１の特徴量が算出され、重み係数が設定されてなり、
類似度導出部は、特定の断層面を含む小領域を部分領域として、重み係数に応じて、部分領域において予め算出された所見毎の第１の特徴量と、第２の医用画像において予め算出された所見毎の第２の特徴量との重み付け演算を行って、第１の医用画像と第２の医用画像との類似度を導出するものであってもよい。
また、本開示による類似度決定装置においては、所見分類部は、複数種類の所見を分類するように機械学習がなされた判別器を有し、判別器により部分領域内の各画素を複数種類の所見に分類するものであってもよい。
また、本開示による類似度決定装置においては、所見分類部は、第１の医用画像の各画素を、複数種類の所見のうちの少なくとも１つの所見に分類し、
特徴量算出部は、第１の医用画像において分類された所見毎に第３の特徴量を算出し、
重み係数設定部は、部分領域において分類された各所見に対して、各所見のサイズに応じて重み付けの程度が異なる重み係数を第１の重み係数として設定し、第１の医用画像において分類された各所見に対して、各所見のサイズに応じて重み付けの程度が異なる重み係数を第２の重み係数として設定し、
類似度導出部は、第１の重み係数に応じて、部分領域において算出された所見毎の第１の特徴量と、第２の医用画像において予め算出された所見毎の第２の特徴量との重み付け演算を行って、第１の医用画像と第２の医用画像との類似度を第１の類似度として導出し、第２の重み係数に応じて、第１の医用画像において算出された所見毎の第３の特徴量と、第２の医用画像において予め算出された所見毎の第４の特徴量との重み付け演算を行って、第１の医用画像と第２の医用画像との類似度を第２の類似度として導出し、第１の類似度と第２の類似度とに基づいて、第１の医用画像と第２の医用画像との最終的な類似度を導出するものであってもよい。
また、本開示による類似度決定装置においては、類似度導出部は、第１の類似度と第２の類似度とを重み付け加算することにより最終的な類似度を導出するものであってもよい。
また、本開示による類似度決定装置においては、類似度導出部は、前記第１の類似度と第２の類似度とを重み付け加算する際の重み係数を変更可能であってもよい。
また、本開示による類似度決定装置においては、複数の第２の医用画像が登録された症例データベースであって、複数の第２の医用画像のそれぞれについての第２の特徴量が、複数の第２の医用画像のそれぞれと対応づけられて登録された症例データベースを参照して、第１の医用画像と複数の第２の医用画像との類似度に基づいて、第１の医用画像に類似する第２の医用画像を類似医用画像として検索する検索部をさらに備えるものであってもよい。
また、本開示による類似度決定装置においては、複数の第２の医用画像が登録された症例データベースであって、複数の第２の医用画像のそれぞれについての第２の特徴量および第４の特徴量が、複数の第２の医用画像のそれぞれと対応づけられて登録された症例データベースを参照して、第１の医用画像と複数の第２の医用画像との最終的な類似度に基づいて、第１の医用画像に類似する第２の医用画像を類似医用画像として検索する検索部をさらに備えるものであってもよい。
また、本開示による類似度決定装置においては、検索部は、特定の断層面の断層画像が、予め定められた時間表示されると、検索を実行するものであってもよい。
また、本開示による類似度決定装置においては、表示制御部は、類似医用画像の検索結果を前記表示部に表示するものであってもよい。
本開示による類似度決定方法は、３次元の第１の医用画像と３次元の第２の医用画像との類似度を決定する類似度決定方法であって、
第１の医用画像における特定の断層面の断層画像を表示部に表示し、
第１の医用画像における、少なくとも特定の断層面を含む部分領域内の各画素を、複数種類の所見のうちの少なくとも１つの所見に分類し、
部分領域において分類された所見毎に第１の特徴量を算出し、
部分領域において分類された各所見に対して、各所見のサイズに応じて重み付けの程度が異なる重み係数を設定し、
重み係数に応じて、部分領域において算出された所見毎の第１の特徴量と、第２の医用画像において予め算出された所見毎の第２の特徴量との重み付け演算を行って、第１の医用画像と第２の医用画像との類似度を導出する。
なお、本開示による類似度決定方法をコンピュータに実行させるためのプログラムとして提供してもよい。
本開示による他の類似度決定装置は、第１の医用画像と第２の医用画像との類似度を決定する処理をコンピュータに実行させるための命令を記憶するメモリと、
記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、
第１の医用画像における特定の断層面の断層画像を表示部に表示し、
第１の医用画像における、少なくとも特定の断層面を含む部分領域内の各画素を、複数種類の所見のうちの少なくとも１つの所見に分類し、
部分領域において分類された所見毎に第１の特徴量を算出し、
部分領域において分類された各所見に対して、各所見のサイズに応じて重み付けの程度が異なる重み係数を設定し、
重み係数に応じて、部分領域において算出された所見毎の第１の特徴量と、第２の医用画像において予め算出された所見毎の第２の特徴量との重み付け演算を行って、第１の医用画像と第２の医用画像との類似度を導出する処理を実行する。
本開示によれば、第１の医用画像および第２の医用画像に含まれる所見のサイズに応じて、かつ医師が注目している断層面を考慮して、適切に医用画像間の類似度を決定することができる。
本開示の第１の実施形態による類似度決定装置を適用した、診断支援システムの概要を示すハードウェア構成図 第１の実施形態による類似度決定装置の構成を示す概略ブロック図 検査スライス画像の表示画面を示す図 部分領域を説明するための図 多層ニューラルネットワークの一例を示す図 ある関心領域の中心画素についての所見の種類に応じた評価値を示す図 所見の体積の算出結果を示す図 症例画像の肺領域の小領域への分割を説明するための図 検査画像の部分領域と症例画像の小領域との対応を説明するための図 検索結果リストを示す図 検索結果を示す図 症例名が表示された検索結果を示す図 第１の実施形態において行われる処理を示すフローチャート スライダが表示された検索結果を示す図 症例画像の肺領域を重複する小領域に分割した状態を示す図 肺領域の他の小領域への分割を説明するための図 ３軸方向の断層画像を表示した状態を示す図 肺領域の他の小領域への分割を説明するための図 分類に応じた色が割り当てられたマッピング画像を示す図
以下、図面を参照して本開示の実施形態について説明する。図１は、本開示の第１の実施形態による類似度決定装置を適用した、診断支援システムの概要を示すハードウェア構成図である。図１に示すように、診断支援システムでは、本実施形態による類似度決定装置１、３次元画像撮影装置２、および画像保管サーバ３が、ネットワーク４を経由して通信可能な状態で接続されている。
３次元画像撮影装置２は、被検体の診断対象となる部位を撮影することにより、その部位を表す３次元画像を生成する装置であり、具体的には、ＣＴ装置、ＭＲＩ装置、およびＰＥＴ（Positron Emission Tomography）装置等である。この３次元画像撮影装置２により生成された、複数のスライス画像からなる３次元画像は画像保管サーバ３に送信され、保存される。なお、本実施形態においては、被検体である患者の診断対象部位は肺であり、３次元画像撮影装置２はＣＴ装置であり、被検体の肺を含む胸部のＣＴ画像を３次元画像として生成する。
画像保管サーバ３は、各種データを保存して管理するコンピュータであり、大容量外部記憶装置およびデータベース管理用ソフトウェアを備えている。画像保管サーバ３は、有線あるいは無線のネットワーク４を介して他の装置と通信を行い、画像データ等を送受信する。具体的には３次元画像撮影装置２で生成された３次元画像の画像データを含む各種データをネットワーク経由で取得し、大容量外部記憶装置等の記録媒体に保存して管理する。なお、画像データの格納形式およびネットワーク４経由での各装置間の通信は、ＤＩＣＯＭ（Digital Imaging and Communication in Medicine）等のプロトコルに基づいている。なお、本実施形態においては、画像保管サーバ３には、検査の対象となる３次元画像（以下、検査画像とする）、および症例画像が登録された症例データベースＤＢが保存されているものとする。症例データベースＤＢについては後述する。また、本実施形態においては、検査画像は１以上のスライス画像（以下、検査スライス画像とする）からなる３次元画像である。また、症例画像も１以上のスライス画像（以下、症例スライス画像とする）からなる３次元画像である。なお、検査画像が第１の医用画像に、症例画像が第２の医用画像にそれぞれ対応する。
類似度決定装置１は、１台のコンピュータに、本開示の類似度決定プログラムをインストールしたものである。コンピュータは、診断を行う医師が直接操作するワークステーションまたはパーソナルコンピュータでもよいし、それらとネットワークを介して接続されたサーバコンピュータでもよい。類似度決定プログラムは、ＤＶＤ（Digital Versatile Disc）あるいはＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。または、ネットワークに接続されたサーバコンピュータの記憶装置、もしくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて医師が使用するコンピュータにダウンロードされ、インストールされる。
図２は、コンピュータに類似度決定プログラムをインストールすることにより実現される本開示の第１の実施形態による類似度決定装置の概略構成を示す図である。図２に示すように、類似度決定装置１は、標準的なワークステーションの構成として、ＣＰＵ（Central Processing Unit）１１、メモリ１２およびストレージ１３を備えている。また、類似度決定装置１には、液晶ディスプレイ等からなる表示部１４、並びにキーボードおよびマウス等からなる入力部１５が接続されている。
ストレージ１３は、ハードディスクおよびＳＳＤ(Solid State Drive)等からなる。ストレージ１３には、ネットワーク４を経由して画像保管サーバ３から取得した、被検体の検査画像および処理に必要な情報を含む各種情報が記憶されている。
また、メモリ１２には、類似度決定プログラムが記憶されている。類似度決定プログラムは、ＣＰＵ１１に実行させる処理として、検査の対象となる検査画像を取得する画像取得処理、検査画像における特定の断層面の検査スライス画像を表示部１４に表示する第１の表示制御処理、検査画像における、少なくとも特定の断層面を含む部分領域内の各画素を、複数種類の所見のうちの少なくとも１つの所見に分類する所見分類処理、検査画像の部分領域において分類された所見毎に第１の特徴量を算出する特徴量算出処理、検査画像の部分領域において分類された各所見に対して、各所見のサイズに応じて重み付けの程度が異なる重み係数を設定する重み係数設定処理、重み係数に応じて、検査画像の部分領域において算出された所見毎の第１の特徴量と、症例画像において予め算出された所見毎の第２の特徴量との重み付け演算を行って、検査画像と症例画像との類似度を導出する類似度導出処理、導出された類似度に基づいて、検査画像に類似する症例画像を検索する検索処理、並びに検索結果を表示部１４に表示する第２の表示制御処理を規定する。
そして、ＣＰＵ１１がプログラムに従いこれらの処理を実行することで、コンピュータは、画像取得部２０、表示制御部２１、所見分類部２２、特徴量算出部２３、重み係数設定部２４、類似度導出部２５、および検索部２６として機能する。
画像取得部２０は、検査の対象となる被検体の検査画像Ｖ０を取得する。なお、検査画像Ｖ０が既にストレージ１３に保存されている場合には、画像取得部２０は、ストレージ１３から検査画像Ｖ０を取得するようにしてもよい。
表示制御部２１は、第１の表示制御処理を行って、検査画像における特定の断層面の検査スライス画像を表示部１４に表示する。図３は検査スライス画像の表示画面を示す図である。図３に示すように表示画面３０は、検査スライス画像表示領域３１および検索結果表示領域３２を有する。また、検査スライス画像表示領域３１の上方には、検索実行ボタン３３が表示されている。検査スライス画像表示領域３１には、検査画像に含まれる検査スライス画像が、入力部１５からの指示により切り替え可能に表示されている。なお、図３においてはアキシャル断面の検査スライス画像が表示されているが、これに限定されるものではなく、サジタル断面またはコロナル断面の検査スライス画像を表示してもよい。医師は、検査スライス画像を順次切り替えて、病変が含まれる特定の断層面の検査スライス画像を検査スライス画像表示領域３１に表示することができる。なお、検索結果表示領域３２および検索実行ボタン３３については後述する。
所見分類部２２は、検査画像Ｖ０に含まれる肺領域における、表示された検査スライス画像の断層面を含む部分領域の各画素を、複数種類の所見のうちの少なくとも１つの所見に分類する。具体的には、所見分類部２２は、検査画像Ｖ０に含まれる肺領域における、表示された検査スライス画像の断層面を含む部分領域の画素毎に、複数種類の組織または病変（すなわち所見）のそれぞれであることの可能性を表す複数の評価値を算出し、複数の評価値に基づいて、検査画像Ｖ０の部分領域の各画素を複数種類の所見のうちの少なくとも１つの所見に分類する。本実施形態においては、所見分類部２２は、部分領域の各画素を１つの所見に分類するものとする。
まず、所見分類部２２は、分類のために、検査画像Ｖ０から対象領域である肺領域を抽出する。肺領域を抽出する手法としては、検査画像Ｖ０における画素毎の信号値をヒストグラム化し、肺をしきい値処理することにより抽出する方法、または肺を表すシード点に基づく領域拡張法(Region Growing)等、任意の手法を用いることができる。なお、肺領域を抽出するように機械学習がなされた判別器を用いるようにしてもよい。
以下、部分領域について説明する。図４は部分領域を説明するための図である。なお、図４は検査画像に含まれる片肺の肺領域３４をアキシャル軸に直交する方向から見た図である。図４においては、表示部１４に表示されている検査スライス画像の断層面Ｄｋを破線で示す。所見分類部２２は、検査画像Ｖ０に含まれる肺領域３４において、断層面Ｄｋを重心位置に含み、肺領域を体積で予め定められた数に等分する破線で示す領域を部分領域Ｐ０に設定する。ここで、予め定められた数を８とすると、部分領域Ｐ０の体積は肺領域３４の体積の１／８となる。なお、本実施形態においては、肺領域を８等分するものとして説明するが、これに限定されるものではなく、４等分または６等分等、任意の数に等分することが可能である。
本実施形態の所見分類部２２は、機械学習の１つであるディープラーニング（深層学習）によって生成された多層ニューラルネットワークからなる判別器を有し、この判別器を用いて、部分領域Ｐ０の各画素が属する所見の種類を特定する。なお、機械学習の手法としては、ディープラーニングに限定されるものではなく、サポートベクターマシン等の他の手法を用いることもできる。
多層ニューラルネットワークでは、各層において、前段の階層により得られる異なる複数の特徴量のデータに対して各種カーネルを用いて演算処理を行う。そして、この演算処理によって得られる特徴量のデータに対して次段以降の層においてさらなる演算処理を行うことにより、特徴量の認識率を向上させ、入力されたデータを複数のクラスに分類することができる。
なお、本実施形態においては、多層ニューラルネットワークを、部分領域Ｐ０の各画素を入力として、肺領域の複数種類の所見への分類結果を出力するものとして説明するが、部分領域Ｐ０を構成する複数の検査スライス画像のそれぞれを入力とし、肺領域の複数種類の所見への分類結果を出力するように構成することも可能である。
図５は多層ニューラルネットワークの一例を示す図である。図５に示すように多層ニューラルネットワーク４０は、入力層４１および出力層４２を含む複数の階層からなる。本実施形態においては、検査画像Ｖ０に含まれる肺領域の部分領域Ｐ０を、例えば、浸潤影、腫瘤影、すりガラス影、小葉中心性結節影、非小葉中心性結節影、網状影、線状影、小葉間隔壁肥厚、蜂窩肺、嚢胞、低吸収域（気腫）、気腫傾向、空洞、胸膜肥厚、胸水、気管支拡張、牽引性気管支拡張、動脈、正常肺、胸壁および縦隔等の複数の所見に分類するように学習がなされている。なお、所見の種類はこれらに限定されるものではなく、これらより多くの所見であってもよく、これらより少ない所見であってもよい。
本実施形態においては、これらの所見について、数百万という多数の教師データを用いて、多層ニューラルネットワーク４０に学習させる。学習の際には、所見の種類が既知の断面画像から、予め定められたサイズ（例えば１．５ｃｍ×１．５ｃｍ）の関心領域を切り出し、その関心領域を教師データとして用いる。そして、多層ニューラルネットワーク４０に教師データを入力して、所見の種類の分類処理の結果（以下、分類結果とする）を出力させる。次いで、出力された結果を教師データと比較し、正解か不正解かに応じて、出力側から入力側に向かって、多層ニューラルネットワーク４０の各層に含まれるユニット（図３に丸印で示す）の各階層間における結合の重みを修正する。結合の重みの修正を、多数の教師データを用いて、予め定められた回数、または出力される分類結果の正解率が１００％になるまで繰り返し行い、学習を終了する。
なお、入力される画像が検査スライス画像である場合において、多層ニューラルネットワーク４０の学習の際には、病変が既知の３次元画像を構成するスライス画像から、予め定められたサイズ（例えば１．５ｃｍ×１．５ｃｍ）に正規化された２次元領域を切り出し、切り出した２次元領域の画像を教師データとして用いる。
所見分類部２２は、所見分類処理を行う際に、部分領域Ｐ０から教師データと同じ大きさの関心領域を順次切り出し、その関心領域を多層ニューラルネットワーク４０からなる判別器に入力する。これにより、切り出した関心領域の中心画素について、所見の各分類に対応する評価値が出力される。なお、この各分類に対応する評価値は、中心画素が、各分類に属する可能性を示す評価値であり、この評価値が大きいほど、その分類に属する可能性が高いことを意味する。
図６は、ある関心領域の中心画素についての所見の種類に応じた評価値を示す図である。なお、図６においては、説明を簡単なものとするために一部の所見についての評価値を示す。本実施形態において、判別器は、関心領域の中心画素を、複数の所見のうち、最も評価値が大きい所見に分類する。例えば、図６に示すような評価値が取得された場合、その関心領域の中心画素は、網状影である可能性が最も高く、次にすりガラス影の可能性が高い。逆に正常肺または低吸収域の可能性はほとんど無い。このため、図６に示すような評価値が取得された場合、所見分類処理により、関心領域の中心画素は評価値が最大の８．５である網状影に分類される。これにより、検査画像Ｖ０の部分領域Ｐ０に含まれる肺領域の全画素が複数種類の所見のいずれに分類される。
所見分類部２２は、上述したように学習がなされた多層ニューラルネットワーク４０からなる判別器に、教師データと同一のボクセル領域を部分領域Ｐ０から順次切り出して入力する。これにより、切り出した領域の中心画素について、複数種類の病変領域のそれぞれに対する複数の評価値が出力される。所見分類部２２は、多層ニューラルネットワーク４０に入力された領域の中心画素を、複数の評価値のうち最大の評価値となる所見に分類して所見分類結果を生成する。これにより、部分領域Ｐ０の全画素が複数種類の所見のいずれかに分類される。
特徴量算出部２３は、部分領域Ｐ０において分類された所見毎に特徴量を算出する。具体的には、所見毎の領域の大きさ、所見毎の平均濃度、所見毎の濃度の分散、所見毎の領域の数および所見毎の領域の平均サイズ等の少なくとも１つを特徴量として算出する。なお、部分領域Ｐ０について算出した特徴量を、第１の特徴量と称するものとする。また、所見毎の領域の大きさ、所見毎の領域の数および所見毎の領域の平均サイズ等がサイズ特徴量である。所見毎の領域の大きさとしては、所見毎の領域の体積を用いることができる。第１の特徴量は０以上１以下の値となるように正規化される。
重み係数設定部２４は、検査画像Ｖ０の部分領域Ｐ０の各画素が分類された各所見に対して、各所見のサイズに応じて重み付けの程度が異なる重み係数を設定する。重み係数は、後述する類似度導出処理の際に、部分領域Ｐ０において算出された所見毎の第１の特徴量と、後述する症例画像において類似度導出処理の前に予め算出された第２の特徴量との重み付け演算を行う際の重み係数である。
ここで、医用画像の特徴は多彩であるため、医用画像の観点での特徴量の重要性を考慮して、特徴量に対して適切な重み付けをしないと、特徴量の違いの大きさが医学的な画像の違いの大きさと対応せず、類似度が医学的な感覚とずれてしまう。したがって、特徴量に対して適切に重み付けをしないと、検査画像Ｖ０に類似する症例画像を検索した場合、検索結果が不適切な類似度順となる可能性がある。
ここで、検査画像Ｖ０および症例画像において、同一の所見が略同一の大きさで存在すれば、医学的に２つの画像は類似することとなる。また、所見領域が大きいほど、その所見は診断上重要であるため、所見の大きさが画像間の類似性を判断する上で、極めて重要である。
一方、所見には、点状影のようにサイズが小さくても疾患の初期状態の特性を表す重要な所見もある。また、高齢化による肺の気腫化が進むと、肺にはやや低吸収の状態が発生してくるが、このような低吸収の所見は高齢患者で頻度が高いため、それほど重要ではない。このような高齢者の低吸収の所見は、サイズが大きくてもそれほど重要ではない。
このため、点状影の所見および高齢者の低吸収の所見を同等に判断すると、大きな領域の低吸収域の微妙な差異が点状影の差異よりも大きくなる。その結果、点状影の類似性が低吸収域の類似性に埋もれ、医学的に重要な点状影の症例を含む症例画像を検索できないことになる。
したがって、本実施形態においては、重み係数設定部２４は、各所見のサイズに応じて重み付けの程度が異なる重み係数を、複数の所見のそれぞれに対して設定する。所見のサイズとしては、特徴量算出部２３が算出した第１の特徴量に含まれるサイズ特徴量を用いることができる。具体的には、所見の体積を用いることができる。ここで、所見の体積は３次元の検査画像Ｖ０の部分領域Ｐ０に含まれる各所見の画素数に対して検査画像Ｖ０の１ボクセル当たりの体積を乗算することにより算出することができる。図７に所見の体積の算出結果を示す。図７においては体積の単位は立方ミリメートルである。ところで、肺の大きさは患者により異なる。このため、所見の体積を部分領域Ｐ０の体積により正規化した所見占有率（＝所見体積／肺体積）を所見のサイズとして用いることが好ましい。本実施形態においては、所見のサイズとして所見占有率を用いるものとする。なお、所見占有率をサイズ特徴量として第１の特徴量に含めてもよい。この場合、特徴量算出部２３が所見占有率を算出してもよい。
重み係数設定部２４は、検査画像Ｖ０の部分領域Ｐ０の各所見について、下記の式（１）により所見毎の重み係数Ｗｉを設定する。なお、式（１）において、ｉは所見の種類、ｆｉは検査画像Ｖ０の部分領域Ｐ０における所見毎の所見占有率Ｐｖｉをパラメータとする関数である。
Ｗｉ＝ｆｉ（Ｐｖｉ） （１）
ここで、図７に示すように大きいサイズの所見と小さいサイズの所見とでは、体積の値の桁数が異なる。このため、３次元の情報である所見占有率を関数ｆｉにより２次元相当に変換する等して次元を下げることが好ましい。これにより、所見のサイズの差異が医師の感覚と一致するものとなる。このため、上述したように、サイズが小さくても重要性が高い所見は、その重要度を高くするために、関数ｆｉにより非線形に変換することが好ましい。このため、本実施形態においては、関数ｆｉを下記の式（２）に示すように設定する。
ｆｉ＝ａ・（ｂ・Ｘ＋（１－ｂ）・Ｘ c ） （２）
なお、式（２）において、ａは所見毎の全体的な重要性の違いを決定する定数である。ｃは１以下の値をとり、サイズが小さい所見を強調する効果を決定する定数である。ｂは定数ｃによる効果の程度を決定する定数である。また、Ｘ＝（Ｐｖｉ）2/3 である。所見占有率Ｐｖｉを２／３乗することにより、所見占有率Ｐｖｉを３次元から２次元相当に変換することとなる。
重み係数設定部２４は、式（２）に示す関数を所見毎に設定して式（１）に適用することにより、複数種類の所見のそれぞれについての重み係数Ｗｉを設定する。
ここで、肺等の臓器においては、びまん性に広がる病変および臓器のある部分のみに病変が存在する局所的病変がある。びまん性病変については、類似度導出の対象となる領域を複数の領域に分割し、領域毎の類似度を導出することにより、所望とされる症例画像を検索することができる。しかしながら、局所的病変の場合は、領域分割した領域境界位置のわずかな違いで類似度を精度よく導出することができなくなり、その結果、所望とされる症例画像が検索できなくなってしまう。また、疾患としても、病変の位置の類似度よりも病変の特徴の類似度が重要な場合が多い。とくに、小さい病変の場合、分割する領域のサイズが大きくなると、その領域における病変の占有率が下がるため、類似度を精度よく導出して所望とされる症例画像を検索することが困難となる。
このために、本実施形態においては、検査画像Ｖ０について表示された検査スライス画像の断層面を含む部分領域Ｐ０に限定して、症例画像との類似度を導出する。なお、類似度導出部２５は、検査画像Ｖ０と症例データベースＤＢに登録されたすべての症例画像との類似度を導出するものである。ここで、症例データベースＤＢには、１以上の症例スライス画像からなる症例画像が複数登録されている。詳細には、複数の症例画像のそれぞれに対して、ファイル名、各画素における複数の所見についての評価値、および所見毎の特徴量が登録されている。症例画像について症例データベースＤＢに登録されている特徴量を第２の特徴量と称する。第２の特徴量は第１の特徴量と同様に、０以上１以下の値となるように正規化される。
また、症例データベースＤＢに登録されている症例画像における肺領域は、図８に示すように８つの小領域Ａ１～Ａ８に分割されている。このため、類似度導出部２５は、検査画像Ｖ０の部分領域Ｐ０と、症例画像の８つの小領域Ａ１～Ａ８のそれぞれとの類似度（以下、領域類似度とする）Ｓ１～Ｓ８を導出する。そして、導出した８つの領域類似度Ｓ１～Ｓ８のうち、最大の類似度を検査画像Ｖ０と症例画像との類似度とする。
なお、検査画像Ｖ０の部分領域Ｐ０について、各画素における複数の所見についての評価値、および所見毎の特徴量が取得されると、その検査画像Ｖ０が症例データベースＤＢに新たな症例画像として登録される。その際、その検査画像Ｖ０における肺領域は８等分され、８等分された小領域のそれぞれにおける評価値および第１の特徴量が、新たな症例画像の評価値および第２の特徴量として症例データベースＤＢに登録される。
以下、類似度の導出について説明する。類似度導出部２５は、重み係数設定部２４が設定した重み係数Ｗｉに応じて、検査画像Ｖ０の部分領域Ｐ０において算出された所見毎の第１の特徴量と、症例画像の各小領域Ａ１～Ａ８において予め算出された所見毎の第２の特徴量との重み付け演算を行って、検査画像Ｖ０の部分領域Ｐ０と症例画像の小領域Ａ１～Ａ８のそれぞれとの領域類似度Ｓ１～Ｓ８を導出する。
このために、類似度導出部２５は、下記の式（３）に示すように、所見毎に、第１の特徴量と症例画像の第２の特徴量との距離の差を特徴量の差Ｄｄｉとして算出する。なお、式（３）において、ｋは特徴量の種類、Ｔｖｋは検査画像Ｖ０の部分領域Ｐ０における種類毎の第１の特徴量を、Ｔｃｋは症例画像における種類毎の第２の特徴量を表す。なお、差分が算出される第１の特徴量と第２の特徴量とは特徴量の種類は同一である。また、式（３）においてΣはすべての種類の特徴量についての（Ｔｖｋ－Ｔｃｋ）2の総和を求めることを表す。なお、第１の特徴量および第２の特徴量は０以上１以下の値に正規化されているため、特徴量の差Ｄｄｉも０以上１以下の値となる。なお、第１の特徴量Ｔｖｋと第２の特徴量Ｔｃｋとが一致する場合、特徴量の差Ｄｄｉは０となる。なお、第１の特徴量と第２の特徴量との距離の差に代えて、第１の特徴量と第２の特徴量との差の絶対値等を用いてもよい。
Ｄｄｉ＝√（Σ（Ｔｖｋ－Ｔｃｋ）2） （３）
そして、類似度導出部２５は、重み係数Ｗｉを用いて、検査画像Ｖ０の部分領域Ｐ０と症例画像の各小領域Ａ１～Ａ８との領域類似度Ｓｊ（ｊ＝１～８）を下記の式（４）により算出する。すなわち、所見毎に重み係数Ｗｉと特徴量の差Ｄｄｉとを乗算し、乗算結果をすべての所見について加算することにより、領域類似度Ｓ１～Ｓ８を算出する。なお、式（４）を用いて領域類似度Ｓ１～Ｓ８を算出した場合、第１の特徴量と第２の特徴量との距離が小さいほど、検査画像Ｖ０の部分領域Ｐ０と症例画像の小領域Ａ１～Ａ８とが類似することとなる。このため、式（４）には負号を付与し、検査画像Ｖ０の部分領域Ｐ０と症例画像の小領域Ａ１～Ａ８とが類似するほど、領域類似度Ｓ１～Ｓ８の値が大きくなるようにしている。
Ｓｊ＝－Σ（Ｗｉ×Ｄｄｉ） （４）
一方、上記式（４）により領域類似度を算出した場合、同一の所見が同一のサイズであれば、領域類似度は０となる。しかしながら、同一の病変同士を比較した場合、病変が大きいほど類似するというのが事実である。上記式（４）により領域類似度を算出した場合、サイズが比較的大きい所見が同一の特徴量である場合と、サイズが比較的小さい所見が同一の特徴量である場合とで両者の相違が無く、病変のサイズが大きいほど類似するという事実を反映できていないものとなる。
したがって、検査画像Ｖ０の部分領域Ｐ０および症例画像の小領域Ａ１～Ａ８に含まれる同一の所見については、サイズは単なる差として扱うべきではなく、サイズが類似するほど類似度を大きくすることが好ましい。このため、本実施形態においては、類似度導出部２５は、以下の式（５）により、検査画像Ｖ０の部分領域Ｐ０と症例画像の小領域Ａ１～Ａ８との間において、所見毎のサイズの差Ｄｓｉをさらに算出する。なお、式（５）において、Ｐｖｉは検査画像Ｖ０の部分領域Ｐ０の所見ｉの所見占有率、Ｐｃｉは症例画像の小領域Ａ１～Ａ８の所見ｉの所見占有率を示す。
Ｄｓｉ＝１－｜Ｐｖｉ－Ｐｃｉ｜／（Ｐｖｉ＋Ｐｃｉ） （５）
したがって、類似度導出部２５は、下記の式（６）により検査画像Ｖ０の部分領域Ｐ０と症例画像の小領域Ａ１～Ａ８との領域類似度Ｓａｊを算出することが好ましい。ここで、Ｄｄｉは検査画像Ｖ０の部分領域Ｐ０および症例画像の小領域Ａ１～Ａ８において所見の特徴量が類似するほど値が小さくなり、Ｄｓｉは検査画像Ｖ０の部分領域Ｐ０および症例画像の小領域Ａ１～Ａ８において所見のサイズが類似するほど大きい値となる。このため、式（６）を用いることにより、同一の所見についてのサイズを考慮して、検査画像Ｖ０の部分領域Ｐ０と症例画像の小領域Ａ１～Ａ８とが類似するほど大きい値となる領域類似度を算出することができる。
Ｓａｊ＝Σ（Ｗｉ×（Ｄｓｉ－Ｄｄｉ） （６）
なお、式（６）により領域類似度Ｓａｊを算出した場合、検査画像Ｖ０の部分領域Ｐ０に応じて領域類似度Ｓａｊの最大値が異なるものとなる。このため、検査画像Ｖ０の部分領域Ｐ０と症例画像の小領域Ａ１～Ａ８との領域類似度Ｓａｊが最大となる条件、すなわち検査画像Ｖ０の部分領域Ｐ０と症例画像の小領域Ａ１～Ａ８との差異が無いという条件により領域類似度Ｓａｊを正規化することが好ましい。式（７）は式（６）により算出した領域類似度Ｓａｊを、検査画像Ｖ０の部分領域Ｐ０と症例画像の小領域Ａ１～Ａ８との領域類似度Ｓａｊが最大となる条件により正規化したものである。式（７）においてＳｂｊは正規化した領域類似度である。
Ｓｂｊ＝Ｓａｊ／ΣＷｉ＝Σ（Ｗｉ×（Ｄｓｉ－Ｄｄｉ）／ΣＷｉ （７）
なお、式（４）により領域類似度を算出する場合も、領域類似度Ｓｊを正規化することが好ましい。式（８）は式（４）を検査画像Ｖ０の部分領域Ｐ０と症例画像の小領域Ａ１～Ａ８との領域類似度Ｓｊが最大となる条件により正規化したものである。式（８）においてＳｃｊは正規化した領域類似度である。
Ｓｃｊ＝Ｓｊ／ΣＷｉ＝Σ（Ｗｉ×Ｄｓｉ）／ΣＷｉ （８）
また、領域類似度を算出する際には、検査画像Ｖ０の肺領域と、症例画像の肺領域とを比較し、症例画像の小領域Ａ１～Ａ８において、検査画像Ｖ０の部分領域Ｐ０に位置的に近い小領域ほど、重み付けを大きくした領域類似度が算出されるようにしてもよい。例えば、図９に示すように、検査画像Ｖ０の肺領域３４と、症例画像の肺領域３５とにおいて、検査画像Ｖ０の部分領域Ｐ０と、症例画像の肺領域３５の小領域Ａ３とが位置的に対応することとなる。このため、算出された領域類似度をＳｂｊとした場合、下記の式（９）により、領域類似度Ｓｂｊを補正して、補正された領域類似度Ｓｄｊを導出することが好ましい。式（９）において、ｋは部分領域Ｐ０と位置的に対応する小領域を表し（図９に示す場合ｋ＝３）、ｄは予め定められた１／分割数以下の値を有する定数を表す。例えば分割数が８であれば、ｄ＝１／８である。
Ｓｄｊ＝（１－ｄ×｜ｋ－ｊ｜）×Ｓｂｊ （９）
式（９）により、部分領域Ｐ０と位置的に対応する小領域については、（１－ｄ×｜ｋ－ｊ｜）＝１となるため、Ｓｄｊ＝Ｓｂｊとなる。また、部分領域Ｐ０と位置的に離れるほど、ｄ×｜ｋ－ｊ｜が大きくなるため、Ｓｄｊの値はＳｂｊと比較して小さくなる。これにより、検査画像Ｖ０の部分領域Ｐ０に位置的に近い部分が類似する症例画像ほど、大きい類似度が算出されることとなる。
類似度導出部２５は、上述したように導出した検査画像Ｖ０の部分領域Ｐ０と症例画像の小領域Ａ１～Ａ８との領域類似度のうち、代表領域類似度を、検査画像Ｖ０と症例画像との類似度Ｓｆとして導出する。なお、類似度Ｓｆは、複数の領域類似度のうちの最大となる領域類似度とすればよい。しかしながら、代表領域類似度は最大となる領域類似度に限定されるものではなく、複数の領域類似度を代表する領域類似度であれば、複数の領域類似度の平均値および中間値、並びに上位所定数の領域類似度の加算値等を用いることができる。
検索部２６は、症例データベースＤＢから、類似度Ｓｆに基づいて、検査画像Ｖ０に類似する症例画像を類似症例画像として検索する検索処理を行う。検索部２６は、検査画像Ｖ０と症例データベースＤＢに登録されたすべての症例画像との類似度Ｓｆに基づいて、検査画像Ｖ０に類似する症例画像を類似症例画像として検索する。具体的には、検索部２６は、類似度Ｓｆが大きい順に症例画像をソートして検索結果リストを作成する。図１０は検索結果リストを示す図である。図１０に示すように、検索結果リストＬ０には、症例データベースＤＢに登録された症例画像が、類似度Ｓｆが大きい順にソートされている。そして、検索部２６は、検索結果リストＬ０におけるソート順が上位所定数の症例画像を、症例データベースＤＢから類似症例画像として抽出する。なお、類似症例画像が類似医用画像に対応する。
表示制御部２１は、第２の表示制御処理を行って、検索部２６による検索結果を表示部１４に表示する。図１１は検索結果を示す図である。図１１に示すように、表示画面３０の検索結果表示領域３２には類似症例画像Ｒ１～Ｒ４が表示されている。なお、ここでは４つの類似症例画像Ｒ１～Ｒ４を表示しているが、さらに多くの類似症例画像を表示してもよい。この場合、検索結果表示領域３２に表示しきれない類似症例画像は、検索結果表示領域３２をスクロールすることにより表示することができる。
なお、類似症例画像Ｒ１～Ｒ４は、症例画像において、検査画像Ｖ０の部分領域Ｐ０との類似度が最大となった小領域における代表となる断層面の症例スライス画像である。代表となる断層面は、例えば小領域の重心位置にある断層面とすることができるが、これに限定されるものではない。なお、図１２に示すように、類似症例画像Ｒ１～Ｒ４に、疾患名Ｎ１～Ｎ４を表示してもよい。図１２においては、疾患名Ｎ１～Ｎ４は「間質性肺炎」となっている。疾患名Ｎ１～Ｎ４は、症例データベースＤＢを参照することにより取得すればよい。
なお、所見分類部２２、特徴量算出部２３、重み係数設定部２４、類似度導出部２５および検索部２６は、図３に示す表示画面３０に表示された検索実行ボタン３３が指示されることにより処理を開始するものとするが、これに限定されるものではない。例えば、ユーザが検査画像Ｖ０の断層面を切り替え表示する場合、病変が疑われる検査スライス画像を表示画面３０の検査スライス画像表示領域３１に表示して観察することとなる。このため、検査画像Ｖ０の断層面の切り替え表示中に、特定の断層面の検査スライス画像が表示されてから予め定められた時間（例えば０．５秒）が経過した場合に、所見分類部２２、特徴量算出部２３、重み係数設定部２４、類似度導出部２５および検索部２６の処理を開始して検索結果を表示してもよい。また、特定の断層面の検査スライス画像が表示されてから予め定められた時間が経過した場合に、所見分類部２２、特徴量算出部２３、重み係数設定部２４、類似度導出部２５および検索部２６の処理を開始して検索結果を生成しておき、検索実行ボタン３３が指示されると直ちに検索結果を表示するようにしてもよい。
次いで、第１の実施形態において行われる処理について説明する。図１３は第１の実施形態において行われる処理を示すフローチャートである。まず、画像取得部２０が、検査画像Ｖ０を取得し（ステップＳＴ１）、表示制御部２１が、検査画像Ｖ０を表示部１４に表示する（ステップＳＴ２）。そして、検索実行ボタン３３が指示されると（ステップＳＴ３；ＹＥＳ）、所見分類部２２が、検査画像Ｖ０に含まれる肺領域の部分領域Ｐ０を、複数種類の所見をそれぞれ示す複数種類の病変領域に分類して所見分類結果を生成する（ステップＳＴ４）。そして、特徴量算出部２３が、検査画像Ｖ０の部分領域Ｐ０において分類された所見毎に第１の特徴量を算出する（ステップＳＴ５）。さらに、重み係数設定部２４が、検査画像Ｖ０の部分領域Ｐ０の所見毎の重み係数Ｗｉを設定する（ステップＳＴ６）。
続いて、類似度導出部２５が、重み係数に応じて、検査画像Ｖ０の部分領域Ｐ０において算出された所見毎の第１の特徴量と、症例画像の小領域Ａ１～Ａ８において予め算出された所見毎の第２の特徴量との重み付け演算を行って、検査画像Ｖ０の部分領域Ｐ０と症例画像の小領域Ａ１～Ａ８との領域類似度を導出する（ステップＳＴ７）。さらに、類似度導出部２５が、領域類似度のうちの代表類似度を、検査画像Ｖ０と症例画像との類似度として導出する（ステップＳＴ８）。なお、上述したように、類似度導出部２５は、検査画像Ｖ０と症例データベースＤＢに登録されたすべての症例画像との類似度を導出するものである。さらに、検索部２６が、類似度に基づいて検索処理を行い（ステップＳＴ９）、表示制御部２１が検索結果を表示部１４に表示し（ステップＳＴ１０）、処理を終了する。
このように、本実施形態によれば、検査画像Ｖ０における特定の断層面の検査スライス画像が表示部１４に表示され、検査画像Ｖ０における、少なくとも特定の断層面を含む部分領域Ｐ０内の各画素が、複数種類の所見のうちの少なくとも１つの所見に分類される。そして、部分領域Ｐ０において分類された所見毎に第１の特徴量が算出され、部分領域Ｐ０において分類された各所見に対して、各所見のサイズに応じて重み付けの程度が異なる重み係数が設定される。さらに、重み係数に応じて、部分領域Ｐ０において算出された所見毎の第１の特徴量と、症例画像において予め算出された所見毎の第２の特徴量との重み付け演算が行われて、検査画像Ｖ０と症例画像との類似度が導出される。
ここで、局所的に存在する小さな病変は、検査画像Ｖ０の全体から見ると病変占有率は小さいが、検査画像Ｖ０の部分領域Ｐ０の中では病変占有率が高くなる。このため、本実施形態のように検査画像Ｖ０の部分領域Ｐ０を用いることにより、小さな病変についての特徴量を、他の病変、他の領域および解析誤差に影響されることなく算出することができる。したがって、本実施形態によれば、検査画像Ｖ０および症例画像に含まれる所見のサイズに応じて、かつ医師が注目している断層面を考慮して、検査画像Ｖ０および症例画像の間の類似度を適切に決定することができる。
また、本実施形態においては、表示された断層画像を含む部分領域Ｐ０を設定して、検査画像Ｖ０に類似する症例画像を検索している。このため、表示された断層画像において、病変等をマーキングしなくても、症例画像を検索することができる。したがって、ユーザの操作の負担を軽減することができる。
次いで、本開示の第２の実施形態について説明する。なお、第２の実施形態による類似度決定装置の構成は、図２に示す類似度決定装置の構成と同一であり、行われる処理のみが異なるため、ここでは装置についての詳細な説明は省略する。第２の実施形態による類似度決定装置は、検査画像Ｖ０の全領域と症例画像の全領域との類似度をさらに導出し、検査画像Ｖ０の部分領域Ｐ０を用いて導出した類似度（以下第１の類似度とする）と、検査画像Ｖ０の全領域と症例画像の全領域との類似度（以下第２の類似度とする）とを用いて、検査画像Ｖ０と症例画像との類似度を決定するようにした点が第１の実施形態と異なる。
第２の実施形態においては、所見分類部２２、特徴量算出部２３および重み係数設定部２４は、上記第１の実施形態と同様に、検査画像Ｖ０の部分領域Ｐ０を所見に分類し、所見毎に第１の特徴量を算出し、所見のサイズに応じた重み係数Ｗｉを設定する。なお、第１の実施形態において設定した重み係数を第１の重み係数Ｗ１ｉと称するものとする。
第２の実施形態においては、所見分類部２２は、検査画像Ｖ０の全領域についての各画素を、複数種類の所見のうちの少なくとも１つの所見に分類する。また、特徴量算出部２３は、検査画像Ｖ０において分類された所見毎に特徴量を算出する。なお、検査画像Ｖ０の全領域について算出した特徴量を第３の特徴量と称するものとする。また、重み係数設定部２４は、検査画像Ｖ０において分類された各所見に対して、各所見のサイズに応じて重み付けの程度が異なる重み係数を第２の重み係数Ｗ２ｉとして設定する。
ここで、第２の実施形態における所見分類部２２、特徴量算出部２３および重み係数設定部２４が行う処理は、検査画像Ｖ０の全領域を用いる点を除いて、第１の実施形態における所見分類部２２、特徴量算出部２３および重み係数設定部２４が検査画像Ｖ０の部分領域Ｐ０を用いて行う処理と同一であるため、ここでは詳細な説明は省略する。
第２の実施形態においては、類似度導出部２５は、まず第１の実施形態と同様に、検査画像Ｖ０の部分領域Ｐ０と症例画像の小領域Ａ１～Ａ８との領域類似度を導出し、複数の領域類似度のうちの代表領域類似度を検査画像Ｖ０と症例画像との第１の類似度Ｓｆ１として導出する。また、類似度導出部２５は、重み係数設定部２４が設定した第２の重み係数Ｗ２ｉに応じて、検査画像Ｖ０において算出された所見毎の第３の特徴量と、症例画像において予め算出された所見毎の特徴量（以下、第４の特徴量とする）との重み付け演算を行って、検査画像Ｖ０と症例画像との類似度を第２の類似度Ｓｆ２として導出する。そして、類似度導出部２５は、以下の式（１０）に示すように、第１の類似度Ｓｆ１と第２の類似度Ｓｆ２とを重み係数αにより重み付け加算して、検査画像Ｖ０と症例画像との最終的な類似度Ｓｆ０を導出する。
Ｓｆ０＝α×Ｓｆ１＋（１－α）×Ｓｆ２ （１０）
ここで、肺気腫および病変として結節を含む第１の場合と、正常肺の中に病変として結節を含む第２の場合とでは、同じ結節という疾患であっても、第１の場合の病変の形状は、肺気腫の影響により第２の場合の病変の形状と異なる場合がある。また、治療に関しても第１の場合においては、肺気腫を考慮した治療を行う必要がある。ここで、肺気腫は肺の全領域に現れる所見である。このため、肺の局所的な領域のみではなく、全領域を考慮した症例画像の検索が所望される場合がある。
第２の実施形態においては、第１の実施形態により導出した第１の類似度Ｓｆ１に加えて、検査画像Ｖ０の全領域をも考慮した第２の類似度Ｓｆ２を導出して、検査画像Ｖ０と症例画像との類似度を導出するようにした。このため、肺の全領域に亘る疾患をも考慮して、検査画像Ｖ０に類似する症例画像を検索することができる。
なお、上記第２の実施形態においては、式（１０）における重み係数αの値を変更可能なものとしてもよい。図１４は第２の実施形態における検索結果の表示画面を示す図である。図１４に示すように、第２の実施形態における検索結果の表示画面３０Ａには、スライダ３６が表示されている。スライダ３６は入力部１５を用いてつまみ３６Ａを左右に移動させることにより、式（１０）における重み係数αを変更可能とされている。このように、式（１０）における重み係数αを変更可能とすることにより、検査画像Ｖ０の部分領域Ｐ０を重要視する程度あるいは全領域を重要視する程度を変更することができる。このため、ユーザが所望とするように症例画像の検索を行うことができる。
また、上記第１および第２の実施形態においては、症例画像における肺領域を例えば８つの小領域に分割している。しかしながら、このように肺領域を小領域に分割すると、小領域の境界に検査画像Ｖ０の部分領域Ｐ０に含まれる所見に類似する所見が存在する場合、部分領域Ｐ０と小領域との類似度が小さくなってしまう。このため、症例画像を小領域に分割するに際し、互いに重複する領域を有する複数の小領域に分割することが好ましい。図１５は症例画像を互いに重複する領域を有する複数の小領域に分割した状態を示す図である。図１５においては、症例画像の肺領域３５を図８に示す８つの小領域Ａ１～Ａ８に分割し、かつ図１５の右側に示すように、小領域Ａ１～Ａ８と重複する７つの小領域Ａ９～Ａ１５に分割した状態を示している。
このように、互いに重複する領域を有する複数の小領域に分割することにより、小領域Ａ１～Ａ８の境界に所見が存在する場合であっても、小領域Ａ９～Ａ１５においてはその所見は小領域Ａ１～Ａ８の境界から離れた位置に存在することとなる。逆に、小領域Ａ９～Ａ１５の境界に所見が存在する場合であっても、小領域Ａ１～Ａ８においてはその所見は小領域Ａ９～Ａ１５の境界から離れた位置に存在することとなる。このため、部分領域Ｐ０と症例画像の小領域との類似度を精度よく導出することができる。
また、上記第１および第２の実施形態においては、症例画像の肺領域を等分割しているが、これに限定されるものではない。例えば、気管支の分岐位置のうち、気管支第１分岐および気管支第３分岐を基準として、肺領域を上中下の３つの領域に分割し、さらに上中下の各領域を体積で均等に分割してもよい。図１６は気管支分岐位置を用いた肺領域の分割を説明するための図である。なお、気管支第１分岐とは、気管と左右気管支との分岐点に相当する。そして、本実施形態においては、気管支第１分岐から気管支末梢に向かうにつれて出現する分岐を、順次第２気管支分岐、第３気管支分岐…と称するものとする。気管支第３分岐は左右の肺領域のそれぞれに２つ存在する。本実施形態においては、被検体の体軸方向下側に位置する気管支第３分岐を基準として、領域分割を行うものとする。肺領域を分割するに際し、図１６に示すように、気管支第１分岐Ｂ１において水平面５２を設定し、左右の肺領域５０Ｌ，５０Ｒにおける下側の気管支第３分岐Ｂ３１にそれぞれ水平面５３Ｌ，５３Ｒを設定する。なお、図１６は肺領域を２次元で示しているが、症例画像は３次元画像であるため、実際には上述したように水平面を設定することとなる。ここで、水平面とは、症例画像を取得した被検体の体軸に垂直に交わる面を意味する。
さらに、左肺領域５０Ｌが、水平面５２と左肺領域５０Ｌの上端との間の左上肺領域５０ＬＵ、水平面５２と水平面５３Ｌとの間の左中肺領域５０ＬＭ、および水平面５３Ｌと左肺領域５０Ｌの下端との間の左下肺領域５０ＬＬの３つの領域に分割される。また、右肺領域５０Ｒが、水平面５２と右肺領域５０Ｒの上端との間の右上肺領域５０ＲＵ、水平面５２と水平面５３Ｒとの間の右中肺領域５０ＲＭ、および水平面５３Ｒと右肺領域５０Ｒの下端との間の右下肺領域５０ＲＬの３つの領域に分割される。さらに、左右の上肺領域５０ＬＵ，５０ＲＵおよび中肺領域５０ＬＭ，５０ＲＭが３等分され、左右の下肺領域５０ＬＬ，５０ＲＬが５等分される。なお、左右の上肺領域５０ＬＵ，５０ＲＵ、中肺領域５０ＬＭ，５０ＲＭおよび下肺領域５０ＬＬ，５０ＲＬの分割数は上記に限定されるものではないが、肺では通常下肺領域が大きいため、下肺領域の分割数を上肺領域および中肺領域よりも大きくすることが好ましい。
このように肺領域を分割することにより、部分的な肺領域の腫大化および萎縮を考慮して、検査画像Ｖ０の部分領域Ｐ０と症例画像の小領域との類似度を導出することができる。
また、上記実施形態においては、検査画像Ｖ０の１つの断層面の断層画像を表示しているが、これに限定されるものではない。図１７に示すように、検査スライス画像表示領域３１を３つの小表示領域に分割し、そのそれぞれに検査画像Ｖ０のアキシャル断面の検査スライス画像ＳＬ１０、サジタル断面の検査スライス画像ＳＬ１１およびコロナル断面の検査スライス画像ＳＬ１２を表示してもよい。ここで、３つの検査スライス画像の交線は１つの点で交わることとなる。このため、検査画像Ｖ０の部分領域Ｐ０は３つの検査スライス画像の交点を含む領域とすればよい。この場合、検査画像Ｖ０の肺領域を以下のように分割しておき、交点を含む領域を部分領域Ｐ０として用いればよい。すなわち、図１８に示すように、左右の肺領域を左中枢領域５０ＬＣおよび右中枢領域５０ＲＣとそれ以外の領域とに分割し、中枢領域以外の領域を、さらに上中下の３つの領域、中領域と外領域、および腹側と背側に分割する。図１８において外領域に斜線を付与している。この場合、左右の肺領域はそれぞれ１３個の領域に分割されることとなる。
また、上記実施形態においては、検査スライス画像表示領域３１に表示された検査スライス画像の断層面を含む部分領域Ｐ０を検査画像Ｖ０に設定しているが、これに限定されるものではない。症例画像と同様に、検査画像Ｖ０を予め複数の小領域に分割しておき、検査スライス画像の断層面を含む小領域を部分領域Ｐ０として用いてもよい。この場合、検査画像Ｖ０の小領域のそれぞれにおいて、第１の特徴量を予め算出しておくことが好ましい。これにより、検査画像Ｖ０と症例画像との類似度を導出するための演算時間を短縮することができるため、類似症例画像の検索を高速に行うことができる。また、検査画像Ｖ０においても、図１５に示すように重複する複数の小領域に分割しておいてもよい。
また、上記実施形態においては、検査画像Ｖ０の断層画像を表示部１４に表示しているがこれに限定されるものではない。所見分類部２２において検査画像Ｖ０のマッピング画像を生成し、マッピング画像の断層画像を表示部１４に表示してもよい。
すなわち、所見分類部２２における所見分類処理の結果に基づいて、部分領域Ｐ０における各分類の領域に色を割り当てることによってマッピング画像を生成し、生成したマッピング画像を表示すればよい。具体的には、所見分類部２２は、上述した複数種類の所見のうちのいずれかに分類された３次元空間上の全ての画素について、同一の分類とされた画素に対して同じ色を割り当てることによって３次元のマッピング画像を生成する。図１９は、複数種類の各分類に対して、その分類に応じた色が割り当てられたマッピング画像における一断面を示す図である。なお、図１９においては、説明を簡単なものとするために、すりガラス影、正常肺、気管支拡張、蜂窩肺、網状影、浸潤影、低吸収域および嚢胞の８種類の所見に分類した場合のマッピング画像を示す。また、図１９には片肺のマッピング画像のみを示す。
また、上記各実施形態においては、検査画像Ｖ０の画素毎に、複数種類の所見のそれぞれであることの可能性を表す複数の評価値を算出し、複数の評価値に基づいて、検査画像Ｖ０の各画素を複数種類の所見のうちの少なくとも１つの所見に分類しているが、所見分類の手法は評価値を用いる手法に限定されるものではない。
なお、上記各実施形態においては、画像保管サーバ３に症例データベースＤＢを保存しているが、ストレージ１３に症例データベースＤＢを保存してもよい。
また、上記各実施形態においては、検査画像を症例データベースＤＢに登録しているが、検査画像以外の画像を登録対象画像として症例データベースに登録してもよい。
また、上記各実施形態において、例えば、画像取得部２０、表示制御部２１、所見分類部２２、特徴量算出部２３、重み係数設定部２４、類似度導出部２５、および検索部２６といった各種の処理を実行する処理部（Processing unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（Processor）を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device :PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせまたはＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。
複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントおよびサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアとの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（Circuitry）を用いることができる。
１ 類似度決定装置
２ ３次元画像撮影装置
３ 画像保管サーバ
４ ネットワーク
１１ ＣＰＵ
１２ メモリ
１３ ストレージ
１４ 表示部
１５ 入力部
２０ 画像取得部
２１ 表示制御部
２２ 所見分類部
２３ 特徴量算出部
２４ 重み係数設定部
２５ 類似度導出部
２６ 検索部
３０，３０Ａ 表示画面
３１ 検査スライス画像表示領域
３２ 検索結果表示領域
３３ 検索実行ボタン
３４，３５ 肺領域
３６ スライダ
３６Ａ つまみ
４０ 多層ニューラルネットワーク
４１ 入力層
４２ 出力層
５０Ｌ 左肺領域
５０Ｒ 右肺領域
５１ 気管支
Ａ１～Ａ１５ 小領域
Ｂ１ 気管支第１分岐
Ｂ３１ 気管支第３分岐
Ｄｋ 断層面
ＤＢ 症例データベース
Ｌ０ 検査リスト
Ｎ１～Ｎ４ 疾患名
Ｐ０ 部分領域
Ｒ１～Ｒ４ 類似症例画像
ＳＬ１０～ＳＬ１２ 検査スライス画像
Ｖ０ 検査画像

Claims (20)

  1. ３次元の第１の医用画像と３次元の第２の医用画像との類似度を決定する類似度決定装置であって、
    前記第１の医用画像における特定の断層面の断層画像を表示部に表示する表示制御部と、
    前記第１の医用画像における、少なくとも前記特定の断層面を含む部分領域内の各画素を、複数種類の所見のうちの少なくとも１つの所見に分類する所見分類部と、
    前記部分領域において分類された所見毎に第１の特徴量を算出する特徴量算出部と、
    前記部分領域において分類された各所見に対して、該各所見のサイズに応じて重み付けの程度が異なる重み係数を設定する重み係数設定部と、
    前記重み係数に応じて、前記部分領域において算出された前記所見毎の前記第１の特徴量と、前記第２の医用画像における複数の小領域のそれぞれにおいて予め算出された前記所見毎の第２の特徴量との重み付け演算を行って、前記第２の医用画像における複数の小領域のそれぞれと前記部分領域との領域類似度を導出し、前記複数の領域類似度のうちの代表類似度を、前記第１の医用画像と前記第２の医用画像との類似度として導出する類似度導出部とを備えた類似度決定装置。
  2. 前記類似度導出部は、前記複数の小領域のうちの前記部分領域に位置的に近い小領域ほど、前記領域類似度を大きくして前記代表類似度を決定する請求項１に記載の類似度決定装置。
  3. 前記第２の医用画像は、互いに重複する領域を有する複数の小領域に分割されてなる請求項１または２に記載の類似度決定装置。
  4. ３次元の第１の医用画像と３次元の第２の医用画像との類似度を決定する類似度決定装置であって、
    前記第１の医用画像における特定の断層面の断層画像を表示部に表示する表示制御部と、
    前記第１の医用画像における複数の小領域のそれぞれにおいて、前記小領域内の各画素を、複数種類の所見のうちの少なくとも１つの所見に予め分類する所見分類部と、
    前記小領域において分類された所見毎に第１の特徴量を予め算出する特徴量算出部と、
    前記小領域において分類された各所見に対して、該各所見のサイズに応じて重み付けの程度が異なる重み係数を予め設定する重み係数設定部と、
    前記特定の断層面を含む小領域を前記特定の断層面を含む部分領域として用いて、前記重み係数に応じて、前記部分領域において予め算出された前記所見毎の前記第１の特徴量と、前記第２の医用画像において予め算出された前記所見毎の第２の特徴量との重み付け演算を行って、前記第１の医用画像と前記第２の医用画像との類似度を導出する類似度導出部とを備えた類似度決定装置。
  5. ３次元の第１の医用画像と３次元の第２の医用画像との類似度を決定する類似度決定装置であって、
    前記第１の医用画像における特定の断層面の断層画像を表示部に表示する表示制御部と、
    前記第１の医用画像における、少なくとも前記特定の断層面を含む部分領域内の各画素を、複数種類の所見のうちの少なくとも１つの所見に分類するように機械学習がなされた判別器を有し、該判別器により前記部分領域内の各画素を前記複数種類の所見に分類する所見分類部と、
    前記部分領域において分類された所見毎に第１の特徴量を算出する特徴量算出部と、
    前記部分領域において分類された各所見に対して、該各所見のサイズに応じて重み付けの程度が異なる重み係数を設定する重み係数設定部と、
    前記重み係数に応じて、前記部分領域において算出された前記所見毎の前記第１の特徴量と、前記第２の医用画像において予め算出された前記所見毎の第２の特徴量との重み付け演算を行って、前記第１の医用画像と前記第２の医用画像との類似度を導出する類似度導出部とを備えた類似度決定装置。
  6. ３次元の第１の医用画像と３次元の第２の医用画像との類似度を決定する類似度決定装置であって、
    前記第１の医用画像における特定の断層面の断層画像を表示部に表示する表示制御部と、
    前記第１の医用画像における、少なくとも前記特定の断層面を含む部分領域内の各画素を、複数種類の所見のうちの少なくとも１つの所見に分類し、かつ前記第１の医用画像の各画素を、前記複数種類の所見のうちの少なくとも１つの所見に分類する所見分類部と、
    前記部分領域において分類された所見毎に第１の特徴量を算出し、かつ前記第１の医用画像において分類された所見毎に第３の特徴量を算出する特徴量算出部と、
    前記部分領域において分類された各所見に対して、該各所見のサイズに応じて重み付けの程度が異なる重み係数を第１の重み係数として設定し、前記第１の医用画像において分類された各所見に対して、該各所見のサイズに応じて重み付けの程度が異なる重み係数を第２の重み係数として設定する重み係数設定部と、
    前記第１の重み係数に応じて、前記部分領域において算出された前記所見毎の前記第１の特徴量と、前記第２の医用画像において予め算出された前記所見毎の第２の特徴量との重み付け演算を行って、前記第１の医用画像と前記第２の医用画像との類似度を第１の類似度として導出し、前記第２の重み係数に応じて、前記第１の医用画像において算出された前記所見毎の前記第３の特徴量と、前記第２の医用画像において予め算出された前記所見毎の第４の特徴量との重み付け演算を行って、前記第１の医用画像と前記第２の医用画像との類似度を第２の類似度として導出し、前記第１の類似度と前記第２の類似度とに基づいて、前記第１の医用画像と前記第２の医用画像との最終的な類似度を導出する類似度導出部とを備えた類似度決定装置。
  7. 前記類似度導出部は、前記第１の類似度と第２の類似度とを重み付け加算することにより前記最終的な類似度を導出する請求項６に記載の類似度決定装置。
  8. 前記類似度導出部は、前記第１の類似度と第２の類似度とを重み付け加算する際の重み係数を変更可能である請求項７に記載の類似度決定装置。
  9. 複数の前記第２の医用画像が登録された症例データベースであって、前記複数の第２の医用画像のそれぞれについての前記第２の特徴量が、前記複数の第２の医用画像のそれぞれと対応づけられて登録された症例データベースを参照して、前記第１の医用画像と複数の前記第２の医用画像との類似度に基づいて、前記第１の医用画像に類似する第２の医用画像を類似医用画像として検索する検索部をさらに備えた請求項１から５のいずれか１項に記載の類似度決定装置。
  10. 複数の前記第２の医用画像が登録された症例データベースであって、前記複数の第２の医用画像のそれぞれについての前記第２の特徴量および前記第４の特徴量が、前記複数の第２の医用画像のそれぞれと対応づけられて登録された症例データベースを参照して、前記第１の医用画像と複数の前記第２の医用画像との前記最終的な類似度に基づいて、前記第１の医用画像に類似する第２の医用画像を類似医用画像として検索する検索部をさらに備えた請求項６から８のいずれか１項に記載の類似度決定装置。
  11. 前記検索部は、前記特定の断層面の断層画像が、予め定められた時間表示されると、前記検索を実行する請求項９または１０に記載の類似度決定装置。
  12. 前記表示制御部は、前記類似医用画像の検索結果を前記表示部に表示する請求項９から１１のいずれか１項に記載の類似度決定装置。
  13. ３次元の第１の医用画像と３次元の第２の医用画像との類似度を決定する類似度決定方法であって、
    前記第１の医用画像における特定の断層面の断層画像を表示部に表示し、
    前記第１の医用画像における、少なくとも前記特定の断層面を含む部分領域内の各画素を、複数種類の所見のうちの少なくとも１つの所見に分類し、
    前記部分領域において分類された所見毎に第１の特徴量を算出し、
    前記部分領域において分類された各所見に対して、該各所見のサイズに応じて重み付けの程度が異なる重み係数を設定し、
    前記重み係数に応じて、前記部分領域において算出された前記所見毎の前記第１の特徴量と、前記第２の医用画像における複数の小領域のそれぞれにおいて予め算出された前記所見毎の第２の特徴量との重み付け演算を行って、前記第２の医用画像における複数の小領域のそれぞれと前記部分領域との領域類似度を導出し、前記複数の領域類似度のうちの代表類似度を、前記第１の医用画像と前記第２の医用画像との類似度として導出する類似度決定方法。
  14. ３次元の第１の医用画像と３次元の第２の医用画像との類似度を決定する類似度決定方法であって、
    前記第１の医用画像における特定の断層面の断層画像を表示部に表示し、
    前記第１の医用画像における複数の小領域のそれぞれにおいて、前記小領域内の各画素を、複数種類の所見のうちの少なくとも１つの所見に予め分類し、
    前記小領域において分類された所見毎に第１の特徴量を予め算出し、
    前記小領域において分類された各所見に対して、該各所見のサイズに応じて重み付けの程度が異なる重み係数を予め設定し、
    前記特定の断層面を含む小領域を前記特定の断層面を含む部分領域として用いて、前記重み係数に応じて、前記部分領域において予め算出された前記所見毎の前記第１の特徴量と、前記第２の医用画像において予め算出された前記所見毎の第２の特徴量との重み付け演算を行って、前記第１の医用画像と前記第２の医用画像との類似度を導出する類似度決定方法。
  15. ３次元の第１の医用画像と３次元の第２の医用画像との類似度を決定する類似度決定方法であって、
    前記第１の医用画像における特定の断層面の断層画像を表示部に表示し、
    前記第１の医用画像における、少なくとも前記特定の断層面を含む部分領域内の各画素を、複数種類の所見のうちの少なくとも１つの所見に分類するように機械学習がなされた判別器を用いて、前記部分領域内の各画素を前記複数種類の所見に分類し、
    前記部分領域において分類された所見毎に第１の特徴量を算出し、
    前記部分領域において分類された各所見に対して、該各所見のサイズに応じて重み付けの程度が異なる重み係数を設定し、
    前記重み係数に応じて、前記部分領域において算出された前記所見毎の前記第１の特徴量と、前記第２の医用画像において予め算出された前記所見毎の第２の特徴量との重み付け演算を行って、前記第１の医用画像と前記第２の医用画像との類似度を導出する類似度決定方法。
  16. ３次元の第１の医用画像と３次元の第２の医用画像との類似度を決定する類似度決定方法であって、
    前記第１の医用画像における特定の断層面の断層画像を表示部に表示し、
    前記第１の医用画像における、少なくとも前記特定の断層面を含む部分領域内の各画素を、複数種類の所見のうちの少なくとも１つの所見に分類し、かつ前記第１の医用画像の各画素を、前記複数種類の所見のうちの少なくとも１つの所見に分類し、
    前記部分領域において分類された所見毎に第１の特徴量を算出し、かつ前記第１の医用画像において分類された所見毎に第３の特徴量を算出し、
    前記部分領域において分類された各所見に対して、該各所見のサイズに応じて重み付けの程度が異なる重み係数を第１の重み係数として設定し、前記第１の医用画像において分類された各所見に対して、該各所見のサイズに応じて重み付けの程度が異なる重み係数を第２の重み係数として設定し、
    前記第１の重み係数に応じて、前記部分領域において算出された前記所見毎の前記第１の特徴量と、前記第２の医用画像において予め算出された前記所見毎の第２の特徴量との重み付け演算を行って、前記第１の医用画像と前記第２の医用画像との類似度を第１の類似度として導出し、前記第２の重み係数に応じて、前記第１の医用画像において算出された前記所見毎の前記第３の特徴量と、前記第２の医用画像において予め算出された前記所見毎の第４の特徴量との重み付け演算を行って、前記第１の医用画像と前記第２の医用画像との類似度を第２の類似度として導出し、前記第１の類似度と前記第２の類似度とに基づいて、前記第１の医用画像と前記第２の医用画像との最終的な類似度を導出する類似度決定方法。
  17. ３次元の第１の医用画像と３次元の第２の医用画像との類似度を決定する処理をコンピュータに実行させる類似度決定プログラムであって、
    前記第１の医用画像における特定の断層面の断層画像を表示部に表示する手順と、
    前記第１の医用画像における、少なくとも前記特定の断層面を含む部分領域内の各画素を、複数種類の所見のうちの少なくとも１つの所見に分類する手順と、
    前記部分領域において分類された所見毎に第１の特徴量を算出する手順と、
    前記部分領域において分類された各所見に対して、該各所見のサイズに応じて重み付けの程度が異なる重み係数を設定する手順と、
    前記重み係数に応じて、前記部分領域において算出された前記所見毎の前記第１の特徴量と、前記第２の医用画像における複数の小領域のそれぞれにおいて予め算出された前記所見毎の第２の特徴量との重み付け演算を行って、前記第２の医用画像における複数の小領域のそれぞれと前記部分領域との領域類似度を導出し、前記複数の領域類似度のうちの代表類似度を、前記第１の医用画像と前記第２の医用画像との類似度として導出する手順とをコンピュータに実行させる類似度決定プログラム。
  18. ３次元の第１の医用画像と３次元の第２の医用画像との類似度を決定する処理をコンピュータに実行させる類似度決定プログラムであって、
    前記第１の医用画像における特定の断層面の断層画像を表示部に表示する手順と、
    前記第１の医用画像における複数の小領域のそれぞれにおいて、前記小領域内の各画素を、複数種類の所見のうちの少なくとも１つの所見に予め分類する手順と、
    前記小領域において分類された所見毎に第１の特徴量を予め算出する手順と、
    前記小領域において分類された各所見に対して、該各所見のサイズに応じて重み付けの程度が異なる重み係数を予め設定する手順と、
    前記特定の断層面を含む小領域を前記特定の断層面を含む部分領域として用いて、前記重み係数に応じて、前記部分領域において予め算出された前記所見毎の前記第１の特徴量と、前記第２の医用画像において予め算出された前記所見毎の第２の特徴量との重み付け演算を行って、前記第１の医用画像と前記第２の医用画像との類似度を導出する手順とをコンピュータに実行させる類似度決定プログラム。
  19. ３次元の第１の医用画像と３次元の第２の医用画像との類似度を決定する処理をコンピュータに実行させる類似度決定プログラムであって、
    前記第１の医用画像における特定の断層面の断層画像を表示部に表示する手順と、
    前記第１の医用画像における、少なくとも前記特定の断層面を含む部分領域内の各画素を、複数種類の所見のうちの少なくとも１つの所見に分類するように機械学習がなされた判別器を用いて、前記部分領域内の各画素を前記複数種類の所見に分類する手順と、
    前記部分領域において分類された所見毎に第１の特徴量を算出する手順と、
    前記部分領域において分類された各所見に対して、該各所見のサイズに応じて重み付けの程度が異なる重み係数を設定する手順と、
    前記重み係数に応じて、前記部分領域において算出された前記所見毎の前記第１の特徴量と、前記第２の医用画像において予め算出された前記所見毎の第２の特徴量との重み付け演算を行って、前記第１の医用画像と前記第２の医用画像との類似度を導出する手順とをコンピュータに実行させる類似度決定プログラム。
  20. ３次元の第１の医用画像と３次元の第２の医用画像との類似度を決定する処理をコンピュータに実行させる類似度決定プログラムであって、
    前記第１の医用画像における特定の断層面の断層画像を表示部に表示する手順と、
    前記第１の医用画像における、少なくとも前記特定の断層面を含む部分領域内の各画素を、複数種類の所見のうちの少なくとも１つの所見に分類し、かつ前記第１の医用画像の各画素を、前記複数種類の所見のうちの少なくとも１つの所見に分類する手順と、
    前記部分領域において分類された所見毎に第１の特徴量を算出し、かつ前記第１の医用画像において分類された所見毎に第３の特徴量を算出する手順と、
    前記部分領域において分類された各所見に対して、該各所見のサイズに応じて重み付けの程度が異なる重み係数を第１の重み係数として設定し、前記第１の医用画像において分類された各所見に対して、該各所見のサイズに応じて重み付けの程度が異なる重み係数を第２の重み係数として設定する手順と、
    前記第１の重み係数に応じて、前記部分領域において算出された前記所見毎の前記第１の特徴量と、前記第２の医用画像において予め算出された前記所見毎の第２の特徴量との重み付け演算を行って、前記第１の医用画像と前記第２の医用画像との類似度を第１の類似度として導出し、前記第２の重み係数に応じて、前記第１の医用画像において算出された前記所見毎の前記第３の特徴量と、前記第２の医用画像において予め算出された前記所見毎の第４の特徴量との重み付け演算を行って、前記第１の医用画像と前記第２の医用画像との類似度を第２の類似度として導出し、前記第１の類似度と前記第２の類似度とに基づいて、前記第１の医用画像と前記第２の医用画像との最終的な類似度を導出する手順とをコンピュータに実行させる類似度決定プログラム。
JP2020558178A 2018-11-27 2019-10-23 類似度決定装置、方法およびプログラム Active JP7170747B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018221166 2018-11-27
JP2018221166 2018-11-27
PCT/JP2019/041478 WO2020110519A1 (ja) 2018-11-27 2019-10-23 類似度決定装置、方法およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2020110519A1 JPWO2020110519A1 (ja) 2021-10-14
JP7170747B2 true JP7170747B2 (ja) 2022-11-14

Family

ID=70852276

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020558178A Active JP7170747B2 (ja) 2018-11-27 2019-10-23 類似度決定装置、方法およびプログラム

Country Status (5)

Country Link
US (2) US11756292B2 (ja)
JP (1) JP7170747B2 (ja)
CN (1) CN113164142B (ja)
DE (1) DE112019005902T5 (ja)
WO (1) WO2020110519A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3067824A1 (en) 2017-06-26 2019-01-03 The Research Foundation For The State University Of New York System, method, and computer-accessible medium for virtual pancreatography
CN112258500B (zh) * 2020-11-10 2023-08-04 北京深睿博联科技有限责任公司 淋巴结分区方法、装置、设备及计算机可读存储介质
WO2022137855A1 (ja) * 2020-12-22 2022-06-30 富士フイルム株式会社 情報処理装置、方法およびプログラム
WO2023055669A1 (en) * 2021-09-29 2023-04-06 Subtle Medical, Inc. Systems and methods for automated spine segmentation and assessment of degeneration using deep learning

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001155019A (ja) 1999-11-25 2001-06-08 Olympus Optical Co Ltd 類似画像検索装置
JP2008253292A (ja) 2007-03-30 2008-10-23 Fujifilm Corp 症例画像検索装置及びシステム
JP2009095550A (ja) 2007-10-18 2009-05-07 Canon Inc 診断支援装置、診断支援装置の制御方法、およびそのプログラム
JP2011118543A (ja) 2009-12-01 2011-06-16 Shizuoka Prefecture 症例画像検索装置、方法およびプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000342558A (ja) 1999-06-04 2000-12-12 Konica Corp 画像の位置合わせ処理装置及び画像間演算処理装置
JP2001117936A (ja) * 1999-10-19 2001-04-27 Olympus Optical Co Ltd ３次元類似画像検索装置
US6804683B1 (en) 1999-11-25 2004-10-12 Olympus Corporation Similar image retrieving apparatus, three-dimensional image database apparatus and method for constructing three-dimensional image database
JP5597429B2 (ja) * 2010-03-31 2014-10-01 富士フイルム株式会社 医用画像処理装置および方法、並びにプログラム
JP6099593B2 (ja) * 2014-03-27 2017-03-22 富士フイルム株式会社 類似症例検索装置、類似症例検索方法、及び類似症例検索プログラム
CN106560827B (zh) * 2015-09-30 2021-11-26 松下知识产权经营株式会社 控制方法
JP6745633B2 (ja) 2016-04-13 2020-08-26 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
WO2018116727A1 (ja) * 2016-12-19 2018-06-28 富士フイルム株式会社 類似症例検索装置とその作動方法および作動プログラム、並びに類似症例検索システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001155019A (ja) 1999-11-25 2001-06-08 Olympus Optical Co Ltd 類似画像検索装置
JP2008253292A (ja) 2007-03-30 2008-10-23 Fujifilm Corp 症例画像検索装置及びシステム
JP2009095550A (ja) 2007-10-18 2009-05-07 Canon Inc 診断支援装置、診断支援装置の制御方法、およびそのプログラム
JP2011118543A (ja) 2009-12-01 2011-06-16 Shizuoka Prefecture 症例画像検索装置、方法およびプログラム

Also Published As

Publication number Publication date
JPWO2020110519A1 (ja) 2021-10-14
US20210279920A1 (en) 2021-09-09
DE112019005902T5 (de) 2021-09-30
CN113164142B (zh) 2024-04-30
WO2020110519A1 (ja) 2020-06-04
US11756292B2 (en) 2023-09-12
CN113164142A (zh) 2021-07-23
US20230368515A1 (en) 2023-11-16

Similar Documents

Publication Publication Date Title
JP7170747B2 (ja) 類似度決定装置、方法およびプログラム
JP6807820B2 (ja) 画像検索装置、方法およびプログラム
JP6906347B2 (ja) 医用画像分類装置、方法およびプログラム
JP6914233B2 (ja) 類似度決定装置、方法およびプログラム
US11854190B2 (en) Similarity determination apparatus, similarity determination method, and similarity determination program
Irene et al. Segmentation and approximation of blood volume in intracranial hemorrhage patients based on computed tomography scan images using deep learning method
US20210183061A1 (en) Region dividing device, method, and program, similarity determining apparatus, method, and program, and feature quantity deriving apparatus, method, and program
JP7479546B2 (ja) 表示装置、方法およびプログラム
US20210279879A1 (en) Similarity determination apparatus, similarity determination method, and similarity determination program
US11893735B2 (en) Similarity determination apparatus, similarity determination method, and similarity determination program
Chacón et al. Computational assessment of stomach tumor volume from multi-slice computerized tomography images in presence of type 2 cancer
EP3667674A1 (en) Method and system for evaluating images of different patients, computer program and electronically readable storage medium
JP2004174220A (ja) 画像処理装置、画像処理方法、及び当該画像処理方法をコンピュータに実行させるプログラムを格納する記録媒体
CN112638262B (zh) 相似度确定装置、方法及程序
WO2022137855A1 (ja) 情報処理装置、方法およびプログラム
Thool et al. Artificial Intelligence in Medical Imaging Data Analytics using CT Images
Chacón et al. Computational assessment of stomach tumor volume from multi-slice computerized tomography images in presence of type 2 cancer [version 2; referees: 1 approved, 1 not approved]
Chacón et al. from multi-slice computerized tomography images in presence of type 2 cancer [version 2; referees: 2 approved, 1 not approved]

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210526

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210526

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220524

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220713

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221011

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221101

R150 Certificate of patent or registration of utility model

Ref document number: 7170747

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150