JP5599572B2 - 症例画像検索装置、方法およびプログラム - Google Patents

Description

本発明は、診断対象画像から抽出した特徴量に基づいてその診断対象画像と類似する症例画像を検索・提示する技術に関する。

特許文献１は、肝臓の類似症例検索として、検査で得られた各造影条件ごとに同じ条件の類似画像を検索し、全ての造影条件において画像の類似度が高い症例を、類似画像として表示するという手法である。

特許文献２は画像の付帯情報と画像の特徴から、類似した特徴を持つ資料を検索するというものである。

特許文献３は、人体の位置関係（撮影方向）、あるいは撮影方向および撮影部位を認識する技術の一例である。

特許文献４および５は画像の輪郭・画素値などの特徴量に基づいて血管や臓器を認識する技術の一例である。

特許文献６および７は病変領域を自動抽出する手法の一例である。

特許文献８は従来の類似症例画像検索の一例である。

特許文献９は注目領域の位置情報をもとに病変領域を抽出する技術の一例である。

非特許文献１は関心領域中の画像特徴量の算出技術の一例である。

特開２００８−２１７３６２号公報 特開平５−２５０４４９号公報 特許３７６６０３３号公報 特開２００４−２３００８６号公報 特許２８４５９９５号公報 特開２００５−１９８８８７号公報 特開２００５−２４６０３２号公報 特開２００８−２５７２９２号公報 特開２００８−２４５７１９号公報

クーツ、エドワーズ、テイラー、「動的見えモデル」、第５回計算機視覚欧州会議報、ドイツ、シュプリンガー、１９９８年、第２巻４８４−４９８頁（T. F. Coootes, G. J. Edwards, C. J. Taylor "Active Appearance Models", In Proc. 5th European Conference on Computer Vision, Springer）

医療用画像診断における類似症例画像検索の場合、診断画像は撮像した部位、造影の有無などの撮像条件によって症例の特徴が異なるため、撮像部位・撮像条件を踏まえた検索を行うことが望ましい（例えば特許文献１）。しかし、肝臓の位置および造影の時相（造影剤の注入に伴う同一箇所の時間経過像）を決定する手段が必要となる。

特許文献２の発明では、画像の付帯テキスト情報によって検索の絞り込みを行うため、特許文献１の撮像条件の絞り込みに利用できる。しかし、撮像部位、撮像条件などの付帯情報を登録する場合、ユーザの入力作業が必要となるため、ユーザの負担、ユーザによる入力内容のばらつきという問題がある。

また、肺や肝臓の疾患など、部位によって観察する撮像条件の数が異なるため、部位によっては同じ表示方法では観察しにくい場合がある。

本発明は、ＣＴ画像やＭＲ画像といった様々な部位や造影条件の撮像画像について、その画像の属性を自動的に推定し、推定された属性に応じた類似画像検索とその出力を行う。

本発明に係る症例画像検索装置は、所望の診断対象画像群を撮像装置から入力する入力部と、入力部の入力した診断対象画像群を構成する個々の診断対象画像の属性を診断対象画像に基づいて推定する推定部と、推定部の推定した属性に対応した診断対象画像の特徴量である第１の特徴量を算出する算出部と、第１の特徴量と、推定部の推定した属性に対応したデータベース内の症例画像の特徴量である第２の特徴量とを比較することで、診断対象画像群に類似する類似症例画像群をデータベースから検索する検索部と、を備える。

好ましくは、属性は、診断対象画像の撮像部位を含む。

好ましくは、推定部は、診断対象画像の画素値および形状に関する特徴量に基づいて撮像部位を推定する。

好ましくは、属性は、診断対象画像の撮像条件を含む。

好ましくは、撮像条件は、造影剤の有無または多時相撮影の時相を含む。

好ましくは、検索部は、診断対象画像の画素値および形状の少なくとも一方に関する特徴量と、症例画像の画素値および形状の少なくとも一方に関する特徴量とを比較することで類似症例画像群をデータベースから検索する。

好ましくは、診断対象画像から病変領域を選択する選択部を備え、検索部は、選択部の選択した病変領域に関する特徴量に基づいて類似症例画像群をデータベースから検索する。

好ましくは、選択部は、診断対象画像の画素値および形状の少なくとも一方に関する特徴量に基づいて病変領域を選択する。

好ましくは、検索部の検索した類似症例画像群を表示する表示部を備える。

好ましくは、データベースは、症例画像に対応する付帯情報を記憶し、表示部は、類似症例画像群を構成する症例画像に対応するデータベースの付帯情報を表示する。

好ましくは、表示部は、推定部の推定した属性に対応した類似症例画像群の表示レイアウトを設定する。

好ましくは、入力部は、ＣＴ、ＭＲＩその他の医用撮像装置から診断対象画像群を入力する。

好ましくは、算出部は、推定部の推定した属性に対応した計算式によって第１の特徴量を算出する。

本発明に係る症例画像検索方法は、コンピュータが、所望の診断対象画像群を撮像装置から入力するステップと、入力した診断対象画像群を構成する個々の診断対象画像の属性を診断対象画像に基づいて推定するステップと、推定した属性に対応した診断対象画像の特徴量である第１の特徴量を算出するステップと、第１の特徴量と、推定した属性に対応したデータベース内の症例画像の特徴量である第２の特徴量とを比較することで、診断対象画像群に類似する類似症例画像群をデータベースから検索するステップと、を実行する。

この症例画像検索方法をコンピュータに実行させるための症例画像検索プログラムも本発明に含まれる。

本発明によると、画像から推定した属性に応じて類似画像群が検索されるため、撮像部位や撮像条件などの付帯情報をユーザが手入力で登録しなくても、入力された画像の属性に合った類似画像群が検索される。

類似症例検索システムの概略構成図 類似症例検索システムの詳細を示す図 時相推定テーブルの一例を示す図 類似画像群の画面配置の一例を示す図 類似画像群の画面配置の他の一例を示す図 類似画像群の画面配置の他の一例を示す図 類似画像群および診断レポートの画面配置の一例を示す図

図１は本発明の好ましい実施形態に係る類似症例検索システム１００の概略構成図である。このシステムは、画像データ入力部１、画像解析部２、類似画像検索部３、画像情報ＤＢ４、表示部５、登録部６を含む。類似症例検索システム１００は、コンピュータ（ＣＰＵ，ＲＡＭ，ＲＯＭなど演算処理に必要な回路、データ記憶媒体、データ入出力回路、表示回路、操作装置、通信回路などを備えたもの）で構成することができる。

類似症例検索システム１００の各ブロックは１つのコンピュータに一体的に構成されていてもよいが、各々のブロックを単独のコンピュータやロジック回路で構成し、かつそれらをネットワークやシステムバスなどのデータ通信手段で接続することで類似症例検索システム１００を構成してもよい。また、画像解析部２、類似画像検索部３、登録部６はコンピュータで実行されるプログラムモジュール（ＲＯＭなどのコンピュータ読取可能な記録媒体に格納）で代替することもでき、必ずしも特定のハードウェア構成を要求するのではない。表示部５は液晶ディスプレイ、画像情報ＤＢ４はハードディスクなどで構成できる。

画像データ入力部１は、ＣＴ画像、ＭＲＩ画像、ＰＥＴ画像、Ｘ線画像（ＣＲ画像含む）、ＵＳ（超音波）画像、内視鏡画像、マンモグラフィ、病理画像などの診断対象画像（クエリー画像）を入力する。画像データ入力部１は、これらのクエリー画像と、クエリー画像のサイズや撮像日時といった付帯情報や症例情報を入力することもできる。画像データ入力部１および医療用画像診断装置の間の通信プロトコルおよびクエリー画像および付帯情報のフォーマットは、ＤＩＣＯＭ（Digital Imaging and Communication in Medicine）のような所定の規格に従っている。

画像解析部２は、画像データ入力部１から入力されたクエリー画像を解析し、画像情報ＤＢ４に蓄積された類似画像の検索に必要な特徴量（第１の特徴量）を作成する。その特徴量の作成の方法は後述する。

類似画像検索部３は、画像解析部２が作成した第１の特徴量と画像情報ＤＢ４に蓄積された症例画像の特徴量（第２の特徴量）とを比較し、両者の類似度を算出する。第２の特徴量は症例画像から画像解析部２の取る特徴量の計算手法と同じ手法に従って予め作成および蓄積されている。類似画像検索部３は、画像情報ＤＢ４に蓄積された全ての症例画像あるいは予め操作装置から指定された撮像部位（肝臓、心臓、脳など）に対応する症例画像のうち、クエリー画像の特徴量情報との類似度が最も高い第２の特徴量に対応する症例画像を特定する。そして、類似画像検索部３は、特定された症例画像と、その症例画像に対応する画像情報ＤＢ４に蓄積された各種の症例情報を、表示部５に表示する。

表示部５は、映像出力手段以外の出力手段に代替できる。例えば表示部５に代えて、あるいは表示部５とともに、特定された症例画像と、その症例画像に対応する画像情報ＤＢ４に蓄積された各種情報を印刷手段によって出力してもよい。また、画像情報でなければ、音声出力手段からの合成音声の出力などによって検索結果を出力できる。あるいは出力手段をネットワークＩ／Ｆとし、所望の通信端末（パソコン、携帯電話、ＰＤＡなど）に検索結果を出力してもよい。

画像情報ＤＢ４には、検索対象画像となる症例画像を含む症例情報が格納されている。ここで、症例情報は、疾患別に分類されて格納されていてもよく、さらに疾患別に統計情報、疾患情報、特定の疾患に対しては間違えられやすい疾患の疾患情報や医学情報がリンクされて登録されていてもよい。

また、症例情報には、確定診断された各疾患の症例画像の他に、読影医が作成した診断レポート等のテキストベースの診断情報が含まれる。

また、疾患別の統計情報には、例えば、下記の情報が含まれる。
・代表症例における類似度（疾患内の最高類似度）
・平均類似度
・症例ＤＢ内の該当疾患の総登録件数
・代表症例に近い症例 (症例パターン) の登録件数
・症例パターンにおける特徴… 主な症状
・症例パターンにおける患者の特徴…平均年齢、病歴、喫煙歴など
・全国／地域別罹患率
・その他
画像情報ＤＢ４には、登録されている各症例画像の部位から抽出された特徴量（第２の特徴量）が格納されている。ただし、症例画像自体が画像情報ＤＢ４に蓄積されていれば、事後的にその症例画像を画像解析部２などで解析することで第２の特徴量を得ることができるから、画像情報ＤＢ４に第２の特徴量を登録することが本願発明の実施にあたって常に必ず必要なのではない。

表示部５は、類似度が高い画像データだけでなく、特許文献８のように、データベース内における類似画像の疾患ごとの類似画像検索結果といった統計情報を表示してもよい。

登録部６によって画像情報ＤＢ４に登録される症例画像に対応する第２の特徴量は、後述する画像解析部２と同様、部位ごとかつ撮像条件ごとの画像解析で得られる。また、登録部６によって画像情報ＤＢ４に登録される症例画像に対応する症例情報は、ユーザによる操作装置の入力操作などで得られる。画像情報ＤＢ４は、肝臓、肺、心臓などの部位に対応して区画化された格納領域を有しており、登録部６は、画像解析部２と同様にして症例画像群から推定された部位に対応する格納領域に、当該症例画像群を登録する。区画化された格納領域は、同一の記録媒体を論理的に区分することで確保しもよいし、物理的に別々の記録媒体によって確保してもよい。なお画像情報ＤＢ４を物理的に構成する記録媒体の態様は任意であり、例えばハードディスクユニットやＤＶＤのような大容量記録媒体とその読取装置で構成される。

図２は画像解析部２および類似画像検索部３の詳細な構成を示す。画像解析部２は、部位解析部２１および異なる複数の部位に対応した複数の部位別の撮像条件解析を行うことが可能な撮像条件解析部２２を含む。類似画像検索部３は、異なる複数の部位に対応した部位別類似度計算部３１を含む。

部位解析部２１および撮像条件解析部２２は、クエリー画像群の入力元となる撮像装置ごとに設けられてもよい。この場合、ＤＩＣＯＭのヘッダなどの付帯情報に記載された撮像装置の識別情報あるいは操作装置へ入力された選択操作に従ってクエリー画像群の入力元となる撮像装置を選択し、選択された撮像装置に対応する部位解析部２１および撮像条件解析部２２にクエリー画像群を入力して部位および撮像条件の推定を行う。ここで、クエリー画像群全てに対し部位解析を行う必要は無く、同一部位であり、撮像条件のみが異なることが付帯情報によって推測される場合は、１つのクエリ画像に対して部位解析を行っても良い。また、足関節の単純レントゲン画像のような撮像条件が１つしかない部位の画像が撮像装置から入力された場合は、撮像条件解析部２２による撮像条件の推定は不要である。

図２では、それぞれ３つの部位別撮像条件解析部２２Ａ，２２Ｂ，２２Ｃおよび部位別類似度計算部３１Ａ，３１Ｂ，３１Ｃを示しているが、撮像部位に対応していればその数はいくつでもよい。

部位解析部２１は、特定の患者の特定の部位（単数でも複数でも可）の異なる複数の時相に対応する複数のクエリー画像の組（クエリー画像群）を画像データ入力部１から入力すると、そのクエリー画像群に対応する撮像部位を推定する。部位解析部２１による撮像部位の認識処理は公知の画像処理技術が採用できる。例えば、特許文献３〜５のように、クエリー画像群を構成する個々のクエリー画像における画像の輪郭、画素値、人体の位置関係の特徴などを利用して推定する。

クエリー画像群は、同一の種類の撮像装置から入力された複数のクエリー画像で構成されてもよいし、異なる種類の撮像装置から入力された複数のクエリー画像で構成されてもよい。例えば、同一患者の腹部のＭＲＩ画像２つと、ＣＴ画像２つとからなる４つの画像の組みをクエリー画像群とすることもできる。クエリー画像の入力元となった撮像装置が異なる場合、それらの画像は、入力元となった撮像装置に対応する部位解析部２１および撮像条件解析部２２で解析され、かつ当該撮像装置に対応する類似度計算部３１にて類似画像が検索される。

図２では部位Ａの３つの時相に対応する３つのクエリー画像ＩＡ１〜ＩＡ３からなるクエリー画像群ＩＡが部位解析部２１に入力されていることが示されている。

次に、部位解析部２１は、クエリー画像群から推定した部位に対応する撮像条件を解析するための撮像条件解析部２２に、クエリー画像群を入力する。

図２では部位Ａの３つの時相に対応するクエリー画像群ＩＡが部位解析部２１に入力されており、部位解析部２１が、クエリー画像群ＩＡの撮像部位は部位Ａであると推定した場合、クエリー画像群ＩＡを部位Ａに対応する部位別撮像条件解析部２２Ａに入力する。
同様に、部位解析部２１が、あるクエリー画像群からの撮像部位は部位Ｂであると推定した場合、そのクエリー画像群を部位Ｂに対応する部位別撮像条件解析部２２Ｂに入力する。同様に、部位解析部２１が、あるクエリー画像群からの撮像部位は部位Ｃであると推定した場合、そのクエリー画像群を部位Ｃに対応する部位別撮像条件解析部２２Ｃに入力する。ここで、クエリー画像群の中に同一部位であることが付帯情報によって推測される場合は、全てのクエリー画像に対し部位解析を行う必要は無く、１つのクエリー画像に対して部位解析を行い、結果を同一部位のクエリー画像全てに反映させても良い。

なお、部位解析部２１は、上記推定した部位とクエリー画像のヘッダなどに付帯する診断情報に含まれる部位とが異なる場合、操作装置からいずれの部位に対応する撮像条件解析部２２にクエリー画像群を入力するかの選択を受け付け、選択された部位別撮像条件解析部２２にクエリー画像群を入力してもよい。これは、推定の信頼性が高くない場合に有効である。推定の信頼性の指標が所定の閾値を下回っている場合に限り上記選択を行うよう通知するメッセージを表示部５に表示し、上記選択を受け付けてもよい。メッセージの通知は表示に限らず、音声出力手段からのメッセージ音声の出力などでもよい。部位解析部２１は、選択された方の部位を推定した部位とみなす。

撮像条件解析部２２は、部位解析部２１から入力されたクエリー画像群から個々のクエリー画像の撮像条件を推定する。部位別撮像条件解析部２２の撮像条件の推定は部位ごとに設定されている。すなわち、部位別撮像条件解析部２２Ａは部位Ｂの撮像条件の推定、部位別撮像条件解析部２２Ｂは部位Ｂの撮像条件の推定、部位別撮像条件解析部２２Ｃは部位Ｃの撮像条件の推定を行う。

部位別撮像条件解析部２２は、例えば次のように撮像条件の推定を行う。まず、部位別撮像条件解析部２２は、画像に対し血管や臓器を認識する処理を行う。血管については特許文献４、臓器については特許文献５のような画像の輪郭・画素値などの特徴量に基づいて認識する公知の画像処理技術を用いることができる。あるいは、特許文献３のようにして人体の位置関係（撮影方向）、あるいは撮影方向および撮影部位を認識し、この撮影方向を１つの撮像条件と推定することもできる。

例えば、クエリー画像群ＩＡが肝臓ＣＴ画像で、画像ＩＡ１が単純ＣＴ撮影の画像、画像ＩＡ２が動脈相の画像、画像ＩＡ３が門脈相の画像であるとする。図３の時相推定テーブルに示すように、クエリー画像群ＩＡから部位が「肝臓」と推定され、かつ当該クエリー画像群ＩＡを構成する個々のクエリー画像ＩＡ１〜ＩＡ３の特徴がそれぞれ「血管が低濃度、実質が低濃度」、「動脈が高濃度、実質が低濃度」、「門脈が高濃度、実質が高濃度」と認識された場合、クエリー画像ＩＡ１の撮像条件Ａ１すなわち時相は「造影なし」、クエリー画像ＩＡ２の撮像条件Ａ２は「動脈相」、クエリー画像ＩＡ３の撮像条件Ａ３は「門脈相」と推定される。クエリー画像が肝臓ＣＴの場合は、各部位のＣＴ値より特徴を判断できる。なお、この時相推定テーブルは、部位ごとに予め画像情報ＤＢ４や図示しないＲＯＭなどの記憶媒体に格納されており、撮像条件解析部２２が推定部位に対応するテーブルに基づき、各クエリー画像の特徴に合致する撮像条件（時相）を特定し、特定された時相をクエリー画像の撮像条件（時相）と推定する。

ただし、当然ながらクエリー画像群は、肝臓以外にも、肺、心臓、脳など複数の条件の撮像を行う診断画像とすることができる。また、撮像装置はＣＴ装置に限らず、ＭＲＩ装置、ＰＥＴ装置、Ｘ線装置、ＵＳ装置、内視鏡、マンモグラフィ装置、顕微鏡用カメラなどなどの各種医用撮像装置でもよい。さらに、クエリー画像群は、１つの部位に対応する画像群に限らず、複数の部位に対応する画像群を含んでもよい。これは、部位解析部２１や撮像条件解析部２２が部位あるいは撮像条件を個々のクエリー画像について個別に推定できるからである。

部位別撮像条件解析部２２は、クエリー画像群から推定した部位に対応する類似度計算部３１に、クエリー画像群を入力する。

類似度計算部３１は、クエリー画像群の入力元となる撮像装置ごとに設けられてもよい。この場合、選択された撮像装置に対応する類似度計算部３１によって類似度算出および類似の症例画像の検索を行う。

図２では部位Ａの３つの時相に対応するクエリー画像群ＩＡが部位解析部２１に入力されており、部位解析部２１が、クエリー画像群ＩＡの撮像部位は部位Ａであると推定した場合、部位別撮像条件解析部２２Ａはクエリー画像群ＩＡを部位Ａに対応する部位別類似度計算部３１Ａに入力する。同様に、部位解析部２１が、あるクエリー画像群からの撮像部位は部位Ｂであると推定した場合、部位別撮像条件解析部２２Ｂはそのクエリー画像群を部位Ｂに対応する部位別類似度計算部３１Ｂに入力する。同様に、部位解析部２１が、あるクエリー画像群からの撮像部位は部位Ｃであると推定した場合、部位別撮像条件解析部２２Ｃはそのクエリー画像群を部位Ｃに対応する部位別類似度計算部３１Ｃに入力する。

類似度計算部３１は、部位解析部２１から入力されたクエリー画像群の推定部位および推定撮像条件に対応する特徴量の計算を行い、画像情報ＤＢ４内の画像データとの類似度を比較する。推定部位および推定撮像条件に対応する特徴量の計算方法は、当該推定部位に対応する各撮像条件ごとに異なる。

類似度計算部３１は、個々の推定部位および個々の推定撮像条件に対応する特徴量を算出する複数の部位別類似度計算部３１Ａ，３１Ｂ，３１Ｃ・・を有している。これらは、推定部位ごとおよび推定撮像条件ごと特徴量を計算する。部位別類似度計算部の個数は３つに限らない。

例えば図２のように、部位別類似度計算部３１Ａは、部位Ａのクエリー画像ＩＡ１の撮像条件Ａ１，Ａ２，Ａ３のそれぞれに対応する特徴量ＭＡ１，ＭＡ２，ＭＡ３を算出する。同様に、部位・条件別類似度計算部３１Ｂや３１Ｃは、部位Ｂあるいは部位Ｃのクエリー画像の各撮像条件のそれぞれに対応する特徴量ＭＢ１，ＭＢ２，ＭＢ３あるいはＭＣ１，ＭＣ２，ＭＣ３を算出する。なお、図２では部位ＡからＣいずれも３つの特徴量が算出されることが示されているが、異なる部位間で同じ個数の特徴量を算出しなければならないことはなく、部位ごとに任意の個数の特徴量を算出できる。

部位別類似度計算部３１によって算出される特徴量は画像データの平均、分散、最大値、最小値、輝度ヒストグラムといった画素値に関する特徴量や、関心領域の位置、輪郭の円形度やモーメント、断面の半径、体積、面積など形状に関する特徴量の他、非特許文献１の手法によって得られる、ＲＯＩ（関心領域）の病変部の形状情報やテクスチャ情報でもよい。あるいは、画像情報ＤＢ４に一旦登録された情報を所定の数式（例えば主成分分析、独立成分分析）で処理した値を特徴量としてもよい。要するに、公知の手法で得られた画像の輪郭・画素値、位置情報などを特徴量とすることができる。

また、特徴量の計算の前処理として画像の病変領域を特定し、その病変領域を対象とした特徴量の計算を行ってもよい。病変領域の特定の例としては、特許文献６および７のような自動検出の手法、特許文献９に記載のような注目領域の位置情報をもとに領域を抽出する手法などがある。病変領域を指定する場合、撮像部位、撮像条件は、病変部の周辺の情報のみを解析して推定しても良い。

特徴量の算出方式は、部位ごとかつ撮像条件ごとに違うものが画像情報ＤＢ４や図示しないＲＯＭその他の記憶手段に用意されている。例えば、各部位Ａ、Ｂ、Ｃ・・に対応する画像情報ＤＢ４の格納領域ＤＡ、ＤＢ、ＤＣ・・に、各部位Ａ、Ｂ、Ｃ・・に対応する撮像条件ごとの特徴量の算出式が格納されており、部位別類似度計算部３１Ａ、Ｂ、Ｃ・・は、対応する部位の格納領域ＤＡ、ＤＢ、ＤＣ・・から撮像条件ごとの算出式を読み出し、これに基づいて部位ごとかつ撮像条件ごとの特徴量を計算する。

また、病変領域の特定は必ずしも全自動でなくてもよく、ユーザによる操作装置の指定した領域近傍の特徴量（画素値に関する特徴量あるいは輪郭など形状に関する特徴量）を利用した画像処理技術で半自動的に抽出してもよい。このように、病変部位に特化した特徴量を用いることで、着目した病変部位と類似する症例画像の検索を行える。

類似画像検索部３は、クエリー画像群の特徴量と画像情報ＤＢ４に蓄積された全ての症例画像あるいは予め操作装置から指定された撮像部位（肝臓、心臓、脳など）に対応した個々の撮像条件に対応する症例画像を含んだ症例画像群の特徴量との間の相関度を示す類似度Ｓを算出する。

類似度の算出は次のようにして行われる。まず、部位ｘのクエリー画像群に含まれる個々の撮像条件ｎに対応するクエリー画像と、部位ｘの症例画像群に含まれる個々の撮像条件ｎに対応する症例画像との間で、個別類似度Ｓｘｎを算出する。例えばｘは肝臓、撮像条件ｎは時相（単純ＣＴ撮影、動脈相、門脈相）である。個々のクエリー画像および症例画像の間の個別類似度Ｓｘｎは、上記のような公知の特徴量の手法で算出できるが、典型的には特徴量空間上の最小二乗距離（０以上の値をとり、０に近いほど類似度が高い）である。ここで、特徴量は正規化したものを用いても良いし、特定の特徴量に重みを与えても良い。次に、各撮像条件ｎに対応する個別類似度Ｓｘｎを平均して得られた値Ｅを、類似度Ｓとする。平均は単純平均でなく加重平均でもよい。例えば、門脈相の相関を重視したい場合は、門脈相に対応する重みの値をその他の時相に対応する重みの値よりも大きくする。

類似度Ｓの算出方法は上記に限らず、要するに個々の画像同士の特徴量の類似度をパラメータとして画像群同士の相関を総合評価する値であれば何でもよい。例えば、単純に個別類似度Ｓｘｎの全てを加算した総和Σを類似度Ｓとしてもよい。あるいは個別類似度Ｓｘｎの全てを乗算した総積Πを類似度Ｓとしてもよい。ただし、クエリー画像群を構成する画像の属性と症例画像群を構成する画像の属性が一致しなくても類似度が算出できるような算出方法を用いることが好ましい。例えば、上述した個別類似度の加重平均につき、クエリー画像群と症例画像群との間で一致しない属性に対応する重みを０とする。

なお、類似度を個別類似度の総和、平均または加重平均とすると、いずれかの撮像条件に対応する個別類似度が高ければクエリー画像群全体との類似度が高くなる。このような算出方式による類似度を、撮像条件の論理和に対応する類似度と呼ぶ。また、類似度を個別類似度の総積Πとすると、いずれの撮像条件に対応する個別類似度も高くなければクエリー画像群全体との類似度が高くならない。このような算出方式による類似度を、撮像条件の論理積に対応する類似度と呼ぶ。撮像条件の論理積に対応する類似度は、撮像条件の論理和に対応する類似度よりも個々の画像の類似度を重視しており、どの症例画像もクエリー画像の各々とよく似たものを検索したい場合に有用であるが、症例画像のどれかが１つでもクエリー画像似ていないと途端に類似度が落ち、検索のヒット率が下がる。どちらの方式で類似度を算出するかを操作装置から選択させ、選択された方式で類似度を算出してもよい。さらに、個別類似度Ｓｘｎの全てでなく、操作装置などから指定された一部の撮像条件に対応する個別類似度を除き、除かれなかった他の撮像条件に対応する個別類似度を加算あるいは乗算することで類似度Ｓを算出してもよい。こうすると、加算あるいは乗算されなかった個別類似度は、全体の類似度の算出基準から外される。例えば、単純ＣＴ以外の時相の個別類似度の全てを加算または乗算することで類似度を算出すれば、単純ＣＴの時相は症例画像群の検索に反映されないことになる。要するに、クエリー画像群と症例画像群との類似度を示す指標をどのような式で求めるかは任意であり、上記に記載したものに限定されない。

類似画像検索部３は、上記類似度に基づいて症例画像群をランク付け（順序付け）し、当該ランクが所定の範囲内に入るもの、例えば上位４番目までのランクを持つ症例画像群を特定する。類似度が高ければ高いほど症例画像群のランクは上になり、類似度が低ければそれだけ症例画像群のランクは下になる。また同一の類似度であればランクは同一である。ただし、検索結果として出力する情報を豊富にするため、症例画像群を構成する症例画像の個数が、クエリー画像群を構成するクエリー画像の個数と同じかそれ以上となる方の症例画像群のランクを優先的に上位にしてもよい。この特定された症例画像群を類似画像群と呼び、その類似画像群を構成する個々の画像を類似画像と呼ぶ。そして、類似画像検索部３は、類似画像群を表示部５に表示する。類似画像群に対応する画像情報ＤＢ４に蓄積された各種の症例情報を、類似画像群とともに、あるいは類似画像群に代えて表示部５に表示してもよい。

部位別類似度計算部３１Ａ，３１Ｂ，３１Ｃ・・がクエリー画像に対する類似度Ｓを算出する対象とする症例画像は、クエリー画像群から推定された部位に対応する画像情報ＤＢ４上の格納領域に格納されたものに限られる。例えば、部位別類似度計算部３１Ａは、推定部位Ａに対応する領域ＤＡに格納された症例画像についてクエリー画像に対する類似度を算出する。同様に、部位別類似度計算部３１Ｂは、推定部位Ｂに対応する領域ＤＢに格納された症例画像についてクエリー画像に対する類似度を算出し、部位別類似度計算部３１Ｃは、推定部位Ｃに対応する領域ＤＣに格納された症例画像についてクエリー画像に対する類似度を算出する。このように、類似画像検索部３は、推定部位に対応する格納領域に格納された症例画像にのみアクセスして類似画像を検索するので、クエリー画像の対象部位と関係ない症例画像が検索結果として挙げられることがない。

さらに、部位解析部２１および撮像条件解析部２２が、撮像装置ごとに区別して設けられている場合、画像情報ＤＢ４上の格納領域は、部位ごとかつ撮像装置ごとに区画化されており、類似度計算部３１がクエリー画像に対する類似度Ｓを算出する対象とする症例画像は、クエリー画像群から推定された部位に対応しかつクエリー画像群の入力元となった撮像装置する画像情報ＤＢ４上の格納領域に格納されたものに限られる。これは、同じ撮像装置で撮影した画像同士でなければ類似度を算出できないためである。

表示部５は、推定部位に対応する画像情報ＤＢ４の格納領域から特定された、各推定撮像条件に対応する類似画像から構成される類似画像群を、当該格納領域に対応するレイアウト情報（画像の平面的配置を規定する情報）に従って配置する。推定部位に対応するレイアウト情報は、画像情報ＤＢ４の各部位に対応する各格納領域に予め保存されており、表示部５がこれを読み出して類似画像群を配置する。レイアウト情報の内容は任意であり、操作装置を介して任意に作成・削除・更新できるものとする。

例えば、クエリー画像群ＩＡ（ＩＡ１〜ＩＡ４）から推定された部位が肝臓の場合であり、クエリー画像ＩＡ１から推定された撮像条件Ａ１が単純ＣＴ、クエリー画像ＩＡ２から推定された撮像条件Ａ２が動脈相、クエリー画像ＩＡ３から推定された撮像条件Ａ３が門脈相、クエリー画像ＩＡ４から推定された撮像条件Ａ４が平衡相であったとする。

また、格納領域ＤＡに保存されたレイアウト情報Ｌ１は、表示部５の表示面の水平方向に沿って、左から右に、単純ＣＴ、動脈相、門脈相、および平衡相に対応する類似画像を２つずつ配置することを表示面の垂直方向上から下に沿って繰り替えす（水平走査）ことで、１つの類似画像群に含まれる４つの類似画像を２×２の正方格子状に並べることを規定しているとする。

この場合、図４に示すように、部位ＩＡに対応する格納領域ＤＡから検索された、クエリー画像群ＩＡ１〜ＩＡ４と類似する、類似画像群（１つでなく複数の類似画像群を表示してもよい）の個々の類似画像を、格納領域ＤＡに対応するレイアウト情報Ｌ１に従い、表示部５の表示面に配置する。

さらに、レイアウト情報は、症例画像群の平面的配置と整合するようなクエリー画像群の平面的配置を規定する。

例えば図４に示すように、レイアウト情報Ｌ１は、クエリー画像群ＩＡ１〜ＩＡ４の平面的配置、クエリー画像群ＩＡ１〜ＩＡ４の各々と類似する類似画像群の個々の画像ＩＡ１〜ＩＡ４の平面的配置を、ともに上記の２×２の正方格子型に整合させる。図４では、レイアウト情報Ｌ１に従い、クエリー画像群ＩＡは表示部５の表示面の左側半分領域、類似画像群は表示面の右側半分領域に配置されるが、これらが入れ代わってもよい。双方の画像群とも、表示部５の表示面の水平方向に沿って左から右に順次画像を配置することを表示面の垂直方向上から下に沿って繰り替えすことで配置を整合させている。類似画像群が複数グループ存在する場合は、それらを均等なサイズかつ同一の平面的配置で表示面の右側半分領域内に表示する。ただし、個々の類似画像とクエリー画像のサイズは同じでなくてもよい。

レイアウト情報が規定する画像の配列規則は任意であり、水平走査でなく垂直走査でもよい。また、縦組み、横組みの配列でもよい。

例えば、推定部位が肺であり、推定撮像条件が肺野条件Ｂ１および縦隔条件Ｂ２であったとする。この場合、図５に示すように、２つの撮像条件Ｂ１およびＢ２に対応するクエリー画像ＩＢ１・ＩＢ２および類似画像群ＩＢ１’・ＩＢ２’を並列対置して表示する。これは横組み（図５（ａ））でも縦組み（図５（Ｂ））でもよい。複数の類似画像群を横組みで配置する場合は、クエリー画像群を垂直方向最上部に配置するとともに、クエリー画像群から垂直下方にかけて類似画像群をランクの高いものから順次配置する。複数の類似画像群を縦組みで配置する場合は、クエリー画像群を左側に配置するとともに、クエリー画像群から水平方向右側にかけて類似画像群をランクの高いものから配置する。

このように、クエリー画像群の個々のクエリー画像と類似画像群の個々の類似画像とを、撮像条件ごとに対置して配置することで、同一条件に対応するクエリー画像および類似画像の対比が容易になる。

図４や図５のようにクエリー画像群の個々のクエリー画像と類似画像群の個々の類似画像との配置が整合している画面を初期検索結果画面と呼ぶ。

さらに、クエリー画像群の個々のクエリー画像の全部、類似画像群の個々の類似画像の全部を表示しなくてもよく、特定の撮像条件に対応するクエリー画像および類似画像を表示してもよい。

例えば図６のように、撮像条件Ａ１に対応するクエリー画像を画面上部に、撮像条件Ａ１に対応する類似画像を画面下部に配置する。このような配置をとる画面を撮像条件別結果表示画面と呼ぶ。図６ではクエリー画像のサイズは類似画像よりも大きいが、同じでもよいし小さくてもよい。どの撮像条件に着目して撮像条件別結果表示画面を作成するかは任意である。例えば、図４や図５のような初期検索結果表示画面から特定の撮像条件（例えばＡ１）に対応するクエリー画像を操作装置から指定すると、指定されたクエリー画像と、指定された撮像条件（例えばＡ１）に対応する類似画像からなる撮像条件別結果表示画面に遷移し、図６のように表示する。あるいは、初期検索結果表示画面自体を省略し、予め設定された撮像条件に対応する撮像条件別結果表示画面を表示し、「初期検索結果表示画面を表示する」指示が操作装置から入力されたことに応じて撮像条件別結果表示画面から初期検索結果表示画面に遷移してもよい。要するに、初期検索結果表示画面と撮像条件別結果表示画面の表示は相互に切り替え可能である。

また、類似画像群に対応する診断レポートその他の診断情報を表示してもよい。例えば、図４や図５のような初期検索結果表示画面から任意の類似画像群を操作装置を介して指定すると、図７のように、指定された類似画像群に付帯する診断レポートその他の診断情報を表示する。診断情報の表示場所を確保するため、指定されなかった類似画像群は初期検索結果表示画面から消去してもよい。あるいは、初期検索結果表示画面から指定されなかった類似画像群を消去しないまま、ポップアップ表示で診断情報を表示してもよい。類似画像群の指定の方法も任意であり、マウスポインタを類似画像群に重ねたり、あるいはその状態でさらにクリックやダブルクリックをすることで類似画像群を指定できてもよい。さらに、類似画像群を３次元モデルとして生成したアキシアル、サジタル、コロナル方向の３断面画像やボリュームレンダリング画像などを、類似画像群に付随して、あるいは類似画像群とは独立して表示してもよい。この際、操作装置から表示部５の１画面に表示する最大画像数を設定し、その設定に従った数の画像を表示してもよい。

以上のように、類似症例検索システム１００は、入力されたクエリー画像から部位および撮像条件をそれぞれ部位解析部２１および撮像条件解析部２２を推定し、類似度計算部３１が推定された部位および撮像条件に対応する症例画像を検索してそれを表示するから、手動操作でクエリー画像の撮像部位・撮像条件を指定する必要がなく、効率的である。

１：画像データ入力部、２：画像解析部、３：類似画像検索部、４：画像情報ＤＢ、５：表示部、６：登録部

Claims (12)

1. 所望の診断対象画像群を撮像装置から入力する入力部と、
   前記入力部の入力した診断対象画像群を構成する個々の診断対象画像の属性を前記診断対象画像の解析に基づいて推定する推定部と、
   前記推定部の推定した属性に対応した当該属性ごとに異なる前記診断対象画像の特徴量である第１の特徴量を算出する算出部と、
   前記第１の特徴量と、前記推定部の推定した属性に対応した当該属性ごとに異なるデータベース内の症例画像の特徴量である第２の特徴量とを比較することで、前記診断対象画像群に類似する類似症例画像群を前記データベースから検索する検索部と、
   を備え、
   前記属性は、前記診断対象画像の撮像条件および撮像部位を含み、
   前記撮像条件は、造影剤の有無または多時相撮影された時相を含む症例画像検索装置。
2. 前記推定部は、前記診断対象画像の画素値および形状に関する特徴量に基づいて前記撮像部位を推定する請求項１に記載の症例画像検索装置。
3. 前記検索部は、前記診断対象画像の画素値および形状の少なくとも一方に関する特徴量と、前記症例画像の画素値および形状の少なくとも一方に関する特徴量とを比較することで前記類似症例画像群を前記データベースから検索する請求項１または２に記載の症例画像検索装置。
4. 前記診断対象画像から病変領域を選択する選択部を備え、
   前記検索部は、前記選択部の選択した病変領域に関する特徴量に基づいて前記類似症例画像群を前記データベースから検索する請求項３に記載の症例画像検索装置。
5. 前記選択部は、前記診断対象画像の画素値および形状の少なくとも一方に関する特徴量に基づいて前記病変領域を選択する請求項４に記載の症例画像検索装置。
6. 前記検索部の検索した類似症例画像群を表示する表示部を備える請求項１〜５のいずれかに記載の症例画像検索装置。
7. 前記データベースは、前記症例画像に対応する付帯情報を記憶し、
   前記表示部は、前記類似症例画像群を構成する症例画像に対応する前記データベースの付帯情報を表示する請求項６に記載の症例画像検索装置。
8. 前記表示部は、前記推定部の推定した属性に対応した前記類似症例画像群の表示レイアウトを設定する請求項６または７に記載の症例画像検索装置。
9. 前記入力部は、ＣＴ、ＭＲＩその他の医用撮像装置から前記診断対象画像群を入力する請求項１〜８のいずれかに記載の症例画像検索装置。
10. 前記算出部は、前記推定部の推定した属性に対応した計算式によって前記第１の特徴量を算出する請求項１〜９のいずれかに記載の症例画像検索装置。
11. コンピュータが、
    所望の診断対象画像群を撮像装置から入力するステップと、
    前記入力した診断対象画像群を構成する個々の診断対象画像の属性を前記診断対象画像の解析に基づいて推定するステップと、
    前記推定した属性に対応した当該属性ごとに異なる前記診断対象画像の特徴量である第１の特徴量を算出するステップと、
    前記第１の特徴量と、前記推定した属性に対応した当該属性ごとに異なるデータベース内の症例画像の特徴量である第２の特徴量とを比較することで、前記診断対象画像群に類似する類似症例画像群を前記データベースから検索するステップと、
    を実行し、
    前記属性は、前記診断対象画像の撮像条件および撮像部位を含み、
    前記撮像条件は、造影剤の有無または多時相撮影された時相を含む症例画像検索方法。
12. 請求項１１に記載の症例画像検索方法をコンピュータに実行させるための症例画像検索プログラム。

Images