JP2685456B2

JP2685456B2 - 類似画像検索装置

Info

Publication number: JP2685456B2
Application number: JP25969487A
Authority: JP
Inventors: 清美岸; 孝一森下; 哲夫横山
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1987-10-16
Filing date: 1987-10-16
Publication date: 1997-12-03
Anticipated expiration: 2012-12-03
Also published as: JPH01103735A

Description

【発明の詳細な説明】〔産業上の利用分野〕本発明は、医用画像のように画像、および属性情報を
蓄積・検索する画像データベースシステムの類似画像検
索方式に関し、特に、適切な類似画像を効率的に検索す
ることができ、また、画像の追加・削除等が容易で柔軟
性のある類似画像検索装置を提供することにある。〔従来技術〕従来の画像データベースシステムにおいて関連画像を
検索する場合、例えば特願昭59−87147号公報に記載さ
れている方法のように、画像間を関連づける関連画像テ
ーブルを予め用意し、その関連画像テーブルを用いて検
索を行っていた。また、“情報処理学会，第33回大会（昭和61年後期）
報，第1661頁〜1662頁”に記載されている方法では、画
像間で直接比較を行い、類似度を求めている。〔４〕上記従来技術では、画像間で直接比較を行う方法を採
用すると処理の柔軟性は高いが、多数の画像を検索対象
とする場合には処理時間が長いという問題があった。また、画像間の関係を示す関連画像テーブルを使用す
る方法では、テーブル作成時に条件が固定され、その関
係を変更する度に、新しく関連画像テーブルを作成し直
す必要がある。また、実際には利用者や利用目的の相違により、関連
画像テーブルを頻繁に変更する必要があるため、画像が
大量にある場合には、変更に要する作業量が膨大にな
る。さらに、画像を追加する場合、追加しようとする画像
との関連の有無を全ての画像について調べ、関連画像テ
ーブルを追加修正する必要があり、また、画像を削除す
る場合にも、削除しようとする画像に関連がある画像を
全て調べ、関連画像テーブルより関連する部分を削除す
る必要がある。このように、画像の追加・削除に従って、修正箇所が
関連画像テーブル全体に渡る煩雑な更新処理が必要であ
るという問題があった。本発明の目的は、このような問題点を改善し、利用者
や利用目的の相違に応じて発生する画像間の関連情報の
変更が容易であって、適切な類似画像を効率的に検索す
ることができ、また、画像の追加・削除時に特別な更新
処理を必要とせず、柔軟性がある類似画像検索装置を提
供することにある。〔問題を解決するための手段〕上記目的を達成するため、本発明の類似画像検索装置
は、属性情報間の類似度を定義する類似度テーブル、お
よび、属性情報の重要度について、利用者や利用目的に
応じて複数ケース定義する重みテーブルを備え、画像の
属性情報の中、利用者全体に共通の部分（検索操作履
歴）と、利用者や利用目的により異なる部分（類似度テ
ーブル，重みテーブル）とを別々に管理して類似画像検
索を行うことに特徴がある。また、基準となる被検索画像（以下基準画像と記す）
に付与されたキーワードにより類似条件を設定し、類似
画像検索を行う場合には、第１段階として、そのキーワ
ードを用いて候補画像を絞り込み、データ数を減少して
から、第２段階として、負荷が大きい直接比較等の自動
判定処理を行うことに特徴がある。〔作用〕本発明においては、利用者や利用目的により定義され
た属性情報間の類似度テーブル、および属性情報の重み
テーブルを用いて画像間の類似度を判定して、類似画像
を検索する。これにより。重みが大きく属性情報間類似度が高い画
像を、重みが小さく属性情報間類似度が高い画像より類
似度が高いと判断する。また、重みは利用者や利用目的により定義されている
ため、利用者や利用目的にあった重みテーブルを選択
し、必要に応じて修正することにより、利用者や利用目
的の相違から発生する画像間の関連情報の変更を容易に
し、適切な類似画像を検索することが可能である。さらに、重みの定義は画像の数とは無関係であるた
め、画像の追加・削除について特別な更新処理を必要と
しない。また、本発明においては、基準となる画像を選択する
際、その属性としてキーワードがいくつか設定されてい
るため、類似条件として表現が確定しているキーワード
間を論理式で結び、まず、候補画像を絞り込むことによ
り、類似画像検索に要する処理時間全体を短縮すること
ができる。〔実施例〕以下、本発明の一実施例を図面により説明する。第９図は、本発明の第１の実施例における類似画像検
索システムの構成図である。本実施例の類似画像検索システムは、大容量記憶装置
91、画像処理装置92、画像表示装置93、記憶装置94、入
出力装置95、処理装置96、表示装置97、キーボード98、
マウス99、および外部記憶媒体100を備える。大容量記憶装置91は、Ｘ線撮影装置、Ｘ線CT、MRI、
超音波断層撮影装置等で撮影された画像（以下原画像と
記す）を記憶する。また、画像処理装置92は原画像を大容量記憶装置91か
ら読み出し、画像表示装置93に表示する。また、記憶装置94は、原画像を縮小するか、あるいは
その要旨をまとめた抄録画像、および属性情報を記憶す
る。また、入出力装置95は、フレキシブルディスク、ICカ
ード等の外部記憶媒体100に格納された属性情報間類似
度を定義する類似度テーブル、および、属性情報の重み
を定義する重みテーブルを、処理装置96に読み込む。また、表示装置97は、利用者がキーボード98、あるい
はマウス99を用いて検索要求を行う際のガイダンス、あ
るいは検索結果を表示する。第６図は、本発明の第１の実施例における属性情報の
構成例図である。本実施例の記憶装置94は記憶する属性情報61として、
例えば診断所見データ項目（画像の特徴を示す患者ID、
部位、検査法、病名等の項目）、原画像、抄録画像のフ
ァイル名、および検索操作履歴の各項目により構成さ
れ、これらは原画像毎に記憶される。なお、属性情報としては、診断所見データ項目の他に
診断時の所見メモ等の文章を記憶することもできる。第３図は、本発明の第１の実施例における属性情報間
の類似度テーブルの構成例図である。本実施例の類似度テーブル30では、類似判定に不要な
項目、例えば患者ID、原画像、抄録画像のファイル名等
を属性情報の項目から除いた項目（以下類似度判定項目
と呼ぶ）の各々について、属性情報間の類似度r_i（x_i,y
_i）を定義する。この類似度の定義する方法については、例えばx_i＝
「大」、y_i＝「大」の場合、x_iとy_iとは同じ意味である
から、類似度r_i＝1.0と定義する。また、x_i＝「大」、y_i＝「小」の場合、x_iとy_iの意味
は反対であるから、類似度r_i＝0.0と定義する。第４図は、本発明の第１の実施例における属性情報の
重みテーブルの構成例図である。本実施例の重みテーブル40は、画像間の類似度を判定
する上での各類似度判定項目の重要度について定義す
る。また、各々の類似度判定項目の重みw_iは、 w_i＝P_i＋E_i という式で表わされる。なお、P_iは検索対象画像の特徴により決定される特徴
成分であり、E_iは検索操作履歴により更新される学習成
分である。また、P_iの定義方法については、例えば、「病名」同
士のみが一致している画像間の類似度の方が、「大き
さ」同士のみが一致している画像間の類似度より大であ
ると利用者が考える場合、「病名」の重みを「大きさ」
の重みより大と定義する。また、E_iの定義方法については、基準画像の属性情報
a_iと、利用者の類似度検索結果画像の属性情報b_iとの属
情間類似度r_iを用いて、検索が行われる毎に以下の式に
より更新される。 E_i＝Ｃ＊（R_i＋r_i）/M_i なお、Ｃは学習成分の寄与度を与える適当な定数、R_i
は類似度判定項目ｉの過去の属性情報間類似度の総和、
r_iは今回の類似度判定項目ｉの属性情報間類似度、M_iは
類似度判定項目ｉの属性情報間類似度計算回数を示す。また、本実施例では類似度テーブル30、および重みテ
ーブル40を外部記憶媒体100より読み込んでいるが、記
憶装置94に記憶することもできる。第５図は、本発明の第１の実施例における類似画像検
索時の画面表示例図である。本実施例では類似画像検索時、表示装置97の画名に
は、選択メニュー51a〜51d、類似画像検索結果の候補画
像の抄録画像表示エリア52a〜52p、基準画像の抄録画像
表示エリア53、および、基準画像の属性情報表示エリア
54a〜54iを表示する。第１図は、本発明の第１の実施例における類似画像検
索のフローチャートである。本実施例では、まず、利用者が類似検索の対象となる
基準画像を選択する（101）。なお、この操作は、例えば第６図の属性情報61の中か
ら、患者ID「1001」をキーボード98、あるいはマウス99
を用いて使定することにより行う。こうして基準画像が選択されると、処理装置96は画像
処理装置92に、例えば基準画像のファイル名「a01」を
送信する。また、これと同時に、基準画像の抄録画像を
エリア53に表示し、属性情報61をエリア54a〜54iに表示
する。次に、画像処理装置92は指定されたファイル名「a0
1」の原画像を大容量記憶装置91から読み出して、画像
表示装置93に表示する。利用者は、こうして表示された原画像、および属性情
報を参照しながら（102）、基準画像に類似した画像の
検索要求を行う（103）。なお、この操作は、例えば第５図の検索画面におい
て、利用者がマウス99を操作し、選択メニュー「類似」
51aを選択することにより行う。こうして検索要求が行われると、処理装置96は記憶装
置94に格納された属性情報61と、外部記憶媒体100に格
納された類似度テーブル30、および重みテーブル40によ
り、基準画像「a01」の属性情報a_iと、候補画像ｘの属
性情報x_iとの間の類似度Ｒを以下の式により求める（10
4）。なお、r_i（a_i,x_i）は属性情報間類似度、w_iは重み、w
_tは重み合計である。以上の式により、同様に全ての候補画像について類似
度Ｒを求めた後、類似度Ｒが大きい順に予め指定した検
索目標数分の抄録画像をエリア52a〜52pに表示する（10
5）。利用者は、表示された抄録画像より、例えば関係が深
いと思われるエリア52aをマウス99により選択する（10
6）。こうして候補画像の選択が行われると、処理装置96は
基準画像検索時と同様に、例えばそのエリア52aに表示
された抄録画像のファイル名「c02」を検索し、選択さ
れた類似候補画像の原画像を画像表示装置93に表示す
る。また、検索操作履歴に基準画像「a01」の類似画像と
して「c02」を登録し、さらに、「a01」と「c02」との
属性情報間類似度により、重みテーブル中の学習成分を
更新する（107）。この場合、選択メニュー「履歴」51bを用いて検索を
行いながら、会話型で重みテーブル40の変更を行うこと
が可能である。さらに、選択メニュー「変更」51cを用いて検索を行
いながら、会話型で重みテーブル40の変更を行うことも
可能である。本実施例によれば、利用者全体に共通な部分、つま
り、原画像、属性情報、および抄録画像（以下画像デー
タベースと呼ぶ）と、類似画像検索プログラムと、利用
者や利用目的により異なる部分、つまり、類似度テーブ
ルや重みテーブル等とを別々に管理することが可能であ
る。このため、共通の画像データベース、および類似画像
検索プログラムを用いながら、フレキシブルディスク等
の外部記憶媒体に格納された個人用の類似度テーブルと
重みテーブルを用いて、他の利用者の影響を受けること
なく、恰も個人用に作成された類似画像検索システムを
利用するように検索を行うことができる。また、検索操作履歴により、重みの学習成分を更新す
るため、柔軟性がある類似画像検索システムを提供する
ことができる。また、類似度テーブルを用いることにより、検索対象
とする画像相互の属性情報の用語が一致しない場合でも
類似性を判断することができるため、属性情報作成時の
使用用語の不統一による類似度判定の誤差を解消するこ
とができる。なお、本実施例えは医用画像検索について述べたが、
他の分野にも応用することが可能である。例えば、特許情報等の文書に関する類似画像検索につ
いては、属性情報として、「発明の名称」、「出願
人」、「発明者」、「キーワード」等が考えられ、類似
特許検索時に利用者が重みテーブルを設定する。この場合、「発明の名称」の重みを他の属性情報の重
みより大きくすると、「発明の名称」同士の類似度が高
い特許同士を類似度が高いと判断するため、利用者の要
求にあった検索が可能である。第７図は、本発明の第２の実施例におけるキーワード
による類似条件の設定例図、第８図は本発明の第２の実
施例における類似条件の修正例図である。本実施例の類似画像検索システムは、第１の実施例
（第９図参照）と同様に、大容量記憶装置、画像処理装
置、画像表示装置、記憶装置、入出力装置、処理装置、
表示装置、キーボード、マウス、および外部記憶媒体を
備え、医用画像の検索を行う。また、診断の対象となる基準画像には属性情報とし
て、患者ID、病名、病患部等が付与されている。本実施例では、この基準画像の属性情報の中から、表
現が確定しているもの、つまり、キーワードとして用い
ることができるものを選択し、類似条件として外部記憶
媒体に設定・登録する。また、表示装置の画面で設定を行う場合、第７図のよ
うに、コマンド指定部70の中の類似条件呼び出しコマン
ド701を選択することにより、登録されたキーワード類
似条件がウインド71の条件設定部710に表示され、さら
に、ウインド72には文章形式で表示される。この場合、ウインド71中の条件設定部710に対応する
文章は、ウインド72中の日本語文章表示720である。また、こうして設定した類似条件を表示装置の画面上
で修正する場合、第８図のように、コマンド指定部80の
中から、類似条件呼び出しコマンド801を選択すると、
類似条件810、および、その類示条件を表現した日本語
文章表示820がウインド82に表示される。例えば、類似条件としてウインド81中の陰影形状が円
形という条件811を追加すると、日本語文章表示820に
も、その条件を表現した日本語文章表示821が追加され
るため、利用者は条件820で検索を行うとともに、登録
コマンド802により再登録することができる。第２図は、本発明の第２の実施例における類似画像検
索のフローチャートである。本実施例において類似画像検索を行う場合、診断の対
象となる基準画像が利用者により選択されると（20
1）、その基準画像の属性情報からキーワードとして利
用できるものを選択し、類似条件として設定する（20
2）。例えば、病名が肺炎、部位が左葉という条件を設
定する。次に、その条件でキー検索を行い、第１次の候補画像
が選択される（203）。なお、この選択により目標とする絞り込み数に達した
場合には処理を終了する。また、目標とする絞り込み数に達していない場合に
は、次に、キーレスの類似画像検索を行う。つまり、画
像の濃度パターン同士のマッチング処理、あるいは、同
意語等を含むキーワード間の類似度を用いて自動判定処
理等を行い、さらに、候補画像を絞り込む（204）。こうして、最終的に絞り込まれた候補画像の中から、
目的とする画像を選択する（205）。〔発明の効果〕本発明によれば、利用者や利用目的の相違により生じ
る画像間の関連情報の変更を容易とし、適切な類似画像
を効率的に検索することが可能であり、かつ、画像の追
加・削除時にも特別な更新処理が不要であり、柔軟性が
ある類似画像検索システムを提供することができる。また、類似画像検索をキーワード指定による検索処理
部と、パターンマッチング等によるキーレス自動判定の
２段階で構成できるため、全体の処理時間を短縮するこ
とが可能である。

【図面の簡単な説明】第１図は本発明の第１の実施例における類似画像検索の
フローチャート、第２図は、本発明の第２の実施例にお
ける類似画像検索のフローチャート、第３図は本発明の
第１の実施例における属性情報間の類似度テーブルの構
成例図、第４図は本発明の一実施例における属性情報の
重みテーブルの構成例図、第５図は本発明の第１の実施
例における類似画像検索時の画面表示例図、第６図は本
発明の第１の実施例における属性情報の構成例図、第７
図は本発明の第２の実施例におけるキーワードによる類
似条件の設定例図、第８図は本発明の第２の実施例にお
ける類似条件の修正例図、第９図は本発明の第１の実施
例における類似画像検索システムの構成図である。 30:類似度テーブル,40:重みテーブル,51a〜51d:選択メ
ニュー,52a〜52p:候補画像の抄録画像表示エリア,53:基
準画像の抄録画像表示エリア,54a〜54i:基準画像の属性
情報表示エリア,61:属性情報,70,80:コマンド指定部,7
1,72,81,82:ウィンド,91:大容量記憶装置,92:画像処理
装置,93:画像表示装置,94:記憶装置,95:入出力装置,96:
処理装置,97:表示装置,98:キーボード,99:マウス,100:
外部記憶媒体,701,801:類似条件呼び出しコマンド,710:
条件設定部,720,820,821:日本語文章表示,802:登録コマ
ンド,810:類似条件,811:条件。

───────────────────────────────────────────────────── フロントページの続き (72)発明者横山哲夫神奈川県川崎市麻生区王禅寺1099番地株式会社日立製作所システム開発研究所内 (56)参考文献特開昭62−196726（ＪＰ，Ａ) 特開昭60−231265（ＪＰ，Ａ)

Claims

(57)【特許請求の範囲】１．複数の画像、画像の特徴を示す属性情報、および検
索操作履歴を記憶して、任意に選択した画像と類似する
画像を検索するシステムにおいて、上記属性情報間の類似度の組を利用者もしくは利用目的
に応じて複数種類定義する属性情報間類似度定義手段
と、定義された上記属性情報間の類似度の組のうちひと組を
利用者もしくは利用目的に応じて選択し、選択された属
性情報間の類似度の組を用いて画像間類似度を判定する
画像間類似度判定手段とを設けたことを特徴とする類似
画像検索装置。２．特許請求の範囲第１項記載の類似画像検索装置にお
いて、上記画像間類似度の判定に必要な属性情報項目である類
似度判定項目のそれぞれの重要度を利用者もしくは利用
目的に応じて複数種類定義する重要度定義手段をさらに
有し、利用者もしくは利用目的に応じて選択される上記属性情
報間の類似度と上記重要度とを用いて上記画像間類似度
を判定することを特徴とする類似画像検索装置。３．特許請求の範囲第２項記載の類似画像検索装置にお
いて、上記重要度は、上記検索操作履歴により更新されること
を特徴とする類似画像検索装置。