JP5676597B2 - 内容に基づく画像検索についての関連性フィードバック - Google Patents

内容に基づく画像検索についての関連性フィードバック Download PDF

Info

Publication number
JP5676597B2
JP5676597B2 JP2012518139A JP2012518139A JP5676597B2 JP 5676597 B2 JP5676597 B2 JP 5676597B2 JP 2012518139 A JP2012518139 A JP 2012518139A JP 2012518139 A JP2012518139 A JP 2012518139A JP 5676597 B2 JP5676597 B2 JP 5676597B2
Authority
JP
Japan
Prior art keywords
image
value
unit
attribute
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012518139A
Other languages
English (en)
Other versions
JP2012532375A (ja
JP2012532375A5 (ja
Inventor
ブラク アクギュル,ジェイフン
ブラク アクギュル,ジェイフン
エキン,アフメト
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV, Koninklijke Philips Electronics NV filed Critical Koninklijke Philips NV
Publication of JP2012532375A publication Critical patent/JP2012532375A/ja
Publication of JP2012532375A5 publication Critical patent/JP2012532375A5/ja
Application granted granted Critical
Publication of JP5676597B2 publication Critical patent/JP5676597B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53Querying
    • G06F16/532Query formulation, e.g. graphical querying

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Description

本発明は、内容に基づく画像検索に関し、より詳細には、関連性の計算を用いた、内容に基づく画像検索の改善に関する。ある態様では、本発明はさらに、画像検索に基づいた、予測仮説−特に予測診断仮説−の作成に関する。
放射線技師は、解析、分類、及び/又は記述される画像数が絶えず増大する結果として絶えず増大する作業負荷に直面している。ある病気による影響を受けた古い症例を表し、かつ新たな症例を表す新たな画像に相似する、古い画像の記憶体に記憶された画像を、前記新たな画像と前記の古い画像の記憶体に記憶された画像との相似性に基づいて検索することは、前記新たな症例を診断する上で有用になると考えられる。内容に基づく画像検索(CBIR)は、画像検索にとって重要な技術となってきた。この方法では、各画像は、画像の特徴を表す構造−たとえば特徴ベクトル−によって表される。相似関数(SF)は、たとえば2つのベクトル間の差異の長さに基づいて相似値を計算する。つまり2つの特徴ベクトル間の差異が短ければ短いほど、2つの画像間の相似性は強い。
CBIR法の課題は非特許文献1に記載されている。係るシステムはコンピュータ中心となる傾向にある。その理由は、画像特徴ベクトルは一般的に、通常は高レベルの概念によって判断される人間の認識に対応しない低レベルの特徴を有するからである。ルイ他によって提案された解決策は、ユーザーフィードバックに基づいて、特徴を、有用であるか又は有用でないかに分類することである。このため、ユーザーには、特徴ベクトルの相似性に基づいて検索した画像を、高相関から無相関まで段階付けることが求められる。新たな画像中及び高相関に分類された検索画像中の特徴が非常に似ているとき、又は、新たな画像中及び無相関に分類された検索画像中の特徴が非常に異なっているとき、この特徴は相関すると判断される。続いて関連する特徴は、CBIR用にSFを再定義するのに用いられる。このことは、高相関の特徴に対応するSF項に高い重みを割り当て、かつ無相関の特徴に対応するSF項に低い重みを割り当てることによって実現される。ルイ他の方法がCBIRを改善するが、その方法は、ユーザーによる検索された画像の相互作用的な段階付けを必要とする。これは不便であり、かつ時間のかかる恐れがある。
ルイ(Rui)他、"Relevance Feedback: A Power Tool for Interactive Content-Based Image Retrieval"、IEEE Transaction on Circuits and System for Video Technology誌、第6巻、1998年、pp. 644-655 アクグル(C. B. Akgul)、"Density-based shape descriptors and similarity learning for 3D object retrieval"、博士論文、Telecom ParisTech and Bogazici University、2007年
ユーザーによる検索された画像の相互作用的な段階付けを必要しないCBIRを供することは有利となる。
よってある態様では、本発明は、画像記憶手段から画像を検索するシステムを供する。
当該システムは、
− 相似関数によって定義される、画像記憶手段からの画像と問い合わせ画像との間の相似性に基づいて、画像記憶手段から検索された複数の画像を検索する検索ユニット、
− 前記問い合わせ画像に関する第1属性の値と、前記の検索された複数の画像に関する第2属性の値に基づいて、前記の検索された複数の画像の関連性の値を計算する関連性ユニット、及び、
− 前記の計算された関連性の値に基づいて前記相似関数を更新する更新ユニット、
を有する。
前記関連性ユニットはさらに、前記の更新された相似関数に基づいて、画像記憶手段から画像を検索するように構成される。
前記第2属性の値は、画像記憶手段内に記憶され、かつ前記画像記憶手段から検索されて良い。前記第2属性はたとえば、前記の記憶された画像内において一部又は全部が画像化された患者に対して行われる試験であって良い。前記の値はたとえば、心拍数測定、血圧測定、又は臨床的認知症度(CDR)のような前記試験の結果を表して良い。あるいはその代わりに、前記第2属性の値−たとえば画素の平均グレイ値−は、各対応する画像から計算されても良い。前記第1及び第2属性のこれらの値は、前記の画像記憶手段から検索された複数の画像の関連性の値(たとえば段階)を計算するため、前記関連性ユニットによって用いられる。よって前記ユーザーは、前記の検索された画像の比較、及び、ユーザー定義された基準に従った前記の検索された画像の関連性の評価から解放される。有利となるように、当該システムによって計算される関連性の値は、ユーザーの主観には依存しない(独立する)。
当該システムの実施例では、前記相似関数は、相似値を計算する複数の寄与を有し、かつ、前記更新ユニットはさらに、前記の更新された相似関数に含まれる複数の寄与のうちのある寄与を選択するように構成される。たとえば、前記新たな画像中及び高相関に分類された検索画像中の特徴が似ているとき、又は、前記新たな画像中及び無相関に分類された検索画像中の特徴が非常に異なっているとき、前記特徴は相関すると判断される。
当該システムの実施例では、前記第2属性の値−各値は画像記憶手段からの画像に対応する−は、画像記憶手段内に記憶される。前記第2属性の値は、前記画像のユーザー評価若しくは前記画像内で画像化された対象物に対する試験に基づいて検索され、又は、前記画像から計算されて良い。前記画像記憶手段内ですぐに利用可能な第2属性の値を有することで、ユーザー相互作用なしで、前記第2属性に基づいて、前記画像記憶手段から検索される複数の画像の関連性を計算することが可能となる。あるいはその代わりに、前記の複数の画像に関連する第2属性の値−たとえばモデルに基づくセグメント化を用いて前記画像内で画像化された対象物に適合するモデル内に含まれる最大の円の平均画素値又は直径−が、前記複数の画像に基づいて計算されて良い。
当該システムの実施例では、前記第1属性の値は、ユーザー入力に基づいて計算される。前記ユーザー入力は前記第1属性の値を有して良い。前記計算は、前記の入力値を前記第1属性の値に割り当てる。より考えられた場合では、前記ユーザー入力はグレイ値を有して良く、かつ、前記第1属性は、前記の入力されたグレイ値よりも大きな画素値を有する画素の割合である。
当該システムの実施例では、前記第1属性は前記第2属性と同一である。これにより大抵の場合、前記問い合わせ画像に関する第1属性の値と、前記の検索された複数の画像に関連する第2属性の値に基づく前記の検索された複数の画像の関連性の計算は単純化される。前記の複数の検索された画像のうちのある画像について、前記第2属性の値が前記第1属性の値と似ている場合、前記画像には、高い関連性値が割り当てられる。
当該システムの実施例では、前記第1及び第2属性はそれぞれ、前記問い合わせ画像及び前記画像記憶手段からの複数の検索された画像が、ある条件を満たすという仮説である。よって、前記問い合わせ画像に関する仮説と前記の複数の検索された画像のうちのある画像に関する仮説が両方とも真である−つまり同一の論理値を有する−場合、前記の複数の検索された画像のうちのある画像の関連性は高いとみなされる。
当該システムの実施例では、前記第1属性の値は、ユーザー入力に基づいて計算され、かつ、前記ユーザー入力は、前記仮説が真である可能性である。前記関連性ユニットは、実施例の記載においてより詳細に開示されているように、統計試験を用いることによって、前記仮説の論理値を計算するように構成される。
当該システムの実施例では、前記仮説は、前記画像内において身体(の一部)が画像化された患者に関連する診断書であって良い。よって当該システムはさらに、同様の診断書を有する画像を検索するように構成される。本発明のシステムの診断用途は、医師の診断を補助するのに適している。
本発明の実施例では、当該システムは、前記更新ユニットにより更新された相似関数を用いることによって、前記検索ユニットにより検索された画像に基づいて、前記問い合わせ画像に関する属性の値を予測する予測ユニットをさらに有する。たとえば最高の関連性の値を有する前記の検索された画像に関する診断書は、前記予測ユニットによって、前記問い合わせ画像に適用されて良い。他の用途では、いくつかの最も相似する画像で頻繁に現れる診断書が、前記問い合わせ画像に適用されて良い。
他の態様では、本発明によるシステムは、データベースシステム内に含まれる。前記データベースは、画像データを有する画像記憶手段を有する。それに加えて、前記データベースは、他の値−前記データベース内に含まれる一部又は全部の画像についての第2属性の値−を記憶しても良い。本発明のシステムは、前記データベースの探索能力を改善し、かつ前記データベースの機能を拡張する。
他の態様では、本発明によるシステムは画像検索装置内に含まれる。
他の態様では、本発明によるシステムはワークステーション内に含まれる。
他の態様では、本発明は、画像検索手段から画像を検索する方法を供する。当該方法は、
− 相似関数によって定義される、問い合わせ画像に対する前記画像検索手段からの画像の相似性に基づいて、問い合わせ画像に相似する前記画像検索手段からの複数の画像を検索する検索手順、
− 前記問い合わせ画像の第1属性の値と、前記の検索された複数の画像の第2属性の値に基づいて、前記の検索された複数の画像の関連性の値を計算する関連性手順、及び、
− 少なくとも前記の計算された関連性の値に基づいて、前記相似関数を更新する更新手順、
を有する。関連性ユニットはさらに、前記の更新された相似関数に基づいて、画像記憶手段から画像を検索するように構成される。
他の態様では、本発明はコンピュータ装置によって読み込まれるコンピュータプログラム製品を供する。当該コンピュータプログラムは、画像記憶手段から画像を検索する命令を有する。当該コンピュータ装置は、処理ユニット及びメモリを有する。当該コンピュータプログラム製品は、読み込まれた後、当該方法を実行する機能を有する前記処理ユニットを供する。
本発明の上述した実施例及び/又は態様のうちの2つ以上は、有用と考えられる任意の方法で組み合わせられて良いことを当業者は理解する。
当業者は、当該方法が、様々な検索モダリティによって検索される多次元画像データ−たとえば2次元(2-D)、3次元(3-D)、又は4次元(2-D)画像データ−に適用されて良いことを理解する。様々な検索モダリティとはたとえば、X線画像化、コンピュータ断層撮像(CT)、磁気共鳴画像化(MRI)、超音波(US)、陽電子放出断層撮像(PET)、単一光子放出断層撮像(SPECT)、及び核医学(NM)であるが、これらに限定されるわけではない。
本発明は独立請求項によって定義される。有利な実施例は従属請求項によって定義される。
当該システムの典型的実施例のブロック図を表している。 本発明による診断プロトコルの概略的記載を表している。 当該方法の典型的な実施例のフローチャートを表している。 データベースの典型的実施例を概略的に表している。 画像検索装置の典型的実施例を概略的に表している。 ワークステーションの典型的実施例を概略的に表している。
本発明の上記及び他の態様は、以降に記載される実施例から明らかであり、添付図面を参照することでも明らかになる。
図中の同一参照番号は、全ての図を通じて、同様の部材を示すのに用いられる。
図1は、画像検索手段から画像を検索するシステム100の典型的実施例のブロック図を概略的に表している。当該システムは、
− 相似関数によって定義される、画像記憶手段からの画像と問い合わせ画像との間の相似性に基づいて、画像記憶手段から検索された複数の画像を検索する検索ユニット110、
− 前記問い合わせ画像に関する第1属性の値と、前記の検索された複数の画像に関する第2属性の値に基づいて、前記の検索された複数の画像の関連性の値を計算する関連性ユニット120、及び、
− 前記の計算された関連性の値に基づいて前記相似関数を更新する更新ユニット130、
を有する。
関連性ユニット130はさらに、前記の更新された相似関数に基づいて、画像記憶手段から画像を検索するように構成される。
システム100の典型的実施例は、
− 更新ユニット130により更新された相似関数を用いることによって、検索ユニット110により検索された画像に基づいて、前記問い合わせ画像に関する属性の値を予測する予測ユニット140、
− システム100の動作を制御する制御ユニット160、
− ユーザーとシステム100との間でのやり取りのためのユーザーインターフェース165、及び、
− データを記憶するメモリユニット170、
をさらに有する。
システム100の実施例では、入力データ用の3つの入力コネクタ181、182、及び183が存在する。第1入力コネクタ181は、データ記憶手段−たとえばハードディスク、磁気テープ、フラッシュメモリ、又は光ディスクだが、これらに限定されるわけではない−から入力されるデータを受信するように備えられている。第2入力コネクタ182は、ユーザー入力デバイス−たとえばマウス又はタッチスクリーンだが、これらに限定されるわけではない−から入力されるデータを受信するように備えられている。第3入力コネクタ183は、たとえばキーボードのようなユーザー入力デバイスから入力されるデータを受信するように備えられている。入力コネクタ181、182、及び183は、入力制御ユニット180と接続する。
システム100の実施例では、出力データ用の2つの出力コネクタ191と192が存在する。第1出力コネクタ191は、データ記憶手段−たとえばハードディスク、磁気テープ、フラッシュメモリ、又は光ディスク−へデータを出力するように備えられている。第2出力コネクタ192は、前記データを表示装置へ出力するように備えられている。出力コネクタ191と192は、出力制御ユニット190を介して各対応するデータを受信する。
当業者は、システム100の入力コネクタ181、182、及び183に入力デバイスを接続し、かつシステム100の出力コネクタ191及び192に出力デバイスを接続する方法が多数存在することを理解する。これらの方法は、有線及び無線接続、デジタルネットワーク−たとえばローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、インターネット、デジタル電話ネットワーク−、並びにアナログネットワークを有するが、これらに限定されるわけではない。
システム100の実施例では、システム100はメモリユニット170を有する。システム100は、外部デバイスから、入力コネクタ181、182、及び183のうちのいずれかを介して、入力データを受信し、かつメモリユニット170内に前記の受信されたデータを記憶するように構成されている。前記入力データをメモリユニット170へ読み込ませることで、システム100のユニットによる、関連性データ部分への迅速なアクセスが可能となる。前記入力データは問い合わせ画像を有する。任意で、前記入力データは、画像記憶手段からの画像データを有する。あるいはその代わりに、画像記憶手段はメモリ170によって実装されても良い。さらに前記入力データは、ユーザー入力及び/又は画像記憶手段に含まれる画像の第2属性の値を有して良い。メモリユニット170は、デバイス−たとえばCPUのレジスタファイル、キャッシュメモリ、ランダムアクセスメモリ(RAM)チップ、並びに/又はハードディスクドライブ及びハードディスク−によって実装されて良い。メモリユニット170はさらに、前記出力データを記憶するように備えられて良い。前記出力データは、検索ユニット110によって検索される画像を有する。前記出力データはたとえば、前記の更新された相似関数についての有用な情報、及び、前記問い合わせ画像に関する属性の予測値をも有して良い。メモリユニット170は、メモリバス175を介した、検索ユニット110、関連性ユニット120、更新ユニット130、予測ユニット140、制御ユニット160、及びユーザーインターフェース165を有するシステム100のユニットからのデータの受信及び/又はシステム100のユニットへのデータの供給をも行うように備えられて良い。メモリユニット170はさらに、出力コネクタ191と192のうちのいずれかを介して、前記出力データを、外部デバイスに対して利用可能とするように備えられている。システム100のユニットからのデータをメモリユニット170内に記憶することは、システム100のユニットからの外部デバイスへの前記出力データの転送のみならず、システム100のユニットの性能をも有利となるように改善することができる。
システム100の実施例では、システム100は、システム100を制御する制御ユニット160を有する。制御ユニット160は、システム100のユニットからの制御データの受信及びシステム100のユニットへの制御データの提供を行うように備えられて良い。たとえば相似関数の更新後、更新ユニット130は、「相似関数が更新された」という制御データを制御ユニット160へ供するように備えられて良く、かつ、制御ユニット160は、「画像を検索する」という制御信号を検索ユニット110へ供するように備えられて良い。あるいはその代わりに、制御関数は、システム100の別なユニット内に実装されても良い。
システム100の実施例では、システム100は、ユーザーとシステム100との間でのやりとりのためのユーザーインターフェース165を有する。ユーザーインターフェース165は、問い合わせ画像をメモリ170へダウンロードするため、又は、前記第1属性の値を計算するため、ユーザー入力を受信するように備えられて良い。ユーザーインターフェース165はさらに、検索ユニット110によって検索される複数の画像を表示する手段を供して良い。任意でユーザーインターフェース165は、たとえば前記相似関数の更新方法のためのシステム100の動作モードを選択するユーザー入力を受信して良い。当業者は、より多くの機能が、シ有利となるようにステム100のユーザーインターフェース165内に実装できることを理解する。
ある実施例では、本発明のシステム100は、基本的な試験結果から、より高度な認識の試験結果を予測するように構成される。例を挙げると、認知機能検査(MMSE)は、簡単かつ広範に利用された質問票である。MMSEでは、27点を超える得点(30点満点)は実効的に正常とみなされる一方で、低い得点は、認知症の存在と大きく相関する。この検査はたった5分で完了できる一方で、27点(30点満点)で単純な閾値を設定することは、認知症の存在を検出する上で大抵不十分であることも観察されてきた。他方、臨床的認知症度ははるかに高度で、時間のかかる検査で、非常に低いレベルの認知症さえも非常に高い精度で識別することのできる機能が保証されている。CDRの得点が0であれば認知症ではないことが示されるが、高い得点は、重大な深刻度の認知症であることを示す。前記データベースの各画像にはCDRが割り当てられる。
その方法は、最初に、視覚的に未知の症例と相似する過去の症例を検索し、続いて単純な検査結果を用いて、前記過去の症例を、有意なもの又は無意味なものにラベル付けし、かつ最後に、ある条件の存在又は不存在をより正確に探査することの可能な新規の適応性の相似性測定を自動的に学習することに基づく。本発明において提案されたプロトコルは、図1に図示され、かつ以下の手順で構成される。
(S1) ユーザーは、新たな症例(問い合わせ画像)をシステム100に入力する。検索ユニット100は、視覚的な相似性に基づいて(たとえばMR画像の強度ヒストグラム間の類似点として測定される)、段階付けされた過去の症例(データベース画像)を戻す。
(S2-1) 前記問い合わせについての仮説が、前記新たな症例のMMSE得点に基づいて自動的に生成される。前記MMSE得点はたとえば、前記問い合わせ画像のヘッダ内に含まれて良いし、又はユーザーによって入力されても良い。
(S3-1) 前記問い合わせ画像と、求められる数のデータベース画像との間での関連性の関係に基づく関連性の値(たとえばブール代数値である真又は偽)が、「(関連性)=(MMSE<27)かつ(CDR>0)」なる式を用いた関連性ユニット120によって計算される。関連性が計算されるデータベース画像の数Mは、ユーザーによって特定されても良いし、又は性能のベンチマークに基づいて固定されても良い。
(S4) これまでの手順の出力(M枚のデータベース画像の各々についての関連性の値)が、訓練用の組として更新ユニット130によって用いられる。前記訓練用の組はM枚の画像で構成される。この組に基づいて、相似関数は機械学習を用いて更新される。
(S5) この更新された相似関数を用いて、検索ユニット110は、前記の更新された相似関数の値に従って段階付けられたデータベース画像の新たなリストを戻す。
(S6) 最後に、予測ユニット140によって予測される、前記の問い合わせに関するCDR得点は、手順(S5)において検索された段階付けられたリストのうちの最高画像のCDR得点である。
他の実施例では、本発明のシステム100は、画像の相似性と不確実なユーザーの仮説を利用して、医師が精神障害を診断するのを補助するように適応する。前記データベースの各画像には診断結果が割り当てられる。アルゴリズムの手順は以下である。
(S1) ユーザーは、新たな症例(問い合わせ画像)をシステム100に入力する。検索ユニット100は、視覚的な相似性に基づいて(たとえばMR画像の強度ヒストグラム間の類似点として測定される)、段階付けされた過去の症例(データベース画像)を戻す。
(S2-2) ユーザーは、前記問い合わせ画像についての診断上の仮説及び/又は該仮説に関する信頼性についての言明を供する(後者はたとえば、言葉で表明することによって行われても良いし、又はユーザーインターフェース上のスライダの調節によって行われても良い)。
(S3-2) 前記診断仮説は、前記信頼性についての言明−たとえば前記診断仮説が真である確率p−に基づいて検査される。たとえば無作為な数rが、区間[0,1]で均一に分布する無作為数の発生装置を用いて生成される。r≦pである場合、検査結果は真(つまり前記診断仮説は真)である。それ以外の場合では、結果は偽(つまり前記診断仮説は偽)である。診断仮説検査の結果、及び、M枚の検索された画像の各々について(仮説<=診断結果)であるか否かに基づく関連性の値(たとえばブール代数値である真又は偽)は、「(関連性)=(検査結果)かつ(仮説<=診断結果)」なる式に従って計算される。数Mは、ユーザーによって特定されても良いし、又は性能のベンチマークテストに基づいて決定されても良い。
(S4) これまでの手順の出力(M枚のデータベース画像の各々についての関連性の値)が、訓練用の組として更新ユニット130によって用いられる。前記訓練用の組はM枚の画像で構成される。この組に基づいて、相似関数は機械学習を用いて更新される。
(S5) この更新された相似関数を用いて、検索ユニット110は、前記の更新された相似関数の値に従って段階付けられたデータベース画像の新たなリストを戻す。
(S6-2) 最後に、予測ユニット140によって予測される、前記の問い合わせに関する診断結果は、手順(S5)において検索された段階付けられたリストのうちの最高画像の診断結果である。
画像記憶手段から画像を検索する方法Mの典型的な両実施例のフローチャートが、図5において概略的に表されている。当業者は、本発明が意図した基本思想から逸脱することなく、一部の手順の順序を変更することも可能だし、又は、スレッドモデル、マルチプロセッサシステム、若しくはマルチプロセスを用いることによって同時に実行することも可能である。任意で、方法Mの2つ以上の手順は1つの手順に結合されて良い。任意で、方法Mの1つの手順は複数の手順に分割されて良い。任意で、方法Mは、条件をチェックする繰り返し手順S7をさらに有して良い。前記条件はユーザー入力に基づいて良い。前記条件が満たされる場合、方法Mは、手順S1〜S5を繰り返すことで、前記相似関数をさらに更新するように構成される。前記条件が満たされない場合、方法Mは、最終手順S6まで続けられて、その後終了する。
当業者は、一般的に「画像」が2D又は3D画像を指称することを理解する。あるいはその代わりに、「画像」はまた、たとえば文字列又は記号のような対象物を表しても良い。
本発明の実施例では、相似関数は、手順S4において、以下のような方法で、更新ユニット130によって決定される。q=(qk)∈RKを、前記問い合わせのK次元画像特徴ベクトルとする。またxm=(xk m)∈RK、m=1,2,…Mを、手順S1において検索ユニット110によって検索された複数の画像から得られたm番目の画像の画像特徴ベクトルとする。k番目の画像の特徴の寄与は、重みベクトルwの重みwkを有する。特徴ベクトルqによって表される問い合わせ画像に対する、特徴ベクトルxによって表される検索画像の相似性を計算する相似関数は次式で定義することができる。
Figure 0005676597
当業者は、検索ユニット110によって検索された複数の画像に対応する特徴ベクトルxm及び関連性ユニット120によって計算された関連性の値ymに基づいて、値wkを計算する多くの方法を知るだろう。任意の適切な方法が、更新手順S4において実装され、かつ更新ユニット130によって利用されて良い。たとえば重みは、非特許文献1に記載されたルイ他の方法又は機械学習を用いて計算されて良い。適切な機械学習は非特許文献2の第3章に記載されている。さらに非特許文献1,2は、前記第3章に記載された相似性の統計学習を理解する上で有用になりうる。当業者は、請求項の技術的範囲が、前記相似関数の定義によって、又は、たとえば上述の典型的実施例重みwkのような前記相似関数のパラメータを更新するのに利用される方法によっては限定されないことを理解する。
当業者は、システム100が、医師の仕事を様々な態様において支援する便利な道具であることを理解する。さらに当該システムの実施例が、当該システムの医療用途を用いて例示されているとしても、当該システムの医療以外の用途も考えられる。
さらに当業者は、システム100の他の実施例もまた考えられることを理解する。とりわけ、システム100のユニットを再定義すること、及びそのユニットの機能を再分配することが可能である。たとえ記載された実施例が医療用画像に適用されているとしても、当該システムの他の用途もまた、医療用途に限定されず可能である。
システム100のユニットはプロセッサを用いて実装されて良い。通常、ユニットの機能は、ソフトウエアプログラム製品の制御下で実行される。実行中、当該ソフトウエアプログラム製品は通常、メモリ−たとえばRAM−へ読み込まれ、かつ該メモリから実行される。前記プログラムは、バックグラウンドメモリ−たとえばROM、ハードディスク、又は磁気及び/若しくは光学記憶体−から、インターネットのようなネットワークを介して読み出されて良い。任意で、用途特定集積回路が、記載された機能を供しても良い。
図4は、本発明のシステム100を実行するデータベースシステム400の典型的実施例を概略的に図示している。データベースシステム400は、システム100との内部接続を介して接続するデータベースユニット410、外部入力コネクタ401、及び外部出力コネクタ402を有する。この構成は有利となるように、データベースシステム400の機能を増大させることで、システム100の有利な機能を備えたデータベースシステム400が供される。
図5は、本発明のシステム100を利用する画像検索装置500の典型的実施例を概略的に図示している。画像検索装置500は、システム100との内部接続を介して接続する画像検索ユニット510、入力コネクタ501、及び出力コネクタ502を有する。この構成は有利となるように、画像検索装置500の機能を増大させることで、システム100の有利な機能を備えた画像検索装置500が供される。
図6は、ワークステーション600の典型的実施例を概略的に図示している。プロセッサ610、メモリ620、ディスク入出力(I/O)アダプタ630、及びユーザーインターフェース(UI)640は、動作するようにシステムバス601と接続する。ディスク記憶装置631は、動作するようにディスクI/Oアダプタ630と接続する。キーボード641、マウス642、及びディスプレイ643は、動作するようにUI640と接続する。コンピュータプログラムとして実装される本発明のシステム100は、ディスク記憶装置631内に記憶される。ワークステーション600は、前記プログラムと入力データをメモリへ読み込ませ、かつ前記プログラムをプロセッサ610上で実行させるように構成されている。ユーザーは、キーボード641及び/又はマウス642を用いてワークステーション600へ情報を入力して良い。ワークステーション600は、表示装置643及び/又はディスク631へ情報を出力するように構成される。当業者は、当技術分野において既知のワークステーション600の他の実施例が多数存在し、かつ、本実施例は、本発明を例示する目的で供されたものであり、本発明をこの特別な実施例に限定するものとして解されてはならないことを理解する。

Claims (15)

  1. 画像記憶手段から画像を検索するシステムであって、
    当該システムは:
    相似関数によって定義される、画像記憶手段からの画像と問い合わせ画像との間の相似性に基づいて、画像記憶手段から複数の画像を検索する検索ユニット;
    「(関連性)=(MMSE<27)かつ(CDR>0)」なる式を用いて、前記問い合わせ画像に関する第1属性の値と、前記の検索された複数の画像に関する第2属性の値に基づいて、前記の検索された複数の画像の関連性の値を計算する関連性ユニット;及び、
    前記の計算された関連性の値に基づいて前記相似関数を更新する更新ユニット;
    を有し、
    前記関連性ユニットはさらに、前記の更新された相似関数に基づいて、画像記憶手段から画像を検索するように構成される、
    前記MMSEは認知機能検査を表し、かつ、前記CDRは臨床的認知症度を表す
    システム。
  2. 前記相似関数は、相似値を計算する複数の寄与を有し、かつ、
    前記更新ユニットはさらに、前記の更新された相似関数に含まれる複数の寄与のうちのある寄与を選択するように構成される、
    請求項1に記載のシステム。
  3. 前記第2属性の値の各値は画像記憶手段からの画像に対応し、
    前記第2属性の値は画像記憶手段内に記憶される、
    請求項1又は2に記載のシステム。
  4. 前記第1属性の値は、ユーザー入力に基づいて計算される、請求項1乃至3のいずれか1項に記載のシステム。
  5. 前記第1属性は前記第2属性と同一である、請求項1乃至4のいずれか1項に記載のシステム。
  6. 前記第1及び第2属性はそれぞれ、前記問い合わせ画像及び前記画像記憶手段からの複数の検索された画像が、ある条件を満たすという仮説である、請求項5に記載のシステム。
  7. 前記第1属性の値は、ユーザー入力に基づいて計算され、かつ、
    前記ユーザー入力は、前記仮説が真である可能性である、
    請求項6に記載のシステム。
  8. 前記仮説は診断上の仮説である、請求項6又は7に記載のシステム。
  9. 前記更新ユニットにより更新された相似関数を用いることによって、前記検索ユニットにより検索された画像に基づいて、前記問い合わせ画像に関する属性の値を予測する予測ユニットをさらに有する、請求項1乃至8のいずれか1項に記載のシステム。
  10. 請求項1乃至9のいずれか1項に記載のシステムを有するデータベースシステム。
  11. 請求項1乃至9のいずれか1項に記載のシステムを有する画像検索装置。
  12. 請求項1乃至9のいずれか1項に記載のシステムを有するワークステーション。
  13. 画像記憶手段から画像を検索する方法であって、
    当該方法は:
    相似関数によって定義される、問い合わせ画像に対する前記画像記憶手段からの画像の相似性に基づいて、問い合わせ画像に相似する前記画像記憶手段からの複数の画像を検索ユニットに検索させる検索手順;
    「(関連性)=(MMSE<27)かつ(CDR>0)」なる式を用いて、前記問い合わせ画像の第1属性の値と、前記の検索された複数の画像の第2属性の値に基づいて、前記の検索された複数の画像の関連性の値を関連性ユニットに計算させる関連性手順;及び、
    少なくとも前記の計算された関連性の値に基づいて、前記相似関数を更新ユニットに更新させる更新手順;
    を有し、
    前記検索ユニットはさらに、前記の更新された相似関数に基づいて、画像記憶手段から画像を検索するように構成され
    前記MMSEは認知機能検査を表し、かつ、前記CDRは臨床的認知症度を表す
    方法。
  14. 前記更新ユニットにより更新された相似関数を用いることによって、前記検索ユニットにより検索された画像に基づいて、前記問い合わせ画像に関する属性の値を予測する予測手順をさらに有する、請求項13に記載の方法。
  15. コンピュータ装置によって読み込まれるコンピュータプログラムであって、
    当該コンピュータプログラムは、画像記憶手段から画像を検索する命令を有し、
    当該コンピュータ装置は、処理ユニット及びメモリを有し、
    当該コンピュータプログラムは、読み込まれた後、前記処理ユニットに請求項13又は14に記載の方法を実行する機能を供する、
    コンピュータプログラム。
JP2012518139A 2009-06-30 2010-06-23 内容に基づく画像検索についての関連性フィードバック Expired - Fee Related JP5676597B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP09164122 2009-06-30
EP09164122.5 2009-06-30
PCT/IB2010/052845 WO2011001331A1 (en) 2009-06-30 2010-06-23 Relevance feedback for content-based image retrieval

Publications (3)

Publication Number Publication Date
JP2012532375A JP2012532375A (ja) 2012-12-13
JP2012532375A5 JP2012532375A5 (ja) 2013-08-22
JP5676597B2 true JP5676597B2 (ja) 2015-02-25

Family

ID=42562551

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012518139A Expired - Fee Related JP5676597B2 (ja) 2009-06-30 2010-06-23 内容に基づく画像検索についての関連性フィードバック

Country Status (6)

Country Link
US (1) US20120114256A1 (ja)
EP (1) EP2449484B1 (ja)
JP (1) JP5676597B2 (ja)
CN (1) CN102473182B (ja)
RU (1) RU2559712C2 (ja)
WO (1) WO2011001331A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102232220B (zh) * 2010-10-29 2014-04-30 华为技术有限公司 一种视频兴趣物体提取与关联的方法及系统
CN107885757B (zh) * 2016-09-30 2020-06-26 华为技术有限公司 图像检索的方法及装置
WO2018107371A1 (zh) 2016-12-13 2018-06-21 上海联影医疗科技有限公司 图像搜索系统及方法
WO2020255227A1 (ja) * 2019-06-17 2020-12-24 日本電信電話株式会社 学習装置、検索装置、学習方法、検索方法、学習プログラム、及び検索プログラム
EP3910645A1 (en) * 2020-05-13 2021-11-17 Siemens Healthcare GmbH Image retrieval
EP4016543A1 (de) * 2020-12-15 2022-06-22 Siemens Healthcare GmbH Verfahren und vorrichtung zur bereitstellung einer medizinischen information
CN113434573B (zh) * 2021-06-29 2023-03-24 中国科学院自动化研究所 多维度图像检索系统、方法及设备

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5666524A (en) * 1994-08-31 1997-09-09 Price Waterhouse Llp Parallel processing system for traversing a transactional database
US6859802B1 (en) * 1999-09-13 2005-02-22 Microsoft Corporation Image retrieval based on relevance feedback
US7099860B1 (en) * 2000-10-30 2006-08-29 Microsoft Corporation Image retrieval systems and methods with semantic and feature based relevance feedback
KR100516289B1 (ko) * 2000-11-02 2005-09-21 주식회사 케이티 퍼지 적분을 이용하여 사용자 의견을 반영한 내용기반영상 검색 장치 및 그 방법
EA008675B1 (ru) * 2001-06-22 2007-06-29 Нервана, Инк. Система и способ поиска, управления, доставки и представления знаний
US20040100563A1 (en) * 2002-11-27 2004-05-27 Sezai Sablak Video tracking system and method
US7298376B2 (en) * 2003-07-28 2007-11-20 Landmark Graphics Corporation System and method for real-time co-rendering of multiple attributes
US7870140B2 (en) * 2006-06-12 2011-01-11 D&S Consultants, Inc. System and method of incorporating user preferences in image searches
JP4997892B2 (ja) * 2006-09-19 2012-08-08 富士ゼロックス株式会社 検索システム、検索方法及び検索プログラム
US8472705B2 (en) * 2008-05-23 2013-06-25 Yahoo! Inc. System, method, and apparatus for selecting one or more representative images

Also Published As

Publication number Publication date
CN102473182A (zh) 2012-05-23
RU2012102940A (ru) 2013-08-10
WO2011001331A1 (en) 2011-01-06
CN102473182B (zh) 2015-07-22
US20120114256A1 (en) 2012-05-10
JP2012532375A (ja) 2012-12-13
EP2449484B1 (en) 2019-01-09
EP2449484A1 (en) 2012-05-09
RU2559712C2 (ru) 2015-08-10

Similar Documents

Publication Publication Date Title
JP5676597B2 (ja) 内容に基づく画像検索についての関連性フィードバック
US11069056B2 (en) Multi-modal computer-aided diagnosis systems and methods for prostate cancer
US10496884B1 (en) Transformation of textbook information
US10853449B1 (en) Report formatting for automated or assisted analysis of medical imaging data and medical diagnosis
RU2533500C2 (ru) Система и способ для объединения клинических признаков и признаков изображений для диагностики с применением компьютера
JP5506912B2 (ja) 臨床決定支援システム及び方法
JP2019530488A (ja) 深層畳み込みニューラルネットワークを使用した医用画像のためのコンピュータ支援による診断システム
JP2019528511A (ja) ニューロンネットワークをトレーニングする方法及び能動学習システム
KR20180025093A (ko) 약한 지도 학습 기반의 기계 학습 방법 및 그 장치
JP6818424B2 (ja) 診断支援装置、情報処理方法、診断支援システム及びプログラム
CN109191451B (zh) 异常检测方法、装置、设备和介质
KR20200077852A (ko) 복수의 의료 영상 판독 알고리듬들에 대한 평가 스코어를 생성하는 의료 영상 판독 지원 장치 및 방법
US11263744B2 (en) Saliency mapping by feature reduction and perturbation modeling in medical imaging
JP2014029644A (ja) 類似症例検索装置および類似症例検索方法
JP5826749B2 (ja) コンテンツベースの画像検索に関する関連度の視覚化
EP2279482B1 (en) Image classification based on image segmentation
JP2024507684A (ja) 大動脈組織のセグメント化および特徴付けのための方法およびシステム
US11923069B2 (en) Medical document creation support apparatus, method and program, learned model, and learning apparatus, method and program
Wang et al. An interpretable deep learning system for automatic intracranial hemorrhage diagnosis with CT image
EP4327333A1 (en) Methods and systems for automated follow-up reading of medical image data
US11263481B1 (en) Automated contrast phase based medical image selection/exclusion
KR102665091B1 (ko) 의료 정보 처리 장치 및 방법
Mahmoud et al. Chest radiographs images retrieval using deep learning networks
EP4379672A1 (en) Methods and systems for classifying a medical image dataset
Sharma et al. COMBINATION OF COMPUTED TOMOGRAPHY (CT) IMAGES WITH A CHEST X-RAY DIAGNOSTIC SYSTEM USING DEEP LEARNING

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130620

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130628

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131224

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140320

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140328

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140624

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141202

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141225

R150 Certificate of patent or registration of utility model

Ref document number: 5676597

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees