JP4380142B2 - 検索システム及び検索方法 - Google Patents
検索システム及び検索方法 Download PDFInfo
- Publication number
- JP4380142B2 JP4380142B2 JP2002320626A JP2002320626A JP4380142B2 JP 4380142 B2 JP4380142 B2 JP 4380142B2 JP 2002320626 A JP2002320626 A JP 2002320626A JP 2002320626 A JP2002320626 A JP 2002320626A JP 4380142 B2 JP4380142 B2 JP 4380142B2
- Authority
- JP
- Japan
- Prior art keywords
- search
- image
- summary template
- document
- language information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Description
【発明の属する技術分野】
本発明は、画像に付与された文をもとに、類似画像を検索する検索システム及び検索方法に関する。
【0002】
【従来の技術】
1999年に厚生省が診療情報保存の電子化を認可したことに伴い、医療の質と効率の向上を目的として、検査画像情報や診療情報と会計情報などの各種の情報をIT(情報技術)により統合した医療情報システムが構築されつつある。例えば、医療事務会計システム、診療予約システム、診療情報システム及び検査、薬剤等の各部門の情報処理システムを含む包括的なシステムとして、病院情報システムHIS (Hospital Information System) が挙げられる。また、医用画像を院内で扱う情報システムとして、放射線情報システム(RIS:Radiology Information System)、画像保存管理システム(PACS:Picture Archiving Commuinication System)、読影レポートのためのレポーティングシステムがある。HISと、RISやPACSとの連携により、例えば、読影医が手元の端末で検査オーダーを出し、結果画像を受け取り、診断対象患者の過去の診断画像例や問診票等を必要に応じて参照する、といったことが可能となってきている。
【0003】
読影レポート作成時において、典型症例や患者の過去の診断画像することは、若い医師の教育的観点から重要であり、また診断が難しい症例の場合の診断支援としても重要である。読影のルーチンワークにおいては患者の当該画像以外を参照することはほとんどないが、熟練医でも一日のうち1件ほど、読影時間に30分程度時間を要する症例があるとも聞く。また、医療過誤を減らす意味でも、医師の見落としの可能性がある症例を提示することは、重要となってくる。
【0004】
類似症例画像を検索する手段として、これまでにもさまざまな方法が提案されてきた。例えば、特開2002-63280には、診断画像に患者ID、撮影日、症病名等を関連付けてデータベースに保存しておき、所見情報のキーワードを元に後から患者の過去診断画像や典型症例画像を検索できるシステムが提案されている。
【0005】
また、症例画像に付与するキーワードを標準化した例として、特開平6-292656がある。この文献では、画像に対し、医師が予め標準化されている所見項目表を参照し、情報記号を付与していくことでデータベースを構築し、付与された記号を用いて関連画像検索を行う。
【特許文献1】
特開2002-63280号
【特許文献2】
特開平6-292656
【発明が解決しようとする課題】
しかし、特開2002-63280では、所望の画像を検索する際に、特定の内容を表すキーワードの表現や複数キーワードの選択を試行錯誤しなくてはならない。また、特開平6-292656では、付与した記号以外のものでは検索できない。
【0006】
本願では、検索者が所望する類似症例画像に早く容易に到達でき、かつ、経験不足や見落としにより検索者が検索し忘れる可能性のある類似症例画像も検索結果として提示可能とすることを目的とする。課題をまとめると、以下の3点となる。
(1)キーワード表現や、キーワード組合せに試行錯誤しなくて済むようにする。
(2)類似症例画像を検索する際、検索者の想定する表現のみに依存しないようにする。
(3)検索結果あるいは選択画像が、どのような内容に基づいたものか、把握しやすくする。
【0007】
【課題を解決するための手段】
上記(1)を解決するため、キーワードによる基本的な検索機能と、画像あるいは要約テンプレートによる連想検索機能を組み合わせる。これは、所望の画像を求めて検索を始める際に、まず「肺」「腫瘍」「影」等、検索者が最初に思いつく簡単な単語(検索文)で検索した後、結果である画像一覧から求めるものに近い画像を1つ以上選択し、選択画像に付与された言語情報(形態素や文節、係り受け構造、ファクト等)をキーとして、連想検索を行う。これにより、検索者が所望の画像を求めて適切なキーワードの表現や組合せを試行錯誤する労力が軽減される。なお、本願明細書で検索文とは、キーワードや文節、文章等を含むものとする。
【0008】
上記(2)を解決するために、画像一覧から関連画像を選択し、連想検索を行うようにする。これにより、画像について検索者が見落としていた、あるいは意識していなかったキーワードや特徴量についても、選択画像に付与された言語情報から自動で抽出され、その結果、医師の気づかなかった表現等で連想検索が実行されることにより、医師の気づかなかった関連症例についても検索可能となる。
【0009】
上記(3)を解決するために、画像に付与された文書について言語解析を行い、形態素、文節、係り受け構造、ファクト等の言語情報を付与し、画像集合に付与された言語情報を基に、画像集合に特徴的な要約テンプレートを検索結果画像一覧に並べて表示する。これにより、画像集合の内容把握を容易にする。
【0010】
【発明の実施の形態】
図1は、医療機関等での読影の過程で蓄積する、所見データ141及び画像データ142を用いて、クライアント11及び12が、検索時のキーワードの選択や表現に煩わされることなく、データベース142内の適切な類似症例画像を簡便に取得する方法を実現する全体構成の一例を示したものである。143は、所見データ141を言語解析して得られる言語情報データベースを表す。詳細については後述する。以下、(1)画像による2次検索、(2)要約テンプレートによる2次検索、(3)要約テンプレートと画像の同時表示(連動)、という3つの特徴に分けて、実施例を挙げる。
【0011】
(実施例1)
画像による連想検索の実施例について説明する。画像を選択し、それをキーとして連想検索を行うためには、クライアント側で、何らかの形で画像一覧を表示しておく必要がある。ここでは、最初に、従来通りのキーワード検索により、検索結果の画像集合を一覧表示し、次に画像を1つ以上選択し、選択画像をキーとして連想検索を行う実施例を考える。以降、最初のキーワード検索を1次検索と呼び、画像一覧を得た後の検索を、2次検索と呼ぶことにする。
【0012】
図2は、検索クライアント画面の一例を表したものである。まず、1次検索を行うため、231に検索対象を表す簡単な表現を入力する。例えば、「肺」「腫瘍」「影」等の単語を一つ指定したキーワード検索を行う。あるいは、患者IDや撮影日などの情報を、232および233に指定して、検索を行う。検索ボタン234をクリックし、1次検索を実行する。図3は1次検索後のクライアント画面を表したものである。図3の31は、一次検索結果の画像集合を表す。312は、各画像に特徴的なキーワードや文断片を表す。各画像には、311に示すような、選択、非選択状態を表すボックスが並置されており、連想検索用のキー画像の選択に用いる。選択、非選択状態は、ボックスをマウス等でクリックするか、範囲指定して画像を複数同時に選択する。
【0013】
ここで検索者は、所望の画像に近いあるいはそれと同じ症例であると思われる画像を1つ以上選択する。ここでは例として、321、322、323、324を選択したとする。図4は、画像を選択した状態のクライアント画面を表す。ここで、クライアントの連想検索ボタン43をクリックすると、選択した画像集合を基に連想検索が行われ、図5のような検索結果が得られる。連想検索の詳細については、以下で述べる。
<<連想検索詳細>>
次に、連想検索手段の中身について、もう少し詳しく説明する。検索サーバは、クライアントから送られてきた画像IDに従い、図1に示す言語情報データベース143から、検索者が選択した画像に付与された言語情報を抽出し、連想検索で用いる重みつきベクトル(以降、言語情報ベクトルと呼ぶ)を作成する。
【0014】
ここで言う言語情報とは、所見文を解析して得られる形態素、文節、(部分)係り受け構造、ファクト等を言う。形態素とは、意味を表す最小単位で、自立語と付属語が存在する。文節とは、自立語連続とそれに続く付属語の連続から構成される単位である。係り受け構造とは、文節内の形態素の間や、文節間における意味的関係を明らかにしたものである。例えば、図7に示した通り、所見文「脳溝に点状石灰化を認めるが、その他明らかな石灰化は指摘できない。」に対して、71において、記号“/”で区切られた単位が形態素の例を表し、72において、記号“/”で区切られた単位が文節の例を表し、73において、矢印で修飾関係を記述したグラフ構造が係り受け構造の例を表す。ファクトとは、文に記述されている事実関係をコンパクトに表現したもので、フィールド名と値のペア等、何らかの形で表現される。例えば医療分野では、部位、程度、変化、症状のあるなし、等の情報が重要であり、ファクトの例として、図8の様な例が挙げられる。図8において、831〜834が、所見情報ファクトにおけるフィールドを表し、835〜837が、左に隣接する対応するフィールドの値を表す。各言語情報の解析手段については後述する。
【0015】
言語情報ベクトルのベクトル要素を決定するため、各画像に付与された言語情報の中から、検索結果画像集合に特徴的な言語情報を何らかの尺度で抽出する。一般に、ある文書群(本発明では、検索結果画像に付与されたレポートの所見文の集合)でよく現われる形態素、係り受け構造ほど、その文書群を代表する度合いも高いと考えられる。ただし、「する」等の文節や、“異常を”が、“認める”に係ったことを表現する、[異常を [認める] ] 等の部分係り受け構造は、どの所見にもよく現われる一般構造なので、所見文集合を特徴づけるとは言い難い。よって通常は、所見文データベース全体での出現頻度も考慮して特徴度を決定する。つまり、指定された所見文集合中での出現頻度が高く、かつ、所見文データベース全体での総出現頻度が低い言語情報ほど、その所見文群でしか現われないという意味で特徴的な言語情報であり、その所見文集合を特徴付けるものとして適切である。具体的には、所見文集合中のそれぞれの言語情報について、所見文集合中での出現頻度、所見文データベース全体での出現頻度を入力とする適当な関数により言語情報の重みを計算し、ある閾値以上の重みを持つ言語情報を、ベクトル要素として採用する。
【0016】
一旦ベクトルが作成されると、その後の検索手段は、公知のキーワード検索手段により実現できる。すなわち、入力である言語情報ベクトルは、重み付きの言語情報の集合であるため、それぞれを重み付きのキーワードと見なしてOR検索すればよい。その際、検索結果の画像の重み(類似度)は以下のように計算できる。言語情報ベクトルおよび検索先の画像に対応する各言語情報について、言語情報ベクトル中での重みと、検索先の画像における重み(例えば頻度)から総合的な重みを計算し(例えば両重みの積)、さらにそのような言語情報全てに関する重みを集計(例えば総和)することで類似度を得る。ここで、言語情報の種類(形態素であるか、係り受け構造であるか等)によって、重み計算の方法を変えてもよい。
<<フローチャート>>
以上の画像を用いた連想検索における検索手順を、図6のフローチャートにまとめる。まず、611から612にかけて、キーワード等を用いた類似画像の一次検索を行う。613は、一次検索後に検索画像一覧が表示された状態を表す。次に、ステップ614で、検索用のキーとなる画像を1つ以上選択する。選択画像が確定したら、ステップ615で、選択画像のIDをサーバに送信する。サーバでは、送信画像IDを基に上記言語情報ベクトルを作成し、上記連想検索手段によって関連度の高い画像集合を検索し、ステップ624で、クライアントに、検索結果を送信する。<<本発明の検索の特徴>>
本発明における検索の特徴は、従来の空間ベクトル法におけるように、ベクトル要素として形態素のみを用いるのではなく、文節、係り受け構造、ファクト等の情報と混合して用いる点である。これにより、係り受け情報のみを使った場合に生じる検索漏れを防ぎながら、かつより内容を正確に反映する検索結果を得ることができる。
【0017】
また、別の特徴として、係り受け構造等の木構造の類似度計算を高速で行えるという点がある。通常、係り受け構造等の木構造において、中間ノード間の類似度(例えば、該ノードを構成する文節文字列の一致度等)や、ノードの省略や挿入(特定のノードを飛ばしてノード間の対応を取る)のペナルティを計算しながら、木構造全体の類似度を計算する場合、中間ノードの対応が幾通りも考えられるため、類似度計算のコストが高くなる。本発明では、係り受け構造の様々な部分構造を、一定の表現規則でキーワードとして表現し直し、上記言語情報ベクトルの要素とすることで、係り受け構造の類似度計算を高速で行うことができる。
【0018】
具体的には、例えば「胃前壁に顕著な不整を認める。」という文に対し、図9の91に見られるような係り受け構造が得られ、そこから、921、922、923という部分係り受け構造が得られる。これらの部分構造を展開し、文字列で表現すると、931の”胃前壁に/認める”、932の”不整を/認める”、933の”胃前壁に/不整を/認める”、といったキーワードが得られる。これらのキーワードに適当な重みを付けて(例えば、ノード数の多い部分構造から作成したキーワードの重みを大きくする)、通常の空間ベクトル法による類似度計算を行うことで、係り受け構造の類似度を織り込んだ類似画像計算を高速に行うことができる。
【0019】
(実施例2)
実施例1では、画像集合を選択し、連想検索する手段について例示した。本実施例では、図10を用いて、画像集合の特徴を表す要約テンプレートを用いた連想検索手段について説明する。
<<要約テンプレートによる連想検索手段>>
要約テンプレートとは、画像集合をよく説明する文の集合で、各文は文節単位に分割されており、文中の一部の文節は、選択リストとして少なくとも一部は縮退表示されている。例えば、図13の要約テンプレートの例では、1311〜1316の文節から構成され、そのうち1312及び1314の文節は、表現に多様性がある部分として、リストあるいは縮退表示されている。
【0020】
図10は、実施例2におけるクライアント画面の例を表す。1010は、検索結果画像一覧を表し、1020は、1010における画像集合の特徴を表す要約テンプレートから構成される。図10では、胃に関するテンプレートの1021と、肺に関するテンプレートの1022と、食道に関するテンプレートの1023が、要約テンプレートとして提示されている。要約テンプレートによる連想検索は、検索キーとして用いるテンプレートの選択と、選択したテンプレートの編集過程とから成る。要約テンプレートの編集手段としては、選択リストからの候補の選択、ワイルドカード化が挙げられる。勿論、この編集手段は、選択リストからの候補の選択、ワイルドカード化の少なくとも一方を有していればよい。例えば,図14の要約テンプレートの例では、文節 1422、 1424、1426が選択リストとなっているが、1422のリストの要素のうち“粘膜”を選択し、1424から“顕著な”と“clearな”を選択し、1425の“不整を”という表現を、ワイルドカードを用いて“*を”に変更し、1426は特に指定しない(全て選択したことに等しい)、といった編集を行うことができる。
【0021】
ここでは、例として、胃に関するテンプレート1021を選択する。次にそのテンプレートを編集して、選択リスト10211のうち、“clearな”と、“顕著な”を選択し、文節10212の“不整を”のヲ格の名詞句をワイルドカードに変更すると、図11の1121が得られる。要約テンプレートの選択および編集が確定した後、連想検索ボタン1124をクリックすると、選択した要約テンプレートの情報に基づいて連想検索が実行され、検索結果画像と、それを特徴づける新たな要約テンプレートが、図12の例のように表示される。
【0022】
要約テンプレートを用いた連想検索における検索手順を、図15の処理フロー図にまとめる。まず、ステップ1511で一次検索用のキーワードを入力し、ステップ1512で前記キーワードをサーバ152に送信する。サーバ152は、ステップ1521で、従来の検索手段等により関連度を計算したあと、結果の画像集合に基づき、ステップ1522で、要約テンプレートを作成する。ステップ1523で、作成した要約テンプレートと検索結果の画像を、クライアント151に送信する。クライアント151は、ステップ1513で、受信した画像と要約テンプレートの表示を行う。ステップ1514で、検索に適切と思われる要約テンプレートの幾つかについて選択し、必要に応じて要約テンプレートの編集を行う。ステップ1515で、選択、編集済みの要約テンプレートをサーバ152に送信する。サーバ152は、ステップ1524で、受信した要約テンプレートを基に、形態素、文節、係り受け構造、ファクト等の情報を抽出し、連想検索に用いる言語情報ベクトルを構成する。言語情報ベクトルを用いての検索の詳細は、実施例1で述べた手段と同様の手段を用いることができる。ステップ1525で、検索結果の画像集合に対する要約テンプレートの作成を行う。そしてステップ1526で、連想検索結果の画像と要約テンプレートをクライアント151に送信する。以下、1513から1526までの連想検索ステップを繰り返す。
<<要約テンプレート作成手段>>
検索結果画像群と供に表示される要約テンプレートを作成するため、まず各画像に付与された言語情報の中から、検索結果画像集合に特徴的な言語情報を何らかの尺度で抽出する。次にこれらの言語情報を、幾つかの文集合の形にまとめ上げる。要約テンプレートの材料として用いる言語情報については、言語情報ベクトル作成手段で用いたのと同じ手段を用いることができる。すなわち、クライアントから送られてきた画像IDについて、データベース143から対応する言語情報を呼び出し、選択画像の所見文集合中での出現頻度、所見文データベース全体での出現頻度を入力とする適当な関数により、各言語情報の重みを計算し、ある閾値以上の重みを持つ言語情報を要約テンプレートの材料として採用する。
【0023】
次に、こうして選択された言語情報のうち、文全体の係り受け構造やファクトを用いて形態素列の形に表現し、共通する形態素や文節を探索する。十分共通項が多く、類似の文であると判断された場合(例えば、図16の1601〜1606)、共通でなかった部分について(1671、1673、1675)、選択リストの形で縮退させ、一つの文として表現する。選択リスト要素には、上記過程で所見文集合に特徴的として選ばれた形態素や文節のみを要素とするようにしてもよい。複数の文をまとめるには、公知のクラスタリング手段と動的計画法を組み合わせることができる。例えば、構造的な特徴が最も近い文を2つ選び、対応する文節を動的計画法により決定し、非対応部分を選択リストにする。複数の文の中から、縮退した2つの文を取り除き、新たに作成された要約テンプレート(文)を加え、同じ過程を繰り返す。全ての文の組合せについて、文の類似度が、特定の閾値を越えない場合、終了する。最終的には、1つ以上の要約テンプレートが作成される。
【0024】
(実施例3)
要約テンプレートと画像を供に表示する手段について説明する。画像集合と要約テンプレートを見やすい形で同時に表示し、また、画像の選択と要約テンプレートの表示を連動させることで、検索結果画像集合の内容把握を容易にするだけでなく、実施例1を実行する際の画像選択を容易にする。図17は、検索画像一覧と、画像集合に対する要約テンプレートを並置したクライアント画面例を表す。1701が検索類似画像を表し、1721、1722、1723が、要約テンプレートを表す。ここで、実施例1における手段を実行するため、検索者が仮に画像1711、1712、1713を選択したものとする。すると、それに連動して、1721、1722、1723の要約テンプレートが更新され、図18の要約テンプレート、1821が得られる。選択画像を確定した後、実施例1で述べた手順に従い連想検索を行うか、上記実施例2で述べた手順に従い要約テンプレートを編集し、実施例2に従い連想検索を行う。
【0025】
以上の要約テンプレートの表示過程を、図19の処理フロー図にまとめる。ステップ1913は、一次検索後に、検索結果画像一覧と、該画像集合に関する要約テンプレートが表示されている状態を表す。まず、ステップ1914で、検索者が画像の選択を行う。クライアント191は、選択画像の更新を認識し、画像IDの集合と処理要求を、サーバ192に送信する。サーバ192は、ステップ1924で、受信した処理要求を認識し、受信した画像ID集合を特徴付ける要約テンプレートを作成し、クライアントに送信する。クライアント191は、ステップ1915で、受信した要約テンプレート再描画する。ステップ1916で選択画像が確定していなければ、1914から1915までのステップを繰り返す。
【0026】
以下、各実施例に共通の事項を説明する。
(各種データベースの蓄積)
本発明における類似画像検索は、読影レポートによって画像に付与される所見文を基にしている。病院や診療所においては、診察に訪れた患者に対して問診票の作成を行い、必要とあればCT、MR等による患部の撮影依頼を関係する部門に行う。撮影依頼を受けた各部門では、図1の撮影装置15等を用いて患部の撮影を行う。次に、医師本人あるいは専門の読影医が患者の診断画像を見ながら、「下腹部に明らかな腫瘍を認める。」等の所見文を入力する。この際、本発明の連想検索等を用いて別の症例画像を検索することもある。こうして蓄積された所見文に対し言語解析を行い、画像と言語情報との対応をとったまま、画像は画像データベースに、言語解析結果は言語情報データベースに記録する。
【0027】
ここでは、上記読影レポート作成過程をモデルとして、画像データベース、所見データベース、言語情報データベースの蓄積過程および、類似画像検索過程におけるデータ送受信の詳細について述べる。
【0028】
図20は、読影レポート作成時に、撮影機器、読影クライアント、検索サーバ間で行われるデータ送受信と処理フローを表す。まず、ステップ2011で、医師からの撮影依頼に基づいて、患者の患部画像の撮影を行い、ステップ2012で、患部画像をサーバ203に送信する。サーバ203は、患部画像を受信し、適切なIDを付与して画像データベースに保存する。次に、読影クライアント202は、ステップ2021で、サーバ203に撮影済みの患部画像の送信要求を行う。サーバ203は、ステップ2032で、該当する患部画像を読影クライアント202に送信する。この際、読影クライアント202では、受信した撮影患部画像を見ながら、加えて類似症例画像検索を行いながら、所見文を作成する。以下に、読影の際に類似画像検索を行った場合のフローを記述する。
【0029】
まず、ステップ2061において、一次検索用の簡易なキーワードを入力する。次にステップ2062で、検索キーワードを送信し、サーバ203がキーワードを受信する。サーバ203は、ステップ2071で、受信キーワードをもつ画像について関連度を計算し、ステップ2072で、検索画像集合に対する要約テンプレートを作成する。ステップ2073で、検索画像集合と作成した要約テンプレートを送信する。読影クライアント202は、ステップ2063で、受信した画像と要約テンプレートを表示する。表示された一連の画像を見ながら、ステップ2064で、関連すると思われる症例画像を選択する。ステップ2065で、クライアントは画像が選択されたことを認識し、選択された画像IDの集合と、要約テンプレートを更新するという処理要求を、サーバ203に送信する。サーバ203は、ステップ2074で、受信した画像IDに基づき、該画像集合に関する要約テンプレートを更新する。ステップ2066で、更新された要約テンプレートを受信し、要約テンプレートの再描画を行う。選択画像が確定するまで、ステップ2064から2066までの要約テンプレート再描画過程を繰り返す。選択画像が確定すると、ステップ2067で、選択画像ID集合と、連想検索をするという処理要求をサーバ203に送信する。サーバ203は、ステップ2075で、受信した画像ID集合を基に、言語情報ベクトルを作成する。ステップ2076で、前記言語情報ベクトルを用いて連想検索を行う。ステップ2077で要約テンプレートを作成し、ステップ2078で画像と要約テンプレートをクライアントに送信する。クライアント202は、ステップ2068で、検索結果画像の集合と要約テンプレートを表示する。
【0030】
以上の過程で得られた関連画像や、撮影された患者画像を参照しながら、ステップ2022で、当該患者の所見を入力する。ステップ2023で、作成済み読影レポートを、サーバ203に送信する。サーバ203は、ステップ2033で、受信した所見を、対応する画像のIDと供に、所見データベースに保存する。ステップ2034で、所見文を言語解析し、ステップ2035で、解析結果の言語情報を、対応する画像のIDと供に、言語情報データベースに保存する。
<<所見文の言語解析>>
所見付き画像データの蓄積過程において実行される、所見文の言語解析方法の一例を以下に示す。所見文においては、診断名、部位、症状、程度、経過等の内容が重要である。そのため、言語解析段階では、従来の検索技術で着目されてきた名詞や動詞、あるいは名詞と動詞のペアだけでなく、「〜しない」「〜する」等の助動詞や、「疑わしい」等の表現、「やや」「ほぼ」等の形容詞や副詞表現を判別し、対応する内容を抽出することも重要となる。ここでは、形態素解析、文節解析、係り受け解析、ファクト抽出からなる言語解析を考え、以下言語解析の各段階について説明する。
形態素解析
所見文を、形態素と呼ばれる言語単位に分解し、動詞、名詞、格助詞、助動詞、形容詞、副詞、接続詞、連体詞等の品詞を付与する。通常、単独で意味を持つ自立語と、自立語に付属して意味を付け加えたり補足したりする付属語からなる。例えば、「明らかな腫大を認めない。」という文であれば、以下のような形態素解析結果が得られる。以下の表現で、括弧で囲まれた一行が、1形態素に対応し、各行は見出し語と品詞のペアからなる。
[明らか 形容動詞語幹]
[な 助動詞 体言接続]
[腫大 名詞]
[を 格助詞]
[認め 動詞 未然形]
[ない 助動詞 基本形]
[。 句点]
文節解析
文節とは、自立語の連続とそれに続く付属語の連続からなる単位で、以降の係り受け解析の単位となる。上記例文については、以下の3つの文節が得られる。括弧で囲まれた一行が一文節に対応し、各行は句の種類を表す記号と、文節を構成する文字列のペアから成る。
[ADJ 明らかな]
[NP 腫大を]
[VP 認めない。]
係り受け解析
係り受け解析では、文節間の修飾関係を明らかにする処理である。本発明では、その関係の全体や部分を検索キーとして用いるだけでなく、解析結果を基に、ファクト抽出処理を行う。上記例文については、以下の係り受け構造が得られる。
[ [明らかな 腫大を] 認めない。]
上記表現で、各括弧は、主文節を持ち、それは、括弧内の一番右側の文節を指すものとする。例えば、”[明らかな 腫大を]”という構造の主文節は、「腫大を」となる。また、連続する2つの括弧または文節は、左側の主文節が右側の主文節を修飾することを意味するものとする。従って、上記係り受け表現では、文節「明らかな」が「腫大を」を修飾し、「腫大を」が「認めない。」を修飾することを表している。
ファクト抽出
係り受け解析結果を基に、記述されている事実関係を明らかにする。これは、動詞とその動詞を修飾する名詞句に関するパターン、及び、抽出内容に関するルールを用いて実現することができる。例えば、“認める”という動詞を修飾する“ヲ格”の名詞句を修飾する形容詞を、ファクトの”程度”フィールドに記述する、といったルールが考えられる。
【0031】
最後に、病院内情報システム、あるいは地域ネットワークにおいて、サーバに情報を蓄積しておき、連想検索を行う場合の実施例について述べる。
(実施例4)
図21は、病院内での各部署と、部署間のネットワーク上の繋がりを模式的に表したものである。読影室2111、診察室2112、病棟2113が、検索クライアントに相当し、検査室2114は、X線やCT等の画像データを生成する部署を表す。検索サーバは、データ管理室2116に存在する。各部署は、通信ネットワーク2115により接続されている。検索サーバは認証機能を持ち、必要に応じて検索データへのアクセスを制限することができる。
【0032】
2114で撮影された画像に、2111で所見データが付与され、データ管理室2116に送られ、言語解析等の必要な処理が行われた後、各種データベースに蓄積されてゆく。2111、2112、2113では、実施例1、2等の連想検索手段を用いて、随時、類似症例画像について検索を行うことができる。
(実施例5)
実施例4では、検索用に参照できるデータは病院内で閉じていたが、地域の各病院が通信ネットワークを介して相互に接続し、相互のデータを参照できるようにしてもよい。図22において、2210、2220、2230、2240、2250は個別の病院を表し、通信ネットワーク2260を介し、相互に接続されている。各病院は図21で示したような機能を備えている。その際、病院内だけでなく、病院間に認証機構を導入し、病院間で同意が成立している場合のみ、データが参照できるようにすることもできる。
(実施例6)
別の実施形態として、データおよび検索サーバを、一元管理することも考えられる。図23において、2310、2320、2330、2340、2350は、個別の病院を表す。実施例4、5の場合と異なり、検索サーバおよびデータベースは、個別の病院には存在しない。データ管理および検索サービスを提供するための会社あるいは組織を別に用意し、各病院が個別に管理組織との通信ネットワークを持つ。
【0033】
なお、本願発明は以下の内容をも包含するものである。
1.検索クライアントにて、入力されたキーワードを、サーバーに送信する工程と、
前記サーバーで、複数の画像と前記複数の画像毎に付された前記画像の特徴を示す文書とを格納したデータベースを用いて、前記キーワードと類似度の高い画像の特徴を示す複数の文書を検索させ、前記複数の検索された文書に対応する複数の画像情報を、前記検索クライアントが、受信する工程と、
前記検索クライアントにて、前記複数の画像を表示する工程と、
前記検索クライアントにて、前記表示された複数の画像の中から、所定の画像を選択させる工程と、
前記検索クライアントから、前記選択された所定の画像の情報を、前記サーバーに送信する工程と、
前記サーバーで、前記所定の画像に付された特徴を示す文書をもとに、前記データベースを用いて前記所定の画像に付された特徴と類似度の高い文書を検索させ、前記類似度の高い文書に対応する画像を抽出させ、前記抽出された画像を、前記検索クライアントが受信する工程と、
前記検索クライアントにて、前記受信した画像を表示する工程とを有することを特徴とする検索方法。
2.検索クライアントにて、入力されたキーワードを、サーバーに送信する工程と、
前記サーバーで、複数の画像と前記複数の画像毎に付された前記画像の特徴を示す文書とを格納したデータベースを用いて、前記キーワードと類似度の高い画像の特徴を示す文書を検索させて、要約テンプレートを作成させ、前記類似度の高い画像と前記要約テンプレートを、前記検索クライアントが、受信する工程と、前記検索クライアントが、受信した前記類似度の高い画像と前記要約テンプレートを表示する工程と、
前記検索クライアントが、前記表示した要約テンプレートを編集させる工程と、前記検索クライアントは、前記編集された要約テンプレートを、前記サーバーに送信する工程と、
前記サーバーで、前記編集された要約テンプレートをもとに、前記要約テンプレートと類似度の高い文書を、前記データベースに格納された文書から検索し、その類似度の高い文書に対応する画像情報を、前記検索クライアントが受信する工程と、
前記検索クライアントは、前記受信した画像情報を、画面に表示する工程とを有することを特徴とする検索方法。
3.検索クライアントにて、入力されたキーワードを、サーバーに送信する工程と、
前記サーバーで、複数の画像と前記複数の画像毎に付された前記画像の特徴を示す文書とを格納したデータベースを用いて、前記キーワードと類似度の高い複数の画像の特徴を示す文書を検索させて、要約テンプレートを作成させ、前記類似度の高い複数の画像と前記要約テンプレートを、前記検索クライアントが、受信する工程と、
前記検索クライアントが、受信した前記類似度の高い複数の画像と前記要約テンプレートを表示する工程と、
前記検索クライアントが、前記複数の画像から、所定の画像を選択させる工程と、
前記検索クライアントが、前記選択された前記所定の画像に対応する要約テンプレートを表示する工程とを有し、
前記要約テンプレートは、前記所定の画像の選択に伴って連動して変化するようにされたことを特徴とする検索方法。
【0034】
【発明の効果】
本発明により、所望する類似画像を早く容易に得ることができる。また、連想検索機能により、医師のミスによる検索漏れ及び医療過誤を減らすことができる。
【図面の簡単な説明】
【図1】検索システムの全体構成。
【図2】検索クライアント初期画面。
【図3】検索クライアント1次検索結果画面。
【図4】画像選択画面。
【図5】画像による連想検索結果画面。
【図6】画像による連想検索処理フロー。
【図7】言語情報例。
【図8】ファクト例。
【図9】係り受け構造の展開方法。
【図10】要約テンプレートによる連想検索クライアント画面。
【図11】要約テンプレート編集後クライアント画面。
【図12】要約テンプレートによる連想検索後クライアント画面。
【図13】テンプレート例。
【図14】テンプレート編集例。
【図15】要約テンプレートによる連想検索処理フロー。
【図16】要約テンプレート作成方法。
【図17】画像と要約テンプレートを同時表示したクライアント画面。
【図18】画像の選択と表示要約テンプレート連動後のクライアント画面。
【図19】画像と要約テンプレート表示連動処理フロー。
【図20】読影過程処理フロー。
【図21】病院内システム構成例。
【図22】地域内システム構成例。
【図23】地域内システム構成例。
【符号の説明】
11:読影クライアント、12:検索クライアント、14:連想検索サーバ、141:所見データベース、142:画像データベース、143:言語情報データベース、146:要約テンプレート作成手段、231:キーワード入力ボックス、31:検索結果画像一覧、311:画像選択チェックボックス、32:連想検索ボタン、71:形態素情報、72:文節情報、73:係り受け情報、83-84:抽出ファクト、91:係り受け構造、921:部分係り受け構造、931-933:展開後の係り受け構造表現、1021-1023:要約テンプレート、1025:要約テンプレート選択チェックボックス、13:要約テンプレート、1311-1316:文節、141:編集前要約テンプレート、1430:編集後要約テンプレート、1601-1606:所見文例、1607:1601-1606をまとめた要約テンプレート。
Claims (3)
- 複数の画像と、前記複数の画像毎に付された前記画像の特徴を示す文書とを、格納したデータベースと、
検索文を入力する入力手段と、
前記データベースに格納された文書から、前記検索文と類似度の高い文書を検索し、画像集合を説明する文の集合である要約テンプレートを作成して画面に表示する第1の手段と、
前記要約テンプレートを編集させる手段と、
編集された前記要約テンプレートをもとに、編集後の要約テンプレートと類似度の高い文書を、前記データベースに格納された文書から検索し、その類似度の高い文書に対応する画像を画面に表示する第2の手段とを有し、
前記第1の手段は、
前記検索結果の文書に対応する画像又は前記検索結果の文書に対応する画像に対してユーザが選択した画像のいずれかに付された前記画像の特徴を示す文書に対して言語情報の抽出を行う手段と、
前記検索結果の文書に対応する画像又は前記検索結果の文書に対応する画像に対してユーザが選択した画像のいずれかに付された文書内で抽出した前記言語情報の出現頻度および前記文書データベース全体で抽出した前記言語情報の出現頻度を入力とする関数により個々の前記言語情報の重みを計算し、所定のしきい値以上の前記重みをもつ言語情報を要約テンプレート作成のための材料として採用し、前記採用した言語情報を含む文の中からその採用した言語情報に基づいて構造的に特徴が最も近い文を2つ選び、それら2つの文の間で対応関係にあるところの文節を動的計画法により決定し、非対応部分の文節の語は選択リスト形式とすることで複数の文を一つで縮退表現することにより要約テンプレートを作成する手段とを有することを特徴とする検索システム。 - 前記要約テンプレートを編集させる手段は、選択リストからの候補の選択またはワイルドカード化の少なくとも一方を有することを特徴とする請求項1記載の検索システム。
- 作成された前記要約テンプレートは、文節単位に分割されていることを特徴とする請求項1に記載の検索システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002320626A JP4380142B2 (ja) | 2002-11-05 | 2002-11-05 | 検索システム及び検索方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002320626A JP4380142B2 (ja) | 2002-11-05 | 2002-11-05 | 検索システム及び検索方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2004157623A JP2004157623A (ja) | 2004-06-03 |
JP2004157623A5 JP2004157623A5 (ja) | 2005-11-10 |
JP4380142B2 true JP4380142B2 (ja) | 2009-12-09 |
Family
ID=32801415
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002320626A Expired - Fee Related JP4380142B2 (ja) | 2002-11-05 | 2002-11-05 | 検索システム及び検索方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4380142B2 (ja) |
Families Citing this family (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4450695B2 (ja) * | 2004-08-19 | 2010-04-14 | 富士通株式会社 | 読影レポート解析プログラム |
JP4617116B2 (ja) * | 2004-08-23 | 2011-01-19 | 商之器科技股▼ふん▲有限公司 | 即時医療映像自動的サーチ対照方法及びそのシステム |
JP2006134138A (ja) * | 2004-11-08 | 2006-05-25 | Yokogawa Electric Corp | 医用画像データ管理装置および医用画像データ管理方法 |
JP2007048100A (ja) * | 2005-08-11 | 2007-02-22 | Yokogawa Electric Corp | 医用情報処理システム |
JP4413844B2 (ja) * | 2005-10-17 | 2010-02-10 | 富士通株式会社 | 画像表示制御装置 |
JP4767759B2 (ja) * | 2006-06-02 | 2011-09-07 | 富士フイルム株式会社 | 読影レポート作成装置 |
JP5098253B2 (ja) * | 2006-08-25 | 2012-12-12 | コニカミノルタエムジー株式会社 | データベースシステム、プログラム、及びレポート検索方法 |
JP4997892B2 (ja) * | 2006-09-19 | 2012-08-08 | 富士ゼロックス株式会社 | 検索システム、検索方法及び検索プログラム |
JP5157248B2 (ja) * | 2007-05-17 | 2013-03-06 | コニカミノルタエムジー株式会社 | データベースシステム、及びプログラム |
KR100911628B1 (ko) | 2007-06-19 | 2009-08-12 | 서강대학교산학협력단 | 텍스트 질의를 기반으로 한 이미지 검색 결과 정련 방법 |
JP5153281B2 (ja) * | 2007-09-28 | 2013-02-27 | キヤノン株式会社 | 診断支援装置及びその制御方法 |
JP5228451B2 (ja) * | 2007-11-20 | 2013-07-03 | 富士ゼロックス株式会社 | 文書検索装置 |
JP2009176234A (ja) * | 2008-01-28 | 2009-08-06 | Toshiba Corp | 医用情報システムおよび医用画像保管装置 |
JP5209340B2 (ja) * | 2008-02-22 | 2013-06-12 | 株式会社東芝 | レポート作成システム及びレポート作成装置 |
JP2010271769A (ja) * | 2009-05-19 | 2010-12-02 | Seiko Epson Corp | 画像処理方法及び装置、並びに、そのためのコンピュータプログラム |
JP2011008374A (ja) * | 2009-06-24 | 2011-01-13 | Fuji Xerox Co Ltd | 情報処理装置及びプログラム |
CN102985924A (zh) * | 2011-02-14 | 2013-03-20 | 松下电器产业株式会社 | 相似病例检索装置以及相似病例检索方法 |
JP4979842B1 (ja) | 2011-06-30 | 2012-07-18 | パナソニック株式会社 | 類似症例検索装置および類似症例検索方法 |
WO2013001678A1 (ja) * | 2011-06-30 | 2013-01-03 | パナソニック株式会社 | 類似症例検索装置および関連度データベース作成装置並びに類似症例検索方法および関連度データベース作成方法 |
JP5774459B2 (ja) * | 2011-12-08 | 2015-09-09 | 株式会社野村総合研究所 | 談話要約テンプレート作成システムおよび談話要約テンプレート作成プログラム |
JP5677348B2 (ja) * | 2012-03-23 | 2015-02-25 | 富士フイルム株式会社 | 症例検索装置、症例検索方法及びプログラム |
JP6187474B2 (ja) | 2012-11-14 | 2017-08-30 | 富士通株式会社 | 医療情報解析プログラム、医療情報解析装置、および医療情報解析方法 |
JP2014157542A (ja) * | 2013-02-18 | 2014-08-28 | Nec Personal Computers Ltd | 端末装置および装置のプログラム |
KR101505673B1 (ko) * | 2013-03-22 | 2015-03-24 | (주)네오넷코리아 | 단어의 의미를 기반으로 하는 다국어 검색 시스템, 다국어 검색 방법 및 이를 이용한 이미지 검색 시스템 |
-
2002
- 2002-11-05 JP JP2002320626A patent/JP4380142B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2004157623A (ja) | 2004-06-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4380142B2 (ja) | 検索システム及び検索方法 | |
Wu et al. | Comparison of chest radiograph interpretations by artificial intelligence algorithm vs radiology residents | |
US10713440B2 (en) | Processing text with domain-specific spreading activation methods | |
US8949079B2 (en) | Patient data mining | |
US8670997B2 (en) | Quality metric extraction and editing for medical data | |
US20040168119A1 (en) | method and apparatus for creating a report | |
US20050114283A1 (en) | System and method for generating a report using a knowledge base | |
JP6291872B2 (ja) | 情報処理システム、およびプログラム | |
US20180032676A1 (en) | Method and system for context-sensitive assessment of clinical findings | |
Soni et al. | Radqa: A question answering dataset to improve comprehension of radiology reports | |
Soualmia et al. | Combining different standards and different approaches for health information retrieval in a quality-controlled gateway | |
JPWO2009025022A1 (ja) | 情報処理システム、およびプログラム | |
Ting et al. | Web information retrieval for health professionals | |
JP2020205070A (ja) | 医用レポート作成装置およびその制御方法、医用レポート作成システム、プログラム | |
da Silva Ferreira | Medical information extraction in European Portuguese | |
JP5682657B2 (ja) | データベースシステム | |
Dudko et al. | An information retrieval approach for text mining of medical records based on graph descriptor | |
US11887731B1 (en) | Systems and methods for extracting patient diagnostics from disparate | |
WO2024116828A1 (ja) | 解析装置、プログラム、解析システム及び解析方法 | |
Finch | Tagline: Information extraction for semi-structured text elements in medical progress notes | |
Velichkov et al. | AI-driven Approach for Automatic Synthetic Patient Status Corpus Generation | |
Adams | Generating Faithful and Complete Hospital-Course Summaries from the Electronic Health Record | |
Coward | Use of standardized nursing language in home care referral | |
Mendonca | Using automated extraction from the medical record to access biomedical literature | |
Zulkarnain | A medical ultrasound reporting system based on domain ontology |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050927 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050927 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20060420 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081218 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081224 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090213 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090512 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090604 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090901 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090914 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121002 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4380142 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121002 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131002 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |