JP5715010B2

JP5715010B2 - 画像処理装置

Info

Publication number: JP5715010B2
Application number: JP2011191969A
Authority: JP
Inventors: 田中　健一; 健一田中
Original assignee: Olympus Medical Systems Corp
Current assignee: Olympus Medical Systems Corp
Priority date: 2011-09-02
Filing date: 2011-09-02
Publication date: 2015-05-07
Anticipated expiration: 2031-09-02
Also published as: JP2013054523A

Description

本発明は、画像処理装置に関し、特に、検索された複数の参照用画像間の類似度に応じて表示方法を制御する画像処理装置に関する。

従来、医療の分野では、被写体撮影により生成された医用画像を表示部に表示して、医用画像中の陰影を観察（以下、読影という）することにより、病気の有無、種類、状況等を診断することが行われている。また、そのような診断を支援する機能として、読影を行うときに、検査の際に読影対象画像と類似する特徴を備えた画像が得られた症例の情報を表示する機能が提供されている。

例えば、特開２００７−２８７０１８号公報には、医用画像について関心領域を設定し、データベースの検索により、設定された関心領域における画像的特徴と類似する画像的特徴を備えた領域を有する症例画像を含む症例情報を抽出し、抽出された症例情報に属する全ての症例画像をモニタ画面に時系列に表示する診断支援システムが開示されている。

このように、従来の診断支援システムは、表示部に表示する読影対象画像と類似する類似画像は１枚とは限らず、複数の類似画像を表示部に表示する場合もある。

特開２００７−２８７０１８号公報

しかしながら、表示部に表示された複数の類似画像やその症例情報等の付帯情報がバリエーションに富んでいる場合、複数の情報から医師等のユーザが参考にする情報を選択すればよいが、類似画像同士が非常に似通っている、あるいは、付帯情報が一致している場合、表示されている画像は多いが、実質的な情報量は少なく、ユーザに無駄な読影負担をかけることになる。すなわち、複数の類似画像を表示部に表示する場合、重複した情報がユーザに提供されることになり、ユーザの読影負担が増大することになる。

そこで、本発明は、ユーザの読影負担を軽減することができる画像処理装置を提供することを目的とする。

本発明の一態様の画像処理装置は、医用画像を入力する画像入力部と、前記医用画像に対して所定の特徴量を算出する特徴量算出部と、画像の重要度に応じた優先度が設定され、かつ、特徴空間において予め特徴量が算出された参照用画像群を記憶する画像情報記憶部と、前記特徴空間上での前記医用画像及び前記参照用画像群の特徴量に基づいて、参照用画像群から前記医用画像に類似した参照用画像を複数検索する画像検索部と、前記画像検索部により検索された複数の参照用画像間の類似度を算出する参照用画像間類似度算出部と、前記複数の参照用画像間の類似度に基づいて、前記複数の参照用画像の表示方法を制御する表示制御部と、を備え、前記画像検索部は、前記類似度と前記優先度とを乗算した乗算値に応じて、前記参照用画像を複数検索し、前記優先度は、ユーザ毎に設定が可能である。

本発明の画像処理装置によれば、ユーザの読影負担を軽減することができる。

本発明の一実施の形態に係る画像処理装置の構成を示す図である。参照用画像間の画像的な類似度が高く、かつ、付帯情報が一致している場合の表示例について説明するための図である。参照用画像間の画像的な類似度が高く、かつ、付帯情報が一致している場合の他の表示例について説明するための図である。参照用画像間の画像的な類似度は高いが、付帯情報が一致していない場合の表示例について説明するための図である。参照用画像間の付帯情報は一致しているが、画像的な類似度が低い場合の表示例について説明するための図である。複数の参照用画像の表示位置の制御について説明するための図である。複数の参照用画像の表示サイズの制御について説明するための図である。

以下、図面を参照して本発明の実施の形態について詳細に説明する。

まず、図１に基づき、本発明の一実施の形態に係る画像処理装置の構成について説明する。

図１は、本発明の一実施の形態に係る画像処理装置の構成を示す図である。

図１に示すように、画像処理装置１は、医用画像を入力する画像入力部としての入力部２と、入力部２により入力された医用画像に対して後述する所定の画像処理を行う画像処理部３と、画像処理部３で所定の画像処理が施されて得られた医用画像に類似した参照用画像を表示する表示部４とを有して構成されている。画像処理装置１は、例えば、パーソナルコンピュータ等であるが、内視鏡システム等の組み込まれていてもよい。

画像処理部３は、特徴量算出部１１と、データベース１２と、画像検索部１３と、参照用画像間類似度算出部１４と、表示制御部１５とを有する。

特徴量算出部１１は、画像入力部としての入力部２から入力された、例えば、内視鏡画像等の医用画像に対して、所定の特徴量を算出する。

画像情報記憶部としてのデータベース１２には、特徴空間において予め特徴量が算出された複数の参照用画像（参照用画像群）が記憶されている。

画像検索部１３は、特徴量算出部１１で算出された医用画像の特徴量と、参照用画像群の特徴量とに基づいて、入力された医用画像に類似した参照用画像（類似画像）を複数検索する。本実施の形態では、画像検索部１３は、入力された医用画像に類似した上位５枚の参照用画像を検索する。

一般に、診断支援における類似画像検索は、入力された医用画像に類似している参照用画像を検出することが目的ではなく、類似している参照用画像に付帯されている診断情報及び処置履歴情報等の付帯情報をユーザに提供することが目的となる。そのため参照用画像群には、それぞれ診断情報及び処置履歴情報等の付帯情報が付与されていることを前提とする。この付帯情報は、例えば、病名、病変部のサイズ等の情報である。

参照用画像間類似度算出部１４は、画像検索部１３により複数検索された参照用画像間の類似度を、予め算出されてデータベース１２に記憶されている参照用画像毎の特徴量に基づいて算出する。具体的には、参照用画像間類似度算出部１４は、複数の参照用画像間の画像的な類似度および複数の参照用画像間の付帯情報の一致度を算出する。

表示制御部１５は、参照用画像間類似度算出部１４で算出された参照用画像間の類似度に基づいて、複数の参照用画像の表示方法を制御し、表示部４に表示する。具体的には、表示制御部１５は、参照用画像間の類似度に基づいて、複数の参照用画像の表示枚数を制御する。なお、表示制御部１５は、後述するように、参照用画像間の類似度に基づいて、複数の参照用画像の表示位置または表示サイズを制御するようにしてもよい。

次に、このように構成された画像処理装置１の作用について、図２〜図７を用いて説明する。

まず、参照用画像間の画像的な類似度が高く、かつ、付帯情報が一致している場合について説明する。

図２は、参照用画像間の画像的な類似度が高く、かつ、付帯情報が一致している場合の表示例について説明するための図である。

入力部２により、例えば、内視鏡で撮像された内視鏡画像等の医用画像２０が特徴量算出部１１に入力される。特徴量算出部１１により医用画像２０の特徴量が算出されると、画像検索部１３がデータベース１２に記憶されている参照用画像群から医用画像２０に類似している参照用画像を検索する。ここでは、医用画像２０に類似している上位５枚の参照用画像２１〜２５が検索されたものとする。

これらの参照用画像２１〜２５は、図２の上から順に医用画像２０に対して類似しているものとする。すなわち、参照用画像２１が医用画像２０に対して類似度が一番高く、参照用画像２５が医用画像２０に対して類似度が一番低い。

なお、データベース１２に記憶されている参照用画像のそれぞれに、画像の重要度に応じた優先度を設定してもよい。そして、画像検索部１３は、医用画像２０に対する類似度と設定された優先度とを乗算した乗算値に応じて、上位５枚の参照画像を検索する。

例えば、医用画像２０に対する参照用画像２１の類似度が０．９であり、参照用画像２２の類似度が０．８の場合、画像検索部１３は、図２に示すように、参照用画像２１が参照用画像２２よりも医用画像２０に類似しているものとして検索する。ここで、参照用画像２１の優先度が０．８に設定され、参照用画像２２の優先度が１．０に設定されている場合、画像検索部１３は、医用画像２０に対する参照用画像２１の類似度を、類似度０．９×優先度０．８＝０．７２として検出する。次に、画像検索部１３は、医用画像２０に対する参照用画像２２の類似度を、類似度０．８×優先度１．０＝０．８０として検出する。この結果、画像検索部１３は、参照用画像２２を参照用画像２１よりも医用画像２０に類似している上位の画像として検索する。

なお、データベース１２内の参照用画像の優先度は、ユーザ毎に設定が可能なものとする。例えば、ユーザによっては、参照用画像２２を医用画像２０に類似している画像として検索したくない場合もある。この場合、そのユーザは、参照用画像２２の優先度０．０に設定することで、類似度が高くても乗算値が０となるため、参照用画像２２が医用画像２０に類似している画像として検索されなくなる。

また、これらの参照用画像２１〜２５には、それぞれ付帯情報が付加されている。例えば、参照用画像２１には、診断情報として「○○」、処置履歴情報として「△△」という付帯情報が付加されている。

従来であれば、入力された医用画像２０に類似した複数の参照用画像２１〜２５を検索し、表示部４に表示していたが、本実施の形態では、参照用画像間類似度算出部１４により、画像検索部１３で検索された複数の参照用画像２１〜２５間の類似度が算出される。参照用画像間類似度算出部１４は、例えば、５枚の参照用画像２１〜２５間の類似度を算出する場合、５×４／２＝１０個の類似度を算出することになる。

参照用画像間類似度算出部１４は、参照用画像２１〜２５間の類似度が所定の閾値以上の場合、画像的な類似度が高いと判定する。さらに、参照用画像間類似度算出部１４は、参照用画像２１〜２５間の付帯情報が一致しているか否かを判定している。

図２の例では、参照用画像間類似度算出部１４により参照用画像２１と参照用画像２４との画像的な類似度が高いと判定されたものとする。さらに、参照用画像間類似度算出部１４により参照用画像２１と参照用画像２４との付帯情報が一致していると判定される。

表示制御部１５は、参照用画像２１と参照用画像２４との画像的な類似度が高く、かつ、付帯情報が一致していると判定されると、参照用画像２１及び参照用画像２４の一方のみを表示する制御、すなわち、表示枚数を４枚に制御して表示部４に表示する。この場合、表示制御部１５は、医用画像２０に対して類似度が高い参照用画像を表示部４に表示するようにする。すなわち、図２の例では、参照用画像２１から順に医用画像２０に対して類似度が高いため、表示制御部１５は、参照用画像２４を非表示にし、参照用画像２１を表示部４に表示する。これにより、表示部４には、参照用画像２１、２２、２３及び２５の４枚が表示されることになる。

ここで、表示部４の他の表示例について説明する。図３は、参照用画像間の画像的な類似度が高く、かつ、付帯情報が一致している場合の他の表示例について説明するための図である。

図３に示すように、表示制御部１５は、非表示とした参照用画像２４を参照用画像２１の背面に配置し、画像処理装置１に設けられた図示しない切替ボタン等の操作部で参照用画像２１と参照用画像２４との表示を切り替えるようにしてもよい。また、表示制御部１５は、医用画像２０に対して６番目に類似度が高い参照用画像２６を繰り上げて表示部４に表示してもよい。

次に、参照用画像間の画像的な類似度は高いが、付帯情報が一致していない場合について説明する。

図４は、参照用画像間の画像的な類似度は高いが、付帯情報が一致していない場合の表示例について説明するための図である。

図４の例では、図２の参照用画像２４に代わり参照用画像２４ａが画像検索部１３で検索されたものとする。参照用画像２４ａは、参照用画像２１に画像的な類似度が高いが、付帯情報が一致していないものとする。そのため、参照用画像間類似度算出部１４により参照用画像２１と参照用画像２４ａとの画像的な類似度が高いと判定される。一方、検索された参照用画像２１〜２５間では、付帯情報が全て不一致のため、参照用画像間類似度算出部１４により付帯情報が一致している参照用画像がないと判定される。

この場合、表示制御部１５は、参照用画像２１及び２４ａのうち、医用画像２０に対して類似度が高い参照用画像２１を表示部４に表示し、類似度が低い参照用画像２４ａを非表示にする。しかしながら、参照用画像２４ａを完全に非表示にした場合、ユーザにとって必要な付帯情報まで非表示となってしまう。そのため、表示制御部１５は、参照用画像２１の付帯情報に非表示とする参照用画像２４ａの付帯情報を紐付けして表示部４に表示する。

なお、図４においても、参照用画像２１と参照用画像２４ａとの表示を切替ボタン等の操作部で切り替えるようにしてもよいし、医用画像２０に対して６番目に類似度が高い参照用画像２６を繰り上げて表示部４に表示してもよい。

次に、参照用画像間の付帯情報は一致しているが、画像的な類似度が低い場合について説明する。

図５は、参照用画像間の付帯情報は一致しているが、画像的な類似度が低い場合の表示例について説明するための図である。

図５の例では、図２の参照用画像２４に代わり参照用画像２４ｂが画像検索部１３で検索されたものとする。参照用画像２４ｂは、参照用画像２１と付帯情報が一致しているが、画像的な類似度が低いものとする。そのため、参照用画像間類似度算出部１４により参照用画像２１と参照用画像２４ｂとの付帯情報が一致していると判定される。一方、検索された参照用画像２１〜２５間では、画像的な類似度が低いため、参照用画像間類似度算出部１４により画像的な類似度が高い参照用画像がないと判定される。

この場合、表示制御部１５は、参照用画像２１及び２４ｂのうち、医用画像２０に対して類似度が高い参照用画像２１を表示部４に表示し、類似度が低い参照用画像２４ｂを非表示にする。

なお、図５においても、参照用画像２１と参照用画像２４ｂとの表示を切替ボタン等の操作部で切り替えるようにしてもよいし、医用画像２０に対して６番目に類似度が高い参照用画像２６を繰り上げて表示部４に表示してもよい。

また、表示制御部１５は、参照用画像２１〜２５間で画像的な類似度が高い画像がなく、かつ、付帯情報も不一致の場合、表示の変更をせずに、参照用画像２１〜２５を表示部４に表示する。

なお、表示制御部１５は、参照用画像２１〜２５間の類似度に基づいて、参照用画像２１〜２５の表示枚数を制御するようにしたが、図６及び図７に示すように、参照用画像２１〜２５間の類似度に基づいて、複数の参照用画像２１〜２５の表示位置または表示サイズを制御するようにしてもよい。

図６は、複数の参照用画像の表示位置の制御について説明するための図であり、図７は、複数の参照用画像の表示サイズの制御について説明するための図である。図６及び図７の例では、図２に示す、ある参照用画像間の画像的な類似度が高く、かつ、付帯情報が一致している場合について説明する。なお、図４及び図５に示す、ある参照用画像間の画像的な類似度は高いが、付帯情報が一致していない場合及びある参照用画像間の付帯情報は一致しているが、画像的な類似度が低い場合についても同様に、参照用画像の表示位置または表示サイズの制御を行うことができる。

表示制御部１５は、図６に示すように、参照用画像２１と参照用画像２４との画像的な類似度が高く、かつ、付帯情報が一致している場合、参照用画像２１の次に参照用画像２４を表示する。すなわち、表示制御部１５は、参照用画像２１〜２５のうち類似度が高い参照用画像２１及び２４を上下に並べて表示部４に表示する。そして、表示制御部１５は、参照用画像２４の下に、順次、参照用画像２２、２３、及び２５を表示する。このように、参照用画像２１〜２５間の類似度に基づいて、表示位置を制御することにより、医用画像２０に対して４番目の類似度の参照用画像２４が参照用画像２１の次に表示されるようになる。

また、表示制御部１５は、図７に示すように、参照用画像２１と参照用画像２４との画像的な類似度が高く、かつ、付帯情報が一致している場合、参照用画像２１及び参照用画像２４を縮小表示する。具体的には、表示制御部１５は、ある１つの参照用画像を表示する表示領域２７内に収まるように、参照用画像２１及び参照用画像２４の画像サイズを縮小して表示する。なお、この場合、図３と同様に、医用画像２０に対して６番目に類似度が高い参照用画像２６を繰り上げて表示部４に表示してもよい。

以上のように、画像処理装置１は、参照用画像間類似度算出部１４により医用画像２０に類似した複数の参照用画像２１〜２５間の類似度を算出し、表示制御部１５により類似度が高い参照用画像を非表示とする制御を行うようにした。これにより、例えば、参照用画像２１と参照用画像２４とが類似度が高い場合、参照用画像２１及び２４の一方を非表示とすることで、重複した情報を表示部４に表示することを防止することができる。

よって、本実施の形態の画像処理装置によれば、ユーザの読影負担を軽減することができる。

本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。
また、本実施の形態では、検索された参照用画像を縦一列に並べたが、この配置に限るものではなく、横方向に並べたり、複数列・複数行に並べたり、入力画像を囲うように配置しても良い。

１…画像処理装置、２…入力部、３…画像処理部、４…表示部、１１…特徴量算出部、１２…データベース、１３…画像検索部、１４…参照用画像間類似度算出部、１５…表示制御部、２０…医用画像、２１，２２，２３，２４，２４ａ，２４ｂ，２５，２６…参照用画像、２７…表示領域。

Claims

医用画像を入力する画像入力部と、
前記医用画像に対して所定の特徴量を算出する特徴量算出部と、
画像の重要度に応じた優先度が設定され、かつ、特徴空間において予め特徴量が算出された参照用画像群を記憶する画像情報記憶部と、
前記特徴空間上での前記医用画像及び前記参照用画像群の特徴量に基づいて、参照用画像群から前記医用画像に類似した参照用画像を複数検索する画像検索部と、
前記画像検索部により検索された複数の参照用画像間の類似度を算出する参照用画像間類似度算出部と、
前記複数の参照用画像間の類似度に基づいて、前記複数の参照用画像の表示方法を制御する表示制御部と、
を備え、
前記画像検索部は、前記類似度と前記優先度とを乗算した乗算値に応じて、前記参照用画像を複数検索し、
前記優先度は、ユーザ毎に設定が可能であることを特徴とする画像処理装置。
前記表示制御部は、前記複数の参照用画像間の類似度に基づいて、前記複数の参照用画像の表示枚数を制御することを特徴とする請求項１に記載の画像処理装置。
前記表示制御部は、前記複数の参照用画像間の類似度に基づいて、前記複数の参照用画像の表示サイズを制御することを特徴とする請求項１に記載の画像処理装置。
前記表示制御部は、前記複数の参照用画像間の類似度に基づいて、前記複数の参照用画像の表示位置を制御することを特徴とする請求項１に記載の画像処理装置。
前記表示制御部は、前記複数の参照用画像間の類似度が所定の閾値以上の参照用画像のうち、前記医用画像との類似度が最も高い画像を参照用画像として表示することを特徴とする請求項２に記載の画像処理装置。
前記参照用画像群のそれぞれには、付帯情報が付与されており、
前記参照用画像間類似度算出部は、前記複数の参照用画像間の付帯情報の一致度を算出し、
前記表示制御部は、前記複数の参照用画像間の付帯情報の一致度に基づいて、前記複数の参照用画像の表示方法を制御することを特徴とする請求項１に記載の画像処理装置。
前記表示制御部は、前記複数の参照用画像間の付帯情報の一致度に基づいて、前記複数の参照用画像の表示枚数を制御することを特徴とする請求項６に記載の画像処理装置。
前記表示制御部は、前記複数の参照用画像間の付帯情報の一致度に基づいて、前記複数の参照用画像の表示サイズを制御することを特徴とする請求項６に記載の画像処理装置。
前記表示制御部は、前記複数の参照用画像間の付帯情報の一致度に基づいて、前記複数の参照用画像の表示位置を制御することを特徴とする請求項６に記載の画像処理装置。
前記表示制御部は、前記複数の参照用画像間の付帯情報が一致している参照用画像のうち、前記医用画像との類似度が最も高い画像を参照用画像として表示することを特徴とする請求項７に記載の画像処理装置。