JP7024197B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

診断対象の患部を撮影し、撮影した画像を画像処理することによって診断の支援を行う技術が開発されてきている。例えば、特許文献１には、画像フォーマット等が異なる画像間であっても、類似画像検索を良好に行うことができる類似画像検索装置等が記載されている。

特開２０１３－２００５９０号公報

特許文献１に記載の類似画像検索装置は、従来の技術に比べて良好な類似画像検索を行うことできる。しかし、画像が類似していても疾患名が異なる事例が一定の数存在しており、そのような事例に対して従来技術を適用すると、誤った疾患名の画像を類似画像として検索してしまう。その結果、疾患名の識別精度が低下してしまうという問題がある。

本発明は、上記問題を解決するためになされたものであり、識別精度を向上させることができる画像処理装置、画像処理方法及びプログラムを提供することを目的とする。

上記目的を達成するため、本発明の画像処理装置は、
疾患の患部の画像データを取得する画像取得部と、
前記画像取得部によって取得された画像データから抽出された特徴ベクトルと、画像データベースに各画像データ及び前記各画像データに係る疾患名と紐付けて記憶された前記各画像データの特徴ベクトルと、の類似度を求め、前記画像データベース中での前記各画像データの類似度の高さの順位を求める類似順位計算部と、
前記画像取得部が取得した画像データに係る疾患名を、前記画像データから抽出された特徴ベクトルに基づいて推定する、学習データにより予め学習された推定部と、
前記類似順位計算部により求められた類似度の高さの順位において第１位の画像データに紐付けられている疾患名と前記推定部により推定された疾患名とが異なると判定した場合に、前記類似順位計算部が前記順位を計算した画像データの中で、該画像データに紐付けられた疾患名と前記推定部が推定した疾患名とが一致する画像データの前記順位を補正する順位補正部と、
前記順位補正部が補正した順位の順番で、少なくとも第１位の前記画像データを提示する提示部と、
を備える。

本発明によれば、識別精度を向上させることができる。

本発明の実施形態に係る画像処理装置の機能構成を示す図である。 実施形態に係る画像処理装置の画像データベースに記憶されているデータの一例を示す図である。 線形ＳＶＭによるデータ識別の一例を示す図である。 実施形態に係る画像処理装置の画像データベース登録処理のフローチャートである。 実施形態に係る画像処理装置の推定部学習処理のフローチャートである。 実施形態に係る画像処理装置の画像処理のフローチャートである。 実施形態に係る画像処理装置の順位補正部による順位の補正の様子を説明する図である。 実施形態に係る画像処理装置の順位補正部による順位の補正の仕組みを説明する図である。

以下、本発明の実施形態に係る画像処理装置、画像処理方法及びプログラムについて、図表を参照して説明する。なお、図中同一又は相当部分には同一符号を付す。

本発明の実施形態に係る画像処理装置は、疾患名が不明の画像データが入力されると、その画像データに類似した画像データを画像データベースから検索し、類似度の高い順番に順位付けする。そして、画像データと疾患名とに基づいて学習された推定部による分類結果を用いて、必要に応じて類似度の順位を補正し、その補正後の順位に基づいて、画像データベースに記憶されている画像データを疾患名とともに提示する。これにより、ユーザは、画像処理装置に入力した画像データの疾患名を推定することができる。このような画像処理装置の機能構成及び処理内容について、以下に説明する。

実施形態に係る画像処理装置１００は、図１に示すように、制御部１０、記憶部２０、画像入力部３１、名称入力部３２、出力部３３、を備える。

制御部１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等で構成され、記憶部２０に記憶されたプログラムを実行することにより、後述する各部（画像取得部１１、特徴ベクトル抽出部１２、類似順位計算部１３、推定部１４、順位補正部１５、提示部１６）の機能を実現する。

記憶部２０は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、制御部１０のＣＰＵが実行するプログラム及び必要なデータを記憶する。また、記憶部２０は、機能的には、画像データベース２１を備える。

画像データベース２１は、図２に示すように、画像入力部３１から入力された画像データ、特徴ベクトル抽出部１２が抽出した該画像データの特徴ベクトル及び名称入力部３２から入力された該画像データの疾患名をお互いに紐付けて記憶しているデータベースである。

画像入力部３１は、ダーモスコープと呼ばれる特殊な拡大鏡を装着したカメラを備え、疾患の患部の画像を撮影し、該撮影した画像データを入力する。

名称入力部３２は、キーボード、マウス、タッチパネル等を備え、疾患名（疾患の名称）が判明している患部の画像データが画像入力部３１から入力された場合に、該疾患名の入力等を受け付ける。

出力部３３は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等のディスプレイを備え、画像入力部３１から入力された画像、該画像から推定される疾患名、該画像に類似する画像データベース２１内の画像等を表示する。

次に、画像処理装置１００の制御部１０の機能的構成について説明する。制御部１０は、画像取得部１１、特徴ベクトル部１２、類似順位計算部１３、推定部１４、順位補正部１５及び提示部１６の機能を実現する。

画像取得部１１は、画像入力部３１から疾患部の画像データを取得する。また、名称入力部３２が該疾患部の疾患名の入力を受け付けた場合は、画像取得部１１は、該疾患名も取得する。そして、画像取得部１１は、取得した画像データ及び疾患名を画像データベース２１に登録する際には、該画像データと該疾患名とを紐付けて、画像データベース２１に登録する。

特徴ベクトル抽出部１２は、画像取得部１１が取得した画像データから、特徴ベクトルを抽出する。特徴ベクトルの種類は任意だが、例えば、ＢｏＶＷ（Ｂａｇ ｏｆ Ｖｉｓｕａｌ Ｗｏｒｄｓ）形式の特徴ベクトルを抽出する。そして、特徴ベクトル抽出部１２は、抽出した特徴ベクトルを画像データベース２１に登録する際には、該特徴ベクトルを抽出元の画像データに紐付けて登録する。

類似順位計算部１３は、特徴ベクトル抽出部１２で抽出した特徴ベクトルを用いて、検索対象の画像データ（クエリ画像データ）に類似する程度を示す類似度を、画像データベース２１に記憶されている各画像データについて求める。そして、類似順位計算部１３は、求めた各画像データの類似度の、画像データベース２１に記憶されている画像データの中での順位を計算する。具体的には、まず、特徴ベクトル抽出部１２が、検索対象の画像データ（クエリ画像データ）の特徴ベクトルを抽出する。そして、類似順位計算部１３が、該特徴ベクトルと画像データベース２１に記憶されている各特徴ベクトルとの類似度を計算し、画像データベース２１に記憶されている画像データを該類似度が高い順にソートする。そして、ソートされた結果に順番に順位を割り当てることによって、類似順位計算部１３は、画像データベース２１に記憶されている各画像データの、検索対象の画像データ（クエリ画像データ）との類似度の高さの順位を求めることができる。

推定部１４は、疾患部の画像データの特徴ベクトルに基づき、該疾患部の疾患名を推定する。推定部１４は、この推定を、例えば線形ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）を用いた識別器で行う。線形ＳＶＭとは、２種類（２クラス）のデータの境界を決定してデータの種類（クラス）を識別するものである。例えば、図３に示すように、○のデータと☆のデータが与えられた時に、線形ＳＶＭは、その境界線Ｌを決定する。これにより、線形ＳＶＭは、未知のデータに対しても、○のクラスに属するデータなのか、☆のクラスに属するデータなのかを識別することができる。

１つの線形ＳＶＭでは２つのクラスの識別しかできないが、ｉ番目のクラスとｉ番目以外のクラスとを識別する線形ＳＶＭをｎ個（ｉ＝１～ｎ）用意することによって、ｎ個のクラスの識別を行うことができる。この場合、未知のデータに対しては、最もスコアの高い（該データと境界線との距離が最大となる）線形ＳＶＭが、その他のクラスと識別するｉ番目のクラスが、該データの識別結果となる。このように多くのクラスを分類できるように複数の線形ＳＶＭで構成したものを線形多クラスＳＶＭと呼ぶ。

なお、推定部１４は、線形ＳＶＭによる識別器だけでなく、非線形ＳＶＭによる識別器、ニューラルネットワーク等を用いても実現することができる。線形ＳＶＭは２つのクラスを線形な境界（直線、平面、超平面）で分離するものであるが、非線形ＳＶＭは２つのクラスを非線形な境界で分離する。もっとも非線形ＳＶＭは、一旦、実空間のデータを線形な境界で分離できる空間に写像してから、線形ＳＶＭと同じ仕組みで分離するものなので、本質的な部分は線形ＳＶＭと同じと考えて良い。そこで、線形ＳＶＭと非線形ＳＶＭを合わせて、単にＳＶＭと呼ぶことにする。また、非線形ＳＶＭも線形ＳＶＭと同様に非線形多クラスＳＶＭを構成できる。線形多クラスＳＶＭと非線形多クラスＳＶＭを合わせて、多クラスＳＶＭと呼ぶことにする。

また、ＳＶＭではｎ（ｎ＞２）クラス以上の識別にはｎ個以上のＳＶＭが必要となるが、ニューラルネットワークを用いると、３クラス以上の識別を一度に行うことができる。ただし、ニューラルネットワークには、ＳＶＭと比較して、学習サンプル数が一定数以上無いと、識別性能を上げることができないという欠点がある。いずれにしても、推定部１４は、学習時に用いた学習データに基づき、線形ＳＶＭ、非線形ＳＶＭ、ニューラルネットワーク等による識別を行うことによって、未知の画像データの特徴ベクトルを入力すると、上記の仕組みにより、該特徴ベクトルから最も確からしい疾患名を推定することができる。

順位補正部１５は、類似順位計算部１３によって計算された、画像データベース２１に記憶されている各画像データの、検索対象の画像データ（クエリ画像データ）との類似度の順位を、推定部１４による推定結果に基づいて補正する。具体的には、検索対象の画像データ（クエリ画像データ）との類似度が第１位の画像データに紐付けられている疾患名と、クエリ画像データの推定部１４による推定結果とが一致しない場合、推定部１４の推定結果の方を正しいと想定して、該推定結果と一致する疾患名に紐付けられた画像データの類似度の順位をＮ（例えば１）だけ上げる。

提示部１６は、順位補正部１５が補正した順位に基づいて、類似度が第１位の画像データから順番に所定の順位まで（例えば第５位まで）、画像データと疾患名を出力部３３に表示させる。なお、提示部１６による結果の提示方法は適宜変更することができる。例えば、類似度が第１位の画像データのみを出力部３３に表示させたり、類似度が第１位の画像データに紐付けられた疾患名のみを出力部３３に表示させたりしても良い。また、提示部１６は、例えば、類似順位計算部１３によって計算された、類似度が第１位の画像データに紐付けられている疾患名と、クエリ画像データの推定部１４による推定結果と、が一致するか否かを出力部３３に表示させても良い。つまり、提示部１６は、類似順位計算部１３によって計算された、類似度が第１位の画像データに紐付けられている疾患名と、クエリ画像データの推定部１４による推定結果と、が一致するか否かの判定結果に応じて所定の提示を行う。

以上、画像処理装置１００の機能構成について説明した。次に、画像処理装置１００が画像データベース２１に画像データを登録する処理について、図４を参照して説明する。この処理は、ユーザが画像処理装置１００に、画像データベース２１への画像データの登録を指示すると開始される。

まず、画像処理装置１００の画像取得部１１は、画像入力部３１から画像データを取得する（ステップＳ１０１）。次に、画像取得部１１は、名称入力部３２から疾患名を取得する（ステップＳ１０２）。そして、ステップＳ１０１で画像取得部１１が取得した画像データから、特徴ベクトル抽出部１２が、特徴ベクトルを抽出する（ステップＳ１０３）。

そして、ステップＳ１０１で画像取得部１１が取得した画像データ、ステップＳ１０２で画像取得部１１が取得した疾患名及びステップＳ１０３で特徴ベクトル抽出部１２が抽出した特徴ベクトルを紐付けて、制御部１０が、画像データベース２１に登録する（ステップＳ１０４）。そして、制御部１０は、画像入力部３１から入力される全ての画像について、画像データベース２１への登録を終了したか否かを判定する（ステップＳ１０５）。終了していなければ（ステップＳ１０５；Ｎｏ）、ステップＳ１０１に戻り、終了していれば（ステップＳ１０５；Ｙｅｓ）、画像データベース登録処理を終了する。

以上の画像データベース登録処理によって、画像データベース２１に、図２に示すように、画像データ、特徴ベクトル、疾患名が関連づけられて（紐付けられて）登録される。次に、画像処理装置１００の推定部１４を学習させて、未知の画像データから疾患名を推定できるようにするための推定部学習処理について、図５を参照して説明する。この処理は、ユーザが画像処理装置１００に、推定部１４の学習を指示すると開始される。ここでは、画像データベース２１に登録されている画像データ及び疾患名を、推定部１４を学習させるための学習データとして用いるが、学習データ用の画像データ及び疾患名を別途用意して、以下の推定部学習処理で用いても良い。

まず、画像処理装置１００の制御部１０は、画像データベース２１から画像データを一つ選択する。この選択は、例えば、画像データベース２１に登録された順番に選択する等、画像データベース２１に記憶されている画像データを１つずつ選択して、最終的に全ての画像データを選択できるように選択するのであれば、任意の順番で選択して良い。そして、制御部１０は、選択した画像データに紐付いている特徴ベクトルと疾患名とを学習データとして取得する（ステップＳ２０１）。次に、制御部１０は、ステップＳ２０１で取得した特徴ベクトルと疾患名とを用いて推定部１４を学習させる（ステップＳ２０２）。そして、制御部１０は、画像データベース２１に記憶されている全ての画像データについて、推定部１４への学習を終了したか否かを判定する（ステップＳ２０３）。終了していなければ（ステップＳ２０３；Ｎｏ）、ステップＳ２０１に戻り、終了していれば（ステップＳ２０３；Ｙｅｓ）、推定部学習処理を終了する。

以上の推定部学習処理によって、推定部１４は画像データベース２１に登録されているデータを学習サンプルとして用いて学習される。この学習の結果、推定部１４は、画像データの特徴ベクトルを入力すると、該特徴ベクトルから推定される疾患名を出力するようになる。次に、画像処理装置１００に、疾患名が不明の疾患部の画像データを入力すると、該画像データに類似する画像データ及び疾患名を提示する画像処理について、図６を参照して説明する。この処理は、ユーザが画像処理装置１００に、画像処理を指示すると開始される。

まず、画像取得部１１は、画像入力部３１から入力した疾患名が未知の疾患部の画像データ（これを「クエリ画像データ」と言う。）を取得する（ステップＳ３０１）。ステップＳ３０１は、画像取得ステップとも呼ばれる。そして、特徴ベクトル抽出部１２は、クエリ画像データの特徴ベクトルを抽出する（ステップＳ３０２）。ステップＳ３０２は、特徴ベクトル抽出ステップとも呼ばれる。

次に、類似順位計算部１３は、クエリ画像データの特徴ベクトルと画像データベース２１中の各特徴ベクトルとの類似度を計算する（ステップＳ３０３）。類似度の計算方法としては、種々の方法を適宜使用することができる。例えば、類似度を計算する対象となる２つのベクトルのノルムをそれぞれ１に正規化してから、この２つのベクトルの内積を計算した結果を類似度とする方法がある。内積による類似度は、０以上１以下の範囲の値となり、最も類似（２つのベクトルが一致）している場合には１になる。また、別の方法としては、２つのベクトルの差のベクトルのノルム（２つのベクトルの距離）を類似度とする方法がある。ノルムによる類似度は、０以上の値になり、最も類似（２つのベクトルが一致）している場合には０になる。なお、ここでは、単にノルムと言った場合は、ユークリッドノルム（各要素を二乗したものの総和の平方根）のことを指すものとする。

そして、類似順位計算部１３は、ステップＳ３０３で計算した、クエリ画像データとの類似度が高い順に画像データベース２１中の画像データをソートして、画像データベース２１の中での各画像データの順位を計算する（ステップＳ３０４）。ステップＳ３０４は類似順位計算ステップとも呼ばれる。例えば、類似度として内積による類似度を採用した場合は類似度（内積）の値が大きい順に、類似度としてノルムによる類似度を採用した場合は類似度（ノルム）の値が小さい順に、それぞれソートして順位を計算する。

次に、制御部１０は、推定部１４に、クエリ画像データの特徴ベクトルを入力し、推定部１４は、該クエリ画像データの特徴ベクトルから推定される疾患名を出力する（ステップＳ３０５）。ステップＳ３０５は推定ステップとも呼ばれる。そして、順位補正部１５は、ステップＳ３０４での類似度の順位の計算の結果、類似度が第１位になった画像データに紐付いた疾患名と、ステップＳ３０５で推定された疾患名とが一致するか否かを判定する（ステップＳ３０６）。疾患名が一致するなら（ステップＳ３０６；Ｙｅｓ）、ステップＳ３０８に進む。なお、ステップＳ３０６において、順位補正部１５は判定部として機能する。また、ステップＳ３０６は判定ステップとも呼ばれる。

疾患名が一致しないなら（ステップＳ３０６；Ｎｏ）、ステップＳ３０４でのソートの結果得られた順位において、順位補正部１５は、推定部１４が推定した疾患名が紐付いた画像データの順位をＮ（例えば１）上げる（ステップＳ３０７）ことによって、順位を補正する。ステップＳ３０７は、順位補正ステップとも呼ばれる。

そして、提示部１６は、各画像データの順位にしたがって、第１位から順番に画像データ及び疾患名を出力部３３から提示する（ステップＳ３０８）。ステップＳ３０８は、提示ステップとも呼ばれる。ステップＳ３０８では、提示部１６は少なくとも第１位の画像データ又は疾患名を出力部３３から提示するが、第何位の順位まで提示するかは適宜設定することができる。そして、制御部１０は、画像処理を終了する。

Ｎ＝１としたとき、ステップＳ３０７で順位が補正される様子を図７に示す。図７では、ステップＳ３０４における類似度によるソートでは、第１位の疾患名はほくろであったが、ステップＳ３０５で推定部１４によって推定された疾患名がメラノーマだったため、ステップＳ３０７でメラノーマの順位が１つ上がっている様子が示されている。この結果、第１位の疾患名はメラノーマになり、クエリ画像はメラノーマの可能性が高いという診断結果を得ることができるようになる。

この、類似順位計算部１３によって計算された順位が、推定部１４による疾患名の推定によって補正される仕組みについて、図８を参照して説明する。実際には画像データの特徴ベクトルの次元数は２よりも大きいが、分かりやすく示すために、ここでは仮に画像データの特徴ベクトルが２次元ベクトルで、識別すべき疾患名は２種類であると仮定する。図８で、○及び●はほくろの特徴ベクトルの値を示し、☆及び★はメラノーマの特徴ベクトルの値を示しているものとする。また■はクエリ画像の特徴ベクトルＦ１の値を示しているものとする。また境界線Ｌは、推定部１４が備える線形ＳＶＭによる、ほくろとメラノーマとを識別する境界線であり、この境界線は○及び●並びに☆及び★の各データを学習データとして線形ＳＶＭに学習させた結果得られたものである。

この時、図８で■（クエリ画像の特徴ベクトルＦ１）に最も類似する特徴ベクトルは●（ほくろの特徴ベクトルＦ２）で、２番目に類似する特徴ベクトルは★（メラノーマの特徴ベクトルＦ３）である。つまり、類似順位計算部１３による類似度の順位の計算の結果、第１位となる特徴ベクトルはＦ２の●であり、疾患名はほくろということになる。しかし、推定部１４では、Ｆ１で示される■は境界線Ｌの右下にあるため、疾患名はメラノーマであると推定される。そして、ソートによる第１位の疾患名と推定部１４によって推定される疾患名とが異なるため、推定部１４によって推定された疾患名に対応する特徴ベクトルの順位が上げられ、Ｆ３の★の特徴ベクトルの順位が第１位に補正される。図８を見てもわかるが、境界線Ｌの付近では、特徴ベクトルが類似していても、疾患名が異なる場合が散見される。したがって、類似度に加えて、推定部１４による推定結果をも考慮して疾患名を識別することにより、識別精度を向上させることができる。

上記例では、順位補正部１５が順位を上げる数値であるＮを１としたが、これは、推定部１４の推定が間違ってしまった場合に、間違った疾患名が第１位になってしまう可能性を低減させるためである。推定部１４による推定の性能が高い場合にはこのＮを２以上の値にしても良い。また、推定部１４が推定の信頼度（例えばクエリ画像データの特徴ベクトルとＳＶＭの境界との距離が大きければ信頼度は高いと考えられる）を出力できる場合は、信頼度の高さに応じてＮの値を動的に変更することも可能である。

また、上記のステップＳ３０８では、提示部１６は、各画像データの順位にしたがって、第１位から順番に画像データ及び疾患名を提示しているが、このような提示は必須ではない。例えば、提示部１６は、ステップＳ３０６における判定結果（疾患名が一致するか否か）を出力部３３から提示しても良い。

また、上述したように、推定部１４は、線形ＳＶＭだけでなく、ニューラルネットを用いることもできるが、線形ＳＶＭを用いた場合は、以下の特長がある。
・処理が高速である。
・学習サンプル数が少なくても比較的高い識別精度を得ることができる。
・識別精度を向上させるためのパラメータ調整が比較的簡単である。

また、推定部１４に、ニューラルネットワークを用いた場合は、以下の特長がある。
・十分な量の学習サンプルを用いて学習させれば識別精度はＳＶＭよりも高くなる。
しかし、ニューラルネットワークを用いると、逆に、以下の欠点もある。
・処理が低速である。
・学習サンプル数が少ないと識別精度が低くなる。
・識別精度を向上させるためのパラメータ調整が難しい。

したがって、学習サンプルの個数に応じて、推定部１４で用いる識別器をＳＶＭにするか、ニューラルネットワークにするか使い分けても良い。例えば、学習サンプルの個数が基準個数（例えば１万個）以上ならニューラルネットワークを用い、基準個数未満ならＳＶＭを用いることができる。このようにすると、学習サンプル数が基準個数未満でもＳＶＭによって比較的高い識別精度を得ることができ、学習サンプル数が基準値以上ならニューラルネットワークによってさらに高い識別精度を得ることができるようになる。

なお、上記実施形態では、類似順位計算部１３及び推定部１４は、特徴ベクトル抽出部１２が画像データから抽出した特徴ベクトルを用いて類似度の計算及び推定を行っている。しかし、類似度の計算及び推定は、特徴ベクトルを用いるものに限定する必要はない。例えば、画像データ自体をパターンマッチングする、画像を格子状に分割したものをパターンマッチングする、画像から輪郭線を抽出して輪郭線同士をパターンマッチングする等の方法を採用しても良い。また、特徴ベクトルを用いる場合も、類似順位計算部１３が用いる特徴ベクトルと推定部１４が用いる特徴ベクトルとを、異なる生成方法による特徴ベクトルにしても良い。この場合、画像データベース２１には、各画像データに、特徴ベクトルの項目を２つ設け、一方を類似順位計算部１３が用い、他方を推定部１４が用いるようにする。

また、上記実施形態では、画像入力部３１から入力される画像は疾患の患部の画像であり、名称入力部３２から入力される名称は疾患の名称であった。しかし、これに限定する必要はない。例えば、画像入力部３１から入力される画像は食品（例えばパン）の画像で、名称入力部３２から入力される名称は該食品（例えばパン）の名称であっても良い。また、画像入力部３１から入力される画像は自動車の画像で、名称入力部３２から入力される名称は該自動車の名称であっても良い。これらに限らず、名称を付けることができる画像に対してなら、任意の画像に対して、上記実施形態を適用することが可能である。

なお、画像処理装置１００の各機能は、通常のＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等のコンピュータによっても実施することができる。具体的には、上記実施形態では、画像処理装置１００が行う画像処理のプログラムが、記憶部２０のＲＯＭに予め記憶されているものとして説明した。しかし、プログラムを、フレキシブルディスク、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）及びＭＯ（Ｍａｇｎｅｔｏ－Ｏｐｔｉｃａｌ Ｄｉｓｃ）等のコンピュータ読み取り可能な記録媒体に格納して配布し、そのプログラムをコンピュータに読み込んでインストールすることにより、上述の各機能を実現することができるコンピュータを構成してもよい。

以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。

（付記１）
画像データを取得する画像取得部と、
前記画像データと該画像データに係る名称とを紐付けて記憶する画像データベースと、
前記画像取得部が取得した画像データに類似する程度を示す類似度を、前記画像データベース中の各画像データについて求め、該各画像データの前記類似度の前記画像データベース中での第１位を計算する類似順位計算部と、
前記画像取得部が取得した画像データに係る名称を推定する推定部と、
前記類似順位計算部が計算した前記第１位の画像データに紐付けられた名称と前記推定部が推定した名称とが一致するか否かを判定する判定部と、
前記判定部が判定した結果に応じて所定の提示を行う提示部と、
を備える画像処理装置。

（付記２）
前記類似順位計算部は、前記各画像データの前記類似度の前記画像データベース中での順位を計算する、
付記１に記載の画像処理装置。

（付記３）
前記判定部が前記類似順位計算部が計算した順位が第１位の画像データに紐付けられた名称と前記推定部が推定した名称とが異なると判定した場合に、前記類似順位計算部が前記順位を計算した画像データの中で、該画像データに紐付けられた名称と前記推定部が推定した名称とが一致する画像データの前記順位を補正する順位補正部を備え、
前記提示部は、前記順位補正部が補正した順位の順番で、少なくとも第１位の前記画像データを提示する、
付記２に記載の画像処理装置。

（付記４）
前記順位補正部は、前記類似順位計算部が計算した順位が第１位の画像データに紐付けられた名称と前記推定部が推定した名称とが異なる場合に、前記類似順位計算部が前記順位を計算した画像データの中で、該画像データに紐付けられた名称と前記推定部が推定した名称とが一致する画像データの前記順位を１だけ上げる、
付記３に記載の画像処理装置。

（付記５）
前記推定部は、前記名称を推定する際の信頼度を出力し、
前記順位補正部は、前記類似順位計算部が計算した順位が第１位の画像データに紐付けられた名称と前記推定部が推定した名称とが異なる場合に、前記類似順位計算部が前記順位を計算した画像データの中で、該画像データに紐付けられた名称と前記推定部が推定した名称とが一致する画像データの前記順位を、前記信頼度に応じた値だけ上げる、
付記３に記載の画像処理装置。

（付記６）
前記画像取得部が取得した画像データから特徴ベクトルを抽出する特徴ベクトル抽出部を備え、
前記画像データベースは、前記特徴ベクトル抽出部が抽出した特徴ベクトルを前記画像データと紐付けて記憶し、
前記類似順位計算部は、前記特徴ベクトル抽出部が抽出した特徴ベクトルを用いて前記類似度を求め、
前記推定部は、前記特徴ベクトル抽出部が抽出した特徴ベクトルを用いて前記画像データに係る名称を推定する、
付記１から５のいずれか１つに記載の画像処理装置。

（付記７）
前記類似順位計算部は、前記特徴ベクトルの間の距離を求めることによって、前記類似度を求める、
付記６に記載の画像処理装置。

（付記８）
前記推定部は、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）により、前記名称を推定する、
付記１から７のいずれか１つに記載の画像処理装置。

（付記９）
前記推定部は、ニューラルネットワークにより、前記名称を推定する、
付記１から７のいずれか１つに記載の画像処理装置。

（付記１０）
前記推定部の学習に用いる学習サンプルの個数が基準個数以上なら、
前記推定部は、ニューラルネットワークにより、前記名称を推定し、
前記推定部の学習に用いる学習サンプルの個数が基準個数未満なら、
前記推定部は、ＳＶＭにより、前記名称を推定する、
付記１から７のいずれか１つに記載の画像処理装置。

（付記１１）
前記画像データは、疾患の患部の画像データであり、
前記名称は、前記疾患の名称である、
付記１から１０のいずれか１つに記載の画像処理装置。

（付記１２）
画像データを取得する画像取得ステップと、
前記画像取得ステップで取得した画像データに類似する程度を示す類似度を、前記画像データと該画像データに係る名称とを紐付けて記憶する画像データベース中の各画像データについて求め、該各画像データの前記類似度の前記画像データベース中での第１位を計算する類似順位計算ステップと、
前記画像取得ステップで取得した画像データに係る名称を推定する推定ステップと、
前記類似順位計算ステップで計算した前記第１位の画像データに紐付けられた名称と前記推定ステップで推定した名称とが一致するか否かを判定する判定ステップと、
前記判定ステップで判定した結果に応じて所定の提示を行う提示ステップと、
を含む画像処理方法。

（付記１３）
コンピュータに、
画像データを取得する画像取得ステップ、
前記画像取得ステップで取得した画像データに類似する程度を示す類似度を、前記画像データと該画像データに係る名称とを紐付けて記憶する画像データベース中の各画像データについて求め、該各画像データの前記類似度の前記画像データベース中での第１位を計算する類似順位計算ステップ、
前記画像取得ステップで取得した画像データに係る名称を推定する推定ステップ、
前記類似順位計算ステップで計算した前記第１位の画像データに紐付けられた名称と前記推定ステップで推定した名称とが一致するか否かを判定する判定ステップ、及び、
前記判定ステップで判定した結果に応じて所定の提示を行う提示ステップ、
を実行させるためのプログラム。

１０…制御部、１１…画像取得部、１２…特徴ベクトル抽出部、１３…類似順位計算部、１４…推定部、１５…順位補正部、１６…提示部、２０…記憶部、２１…画像データベース、３１…画像入力部、３２…名称入力部、３３…出力部、１００…画像処理装置、Ｆ１…クエリ画像の特徴ベクトル、Ｆ２…ほくろの特徴ベクトル、Ｆ３…メラノーマの特徴ベクトル、Ｌ…境界線

Claims (10)

1. 疾患の患部の画像データを取得する画像取得部と、
   前記画像取得部によって取得された画像データから抽出された特徴ベクトルと、画像データベースに各画像データ及び前記各画像データに係る疾患名と紐付けて記憶された前記各画像データの特徴ベクトルと、の類似度を求め、前記画像データベース中での前記各画像データの類似度の高さの順位を求める類似順位計算部と、
   前記画像取得部が取得した画像データに係る疾患名を、前記画像データから抽出された特徴ベクトルに基づいて推定する、学習データにより予め学習された推定部と、
   前記類似順位計算部により求められた類似度の高さの順位において第１位の画像データに紐付けられている疾患名と前記推定部により推定された疾患名とが異なると判定した場合に、前記類似順位計算部が前記順位を計算した画像データの中で、該画像データに紐付けられた疾患名と前記推定部が推定した疾患名とが一致する画像データの前記順位を補正する順位補正部と、
   前記順位補正部が補正した順位の順番で、少なくとも第１位の前記画像データを提示する提示部と、
   を備えることを特徴とする画像処理装置。
2. 前記順位補正部は、前記類似順位計算部が前記順位を求めた画像データの中で、該画像データに紐付けられた疾患名と前記推定部が推定した疾患名とが一致する画像データの前記順位を１だけ上げる、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記推定部は、前記疾患名を推定する際の信頼度を出力し、
   前記順位補正部は、前記類似順位計算部が前記順位を求めた画像データの中で、該画像データに紐付けられた疾患名と前記推定部が推定した疾患名とが一致する画像データの前記順位を、前記信頼度に応じた値だけ上げる、
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記類似順位計算部は、前記特徴ベクトルの間の距離を求めることによって、前記類似度を求める、
   ことを特徴とする請求項１から３の何れかに記載の画像処理装置。
5. 前記推定部は、前記画像取得部が取得した画像データに係る疾患名を、前記画像データから抽出された特徴ベクトルに加え、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）を用いた識別器を用いて前記疾患名を推定する、
   ことを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記推定部は、前記画像取得部が取得した画像データに係る疾患名を、前記画像データから抽出された特徴ベクトルに加え、ニューラルネットワークを用いて前記疾患名を推定する、
   ことを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
7. 前記推定部は、
   前記学習データにおける学習サンプルの個数が基準個数以上なら、
   前記推定部は、前記画像データから抽出された特徴ベクトルに加え、ニューラルネットワークを用いて、前記疾患名を推定し、
   前記学習データにおける学習サンプルの個数が基準個数未満なら、
   前記推定部は、前記画像データから抽出された特徴ベクトルに加え、ＳＶＭを用いた識別器を用いて、前記疾患名を推定する、
   ことを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
8. 前記学習データは、前記画像データベースに記憶されている前記各画像データに係る疾患名と前記各画像データの特徴ベクトルであり、
   前記推定部に対し前記学習データを用いて学習させるよう制御する制御部を更に備えることを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
9. 疾患の患部の画像データを取得する画像取得ステップと、
   前記画像取得ステップにて取得された画像データから抽出された特徴ベクトルと、画像データベースに各画像データ及び前記各画像データに係る疾患名と紐付けて記憶された前記各画像データの特徴ベクトルと、の類似度を求め、前記画像データベース中での前記各画像データの類似度の高さの順位を求める類似順位計算ステップと、
   学習データにより予め学習された推定部を用いて、前記画像取得ステップで取得した画像データに係る疾患名を、前記画像データから抽出された特徴ベクトルに基づいて推定する推定ステップと、
   前記類似順位計算ステップにて求められた類似度の高さの順位において第１位の画像データに紐付けられている疾患名と前記推定ステップにて推定された疾患名とが異なると判定した場合に、前記類似順位計算ステップにて前記順位を計算した画像データの中で、該画像データに紐付けられた疾患名と前記推定ステップにて推定された疾患名とが一致する画像データの前記順位を補正する補正ステップと、
   前記補正ステップにて補正された順位の順番で、少なくとも第１位の前記画像データを提示部に提示する提示ステップと、
   を含むことを特徴とする画像処理方法。
10. コンピュータに、
    疾患の患部の画像データを取得する画像取得ステップ、
    前記画像取得ステップにて取得された画像データから抽出された特徴ベクトルと、画像データベースに各画像データ及び前記各画像データに係る疾患名と紐付けて記憶された前記各画像データの特徴ベクトルと、の類似度を求め、前記画像データベース中での前記各画像データの類似度の高さの順位を求める類似順位計算ステップ、
    学習データにより予め学習された推定部を用いて、前記画像取得ステップで取得した画像データに係る疾患名を、前記画像データから抽出された特徴ベクトルに基づいて推定する推定ステップ、
    前記類似順位計算ステップにて求められた類似度の高さの順位において第１位の画像データに紐付けられている疾患名と前記推定ステップにて推定された疾患名とが異なると判定した場合に、前記類似順位計算ステップにて前記順位を計算した画像データの中で、該画像データに紐付けられた疾患名と前記推定ステップにて推定された疾患名とが一致する画像データの前記順位を補正する補正ステップ、
    前記補正ステップにて補正された順位の順番で、少なくとも第１位の前記画像データを提示部に提示する提示ステップ、
    を実行させるためのプログラム。

Images