JP6583316B2 - 識別装置、識別方法及びプログラム - Google Patents

Description

本発明は、識別装置、識別方法及びプログラムに関する。

皮膚病変の画像を識別する装置が開発されてきている。例えば、特許文献１には、アンサンブル識別器による識別の精度向上を図った診断装置等が記載されている。

特開２０１７−４５３４１号公報

特許文献１に記載の診断装置は、従来の技術に比べて精度の高い識別が可能である。しかし、相変わらず誤って識別する可能性が残っており、識別精度のさらなる向上が求められている。

本発明は、上記問題を解決するためになされたものであり、従来の識別装置よりも識別の精度をさらに高めた識別装置、識別方法及びプログラムを提供することを目的とする。

上記目的を達成するため、本発明の識別装置は、
第１のクラスをその他のクラスと識別する第１の一対他識別器と、
前記第１のクラスとは異なる第２のクラスをその他のクラスと識別する第２の一対他識別器と、
前記第２の一対他識別器の識別結果を用いて、前記第１の一対他識別器の識別結果を補正する補正部と、を備え、
識別対象のデータには年齢情報が含まれており、
前記補正部は、前記第１の一対他識別器の識別結果を補正する前に、前記第２の一対他識別器の識別結果を、前記年齢情報を用いて補正する。
上記目的を達成するため、本発明の他の識別装置は、
第１のクラスをその他のクラスと識別する第１の一対他識別器と、
前記第１のクラスとは異なる第２のクラスをその他のクラスと識別する第２の一対他識別器と、
前記第２の一対他識別器の識別結果を用いて、前記第１の一対他識別器の識別結果を補正する補正部と、を備え、
識別対象のデータには性別情報が含まれており、
前記補正部は、前記第１の一対他識別器の識別結果を補正する前に、前記第２の一対他識別器の識別結果を、前記性別情報を用いて補正する。

本発明によれば、従来の識別装置よりも識別の精度をさらに高めることができる。

本発明の実施形態に係る識別装置の機能構成を示す図である。 画像データの一例を示す図である。 正規化した画像データの一例を示す図である。 実施形態に係るベース識別器を説明する図である。 実施形態に係る識別装置の全体処理内容を説明する図である。 実施形態に係る識別装置の識別処理のフローチャートである。

以下、本発明の実施形態に係る識別装置、識別方法及びプログラムについて、図表を参照して説明する。なお、図中同一又は相当部分には同一符号を付す。

本発明の実施形態に係る識別装置１００は、複数のクラスのデータに対して、特定のクラスかその他のクラス（当該特定のクラス以外のクラス）かを識別する。このような識別を行う識別器は、「一対他識別器」、「一対他分類器」、「１クラス ｖｓ その他のクラス 識別器」等と呼ばれる。ここでは、一対他識別器と呼ぶことにする。

実施形態に係る識別装置１００は、図１に示すように、制御部１０、記憶部２０、画像入力部３１、識別結果出力部３２、を備える。

制御部１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等で構成され、記憶部２０に記憶されたプログラムを実行することにより、後述する各部（正規化部１１、肌色減算部１２、第１の一対他識別器１３、第２の一対他識別器１４、補正部１５）の機能を実現する。

記憶部２０は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、制御部１０のＣＰＵが実行するプログラム及び必要なデータを記憶する。

画像入力部３１は、制御部１０に識別装置１００の識別対象となる画像データを入力するためのデバイスである。制御部１０は、画像入力部３１を介して画像データを取得する。画像入力部３１は、制御部１０が画像データを取得できるなら、任意のデバイスを使用することができる。例えば、記憶部２０に画像データを記憶させておき、制御部１０が記憶部２０を読み出すことによって画像データを取得する場合は、記憶部２０が画像入力部３１を兼ねることになる。

なお、画像入力部３１で入力される画像データは、各画素が、光の三原色である赤、緑、青の各成分の強度を示すＲＧＢ値で表される。

識別結果出力部３２は、制御部１０が、画像入力部３１から入力した画像を識別した結果を出力するためのデバイスである。識別結果出力部３２は、制御部１０が識別結果を出力できるなら、任意のデバイスを使用することができる。例えば、制御部１０が記憶部２０に識別結果を出力する場合は、記憶部２０が識別結果出力部３２を兼ねることになる。

次に、制御部１０の機能について説明する。制御部１０は、正規化部１１、肌色減算部１２、第１の一対他識別器１３、第２の一対他識別器１４及び補正部１５の機能を実現する。

正規化部１１は、画像入力部３１から入力した画像データの色及び輝度の成分を正規化する。正規化前後の画像データの具体例を図２及び図３に示す。ただし、これらは実際にはカラー画像である（識別装置１００が扱う画像はカラー画像である）が、出願書類にするために白黒画像に変換されている。図２が正規化前の画像であり、白黒画像に変換される前は青みがかった画像になっている。図３は正規化後の画像であり、白黒画像に変換される前は薄紫色の画像になっている。

肌色減算部１２は、正規化部１１で正規化された画像データのＲＧＢ値から、肌色成分（肌色のＲＧＢ値）を減算する。この肌色減算の処理によって、人の皮膚の画像のＲＧＢ値が、プラスとマイナスにまんべんなく散らばるようになり、識別器による識別の精度を向上させることができる。

第１の一対他識別器１３と、第２の一対他識別器１４は、複数のクラスのデータに対して、特定のクラスかその他のクラス（当該特定のクラス以外のクラス）かを識別する識別器である。識別装置１００は、ベース識別器として、このような一対他識別器を２つ用いて、識別精度を向上させる。このベース識別器としては、例えば、ニューラルネットワークや、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）等、任意の識別器を使用することができる。本実施例では、図４に示すベース識別器を使用している。図４に示す識別器は、入力された画像そのものと該画像に幾何学変換処理（回転、反転、移動、スケーリング等）を施したものとをそれぞれ、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ＣＮＮ）に並列入力し、得られた各出力を加算平均し、識別結果（予測値）を出力する。

識別装置１００が識別したいクラス（ここでは第１のクラスとする）をその他のクラスと識別するベース識別器を、第１の一対他識別器１３にする。そして、第２の一対他識別器１４は、第１のクラス以外のあるクラス（ここでは第２のクラスとする）をその他のクラス（第１のクラスも含む）と識別するベース識別器である。ここで、第２の一対他識別器１４の識別精度は、第１の一対他識別器１３の識別精度よりも一定条件下で高いことが必要とされる。なお、この識別精度は、例えば、ＲＯＣ（Ｒｅｃｅｉｖｅｒ Ｏｐｅｒａｔｉｎｇ Ｃｈａｒａｃｔｅｒｉｓｔｉｃ）曲線下の面積であるＡＵＣ（Ａｒｅａ Ｕｎｄｅｒ ｔｈｅ ｒｅｃｅｉｖｅｒ ｏｐｅｒａｔｏｒ Ｃｕｒｖｅ）の値で表すことができる（ＡＵＣが１に近いほど精度が高いとみなされる）。第２の一対他識別器１４としては、ＡＵＣがかなり１に近いことが望ましい。例えば、第２の一対他識別器１４のＡＵＣは、第１の一対他識別器１３のＡＵＣよりも大きい方が望ましい。ただし、これ以外にも、第２の一対他識別器１４の選定条件は存在する。例えば、第２の一対他識別器１４の第２のクラスに対する識別精度（感度）が、第１の一対他識別器１３の第２のクラス（第１の一対他識別器１３にとってはその他のクラスに含まれるクラス）に対する識別精度（特異度）よりも高い場合も、本実施形態にとって望ましい。

補正部１５は、第１の一対他識別器１３による識別結果を、第２の一対他識別器１４による識別結果によって補正する。具体的には、以下の式に基づいて、補正を行う。
式（１）中、Ｆ（ｘ）は、入力画像に対する識別器の出力、Ｃは各識別器が等価エラー率（Ｅｑｕａｌ Ｅｒｒｏｒ Ｒａｔｅ：ＥＥＲ）となる判定閾値、チルダはベース識別器を表す。また、αは第１の一対他識別器１３と第２の一対他識別器１４の出力スケールを合わせるためと、第２の一対他識別器１４の出力をどの程度、識別装置１００の識別結果に影響させるかを調整するための係数である。例えばα＝１としても良いし、
としても良い。なお、式（１）の適用条件として、第２の一対他識別器１４の出力（Ｆ_ＳＫ（ｘ）が判定閾値Ｃ_ＳＫを超える場合としているが、これは第２の一対他識別器１４の出力の信頼性が高い条件の時のみに補正を適用するためである。

以上、識別装置１００の機能構成について説明した。次に、識別装置１００の全体処理の内容について、図５を参照して説明する。まず、画像が正規化及び肌色減算されてから、第１のベース識別器（第１の一対他識別器）及び第２のベース識別器（第２の一対他識別器）にそれぞれ入力される。具体的には、第１のベース識別器は、皮膚病変がメラノーマ（悪性黒色種（Ｍａｌｉｇｎａｎｔ Ｍｅｌａｎｏｍａ：ＭＭ））かその他かを識別し、第２のベース識別器は脂漏性角化症（Ｓｅｂｏｒｒｈｅｉｃ Ｋｅｒａｔｏｓｉｓ：ＳＫ）かその他かを識別する。一般に若年層の脂漏性角化症は希なので、第２のベース識別器の識別結果に、年齢情報及び性別情報による補正を行っている（このため、識別対象となる各画像データには、年齢情報及び性別情報が付加されている）。例えば、年齢が３０歳未満であれば、第２のベース識別器の識別結果が脂漏性角化症であったとしても、この識別結果は「脂漏性角化症ではない」に補正される。そして、この補正後の第２のベース識別器の識別結果が脂漏性角化症であるなら、第１のベース識別器の識別結果がメラノーマだったとしても、識別装置１００の識別結果は「メラノーマではない」に補正される。（より厳密には、上記の式（１）に従って、識別結果が計算される。）

次に、識別装置１００の識別処理について、図６を参照して説明する。この処理は、ユーザが識別装置１００に識別処理の開始を指示すると開始される。まず、識別装置１００の正規化部１１は、画像入力部３１によって入力された画像を正規化する（ステップＳ１０１）。ステップＳ１０１は、正規化ステップとも呼ばれる。次に、肌色減算部１２は、正規化された画像のＲＧＢ値から肌色のＲＧＢ値を減算する（ステップＳ１０２）。ステップＳ１０２は、肌色減算ステップとも呼ばれる。

そして、肌色が減算された画像は、第１の一対他識別器１３によって識別される（ステップＳ１０３）。ステップＳ１０３は、第１の一対他識別ステップとも呼ばれる。また当該肌色が減算された画像は、第２の一対他識別器１４によっても識別される（ステップＳ１０４）。ステップＳ１０４は、第２の一対他識別ステップとも呼ばれる。

そして、第１の一対他識別器１３によって識別された結果を、第２の一対他識別器１４によって識別された結果を用いて、上記の式（１）に基づいて補正部１５が補正する（ステップＳ１０５）。ステップＳ１０５は、補正ステップとも呼ばれる。そして、制御部１０は、補正部１５により補正された識別結果を、識別結果出力部３２を介して出力し（ステップＳ１０６）、識別処理を終了する。ステップＳ１０６は、識別結果出力ステップとも呼ばれる。

以上のように、識別装置１００は、第２の一対他識別器１４の識別結果を用いて、第１の一対他識別器１３の識別結果を補正するので、より精度の高い識別結果を得ることができる。

識別装置１００の精度を評価した結果を示す。これは、ＩＳＢＩ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｂｉｏｍｅｄｉｃａｌ Ｉｍａｇｉｎｇ） Ｃｈａｌｌｅｎｇｅ ２０１７の参加者に与えられた検証データ（全部で１５０標本）を用いて、評価したものである。表１は、識別装置１００の備えるベース識別器のＡＵＣの比較結果である。中央列は外部訓練データを用いていない場合である。また、右列は年齢／性別情報を利用していない場合である。年齢／性別情報を用いることによってＳＫ識別器（第２の一対他識別器）の学習データの交差検証評価ではＡＵＣが０．９５７から０．９６０に上昇したが、検証データでは標本数が少ないこともあり差は見られなかった。

表２は、病変画像が悪性か良性かを判別する二項識別についてのＩＳＢＩ Ｃｈａｌｌｅｎｇｅ ２０１６ Ｐａｒｔ３の結果を要約したものである。この識別について識別装置１００の再訓練を行った。その後２０１６年に公表されたＣｏｄｅｌｌａ ｅｔ ａｌ．（後述する参照文献１）による方法では、多層構造のニューラルネットワークベースでの自動病変セグメンテーションプロセスを利用している。なお、このプロセスは識別装置１００では用いていない。

識別装置１００は、病変画像のセグメンテーション（又はクロッピング）を行っていないにもかかわらず、現時点における最新のデータである昨年の結果（表２）より著しく優れた結果を示した（表２で、左から２番目の列は後述する参照文献２に記載の２０１６年の最高値である）。参照文献１に記載されているように、信頼性のあるセグメンテーション法を用いれば、識別装置１００の結果をさらに高めることができると予想される。また、脂漏性角化症の一対他識別器の識別結果を年齢／性別情報を用いて補正したことで、僅かな効果を観察した。

（参照文献）
１． N. Codella, Q. B. Nguyen, S. Pankanti, D. Gutman, B. Helba, A. Halpern and J. R. Smith, "Deep Learning Ensembles for Melanoma Recognition in Dermoscopy Images," arXiv:1610.04662, 2016.
２． D. Gutman, N. C. F. Codella, E. Celebi, B. Helba, M. Marchetti, N. Mishra and A. Halpern, "Skin Lesion Analysis towards Melanoma Detection: A Challenge at the International Symposium on Biomedical Imaging (ISBI) 2016, hosted by the International Skin Imaging Collaboration (ISIC)," arXiv:1605.01397, 2016.

なお、識別装置１００の各機能は、通常のＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等のコンピュータによっても実施することができる。具体的には、上記実施形態では、識別装置１００が行う識別処理のプログラムが、記憶部２０のＲＯＭに予め記憶されているものとして説明した。しかし、プログラムを、フレキシブルディスク、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）及びＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ Ｄｉｓｃ）等のコンピュータ読み取り可能な記録媒体に格納して配布し、そのプログラムをコンピュータに読み込んでインストールすることにより、上述の各機能を実現することができるコンピュータを構成してもよい。

以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。

（付記１）
第１のクラスをその他のクラスと識別する第１の一対他識別器と、
前記第１のクラスとは異なる第２のクラスをその他のクラスと識別する第２の一対他識別器と、
前記第２の一対他識別器の識別結果を用いて、前記第１の一対他識別器の識別結果を補正する補正部と、
を備える識別装置。

（付記２）
前記第２の一対他識別器が前記第２のクラスを識別する精度は、前記第１の一対他識別器が前記第１のクラスを識別する精度よりも高い、
付記１に記載の識別装置。

（付記３）
前記補正部は、前記第２の一対他識別器が前記第２のクラスであると識別したら、前記第１の一対他識別器が前記第１のクラスであると識別しても、識別結果を前記第１のクラス以外のクラスであると補正する、
付記１または２に記載の識別装置。

（付記４）
画像データを入力する画像入力部と、
前記画像入力部が入力した画像データを正規化する正規化部と、
を備え、
前記第１の一対他識別器及び前記第２の一対他識別器は、前記正規化部が正規化した画像データを識別する、
付記１から３のいずれか１つに記載の識別装置。

（付記５）
前記正規化部が正規化した画像データから肌色成分を減算する肌色減算部を備え、
前記第１の一対他識別器及び前記第２の一対他識別器は、前記肌色減算部が肌色成分を減算した画像データを識別する、
付記４に記載の識別装置。

（付記６）
識別対象のデータには年齢情報が含まれており、
前記補正部は、前記第１の一対他識別器の識別結果を補正する前に、前記第２の一対他識別器の識別結果を、前記年齢情報を用いて補正する、
付記１から５のいずれか１つに記載の識別装置。

（付記７）
識別対象のデータには性別情報が含まれており、
前記補正部は、前記第１の一対他識別器の識別結果を補正する前に、前記第２の一対他識別器の識別結果を、前記性別情報を用いて補正する、
付記１から６のいずれか１つに記載の識別装置。

（付記８）
第１のクラスをその他のクラスと識別する第１の一対他識別ステップと、
前記第１のクラスとは異なる第２のクラスをその他のクラスと識別する第２の一対他識別ステップと、
前記第２の一対他識別ステップでの識別結果を用いて、前記第１の一対他識別ステップでの識別結果を補正する補正ステップと、
を含む識別方法。

（付記９）
コンピュータに、
第１のクラスをその他のクラスと識別する第１の一対他識別ステップ、
前記第１のクラスとは異なる第２のクラスをその他のクラスと識別する第２の一対他識別ステップ、及び
前記第２の一対他識別ステップでの識別結果を用いて、前記第１の一対他識別ステップでの識別結果を補正する補正ステップ、
を実行させるためのプログラム。

１０…制御部、１１…正規化部、１２…肌色減算部、１３…第１の一対他識別器、１４…第２の一対他識別器、１５…補正部、２０…記憶部、３１…画像入力部、３２…識別結果出力部、１００…識別装置

Claims (11)

1. 第１のクラスをその他のクラスと識別する第１の一対他識別器と、
   前記第１のクラスとは異なる第２のクラスをその他のクラスと識別する第２の一対他識別器と、
   前記第２の一対他識別器の識別結果を用いて、前記第１の一対他識別器の識別結果を補正する補正部と、を備え、
   識別対象のデータには年齢情報が含まれており、
   前記補正部は、前記第１の一対他識別器の識別結果を補正する前に、前記第２の一対他識別器の識別結果を、前記年齢情報を用いて補正する、
   識別装置。
2. 第１のクラスをその他のクラスと識別する第１の一対他識別器と、
   前記第１のクラスとは異なる第２のクラスをその他のクラスと識別する第２の一対他識別器と、
   前記第２の一対他識別器の識別結果を用いて、前記第１の一対他識別器の識別結果を補正する補正部と、を備え、
   識別対象のデータには性別情報が含まれており、
   前記補正部は、前記第１の一対他識別器の識別結果を補正する前に、前記第２の一対他識別器の識別結果を、前記性別情報を用いて補正する、
   識別装置。
3. 前記第２の一対他識別器が前記第２のクラスを識別する精度は、前記第１の一対他識別器が前記第１のクラスを識別する精度よりも高い、
   請求項１または２に記載の識別装置。
4. 前記補正部は、前記第２の一対他識別器が前記第２のクラスであると識別したら、前記第１の一対他識別器が前記第１のクラスであると識別しても、識別結果を前記第１のクラス以外のクラスであると補正する、
   請求項１から３のいずれか１項に記載の識別装置。
5. 画像データを入力する画像入力部と、
   前記画像入力部が入力した画像データを正規化する正規化部と、
   を備え、
   前記第１の一対他識別器及び前記第２の一対他識別器は、前記正規化部が正規化した画像データを識別する、
   請求項１から４のいずれか１項に記載の識別装置。
6. 前記正規化部が正規化した画像データから肌色成分を減算する肌色減算部を備え、
   前記第１の一対他識別器及び前記第２の一対他識別器は、前記肌色減算部が肌色成分を減算した画像データを識別する、
   請求項５に記載の識別装置。
7. 識別対象のデータには性別情報が含まれており、
   前記補正部は、前記第１の一対他識別器の識別結果を補正する前に、前記第２の一対他識別器の識別結果を、前記性別情報を用いて補正する、
   請求項１、及び、請求項１を引用する請求項３から６のいずれか１項に記載の識別装置。
8. 識別装置の識別方法であって、
   前記識別装置の第１の一対他識別器が第１のクラスをその他のクラスと識別する第１の一対他識別ステップと、
   前記識別装置の第２の一対他識別器が前記第１のクラスとは異なる第２のクラスをその他のクラスと識別する第２の一対他識別ステップと、
   前記識別装置の補正部が前記第２の一対他識別ステップでの識別結果を用いて、前記第１の一対他識別ステップでの識別結果を補正する補正ステップと、を含み、
   識別対象のデータには年齢情報が含まれており、
   前記補正ステップでは、前記第１の一対他識別ステップでの識別結果を補正する前に、前記第２の一対他識別ステップでの識別結果を、前記年齢情報を用いて補正する、
   識別方法。
9. コンピュータに、
   第１のクラスをその他のクラスと識別する第１の一対他識別ステップ、
   前記第１のクラスとは異なる第２のクラスをその他のクラスと識別する第２の一対他識別ステップ、及び
   前記第２の一対他識別ステップでの識別結果を用いて、前記第１の一対他識別ステップでの識別結果を補正する補正ステップ、を実行させ、
   識別対象のデータには年齢情報が含まれており、
   前記補正ステップでは、前記第１の一対他識別ステップでの識別結果を補正する前に、前記第２の一対他識別ステップでの識別結果を、前記年齢情報を用いて補正する、
   プログラム。
10. 識別装置の識別方法であって、
    前記識別装置の第１の一対他識別器が第１のクラスをその他のクラスと識別する第１の一対他識別ステップと、
    前記識別装置の第２の一対他識別器が前記第１のクラスとは異なる第２のクラスをその他のクラスと識別する第２の一対他識別ステップと、
    前記識別装置の補正部が前記第２の一対他識別ステップでの識別結果を用いて、前記第１の一対他識別ステップでの識別結果を補正する補正ステップと、を含み、
    識別対象のデータには性別情報が含まれており、
    前記補正ステップでは、前記第１の一対他識別ステップでの識別結果を補正する前に、前記第２の一対他識別ステップでの識別結果を、前記性別情報を用いて補正する、
    識別方法。
11. コンピュータに、
    第１のクラスをその他のクラスと識別する第１の一対他識別ステップ、
    前記第１のクラスとは異なる第２のクラスをその他のクラスと識別する第２の一対他識別ステップ、及び
    前記第２の一対他識別ステップでの識別結果を用いて、前記第１の一対他識別ステップでの識別結果を補正する補正ステップ、を実行させ、
    識別対象のデータには性別情報が含まれており、
    前記補正ステップでは、前記第１の一対他識別ステップでの識別結果を補正する前に、前記第２の一対他識別ステップでの識別結果を、前記性別情報を用いて補正する、
    プログラム。