JP5581574B2

JP5581574B2 - 画像処理装置及び画像処理プログラム

Info

Publication number: JP5581574B2
Application number: JP2008178682A
Authority: JP
Inventors: 典司加藤; 隆司磯崎; 基文福井
Original assignee: Fuji Xerox Co Ltd; Fujifilm Business Innovation Corp
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2008-07-09
Filing date: 2008-07-09
Publication date: 2014-09-03
Anticipated expiration: 2028-07-09
Also published as: US20100014756A1; US8532401B2; JP2010017274A

Description

本発明は、画像処理装置及び画像処理プログラムに関する。

画像から欠陥部位を識別すること、例えば、医療現場においては、病変部位を特定すること、工場等の製造現場においては、製品のキズ等を発見すること等が求められている。
例えば、ＣＴ（ＣｏｍｐｕｔｅｒＴｏｍｏｇｒａｐｈｙ）、ＭＲＩ（ＭａｇｎｅｔｉｃＲｅｓｏｎａｎｃｅＩｍａｇｉｎｇ）といった画像診断装置は、疾患の発見に対して有用であるが、ＣＴ、ＭＲＩは一度の検査で数十枚の多量の画像を生成するため、主に診断に携わる放射線科医にとって画像から病変部位を発見する作業が必要となっている。また、間質性肺炎や慢性閉塞性肺疾患などのびまん性肺疾患においては、病変を正しく認識するためには熟練を要する。

これに関連する技術として、例えば、特許文献１には、慢性閉塞性肺疾患の様々な形態の診断及び追跡を可能にするために医用画像における疾患関連組織変化を測定することを課題とし、所与の疾患の定量化、診断及び予測に用いられる疾患関連組織変化を測定する方法は、複数のセグメント分割された関心領域を形成するために画像データに１以上のセグメント分割法を施す工程と、抽出された特徴を形成するためにセグメント分割された領域から所与の疾患に関連する特徴を抽出する工程と、所与の疾患を指示する変化の診断、定量化及び予測の１つに用いるために特徴を数学的にモデル化する工程とを備えていることが開示されている。

また、特許文献２には、正常異常の判別をより高精度に行い、その検出率を向上させ、偽陽性数を極力削減することを課題とし、断層像のテクスチャ情報を用いて陰影の正常異常を判別するものであり、正常異常の判別方法の１つとして、原画像と補間画像とのそれぞれのテクスチャ情報に基づいて正常異常の判別を行うようにし、これ以外にも、原画像と補間画像との間の濃度テクスチャ情報、又は原画像と補間画像との間の陰影形状の相似度に基づいて、正常異常の判別を行うことが開示されている。

また、非特許文献１には、テクスチャ特徴をベイズ識別器を用いて蜂窩肺、すりガラス、気管支拡張、結節、肺気腫、正常の６種類に分類していることが記載されている。
これらの手法は、予め分類結果を正解として用意しておき、識別器に学習させておき、同一分類内の多様な変動に対しても適応できるようにしている。
特開２００４−１７４２５４号公報特開２００６−０１４９６７号公報 R.Uppaluri, E.Hoffman, M.Sonka, P.Hartle, "Computer recognition of regional lung disease patterns", American Journal of Respiratory and Critical Care Medicine 160, 1999, pp.648-654

本発明は、画像から欠陥部位を識別する場合にあって、本構成を有していない場合に比較して、その欠陥部位の面積が小さい場合でも、識別性能を向上させるようにした画像処理装置及び画像処理プログラムを提供することを目的としている。

かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
請求項１の発明は、画像を領域に分割する領域分割手段と、前記領域分割手段によって分割された領域のうち、正常な領域以外の領域を抽出する画像領域抽出手段と、前記画像領域抽出手段によって抽出された領域を対象として、局所領域に分割する対象画像分割手段と、前記対象画像分割手段によって分割された局所領域の画像特徴を抽出する画像特徴抽出手段と、前記画像特徴抽出手段によって抽出された画像特徴を量子化する量子化手段と、量子化された画像特徴と類似する画像を示すトピック変数との間の相関を用いて、前記量子化手段によって量子化された画像特徴から該トピック変数が生起した確率の期待値を生成する確率期待値生成手段と、前記確率期待値生成手段によって生成されたトピック変数が生起した確率の期待値を用いて、領域に分割された前記画像のうちの欠陥部位の領域を出力する画像出力手段を具備し、前記確率期待値生成手段は、前記領域内の画像特徴の特徴量の組を与えて学習することによって、前記トピック変数が局所特徴を生成する確率を決定することを特徴とする画像処理装置である。

請求項２の発明は、対象とする画像を領域に分割する対象画像分割手段と、前記対象画像分割手段によって分割された領域の画像特徴を抽出する画像特徴抽出手段と、前記画像特徴の集合に対するクラスタリングに関する情報を保存するクラスタリング情報保存手段と、前記クラスタリング情報保存手段に保存されたクラスタリングに関する情報を用いて量子化する量子化手段と、量子化された画像特徴と類似する画像を示すトピック変数との間の相関を用いて、前記量子化手段によって量子化された画像特徴から該トピック変数が生起した確率の期待値を生成する確率期待値生成手段と、前記確率期待値生成手段によって生成されたトピック変数が生起した確率の期待値を用いて、領域に分割された前記画像のうちの欠陥部位の領域を出力する画像出力手段を具備し、前記確率期待値生成手段は、前記領域内の画像特徴の特徴量の組を与えて学習することによって、前記トピック変数が局所特徴を生成する確率を決定することを特徴とする画像処理装置である。

請求項３の発明は、欠陥の種類毎に画像特徴とトピック変数との間の相関を保存する画像特徴トピック相関保存手段をさらに具備し、前記確率期待値生成手段は、前記画像特徴トピック相関保存手段に保存されている画像特徴とトピック変数との間の相関を用いて、トピック変数が生起した確率の期待値を生成することを特徴とする請求項１又は２に記載の画像処理装置である。

請求項４の発明は、コンピュータを、画像を領域に分割する領域分割手段と、前記領域分割手段によって分割された領域のうち、正常な領域以外の領域を抽出する画像領域抽出手段と、前記画像領域抽出手段によって抽出された領域を対象として、局所領域に分割する対象画像分割手段と、前記対象画像分割手段によって分割された局所領域の画像特徴を抽出する画像特徴抽出手段と、前記画像特徴抽出手段によって抽出された画像特徴を量子化する量子化手段と、量子化された画像特徴と類似する画像を示すトピック変数との間の相関を用いて、前記量子化手段によって量子化された画像特徴から該トピック変数が生起した確率の期待値を生成する確率期待値生成手段と、前記確率期待値生成手段によって生成されたトピック変数が生起した確率の期待値を用いて、領域に分割された前記画像のうちの欠陥部位の領域を出力する画像出力手段として機能させ、前記確率期待値生成手段は、前記領域内の画像特徴の特徴量の組を与えて学習することによって、前記トピック変数が局所特徴を生成する確率を決定することを特徴とする画像処理プログラムである。
請求項５の発明は、コンピュータを、対象とする画像を領域に分割する対象画像分割手段と、前記対象画像分割手段によって分割された領域の画像特徴を抽出する画像特徴抽出手段と、前記画像特徴の集合に対するクラスタリングに関する情報を保存するクラスタリング情報保存手段と、前記クラスタリング情報保存手段に保存されたクラスタリングに関する情報を用いて量子化する量子化手段と、量子化された画像特徴と類似する画像を示すトピック変数との間の相関を用いて、前記量子化手段によって量子化された画像特徴から該トピック変数が生起した確率の期待値を生成する確率期待値生成手段と、前記確率期待値生成手段によって生成されたトピック変数が生起した確率の期待値を用いて、領域に分割された前記画像のうちの欠陥部位の領域を出力する画像出力手段として機能させ、前記確率期待値生成手段は、前記領域内の画像特徴の特徴量の組を与えて学習することによって、前記トピック変数が局所特徴を生成する確率を決定することを特徴とする画像処理プログラムである。

請求項１の画像処理装置によれば、画像から欠陥部位を識別する場合にあって、本構成を有していない場合に比較して、その欠陥部位の面積が小さい場合でも、識別性能を向上させることができる。そして、画像から欠陥部位を識別する前に特徴抽出をすべき対象とする画像を絞り込むことができる。

請求項２の画像処理装置によれば、画像から欠陥部位を識別する場合にあって、本構成を有していない場合に比較して、その欠陥部位の面積が小さい場合でも、識別性能を向上させることができる。そして、本構成を有していない場合に比較して、より効率よく量子化できるようになる。

請求項３の画像処理装置によれば、本構成を有していない場合に比較して、より効率よくトピック変数が生起した確率の期待値を生成できるようになる。

請求項４の画像処理プログラムによれば、画像から欠陥部位を識別する場合にあって、本構成を有していない場合に比較して、その欠陥部位の面積が小さい場合でも、識別性能を向上させることができる。そして、画像から欠陥部位を識別する前に特徴抽出をすべき対象とする画像を絞り込むことができる。
請求項５の画像処理プログラムによれば、画像から欠陥部位を識別する場合にあって、本構成を有していない場合に比較して、その欠陥部位の面積が小さい場合でも、識別性能を向上させることができる。そして、本構成を有していない場合に比較して、より効率よく量子化できるようになる。

以下、図面に基づき本発明を実現するにあたっての好適な一実施の形態の例を説明する。
図１は、本実施の形態の構成例についての概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア（コンピュータ・プログラム）、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、コンピュータ・プログラム、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するの意である。また、モジュールは機能にほぼ一対一に対応しているが、実装においては、１モジュールを１プログラムで構成してもよいし、複数モジュールを１プログラムで構成してもよく、逆に１モジュールを複数プログラムで構成してもよい。また、複数モジュールは１コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって１モジュールが複数コンピュータで実行されてもよい。なお、１つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続（データの授受、指示、データ間の参照関係等）の場合にも用いる。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク（一対一対応の通信接続を含む）等の通信手段で接続されて構成されるほか、１つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。「予め定められた」とは、対象としている処理の前であることをいい、本実施の形態による処理が始まる前、本実施の形態による処理が始まった後であっても、そのときの状況・状態に応じて、又はそれまでの状況・状態に応じて定まることの意を含めて用いる。

以下、欠陥部位が含まれている可能性がある画像として、医療における診断画像を主に例示して説明する。特に、肺画像について説明する。本実施の形態は、病変部分を識別し、医師の診断を支援するものである。特に、網状の病変や、初期の肺気腫など、特徴的なパターンの占める領域の面積が比較的小さな病変部分でも識別するものである。より詳細には、本実施の形態は、診断したい画像に対し、病変部位の有無、病変の種類を識別し、その結果を診断画像に重畳して提示することにより、医師の診断を補助するものである。

本実施の形態は、図１に示すように、領域分割モジュール１１０、局所特徴抽出モジュール１２０、特徴量子化モジュール１３０、コードブック保存モジュール１４０、トピック確率推定モジュール群１５０、局所特徴−トピック相関保存モジュール１６０、病変分類モジュール１７０、識別器パラメータ保存モジュール１８０、識別結果提示モジュール１９０を有している。

領域分割モジュール１１０は、局所特徴抽出モジュール１２０と接続されている。操作者の操作（例えば、現在診断を下そうとしている画像の指定）に応じて、診断画像を受け付けて、その診断画像を領域に分割する。そして、その分割された領域の画像のうち、正常な画像以外の画像領域を抽出して、その抽出した画像領域を局所特徴抽出モジュール１２０へ渡す。ここで、診断画像を受け付けるとは、スキャナで画像を読み込むこと、ファックスで画像を受信すること、画像データベース等から画像を読み出すこと等が含まれる。診断画像として具体的には、レントゲン画像、ＣＴ画像、ＭＲＩ画像等がある。その画像は、１枚であってもよいし、複数枚であってもよい。

具体的には、例えば、領域分割モジュール１１０は、肺野領域を抽出し、肺野領域を、各領域内では画像特徴がほぼ一様になるように複数の領域に分割する。その分割方法としては、例えば輝度が似ており、かつ隣接した画素を同じ領域に含めるように既存の手法を用いて行う。正常な画像とは、予め定められた大きさの領域内で、画素値が一定の領域であるようなものをいい、このような領域は、以下の処理を施す必要がないものである。また、単純に一定サイズの矩形領域に分割してもよい。
なお、領域分割モジュール１１０がない構成としてもよい。つまり、診断画像を局所特徴抽出モジュール１２０が受け付けるようにしてもよい。

局所特徴抽出モジュール１２０は、領域分割モジュール１１０、特徴量子化モジュール１３０と接続されている。領域分割モジュール１１０によって抽出された画像領域を対象とする画像として、領域の分割を行う。そして、その分割された領域の画像特徴を抽出する。分割された各領域の抽出した画像特徴を特徴量子化モジュール１３０へ渡す。
具体的には、例えば、局所特徴抽出モジュール１２０は、領域分割モジュール１１０によって分割された各領域を予め定められたサイズの矩形領域（以下、局所領域ともいう）に分割し、各矩形領域に対して画像特徴を計算する。画像特徴としては、矩形領域の各画素の輝度値を成分とするベクトル量や、ＳＩＦＴ（ＳｃａｌｅＩｎｖａｒｉａｎｔＦｅａｔｕｒｅＴｒａｎｓｆｏｒｍ）特徴を用いたテクスチャ特徴などを用いてもよい。

コードブック保存モジュール１４０は、特徴量子化モジュール１３０と接続されており、画像特徴の集合に対するクラスタリングに関する情報を保存する。
具体的には、例えば、コードブック保存モジュール１４０は、予め定められた病変画像のデータベース中の局所領域の画像特徴の集合をｋ−ｍｅａｎｓクラスタなどによりクラスタリングした結果、つまり各クラスタの中心値を算出し、クラスタを識別できるようにクラスタ番号を付して、そのクラスタ番号とクラスタの中心値を対応付けて保存する。この保存しているものを量子化コードブックという。

特徴量子化モジュール１３０は、局所特徴抽出モジュール１２０、コードブック保存モジュール１４０、トピック確率推定モジュール群１５０と接続されている。局所特徴抽出モジュール１２０によって抽出された画像特徴を量子化し、その量子化結果をトピック確率推定モジュール群１５０へ渡す。コードブック保存モジュール１４０に保存されたクラスタリングに関する情報を用いて量子化するようにしてもよい。
具体的には、例えば、特徴量子化モジュール１３０は、局所領域の画像特徴をコードブック保存モジュール１４０内の量子化コードブックを基に量子化する。量子化は、例えば局所領域の画像特徴に最も近いクラスタを抽出し、そのクラスタに割り当てられているクラスタ番号を量子化結果として出力する。

局所特徴−トピック相関保存モジュール１６０は、トピック確率推定モジュール群１５０と接続されており、欠陥の種類毎に画像特徴とトピック変数との間の相関を保存する。
具体的には、例えば、局所特徴−トピック相関保存モジュール１６０は、病変の種類毎又は進行度（重症度等を含む）毎に予め学習されており、量子化された局所領域の画像特徴と後述のトピック変数間の相関を保存する。

トピック確率推定モジュール群１５０は、特徴量子化モジュール１３０、局所特徴−トピック相関保存モジュール１６０、病変分類モジュール１７０と接続されており、トピック確率推定モジュール１５１、トピック確率推定モジュール１５２、・・・トピック確率推定モジュール１５Ｎを有している。量子化された画像特徴と類似する画像を示すトピック変数との間の相関を用いて、特徴量子化モジュール１３０によって量子化された画像特徴からそのトピック変数が生起した確率の期待値を生成する。また、トピック確率推定モジュール群１５０は、局所特徴−トピック相関保存モジュール１６０に保存されている画像特徴とトピック変数との間の相関を用いて、トピック変数が生起した確率の期待値を生成するようにしてもよい。なお、トピック確率推定モジュール１５１、トピック確率推定モジュール１５２、・・・、トピック確率推定モジュール１５Ｎは、類似する画像毎、つまり、この場合は病変の種類毎又は進行度毎に構築しておくものである。したがって、トピック確率推定モジュール１５１、トピック確率推定モジュール１５２、・・・、トピック確率推定モジュール１５Ｎは、基本的に同じ機能を有している。以下、その説明としてトピック確率推定モジュール群１５０を代表として示す。また、局所特徴−トピック相関保存モジュール１６０も、トピック確率推定モジュール１５１、トピック確率推定モジュール１５２、・・・トピック確率推定モジュール１５Ｎに対応して分割して構築してもよい。
具体的には、例えば、トピック確率推定モジュール群１５０は、局所特徴−トピック相関保存モジュール１６０に保存された局所画像特徴とトピック変数間の相関を取得し、その相関情報を基に、局所領域内の量子化された画像特徴の組からトピック確率を推定する。以上のトピック確率の推定は、病変の種類毎又は進行度毎に用意されたトピックに対して行われ、推定されたすべてのトピック確率を成分とするベクトルは、病変又は進行度の分類のための特徴量として用いられる。

識別器パラメータ保存モジュール１８０は、病変分類モジュール１７０と接続されており、前もって用意された病変画像とその診断結果を教師データとして学習されたパラメータを保存している。このパラメータは、病変分類モジュール１７０によって用いられる。
病変分類モジュール１７０は、トピック確率推定モジュール群１５０、識別器パラメータ保存モジュール１８０、識別結果提示モジュール１９０と接続されている。トピック確率推定モジュール群１５０によって生成されたトピック変数が生起した確率の期待値を用いて、診断画像内の欠陥部位の画像を識別結果提示モジュール１９０に渡す。また、病変分類モジュール１７０は、識別器パラメータ保存モジュール１８０に保存されているパラメータを用いて、診断画像内の欠陥部位の画像を特定するようにしてもよい。また、病変部位の有無、病変の種類、その進行度を識別するようにしてもよい。例えば、分類には、サポートベクタマシン等の識別器を用いるようにしてもよい。
識別結果提示モジュール１９０は、病変分類モジュール１７０と接続されている。病変分類モジュール１７０によって識別された結果（欠陥部位の画像）を出力する。ここで出力するとは、プリンタで印刷すること、ディスプレイに表示すること、ファックスで画像を送信すること、画像データベース等へ画像を書き込むこと等が含まれる。より具体的には、例えば色分けして、診断画像に重畳してディスプレイ等に表示する。

図２は、本実施の形態による処理例を示すフローチャートである。
ステップＳ２０２では、領域分割モジュール１１０が、診断画像を受け付ける。
ステップＳ２０４では、領域分割モジュール１１０が、その診断画像を領域に分割する。
ステップＳ２０６では、領域分割モジュール１１０が、分割された領域の画像のうち、正常な画像以外の画像領域を抽出する。抽出した画像が対象画像となる。
ステップＳ２０８では、局所特徴抽出モジュール１２０が、その対象画像内を局所領域に分割する。

ステップＳ２１０では、局所特徴抽出モジュール１２０が、その局所領域内の画像特徴を抽出する。
ステップＳ２１２では、特徴量子化モジュール１３０が、コードブック保存モジュール１４０を用いて、その画像特徴を量子化する。つまり、各局所領域にクラスタ番号を割り振る。
ステップＳ２１４では、トピック確率推定モジュール群１５０が、トピック確率の期待値を計算する。
ステップＳ２１６では、病変分類モジュール１７０が、トピック確率の期待値を用いて、病変の特定等を行う。
ステップＳ２１８では、識別結果提示モジュール１９０が、特定した結果（病変の有無、その箇所等）をディスプレイ等に出力する。

次に、トピック変数について説明する。本実施の形態におけるトピック変数は、類似した画像群のことをいう。例えば、病変毎の画像群又は進行度毎の画像群をいい、つまり、これらの画像群は、それぞれ１つの種類の病変名、又は進行度による画像変動によって生じるサブクラスを表すものである。
病変名又はサブクラスを領域内の特徴量から学習するために、図３の例に示すような生成モデルを用いる。トピック変数が局所特徴を生成する確率は、後述するように領域内の特徴量の組を与えて学習することによって決まる。学習により１つのトピック変数には、同じ領域内に互いに共起する確率の高い局所特徴量が属することになる。また、トピック変数自体は観測できない隠れ変数であるが、セグメントに対して各トピック変数が生起した確率の期待値を計算し得るものである。

生成モデルの具体的な形としては、例えば「D.Blei, A.Ng, M.Jordan, “Latent Dirichlet Allocation”, Journal of Machine Learning Research 3 pp.993-1022, 2003」にあるようなＬａｔｅｎｔＤｉｒｉｃｈｌｅｔＡｌｌｏｃａｔｉｏｎモデル（ＬＤＡモデル）が挙げられる。このＬＤＡモデルは、トピックから単語の組であるドキュメント（文書）を生成するプロセスを表すモデルである。また、ドキュメントに含まれている単語から、そのドキュメントに表されているトピック（この場合は、主題ともいうべきもの）を抽出する場合に用いられるモデルである。各トピックの生起確率は、Ｄｉｒｉｃｈｌｅｔ分布を事前確率とした多項分布と仮定する。

図３に示すモデル例は、パラメータα３１０を持つＤｉｒｉｃｈｌｅｔ分布からあるドキュメントに対してトピックの生起確率θ３２０が選ばれ、そのθ３２０に基づいた多項分布によりＮ個のトピックＺ３３０が生成され、各トピックから単語Ｗ３４０が生成されるモデルを表している。Ｍ３７０はコーパス中のドキュメントの数である。また、Ｎ３６０は１つのドキュメント内の単語数を表している。β３５０は、トピックが決まったならば、その単語の発生の確率を示している。

本実施の形態は、このＬＤＡモデルを応用したものであり、量子化された局所領域の画像特徴が単語に対応し、１つの診断画像が１つのドキュメントに対応する。すなわち、１つの診断画像に対して、各トピックの生起確率が決まり、その生起確率に基づいて、各局所領域に対してトピックが生起し、そのトピックから局所領域の画像特徴が独立に生成される。モデルにはＤｉｒｉｃｈｌｅｔ分布のパラメータα３１０、各トピックから局所特徴を生成する確率β３５０があり、これらは複数の領域を与えることにより学習される。複数の領域に対して尤度が数１の式により定義できる。

この尤度を最大にすることにより、パラメータα３１０、β３５０が決定される。最大化の方法については、変分ベイズ法や、モンテカルロ法といった手法を用いてもよい。一方、学習されたパラメータα３１０、β３５０を用いて、受け付けた領域に対する各トピックの生起確率の期待値を計算し得る。計算された生起確率の期待値は、領域の特徴量として用いられる。つまり、トピック確率推定モジュール群１５０は、数１に示す式が表す尤度を最大化するような生起確率の期待値を計算する。

前述の方法により計算されるＬＤＡモデルにおけるトピックを用いた特徴量の性質について説明する。図４は肺気腫という病変に対して学習を行った結果得られたトピックに属する代表的な画像例である。図４（ａ）はトピック１の画像を集めたもの、図４（ｃ）はトピック３の画像を集めたものであり（以下同様）、このように、進行度が異なり、肺胞の破壊度が異なったサブクラスタが学習できていることがわかる。肺胞が破壊された部分は輝度が低く（黒い部分）なるが、例えばトピック３（図４（ｃ））は輝度が低い領域が正常部位に散在しており、比較的初期の病変に対応し、トピック５（図４（ｅ））は、病状が進行し、輝度が低い領域が結合し、正常部位が殆ど見られない状態に対応している。他のトピックは両者の中間状態に対応している。

図５は、病変画像に対する局所領域分割を行った場合の特徴の頻度分布例を示す説明図である。図６は、病変画像に対するトピック変数の確率の期待値の分布例を示す説明図である。
これらの図を用いて、図５（又は図６）の例に示すような網状の画像５００を受け付けたときにどのような特徴量が得られるかを説明する。画像５００では、線状の部分と背景の部分が混在しており、これをＬＤＡモデルにおけるトピックを用いずに、特徴量だけを用いた処理を行うと、図５右に示すグラフの例にようになる。このグラフの横軸は画像特徴のクラスタ番号を示しており、縦軸はその頻度を示している。つまり、このグラフは、ある画像特徴を有する局所領域の数の分布を示している。
この場合、線状部分（病変画像領域５１０）から計算される画像特徴を有する局所領域数より、背景部分（背景画像領域５２０）から計算される画像特徴を有する局所領域数の方が多くなる。網状の画像を識別するのに重要なのは線状部分であるから、このままでは識別性能が劣化することとなる。

一方、本実施の形態では、線状部分の寄与が背景部分の寄与より大きくなっている。その理由を以下で説明する。
ＬＤＡモデルにおけるトピックの数は例えば５、局所領域の画像特徴の量子化数は例えば１００〜３００程度であり、ＬＤＡモデルにおけるトピックの数の方が少ない。したがって、少ない数のトピックの数で量子化された局所領域の画像特徴（以下、量子化局所特徴ともいう）の分布を生成するために、１つの病変中に共起する確率の高い量子化局所特徴同士が同じトピックから生成されるように学習される。網状の病変に関しては、線状部分の局所特徴は同時に現れることが多いため、同じトピックに属する傾向にある。一方、背景部分の局所特徴は病変と関係なく、比較的ランダムに出現するため、お互いの共起性は小さく、特定のトピックから生成するよりも複数のトピックから一様に生起した方がデータの分布を効率よく表現できる。そのため、線状の局所特徴は、特定のＬＤＡモデルにおけるトピックに対して高い生起確率を持ち、逆に背景部分は、どのトピックに対しても一様に低い生起確率となる。
したがって、本実施の形態では、線状部分の寄与が背景部分の寄与より大きくなり、識別率が向上することとなる。

図７は、識別性能の実験結果例の比較を示す説明図である。つまり、本実施の形態と従来例との病変の識別率の比較を示したものである。
ここでｇｌｃｍは輝度相関行列を、ＶＺは輝度ベクトルを、ＳＩＦＴはＳＩＦＴ記述子を局所領域の画像特徴に用いたことを示す。ＶＺ−ＬＤＡ及びＳＩＦＴ−ＬＤＡは本実施の形態による処理結果である。つまり、網状の病変や、初期の肺気腫など、特徴的なパターンの占める領域の面積が比較的小さい場合に対しても、識別性能を確保できていることがわかる。

図８を参照して、本実施の形態のハードウェア構成例について説明する。図８に示す構成は、例えばパーソナルコンピュータ（ＰＣ）などによって構成されるものであり、スキャナ等のデータ読み取り部８１７と、プリンタなどのデータ出力部８１８を備えたハードウェア構成例を示している。

ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）８０１は、前述の実施の形態において説明した各種のモジュール、すなわち、領域分割モジュール１１０、局所特徴抽出モジュール１２０、特徴量子化モジュール１３０、トピック確率推定モジュール群１５０等の各モジュールの実行シーケンスを記述したコンピュータ・プログラムにしたがった処理を実行する制御部である。

ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）８０２は、ＣＰＵ８０１が使用するプログラムや演算パラメータ等を格納する。ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）８０３は、ＣＰＵ８０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。これらはＣＰＵバスなどから構成されるホストバス８０４により相互に接続されている。

ホストバス８０４は、ブリッジ８０５を介して、ＰＣＩ（ＰｅｒｉｐｈｅｒａｌＣｏｍｐｏｎｅｎｔＩｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス８０６に接続されている。

キーボード８０８、マウス等のポインティングデバイス８０９は、操作者により操作される入力デバイスである。ディスプレイ８１０は、液晶表示装置又はＣＲＴ（ＣａｔｈｏｄｅＲａｙＴｕｂｅ）などから成り、各種情報をテキストやイメージ情報として表示する。

ＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）８１１は、ハードディスクを内蔵し、ハードディスクを駆動し、ＣＰＵ８０１によって実行するプログラムや情報を記録又は再生させる。ハードディスクには、受け付けた診断画像やコードブックなどが格納される。さらに、その他の各種のデータ処理プログラム等、各種コンピュータ・プログラムが格納される。

ドライブ８１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体８１３に記録されているデータ又はプログラムを読み出して、そのデータ又はプログラムを、インタフェース８０７、外部バス８０６、ブリッジ８０５、及びホストバス８０４を介して接続されているＲＡＭ８０３に供給する。リムーバブル記録媒体８１３も、ハードディスクと同様のデータ記録領域として利用可能である。

接続ポート８１４は、外部接続機器８１５を接続するポートであり、ＵＳＢ、ＩＥＥＥ１３９４等の接続部を持つ。接続ポート８１４は、インタフェース８０７、及び外部バス８０６、ブリッジ８０５、ホストバス８０４等を介してＣＰＵ８０１等に接続されている。通信部８１６は、ネットワークに接続され、外部とのデータ通信処理を実行する。データ読み取り部８１７は、例えばスキャナであり、ドキュメントの読み取り処理を実行する。データ出力部８１８は、例えばプリンタであり、ドキュメントデータの出力処理を実行する。

なお、図８に示すハードウェア構成は、１つの構成例を示すものであり、本実施の形態は、図８に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、一部のモジュールを専用のハードウェア（例えば特定用途向け集積回路（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ：ＡＳＩＣ）等）で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続しているような形態でもよく、さらに図８に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、複写機、ファックス、スキャナ、プリンタ、複合機（スキャナ、プリンタ、複写機、ファックス等のいずれか２つ以上の機能を有している画像処理装置）などに組み込まれていてもよい。

前記実施の形態においては、医療における診断画像に対して病変部位を特定する処理を示したが、工場等の製造現場における製品等の撮影画像に対してキズ等を発見するために利用してもよい。特に線状のひび割れ等の検出にも対応できる。
なお、数式を用いて説明したが、数式には、その数式と同等のものが含まれる。同等のものとは、その数式そのものの他に、最終的な結果に影響を及ぼさない程度の数式の変形、または数式をアルゴリズミックな解法で解くこと等が含まれる。

なお、説明したプログラムについては、記録媒体に格納して提供してもよく、また、そのプログラムを通信手段によって提供してもよい。その場合、例えば、前記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明として捉えてもよい。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通などのために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク（ＤＶＤ）であって、ＤＶＤフォーラムで策定された規格である「ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ−ＲＡＭ等」、ＤＶＤ＋ＲＷで策定された規格である「ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等」、コンパクトディスク（ＣＤ）であって、読出し専用メモリ（ＣＤ−ＲＯＭ）、ＣＤレコーダブル（ＣＤ−Ｒ）、ＣＤリライタブル（ＣＤ−ＲＷ）等、ブルーレイ・ディスク（Ｂｌｕｅ−ｒａｙＤｉｓｋ）、光磁気ディスク（ＭＯ）、フレキシブルディスク（ＦＤ）、磁気テープ、ハードディスク、読出し専用メモリ（ＲＯＭ）、電気的消去及び書換可能な読出し専用メモリ（ＥＥＰＲＯＭ）、フラッシュ・メモリ、ランダム・アクセス・メモリ（ＲＡＭ）等が含まれる。
そして、前記のプログラム又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク（ＬＡＮ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、あるいは無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分であってもよく、あるいは別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して
記録されていてもよい。また、圧縮や暗号化など、復元可能であればどのような態様で記録されていてもよい。

本実施の形態の構成例についての概念的なモジュール構成図である。本実施の形態による処理例を示すフローチャートである。ＬＤＡモデルを示す説明図である。各トピックに属する病変画像例を示す説明図である。病変画像に対する局所領域分割を行った場合の特徴の頻度分布例を示す説明図である。病変画像に対するトピック変数の確率の期待値の分布例を示す説明図である。識別性能の実験結果例の比較を示す説明図である。本実施の形態を実現するコンピュータのハードウェア構成例を示すブロック図である。

符号の説明

１１０…領域分割モジュール
１２０…局所特徴抽出モジュール
１３０…特徴量子化モジュール
１４０…コードブック保存モジュール
１５０…トピック確率推定モジュール群
１５１…トピック確率推定モジュール
１５２…トピック確率推定モジュール
１５Ｎ…トピック確率推定モジュール
１６０…局所特徴−トピック相関保存モジュール
１７０…病変分類モジュール
１８０…識別器パラメータ保存モジュール
１９０…識別結果提示モジュール

Claims

画像を領域に分割する領域分割手段と、
前記領域分割手段によって分割された領域のうち、正常な領域以外の領域を抽出する画像領域抽出手段と、
前記画像領域抽出手段によって抽出された領域を対象として、局所領域に分割する対象画像分割手段と、
前記対象画像分割手段によって分割された局所領域の画像特徴を抽出する画像特徴抽出手段と、
前記画像特徴抽出手段によって抽出された画像特徴を量子化する量子化手段と、
量子化された画像特徴と類似する画像を示すトピック変数との間の相関を用いて、前記量子化手段によって量子化された画像特徴から該トピック変数が生起した確率の期待値を生成する確率期待値生成手段と、
前記確率期待値生成手段によって生成されたトピック変数が生起した確率の期待値を用いて、領域に分割された前記画像のうちの欠陥部位の領域を出力する画像出力手段
を具備し、
前記確率期待値生成手段は、前記領域内の画像特徴の特徴量の組を与えて学習することによって、前記トピック変数が局所特徴を生成する確率を決定する
ことを特徴とする画像処理装置。
対象とする画像を領域に分割する対象画像分割手段と、
前記対象画像分割手段によって分割された領域の画像特徴を抽出する画像特徴抽出手段と、
前記画像特徴の集合に対するクラスタリングに関する情報を保存するクラスタリング情報保存手段と、
前記クラスタリング情報保存手段に保存されたクラスタリングに関する情報を用いて量子化する量子化手段と、
量子化された画像特徴と類似する画像を示すトピック変数との間の相関を用いて、前記量子化手段によって量子化された画像特徴から該トピック変数が生起した確率の期待値を生成する確率期待値生成手段と、
前記確率期待値生成手段によって生成されたトピック変数が生起した確率の期待値を用いて、領域に分割された前記画像のうちの欠陥部位の領域を出力する画像出力手段
を具備し、
前記確率期待値生成手段は、前記領域内の画像特徴の特徴量の組を与えて学習することによって、前記トピック変数が局所特徴を生成する確率を決定する
ことを特徴とする画像処理装置。
欠陥の種類毎に画像特徴とトピック変数との間の相関を保存する画像特徴トピック相関保存手段
をさらに具備し、
前記確率期待値生成手段は、前記画像特徴トピック相関保存手段に保存されている画像特徴とトピック変数との間の相関を用いて、トピック変数が生起した確率の期待値を生成する
ことを特徴とする請求項１又は２に記載の画像処理装置。
コンピュータを、
画像を領域に分割する領域分割手段と、
前記領域分割手段によって分割された領域のうち、正常な領域以外の領域を抽出する画像領域抽出手段と、
前記画像領域抽出手段によって抽出された領域を対象として、局所領域に分割する対象画像分割手段と、
前記対象画像分割手段によって分割された局所領域の画像特徴を抽出する画像特徴抽出手段と、
前記画像特徴抽出手段によって抽出された画像特徴を量子化する量子化手段と、
量子化された画像特徴と類似する画像を示すトピック変数との間の相関を用いて、前記量子化手段によって量子化された画像特徴から該トピック変数が生起した確率の期待値を生成する確率期待値生成手段と、
前記確率期待値生成手段によって生成されたトピック変数が生起した確率の期待値を用いて、領域に分割された前記画像のうちの欠陥部位の領域を出力する画像出力手段
として機能させ、
前記確率期待値生成手段は、前記領域内の画像特徴の特徴量の組を与えて学習することによって、前記トピック変数が局所特徴を生成する確率を決定する
ことを特徴とする画像処理プログラム。
コンピュータを、
対象とする画像を領域に分割する対象画像分割手段と、
前記対象画像分割手段によって分割された領域の画像特徴を抽出する画像特徴抽出手段と、
前記画像特徴の集合に対するクラスタリングに関する情報を保存するクラスタリング情報保存手段と、
前記クラスタリング情報保存手段に保存されたクラスタリングに関する情報を用いて量子化する量子化手段と、
量子化された画像特徴と類似する画像を示すトピック変数との間の相関を用いて、前記量子化手段によって量子化された画像特徴から該トピック変数が生起した確率の期待値を生成する確率期待値生成手段と、
前記確率期待値生成手段によって生成されたトピック変数が生起した確率の期待値を用いて、領域に分割された前記画像のうちの欠陥部位の領域を出力する画像出力手段
として機能させ、
前記確率期待値生成手段は、前記領域内の画像特徴の特徴量の組を与えて学習することによって、前記トピック変数が局所特徴を生成する確率を決定する
ことを特徴とする画像処理プログラム。