JP5385486B2 - 画像処理装置及び画像処理装置の作動方法 - Google Patents

Description

本発明は、画像処理装置及び画像処理装置の作動方法に関し、特に、生体組織の診断等に用いられる画像処理装置及び画像処理装置の作動方法に関するものである。

被検者の体腔内に内視鏡を挿入することにより撮像された管腔内画像等の医用画像に含まれる、粘膜下の血管のパターン、及び（または）、粘膜表面の微細構造のパターンを利用した診断方法が近年提案されている。

また、前述の診断方法をコンピュータ等により支援可能とするための技術として、例えば、医用画像に含まれる生体粘膜下の血管形状のパターン、及び（または）、生体粘膜表面の微細構造のパターン等を抽出して定量化するような画像処理が近年提案されている。

例えば、日本国特開２００５−１５７９０２号公報には、操作装置の操作により指定された原画像の画像データを取得し、当該取得した原画像の画像データに対する処理を行うことにより、２値化画像と、ラベリング画像と、細線化画像と、血管形状特徴量と、血管特徴量と、解析処理画像とを生成する画像解析方法が開示されている。

しかし、日本国特開２００５−１５７９０２号公報に開示された技術によれば、例えば、原画像に含まれる血管形状が複雑なパターンを具備しているような場合において、当該パターンを定量化することが困難である、という課題が生じている。

本発明は、前述した事情に鑑みてなされたものであり、生体組織に関する構造物の形状が複雑なパターンを具備するような場合であっても、当該パターンを容易に定量化することが可能な画像処理装置及び画像処理装置の作動方法を提供することを目的としている。

本発明の一態様の画像処理装置は、生体粘膜表面を撮像して得られる１つ以上の画素からなる画像において所定の構造物を構造領域として抽出し、前記構造領域を分割する１つ以上の画素からなる領域ごとに第１の基本形状を示す第１の領域または前記第１の基本形状とは異なる第２の基本形状を示す第２の領域に適用付ける基本形状適用部と、前記基本形状適用部において適用付けられた領域の中から注目領域を順次設定し、前記順次設定された注目領域に隣接する前記第１の領域と前記第２の領域の数を算出する特徴量算出部と、前記特徴量算出部における算出結果に基づき前記構造領域を分類する分類部と、を有する。

本発明の一態様の画像処理装置の作動方法は、基本形状適用部が、生体粘膜表面を撮像して得られる１つ以上の画素からなる画像において所定の構造物を示す構造領域を抽出し、前記構造領域を分割する１つ以上の画素からなる領域ごとに第１の基本形状を示す第１の領域または前記第１の基本形状とは異なる第２の基本形状を示す第２の領域に適用付ける基本形状適用ステップと、特徴量算出部が、前記基本形状適用ステップにおいて適用付けられた領域の中から注目領域を設定し、前記設定された注目領域に隣接する前記第１の領域と前記第２の領域の数を算出する特徴量算出ステップと、分類部が、前記特徴量算出ステップにおける算出結果に基づき前記構造領域を分類する分類ステップと、を有する。

本発明の実施例に係る画像処理装置を具備する医用システムの要部の構成を示す図。 本実施例の演算処理部が具備する主要な処理機能を示す図。 本実施例の画像処理装置が行う処理等の一例を示すフローチャート。 基本形状の対応付けに係る処理等の一例を示すフローチャート。 処理対象となる画像データに含まれる画像領域の一例を示す図。 図５の画像領域における形状特徴量の算出結果の一例を示す図。 図５の画像領域に含まれる各構造物が各基本形状毎に領域分割された場合の一例を示す図。 注目画素に対応付けられた基本形状に対して、隣接画素に対応付けられた基本形状の画素数がいくつあるかを表すマトリクスの一例を示す図。 注目領域に対応付けられた基本形状に対して、隣接領域に対応付けられた基本形状の領域数がいくつあるかを表すマトリクスの一例を示す図。 図７の領域ＡＲ１に含まれる基本形状をツリー構造で表した場合の一例を示す図。

以下、本発明の実施の形態について、図面を参照しつつ説明を行う。

図１から図１０は、本発明の実施例に係るものである。

図１は、本発明の実施例に係る画像処理装置を具備する医用システムの要部の構成を示す図である。

医用システム１は、図１に示すように、体腔内の生体粘膜表面等の被写体を撮像して映像信号を出力する医用観察装置２と、パーソナルコンピュータ等により構成され、医用観察装置２から出力される映像信号に対して画像処理を行うとともに、該画像処理を行った後の映像信号を画像信号として出力する画像処理装置３と、画像処理装置３から出力される画像信号に基づく画像を表示するモニタ４と、を有して構成されている。

また、医用観察装置２は、体腔内に挿入されるとともに、該体腔内の被写体を撮像して撮像信号として出力する内視鏡６と、内視鏡６により撮像される被写体を照明するための照明光（例えばＲＧＢ光）を供給する光源装置７と、内視鏡６に対する各種制御を行うとともに、内視鏡６から出力される撮像信号に対して信号処理を施すことにより映像信号を生成して出力するカメラコントロールユニット（以降、ＣＣＵと略記する）８と、ＣＣＵ８から出力される映像信号に基づき、内視鏡６により撮像された被写体の像を画像表示するモニタ９と、を有して構成されている。

医用撮像装置としての内視鏡６は、体腔内に挿入される挿入部１１と、挿入部１１の基端側に設けられた操作部１２と、を有して構成されている。また、挿入部１１の基端側から先端側の先端部１４にかけての内部には、光源装置７から供給される照明光を伝送するためのライトガイド１３が挿通されている。

ライトガイド１３は、先端側が内視鏡６の先端部１４に配置されるとともに、後端側が光源装置７に接続可能に構成されている。そして、このような構成によれば、光源装置７から供給される照明光は、ライトガイド１３により伝送された後、挿入部１１の先端部１４の先端面に設けられた照明窓（図示せず）から出射される。そして、前述の照明窓から出射される照明光により、被写体としての生体組織等が照明される。

内視鏡６の先端部１４には、前述の照明窓に隣接する位置に配置された観察窓（図示せず）に取り付けられた対物光学系１５と、対物光学系１５の結像位置に配置されたＣＣＤ等からなる撮像素子１６と、を有する撮像部１７が設けられている。

撮像素子１６は、信号線を介してＣＣＵ８に接続されている。そして、撮像素子１６は、ＣＣＵ８から出力される駆動信号に基づいて駆動するとともに、対物光学系１５により結像された被写体を撮像して得た撮像信号をＣＣＵ８へ出力する。

ＣＣＵ８に入力された撮像信号は、ＣＣＵ８の内部に設けられた信号処理回路（図示せず）において信号処理されることにより、映像信号に変換されて出力される。そして、ＣＣＵ８から出力された映像信号は、モニタ９及び画像処理装置３に入力される。これにより、モニタ９には、ＣＣＵ８から出力される映像信号に基づく被写体の画像が表示される。

画像処理装置３は、医用観察装置２から出力される映像信号にＡ／Ｄ変換等の処理を施して画像データを生成する画像入力部２１と、ＣＰＵ等を具備して構成され、画像入力部２１から出力される画像データ等に対して種々の処理を行う演算処理部２２と、演算処理部２２において実施される処理に関するプログラム（及びソフトウェア）等が格納されているプログラム記憶部２３と、画像入力部２１から出力される画像データ等を記憶可能な画像記憶部２４と、演算処理部２２の処理結果を格納可能な情報記憶部２５と、を有している。

また、画像処理装置３は、後述のデータバス３０に接続されている記憶装置Ｉ／Ｆ（インターフェース）２６と、記憶装置インターフェース２６を介して出力される演算処理部２２の処理結果を保存可能なハードディスク２７と、演算処理部２２の処理結果等をモニタ４に画像表示するための画像信号を生成して出力する表示処理部２８と、キーボード等の入力装置を具備して構成され、演算処理部２２の処理におけるパラメータ及び画像処理装置３に対する操作指示等を入力可能な入力操作部２９と、を有している。

なお、画像処理装置３の画像入力部２１、演算処理部２２、プログラム記憶部２３、画像記憶部２４、情報記憶部２５、記憶装置インターフェース２６、表示処理部２８、及び、入力操作部２９は、データバス３０を介して相互に接続されている。

図２は、本実施例の演算処理部が具備する主要な処理機能を示す図である。

演算処理部２２は、図２に示すように、基本形状適用部３１の処理機能と、構造物領域分割部３２の処理機能と、ラベリング処理部３３の処理機能と、特徴量算出部３４の処理機能と、構造物分類部３５の処理機能と、を備えている。

基本形状適用部３１は、画像入力部２１から出力される画像データの各画素または各領域における所定の特徴量を算出し、当該画像データに含まれる任意の構造物を構造領域として抽出し、さらに、当該所定の特徴量の算出結果に基づいて当該抽出された構造領域内の各画素又は各領域に対して所定の複数種類の基本形状への対応付けを適用する処理を行う。なお、このような基本形状適用部３１の処理の詳細については、後程説明する。

構造物領域分割部３２は、基本形状適用部３１の処理結果に基づき、基本形状適用部３１の処理により所定の複数種類の基本形状への対応付けがなされた構造領域（としての構造物）を、所定の複数種類の基本形状毎に領域分割する処理を行う。

ラベリング処理部３３は、構造物領域分割部３２の処理結果に基づき、構造物領域分割部３２により領域分割された各構造物毎にラベルを付す処理を行う。

特徴量算出部３４は、ラベリング処理部３３の処理結果に基づき、ラベリング処理部３３によりラベルが付された各構造物の特徴を表す値としての特徴量を算出する。なお、このような特徴量算出部３４の処理の詳細については、後程説明する。

構造物分類部３５は、ラベリング処理部３３及び特徴量算出部３４の処理結果に基づき、ラベリング処理部３３によりラベルが付された各構造物を、例えば、血管及び粘膜微細構造のような、生体組織に関する具体的な構造物毎に分類する処理を行う。なお、このような構造物分類部３５の処理の詳細については、後程説明する。

次に、本実施例の医用システム１の画像処理装置３において行われる処理等について、図３のフローチャートを主に参照しながら説明する。図３は、本実施例の画像処理装置が行う処理等の一例を示すフローチャートである。

まず、ユーザは、医用システム１の各部の電源を投入した後、例えば、被検体の体腔内における所望の観察部位に先端部１４が達するまで挿入部１１を挿入する。これに応じ、先端部１４から出射される照明光（ＲＧＢ光）により生体粘膜表面を含む被写体が照明され、当該被写体が撮像部１７により撮像され、当該撮像された被写体に応じた撮像信号がＣＣＵ８へ出力される。

ＣＣＵ８は、信号処理回路（図示せず）において撮像部１７の撮像素子１６から出力される撮像信号に対して信号処理を施すことにより、該撮像信号を映像信号に変換して医用画像処理装置３及びモニタ９へ出力する。そして、モニタ９は、ＣＣＵ８から出力される映像信号に基づき、撮像部１７により撮像された被写体を画像表示する。

画像入力部２１は、医用観察装置２から入力された映像信号に対してＡ／Ｄ変換等の処理を施すことにより画像データを生成し（図３のステップＳ１）、さらに、当該生成した画像データを演算処理部２２（及び画像記憶部２４）へ出力する。

その後、演算処理部２２の基本形状適用部３１は、画像入力部２１から出力される画像データの各画素または各領域における所定の特徴量を算出し、当該画像データに含まれる任意の構造物を構造領域として抽出し、さらに、当該所定の特徴量の算出結果に基づいて当該抽出された構造領域内の各画素または各領域に対して所定の複数種類の基本形状への対応付けを適用する処理を行う（図３のステップＳ２）。

ここで、図３のステップＳ２において行われる処理等の詳細について、図４のフローチャートを主に参照しながら説明する。なお、以降においては、簡単のため、画像入力部２１が画像処理装置３に入力される映像信号に基づいて生成した画像データの少なくとも一部に、図５に例示するような画像領域が含まれているものとして説明を行う。図４は、基本形状の対応付けに係る処理等の一例を示すフローチャートである。図５は、処理対象となる画像データに含まれる画像領域の一例を示す図である。

演算処理部２２の基本形状適用部３１は、画像入力部２１により生成された画像データの局所的な特徴量を算出する（図４のステップＳ１１）。

具体的には、基本形状適用部３１は、例えば、画像入力部２１により生成された画像データを構成する全画素における左上の画素から右下の画素にかけて、注目画素を１画素ずつ順次設定しながら、当該設定した注目画素の特徴量を順次算出する。

なお、基本形状適用部３１は、図４のステップＳ１１において、１画素からなる注目画素を順次設定し、当該設定した各注目画素毎に特徴量を算出するものに限らず、例えば、複数の画素からなる注目領域を順次設定し、当該設定した各注目領域毎に特徴量を算出するものであってもよい。

また、基本形状適用部３１は、前述の局所的な特徴量として、例えば、注目画素（の輝度値または画素値）の局所的な変化の方向に関する特徴量ＡＣ１と、局所的な変化の大きさに関する特徴量ＡＣ２と、変化の方向及び変化の大きさに基づいた形状特徴量ＡＣ３と、を算出する。

具体的には、基本形状適用部３１は、各画素の輝度値に対して水平方向と垂直方向の位置による２階の偏微分に相当する２行２列のヘッセ行列を計算し、その固有値λ１及びλ２（λ１≦λ２）と、固有値λ１及びλ２に対応する固有ベクトルｅ１及びｅ２と、を求める。なお、固有ベクトルｅ１及びｅ２が前述の特徴量ＡＣ１に対応し、固有値λ１及びλ２が前述の特徴量ＡＣ２に対応する。

さらに、基本形状適用部３１は、前述の演算により得られた特徴量ＡＣ２を用いて演算を行うことにより、前述の形状特徴量ＡＣ３として、注目画素が線形状の特徴を有している程度を表す線状度合いＬＤの値、及び、注目画素が円形状の特徴を有している程度を表す円状度合いＣＤの値をそれぞれ算出する。
具体的には、基本形状適用部３１は、（λ２−λ１）／λ２の演算を行うことにより、前述の線状度合いＬＤの値を得る。また、基本形状適用部３１は、λ１／λ２の演算を行うことにより、前述の円状度合いＣＤの値を得る。

そして、基本形状適用部３１は、線状度合いＬＤ及び円状度合いＣＤとして得られた各値に基づき、例えば、図５に示した画像領域において、図６に示すような形状特徴量ＡＣ３の算出結果を得る。図６は、図５の画像領域における形状特徴量の算出結果の一例を示す図である。

図６に示した形状特徴量ＡＣ３の算出結果によれば、図５に示した画像領域の中から、線状度合いＬＤの値の大きい部分（図６において線と表記）と、円状度合いＣＤの値の大きい部分（図６において円と表記）と、をそれぞれ抽出することができるようになっている。

なお、基本形状適用部３１は、前述の特徴量ＡＣ１として、注目画素の勾配方向を算出するものであってもよい。また、基本形状適用部３１は、前述の特徴量ＡＣ２として、注目画素の勾配強度を算出するものであってもよい。さらに、基本形状適用部３１は、前述の特徴量ＡＣ３として、注目画素のＳｈａｐｅ Ｉｎｄｅｘの値を算出するものであってもよい。

一方、基本形状適用部３１は、図４のステップＳ１１の処理結果に基づき、画像入力部２１から出力される画像データに含まれる任意の構造物を構造領域として抽出する（図４のステップＳ１２）。

具体的には、基本形状適用部３１は、例えば、特徴量ＡＣ２がある閾値Ｔ１ｈｉｇｈ以下、特徴量ＡＣ２がある閾値Ｔ１ｌｏｗ以上（但し、Ｔ１ｈｉｇｈ＞Ｔ１ｌｏｗ）、特徴量ＡＣ３がある閾値Ｔ２ｈｉｇｈ以下、または、特徴量ＡＣ３がある閾値Ｔ２ｌｏｗ以上（但し、Ｔ２ｈｉｇｈ＞Ｔ２ｌｏｗ）、のうちのいずれかの条件を満たす画素を、（抽出対象の）構造物である構造領域を形成する画素として抽出する。

なお、前述の閾値Ｔ１ｈｉｇｈ、Ｔ１ｌｏｗ、Ｔ２ｈｉｇｈ、及び、Ｔ２ｌｏｗの各情報は、例えば、情報記憶部２５に予め記憶（格納）されているものとする。そして、基本形状適用部３１は、図４のステップＳ１２において、情報記憶部２５に予め格納されている閾値Ｔ１ｈｉｇｈ、Ｔ１ｌｏｗ、Ｔ２ｈｉｇｈ、及び、Ｔ２ｌｏｗの各情報を用いて処理を行う。

基本形状適用部３１は、図４のステップＳ１２による各特徴量の算出結果に基づき、図４のステップＳ１２により抽出された構造領域内の各画素または各領域に対して所定の複数種類の基本形状への対応付けを適用する処理を行った（図４のステップＳ１３）後、図３のステップＳ３の処理を続けて行う。

なお、本実施例においては、前述の所定の複数種類の基本形状として、例えば、生体の粘膜表面の構造物を構成する微小な単位の部分的な形状となる円、直線、曲線、及び、分岐の４種類の基本形状が予め設定されているものとする。そして、基本形状適用部３１は、前述の４種類の基本形状が予め設定されている場合において、図４のステップＳ１２による各特徴量の算出結果に基づいて以下のような判定処理を行うことにより、図４のステップＳ１２により抽出された構造領域内の各画素または各領域に対し、各基本形状のうちのいずれか１つへの対応付けを適用する処理を行う。

具体的には、基本形状適用部３１は、線状度合いＬＤの値が円状度合いＣＤの値に比べて大きく、かつ、方向がある１方向に集中しているとの判定結果が得られた各画素または各領域を直線として対応付ける。

また、基本形状適用部３１は、線状度合いＬＤの値が円状度合いＣＤの値に比べて大きく、かつ、方向が異なる２方向に集中しているとの判定結果が得られた各画素または各領域を曲線として対応付ける。

また、基本形状適用部３１は、円状度合いＣＤの値が線状度合いＬＤの値に比べて大きく、かつ、方向がばらついているとの判定結果が得られた各画素または各領域を曲線として対応付ける。

また、基本形状適用部３１は、線状度合いＬＤの値と円状度合いＣＤの値とが略同じであり、かつ、線状度合いＬＤを持つ画素からの方向が数方向にばらついているとの判定結果が得られた各画素または各領域を分岐として対応付ける。

なお、本実施例における図４のステップＳ１３の処理によれば、例えば、前述の４種類の基本形状を太さ、大きさ、及び、色等の特徴に応じて更に細分化したものを用いて処理が行われるものであってもよい。

一方、構造物領域分割部３２は、基本形状適用部３１による図３のステップＳ２の処理結果（図４のステップＳ１３の処理結果）に基づき、所定の複数種類の基本形状への対応付けがなされた構造領域（としての構造物）を、所定の複数種類の基本形状毎に領域分割する処理を行う（図３のステップＳ３）。

具体的には、例えば、円、直線、曲線、及び、分岐の４種類の基本形状が予め設定された状態において、図３のステップＳ３の領域分割処理が図５（及び図６）に示した画像データに対して施された場合には、図７のような処理結果を得ることができる。図７は、図５の画像領域に含まれる各構造物が各基本形状毎に領域分割された場合の一例を示す図である。

ラベリング処理部３３は、図３のステップＳ３の処理結果に基づき、構造物領域分割部３２により領域分割された各構造物毎にラベルを付す処理を行う。

その後、特徴量算出部３４は、ラベリング処理部３３の処理結果に基づき、ラベリング処理部３３によりラベルが付された各構造物の特徴量を算出する（図３のステップＳ４）。

ここで、図３のステップＳ４の処理により算出可能な様々な特徴量の算出方法等について説明を行う。なお、以降においては、簡単のため、円、直線、曲線、及び、分岐の４種類の基本形状が予め設定されている場合を例に挙げて説明を行うものとする。

まず、図３のステップＳ３の領域分割結果における各基本形状毎の出現頻度に応じた特徴量ＦＶ１の具体的な算出方法について述べる。なお、本実施例の特徴量算出部３４は、以下に述べる特徴量ＦＶ１の算出方法を単独で用いてもよく、または、複数組み合わせて用いてもよい。

特徴量算出部３４は、１つの構造物に含まれる全画素を１００％とした場合における、前述の４種類の基本形状にそれぞれ対応付けられた画素が出現する出現頻度を、前述の特徴量ＦＶ１として算出する。

具体的には、例えば、図７の構造物Ｋ１においては、円の基本形状＝１００％、及び、直線の基本形状＝０％、曲線の基本形状＝０％、及び、分岐の基本形状＝０％、という特徴量ＦＶ１の算出結果を得ることができる。なお、本実施例の特徴量算出部３４は、前述のような、各基本形状に対応付けられた画素が出現する出現頻度に対し、構造物の幅、長さ、または、面積の値のいずれかを乗算することにより特徴量ＦＶ１を算出してもよい。

特徴量算出部３４は、１つの構造物における前述の４種類の基本形状に相当する画素の画素数を、前述の特徴量ＦＶ１として算出する。

特徴量算出部３４は、１つの構造物が前述の４種類の基本形状毎に分割された後の領域数を、前述の特徴量ＦＶ１として算出する。

具体的には、例えば、図７の構造物Ｋ２においては、円の領域数＝０、及び、直線の領域数＝１、曲線の領域数＝２、及び、分岐の領域数＝０、という特徴量ＦＶ１の算出結果を得ることができる。

なお、以上に述べた特徴量ＦＶ１の算出方法は、１つの画像データ内の一部または全部の画像領域を対象とした場合であっても、略同様に適用できる。

一方、本実施例の特徴量算出部３４は、各基本形状の出現頻度に基づいて算出した平均値及び（または）分散等の統計量を特徴量ＦＶ１としてもよい。

また、本実施例の特徴量算出部３４は、各基本形状の中から選択した特定の種類の基本形状についてのみ特徴量ＦＶ１を算出してもよい。

また、本実施例の特徴量算出部３４は、例えば、各基本形状の出現頻度毎に重み係数を乗算して得られた各値をそれぞれ加算するような積和演算の演算結果を特徴量ＦＶ１としてもよい。

次に、図３のステップＳ３の領域分割結果における１種類以上の基本形状同士の位置関係に応じた特徴量ＦＶ２の具体的な算出方法について述べる。なお、本実施例の特徴量算出部３４は、以下に述べる特徴量ＦＶ２の算出方法を単独で用いてもよく、または、複数組み合わせて用いてもよい。

特徴量算出部３４は、Ｐ種類の基本形状が予め設定されている場合において、１つの構造物に含まれる領域分割後の各領域を走査し、当該走査した結果に基づいて得られる各基本形状の領域間の隣接関係（接続関係）をＰ進数で符号化することにより特徴量ＦＶ２を算出する。

具体的には、例えば、前述の４種類の基本形状が予め設定されている場合には、ラベリング処理部３３によりラベルが付された各構造物が、円＝０、直線＝１、分岐＝２、及び、曲線＝３からなる４進数で符号化される。そして、特徴量算出部３４は、例えば、図７の構造物Ｋ２を画像データの左側から右側にかけて走査し、当該走査した結果を前述の４進数で符号化することにより、「３１３」という特徴量ＦＶ２の算出結果を得る。

特徴量算出部３４は、１つの構造物に含まれる領域分割後の各画素を解析し、当該解析した結果に基づいて得られる各基本形状の画素間の隣接関係（接続関係）をマトリクス化することにより特徴量ＦＶ２を算出する。

図８は、注目画素に対応付けられた基本形状に対して、隣接画素に対応付けられた基本形状の画素数がいくつあるかを表すマトリクスの一例を示す図である。

具体的には、特徴量算出部３４は、１つの構造物に含まれる領域分割後の各画素の中から注目画素を１画素ずつ順次設定し、さらに、当該設定した注目画素の（４近傍または８近傍に位置する）各隣接画素がそれぞれどの基本形状に対応付けられているかを各基本形状毎にカウントすることにより、例えば図８に示すような、注目画素に対応付けられた基本形状に対して、隣接画素に対応付けられた基本形状の画素数がいくつあるかを表すマトリクスを特徴量ＦＶ２として得る。（すなわち、図８のマトリクスとして示される構造物によれば、直線の基本形状に対応付けられた注目画素からみた場合に、直線の基本形状に対応付けられた隣接画素が１２４個存在する。）
特徴量算出部３４は、１つの構造物に含まれる領域分割後の各領域を解析し、当該解析した結果としての各基本形状の領域間の隣接関係（接続関係）をマトリクス化することにより特徴量ＦＶ２を算出する。

図９は、注目領域に対応付けられた基本形状に対して、隣接領域に対応付けられた基本形状の領域数がいくつあるかを表すマトリクスの一例を示す図である。

具体的には、特徴量算出部３４は、１つの構造物に含まれる領域分割後の各領域の中から注目領域を１つずつ順次設定し、さらに、当該設定した注目領域に隣接する各領域がそれぞれどの基本形状に対応付けられているかを各基本形状毎にカウントすることにより、例えば図９に示すような、注目領域に対応付けられた基本形状に対して、隣接領域に対応付けられた基本形状の領域数がいくつあるかを表すマトリクスを特徴量ＦＶ２として得る。（すなわち、図９のマトリクスとして示される構造物によれば、分岐の基本形状に対応付けられた注目領域からみた場合に、直線の基本形状に対応付けられた隣接領域が３個存在する。）
特徴量算出部３４は、１つまたは複数の構造物に含まれる領域分割後の各領域を解析し、当該解析した結果に基づいて得られる１種類以上の基本形状同士の分布間隔を特徴量ＦＶ２として算出する。

具体的には、特徴量算出部３４は、例えば、前述の４種類の基本形状のうち、分岐の基本形状が対応付けられた領域間の距離を特徴量ＦＶ２として算出する。そして、このように算出した特徴量ＦＶ２によれば、例えば、悪性度の高い病変の存在の有無を、特徴量ＦＶ２の値の大小に応じて定量的に判別することができる。

また、特徴量算出部３４は、例えば、前述の４種類の基本形状のうち、円の基本形状が対応付けられた領域間の距離を特徴量ＦＶ２として算出する。そして、このように算出した特徴量ＦＶ２によれば、例えば、悪性度の高い病変の存在の有無を、特徴量ＦＶ２の値のばらつきに応じて定量的に判別することができる。

なお、以上に述べた特徴量ＦＶ２の算出方法は、１つの画像データ内の一部または全部の画像領域を対象とした場合であっても、略同様に適用できる。

なお、本実施例の特徴量算出部３４は、例えば、前述したうちのいずれかの算出方法を用いて特徴量ＦＶ１またはＦＶ２を算出する前に、図４のステップＳ１２により抽出された各構造物の幅、長さ、及び、面積のうちの少なくとも１つの計測量に基づく閾値処理を行うことにより、当該計測量が所定の条件を満たす構造物についてのみ特徴量ＦＶ１またはＦＶ２を算出するものであってもよい。

具体的には、本実施例の特徴量算出部３４は、例えば、円の基本形状が対応付けられた画素群からなる領域を含む各構造物のうち、当該領域の面積が閾値ＴＨ１以下となる構造物についてのみ、特徴量ＦＶ１（ＦＶ２）を算出する処理を行うものであってもよい。

また、本実施例の特徴量算出部３４は、例えば、直線の基本形状が対応付けられた画素群からなる領域を含む各構造物のうち、当該領域の幅が閾値ＴＨ２以上かつ閾値ＴＨ３未満である構造物についてのみ、特徴量ＦＶ１（ＦＶ２）を算出する処理を行うものであってもよい。

そして、特徴量ＦＶ１（ＦＶ２）の算出に係る処理の前に、以上に述べたような閾値処理が行われることにより、例えば、ラベリング処理部３３によりラベルが付された各構造物の中から、特徴量ＦＶ１（ＦＶ２）の算出に適さない構造物を除外することができ、その結果、特徴量ＦＶ１（ＦＶ２）の算出結果の精度を向上させることができる。

なお、本実施例の特徴量算出部３４は、図３のステップＳ４の処理において、特徴量ＦＶ１またはＦＶ２のいずれか一方の算出結果を得るものに限らず、特徴量ＦＶ１及びＦＶ２の両方の算出結果を得てもよい。

一方、構造物分類部３５は、図３のステップＳ４の処理結果として得られた特徴量に基づき、ラベリング処理部３３によりラベルが付された各構造物の分類を行う（図３のステップＳ５）。

具体的には、構造物分類部３５は、例えば、前述の４種類の基本形状にそれぞれ対応付けられた画素が出現する出現頻度（特徴量ＦＶ１に相当）を各構造物毎に算出した場合において、直線の基本形状に対応付けられた画素の出現頻度が最も高くなる構造物を直線形状の血管に分類する。また、構造物分類部３５は、例えば、前述の４種類の基本形状にそれぞれ対応付けられた画素が出現する出現頻度（特徴量ＦＶ１に相当）を各構造物毎に算出した場合において、分岐の基本形状に対応付けられた画素の出現頻度が最も高くなる構造物を非直線形状の血管に分類する。

なお、本実施例の構造物分類部３５は、図３のステップＳ５の処理において、例えば、図３のステップＳ４により得られた特徴量が予め設定された複数のタイプ（分類パターン）のうちのどれに最も近いかを判別した結果に基づき、各構造物の分類を行うものであってもよい。

また、本実施例の構造物分類部３５は、図３のステップＳ５の処理において、例えば、図３のステップＳ４により得られた特徴量の算出結果を用いてクラスタリングを実施した結果に基づき、各構造物の分類を行うものであってもよい。

また、構造物分類部３５は、図３のステップＳ５の処理において、図３のステップＳ４により得られた特徴量とは異なる他の情報を用いて各構造物の分類を行うものであってもよい。具体的には、構造物分類部３５は、図３のステップＳ５の処理において、例えば、領域分割後の各領域を走査し、当該走査した結果に基づいて得られる各基本形状の領域間の隣接関係（接続関係）を各構造物毎にツリー構造で表した情報を取得し、当該取得したツリー構造と所定のテンプレートに記述されたツリー構造とを比較し、当該比較した結果に基づいて各構造物の分類を行うものであってもよい。

図１０は、図７の領域ＡＲ１に含まれる基本形状をツリー構造で表した場合の一例を示す図である。

ここで、本実施例の構造物分類部３５は、例えば、図７の領域ＡＲ１を画像データの左側から右側にかけて走査し、当該走査した結果をツリー構造で表した場合には、図１０に示すツリー構造ＴＡＲ１を含む情報を得ることができる。

一方、本実施例の特徴量算出部３４は、図３のステップＳ５の処理により得られた各構造物毎の分類結果に基づき、複数の構造物の関係性に応じた特徴量ＦＡを算出するものであってもよい。

具体的には、本実施例の特徴量算出部３４は、例えば、画像データ内の任意の画像領域に含まれる全構造物を１００％とした場合における、直線形状の血管に分類された構造物の出現頻度と、非直線形状の血管に分類された構造物の出現頻度と、を特徴量ＦＡとして算出するものであってもよい。

そして、前述の特徴量ＦＡを用いた処理がさらに行われることにより、前述の特徴量ＦＡの算出対象となった画像領域について、例えば、当該画像領域に含まれる生体粘膜の性状、及び（または）、当該画像領域に相当する体腔内の部位を特定することができる。

また、前述の特徴量ＦＡを用いた処理がさらに行われることにより、前述の特徴量ＦＡの算出対象となった画像領域について、例えば、当該画像領域内に含まれる複数の構造物が特異な配置状態を具備するものであるか否か、及び（または）、特定のタイプに分類された複数の構造物が密集して存在するか否かを判定することができる。

以上に述べた本実施例の処理によれば、処理対象の画像（画像データ）における任意の構造物を構成する画素または領域に対して基本形状の対応付けが行われ、さらに、当該対応付けの結果に基づいて特徴量が算出される。そのため、以上に述べた本実施例の処理によれば、処理対象の画像（画像データ）に含まれる生体組織に関する構造物の形状が複雑なパターンを具備するような場合であっても、当該パターンを容易に定量化することができる。

なお、本発明は、上述した各実施例に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更や応用が可能であることは勿論である。

本出願は、２０１１年９月８日に日本国に出願された特願２０１１−１９６２５６号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されたものとする。

Claims (12)

1. 生体粘膜表面を撮像して得られる１つ以上の画素からなる画像において所定の構造物を構造領域として抽出し、前記構造領域を分割する１つ以上の画素からなる領域ごとに第１の基本形状を示す第１の領域または前記第１の基本形状とは異なる第２の基本形状を示す第２の領域に適用付ける基本形状適用部と、
   前記基本形状適用部において適用付けられた領域の中から注目領域を順次設定し、前記順次設定された注目領域に隣接する前記第１の領域と前記第２の領域の数を算出する特徴量算出部と、
   前記特徴量算出部における算出結果に基づき前記構造領域を分類する分類部と、
   を有することを特徴とする画像処理装置。
2. 前記第１の基本形状は、円、直線、曲線及び分岐の４つの形状のうちのいずれか１つであり、前記第２の基本形状は、前記４つの形状のうちの前記第１の基本形状とは異なるいずれか１つであることを特徴とする請求項１に記載の画像処理装置。
3. 前記分類部は、前記特徴量算出部における算出結果に基づき、前記構造領域を直線形状の構造物または非直線形状の構造物のいずれかに分類することを特徴とする請求項１に記載の画像処理装置。
4. 前記分類部は、前記特徴量算出部における算出結果に基づき、予め設定された複数の分類パターンのうち前記構造領域に最も類似する分類パターンを判別し、当該判別した結果に基づいて前記構造領域を分類することを特徴とする請求項１に記載の画像処理装置。
5. 前記分類部は、前記特徴量算出部における算出結果を用いてクラスタリングを行い、前記クラスタリングの結果に基づいて前記構造領域を分類することを特徴とする請求項１に記載の画像処理装置。
6. 前記特徴量算出部は、前記基本形状適用部により抽出された各構造領域のうち、幅、長さ、及び、面積のうちの少なくとも１つの計測量が所定の条件を満たす構造領域についてのみ前記注目領域を順次設定することを特徴とする請求項１に記載の画像処理装置。
7. 画像処理装置の作動方法であって、
   基本形状適用部が、生体粘膜表面を撮像して得られる１つ以上の画素からなる画像において所定の構造物を示す構造領域を抽出し、前記構造領域を分割する１つ以上の画素からなる領域ごとに第１の基本形状を示す第１の領域または前記第１の基本形状とは異なる第２の基本形状を示す第２の領域に適用付ける基本形状適用ステップと、
   特徴量算出部が、前記基本形状適用ステップにおいて適用付けられた領域の中から注目領域を設定し、前記設定された注目領域に隣接する前記第１の領域と前記第２の領域の数を算出する特徴量算出ステップと
   分類部が、前記特徴量算出ステップにおける算出結果に基づき前記構造領域を分類する分類ステップと、
   を有することを特徴とする画像処理装置の作動方法。
8. 前記第１の基本形状は、円、直線、曲線及び分岐の４つの形状のうちのいずれか１つであり、前記第２の基本形状は、前記４つの形状のうちの前記第１の基本形状とは異なるいずれか１つであることを特徴とする請求項７に記載の画像処理装置の作動方法。
9. 前記分類ステップは、前記特徴量算出ステップにおける算出結果に基づき、前記構造領域を直線形状の構造物または非直線形状の構造物のいずれかに分類することを特徴とする請求項７に記載の画像処理装置の作動方法。
10. 前記分類ステップは、前記特徴量算出ステップにおける算出結果に基づき、予め設定された複数の分類パターンのうち前記構造領域に最も類似する分類パターンを判別し、当該判別した結果に基づいて前記構造領域の分類することを特徴とする請求項７に記載の画像処理装置の作動方法。
11. 前記分類ステップは、前記特徴量算出ステップにおける算出結果を用いてクラスタリングを行い、前記クラスタリングの結果に基づいて前記構造領域を分類することを特徴とする請求項７に記載の画像処理装置の作動方法。
12. 前記特徴量算出ステップは、前記基本形状適用部により抽出された各構造領域のうち、幅、長さ、及び、面積のうちの少なくとも１つの計測量が所定の条件を満たす構造領域についてのみ前記注目領域を順次設定することを特徴とする請求項７に記載の画像処理装置の作動方法。

Images