JP6551729B2 - 毛細血管の画像処理方法および画像処理プログラム、並びに毛細血管分析診断装置 - Google Patents

Description

本発明は、毛細血管を撮影・画像化する装置を用いて、毛細血管の状態を適切に把握認識するための画像処理方法よび画像処理プログラム並びに毛細血管分析診断装置に関する。

なお、本出願において、「毛細血管」という用語には皮下血管や粘膜下血管も含むものとする。

毛細血管は、直径が８〜２０μｍ程度の非常に細かく枝分れした閉鎖血管系における網目状の血管であって、血液中の栄養素や酸素を、毛細管壁を通じて組織内に送り込む一方、組織内から老廃物を受取るという循環器系の最も基本的な働きするものである。

そして、医療関係機関や大学等においては、前記毛細血管の状態と心疾患や糖尿病等の生活習慣病その他の疾病との関連性が指摘されている。

従来、指先の爪上皮の毛細血管部分を拡大したカラー動画像で血管及び血流を観測するシステムにおいて、得られた動画像での血管の密度、太さ、形状、及び、血流速度を数値化し、その数値と予めシステムに記憶された基準テーブルの数値データとを比較してクラス分けを行い、そのクラス分けされた全データを分析評価手段によって分析評価し、その結果を健康状態の総合評価として表示手段に出力する医療診断支援システムが知られている。

また、画像を構成する各画素に対して単安定系及び双安定系になるように設定し得る活性因子濃度及び抑制因子濃度の時間発展を示す反応拡散モデルを用いて、前記単安定系及び双安定系のいずれかになるように設定し、画像を構成する各画素の輝度値を前記反応拡散モデルに入力して非線形反応を行わせ、最終的にエッジ検出および領域分割の適正化を図った画像処理方法および画像処理装置も知られている。

またこの他、毛細血管中を流れる血液の診断情報を取得する診断情報取得システムであって、 毛細血管が分布する分布部位を撮像する撮像装置と、撮像装置により撮像された毛細血管の撮像画像を解析する解析装置とを備え、 前記解析装置に、前記撮像画像における１つの毛細血管上の測定部位を少なくとも１つ設定する測定部位設定部と選択された前記測定部位における色調を取得する色調取得部と取得された前記色調の経時変化に基づいて、前記診断情報を取得する診断情報取得部を設けたものも知られている。

特開２００６−３２５７１４号公報 特開２００８−９５４９号公報 特開２００８−３０２１３６号公報

前述した従来例のうち、血流速度の数値と予めシステムに記憶された基準テーブルの数値データとによってクラス分けされた全データを分析評価する第一の従来例の場合、数値化は観察者自らが血流の動画像にマーキングしたり、動画像から血管の本数を数えてシステムに入力するという所謂、手動計測であるため、高い精度が期待できない上、最終的な診断結果を得るのにかなりの手間と時間を要するという問題があった。

反応拡散モデルによる非線形反応を利用して画像のエッジ検出および領域分割を行う第二の従来例の場合、時間的に変動する周期信号およびホワイトノイズ信号が反応拡散方程式に付加され、３変数のＦＨＮモデル（Fitzhugh-Nagumo Model）を用いて閾値を同時計算するものであって、毛細血管のような種々の方向に伸びるものの方向性を特異的に捉えられないという欠点があった。

毛細血管の動画像で選択された測定部位における色調の経時的変化を取得して診断を行う第三の従来例の場合、血流の流速値だけを求めることを基本とするものであり、血管の長さや太さといった他の特徴まで計測することができなかった。そのため、第三の従来例に係る診断情報取得システムでは、毛細血管を多面的に観察して評価することができないという問題があった。

本発明の目的は、前述した従来例における画像処理診断の不都合や問題を一挙に解消して、誰でも簡単且つ正確に客観的な数値データに基づいて毛細血管による診断が多面的に行える画像処理方法および画像処理プログラム等を提供することにある。

請求項１記載の本発明は、身体の部位に、可視光または赤外線を照射して毛細血管を撮影し、その撮影画像を光学的に拡大した画像について、時間的に解の状態が変化する反応拡散方程式を用いて、前記拡大画像の輝度の局所的状態を自動判定すると共に局所的閾値パラメータに基づく方向要素を持たせた二値化によって毛細血管の形態を鮮明化し、この鮮明化された画像における毛細血管の形態を数値化することを特徴とする毛細血管画像処理方法である。

本発明において、前記身体の部位には、少なくとも指の爪床部、歯茎、舌下部、口唇粘膜部、頭皮および皮膚表面が含まれる。

請求項２記載の本発明は、前記請求項１記載の毛細血管画像処理方法について、その反応拡散方程式が
前記ε、ｂ、ｃ、ｄはいずれも定数パラメータ、Ｄ_u、Ｄ_vは拡散パラメータであり、またａはそれ以前の計算処理の結果により変動する変数パラメータ（閾値パラメータ）であることを特徴とする。

請求項３記載の本発明は、前記請求項１または請求項２記載の毛細血管画像処理方法について、数値化が、横方向の反応拡散による二値化によって縦方向の毛細血管を鮮明化し、この鮮明化された縦方向の毛細血管の長さ、太さおよび本数の算出であることを特徴とする。

請求項４記載の本発明は、前記請求項１または請求項２記載の毛細血管画像処理方法について、数値化が、縦横方向の反応拡散による二値化によって横方向の毛細血管の有無、並びに該毛細血管がある場合のその鮮明化による長さ、太さおよび本数の算出であることを特徴とする。

請求項５記載の本発明は、前記請求項１または請求項２記載の毛細血管画像処理方法について、数値化が、縦横方向の反応拡散による二値化と骨格化処理によって細線化された毛細血管の捩れや曲がりの算出であることを特徴とする。

請求項６記載の本発明は、前記請求項１または請求項２記載の毛細血管画像処理方法について、数値化が、反応拡散による二値化処理前のノイズを含む状態と前記二値化処理後のノイズを除去した状態との差分の算出であることを特徴とする。

請求項７記載の本発明は、請求項１〜請求項６のうちのいずれか一項記載の毛細血管画像処理を実行するためのプログラムである。

請求項８記載の本発明は、請求項１〜請求項６のうちのいずれか一項記載の毛細血管画像処理に用いる毛細血管分析診断装置であって、少なくとも毛細血管観察装置と、該装置によって取得された毛細血管画像を対象として前記毛細血管画像処理を行う毛細血管画像処理装置と、該装置による処理や算出された数値並びに前記毛細血管観察装置による画像を表示する表示装置を備えており、前記毛細血管観察装置が、少なくとも、身体の部位を位置させる検出対象配置部と、検出対象配置部における身体の部位に焦点を合わせる光学系部と、前記身体の部位に可視光や赤外線等を照射する照明部と、前記身体の部位を撮影する撮影部と、撮影部を制御する撮影制御部を有するものである。

本発明に係る毛細血管画像処理方法は、身体の部位に、可視光または赤外線を照射して毛細血管を撮影し、その撮影画像を光学的に拡大した画像について、時間的に解の状態が変化する反応拡散方程式を用いて、前記拡大画像の輝度の局所的状態を自動判定すると共に局所的閾値パラメータに基づく方向要素を持たせた二値化によって毛細血管の形態を鮮明化し、この鮮明化された画像における毛細血管の形態を自動的に数値化するため、身体における種々の部位の毛細血管における縦方向や横方向並びにそれらの本数、長さ、太さ、曲がり、捩れおよび濁り等の形態的特性を簡単且つ適切に評価することができる。

そのため、病院等の医療関係機関や大学等の研究機関において、身体の部位を傷付けることなく、また負荷を全く与えずに毛細血管を総合的に評価することができ、これによって血管年齢を査定することは勿論、糖尿病をはじめとする種々の生活習慣病の可能性を多面的に判断したり、その早期の予防を図ることが可能となる。

また、本発明に係る毛細血管分析診断装置によれば、毛細血管の鮮明な画像が容易に見られると共に、この鮮明な画像に基づいて前述した毛細血管の形態的特性に係る数値を自動的且つ即座に得ることができる。

本発明の実施形態に係る毛細血管分析診断装置の構成を示すブロック図である。 毛細血管の拡大画像である。 輝度変化を示すグラフであって、（ａ）が本発明による反応拡散処理前を示し、（ｂ）が本発明による反応拡散処理後を示す。 本発明における横方向と縦横方向の二値化処理による数値化の手順を示すフローチャートである。 本発明における横方向の二値化処理を示し、（ａ）が拡大撮影画像における横方向の二値化、（ｂ）は二値化後の血管抽出画像である。 本発明における縦横方向の二値化処理を示し、（ａ）が拡大撮影画像における縦横方向の二値化、（ｂ）は二値化後の血管抽出画像である。 本発明における血管の捩れ、曲がりの検出手順を示すフローチャートである。 図７の処理における血管の細線化を示し、（ａ）が細線の全体を示し、（ｂ）が計算除外処理後を示す。 本発明における血管の濁り検出の手順を示すフローチャートである。 図９の処理に係る血管画像であって、（ａ）がノイズ除去前、（ｂ）がノイズ除去後を示す。 本発明による最終的な数値化の一例を示すグラフである。

次に、本発明を指の爪床部分における毛細血管の画像処理に適用した場合の実施形態について、図面にしたがって説明するが、本発明はかかる実施形態に限定されるものではない。

図１に示すように、本発明に係る毛細血管観察装置の一例について説明すると、毛細血管観察装置１は、指Ｆを載せる指置き台２と、指置き台２上の指Ｆにおける爪床部分Ｆ１等の観察対象に焦点を合わせるための複数のレンズ等からなる光学系部３と、観察対象に可視光や赤外線等を照射する照明部４と、観察対象を撮影するＣＣＤやＣＭＯＳ等の撮影素子を具備する撮影部５と、撮影部５における撮影素子を制御するシャッター等の撮影制御部６と、撮影画像のデジタルデータを出力するための画像出力インターフェース７と、前記撮影画像のデジタルデータを伝送するためのＵＳＢ、ＮＴＳＣ、無線、或はインターネット等の伝送系部８を備えている。

そして、前記毛細血管観察装置１から出力された指Ｆの爪床部分Ｆ１の撮影画像は伝送系部８を介して後述する毛細血管画像処理装置２１で処理される。また、前述した毛細血管観察装置１と後述する毛細血管画像処理装置２１はそれぞれモニター等の表示装置３１に接続されており、前記毛細血管観察装置１によって観察される毛細血管の形態（毛細血管の方向、形状、長さ、太さ、曲がり、捩れ、濁り等）や毛細血管画像処理装置２１で算出される毛細血管の形態に関する画像処理データの出力結果が表示装置２１に適宜表示される。

毛細血管画像処理装置２１は、前記毛細血管観察装置１の伝送系部８からの毛細血管画像が入力される画像入力部２２と、入力された毛細血管画像を処理する画像処理部２３と、画像処理部２３で処理され、最終的に毛細血管の形態について数値化された処理データを出力する画像処理データ出力部２４等を有する。

前記画像処理部２３は、前述した通り、毛細血管の形態を後述する反応拡散方程式を用いて最終的に数値化するものである。

すなわち、本発明における反応拡散方程式は、
なお前記、ε、ｂ、ｃ、ｄはいずれも定数パラメータ、Ｄｕ、Ｄｖは拡散パラメータであり、またａはそれ以前の計算処理の結果により変動する変数パラメータ（閾値パラメータ）である。

前記拡散反応方程式は、時間的に解の状態が変化するものであって、前記毛細血管観察装置１で得られた拡大画像の輝度の局所的状態を自動判定すると共に局所的閾値パラメータに基づく方向要素を持たせた二値化によって毛細血管の形態を意図的に鮮明化し、この鮮明化された画像に基いて毛細血管の状態を客観的に数値化するものである。そして、前記方程式における拡散反応は、前述した通り、それ以前の直前の計算処理の結果により変動する変数パラメータａを用いて方向性を持たせた画像処理を行う。

次に、図２および図３に示すように、前記反応拡散方程式による毛細血管画像処理の基本原理について説明すると、本発明においては、図２に示す毛細血管Ｃの画像（対象画像）における縦方向Ｖ（垂直方向）や横方向（水平方向）Ｓにおける輝度の変化を関数化（グラフ化）するにあたり、図３（ａ）に示すように、縦軸（Ｙ）を輝度、横軸（Ｘ）を画像上の座標として、任意に決められるＡおよびＢ域の値を、例えば８ビット、グレースケールの場合の最大値（Ｂ＝２５５）と最小値（Ａ＝０）と考えて前記反応拡散方程式を用いて時間的変化を伴う計算を行い、前記Ａ・Ｂ域にそれぞれデータを近づける反応関数によって最終的に図３（ｂ）に示すような判定に適した平準化を行う。そして、前記Ａ・Ｂ域が黒と白を示す輝度であれば、前記処理によって二値化が行われることになり、この際、図３（ａ）の輝度グラフにおいて、前記段落［００３１］の[数１]の三段目の閾値パラメータを含む反応拡散方程式を用いて、図３（ｂ）に示す傾斜Ｉを有する直線ＳＬに基づく二値化を高精度に実施することができる。

図４に示すように、本発明に係る前記反応拡散方程式を用いた毛細血管画像処理方法は、前記毛細血管観察装置１で撮影された毛細血管の撮影画像を取得し（Ｓ４００１）、取得した撮影画像のサイズ変更やカラー画像のグレースケール化およびノイズ除去といった前処理を行い（Ｓ４００２）、次に毛細血管画像の処理の選択を受付け（Ｓ４００３）、その受付け内容に基づいて下記の処理を行う。

すなわち、図５に示すように、例えば縦方向の毛細血管の数値化を行う場合においては、前記反応拡散方程式に基づいて、図５（ａ）の通り、横方向（矢印Ｓ）の反応拡散による二値化を行い（Ｓ４００４）、その後、ノイズを除去することで（Ｓ４００５）、図５（ｂ）の通り、二値化画像において、縦方向（矢印Ｖ）の毛細血管Ｃ１を鮮明化させて（Ｓ４００６）、この縦方向（矢印Ｖ）の毛細血管Ｃ１が横方向（矢印Ｓ）基準に対して直交する本数および最長や平均の長さ、並びに太さの最大値や平均値を数値化する（Ｓ４００７）。

同じく図６に示すように、例えば毛細血管の縦横方向の数値化を選択した場合においては、前記反応方程式に基づいて図６（ａ）の通り、縦横両方向（Ｖ、Ｓ）の二値化を行い（Ｓ４００８）、その後、ノイズを除去することで（Ｓ４００９）、図６（ｂ）の通り、二値化画像において、縦方向（Ｖ）よりも横方向（矢印Ｓ）の毛細血管Ｃ２を鮮明化させて（Ｓ４０１０）、横方向の毛細血管Ｃ２を実際に検出した場合には、その最長や平均の長さ、或は更に太さの最大値や平均値を数値化する（Ｓ４０１１）。

また、図７および図８に示すように、例えば毛細血管の捩れや曲がり（歪み）の数値化を選択した場合においては、前記毛細血管の撮影画像の取得（Ｓ７００１）、取得した撮影画像のサイズ変更やカラー画像のグレースケール化およびノイズ除去といった前処理（Ｓ７００２）および毛細血管画像処理の選択受付け（Ｓ７００３）の後、前記反応方程式に基づいて縦横両方向（Ｖ、Ｓ）の二値化を行い（Ｓ７００４）、その二値化画像において、骨格化（細線化）アルゴリズムに基づいて処理し（Ｓ７００５）、毛細血管を細線（ＴＬ）として検出する（図８ａ参照）。この毛細血管の細線（ＴＬ）はそれぞれ独立した線分となっているため、各線分ごとの数値化が可能である。

そして、その後の具体的処理としては、指Ｆの爪床部Ｆ１等において、一般に前記二値化した画像の下部に横方向や種々の複雑な形状の毛細血管細線（Ｄ）が現われ、これが反応拡散方程式による計算の精度を阻害することから、図８（ｂ）に示すように、まず各細線（ＴＬ）の線分座標のピーク座標Ｍ１（指の先端側部分の毛細血管位置）を抽出し（Ｓ７００６）、次にピーク座標Ｍ１から指の基端側へ一定距離以上に離れた遠い範囲（ＯＡ）については、計算外領域として除外する（Ｓ７００７）。そして、残りの細線（ＴＬ）について、毛細血管の先端細線部分（Ｐ）と本体細線部分（Ｂ）に分け、それぞれの細線部分における血管輪郭追跡により曲率（ベクトル）を総和することで（Ｓ７００８）、最終的に前記先端細線部分（Ｐ）の捩れ度合いおよび前記本体細線部分（Ｂ）の曲がり度合いを数値化する（Ｓ７００９）。

また、図９および図１０に示すように、毛細血管の濁りを検出する場合、前記縦横方向の反応拡散処理による二値化を行い（Ｓ９００１）、その際、図１０（ａ）に示すように、毛細血管画像（Ｃ１）の周辺には輝度分布のバラツキにより微少領域がノイズＮとして残っており、そのため、該ノイズＮを、メディアンフィルターやバイラテラルフィルター、或いは収縮・膨張モルフォロジー法（オープニング法）等によって削除することで（Ｓ９００２）、図１０（ｂ）に示すように、ノイズＮのない整形された毛細血管画像（Ｃ１）が得られる。

上記一連の操作において、図１０（ａ）の元画像における毛細血管画像（Ｃ１）以外の部分は組織の輝度分布にバラツキがある（微少領域が多い）ということであり、これを組織の濁りと見なす。そして、前記縦横方向の反応拡散処理による二値化（Ｓ９００１）と前記ノイズ削除（Ｓ９００２）の減算（図１０ａ元画像から図１０ｂ）整形画像の差分）を行うことにより（Ｓ９００３）、その数や面積から最終的に組織の濁りを計測して数値化する。

図１１に示すように、以上述べてきた毛細血管画像処理による数値化によって、縦横の毛細血管の本数、縦線、横線、濁りおよび太さ等といった観察対象の数値化が行われ、その結果、観察対象の毛細血管について種々の評価が一見して行える。

本発明に係る毛細血管の画像処理方法および画像処理装置によれば、簡単且つ確実に毛細血管の形態に関する数値化が自動的に行えるため、医療や研究の分野において幅広い利用が期待できる。

１ 毛細血管観察装置
２ 指置き台
３ 光学系部
４ 照明部
５ 撮影部
６ 撮影制御部
７ 画像出力インターフェース
８ 伝送系部
２１ 毛細血管画像処理装置
２２ 画像入力部
２３ 画像処理部
２４ 画像処理データ出力部+

Claims (7)

1. 身体の部位に、可視光または赤外線を照射して毛細血管を撮影し、その撮影画像を光学的に拡大した画像について、時間的に解の状態が変化する反応拡散方程式を用いて、縦方向および横方向のうち少なくとも横方向の一ライン上の輝度値のデータ列の集合を自動判定すると共に前記集合における閾値パラメータに基づく方向要素を持たせた二値化によって毛細血管の形態を鮮明化し、この鮮明化された画像における毛細血管の形態を数値化し、数値化が、横方向の反応拡散による二値化によって縦方向の毛細血管を鮮明化し、この鮮明化された縦方向の毛細血管の長さ、太さおよび本数の算出を含むことを特徴とする、毛細血管画像処理方法。
2. 身体の部位に、可視光または赤外線を照射して毛細血管を撮影し、その撮影画像を光学的に拡大した画像について、時間的に解の状態が変化する反応拡散方程式を用いて、縦方向および／または横方向の一ライン上の輝度値のデータ列の集合を自動判定すると共に前記集合における閾値パラメータに基づく方向要素を持たせた二値化によって毛細血管の形態を鮮明化し、この鮮明化された画像における毛細血管の形態を数値化し、
   反応拡散方程式が
   前記ε、ｂ、ｃ、ｄはいずれも定数パラメータ、Ｄｕ、Ｄｖは拡散パラメータであり、またａはそれ以前の計算処理の結果により変動する変数パラメータとしての閾値パラメータである、毛細血管画像処理方法。
3. 数値化が、縦横方向の反応拡散による二値化によって横方向の毛細血管の有無、並びに該毛細血管がある場合のその鮮明化による長さ、太さおよび本数の算出を含む、請求項１又は２に記載の毛細血管画像処理方法。
4. 数値化が、縦横方向の反応拡散による二値化と骨格化処理によって細線化された毛細血管の捩れや曲がりの算出を含む、請求項１から３のいずれかに記載の毛細血管画像処理方法。
5. 数値化が、反応拡散による二値化処理後のノイズを含む状態と前記二値化処理後のノイズを除去した状態との差分の算出を含む、請求項１から４のいずれかに記載の毛細血管画像処理方法。
6. コンピュータに請求項１〜請求項５のうちのいずれか一項に記載の毛細血管画像処理方法を実行させるプログラム。
7. 請求項１〜請求項５のうちのいずれか一項記載の毛細血管画像処理に用いる毛細血管分析診断装置であって、少なくとも毛細血管観察装置と、該装置によって取得された毛細血管画像を対象として前記毛細血管画像処理を行う毛細血管画像処理装置と、該装置による処理や算出された数値並びに前記毛細血管観察装置による画像を表示する表示装置を備えており、前記毛細血管観察装置が、少なくとも、身体の部位を位置させる検出対象配置部と、検出対象配置部における身体の部位に焦点を合わせる光学系部と、前記身体の部位に可視光や赤外線等を照射する照明部と、前記身体の部位を撮影する撮影部と、撮影部を制御する撮影制御部を有する、毛細血管分析診断装置。