JP7202569B2 - 皮膚毛細血管の撮影及び解析方法 - Google Patents
皮膚毛細血管の撮影及び解析方法 Download PDFInfo
- Publication number
- JP7202569B2 JP7202569B2 JP2019092141A JP2019092141A JP7202569B2 JP 7202569 B2 JP7202569 B2 JP 7202569B2 JP 2019092141 A JP2019092141 A JP 2019092141A JP 2019092141 A JP2019092141 A JP 2019092141A JP 7202569 B2 JP7202569 B2 JP 7202569B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- skin
- moving image
- blood vessel
- capillaries
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
- Image Analysis (AREA)
Description
本発明は、皮膚毛細血管の動画像を解析する方法に関する。
ヒトの皮膚は、表皮、真皮及びその付属器官（汗腺等）より構成されている。表皮は最表層に位置する厚さ１００～２００μｍ程度の組織であり、体内側より順に、基底層・有棘層・顆粒層・角層の４層より構成されている。最も上層に位置する角層は、外界からの刺激に対する防御の最前線であり、生体の恒常性を維持する上で重要な役割を担っている。また角層は美容的にも重要な部位である。即ち、皮溝、皮丘、キメ又は肌荒れ、毛孔、シワ、シミ、日焼けといった状態や現象は、角層構造の乱れや角層組成の変化等と密接に関連する。従って健康な肌や、美しい肌を実現するには、角層を良い状態に維持する必要がある。
基底層で作られたケラチノサイトが角化し、有棘層、顆粒層を経て扁平な角層細胞に分化することによって角層は形成される。表皮（基底層・有棘層・顆粒層・角層）には毛細血管が存在しないため、ケラチノサイトの代謝・分化に必要な酸素や栄養素は、表皮下にある真皮の血管系より供給される。具体的には、表皮・真皮境界にある乳頭構造中の毛細血管や、乳頭外にある表皮近傍の毛細血管が、供給の最終段の役割を担っている。
これらの毛細血管には、常に血液が流れているわけではない。皮膚の状況に応じて、毛細血管に流れる血液量は制御されていると考えられている。例えば、表皮代謝が活発な部位では、毛細血管に流れる血液量が大きくなっていると考えられる。
このように表皮近傍の毛細血管における血流挙動は、１）表皮におけるケラチノサイトの代謝や分化に直接的な影響を及ぼす因子であり、２）角層の状態に間接的に寄与する因子であり、３）最終的には、健康で美しい肌の実現に寄与する因子であると考えられている。従って、皮膚毛細血管での血流状態を把握することは、皮膚の健康状態の把握、肌荒れ等の皮膚トラブルの原因の究明、皮膚の状態を改善する物質や物理的作用の評価等に有用である。
従来、皮膚毛細血管での血流状態を観察する手法として、光学顕微鏡観察が知られている。撮像された画像から血流状態を定量評価するには、画像から血管領域を抽出する必要がある。血流状態の定量評価の前段階として血管領域を抽出する手法としては、例えば動画像の各フレームの平均画像に対するエッジ検出により毛細血管領域を抽出する方法（特許文献１）、平均画像に対する二値化処理により血管領域を抽出する方法（非特許文献１）等が知られている。しかし、これらの血管抽出法では、シミや毛髪等の血管以外の構造も誤検出してしまうため、血管領域の抽出精度が低いという課題があった。
また、動画中の変動の大きい領域、すなわち血流のある領域を抽出するロバスト主成分分析を用いて、血管領域を抽出する方法も知られている（特許文献２）。この技術では、動画像の全フレームの全画素を対象に処理するため、処理に時間がかかり、スループット性が低いという課題があった。
また、深層学習を用いて網膜の血管を抽出する技術（非特許文献２）や皮膚の顕微鏡画像から病変部における血管領域を抽出する技術（非特許文献３）も報告されているが、これらは単に血管構造の抽出のみを行うものであり、抽出した血管領域の情報を血流状態の定量評価に活用するものではない。
Wu, C. C. et al. Microvascular Research 2011 81, pp. 252.
Wang, C. et al. Entropy 2019 21(2), pp. 168.
Jaworek-Korjakowska, J. BioMed Res. Int. 2018, 5049390.
本発明は、多数の皮膚毛細血管の動画像から、各毛細血管の血流速度を同時かつ自動的に算出可能な、皮膚毛細血管の解析方法を提供することに関する。
本発明者らは、皮膚毛細血管の動画像に対して、深層学習法を用いて毛細血管領域を抽出し、これと時空間プロットを用いた血流速度解析法を組み合わせることで、シミや毛髪等の誤検出を抑制し、高精度で毛細血管の血流速度を解析できることを見出した。
すなわち、本発明は、以下の１）及び２）に係るものである。
１）解像度４μｍ／画素、視野３ｍｍ以下の撮像光学系と、光源からの照射光をレンズの光軸に対して観察対象の表面に斜入射させる照明系を具備する顕微鏡システムを用い、
顕微鏡システムと被験者身体部位の皮膚の間隙に、屈折率１．３～１．５５、粘度が５．０×１０－４～１．５×１０２Ｐａ・ｓのコンタクト剤を介した状態で皮膚毛細血管の動画像を撮影する工程と、
該工程で撮影された皮膚毛細血管の動画像に対し、
少なくともテンプレートマッチングを用いて動画像のフレーム間の位置合わせをする処理、
深層学習を用いて血管領域を抽出する処理、
抽出した血管領域の中心線に沿った位置を空間軸、動画像のフレーム番号を時間軸に取った時空間プロットを作成する処理と、時空間プロットにおける明暗のパターンに対しエッジ検出及び直線近似を行う処理と、該近似直線の傾きから血流速度を算出する処理、
を含む、皮膚毛細血管画像の解析方法。
２）１）に記載の方法に用いられる装置であって、
解像度４μｍ／画素、視野３ｍｍ以下の撮像光学系と、光源からの照射光をレンズの光軸に対して観察対象の表面に斜入射させる照明系を具備する顕微鏡システムを用い、顕微鏡システムと被験者身体部位の皮膚の間隙に、屈折率１．３～１．５５、粘度が５．０×１０－４～１．５×１０２Ｐａ・ｓのコンタクト剤を介した状態で皮膚毛細血管の動画像を撮影する手段と、データを表示するデータ表示手段、及び下記ｉ）～ｖ）の画像解析処理を行うための画像処理手段を含む皮膚毛細血管画像の解析装置；
ｉ）該工程で撮影された皮膚毛細血管の動画像に対し、少なくともテンプレートマッチングを用いて動画像のフレーム間の位置合わせをする処理、ｉｉ）深層学習を用いて血管領域を抽出する処理、ｉｉｉ）抽出した血管領域の中心線に沿った位置を空間軸、動画像のフレーム番号を時間軸に取った時空間プロットを作成する処理、ｉｖ）時空間プロットにおける明暗のパターンに対しエッジ検出及び直線近似を行う処理、ｖ）該近似直線の傾きから血流速度を算出する処理。
１）解像度４μｍ／画素、視野３ｍｍ以下の撮像光学系と、光源からの照射光をレンズの光軸に対して観察対象の表面に斜入射させる照明系を具備する顕微鏡システムを用い、
顕微鏡システムと被験者身体部位の皮膚の間隙に、屈折率１．３～１．５５、粘度が５．０×１０－４～１．５×１０２Ｐａ・ｓのコンタクト剤を介した状態で皮膚毛細血管の動画像を撮影する工程と、
該工程で撮影された皮膚毛細血管の動画像に対し、
少なくともテンプレートマッチングを用いて動画像のフレーム間の位置合わせをする処理、
深層学習を用いて血管領域を抽出する処理、
抽出した血管領域の中心線に沿った位置を空間軸、動画像のフレーム番号を時間軸に取った時空間プロットを作成する処理と、時空間プロットにおける明暗のパターンに対しエッジ検出及び直線近似を行う処理と、該近似直線の傾きから血流速度を算出する処理、
を含む、皮膚毛細血管画像の解析方法。
２）１）に記載の方法に用いられる装置であって、
解像度４μｍ／画素、視野３ｍｍ以下の撮像光学系と、光源からの照射光をレンズの光軸に対して観察対象の表面に斜入射させる照明系を具備する顕微鏡システムを用い、顕微鏡システムと被験者身体部位の皮膚の間隙に、屈折率１．３～１．５５、粘度が５．０×１０－４～１．５×１０２Ｐａ・ｓのコンタクト剤を介した状態で皮膚毛細血管の動画像を撮影する手段と、データを表示するデータ表示手段、及び下記ｉ）～ｖ）の画像解析処理を行うための画像処理手段を含む皮膚毛細血管画像の解析装置；
ｉ）該工程で撮影された皮膚毛細血管の動画像に対し、少なくともテンプレートマッチングを用いて動画像のフレーム間の位置合わせをする処理、ｉｉ）深層学習を用いて血管領域を抽出する処理、ｉｉｉ）抽出した血管領域の中心線に沿った位置を空間軸、動画像のフレーム番号を時間軸に取った時空間プロットを作成する処理、ｉｖ）時空間プロットにおける明暗のパターンに対しエッジ検出及び直線近似を行う処理、ｖ）該近似直線の傾きから血流速度を算出する処理。
本発明によれば、従来不可能であった、高精度での血管領域抽出、高精度での血流速度算出、高スループット性を兼ね備えた皮膚毛細血管の血流速度解析が可能となる。
本発明の皮膚毛細血管画像の解析方法及び解析装置は、被験者の身体部位の毛細血管動画像を取得し、当該画像データに基づいて毛細血管の血流状態を解析するものである。
＜毛細血管画像の取得＞
本発明において、皮膚毛細血管の動画像は、解像度４μｍ／画素、視野３ｍｍ以下の撮像光学系と、光源からの照射光をレンズの光軸に対して一定の入射角で観察対象の表面に斜入射させる照明系を具備する顕微鏡システムを用い、顕微鏡システムと被験者身体部位の皮膚の間隙に、屈折率１．３～１．５５、粘度が５．０×１０－４～１．５×１０２Ｐａ・ｓのコンタクト剤を介した状態で撮影することにより行われる。
＜毛細血管画像の取得＞
本発明において、皮膚毛細血管の動画像は、解像度４μｍ／画素、視野３ｍｍ以下の撮像光学系と、光源からの照射光をレンズの光軸に対して一定の入射角で観察対象の表面に斜入射させる照明系を具備する顕微鏡システムを用い、顕微鏡システムと被験者身体部位の皮膚の間隙に、屈折率１．３～１．５５、粘度が５．０×１０－４～１．５×１０２Ｐａ・ｓのコンタクト剤を介した状態で撮影することにより行われる。
本発明において、身体部位としては、毛細血管の状態を観察する必要のあるヒトの身体外部が挙げられ、具体的には手、足、腕、脚、胴体、顔等が挙げられる。斯かる身体部位は、化粧品や薬剤塗布後の身体部位であってもよい。
以下、本発明の方法を実施するための装置の一例（図１及び図２）を示して説明するが、本発明の方法はこれに限定されるものではない。
図１に、開口部を有する被写体配置部１を備えた撮影台２と、前記被写体配置部を介して被写体と反対側に配置された顕微鏡システム３を備えた装置の態様を示す。
被写体配置部１は、被写体である身体部位を配置する撮影台の部位であり、被写体と反対側に設置される顕微鏡システム３により被写体を観察可能であれば、開口部は透明部材で埋められていてもよく、その部材は特に限定されないが、通常ガラス板や透明フィルムを用いるのが好ましい。
図１に、開口部を有する被写体配置部１を備えた撮影台２と、前記被写体配置部を介して被写体と反対側に配置された顕微鏡システム３を備えた装置の態様を示す。
被写体配置部１は、被写体である身体部位を配置する撮影台の部位であり、被写体と反対側に設置される顕微鏡システム３により被写体を観察可能であれば、開口部は透明部材で埋められていてもよく、その部材は特に限定されないが、通常ガラス板や透明フィルムを用いるのが好ましい。
撮影台２は、前記被写体配置部１を備え、被写体配置部を介して被写体と反対側に顕微鏡システム３を配置することができればその形状や構成は特に限定されない。例えば、被写体配置部を含む平板を支柱６で支持した構造体であってもよく（図１）、面の１つに被写体配置部が配置され、顕微鏡システムをその内部に配置、或いは顕微鏡システムと連結して配置可能な直方体、立方体、円筒等の形状の筐体（鏡筒２ａ）であってもよい（図２）。
撮影台として被写体配置部を含む平板を支柱で支持した構造体を用いる場合、顕微鏡システム３は位置が固定されていてもよいが、顕微鏡システム３と被写体との距離や観察視野を調整できるような可動式のステージ（ＸＹＺ軸ステージ）やジャッキ等の位置調整機構７と接続され、位置が調整可能とされているのが好ましい。
撮影台として被写体配置部を含む平板を支柱で支持した構造体を用いる場合、顕微鏡システム３は位置が固定されていてもよいが、顕微鏡システム３と被写体との距離や観察視野を調整できるような可動式のステージ（ＸＹＺ軸ステージ）やジャッキ等の位置調整機構７と接続され、位置が調整可能とされているのが好ましい。
顕微鏡システム３は、広視野且つ高解像度で観察対象を撮像するための撮像光学系（レンズ３ａとカメラ３ｃ）、観察対象の表面に指向性光源の斜入射光を照射する照明系（光源）３ｂを具備するものであればその種類は限定されず、実体顕微鏡、偏光顕微鏡、マイクロスコープ等を用いることができる。
本発明において用いられるレンズとしては、皮膚内部の赤血球の移動を明瞭に観察可能な高解像度のものが使用される。斯かる点から、レンズの水平分解能は、８μｍ以下、好ましくは４μｍ以下、より好ましくは２μｍ以下である。このレンズの倍率は、装置が大型化し観察が困難になることを避けるため及び十分な観察範囲を確保するためにも、好ましくは１倍以上、より好ましくは２倍以上、より好ましくは３倍以上であり、且つ好ましくは１５倍以下である。
カメラとしては、顕微鏡の観察画像を動画撮影可能なものであれば限定されないが、例えばＣＣＤ、ＣＭＯＳ等の撮像素子を採用するデジタルカメラ等が挙げられる。
本発明の撮像光学系において、毛細血管における赤血球の流動を十分に拡大して捉えられるよう、視野の広さは３ｍｍ以下、好ましくは１ｍｍ以下であり、複数の毛細血管が視野内に含まれるように、０．２ｍｍ以上、好ましくは０．５ｍｍ以上である。また、解像度は赤血球の流動を明瞭に捉えられるよう、４μｍ／画素以下、好ましくは２μｍ／画素以下、より好ましくは２μｍ／画素以下である。
本発明の顕微鏡システムにおいては、光源から出射された光を観察対象の表面に斜入射させて撮影することにより、皮膚内部の毛細血管が撮影可能となる。
用いる光源の種類は、通常可視光が用いられる。可視光としては、４００ｎｍ以上８００ｎｍ未満の波長の光を含むものであればよく、白色光の他、青色光、赤色光、緑色光などを用いることができるが、波長の異なる可視光が混在する白色光を用いるのが好ましい。例えば、白色ＬＥＤ光源、ハロゲンランプ等を使用することができる。
用いる光源の種類は、通常可視光が用いられる。可視光としては、４００ｎｍ以上８００ｎｍ未満の波長の光を含むものであればよく、白色光の他、青色光、赤色光、緑色光などを用いることができるが、波長の異なる可視光が混在する白色光を用いるのが好ましい。例えば、白色ＬＥＤ光源、ハロゲンランプ等を使用することができる。
また、観察対象の表面に斜入射させる入射角は、レンズの光軸に対して、好ましくは５度以上、より好ましくは１０度以上、より好ましくは１５度以上であり、且つ好ましくは８５度以下、より好ましくは８０度以下、より好ましくは７５度以下である。また、好ましくは５～８５度、より好ましくは１０～８０度、より好ましくは１５～７５度である。
斯かる光源から出射した光を観察対象の表面に斜入射させるための照射系の一態様（Ａ：リング状に多数のＬＥＤを配置した斜入射照明系、Ｂ：円周上に４個のＬＥＤを等間隔で配置した斜入射照明系）、並びに入射角の定義（Ｃ）を図３に示す。
斯かる光源から出射した光を観察対象の表面に斜入射させるための照射系の一態様（Ａ：リング状に多数のＬＥＤを配置した斜入射照明系、Ｂ：円周上に４個のＬＥＤを等間隔で配置した斜入射照明系）、並びに入射角の定義（Ｃ）を図３に示す。
撮影に際しては、測定対象となる被験者の身体部位が、被写体配置部の開口部に配される。図４に、被写体配置部の開口部周辺の断面模式図を示す。被写体配置部に透明部材を用いない構成（図４Ａ）では、後述のコンタクト剤は皮膚表面に塗布され、付着した状態で維持される。コンタクト剤の流動性が高い場合には、図４Ｂ又は図４Ｃの構成を用いることができる。図４Ｂの構成では、コンタクト剤は透明部材、スペーサー及び皮膚に囲まれた空間に保持される。この場合、被験者の身体部位がスペーサーの上部に押し当てられた際、皮膚表面が開口部の透明部材に接することなく保持される。これにより、透明部材による撮影部位の皮膚の圧迫による血流の低下を回避できる。スペーサーは、測定対象となる被験者の身体部位をセットした場合に、撮影対象となる皮膚表面が撮影されるように開口部を有し、且つ一定の厚さを有する部材である。また、図４Ｃの構成では、透明部材として柔軟性のあるフィルムを用い、コンタクト剤は透明部材と皮膚の間隙に保持される。フィルムが柔軟であるため、皮膚表面が透明部材に接しないよう保持することなく、皮膚の圧迫により血流の低下を回避できる。フィルムは、柔軟かつ透明であればよく、ポリ塩化ビニル、ポリ塩化ビニリデン、ポリエチレン、ポリプロピレン等からなる食品用ラップフィルムや包装用フィルムを使用することができる。
スペーサーの厚さ（透明な部材に設置した場合の透明な部材からの高さ）は、被験者の身体部位を押し当てた際に、スペーサーの開口内で皮膚表面が突出して、透明な部材に接しないことが必要である。この点を考慮すると、スペーサーの厚さは、好ましくは０．１ｍｍ以上、より好ましくは０．５ｍｍ以上であり、且つ好ましくは６ｍｍ以下、より好ましくは１ｍｍ以下である。また、０．１～６ｍｍ、好ましくは０．５～１ｍｍである。
スペーサーの素材は、皮膚を傷つけないよう適度な柔らかさと、皮膚・ガラス面に密着するよう形状に追随するような適度な弾力を有する素材であるのが好ましい。斯かる素材としては、例えば、シリコンゴム、天然ゴム、アクリルゴム、ウレタンゴム等が挙げられるが、耐水性、耐油性、無臭、無毒性の点から、シリコンゴムを用いるのが好ましい。
また、当該素材は任意の色であり得るが、赤、青等に着色された素材である場合、その後の画像処理・解析に影響する恐れがあるため、無色、白色又は黒色が好ましい。
また、当該素材は任意の色であり得るが、赤、青等に着色された素材である場合、その後の画像処理・解析に影響する恐れがあるため、無色、白色又は黒色が好ましい。
コンタクト剤は、皮膚角層（屈折率約１．５）と空気（屈折率約１．０）の界面における光の反射を低減することが可能な点から、屈折率１．３～１．５５を有する流動性素材が用いられる。
斯かるコンタクト剤としては、無色透明であるものが好ましい。また、皮膚へ追随性の点から、室温及び皮膚表面温度である２５℃～３０℃での粘度が５．０×１０－４～１．５×１０２Ｐａ・ｓであり、更にはスペーサーから流出しない程度以上の粘性の点から３．０×１０－２～１．２×１０２Ｐａ・ｓであるのが好ましく、更には気泡の入りにくさ、除去のしやすさの点から３．０×１０－２～４０Ｐａ・ｓであるのがより好ましい。
斯かるコンタクト剤としては、無色透明であるものが好ましい。また、皮膚へ追随性の点から、室温及び皮膚表面温度である２５℃～３０℃での粘度が５．０×１０－４～１．５×１０２Ｐａ・ｓであり、更にはスペーサーから流出しない程度以上の粘性の点から３．０×１０－２～１．２×１０２Ｐａ・ｓであるのが好ましく、更には気泡の入りにくさ、除去のしやすさの点から３．０×１０－２～４０Ｐａ・ｓであるのがより好ましい。
ここで、屈折率はＪＩＳ Ｋ ７１４２に準拠し２３℃においてアッベ屈折計により測定することができ、また文献値（化学便覧（日本化学会編）等）をもとに計算して求めることもできる。また、粘度は、市販のレオメータを用いたフローカーブ測定や、Ｂ型（単一円筒型回転式）粘度計を用いた測定により求めることができる。
好適なコンタクト剤としては、例えばグリセリン（屈折率約１．５、粘度８．３×１０－１Ｐａ・ｓ）、イマージョンオイル（屈折率１．５２、粘度１．２×１０２Ｐａ・ｓ）、スクワラン（屈折率約１．４５、粘度３．０×１０－２Ｐａ・ｓ）等の油剤、プロゼリー（ジェクス株式会社）等の市販の超音波ゼリー（屈折率約１．３、粘度約４０Ｐａ・ｓ）、水（屈折率約１．３、粘度８．９×１０－４Ｐａ・ｓ）、菜種油等（屈折率約１．５、粘度４．３×１０－２Ｐａ・ｓ）、オリーブオイル（屈折率約１．５、粘度６．７×１０－２Ｐａ・ｓ）の食用油等が挙げられ、この内、グリセリン、スクワラン、超音波ゼリー、菜種油、オリーブオイルがより好ましい。
斯くして、上記顕微鏡システムにより、皮膚毛細血管の顕微動画像が撮影される。撮影された画像等のデータはテレビモニター等のデータ表示手段５により表示され、画像処理手段４により、後述の画像解析処理がなされる。
撮影された顕微動画像においては、毛細血管内を赤血球が流動する様子が観察される。以下では、動画像中の毛穴や毛髪、シミ、汗腺等を「背景成分」、動画像から背景成分を除いた、赤血球の流動を示す成分を「血流成分」と記載する。
撮影された顕微動画像においては、毛細血管内を赤血球が流動する様子が観察される。以下では、動画像中の毛穴や毛髪、シミ、汗腺等を「背景成分」、動画像から背景成分を除いた、赤血球の流動を示す成分を「血流成分」と記載する。
＜皮膚毛細血管画像の解析＞
撮影された皮膚毛細血管の動画像に対し、少なくともテンプレートマッチングを用いた動画像のフレーム間を位置合わせする処理、深層学習を用いて血管領域を抽出する処理、抽出した血管領域の中心線に沿った位置を空間軸、動画像のフレーム番号を時間軸に取った時空間プロットを作成する処理と、時空間プロットにおける明暗のパターンに対しエッジ検出及び直線近似を行う処理と、該近似直線の傾きから毛細血管内の血流速度が算出される。以下に各処理の詳細を記載する。
撮影された皮膚毛細血管の動画像に対し、少なくともテンプレートマッチングを用いた動画像のフレーム間を位置合わせする処理、深層学習を用いて血管領域を抽出する処理、抽出した血管領域の中心線に沿った位置を空間軸、動画像のフレーム番号を時間軸に取った時空間プロットを作成する処理と、時空間プロットにおける明暗のパターンに対しエッジ検出及び直線近似を行う処理と、該近似直線の傾きから毛細血管内の血流速度が算出される。以下に各処理の詳細を記載する。
ｉ）テンプレートマッチングを用いた動画像のフレーム間の位置合わせ
テンプレートマッチングは、「テンプレート」に設定した画像と類似した領域を、入力画像から探し出す方法である。取得された皮膚毛細血管の動画像には、被験者や測定者の体動に由来する画像のブレが含まれ、動画像中で血管自体が動くことにより、血流速度算出時にブレの速度を算出してしまう恐れがある。テンプレートマッチングによって、画像中の類似した領域を探索・抽出することにより、このブレが補正される。
テンプレートマッチングは、「テンプレート」に設定した画像と類似した領域を、入力画像から探し出す方法である。取得された皮膚毛細血管の動画像には、被験者や測定者の体動に由来する画像のブレが含まれ、動画像中で血管自体が動くことにより、血流速度算出時にブレの速度を算出してしまう恐れがある。テンプレートマッチングによって、画像中の類似した領域を探索・抽出することにより、このブレが補正される。
テンプレートマッチングにおいては、取得された毛細血管の動画像の最初のフレームから、一部分を抜粋して「テンプレート」に設定し、そのほかのフレームを入力画像とする。これにより、動画像中の全フレームで類似した領域、すなわち、撮影対象の同じ場所を探索できる。探索した領域を切り出した上で、元の動画像と同じ順番でつなぎ合わせることで、注目する血管が常に動画像中の同じ場所にあるような「ブレ補正画像」が作成される。
「テンプレート」の抜粋に先立って、元の画像の中から、画像処理の対象とする範囲の選定を行う。
「テンプレート」の抜粋に先立って、元の画像の中から、画像処理の対象とする範囲の選定を行う。
類似した領域の探索は、「テンプレート」と、入力画像中の同じサイズの領域を比較し、類似度が算出される。この類似度は、二つの画像の同じ位置にある画素の明るさ(「画素値」)を比較することで、計算される。類似度算出のための計算方法は特に限定されないが、例えば、画素値の差の二乗和又は絶対値の和が小さいほど類似度が高いものとして算出する方法、又は正規化相互相関が１に近いほど類似度が高いものとして算出する方法が挙げられる。具体的には、例えば、ＯｐｅｎＣＶ ２．４．１１（Ｉｎｔｅｌ ｃｏｒｐｏｒａｔｉｏｎ）のｍａｔｃｈＴｅｍｐｌａｔｅ関数を用い、類似度の評価には正規化相互相関を用いることにより算出できる。
ｉｉ）深層学習を用いた動画像からの血流成分の抽出
次いで、深層学習を用いて、ブレ補正を行った毛細血管動画像から、血流成分が抽出される。
深層学習は、複数の入力信号を受け取り一つの信号を出力する、パーセプトロンと呼ばれるアルゴリズムを発展させたものである。パーセプトロンは、複数の入力信号に重みを掛け合わせたうえで、設定された閾値(バイアスと呼ばれる)を超えるか否かを判定し、一つの信号を出力する。深層学習は、このようなパラメータをコンピュータに自動で獲得させるよう、パーセプトロンを多層構造にしたアルゴリズムと、演算に用いる関数の改良・導入を行ったものである。これにより、画像のような複雑な入力に対し、適切なパラメータを自動で設定でき、人力で設定した少数の基準での画像解析よりも、的確な解析が可能である。
深層学習の画像解析への応用例に、画像中の画素ごとに、対象が何かを識別する「セマンティックセグメンテーション」がある。本手法では、入力画像と、入力画像中で識別対象とする物体の位置を指定(アノテーション)した画像を入力し、自動でパラメータを獲得させる(学習させる)。その上で、学習に用いた画像とは別の入力画像に対して、コンピュータに推論を実行させることで、自動的に対象物体を識別・検出させる。
次いで、深層学習を用いて、ブレ補正を行った毛細血管動画像から、血流成分が抽出される。
深層学習は、複数の入力信号を受け取り一つの信号を出力する、パーセプトロンと呼ばれるアルゴリズムを発展させたものである。パーセプトロンは、複数の入力信号に重みを掛け合わせたうえで、設定された閾値(バイアスと呼ばれる)を超えるか否かを判定し、一つの信号を出力する。深層学習は、このようなパラメータをコンピュータに自動で獲得させるよう、パーセプトロンを多層構造にしたアルゴリズムと、演算に用いる関数の改良・導入を行ったものである。これにより、画像のような複雑な入力に対し、適切なパラメータを自動で設定でき、人力で設定した少数の基準での画像解析よりも、的確な解析が可能である。
深層学習の画像解析への応用例に、画像中の画素ごとに、対象が何かを識別する「セマンティックセグメンテーション」がある。本手法では、入力画像と、入力画像中で識別対象とする物体の位置を指定(アノテーション)した画像を入力し、自動でパラメータを獲得させる(学習させる)。その上で、学習に用いた画像とは別の入力画像に対して、コンピュータに推論を実行させることで、自動的に対象物体を識別・検出させる。
深層学習を用いた血管領域の学習及び抽出は、１枚の静止画に対して行われる。そこで、まず多数のフレームからなる動画像の情報を、１枚の静止画とする必要がある。
皮膚毛細血管の動画像においては、毛細血管自体は周囲と区別できず、赤血球が毛細血管を通過することで、はじめて血管の存在を認識できる。そこで、当該静止画像の作成は、全フレームの情報から赤血球が流れた領域を抽出することにより行われる。
カラー画像において、赤血球は周辺よりも赤く表示される、すなわち赤血球部分は、Ｒ、Ｇ、Ｂのうち、Ｇの画素値が周辺よりも小さいことから、全フレームの中でＧの画素値が最小となるフレームの色を記録すれば、赤血球が存在したフレームの情報を得ることができる。斯様に、画像中の全画素に対して、Ｇの画素値が最小となるフレームの色情報を取得した上で、１枚の画像として描画することで、全フレームの中で赤血球が流れた領域を漏れなく描出することができる。
皮膚毛細血管の動画像においては、毛細血管自体は周囲と区別できず、赤血球が毛細血管を通過することで、はじめて血管の存在を認識できる。そこで、当該静止画像の作成は、全フレームの情報から赤血球が流れた領域を抽出することにより行われる。
カラー画像において、赤血球は周辺よりも赤く表示される、すなわち赤血球部分は、Ｒ、Ｇ、Ｂのうち、Ｇの画素値が周辺よりも小さいことから、全フレームの中でＧの画素値が最小となるフレームの色を記録すれば、赤血球が存在したフレームの情報を得ることができる。斯様に、画像中の全画素に対して、Ｇの画素値が最小となるフレームの色情報を取得した上で、１枚の画像として描画することで、全フレームの中で赤血球が流れた領域を漏れなく描出することができる。
深層学習を用いたセマンティックセグメンテーションのアルゴリズムは複数提案されており、例えばＵ－ｎｅｔ、ＳｅｇＮｅｔ、ＲｅｆｉｎｅＮｅｔ等のアーキテクチャが知られているが、本発明においてはＵ－ｎｅｔを好適に使用することができる。
学習の過程では、元画像と、認識対象とする物体の位置を指定(アノテーション)した画像の組み合わせが用いられる。例えば、上述の手順で動画像から生成した１枚の静止画（図６左）と、この静止画において手動で血管の位置を白、それ以外を黒に塗りつぶした画像が用いられる（図６右）。学習過程では、一般的に、入力画像の一部を抜粋した画像（パッチ画像）を多数作成し、学習用画像の枚数を増やす処理が行われる。
入力画像としては、肌の色や毛穴・血管形状等の個人差に対応できるよう、複数の画像を用いることが好ましく、２枚以上、好ましくは４枚以上、より好ましくは８枚以上を用いる。入力画像中で抜粋する領域のサイズは、毛細血管とそれ以外の領域が十分に含まれる６４画素以上、好ましくは１２８画素以上、より好ましくは２５６画素以上とし、入力画像よりも小さいサイズとする。
学習の過程では、元画像と、認識対象とする物体の位置を指定(アノテーション)した画像の組み合わせが用いられる。例えば、上述の手順で動画像から生成した１枚の静止画（図６左）と、この静止画において手動で血管の位置を白、それ以外を黒に塗りつぶした画像が用いられる（図６右）。学習過程では、一般的に、入力画像の一部を抜粋した画像（パッチ画像）を多数作成し、学習用画像の枚数を増やす処理が行われる。
入力画像としては、肌の色や毛穴・血管形状等の個人差に対応できるよう、複数の画像を用いることが好ましく、２枚以上、好ましくは４枚以上、より好ましくは８枚以上を用いる。入力画像中で抜粋する領域のサイズは、毛細血管とそれ以外の領域が十分に含まれる６４画素以上、好ましくは１２８画素以上、より好ましくは２５６画素以上とし、入力画像よりも小さいサイズとする。
次いで、学習データを用いた血管領域の抽出は、学習に用いたものとは別の静止画（テスト画像）に対して検証される。一般的には、学習時のパッチ画像と同じサイズ領域を、テスト画像から順次抜粋し、抜粋した画像ごとに血管領域を推定した上で、画像を組み合わせてテスト画像のサイズに復元する。
画像全体に対して抽出が完了した後、抽出した画像をもとの位置情報を維持するように加算し１枚の画像とされる。その上で、二値化処理を行い、画像全体にわたって血管外領域は黒（画素値０)、血管領域は白（画素値２５５)で描画された画像が作成される。
なお、血流速度推定においては、一定以上の長さの線状構造のみを対象とされるため、線ではない(縦横比が同程度の)構造や、微小なノイズを除去するため、検出された血管の太さの２乗程度未満の面積の構造を除去するのが好ましい。
なお、血流速度推定においては、一定以上の長さの線状構造のみを対象とされるため、線ではない(縦横比が同程度の)構造や、微小なノイズを除去するため、検出された血管の太さの２乗程度未満の面積の構造を除去するのが好ましい。
ｉｉｉ）時空間プロットを用いた血流速度の算出
上述の処理により抽出された血管に対して、血流速度が算出される。
まず、抽出された個々の毛細血管に、番号を付すラベリング処理が行われ、その後、番号順に、血管１本を含む血管の注目領域を切り出し、例えばＺｈａｎｇ－Ｓｕｅｎの細線化処理等により血管の中心線が抽出される。次いで、取得した血管中心線の座標をＢスプライン曲線に近似し、血管の中心を通る曲線が算出される（図７）。
この曲線に沿った輝度値を直線状に変換した画像を作成し、フレーム（時間）順に並べることで、時空間プロット（縦軸：血管中心線に沿った位置、横軸：フレーム（時間））が作成される。すなわち、時空間プロットは、抽出した血管領域の中心線に沿った位置を空間軸、動画像のフレーム番号を時間軸に取った図を作成し、この図中の各点での画素値が対応する中心線上の位置及びフレーム番号での画素値と等しくなるように描画される。
上述の処理により抽出された血管に対して、血流速度が算出される。
まず、抽出された個々の毛細血管に、番号を付すラベリング処理が行われ、その後、番号順に、血管１本を含む血管の注目領域を切り出し、例えばＺｈａｎｇ－Ｓｕｅｎの細線化処理等により血管の中心線が抽出される。次いで、取得した血管中心線の座標をＢスプライン曲線に近似し、血管の中心を通る曲線が算出される（図７）。
この曲線に沿った輝度値を直線状に変換した画像を作成し、フレーム（時間）順に並べることで、時空間プロット（縦軸：血管中心線に沿った位置、横軸：フレーム（時間））が作成される。すなわち、時空間プロットは、抽出した血管領域の中心線に沿った位置を空間軸、動画像のフレーム番号を時間軸に取った図を作成し、この図中の各点での画素値が対応する中心線上の位置及びフレーム番号での画素値と等しくなるように描画される。
血流速度（全フレームの平均血流速度）は、上記の時空間プロットから、図８に示すように、１）ローパスフィルタを用いた縦じまノイズを除去し、２）エッジ抽出(例えば、Canny法によるエッジ検出)を行い、３）エッジの直線近似を行って、４）近似直線の傾きの平均値を求めることにより、算出することができる。
１．試験例
（１）皮膚毛細血管動画像の撮影
ＣＣＤカメラ（ＧＳ３－Ｕ３－１５Ｓ５， ＰＯＩＮＴ ＧＲＡＹ）に、作動距離１３．５ｍｍ、倍率１０倍のレンズ（＃８８－３５４，Ｅｄｍｕｎｄ Ｏｐｔｉｃｓ）を上向きに配置して接続した。カメラはＸＹ軸ステージ（ＴＳＤ－６０２Ｃ、シグマ光機株式会社）とＺ軸ステージ（Ｂ３３－６０ＫＧＡ、駿河精機株式会社）を組み合わせたＸＹＺ軸ステージと接続し、皮膚表面との距離や視野を調整可能とした。また、対物レンズにリング状の白色ＬＥＤ光源（ＯＰＤＲ－ＬＡ７４－４８Ｗ－２、オプテックス・エフエー社製）を固定し、撮影対象をレンズ光軸に対して入射角６０°で照明できるようにした。
本構成を用いて、皮膚毛細血管の動画像を毎秒３０フレームのフレームレートにて、１０秒間撮影し、その内の５秒分（１５０フレーム）を解析した。開口部には、透明部材としてカバーグラスを配置し、スペーサーとしては厚さ１．５ｍｍで１５ｍｍ×２５ｍｍの矩形の開口を有するシリコンゴム、コンタクト剤としてはオリーブオイルを用いた。図１及び図４Ｂに、それぞれ装置全体構成及び皮膚接触部の部分拡大を記載した。
本構成を用いることで、視野０．８９ｍｍ×０．６７ｍｍ（１３８４×１０３２画素）、解像度０．６４μｍ／画素で、動画を撮影可能である。図１、図２、図３、図４にシステムの概略図、図５に実際に撮影した画像を示した。５名の被験者の前腕内側部各３か所で撮影した、計１５枚の画像を画像処理及び解析に用いた。
（１）皮膚毛細血管動画像の撮影
ＣＣＤカメラ（ＧＳ３－Ｕ３－１５Ｓ５， ＰＯＩＮＴ ＧＲＡＹ）に、作動距離１３．５ｍｍ、倍率１０倍のレンズ（＃８８－３５４，Ｅｄｍｕｎｄ Ｏｐｔｉｃｓ）を上向きに配置して接続した。カメラはＸＹ軸ステージ（ＴＳＤ－６０２Ｃ、シグマ光機株式会社）とＺ軸ステージ（Ｂ３３－６０ＫＧＡ、駿河精機株式会社）を組み合わせたＸＹＺ軸ステージと接続し、皮膚表面との距離や視野を調整可能とした。また、対物レンズにリング状の白色ＬＥＤ光源（ＯＰＤＲ－ＬＡ７４－４８Ｗ－２、オプテックス・エフエー社製）を固定し、撮影対象をレンズ光軸に対して入射角６０°で照明できるようにした。
本構成を用いて、皮膚毛細血管の動画像を毎秒３０フレームのフレームレートにて、１０秒間撮影し、その内の５秒分（１５０フレーム）を解析した。開口部には、透明部材としてカバーグラスを配置し、スペーサーとしては厚さ１．５ｍｍで１５ｍｍ×２５ｍｍの矩形の開口を有するシリコンゴム、コンタクト剤としてはオリーブオイルを用いた。図１及び図４Ｂに、それぞれ装置全体構成及び皮膚接触部の部分拡大を記載した。
本構成を用いることで、視野０．８９ｍｍ×０．６７ｍｍ（１３８４×１０３２画素）、解像度０．６４μｍ／画素で、動画を撮影可能である。図１、図２、図３、図４にシステムの概略図、図５に実際に撮影した画像を示した。５名の被験者の前腕内側部各３か所で撮影した、計１５枚の画像を画像処理及び解析に用いた。
（２）テンプレートマッチングを用いたブレ補正
動画像のブレ補正を、テンプレートマッチング（Ｇｒａｙ Ｂｒａｄｓｋｉ， Ａｄｒｉａｎ Ｋａｒｂｌｅｒ著、松田晃一訳「詳解ＯｐｅｎＣＶ コンピュータビジョンライブラリを使った画像処理・認識」オライリー・ジャパン ｐｐ．２１６）により行った。 動画像の最初のフレームにおいて、全フレームに共通して含まれる、横１３００画素、縦１０００画素（横０．８４ｍｍ、縦０．６４ｍｍ）の領域を抽出し、テンプレート画像とした。動画像中の全フレームを入力画像とし、テンプレート画像と類似した領域を探索・抜粋した。抜粋した画像をＡＶＩ形式の動画像として保存し、ブレ補正画像を取得した。テンプレートマッチングは、ＯｐｅｎＣＶ ２．４．１１のｍａｔｃｈＴｅｍｐｌａｔｅ関数を用い、類似度の評価には正規化相互相関を用いた。以下では、ブレ補正を行った動画像に対して、処理を行った。
動画像のブレ補正を、テンプレートマッチング（Ｇｒａｙ Ｂｒａｄｓｋｉ， Ａｄｒｉａｎ Ｋａｒｂｌｅｒ著、松田晃一訳「詳解ＯｐｅｎＣＶ コンピュータビジョンライブラリを使った画像処理・認識」オライリー・ジャパン ｐｐ．２１６）により行った。 動画像の最初のフレームにおいて、全フレームに共通して含まれる、横１３００画素、縦１０００画素（横０．８４ｍｍ、縦０．６４ｍｍ）の領域を抽出し、テンプレート画像とした。動画像中の全フレームを入力画像とし、テンプレート画像と類似した領域を探索・抜粋した。抜粋した画像をＡＶＩ形式の動画像として保存し、ブレ補正画像を取得した。テンプレートマッチングは、ＯｐｅｎＣＶ ２．４．１１のｍａｔｃｈＴｅｍｐｌａｔｅ関数を用い、類似度の評価には正規化相互相関を用いた。以下では、ブレ補正を行った動画像に対して、処理を行った。
（３）動画像からの静止画の生成
深層学習を用いた血管領域の学習及び抽出には、１５０フレームの動画像における情報を用いて作成した、血管領域の情報を含む１枚の静止画に対して行った。以下では、静止画の作成方法について記載する。
皮膚毛細血管の動画像においては、毛細血管自体は周囲と区別できず、赤血球が毛細血管を通過することで、はじめて血管の存在を認識できる。そこで、当該静止画像の作成は、全フレームの情報から赤血球が流れた領域を抽出することにより行った。
カラー画像において、赤血球は周辺よりも赤く表示される。これは、Ｒ、Ｇ、Ｂのうち、Ｇの画素値が、赤血球において周辺よりも小さいため、補色の赤として認識されるためである。毛細血管内のある画素に注目した場合、１５０フレームの中でＧの画素値が最小となるフレームの色を記録すれば、赤血球が存在したフレームの情報を得ることができる。そこで、画像中の全画素に対して、Ｇの画素値が最小となるフレームの色情報を取得した上で、１枚の画像として描画することで、１５０フレームの中で赤血球が流れた領域を描出した。
深層学習を用いた血管領域の学習及び抽出には、１５０フレームの動画像における情報を用いて作成した、血管領域の情報を含む１枚の静止画に対して行った。以下では、静止画の作成方法について記載する。
皮膚毛細血管の動画像においては、毛細血管自体は周囲と区別できず、赤血球が毛細血管を通過することで、はじめて血管の存在を認識できる。そこで、当該静止画像の作成は、全フレームの情報から赤血球が流れた領域を抽出することにより行った。
カラー画像において、赤血球は周辺よりも赤く表示される。これは、Ｒ、Ｇ、Ｂのうち、Ｇの画素値が、赤血球において周辺よりも小さいため、補色の赤として認識されるためである。毛細血管内のある画素に注目した場合、１５０フレームの中でＧの画素値が最小となるフレームの色を記録すれば、赤血球が存在したフレームの情報を得ることができる。そこで、画像中の全画素に対して、Ｇの画素値が最小となるフレームの色情報を取得した上で、１枚の画像として描画することで、１５０フレームの中で赤血球が流れた領域を描出した。
（４）深層学習を用いた血管領域の抽出
深層学習を用いたセマンティックセグメンテーションのアルゴリズムは、Ｕ－ｎｅｔを用いた。
深層学習における学習の過程では、元画像と、認識対象とする物体の位置を指定（アノテーション）した画像の組み合わせを用いるが、本実施例では、上述の手順で動画像から生成した１枚の静止画（図６左）と、この静止画において手動で血管の位置を白、それ以外を黒に塗りつぶした画像を用いた（図６右）。
また、深層学習の学習過程では、一般的に、入力画像の一部を抜粋した画像を多数作成し、学習用画像の枚数を増やす処理が行われる。本実施例では、ブレを補正した１３００×１０００画素の１５枚の画像から、ランダムな位置で５１２×５１２画素の領域を取得した１５０枚の画像を用いた。学習の繰り返し回数（エポック数）５０として、学習処理を行った。
深層学習を用いたセマンティックセグメンテーションのアルゴリズムは、Ｕ－ｎｅｔを用いた。
深層学習における学習の過程では、元画像と、認識対象とする物体の位置を指定（アノテーション）した画像の組み合わせを用いるが、本実施例では、上述の手順で動画像から生成した１枚の静止画（図６左）と、この静止画において手動で血管の位置を白、それ以外を黒に塗りつぶした画像を用いた（図６右）。
また、深層学習の学習過程では、一般的に、入力画像の一部を抜粋した画像を多数作成し、学習用画像の枚数を増やす処理が行われる。本実施例では、ブレを補正した１３００×１０００画素の１５枚の画像から、ランダムな位置で５１２×５１２画素の領域を取得した１５０枚の画像を用いた。学習の繰り返し回数（エポック数）５０として、学習処理を行った。
学習データを用いた血管領域の抽出を、学習に用いたものとは別の静止画に対して検証した。まず、１３００×１０００画素の画像の左上５１２×５１２画素に対して抽出を行い、続いて、右方向に５０画素移動した領域に対して抽出を行う処理を、順次繰り返した。画像の右上まで処理を行った後、初期位置から下方向に５０移動した場所から、同様に右方向に５０画素ずつ移動させて処理を行った。これを順次繰り返すことで画像全体に対して５１２×５１２画素ごとに抽出の処理を行った。抽出された、５１２×５１２画素のそれぞれの画像においては、血管外領域は黒（画素値０）、血管領域は白（画素値２５５）で描画された。
画像全体に対して抽出が完了したのち、抽出した画像をもとの位置情報を維持するように加算し、１３００×１０００画素の１枚の画像とした。その上で、二値化処理を行い、画像全体にわたって血管外領域は黒（画素値０）、血管領域は白（画素値２５５）で描画された画像を作成した。
次いで、線ではない（縦横比が同程度の）構造や、微小なノイズを除去するため、４５０画素未満の面積の構造を除去した。
学習及び推論の処理には、Ｉｎｔｅｌ Ｃｏｒｅ ｉ７－９８００ＸのＣＰＵ及びＮＶＩＤＩＡ ＧｅＦｏｒｃｅ ＲＴＸ ２０８０ ＴｉのＧＰＵを搭載したＰＣを用い、ｐｙｔｈｏｎで作成したプログラムを用いた。
次いで、線ではない（縦横比が同程度の）構造や、微小なノイズを除去するため、４５０画素未満の面積の構造を除去した。
学習及び推論の処理には、Ｉｎｔｅｌ Ｃｏｒｅ ｉ７－９８００ＸのＣＰＵ及びＮＶＩＤＩＡ ＧｅＦｏｒｃｅ ＲＴＸ ２０８０ ＴｉのＧＰＵを搭載したＰＣを用い、ｐｙｔｈｏｎで作成したプログラムを用いた。
（５）時空間プロットを用いた血流速度の算出
（４）の処理により抽出された血管に対して、動画像から、血流速度を以下の手順で算出した。
まず、抽出された個々の毛細血管に、番号を付すラベリング処理を行った。その後、番号順に、血管１本を含む血管の注目領域を切り出し、Ｚｈａｎｇ－Ｓｕｅｎの細線化処理により血管の中心線を抽出した（図７）。取得した血管中心線の座標をＢスプライン曲線に近似し、血管の中心を通る曲線を算出した。血管領域の中心線及び近似曲線の算出の結果を、図７に示した。
（４）の処理により抽出された血管に対して、動画像から、血流速度を以下の手順で算出した。
まず、抽出された個々の毛細血管に、番号を付すラベリング処理を行った。その後、番号順に、血管１本を含む血管の注目領域を切り出し、Ｚｈａｎｇ－Ｓｕｅｎの細線化処理により血管の中心線を抽出した（図７）。取得した血管中心線の座標をＢスプライン曲線に近似し、血管の中心を通る曲線を算出した。血管領域の中心線及び近似曲線の算出の結果を、図７に示した。
この曲線に沿った輝度値を直線状に変換した画像を作成し、フレーム（時間）順に並べることで、時空間プロットを作成した。このプロットにおいて、縦軸は血管中心線に沿った位置、横軸はフレーム（時間）であり、暗い領域はその位置及び時間に赤血球が存在したことを示す。時空間プロットから、血流速度を算出する処理は、以下の手順で行った： １）ローパスフィルタを用いた縦じまノイズの除去、２）エッジ抽出（Ｃａｎｎｙ法）、３）エッジの直線近似、４）近似直線の傾きの平均値算出。
本処理により、１５０フレームの平均血流速度を算出した。処理の結果を、図８に示した。
血流速度算出の処理には、Ｉｎｔｅｌ Ｃｏｒｅ ｉ７－９８００ＸのＣＰＵを搭載したＰＣを用い、Ｍａｔｌａｂで作成したプログラムを用いた。
本処理により、１５０フレームの平均血流速度を算出した。処理の結果を、図８に示した。
血流速度算出の処理には、Ｉｎｔｅｌ Ｃｏｒｅ ｉ７－９８００ＸのＣＰＵを搭載したＰＣを用い、Ｍａｔｌａｂで作成したプログラムを用いた。
２．比較試験例
本発明の効果を検証するため、血管領域の抽出及び血流速度の算出を、従来手法と比較した。血管領域の抽出に関しては、入力画像の二値化処理及びロバスト主成分分析を比較対象とした。血流速度の算出に関しては、手動解析及びオプティカルフローを比較対象とした。
本発明の効果を検証するため、血管領域の抽出及び血流速度の算出を、従来手法と比較した。血管領域の抽出に関しては、入力画像の二値化処理及びロバスト主成分分析を比較対象とした。血流速度の算出に関しては、手動解析及びオプティカルフローを比較対象とした。
（１）血流領域の抽出
１）二値化：
入力画像に対し、大津の二値化処理 (Otsu, N (1979), "A threshold selection method from gray-level histograms", IEEE Trans. Sys., Man., Cyber. 9: 62-66) を行い、膨張処理及び収縮処理により、ノイズに由来する離散した白色領域を除去した。
１）二値化：
入力画像に対し、大津の二値化処理 (Otsu, N (1979), "A threshold selection method from gray-level histograms", IEEE Trans. Sys., Man., Cyber. 9: 62-66) を行い、膨張処理及び収縮処理により、ノイズに由来する離散した白色領域を除去した。
２）ロバスト主成分分析：
ロバスト主成分分析は、動画像中の微細で画素値の時間変動が大きい成分を、スケールが大きく画素値の時間変動が小さい成分と分離・抽出する処理である。この処理では、対象となる動画像を行列の形式で表現した上で、それを低ランク行列とスパース行列の和の形になるように分解する。分解の方法としては、低ランク行列の低ランク性を評価する項と、スパース行列のスパース性を評価する項を設け、後者に重みλを掛けて２つの項の和をとり評価関数とし、これを最小にするように成分の分離が行われる。毛細血管動画像は、動画像から微細で時間的な変動が大きい毛細血管内の赤血球の動きがスパース成分に分解され、スケールが大きく時間的な変動の小さい毛髪やシミ、皮膚上の凹凸による陰影などの背景成分が低ランク成分に分解される。
テンプレートマッチングによりブレを補正した動画像に対して、ロバスト主成分分析を実行し、血流成分の動画像を取得した。変動の大きな成分と小さな成分の分別の程度を制御する重みλは、
（ただしＮは１フレームの画素数）、
とした。
血流成分の動画像においては、血管内での赤血球の流動を示す白色粒子が、暗い背景中を流れる様子が見られた。この動画像から、以下のｉ）～ｉｉｉ）の処理によってマスク画像を作成した。ｉ）血流成分の動画像の各フレームの画素値を平均化する(血液が流れている領域は画素値が大きいため、連続的な白色領域として描画される)、ｉｉ）大津の二値化により二値画像を作成する、ｉｉｉ）膨張処理、収縮処理により、ノイズに由来する離散した白色領域を除去する（図９）。
ロバスト主成分分析は、動画像中の微細で画素値の時間変動が大きい成分を、スケールが大きく画素値の時間変動が小さい成分と分離・抽出する処理である。この処理では、対象となる動画像を行列の形式で表現した上で、それを低ランク行列とスパース行列の和の形になるように分解する。分解の方法としては、低ランク行列の低ランク性を評価する項と、スパース行列のスパース性を評価する項を設け、後者に重みλを掛けて２つの項の和をとり評価関数とし、これを最小にするように成分の分離が行われる。毛細血管動画像は、動画像から微細で時間的な変動が大きい毛細血管内の赤血球の動きがスパース成分に分解され、スケールが大きく時間的な変動の小さい毛髪やシミ、皮膚上の凹凸による陰影などの背景成分が低ランク成分に分解される。
テンプレートマッチングによりブレを補正した動画像に対して、ロバスト主成分分析を実行し、血流成分の動画像を取得した。変動の大きな成分と小さな成分の分別の程度を制御する重みλは、
とした。
血流成分の動画像においては、血管内での赤血球の流動を示す白色粒子が、暗い背景中を流れる様子が見られた。この動画像から、以下のｉ）～ｉｉｉ）の処理によってマスク画像を作成した。ｉ）血流成分の動画像の各フレームの画素値を平均化する(血液が流れている領域は画素値が大きいため、連続的な白色領域として描画される)、ｉｉ）大津の二値化により二値画像を作成する、ｉｉｉ）膨張処理、収縮処理により、ノイズに由来する離散した白色領域を除去する（図９）。
（２）血流速度の算出
１）手動での血球座標の記録
画像中に観察された、一方向に流れる赤血球の先頭部の座標を目視で判別し、座標を手動で記録した。その後、フレーム間の座標の変位を時間で割ることで、血流速度を算出した。
１）手動での血球座標の記録
画像中に観察された、一方向に流れる赤血球の先頭部の座標を目視で判別し、座標を手動で記録した。その後、フレーム間の座標の変位を時間で割ることで、血流速度を算出した。
２）オプティカルフロー
オプティカルフロー法は、動画像中の明るさ(画素値)の勾配が移動する様子を画像中の場所ごとに検出し、移動量を算出する方法である。抽出した血管領域内部にて、Ｌｕｃａｓ－Ｋａｎａｄｅによるオプティカルフロー法を実行し、赤血球の変位を算出した。各フレームで場所ごとに算出した血流速度を空間的に平均することで、時間ごとの血流速度を算出した。実行にはＯｐｅｎＣＶ ３．４．１（Ｉｎｔｅｌ Ｃｏｒｐｏｒａｔｉｏｎ）のｃａｌｃＯｐｔｉｃａｌＦｌｏｗＰｙｒＬＫ関数を用い、探索窓のサイズは１０画素四方とした。
オプティカルフロー法は、動画像中の明るさ(画素値)の勾配が移動する様子を画像中の場所ごとに検出し、移動量を算出する方法である。抽出した血管領域内部にて、Ｌｕｃａｓ－Ｋａｎａｄｅによるオプティカルフロー法を実行し、赤血球の変位を算出した。各フレームで場所ごとに算出した血流速度を空間的に平均することで、時間ごとの血流速度を算出した。実行にはＯｐｅｎＣＶ ３．４．１（Ｉｎｔｅｌ Ｃｏｒｐｏｒａｔｉｏｎ）のｃａｌｃＯｐｔｉｃａｌＦｌｏｗＰｙｒＬＫ関数を用い、探索窓のサイズは１０画素四方とした。
３．結果
撮影した皮膚毛細血管の動画像から、テンプレートマッチングによりブレを補正した上で、毛細血管を描画した１枚の静止画を作成し、深層学習を用いて血管領域を自動抽出した。その結果、入力画像中で毛細血管が見られた領域を、汗腺等の誤検出なく、抽出できた。これに対し、単純な二値化を用いた場合には、血管以外の構造が多数誤検出された。 手動で抽出した血管領域との一致率を正解率（血管領域内及び血管領域外と判定された領域の内、実際にそうである領域の割合）及び適合率（血管領域内と判定された領域の内、実際にそうである領域の割合）により評価した。正解率は、本発明の手法では９８．９％であったのに対し、二値化では７０．１％、ロバスト主成分分析では９７．５％であった。また，適合率は、本発明の手法では７７．９％であったのに対し、二値化では５．９％、ロバスト主成分分析では４６．２％であり、本発明の手法は先行技術の方法よりも高精度であった（図１０）。また、処理に要した時間は、本発明の手法では７７秒、二値化では１秒未満、ロバスト主成分分析では１３４３秒であり、精度が近いロバスト主成分分析に比べても、処理時間が約１７分の１であった。以上の結果より、深層学習を用いることで、高精度かつ高スループットで血管領域を抽出できることが示された。
撮影した皮膚毛細血管の動画像から、テンプレートマッチングによりブレを補正した上で、毛細血管を描画した１枚の静止画を作成し、深層学習を用いて血管領域を自動抽出した。その結果、入力画像中で毛細血管が見られた領域を、汗腺等の誤検出なく、抽出できた。これに対し、単純な二値化を用いた場合には、血管以外の構造が多数誤検出された。 手動で抽出した血管領域との一致率を正解率（血管領域内及び血管領域外と判定された領域の内、実際にそうである領域の割合）及び適合率（血管領域内と判定された領域の内、実際にそうである領域の割合）により評価した。正解率は、本発明の手法では９８．９％であったのに対し、二値化では７０．１％、ロバスト主成分分析では９７．５％であった。また，適合率は、本発明の手法では７７．９％であったのに対し、二値化では５．９％、ロバスト主成分分析では４６．２％であり、本発明の手法は先行技術の方法よりも高精度であった（図１０）。また、処理に要した時間は、本発明の手法では７７秒、二値化では１秒未満、ロバスト主成分分析では１３４３秒であり、精度が近いロバスト主成分分析に比べても、処理時間が約１７分の１であった。以上の結果より、深層学習を用いることで、高精度かつ高スループットで血管領域を抽出できることが示された。
また、本発明の手法により得られた血流速度を、手動解析で算出した速度及びオプティカルフローと比較した。その結果、本発明の手法は手動解析と近い結果を得ることができ、その精度はオプティカルフローよりも高かった（図１１）。本結果より、本発明の手法は従来法と同等以上の精度で血流速度を算出できることが示された。
以上より、本発明の手順により、高精度での血管領域抽出と血流速度算出を、高スループットで行えることが示された。
以上より、本発明の手順により、高精度での血管領域抽出と血流速度算出を、高スループットで行えることが示された。
１ 被写体配置部
２ 撮影台
２ａ 鏡筒
３ 顕微鏡システム
３ａ レンズ
３ｂ 光源
３ｃ カメラ
４ 画像処理手段
５ データ表示手段
６ 支柱
７ 位置調整機構
２ 撮影台
２ａ 鏡筒
３ 顕微鏡システム
３ａ レンズ
３ｂ 光源
３ｃ カメラ
４ 画像処理手段
５ データ表示手段
６ 支柱
７ 位置調整機構
Claims (3)
- 解像度４μｍ／画素、視野３ｍｍ以下の撮像光学系と、光源からの照射光をレンズの光軸に対して観察対象の表面に斜入射させる照明系を具備する顕微鏡システムを用い、顕微鏡システムと被験者身体部位の皮膚の間隙に、屈折率１．３～１．５５、粘度が５．０×１０－４～１．５×１０２Ｐａ・ｓのコンタクト剤を介した状態で皮膚毛細血管の動画像を撮影する工程と、
該工程で撮影された皮膚毛細血管の動画像に対し、少なくともテンプレートマッチングを用いて動画像のフレーム間の位置合わせをする処理、
深層学習を用いて血管領域を抽出する処理、
抽出した血管領域の中心線に沿った位置を空間軸、動画像のフレーム番号を時間軸に取った時空間プロットを作成する処理と、時空間プロットにおける明暗のパターンに対しエッジ検出及び直線近似を行う処理と、該近似直線の傾きから血流速度を算出する処理、
を含む、皮膚毛細血管画像の解析方法。 - 照射光をレンズの光軸に対して５～８５度の入射角で観察対象の表面に斜入射させる、請求項１記載の方法。
- 請求項１又は２項記載の方法に用いられる装置であって、
解像度４μｍ／画素、視野３ｍｍ以下の撮像光学系と、光源からの照射光をレンズの光軸に対して観察対象の表面に斜入射させる照明系を具備する顕微鏡システムを用い、顕微鏡システムと被験者身体部位の皮膚の間隙に、屈折率１．３～１．５５、粘度が５．０×１０－４～１．５×１０２Ｐａ・ｓのコンタクト剤を介した状態で皮膚毛細血管の動画像を撮影する手段と、データを表示するデータ表示手段、及び下記ｉ）～ｖ）の画像解析処理を行うための画像処理手段を含む皮膚毛細血管画像の解析装置；
ｉ）該工程で撮影された皮膚毛細血管の動画像に対し、少なくともテンプレートマッチングを用いて動画像のフレーム間の位置合わせをする処理、ｉｉ）深層学習を用いて血管領域を抽出する処理、ｉｉｉ）抽出した血管領域の中心線に沿った位置を空間軸、動画像のフレーム番号を時間軸に取った時空間プロットを作成する処理、ｉｖ）時空間プロットにおける明暗のパターンに対しエッジ検出及び直線近似を行う処理、ｖ）該近似直線の傾きから血流速度を算出する処理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019092141A JP7202569B2 (ja) | 2019-05-15 | 2019-05-15 | 皮膚毛細血管の撮影及び解析方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019092141A JP7202569B2 (ja) | 2019-05-15 | 2019-05-15 | 皮膚毛細血管の撮影及び解析方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020185214A JP2020185214A (ja) | 2020-11-19 |
| JP7202569B2 true JP7202569B2 (ja) | 2023-01-12 |
Family
ID=73223408
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019092141A Active JP7202569B2 (ja) | 2019-05-15 | 2019-05-15 | 皮膚毛細血管の撮影及び解析方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7202569B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115482244B (zh) * | 2022-09-14 | 2024-05-07 | 南京索图科技有限公司 | 一种内镜镜下影像处理方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012115572A (ja) | 2010-12-02 | 2012-06-21 | Canon Inc | 血流速算出装置及び方法 |
| JP2013518695A (ja) | 2010-02-08 | 2013-05-23 | オレゴン ヘルス アンド サイエンス ユニバーシティ | 超高感度光学微小血管造影用の方法および装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010075354A (ja) * | 2008-09-25 | 2010-04-08 | Takenori Uchiyama | 毛細血管血流測定装置、毛細血管血流測定方法およびプログラム |
-
2019
- 2019-05-15 JP JP2019092141A patent/JP7202569B2/ja active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013518695A (ja) | 2010-02-08 | 2013-05-23 | オレゴン ヘルス アンド サイエンス ユニバーシティ | 超高感度光学微小血管造影用の方法および装置 |
| JP2012115572A (ja) | 2010-12-02 | 2012-06-21 | Canon Inc | 血流速算出装置及び方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020185214A (ja) | 2020-11-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Roy et al. | A review of recent progress in lens-free imaging and sensing | |
| JP4485837B2 (ja) | 皮膚画像のコンピュータ解析のための方法およびシステム | |
| EP3676797B1 (en) | Speckle contrast analysis using machine learning for visualizing flow | |
| US8498460B2 (en) | Reflectance imaging and analysis for evaluating tissue pigmentation | |
| EP3846126A1 (en) | Preprocessing method for performing quantitative analysis on fundus image, and storage device | |
| KR20140112046A (ko) | 피부 부위 상의 피부 징후를 검출하고 정량화하는 방법과 장치 | |
| JP5405994B2 (ja) | 画像処理装置、画像処理方法、画像処理システム、肌評価方法 | |
| JP6756524B2 (ja) | 美容施術効果の解析方法 | |
| JP4751689B2 (ja) | 眼球表面解析システム | |
| CN109752377B (zh) | 一种分光式双模态投影层析组织血管成像装置及方法 | |
| JP2007252891A (ja) | 肌の美しさの目視評価値の推定方法 | |
| JP2019058641A (ja) | 肌の内部構造の推定方法、肌の内部構造の推定プログラム、および肌の内部構造の推定装置 | |
| KR101615434B1 (ko) | 수족피부질환 평가 및 진단을 위한 장치 및 그 방법 | |
| JP7202569B2 (ja) | 皮膚毛細血管の撮影及び解析方法 | |
| TWI430776B (zh) | 智慧型影像膚質檢測系統及方法 | |
| Zheng et al. | A texture-aware U-Net for identifying incomplete blinking from eye videography | |
| JP2007252892A (ja) | 皮膚表面の立体形状の目視評価値の推定方法 | |
| CN113520301A (zh) | 空间-光谱成像方法和视网膜成像设备 | |
| JP7164090B2 (ja) | 皮膚毛細血管の撮影及び解析方法 | |
| JP2007020956A (ja) | 撮像プローブ | |
| Ma et al. | Layered vasculature segmentation of color conjunctival image based on wavelet transform | |
| KR101536700B1 (ko) | 두피 표면 및 단층 영상의 동시구현이 가능한 두피 진단 방법 및 진단 장치 | |
| WO2021226414A1 (en) | Methods for identifying dendritic pores | |
| Goudarz et al. | Introducing a new feature extraction method for non-contact blood pressure estimating through ippg signals extracted using gr method from video images of different facial regions | |
| JP7246974B2 (ja) | 肌画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220322 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221213 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221216 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7202569 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |