JP7164890B2 - ３次元血管認識方法及び３次元血管認識装置 - Google Patents
３次元血管認識方法及び３次元血管認識装置 Download PDFInfo
- Publication number
- JP7164890B2 JP7164890B2 JP2020110627A JP2020110627A JP7164890B2 JP 7164890 B2 JP7164890 B2 JP 7164890B2 JP 2020110627 A JP2020110627 A JP 2020110627A JP 2020110627 A JP2020110627 A JP 2020110627A JP 7164890 B2 JP7164890 B2 JP 7164890B2
- Authority
- JP
- Japan
- Prior art keywords
- blood vessel
- image
- skeleton
- dimensional
- contour
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000004204 blood vessel Anatomy 0.000 title claims description 245
- 238000000034 method Methods 0.000 title claims description 108
- 230000008569 process Effects 0.000 claims description 57
- 238000000605 extraction Methods 0.000 claims description 48
- 238000003384 imaging method Methods 0.000 claims description 24
- 238000012545 processing Methods 0.000 claims description 23
- 238000004364 calculation method Methods 0.000 claims description 21
- 238000005520 cutting process Methods 0.000 claims description 17
- 238000009499 grossing Methods 0.000 claims description 17
- 239000002131 composite material Substances 0.000 claims description 12
- 239000000284 extract Substances 0.000 claims description 12
- 230000002194 synthesizing effect Effects 0.000 claims description 7
- 230000002146 bilateral effect Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 8
- 238000011156 evaluation Methods 0.000 description 8
- 239000013598 vector Substances 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 7
- 239000002872 contrast media Substances 0.000 description 7
- 230000002792 vascular Effects 0.000 description 7
- 238000007796 conventional method Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000002595 magnetic resonance imaging Methods 0.000 description 5
- 238000012800 visualization Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000007689 inspection Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 239000002184 metal Substances 0.000 description 4
- 229910052751 metal Inorganic materials 0.000 description 4
- 210000003462 vein Anatomy 0.000 description 4
- 206010073306 Exposure to radiation Diseases 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 235000015110 jellies Nutrition 0.000 description 3
- 239000008274 jelly Substances 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 238000011282 treatment Methods 0.000 description 3
- 238000007794 visualization technique Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 239000002537 cosmetic Substances 0.000 description 2
- 150000002739 metals Chemical class 0.000 description 2
- 239000000523 sample Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010009244 Claustrophobia Diseases 0.000 description 1
- 206010020751 Hypersensitivity Diseases 0.000 description 1
- 206010028813 Nausea Diseases 0.000 description 1
- 206010062237 Renal impairment Diseases 0.000 description 1
- 208000024780 Urticaria Diseases 0.000 description 1
- 206010047700 Vomiting Diseases 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000007815 allergy Effects 0.000 description 1
- 208000006673 asthma Diseases 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 230000000747 cardiac effect Effects 0.000 description 1
- 210000001627 cerebral artery Anatomy 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001631 haemodialysis Methods 0.000 description 1
- 230000000322 hemodialysis Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 150000002497 iodine compounds Chemical class 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 230000008693 nausea Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 208000019899 phobic disease Diseases 0.000 description 1
- 231100000857 poor renal function Toxicity 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 230000008673 vomiting Effects 0.000 description 1
Images
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Image Analysis (AREA)
Description
本発明は、生体の血管を認識する３次元血管認識方法及び３次元血管認識装置に関する。
医療現場などでは、検査や治療を行う際に生体内の断面や輪郭を可視化することがある。このような可視化技術として、生体内の血管への適切な穿刺を促すことを可能にする特許文献１に開示される静脈可視化技術が知られている。
特許文献１の静脈可視化装置は、撮像部、投射部、照射部及び表示部を備えており、血液中のヘモグロビンが近赤外光を吸収する性質を利用して、非侵襲的に血管（静脈）走行を可視化する装置である。近赤外線カメラにより血管を強調した２次元画像を撮影して表示部に表示する。このような静脈可視化装置は、直視下では血管を確認しにくい人や血管が細い人、注射や点滴を複数回行っている人、血液透析を行っていて血管が石灰化している人などへの穿刺の補助を目的に使用している。
しかし、特許文献１の血管可視化装置は、２次元画像のみで血管情報を提示し、立体的な血管認識機能を持たないため、生体表面からの深さなど血管情報の表示に改善の余地がある。また、穿刺の補助、検査及び治療の際に、生体内の断面や輪郭を認識する装置として次のような装置が一般的に知られている。
ＣＴ装置は、Ｘ線を生体の周囲から照射し、コンピュータを使って断面を画像化する装置である。生体内のＸ線透過の差を、細かく白黒の濃淡としてフイルム、モニターなどに表わす。検査中はおよそ５分～１５分程度、台の上で仰向けになってＸ線を受ける。一般的には、血管検査の場合に造影剤を併用することで、より詳しく構造や機能を評価することができる。しかし、ＣＴ検査で用いる造影剤は、ほとんどの場合ヨードの化合物で、血管内に直接投与され、副作用として、吐き気・嘔吐・熱感・じんましんなどが確認されることがある。これらの副作用の発現率はそれらすべてを合わせても１～５％未満であるが、造影剤にアレルギーのある方や喘息の方、腎臓の機能に障害のある方などは、リスクが高いとされており、医師の判断によって造影剤の投与がされない可能性がある。
ＭＲＩ装置は、放射線は使用せず、強い磁石と電波を使って、生体のあらゆる断面を正確に写し出す画像診断装置である。しかし、大きい磁石と電波を使うので、患者様によっては検査を行うことができない場合がある。まず、心臓ペースメーカを装着している患者様、脳動脈クリップなど体内に金属がある患者様は検査を行えない。また、アイラインなど化粧品に含まれる微小な金属が電波の影響で熱をもって、火傷の原因にもなるため、検査前には化粧類は落として検査する必要がある。さらに、検査時にはトンネルのような筒の中に入っているので、閉所恐怖症の患者様は検査が行えないことがある。検査時間は、検査の目的によっても変わるが、およそ２０分～４０分と長くなる。ＭＲＩ検査は磁石と電波によって画像を得るため、ＣＴ検査のような放射線による被曝がない。もう一つの特長は、造影剤を使用しなくても血管の情報が得られることである。
超音波診断装置は、超音波を生体に照射し、生体内の音響的に異なる境界面から戻ってくる反射波を分析して生体内の内部構造や血流の分布状態を画像化する装置である。生体に対して無害、小型で安価かつ検査料も安い、時間の遅れがなくリアルタイムの表示が可能である。超音波診断装置による３次元画像表示は、ＣＴ、ＭＲＩなどの装置と同様、複数の断層像から立体的な３次元画像を再構成し、さらにこれをフイルム、モニターなどの３次元画像として表示するものである。しかし、最近の４Ｄ／リアルタイム３Ｄ画像表示といわれる表示法は、この３次元表示に時間軸を付加し動画として表示させたものであり、精度が高くないため、産科領域（胎児の観察、計測）主に利用されている。ＣＴやＭＲＩと違い、一度に身体の広い部分をスキャンすることは出来ない。得られる情報も、ＣＴやＭＲＩに比べて多いとは言えない。また、空気があると超音波が乱反射して画像が得られない。さらに、超音波探触子を患者の皮膚に直接的に接触させて検査を行うため、プローブと皮膚の間に超音波を伝導させるための超音波ゼリーを塗布する必要がある。検査時間は１５分ぐらいと長くかかる。
本発明は、以上の点に鑑み、血管走行を映し出す２次元の血管可視化方法及び装置ではなく、近赤外カメラを使用することで、非侵襲的に血管の走行や太さ、深さなど複数の３次元血管情報を算出し、仮想空間に３次元血管画像を再構成することができる３次元血管認識方法と共に小型且つ軽量な３次元血管認識装置を提供することを課題とする。ここで、「血管の輪郭」とは、血管を形作っている周りの線をいい、「血管の骨格」とは、血管領域に内接する円の中心の集合としたものをいう。
［１］
異なる波長の近赤外線が照射された生体の前記異なる波長の近赤外線に応じた複数の画像を撮影部で撮影し、制御部で各画像の血管の輪郭を抽出する血管抽出工程と、
前記制御部で前記各画像の血管の輪郭を合成して輪郭の合成画像を作成する合成画像作成工程と、
前記制御部で前記合成画像に対して前記波長の成分に分けて図形を平滑化し、処理画像を得る画像処理工程と、
前記制御部で前記処理画像から前記血管の骨格を抽出し、ベジェ曲面を演算して前記血管を３次元に復元化して表示部に表示する３次元復元化工程と、を備えていることを特徴とする。
異なる波長の近赤外線が照射された生体の前記異なる波長の近赤外線に応じた複数の画像を撮影部で撮影し、制御部で各画像の血管の輪郭を抽出する血管抽出工程と、
前記制御部で前記各画像の血管の輪郭を合成して輪郭の合成画像を作成する合成画像作成工程と、
前記制御部で前記合成画像に対して前記波長の成分に分けて図形を平滑化し、処理画像を得る画像処理工程と、
前記制御部で前記処理画像から前記血管の骨格を抽出し、ベジェ曲面を演算して前記血管を３次元に復元化して表示部に表示する３次元復元化工程と、を備えていることを特徴とする。
かかる構成によれば、血管抽出工程では異なる波長の近赤外線に応じた複数の画像を撮影部で撮影し、制御部で各画像の血管の輪郭を抽出する。合成画像作成工程では各画像の血管の輪郭を合成し、画像処理工程では合成画像に対して波長の成分に分けて図形を平滑化し、３次元復元化工程ではベジェ曲面により血管を３次元に復元化して表示部に表示する。このように、血管抽出工程、合成画像作成工程、画像処理工程及び３次元復元化工程を連続させることで、撮影部（近赤外カメラ）を介して、非侵襲的に血管の走行や太さ、深さなど複数の３次元血管情報を算出する。このため、従来の手法では抽出が容易でなかった血管抽出処理の精度を向上させ、仮想空間に３次元血管画像を再構成することができる３次元血管認識方法と共に小型且つ軽量な３次元血管認識装置を提供することができる。
さらに、本発明は、従来の超音波診断装置よりも生体の広い部分を撮影してスキャンすることが可能であるが、最適化技術を利用しているため処理時間を例えばわずか２０秒に短縮でき、さらに一般的に汎用化されている組み込み技術を使えば、画像処理速度が速くなりリアルタイムで処理することが可能になる。さらに、本発明は、放射線被爆がない、造影剤を使用しない、金属検査をしない、ゼリー塗布をしない、小型かつ非接触型などのメリットを持っているため、本発明によれば、血管を検査する者（臨床検査技師、医師など）と検査される者の両者に対して検査の負担を軽くすることができる。
［２］好ましくは、前記血管抽出工程は、
前記生体の前記画像を前記撮影部で撮影する撮影工程と、
撮影された前記画像を赤外線単色光としてグレースケール画像に変換するグレースケール化工程と、
前記グレースケール画像からバイラテラルフィルタによりノイズを低減して平滑化画像にする平滑化フィルタ工程と、
ＤｏＧフィルタにより前記平滑化画像の差をとりガウシアン差分画像にするＤｏＧフィルタ工程と、
前記ガウシアン差分画像に所定の閾値により２値化して２値化画像にする２値化工程と、
前記２値化画像から動的輪郭抽出法で前記血管の輪郭を抽出する動的輪郭法工程と、を備えている。
前記生体の前記画像を前記撮影部で撮影する撮影工程と、
撮影された前記画像を赤外線単色光としてグレースケール画像に変換するグレースケール化工程と、
前記グレースケール画像からバイラテラルフィルタによりノイズを低減して平滑化画像にする平滑化フィルタ工程と、
ＤｏＧフィルタにより前記平滑化画像の差をとりガウシアン差分画像にするＤｏＧフィルタ工程と、
前記ガウシアン差分画像に所定の閾値により２値化して２値化画像にする２値化工程と、
前記２値化画像から動的輪郭抽出法で前記血管の輪郭を抽出する動的輪郭法工程と、を備えている。
かかる構成によれば、グレースケール化工程、平滑化フィルタ工程、ＤｏＧフィルタ工程、２値化工程及び動的輪郭法工程により、ノイズを低減させて精度の高い３次元血管情報を得ることができる。
［３］好ましくは、３次元復元化工程は、
前記処理画像から前記血管の骨格を抽出する骨格抽出工程と、
抽出した前記骨格を切り分ける切り分け工程と、
切り分けた前記骨格毎にベジェ曲面の制御点を求める制御点探索工程と、
前記制御点からベジェ曲面を演算するベジェ曲面演算工程と、
演算して求めた前記ベジェ曲面上の点を三角形分割する三角形分割工程と、
三角形分割して得られた複数の面を前記表示部の同一の空間に描画する血管３次元描画工程と、を備えている。
前記処理画像から前記血管の骨格を抽出する骨格抽出工程と、
抽出した前記骨格を切り分ける切り分け工程と、
切り分けた前記骨格毎にベジェ曲面の制御点を求める制御点探索工程と、
前記制御点からベジェ曲面を演算するベジェ曲面演算工程と、
演算して求めた前記ベジェ曲面上の点を三角形分割する三角形分割工程と、
三角形分割して得られた複数の面を前記表示部の同一の空間に描画する血管３次元描画工程と、を備えている。
かかる構成によれば、骨格抽出工程、切り分け工程、制御点探索工程、ベジェ曲面演算工程、三角形分割工程及び動的輪郭法工程により、より精度の高い３次元血管情報を得ることができる。
［４］好ましくは、３次元復元化工程は、
前記処理画像から前記血管の骨格を抽出する骨格抽出工程と、
抽出した前記骨格を切り分ける切り分け工程と、
切り分けた前記骨格毎に前記骨格の垂直断面に形成される前記血管の輪郭に近似する楕円の制御点を求める制御点探索工程と、
前記制御点を３次元に配置して前記骨格の垂直断面毎に前記制御点から楕円を形成する楕円当てはめ工程と、
前記楕円からベジェ曲面を演算するベジェ曲面演算工程と、
演算して求めた前記ベジェ曲面上の点を三角形分割する三角形分割工程と、
三角形分割して得られた複数の面を前記表示部の同一の空間に描画する血管３次元描画工程と、を備えている。
前記処理画像から前記血管の骨格を抽出する骨格抽出工程と、
抽出した前記骨格を切り分ける切り分け工程と、
切り分けた前記骨格毎に前記骨格の垂直断面に形成される前記血管の輪郭に近似する楕円の制御点を求める制御点探索工程と、
前記制御点を３次元に配置して前記骨格の垂直断面毎に前記制御点から楕円を形成する楕円当てはめ工程と、
前記楕円からベジェ曲面を演算するベジェ曲面演算工程と、
演算して求めた前記ベジェ曲面上の点を三角形分割する三角形分割工程と、
三角形分割して得られた複数の面を前記表示部の同一の空間に描画する血管３次元描画工程と、を備えている。
かかる構成によれば、楕円当てはめ工程により、演算により求められる血管の断面を楕円で近似するので、より実際の血管形状に近似させて精度の高い３次元血管情報を得ることができる。
［５］好ましくは、異なる波長の近赤外線が照射された生体の前記異なる波長の近赤外線に応じた複数の画像を撮影する撮影部と、
撮影した各画像の血管の輪郭を抽出し、
前記各画像の血管の輪郭を合成して輪郭の合成画像を作成し、前記合成画像に対して前記波長の成分に分けて図形を平滑化することで処理画像を得て、前記処理画像から前記血管の骨格を抽出し、ベジェ曲面を演算して前記血管を３次元に復元化する制御部と、
３次元に復元化された前記血管を表示する表示部と、を備えている。
撮影した各画像の血管の輪郭を抽出し、
前記各画像の血管の輪郭を合成して輪郭の合成画像を作成し、前記合成画像に対して前記波長の成分に分けて図形を平滑化することで処理画像を得て、前記処理画像から前記血管の骨格を抽出し、ベジェ曲面を演算して前記血管を３次元に復元化する制御部と、
３次元に復元化された前記血管を表示する表示部と、を備えている。
かかる構成によれば、撮影部、制御部、表示部からなる簡易な構成で、血管抽出処理の精度を向上させ、仮想空間に３次元血管画像を再構成することができる。撮影部、制御部、表示部からなるので、小型且つ軽量な３次元血管認識装置とすることができる。
［６］好ましくは、異なる波長の近赤外線が照射された生体の前記異なる波長の近赤外線に応じた複数の画像を撮影する撮影部と、
撮影した各画像の血管の輪郭を抽出し、
前記各画像の血管の輪郭を合成して輪郭の合成画像を作成し、前記合成画像に対して前記波長の成分に分けて図形を平滑化することで処理画像を得て、前記処理画像から前記血管の骨格を抽出し、前記骨格毎に前記骨格の垂直断面に形成される前記血管の輪郭に近似する楕円の制御点を求め、前記制御点を３次元に配置して前記骨格の垂直断面毎に前記制御点から楕円を形成し、前記楕円からベジェ曲面を演算して前記血管を３次元に復元化する制御部と、
３次元に復元化された前記血管を表示する表示部と、を備えている。
撮影した各画像の血管の輪郭を抽出し、
前記各画像の血管の輪郭を合成して輪郭の合成画像を作成し、前記合成画像に対して前記波長の成分に分けて図形を平滑化することで処理画像を得て、前記処理画像から前記血管の骨格を抽出し、前記骨格毎に前記骨格の垂直断面に形成される前記血管の輪郭に近似する楕円の制御点を求め、前記制御点を３次元に配置して前記骨格の垂直断面毎に前記制御点から楕円を形成し、前記楕円からベジェ曲面を演算して前記血管を３次元に復元化する制御部と、
３次元に復元化された前記血管を表示する表示部と、を備えている。
かかる構成によれば、撮影部、制御部、表示部からなる簡易な構成で、血管抽出処理の精度を向上させ、仮想空間に３次元血管画像を再構成することができる。制御部は、演算により求められる血管の断面を楕円で近似するので、簡易な構成でより実際の血管形状に近似させて精度の高い３次元血管情報を得ることができる。
［７］好ましくは、前記撮影部は、前記生体を撮影する複数の汎用カメラと、これらの複数の汎用カメラのレンズの前方に設けられ所定の異なる波長域の近赤外線をカットする複数のカットフィルタと、を備えている。
かかる構成によれば、撮影部は、生体を撮影する複数の汎用カメラと、所定の異なる波長域の近赤外線をカットする複数のカットフィルタを設けたのみであるので、装置のコストを低減することができる。
近赤外カメラを使用することで、非侵襲的に血管の走行や太さ、深さなど複数の３次元血管情報を算出し、仮想空間に３次元血管画像を再構成することができる３次元血管認識方法と共に小型且つ軽量な３次元血管認識装置を提供することができる。
本発明の実施の形態を添付図に基づいて以下に説明する。なお、図面は、スケートブレード用研磨器具を概念的（模式的）に示すものとする。
図１に示すように、一例としての生体１０の断面では、皮膚１１の奥に血管１２が存在している。血管１２は立体的な形状であるため、皮膚１１を平面視で見た２次元的な血管１２の画像だけでなく、３次元的な血管１２の画像やモデルがあると、血管１２の位置を正確に把握することができるので検査や治療の際に好ましい。
図１及び図２に示すように、光は波長が長くなるほど皮膚１１の奥まで届く性質を持っている。近赤外線による画像では、可視光領域で撮影が可能な領域よりも深い部分を撮影できる。
次に３次元血管認識装置２０について説明する。
図３及び図４に示すように、３次元血管認識装置２０は、撮影部２１と、制御部２５と、表示部２６と、台部２７と、を備えている。撮影部（近赤外線カメラ）２１は、異なる波長の近赤外線が照射された生体１０の異なる波長の近赤外線に応じた複数の画像３０（図６参照）を撮影するものである。撮影部２１は、台部２７に固定されたアーム２２と、このアーム２２の先端部に設けられた３つの汎用カメラ２３と、これらの汎用カメラ２３のレンズの前方に設けられ所定の異なる波長域をカットする３種類のフィルタ２４ａ、２４ｂ、２４ｃと、を備えている。
フィルタ２４ａは、７６０ｎｍ以下の波長域をカットすることで、概ね波長７６０ｎｍ以上の赤外線を通すものとして使用される。フィルタ２４ｂは、８００ｎｍ以下の波長域をカットすることで、概ね波長８００ｎｍ以上の赤外線を通すものとして使用される。フィルタ２４ｃは、８４０ｎｍ以下の波長域をカットすることで、概ね波長８４０ｎｍ以上の赤外線を通すものとして使用される。このため、波長７６０ｎｍ以上の赤外線を通すフィルタ２４ａを設けた汎用カメラ２３は、波長７６０ｎｍ用の画像を撮影するカメラとなる。波長８００ｎｍ以上の赤外線を通すフィルタ２４ｂを設けた汎用カメラ２３は、波長８００ｎｍ用の画像を撮影するカメラとなる。波長８４０ｎｍ以上の赤外線を通すフィルタ２４ｃを設けた汎用カメラ２３は、波長８４０ｎｍ用の画像を撮影するカメラとなる。
制御部２５は、撮影した各画像３０の血管の輪郭を抽出し、各画像３０の血管（静脈）の輪郭を合成して輪郭の合成画像４０（図８参照）を作成し、合成画像４０に対して波長の成分に分けて図形を平滑化することで処理画像４１（図８参照）を得る。さらに制御部２５は、処理画像４１から血管の骨格を抽出し、抽出した骨格を切り分けて端から端まで探索を進め、骨格から垂線を引き入力画面上でその垂線上に沿って値の変化を読み取り制御点を求めＸ、Ｙ座標とし、入力座標における制御点の座標の値をＺとし、ベジェ曲面６０（図１１参照）を演算して血管７０（図１２参照）を３次元に復元化するものである。
表示部２６は、３次元に復元化された血管７０を表示するものである。台部２７は、生体１０を置くと共に、撮影部２１に接続されたアーム２２、制御部２５及び表示部２６を支持するものである。なお、生体１０を撮影できれば台部２７は無くてもよく、さらには撮影部２１を操作者（不図示）が手で支持してもよい。
次に３次元血管認識方法の主工程のフローについて説明する。なお、以後の説明では符号は図３、図６～図９、図１１及び図１２を適宜参照する。また、３次元血管認識装置２０は、窓から入る自然光や、ＬＥＤ、蛍光灯、白熱電球などの一般的な照明器具による室内灯の明かりの下で使用することが可能である。特別な波長を照射する器具が不要であり、装置のコストを低減できる。なお、生体１０からの反射光をより正確に受けるために、所定の波長を照射する照射器具（光源）を使用しても差し支えない。
図５に示すように、３次元血管認識方法の主工程は、血管抽出工程、合成画像作成工程、画像処理工程及び３次元復元化工程を備えている。ＳＴＥＰ１で、異なる波長の近赤外線が照射された生体の異なる３つの波長の近赤外線に応じた３つの画像３０を撮影部２１で撮影し、制御部２５で各画像３０の血管の輪郭を抽出する（血管抽出工程）。ＳＴＥＰ２で、制御部２５で各画像３０の血管の輪郭を合成して輪郭の合成画像４０を作成する（合成画像作成工程）。ＳＴＥＰ３で、制御部２５で合成画像４０に対して波長の成分に分けて図形を平滑化し、処理画像４１を得る（画像処理工程）。ＳＴＥＰ４で、制御部２５で処理画像４１から血管の骨格を抽出し、ベジェ曲面５０を演算して血管を３次元に復元化して表示部２６に表示する（３次元復元化工程）。
次にＳＴＥＰ１の血管抽出工程の副工程のフローについて説明する。
図５の右上部に示すように、ＳＴＥＰ１１で、生体１０の波長の異なる３つの画像３０を撮影部２１で撮影する（撮影工程）。ＳＴＥＰ１２で、撮影された画像３０を赤外線単色光としてグレースケール画像３１に変換する（グレースケール化工程）。
グレースケール変換は、本発明で使用する画像（赤外線画像）３０が、撮影部（センサー）２１の反応領域内の波長をすべて赤外線単色光としてデータ化するためであり、また、扱うデータ量の圧縮および処理の簡略化のためである。血管抽出に用いる赤外線画像３０では、血管と皮膚との吸収率の違いにより血管を抽出するため、グレースケール変換を行っても結果にほとんど影響はない。グレースケール変換の方法は様々だが、発明ではNTSC係数による加重平均法を利用する。よってグレースケール化の輝度値の値はYIQ表色系のY（輝度）にあたる。以下に、カラー画像（RGB）からグレースケール画像への変換式を数式１に示すとともに、赤外線画像３０とそれをグレースケール変換したグレースケール画像３１を図６に示す。
ＳＴＥＰ１３で、グレースケール画像３１からバイラテラルフィルタによりノイズを低減して平滑化画像にする（平滑化フィルタ工程）。
平滑化フィルタ工程では、光学カメラ等で撮影された画像３０には、外乱の影響等による様々なノイズが存在している。そこで、平滑化を行うことでこれらのノイズを低減する手法が多く研究、利用されている。本発明では、バイラテラルフィルタを利用して画像３０のノイズの低減を行う。バイラテラルフィルタはガウシアンフィルタと同様にノイズ低減のために利用される平滑化フィルタの一種であるが、フィルタカーネルを生成する際に画素値間の距離も考慮することで、物体境界の輪郭を保持したまま平滑化を行うことができる。注目画素 f (x, y)に対してカーネルサイズ (2W + 1) × (2W + 1) のバイラテラルフィルタを施した時、出力される結果 g(x, y) は数式２のようになる。
ここで、w(x, y, i, j) は注目画素 f (x, y) と参照画素 f (x + i, y + j) との画素値間の距離により算出する重みであり、画素値間の距離を用いて正規分布により重みを算出すると次の数式３のようになる。
この重みを用いることで、輝度差が小さいと重みが大きく、また、輝度差が大きいと重みが小さくなるように滑らかに変化する。本発明ではＷ、σ１、σ２を１６、３．０、０．８４９とした。これらのパラメータは限定されるものではなく、画像サイズ等に合わせて定めるものとする。これにより、物体境界の輪郭を保持したまま画像のノイズの低減を行う。図６に平滑化フィルタを使用した平滑化画像３２を示す。
ＳＴＥＰ１４で、ＤｏＧフィルタにより平滑化画像３２の差をとりガウシアン差分画像３３にする（ＤｏＧフィルタ工程）。
ＤｏＧフィルタ工程では、ＤｏＧフィルタ(Difference of Gaussian Filter)を利用して血管抽出を行う。ガウシアン差分はガウス関数のスケール空間の異なるＤｏＧフィルタ（ガウシアンフィルタ）により平滑化された画像の差をとる処理である。赤外線画像３０における血管部と皮膚部のマクロ的なコントラストはある程度強いものの、ミクロ的にはその境界は滑らかで、曖昧であることが多い。そのため、カーネルサイズが小さいエッジ抽出フィルタでは血管部の抽出が困難である。また、単純な閾値処理を適用しただけでは、照明ムラ等により皮膚部の誤抽出が多くなってしまう。そこで本発明では、血管径が手の甲に対して十分に小さいことから、血管部が輝度変化の滑らかなエッジであるとし、ＤｏＧフィルタを利用して血管抽出を行う。ＤｏＧフィルタにより、ガウシアンフィルタのフィルタサイズ等のスケールの組み合わせを変化させることで、一般的なエッジ抽出よりも、滑らかな変化のエッジ部を抽出することが可能となる。ＤｏＧフィルタは数式４で表される。図６にＤｏＧフィルタを使用したガウシアン差分画像３３を示す。本発明ではσ３、σ４を０．８４９、５．０とした。これらのパラメータは限定されるものではなく、画像の状況に合わせて定めるものとする。
ＳＴＥＴ１５で、ガウシアン差分画像３３に所定の閾値により２値化して２値化画像３４にする（２値化工程）。
２値化工程では、差分後の画像に閾値を用いた２値化を行う。ＤｏＧフィルタを適用した画像上では血管候補部と認識された部分が抽出された。これにはノイズとして血管部ではない部分も抽出されているため、所定の閾値による２値化を行うことで血管候補部の抽出を行う。本発明では閾値を０．８とした。図６に閾値により２値化した２値化画像３４を示す。ただし、当該閾値は０．８に限定されるものではなく、適宜近赤外線の照射部の状況等に合わせて定めるものとする。
２値化工程に続けて、ノイズ除去を行う。原画像中には様々なノイズが存在するため、２値化後の２値化画像３４においても少なからずノイズが存在する。これらのノイズまたは誤抽出した部分を低減し、血管部の抽出をより正確なものとするため、面積が一定以下である抽出部を削除することでノイズ除去を行う。まず２値化した血管画像にラベリング処理を行う。ここで述べる２値化画像３４でのラベリング処理とは、連結成分ごとに区別された記号（ラベル）を各画素に入れた画像により、個々の連結成分を区別するものである。このラベリングにより、各連結成分のピクセル単位での面積計算等が可能になる。
２値化画像３４上に存在するノイズの面積は、血管部の面積に対して比較的小さいものが多い。また、血管部であっても抽出範囲が小さい場合は、例えば医療行為時に穿刺を行うことが難しい可能性が高いため、穿刺候補から外しておきたい。よって、一定の面積以下のパターンを削除することで、上記の範囲を穿刺候補から外す。本発明では抽出された血管の内、ピクセルの面積が２００より小さいものに対して削除を行う。図６にピクセル数が小さいものをノイズとして除去した輪郭の画像３５を示す。なお、図６の輪郭の画像３５は、波長７６０ｎｍの画像である。
ＳＴＥＰ１６で、２値化画像３４から動的輪郭抽出法で血管の輪郭を抽出する（動的輪郭法工程）。
ここで用いた動的輪郭抽出法は、Lanktonらの考案した局所領域に基づく動的輪郭抽出法である（Shawn Lankton and Allen Tannenbaum, “Localizing Region Based Active Contours”, IEEE Transaction on Image Processing. Vol. 17, No. 11, pp. 2029-2039, 2008.ならびに、米国特許第8,155,405号ほか）。この方法では、グローバル変数で定義された領域モデルではなく、局所エネルギーモデルを各局所領域にそれぞれ当てはめることによって画像領域を分割する。具体的には、ある閉曲線によって分けられた局所領域の内側と外側の違いに基づいて、閉曲線に沿う各制御点の局所近傍を計算し、この領域の局所エネルギーモデルを構築する。そして、それぞれの局所領域に対応するモデルの局所エネルギーが極小化になるまでに各制御点を動かした後に、制御点で構成された各閉曲線をその局所領域の輪郭線として抽出する。
なお、動的輪郭抽出法の詳細な数式等については、一般化さているものを使用するため計算式等の詳細な説明は省略するが、動的輪郭抽出法の概略は次のようになる。（１）初期閉曲線を与え、（２）局所エネルギー計算を行い、（３）局所エネルギーが極小になるように閉曲線の形状を変化させ、（２）～（３）を繰り返して血管の輪郭を抽出する。
このように、ＤｏＧフィルタによって抽出し、ノイズを除去した血管の輪郭を変化させることで動的な輪郭抽出を行う。以上のような動的な輪郭抽出法で、グレースケール画像３１を元に輪郭線を更新していく。本発明では５０回の更新により、血管の輪郭の抽出を行う。
次にＳＴＥＰ２の合成画像作成工程について詳細に説明する。
合成画像作成工程では、波長が異なる赤外線画像（画像）から血管を抽出し、合成する。まず、波長の異なるそれぞれの画像３０に対し、血管の抽出を行う。例えば波長７６０ｎｍの画像３０に対して血管を抽出し輪郭の画像３５（図６参照）を得る。同様に波長８００ｎｍの画像と、波長８４０ｎｍの画像に対して血管を抽出し輪郭の画像を得る。
次にマスク画像の作成を行う。波長７６０ｎｍの画像と波長８００ｎｍの画像の差分を求め、波長８００ｎｍのマスク画像３６（図７参照）を作成する。波長８００ｎｍと波長８４０ｎｍの画像の差分を求め、波長８４０ｎｍのマスク画像３７（図７参照）を作成する。作成したマスクによって波長７６０ｎｍの画像３５（図６参照）に写っている血管、波長８００ｎｍのマスク画像３６のみに写っている血管、そして波長８４０ｎｍのマスク画像３７のみに写っている血管を得ることができる。
次に画像の合成を行う。図８の（ａ）に示すように、近赤外線画像それぞれにおいて、波長７６０ｎｍの画像３５のみに含まれている血管部分を濃いグレー４０ａで表し、波長８００ｎｍのみに含まれる血管部分を中度の濃さのグレー４０ｂで表し、波長８４０ｎｍのみに含まれる血管部分を薄いグレー４０ｃとして合成した合成画像４０を作成する。
次にＳＴＥＰ３の画像処理工程について詳細に説明する。
図８の（ｂ）に示すように、得られた合成画像の濃いグレー４０ａの成分を強，薄いグレー４０ｃの成分を弱，中度の濃さのグレー４０ｂの成分をその中間の強度としてクロージング処理を行う。これにより、第１の処理画像４１を得る。
さらに図８の（ｃ）に示すように、第１の処理画像４１を、背景部分とそれ以外の領域で二値化を行う。この手順までを行った画像を第２の処理画像４２とする。
次に本発明の３次元血管認識方法と従来の血管認識方法の評価について説明する。
まず、抽出後処理された第２の処理画像４２の正確度等を評価するために、図８の（ｄ）に示す正解画像４３を作成した。正解画像４３は、第２の処理画像４２と比較するためのものであり、画像（赤外線画像）３０より目視により正確に抽出して作成したものである。
本発明の方法と従来の方法による抽出結果の評価は、各方法により抽出された輪郭の画像３５及び処理画像４２と、目視により作成した正解画像４３との比較により行う。抽出率の性能を測定する際、感度、特異度、正確度といった概念がよく用いられる。感度（Sensitivity）は、陽性と判定されるべき個体数のうち実際に陽性と判別された個体数の割合を示し、特異度（Specificity）は陰性と判定されるべき個体数のうち実際に陰性と判定された個体数の割合を示す。また、正確度（Accuracy）は全体に対する適切な判定数の割合を示す。本発明ではこれらの値を血管抽出画像の評価に用いる。それぞれの値の算出方法を次の数式５～数式７に示す。
ここで、TP（正陽性：True Positive）は血管部を正確に血管部として判別した画素数、FP（偽陽性：False Positive）は血管部を誤って非血管部として判別した画素数、TN（正陰性：True Negative）は非血管部を正確に非血管部として判別した画素数、FN（偽陽性：False Negative）は血管脈部を誤って血管部として判別した画素数である。
これらのうち、性能評価値算出に用いる血管画像の模式図を図９の（ａ）に示し、性能評価値算出に用いる正解血管と抽出した血管とを合成した模式図を図９の（ｂ）に示す。図９（ａ）の中央部の黒い線が血管を表す。
図１０は、生体（被験者の左右の手の甲）１０の画像における、従来の方法と本発明の方法のそれぞれによる血管抽出の結果と、抽出画像の評価結果による区分画像、及び血管抽出率の評価結果について、被験者の血管抽出率の値を示す。なお、下部の表中の１行目の値、７６０ｎｍ、８００ｎｍ、８４０ｎｍは従来の方法によるそれぞれの波長の抽出画像を示す。
本発明の方法を用いて血管抽出を行った結果の平均は、赤外線画像単体から血管抽出した結果の平均と比べて、７６０ｎｍの画像からは４０％、８００ｎｍの画像からは３５％、８４０ｎｍの画像からは２０％感度が向上している。また、赤外線画像単体を使用する場合と比較して、本発明の方法はより大きな正確さを得ることができる。一方で陰性と判定されるべき個体数のうち実際に陰性と判定された個体数の割合に関する特異度については、本発明の方法における値が赤外線画像単体を使用する場合の値に比べて低い。これは、特異度が低下した要因として、本発明の方法が正解画像作成時に捉えきれていなかった血管を抽出できたことが考えられる。
次にＳＴＥＰ４の３次元復元化工程の副工程のフローについて説明する。
図５の右下部に示すように、ＳＴＥＰ４１で、第２の処理画像４２から血管の骨格５１（図１１（ａ）参照）を抽出する（骨格抽出工程）。ＳＴＥＰ４２で、抽出した骨格５１（図１１（ｂ）参照）を切り分ける（切り分け工程）。切り分け工程では、骨格５１の枝分かれをしている部分で切り分ける。
ＳＴＥＰ４３で、切り分けた骨格５１毎にベジェ曲面５０の制御点５３（図１１（ｃ）参照）を求める（制御点探索工程）。制御点探索工程では、切り分けた骨格５１毎に端から端まで探索を進める。骨格５１から垂線５２を引き、入力画面上でその垂線５２に沿って値の変化を読み取り、制御点５３を求める。なお、ベジェ曲線は、Ｎ個の制御点から得られるＮ－１次曲線であり、制御部（コンピュータ）上で滑らかな線を描くための手法のことである。ここでは５次曲線・曲面とした。
ＳＴＥＰ４４で、制御点からベジェ曲面５０（図１１（ｄ）参照）を演算する（ベジェ曲面演算工程）。ベジェ曲面演算工程では、ＳＴＥＰ４３で求めた制御点５３の座標をＸ、Ｙ座標とし、入力座標における制御点の座標の値をＺ座標としてベジェ曲面５０を求める。
ＳＴＥＰ４５で、演算して求めたベジェ曲面５０上の点を三角形分割（図１１（ｅ）参照）する（三角形分割工程）。三角形分割工程では、ベジェ曲面５０上の点を三角形分割し、ベジェ曲面５０を置き換える。なお、符号６０は、三角形分割されたベジェ曲面である。
図１２に示すように、ＳＴＥＰ４６で、三角形分割して得られた複数の面を表示部２６の同一の空間に描画する（血管３次元描画工程）。血管３次元描画工程では、小分けされた表面を同じ空間に表示することにより３次元復元を行い、血管７０を表示部２６に描画する。表示部２６に描画された血管７０は、いわゆる３次元ＣＡＤのモデルと同様に表示部２６の画面上で移動、回転、拡大縮小、断面などを切ることができる。さらには、この血管７０の形状データを基にして、いわゆる３Ｄプリンタで血管モデルを形成することもできる。
次に血管の描画方法の別態様を説明する。
図１３に示すように、台部２７にはアーム２８が固定され、このアーム２８の先端部に小型プロジェクタ２９が設けられている。小型プロジェクタ２９は、制御部２５に無線又は有線で接続されており血管情報を投影することができる。具体的には、制御部２５により演算された３次元血管情報は、小型プロジェクタ２９により、実際に血管がある位置を腕などの生体１０の表面に血管可視化画像７１を投射することができる。なお、小型プロジェクタ２９は、空間内の位置を認識させて、所謂ハンディタイプのものとしてもよい。
次に本発明の別態様に係るＳＴＥＰ４の３次元復元化工程の副工程のフロー図について説明する。
図１４の右下部に示すように、３次元復元化工程は、ＳＴＥＰ４１で、第２の処理画像４２から血管の骨格５１（図１１（ａ）参照）を抽出する（骨格抽出工程）。ＳＴＥＰ４２で、抽出した骨格５１（図１１（ｂ）参照）を切り分ける（切り分け工程）。切り分け工程では、骨格５１の枝分かれをしている部分で切り分ける。
図１５（ａ）に示すように、ＳＴＥＰ４３で、切り分けた骨格５１毎に、この骨格５１の垂直断面に形成される血管の輪郭に近似する楕円（図１５（ｃ）参照）の制御点５３ａ、５３ｂを求める（制御点探索工程）。制御点探索工程では、切り分けた骨格５１毎に端から端まで探索を進める。波長８４０ｎｍのグレースケール画像と波長８００ｎｍのグレースケール画像の差分（図１５（ａ）参照）、波長８００ｎｍのグレースケール画像と波長７６０ｎｍのグレースケール画像の差分（図１５（ｂ）参照）にそれぞれに対して、骨格５１から垂線５２を引き、入力画面上でその垂線５２に沿って血管の輪郭線まで画素値の変化を読み取り、制御点５３ａ、５３ｂを求める。
図１６、図１７に示すように、ＳＴＥＰ４３．５で、制御点５３ａ、５３ｂを３次元に配置して骨格５１の垂直断面毎に制御点５３ａ、５３ｂから楕円５４（図１５（ｃ）参照）を形成する（楕円当てはめ工程）。
ここで、光は波長が長くなるほど皮膚１１（図１参照）の奥まで届く性質を持っていることを利用する。波長７６０ｎｍから８００ｎｍまでの光は、血管上部（皮膚への深度が浅い）の情報のみを含むから、図１５（ｂ）に示す骨格５１の垂線５２上にある画素値の濃い点が、血管上部の浅い制御点（血管の骨格に近い、血管の厚いところ）、およびその薄い点が、血管上部の深い制御点（血管の輪郭に近い、血管の薄いところ）と考えられる。それらの制御点を合わせて５３ｂ、（図１５（ｃ）参照）となる。波長８００ｎｍから８４０ｎｍまでの光は、血管下部（皮膚への深度が深い）の情報のみを含むから、図１５（ａ）に示す骨格５１の垂線５２上にある画素値の濃い点が、血管下部の深い制御点（血管の骨格に近い、血管の厚いどころ）、およびその薄い点が、血管下部の浅い制御点（血管の輪郭に近い、血管の薄いどころ）と考えられる。それらの制御点を合わせて５３ａ（図１５（ｃ）参照）となる。
複数の血管上部の制御点５３ｂにより楕円５４の上側の円弧を形成する点群が３次元に配置され、複数の血管下部の制御点５３ａにより楕円５４の下側の円弧を形成する点群が３次元に配置される（図１６参照）。そして、骨格５１の垂直断面毎に制御点５３ａ、５３ｂの点群の楕円５４の当てはめを行い、複数の楕円５４が３次元に配置される（図１７参照）。
次に楕円５４（楕円ε）の当てはめについて説明する。
最小二乗法を用いて楕円の当てはめを行う。まず、制御点５３ａ、５３ｂの点群を３次元空間から２次元垂直断面に射影し、その断面上の楕円εは次のように定義する。
ここで、ω１、ω２、ω３、ω４、ω５ およびω６ は、座標（ｘ,ｙ）に関する変数ｘ２、ｘｙ、ｙ２、ｘ、ｙおよび定数１の係数とする。また、この楕円は以下の拘束条件（数式９）を満たさなくてはならないとする。
それらの変数と定数がベクトル：
で表され、その対応する係数ベクトルが
で定義された場合、楕円は次のようなベクトル式で書かれる。
各制御点の座標ｘi ＝（ｘｉ,ｙｉ）,ｉ＝１,２,・・・,Ｎを数式（１２）に代入すると、もし楕円の曲線は制御点を通っていない場合、誤差が生じる。この誤差は制御点と曲線の間の距離と考えられ、次の関数のように定義される。
したがって、楕円の当てはめは、係数ベクトルωに対して制御点距離の２乗和を最小化することになる。
ここで、拘束条件（数式９）は次式に変更される。
ベクトルｘを行列にすると、数式１４と数式１５を次のように再定式化することができる。
ここで、Ｄはベクトルｘの計画行列：
であり、Ｃは楕円の拘束条件（制約式）を表す制約行列
である。そして、数式１６において、ラグランジュの未定乗数法を適用すると、次式のようなラグランジュ関数Ｌが得られる。
∂L／∂ω＝０および∂L／∂λ＝０になる場合、ラグランジュ関数Ｌの最適化式は次のように記述される。
ここで、Ｓは６×６の散布図行列：
であり、係数ベクトルωの６つの実数解は、次式の固有値分解によって得られる。
また、
に基づいて、最適な係数ベクトルω＾＝[ω＾1 ω＾2 ω＾3 ω＾4 ω＾5 ω＾6]Ｔは、数式２０を満たす最小の正の固有値に対応する固有ベクトルとして計算される。ω＾が存在すれば、当てはめた楕円の中心（ｘｃ,ｙｃ）は、次式で得られる。求められた楕円εを２次元垂直断面から３次元空間に射影する。
ＳＴＥＰ４４で、楕円５４上の点からベジェ曲面５０（図１１（ｄ）参照）を演算する（ベジェ曲面演算工程）。ベジェ曲面演算工程では、ＳＴＥＰ４３.５で求めた楕円５４の円弧を表現する点群を、ベジェ曲面の制御点としてベジェ曲面５０を求める。
ＳＴＥＰ４５で、演算して求めたベジェ曲面５０上の点を三角形分割（図１１（ｅ）参照）する（三角形分割工程）。三角形分割工程では、ベジェ曲面５０上の点を三角形分割し、ベジェ曲面５０を置き換える。なお、符号６０は、三角形分割されたベジェ曲面である。
図１８に示すように、ＳＴＥＰ４６で、三角形分割して得られた複数の面を表示部２６の同一の空間に描画する（血管３次元描画工程）。血管３次元描画工程では、小分けされた表面を同じ空間に表示することにより３次元復元を行い、血管７２を表示部２６に描画する。演算により求められる血管の断面を楕円で近似するので、より実際の血管形状に近似させて精度の高い３次元血管情報を得ることができる。
次に以上に述べた３次元血管認識方法及び３次元血管認識装置２０の作用、効果について説明する。
血管抽出工程、合成画像作成工程、画像処理工程及び３次元復元化工程を連続させることで、撮影部２１（近赤外カメラ）を介して、非侵襲的に血管１２の走行や太さ、深さなど複数の３次元血管情報を算出する。このため、従来の手法では抽出が容易でなかった血管抽出処理の精度を向上させ、仮想空間に３次元血管画像を再構成することができる３次元血管認識方法を提供することができる。
さらに、本発明は、超音波診断装置より身体の広い部分を撮影してスキャンすることが可能であるが、最適化技術を利用しているため処理時間を例えばわずか２０秒と短縮でき、さらに汎用化されている組み込み技術を使えば、リアルタイムで処理することが可能になる。さらに、放射線被爆がない、造影剤を使用しない、金属検査をしない、ゼリー塗布をしない、小型かつ非接触型などのメリットを持っているため、本発明によれば、血管１２を検査する者（臨床検査技師、医師など）と検査される者の両者に対して検査の負担を軽くすることができる。
さらに、グレースケール化工程、平滑化フィルタ工程、ＤｏＧフィルタ工程、２値化工程及び動的輪郭法工程により、ノイズを低減させて精度の高い３次元血管情報を得ることができる。さらに、骨格抽出工程、切り分け工程、制御点探索工程、ベジェ曲面演算工程、三角形分割工程及び動的輪郭法工程により、より精度の高い３次元血管情報を得ることができる。さらに、楕円当てはめ工程により、演算により求められる血管の断面を楕円で近似するので、より実際の血管形状に近似させて精度の高い３次元血管情報を得ることができる。
さらに、撮影部２１、制御部２５、表示部２６からなるので、小型且つ軽量な３次元血管認識装置２０とすることができる。さらに、撮影部２１は、生体１０を撮影する複数の汎用カメラ２３と、所定の異なる波長域の近赤外線をカットする複数のカットフィルタ２４ａ、２４ｂ、２４ｃを設けたのみであるので、装置のコストを低減することができる。さらに、制御部は、演算により求められる血管の断面を楕円で近似するので、簡易な構成でより実際の血管形状に近似させて精度の高い３次元血管情報を得ることができる。
尚、実施例では、汎用カメラ２３を３つとし、３つの異なる波長の反射光を撮影したが、これに限定されず、汎用カメラ２３は、２つ、４つ、５つ以上として２つ、４つ、５つ以上の波長の異なる反射光を撮影するものとしてもよい。また、実施例では、血管を３次元化して認識する技術としたが、これに限定されず、近赤外線の反射光を取得することで３次元化して形状を認識することができれば、生体の他の部分や、工業製品などの物品など、用途は問わない。さらには、３次元血管可視化画像は、モニター、スクリーンなどの表示部２６や、小型プロジェクタ２９による生体１０の表面に映し出したものに限定されず、ホログラムなど空間所に立体的に描画する形態であってもよい。即ち、本発明の作用及び効果を奏する限りにおいて、本発明は、実施例に限定されるものではない。
また、実施例では、ベジェ曲面を利用して血管を３次元に描画したが、これに限定されず、例えば、Ｃｏｏｎｓ曲面、Ｇｒｅｇｏｒｙ曲面、Ｂ－Ｓｐｌｉｎｅ曲面など血管を３次元に描画できれば他の曲面を演算により求めて利用してもよい。さらに、実施例では、Lanktonらの考案した局所領域に基づく動的輪郭抽出法を利用して血管輪郭を抽出したが、これに限定されず、例えば、代表的な手法としてＳｎａｋｅｓ法やＬｅｖｅｌ ｓｅｔ法などで血管輪郭を抽出できれば他の動的輪郭抽出法により求めて利用してもよい。
本発明は、生体の血管を認識する３次元血管認識方法及び３次元血管認識装置に好適である。
１０…生体（手の甲）、１２…血管、２０…３次元認識装置、２１…撮影部（近赤外線カメラ）、２３…汎用カメラ、２４ａ、２４ｂ、２４ｃ…フィルタ、２５…制御部、２６…表示部、３０…画像（赤外線画像）、３１…グレースケール画像、３２…平滑化画像、３３…ガウシアン差分画像、３４…２値化画像、３５…輪郭の画像、３６…波長８００ｎｍのマスク画像、３７…波長８４０ｎｍのマスク画像、４０…合成画像、４１…第１の処理画像、４２…第２の処理画像、５０…ベジェ曲面、５３、５３ａ、５３ｂ…制御点、５４…楕円、６０…三角形分割されたベジェ曲面、７０、７２…描画された血管。
Claims (7)
- 異なる波長の近赤外線が照射された生体の前記異なる波長の近赤外線に応じた複数の画像を撮影部で撮影し、制御部で各画像の血管の輪郭を抽出する血管抽出工程と、
前記制御部で前記各画像の血管の輪郭を合成して輪郭の合成画像を作成する合成画像作成工程と、
前記制御部で前記合成画像に対して前記波長の成分に分けて図形を平滑化し、処理画像を得る画像処理工程と、
前記制御部で前記処理画像から前記血管の骨格を抽出し、ベジェ曲面を演算して前記血管を３次元に復元化して表示部に表示する３次元復元化工程と、を備えていることを特徴とする３次元血管認識方法。 - 請求項１記載の３次元血管認識方法であって、
前記血管抽出工程は、
前記生体の前記画像を前記撮影部で撮影する撮影工程と、
撮影された前記画像を赤外線単色光としてグレースケール画像に変換するグレースケール化工程と、
前記グレースケール画像からバイラテラルフィルタによりノイズを低減して平滑化画像にする平滑化フィルタ工程と、
ＤｏＧフィルタにより前記平滑化画像の差をとりガウシアン差分画像にするＤｏＧフィルタ工程と、
前記ガウシアン差分画像に所定の閾値により２値化して２値化画像にする２値化工程と、
前記２値化画像から動的輪郭抽出法で前記血管の輪郭を抽出する動的輪郭法工程と、を備えていることを特徴とする３次元血管認識方法。 - 請求項１又は請求項２記載の３次元血管認識方法であって、
３次元復元化工程は、
前記処理画像から前記血管の骨格を抽出する骨格抽出工程と、
抽出した前記骨格を切り分ける切り分け工程と、
切り分けた前記骨格毎にベジェ曲面の制御点を求める制御点探索工程と、
前記制御点からベジェ曲面を演算するベジェ曲面演算工程と、
演算して求めた前記ベジェ曲面上の点を三角形分割する三角形分割工程と、
三角形分割して得られた複数の面を前記表示部の同一の空間に描画する血管３次元描画工程と、を備えていることを特徴とする３次元血管認識方法。 - 請求項１又は請求項２記載の３次元血管認識方法であって、
３次元復元化工程は、
前記処理画像から前記血管の骨格を抽出する骨格抽出工程と、
抽出した前記骨格を切り分ける切り分け工程と、
切り分けた前記骨格毎に前記骨格の垂直断面に形成される前記血管の輪郭に近似する楕円の制御点を求める制御点探索工程と、
前記制御点を３次元に配置して前記骨格の垂直断面毎に前記制御点から楕円を形成する楕円当てはめ工程と、
前記楕円からベジェ曲面を演算するベジェ曲面演算工程と、
演算して求めた前記ベジェ曲面上の点を三角形分割する三角形分割工程と、
三角形分割して得られた複数の面を前記表示部の同一の空間に描画する血管３次元描画工程と、を備えていることを特徴とする３次元血管認識方法。 - 異なる波長の近赤外線が照射された生体の前記異なる波長の近赤外線に応じた複数の画像を撮影する撮影部と、
撮影した各画像の血管の輪郭を抽出し、
前記各画像の血管の輪郭を合成して輪郭の合成画像を作成し、前記合成画像に対して前記波長の成分に分けて図形を平滑化することで処理画像を得て、前記処理画像から前記血管の骨格を抽出し、ベジェ曲面を演算して前記血管を３次元に復元化する制御部と、
３次元に復元化された前記血管を表示する表示部と、を備えていることを特徴とする３次元血管認識装置。 - 異なる波長の近赤外線が照射された生体の前記異なる波長の近赤外線に応じた複数の画像を撮影する撮影部と、
撮影した各画像の血管の輪郭を抽出し、
前記各画像の血管の輪郭を合成して輪郭の合成画像を作成し、前記合成画像に対して前記波長の成分に分けて図形を平滑化することで処理画像を得て、前記処理画像から前記血管の骨格を抽出し、前記骨格毎に前記骨格の垂直断面に形成される前記血管の輪郭に近似する楕円の制御点を求め、前記制御点を３次元に配置して前記骨格の垂直断面毎に前記制御点から楕円を形成し、前記楕円からベジェ曲面を演算して前記血管を３次元に復元化する制御部と、
３次元に復元化された前記血管を表示する表示部と、を備えていることを特徴とする３次元血管認識装置。 - 請求項５又は請求項６記載の３次元血管認識装置であって、
前記撮影部は、前記生体を撮影する複数の汎用カメラと、これらの複数の汎用カメラのレンズの前方に設けられ所定の異なる波長域の近赤外線をカットする複数のカットフィルタと、を備えていることを特徴とする３次元血管認識装置。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019120601 | 2019-06-27 | ||
| JP2019120601 | 2019-06-27 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021006250A JP2021006250A (ja) | 2021-01-21 |
| JP7164890B2 true JP7164890B2 (ja) | 2022-11-02 |
Family
ID=74165267
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020110627A Active JP7164890B2 (ja) | 2019-06-27 | 2020-06-26 | ３次元血管認識方法及び３次元血管認識装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7164890B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022181726A1 (ja) * | 2021-02-25 | 2022-09-01 | 国立大学法人東北大学 | 画像処理方法、プログラム、および画像処理装置 |
| CN116831526B (zh) * | 2023-06-29 | 2024-01-02 | 成都市凯瑞医疗科技有限公司 | 红外双目与超声融合的三维血管成像方法 |
| CN119169179A (zh) * | 2023-12-12 | 2024-12-20 | 常州联影智融医疗科技有限公司 | 三维重建方法、装置、图像处理设备和内窥镜系统 |
| JP2025101014A (ja) * | 2023-12-25 | 2025-07-07 | 株式会社日立ハイテク | 自動採血装置及び自動採血方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102813504A (zh) | 2012-08-29 | 2012-12-12 | 北京理工大学 | 一种多光谱三维静脉图像显示装置 |
| JP2013244343A (ja) | 2012-05-29 | 2013-12-09 | Mitsubishi Electric Engineering Co Ltd | 生体情報提示装置および生体情報提示方法 |
| US20140039309A1 (en) | 2012-04-26 | 2014-02-06 | Evena Medical, Inc. | Vein imaging systems and methods |
| CN106994001A (zh) | 2017-03-30 | 2017-08-01 | 展谱光电科技（上海）有限公司 | 便携式多光谱摄像装置及其使用方法 |
| JP2017164424A (ja) | 2016-03-18 | 2017-09-21 | 国立大学法人広島大学 | 治療支援システム、治療支援システムの動作方法及び治療支援プログラム |
-
2020
- 2020-06-26 JP JP2020110627A patent/JP7164890B2/ja active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140039309A1 (en) | 2012-04-26 | 2014-02-06 | Evena Medical, Inc. | Vein imaging systems and methods |
| JP2013244343A (ja) | 2012-05-29 | 2013-12-09 | Mitsubishi Electric Engineering Co Ltd | 生体情報提示装置および生体情報提示方法 |
| CN102813504A (zh) | 2012-08-29 | 2012-12-12 | 北京理工大学 | 一种多光谱三维静脉图像显示装置 |
| JP2017164424A (ja) | 2016-03-18 | 2017-09-21 | 国立大学法人広島大学 | 治療支援システム、治療支援システムの動作方法及び治療支援プログラム |
| CN106994001A (zh) | 2017-03-30 | 2017-08-01 | 展谱光电科技（上海）有限公司 | 便携式多光谱摄像装置及其使用方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021006250A (ja) | 2021-01-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7164890B2 (ja) | ３次元血管認識方法及び３次元血管認識装置 | |
| JP4728627B2 (ja) | Ｃｔ血管造影法における構造を領域分割する方法及び装置 | |
| Athanasiou et al. | Three-dimensional reconstruction of coronary arteries and plaque morphology using CT angiography–comparison and registration with IVUS | |
| Giancardo et al. | Textureless macula swelling detection with multiple retinal fundus images | |
| CN110163809A (zh) | 基于U-net生成对抗网络DSA成像方法及装置 | |
| CN117064416A (zh) | 一种对象定位系统和方法 | |
| AU2013317201A1 (en) | Device and method for displaying three-dimensional image, and program | |
| Nahm et al. | Accurate registration of cone-beam computed tomography scans to 3-dimensional facial photographs | |
| CN103679801B (zh) | 一种基于多视角x光片的心血管三维重建方法 | |
| WO2005009240A9 (ja) | 画像処理方法及び画像処理プログラムを記録したコンピュータ読取可能な記録媒体 | |
| CN114209278B (zh) | 一种基于光学相干层析成像的深度学习皮肤病诊断系统 | |
| JP7374615B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| CN103462696B (zh) | 一种集成血管内光相干断层扫描(oct)影像和数字减影(dsa)影像的一体化在线实时处理仪 | |
| CN106780649A (zh) | 图像的伪影去除方法和装置 | |
| Glaßer et al. | Combined visualization of wall thickness and wall shear stress for the evaluation of aneurysms | |
| Sakas et al. | Advanced applications of volume visualization methods in medicine | |
| CN103021022A (zh) | 基于参数形变模型能量优化的血管重建方法 | |
| Nechyporenko et al. | Complex automatic determination of morphological parameters for bone tissue in human paranasal sinuses | |
| Blondel et al. | Automatic trinocular 3D reconstruction of coronary artery centerlines from rotational X-ray angiography | |
| Kawata et al. | Measurement of blood vessel characteristics for disease detection based on cone-beam CT images | |
| CN117671162B (zh) | 一种4d关节站立位三维成像方法和装置 | |
| CN112137693B (zh) | 四维超声引导穿刺的成像方法及装置 | |
| Ilyasova et al. | Systems for recognition and intelligent analysis of biomedical images | |
| Chandrashekar et al. | A deep learning approach to generate contrast-enhanced computerised tomography angiography without the use of intravenous contrast agents | |
| CN118710819B (zh) | 一种体表静脉血管3d成像方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220725 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20220725 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220830 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220927 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221011 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221014 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7164890 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |