JP4561320B2

JP4561320B2 - 血管及び注射針位置提示装置

Info

Publication number: JP4561320B2
Application number: JP2004324831A
Authority: JP
Inventors: 泰志上田; 貴生井上; 明也矢田; 晋幸松田; 俊介西原
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2004-11-09
Filing date: 2004-11-09
Publication date: 2010-10-13
Anticipated expiration: 2024-11-09
Also published as: JP2006130201A

Description

本発明は、生体の血管及び注射針の位置を検出して提示し、その血管に確実に注射針等を刺すのを支援可能とする血管及び注射針位置提示装置、及び血管及び注射針位置提示方法に関するものである。

医師または看護師が患者の腕等に対して静脈注射や点滴を行うためには、まず注射針やカテーテルを穿刺する患者の静脈の正確な位置を確認できなければならない。そして、内腕関節付近は比較的に脂肪層が薄く、静脈の確認が比較的容易である。そこで、通常、上腕部をゴムバンド等で絞めて静脈の血行を停止させ、静脈を血圧により膨張させてより正確な位置の確認がなされる。ところが、脂肪層が厚いほど静脈の位置を確認することが困難であり、上記ゴムバンド等を用いても確認できない場合もある。このように単にゴムバンドで上腕部を絞めただけでは静脈の位置が確認できない時には、従来では腕を温めたり針先で静脈を探る方法が行われていたが、熟練度を要求されるとともに患者に大きな苦痛を与えるという不具合があった。さらに、入院患者に対して夜間に行われる定期的処置等、薄暗がりの中で行う場合は、一層の困難さが伴う。

これらの困難を回避するための静脈探査装置が、従来から提案されている。（例えば、特許文献１−６参照）。

図１５に、特許文献１に記載された従来の静脈探査装置の構成例を示す。図１５の静脈探査装置は、細長い筐体１３０１の先端部に、赤色ないし赤外線領域の波長光を発光する発光素子１３０２が先端前方を照射するように中央に配置される。また、筐体１３０１の先端部に、この発光素子１３０２を挟んで両側に、赤色ないし赤外線領域の波長を受光する受光素子１３０３を備え、該受光素子１３０３は、前記発光素子１３０２の腕への波長光が静脈以外の他の組織による反射光のみを効率よく受光できるように配置される。また、筐体１３０１には、駆動電源用の電池１３０４が収納される。筐体１３０１の外周壁には、電池１３０４の駆動電源を供給制御するための電源操作スイッチ１３０５と、該装置と静脈との位置の関係を表示する表示素子１３０６が配置される。さらに、筐体１３０１の先端部の外周壁中央に本装置の中心を示す矢印１３０７が刻印され、本装置をポケットに挟むためのクリップ１３０８が設けられる。

医師または看護師はこの装置を手に持ち、患者の腕上で穿刺したい箇所周辺に先端部をあてがって腕上をなぞると、２つの受光素子１３０３の受光量の差が静脈位置に対する矢印１３０７のずれ量に対応し、該受光量の差に対応するように表示素子１３０６に表示する。医師や看護師は表示素子１３０６の表示を見ながら先端部の位置を微調整し、該受光量の差がゼロになるようにする。その時の矢印１３０７が示す位置が、静脈が存在している位置を示すことになる。

また、特許文献２−６には、類似の静脈探査装置が記載されている。特許文献２の静脈探査装置は、発光素子と受光素子２個の組が複数組配列された構成を用いて、静脈の位置と方向を検知するものである。特許文献３の静脈探査装置は、２本のアームを腕に装着して、各アーム上を前記発光素子と受光素子２個の組を組み込んだカーソルが移動可能とすることによって、静脈の位置と方向を検知するものである。

特許文献４の静脈探査装置は、発光素子と受光素子２個の組が複数組配列された構成を有するとともに、腕上にスポット照明する手段を設け、腕上に静脈位置を示すものである。特許文献５の静脈探査装置として、発光素子と受光素子２個の組が複数組配列された構成を有するとともに、少なくとも１つの受光素子の受光量から脈動を検出し、脈動の有無を表示するものである。また、特許文献６の静脈探査装置として、腕輪に発光素子と受光素子２個の組を組み込んだカーソルをスライド可能にしておき、腕を締め付け、腕輪についたカーソルをスライドさせて、静脈真上にくると、腕輪上のＬＥＤが点灯するものである。

その他に、装置の目的は異なるが技術的に関連する従来の個人識別装置として、指の可視光像と近赤外像を取得・利用して血管パターンの特徴を抽出し、抽出された血管パターンの特徴と登録されている血管パターンの特徴と比較することで個人を識別する装置の提案がなされている（例えば、特許文献７参照）。
特開平２−１６１９５６号公報（第３頁、第２、３、４図）特開平２−１７２４７２号公報（第４頁、第３、４、５図）特開平２−１７２４７３号公報（第２頁、第１、２、３図）特開平２−１７４８５２号公報（第３頁、第３、４、５図）特開平２−１７４８５３号公報（第４頁、第１図）特開平２−１７４８５４号公報（第２頁、第１図）特開平１１−２０３４５２号公報（第３頁、第１図）

しかしながら、前記従来の構成では、装置を腕に接触もしくは装着した状態で注射を打つことになり、装置自体が邪魔になって穿刺しにくい。また、不特定多数の患者に使用する場合、血液感染の恐れもあり不衛生である。更に、従来の構成では、穿刺後、生体中にある注射針先端が正しく狙った静脈に刺さらなかった場合に、どのように針先端位置を動かして狙った静脈に刺しなおすかがわからない、という課題を有していた。

本発明は、前記従来の課題を解決するもので、最適な血管及び注射針の位置や方向を簡単な操作で正確かつ迅速に確認できる血管及び注射針位置提示装置、及び血管及び注射針位置提示方法を提供することを目的とする。

前記従来の課題を解決するために、本発明の血管及び注射針位置提示装置は、波長の異なる第１の照明光及び第２の照明光を生体へ照射する照明手段と、前記生体に前記第１の照明光を照射した反射光を撮像して第１の撮像画像として出力し、前記生体に前記第２の照明光を照射した反射光を撮像して第２の撮像画像として出力する画像取得手段と、前記第１の撮像画像から前記生体に穿刺した針の先端位置を推定し前記針の先端位置画像を出力する針先端位置推定手段と、前記第２の撮像画像から前記生体の血管位置を検出して前記血管位置を強調した画像を出力する血管位置検出手段と、前記針の先端位置画像と前記血管位置を強調した画像とを１つの画像に合成する画像合成手段と、前記画像合成手段が出力する合成された画像を表示する画像表示手段とを備え、前記生体の血管位置を表示した画像上に前記穿刺した針の先端位置を同時に表示することを特徴としたものである。

さらに血管及び注射針位置提示装置において、前記照明手段は、前記第１の照明光を照射する可視光源と、前記第２の照明光を照射する近赤外光源とを備え、前記画像取得手段の指示に従って前記可視光源と前記近赤外光源とを切り替えて前記生体に照射することを特徴としたものである。

さらに血管及び注射針位置提示装置において、前記画像取得手段は、前記生体からの反射光を撮像する撮像手段と、前記撮像手段から前記第１の撮像画像を抽出する第１の画像抽出手段と、前記撮像手段から前記第２の撮像画像を抽出する第２の画像抽出手段と、前記第１の撮像画像に基づいて前記第１の照明光の強度を指示する第１の照明光強度指示信号を生成する第１の照明光光量調整手段と、前記第２の撮像画像に基づいて前記第２の照明光の強度を指示する第２の照明光強度指示信号を生成する第２の照明光光量調整手段と、前記撮像手段が出力する前記第１の照明光を照射するタイミングを指示する第１の指示信号と前記第１の照明光強度指示信号から前記第１の照明光の照射タイミング及び強度を前記照明手段に出力する第１の照明光指示手段と、前記撮像手段が出力する前記第２の照明光を照射するタイミングを指示する第２の指示信号と前記第２の照明光強度指示信号から前記第２の照明光の照射タイミング及び強度を前記照明手段に出力する第２の照明光指示手段とを備え、前記第１の指示信号と前記第２の指示信号は前記撮像手段の撮像タイミングに応じて決定されることを特徴としたものである。

さらに血管及び注射針位置提示装置において、前記針先端位置推定手段は、前記第１の撮像画像から注射器部分の画像を抽出する注射器画像抽出手段と、前記注射器部分の画像から前記針の先端部分を検出する注射針先端位置検出手段と、前記注射器部分の画像と前記注射針器先端位置検出手段が出力する情報とから前記生体に穿刺している前記針の先端位置を算出する注射針先端位置算出手段と、前記注射針先端位置算出手段が出力した前記針の先端位置の画像を生成する注射針先端位置画像生成手段とを備え、前記注射針先端位置検出手段が検出する穿刺前の注射針上の２点の特徴位置と注射針の先端位置を注射器初期情報とし、前記注射針先端位置算出手段が前記注射器部分の画像と前記注射器初期情報から穿刺中の注射器の針の先端位置を算出することを特徴としたものである。

さらに血管及び注射針位置提示装置において、前記血管位置検出手段は、前記第２の撮像画像から前記生体内の血管位置を検出する血管画像抽出手段と、前記血管画像抽出手段が出力する前記血管位置を強調した画像を生成する血管画像生成手段とを備えることを特徴としたものである。

さらに血管及び注射針位置提示装置において、前記血管位置検出手段は、前記血管位置の動きを検出する血管位置動き検出手段をさらに備え、前記血管画像生成手段は、前記血管画像抽出手段が出力する前記血管位置と前記血管位置動き検出手段が出力する血管位置の動き情報に基づいて前記血管位置を強調した画像を生成することを特徴としたものである。

本発明の血管及び注射針位置提示装置、及び血管及び注射針位置提示方法によれば、血管及び注射針の位置や方向を簡単な操作で正確に確認出来る。そして、本発明の血管及び注射針位置提示装置、及び血管及び注射針位置提示方法を利用することにより、確認できた血管に確実に注射針等を刺すことができるとともに、穿刺後の生体中にある針先端位置と狙った血管との位置関係を認識可能となる。また血管表示映像上で最適な穿刺位置・方向を確認でき、通常見えにくい静脈への採血や点滴を容易かつ高精度に行うことができるとともに、注射針が静脈に正しく刺さらなかった場合でも、再度針を引いて正しく静脈に刺しなおすことが容易に行える。

以下に、本発明の血管及び注射針位置提示装置、及び血管及び注射針位置提示方法の実施の形態を図面とともに詳細に説明する。

図１に、本発明の血管及び注射針位置提示装置の概略機能ブロック図を示す。図１の血管及び注射針位置提示装置は、照明手段１と、画像取得手段２と、注射針先端位置推定手段３と、血管位置検出手段４と表示手段５とで構成される。

照明手段１は、可視光源と近赤外光源を内蔵し、画像取得手段２内の可視光照明強度と可視光照射タイミングを指定する可視光指示手段１６２からの可視光指示信号１２１と、近赤外光照明強度と近赤外光照射タイミングを指定する近赤外光指示手段１６４からの近赤外光指示信号１３１に従って、可視光１２２と近赤外光１３２を生体及び生体に穿刺する注射器に対して交互に照射するものである。

画像取得手段２は、撮像手段１００と、可視画像抽出手段１０１と、近赤外画像抽出手段１０６と、可視光光量調整手段１６１と、可視光指示手段１６２と、近赤外光光量調整手段１６３と、近赤外光指示手段１６４とから構成される。画像取得手段２は、照明手段１に可視光指示信号１２１を出力し、照明手段１が可視光１２２を生体及び生体に穿刺する注射器に対して照射した時の反射光１２３を撮像した画像（以下、可視画像と称す。）１２４を注射針先端位置推定手段３に出力する。また、画像取得手段２は、照明手段１に近赤外光指示信号１３１を出力し、照明手段１が近赤外光１３２を生体及び生体に穿刺する注射器に対して照射した時の反射光１３３を撮像した画像（以下、近赤外画像と称す。）１３４を血管位置検出手段４に出力する。

注射針先端位置推定手段３は、注射器画像抽出手段１０２と、注射針先端位置検出手段１０３と、注射針先端位置算出手段１０４と、注射針先端位置画像生成手段１０５とで構成され、穿刺前の注射針を撮像した画像と穿刺中の注射針を撮像した可視画像１２４から、穿刺中に皮膚の中に穿刺されている注射針の先端位置を推定して、先端位置を表示した画像（以下、マーク画像と称す。）１２９を生成して表示手段５に出力する。

血管位置検出手段４は、血管画像抽出手段１０７と、血管画像生成手段１０８とで構成され、近赤外画像１３４から生体内の血管位置を検出し、検出した血管を強調する画像（以下、血管表示画像と称す。）１３８を生成して表示手段５に出力する。

表示手段５は、画像合成手段１０９と画像表示手段１１０とで構成され、マーク画像１２９と血管表示画像１３８を合成し、合成された画像を外部に表示する。

図１に示される各要素は所定の筐体に収納され、血管位置を検出しようとする生体と所定の位置関係に設置されて使用される。図２及び図３に、第１の位置関係で設置される血管及び注射針位置提示装置の一例の概観と注射針を穿刺した時のイメージ図を示す。図２及び図３は、血管及び注射針位置提示装置と生体が固定で使用される例であり、腕に装着した状態を示している。筐体２０２には、固定用接続部１１０１が接続され、腕２０１に巻きつけるための固定用ベルト１１０２が固定用接続部１１０１と一体になっている。さらに図３においては、腕に巻きつけられた固定用ベルト１１０２は、接着部１２０１と固定用ベルト１１０２内側とが接触すると接着し、固定用ベルト１１０２全体が腕２０１に軽い圧迫感を与えながら巻きつき、筐体２０２を腕２０１と所定距離を保ちながら固定する。このように腕２０１に対し筐体２０２が固定されると、例え腕が動いても、常に前記白黒ＣＣＤカメラは腕２０１の同じ撮像領域を写すことになる。

筐体２０２の上面には、画像表示手段１１０を構成する表示部２０３を備え、表示部２０３には強調表示された血管２０４と穿刺した注射針の先端を示すマーク（以下、注射針先端マークと称す。）２０９が表示される。

例えば、図２に示すように注射器２２１を腕２０１に穿刺した状態にある時、注射針は皮膚外部に位置する注射針部分２２３と皮膚下に位置する注射針部分２２４に分かれ、皮膚下に位置する注射針部分２２４は目視では認識出来ないが、本発明の血管及び注射針位置提示装置を用いれば注射針先端２２２が表示部２０３上に注射針先端マーク２０９として表示され、注射針の先端と血管の位置を認識する事が可能となる。

さらに筐体２０２にはボタンスイッチ２０５及びボタンスイッチ２０６が設置されており、使用者が血管及び注射針位置提示装置に対して指示を行うようになっている。ボタンスイッチ２０５をＯＮにした場合には、穿刺前の注射器画像を取得して注射針の先端を推定するのに必要な初期情報を取得する（以下、このボタンスイッチ２０５をＯＮにして注射器の初期情報を取得する動作を行うことをキャリブレーションモードと称する。）。また、ボタンスイッチ２０６をＯＮにした場合には、生体の血管位置を検出すると共に穿刺中の注射針の先端位置を推定して表示する（以下、このボタンスイッチ２０６をＯＮにして血管位置の検出と注射針の先端位置を推定して表示する動作を行うことを通常動作モードと称す。）。

次に、本発明の血管及び注射針位置提示装置における各手段の詳細な構成及び動作について説明する。

まず、照明手段１と画像取得手段２について説明する。
図４は、本発明の血管及び注射針位置提示装置の筐体２０２が生体と向き合う面側の構成図を示したものである。図４が示す部分は生体と所定の距離を保って正対している。この筐体２０２が生体と正対する面には、生体及び注射器に向けて近赤外光１３２を照射するための近赤外波長領域の光を発光する４つの近赤外発光ダイオード（以下、近赤外ＬＥＤと称す。）３０１、３０２、３０３、３０４が配置されている。さらに、生体及び注射器に向けて可視光１２２を照射するための可視波長領域の光を発光する４つの可視発光ダイオード（以下、可視ＬＥＤと称す。）３１１、３１２、３１３、３１４が配置されている。また、生体及び注射器に可視光１２２あるいは近赤外光１３２を照射した際の反射光を撮像するカメラのレンズ部３０５が設けられている。このカメラは可視光及び近赤外光を撮像可能で分光感度が高いカメラであれば何でも良いが、ここでは、各画素の輝度を８ビットで表わす白黒ＣＣＤカメラを用いることとする。

ここで使用する白黒ＣＣＤカメラは、一般的なフォーカス合わせ不要なカメラであり、近赤外光を生体に照射した状態で、近赤外波長領域の分光感度が高く、生体からの反射光を撮像すると、静脈血が近赤外光の吸収率が高いため生体内部の静脈が黒っぽく写り、皮膚表面は白っぽく写るので、生体中の血管及び注射器を撮像する事が出来る。

図４における近赤外ＬＥＤ３０１ないし３０４及び可視ＬＥＤ３１１ないし３１４が照明手段１に該当し、カメラのレンズ部３０５が画像取得手段２内の撮像手段１００に該当する。

照明手段１は、可視光指示信号１２１によって可視光１２２の照射を指示された場合には可視ＬＥＤ３１１ないし３１４を発光させて、可視光１２２を生体及び注射器に照射する。また、近赤外光指示信号１３１によって近赤外光１３２の照射を指示された場合には近赤外ＬＥＤ３０１ないし３０４を発光させて、近赤外光１３２を生体及び注射器に照射する。

画像取得手段２内の撮像手段１００は、ボタンスイッチ２０５もしくはボタンスイッチ２０６から指示が与えられた際に、可視光指示手段１６２と近赤外光指示手段１６４に、可視光指示信号１２１と近赤外光指示信号１３１を発行するように指示すると同時に、生体及び注射器からの反射光の撮像を行う。

通常動作モードの場合、例えば撮像手段１００に用いる白黒ＣＣＤカメラが１秒間に３０フレームの画像を撮像する場合、５フレームの撮影毎に照明手段１が近赤外光源と可視光源の発光を切り替えるようにする。つまり、白黒ＣＣＤカメラが５フレーム分撮像する期間は、近赤外ＬＥＤ３０１ないし３０４を発光させ可視ＬＥＤ３１１ないし３１４を無発光にさせる（以下、この期間を近赤外光照射期間と称す。）。白黒ＣＣＤカメラが５フレーム分撮像を終了すると、次に近赤外ＬＥＤ３０１ないし３０４を無発光に、可視ＬＥＤ３１１ないし３１４を発光させて白黒ＣＣＤカメラの５フレーム分撮像する（以下、この期間を可視光照射期間と称す。）。撮像手段１００から可視光指示手段１６２と近赤外光指示手段１６４への指示は、上述した５フレーム毎の光源の切り替えに同期して行われる。

撮像手段１００が撮像した画像は、可視画像抽出手段１０１と近赤外画像抽出手段１０６に出力される。

また、撮像手段１００から可視光指示手段１６２への指示信号１５１は可視画像抽出手段１０１にも入力され、可視画像抽出手段１０１はこの指示信号１５１に基づいて照明手段１の状態が可視光照射期間であるか否かを判断して、近赤外光照射期間は撮像手段１００が出力する画像を注射針先端位置推定手段３に出力しないようにし、可視画像１２４のみを可視光光量調整手段１６１及び注射針先端位置推定手段３に出力する。

さらに、撮像手段１００から近赤外光指示手段１６４への指示信号１５２は近赤外画像抽出手段１０６にも入力され、近赤外画像抽出手段１０６はこの指示信号１５２に基づいて照明手段１の状態が近赤外光照射期間であるか否かを判断して、可視光照射期間は撮像手段１００が出力する画像を血管位置検出手段４に出力しないようにし、近赤外画像１３４のみを近赤外光光量調整手段１６３及び血管位置検出手段４に出力する。

このようにして、生体及び注射器に近赤外光１３２を５フレーム時間照射した状態で撮像手段１００が撮像した近赤外画像１３４を血管位置検出手段４へ転送し、次の５フレーム時間は生体及び注射器に可視光１２２を照射した状態で撮像手段１００が撮像した可視画像１２４を注射針先端位置推定手段３へ転送する。この一連の処理は通常モードの間繰り返される。よって、１秒間では、近赤外画像１３４及び可視画像１２４は計１５フレームずつである。

次に、キャリブレーションモードの場合、照明手段１は常に可視光１２２のみを照射するようにする。そして、画像取得手段２内の撮像手段１００で取得した画像は、全て可視画像抽出手段１０１を介して、可視画像１２４として可視光光量調整手段１６１及び注射針先端位置推定手段３に出力される。

ここで、可視光１２２及び近赤外光１３２の光量調整について説明する。なお、可視画像１２４、近赤外画像１３４は、各画素の濃度値が０から２５５で表現される画像として説明する。

まず、可視光１２２の場合、可視画像抽出手段１０１で抽出された可視画像１２４が可視光光量調整手段１６１に入力される。可視光光量調整手段１６１は、入力される可視画像１２４の各画素の濃度値に対して画像全体で同じ濃度値を持つ濃度値の画素数を求めて濃度ヒストグラムを生成し、濃度値が２００から２５５の範囲に可視画像１２４の全画素数の約１０％の画素数が分布するように、可視光強度指示信号１７１を可視光指示手段１６２に出力する。そして、可視光指示手段１６２は撮像手段１００が出力する可視光１２２の発光タイミングの指示信号１５１と可視光光量調整手段１６１が出力する可視光強度指示信号１７１を合わせ、可視光指示信号１２１を照明手段１に出力する。

次に、近赤外光１３２の場合、近赤外画像抽出手段１０６で抽出された近赤外画像１３４が近赤外光光量調整手段１６３に入力される。前記と同様に、近赤外光光量調整手段１６３は、入力される近赤外画像１３４の各画素の濃度値に対して画像全体で同じ濃度値を持つ濃度値の画素数を求めて濃度ヒストグラムを生成し、濃度値が２００から２５５の範囲に近赤外画像１３４の全画素数の約１０％の画素数が分布するように、近赤外光強度指示信号１７２を近赤外光指示手段１６４に出力する。そして、近赤外光指示手段１６４は撮像手段１００が出力する近赤外光１３２の発光タイミングの指示信号１５２と近赤外光光量調整手段１６３が出力する近赤外光強度指示信号１７２を合わせ、近赤外光指示信号１３１を照明手段１に出力する。

次に、注射針先端位置推定手段３について説明する。図５（Ａ）は穿刺を行う注射器の一例である。５０１がキャリブレーション時の注射針先端位置Ａ１、５０２がキャリブレーション時の注射器の特徴的な目盛りと注射針延長線との交点Ｂ１、５０３がキャリブレーション時の注射器の特徴的な目盛りと注射針延長線との交点Ｃ１、５０４、５０５がキャリブレーション時の注射器の特徴的な目盛り（本実施例では、注射針から注射針延長線上に向かって検出できる長さの長い二箇所の目盛りとする）、５０６がキャリブレーション時の注射針の延長線、５０７がキャリブレーション時の注射器の外形線分、５０８がキャリブレーション時の注射針の線分、５２１がキャリブレーション時のＡ１とＢ１を結ぶ線分の距離、５２２がキャリブレーション時のＢ１とＣ１を結ぶ線分の距離である。

まず、注射器画像抽出手段１０２は、可視画像１２４を５フレームおきに受信すると、５フレームの画像内の３フレーム目を記憶し、一般的な輪郭抽出処理を用いて、注射器５１０全体の輪郭抽出を行う。ここで抽出される輪郭とは、注射器の外形線分５０７、注射器５１０上に記されている目盛り、注射針５０８の部分である。輪郭とは画像の輝度値が急激に変化する部分であるため、これを取り出すには微分演算が有効である。ただし、デジタル画像においてはデータが一定間隔にとびとびに並んでいるため、本当の意味での微分処理を行うことができない。そのため隣接画素同士の差をとる演算で微分を近似することにより輪郭抽出を実施する。さらに輪郭抽出を施した画像を特定の閾値で２値化し、ノイズ除去を実施する。

次に、注射器画像抽出手段１０２は、前記ノイズ除去後の画像から、一般的な特徴抽出処理を用いて、線分を抽出する。該線分として、注射器の外形線分５０７、注射針の線分５０８、及び注射器に付加されている目盛の線分を検出する。そして、抽出した注射器特徴画像情報１２５を注射針先端位置検出手段１０３と注射針先端位置算出手段１０４に出力する。

キャリブレーションモードの場合、注射針先端位置検出手段１０３は、注射器画像抽出手段１０２が出力する注射器特徴画像情報１２５に基づき、注射針先端位置Ａ１（５０１）と注射器に付加されている目盛の特定の２箇所の交点Ｂ１（５０２）、Ｃ１（５０３）の画素位置を検出する。

注射器５１０に付加されている目盛は規則的に並んでおり、目盛の線分に対する垂直方向と、注射器の外形線分５０７、注射針の線分５０８が平行に位置するので、注射針先端位置検出手段１０３は注射器の外形線分５０７の延長線と注射針の線分５０８の延長線５０６のうち、目盛の線分と垂直に交差する方を注射針の線分５０８と認識し、交差箇所と反対側の注射針の線分５０８上の端点を注射針先端位置Ａ１（５０１）として認識し、Ａ１の画素位置を特定する。

なお、本実施例においては、５フレームおきに受信する可視画像１２４の５フレームの画像内の３フレーム目を記憶し注射器の情報を抽出するようにしたが、これは、照明手段１の可視光１２２と近赤外光１３２の照射切り替えタイミングに遅延が生じても確実に可視光１２２を照射して時の画像を抽出するために定めたものであり、５フレームのうちどのフレームを可視画像１２４とするかは設計者が任意に選択しても良い。

注射針先端位置の認識が終了すると、注射針先端位置検出手段１０３は、延長線５０６と一定の間隔で垂直に交わる線分群を検出して、その中から長さの長い特定の目盛線分５０４、５０５を認識し、延長線５０６が目盛線分５０４、５０５と交差する交点Ｂ１（５０２）、Ｃ１（５０３）の画素位置を算出するとともに、画素（注射針先端）位置Ａ１（５０１）、交点Ｂ１（５０２）、Ｃ１（５０３）から、撮像領域におけるＡ１とＢ１を結ぶ線分の距離Ｘ１（５２１）、Ｂ１とＣ１を結ぶ線分の距離Ｙ１（５２２）を算出し、距離Ｘ１（５２１）を距離Ｙ１（５２２）で除算した値Ｚ１を記憶し、注射器初期情報１２７として注射針先端位置算出手段１０４に出力する。

図５（Ｂ）に、穿刺中の注射器のイメージを示す。図５（Ｂ）において、５１１が注射針を腕に穿刺中の注射針先端位置Ａ２、５１２が注射針を腕に穿刺中の注射器の特徴的な目盛りと注射針延長線との交点Ｂ２、５１３が注射針を腕に穿刺中の注射器の特徴的な目盛りと注射針延長線との交点Ｃ２、５１４、５１５が注射針を腕に穿刺中の注射器の特徴的な目盛り、５１６が注射針を腕に穿刺中の注射針の延長線、５１７が注射針を腕に穿刺中の注射器の外形線分、５１８が注射針を腕に穿刺中の皮膚外部に位置する注射針の部分、５１９が注射針を腕に穿刺中の皮膚下に位置する注射針の部分、５３１が注射針を腕に穿刺中のＡ２とＢ２を結ぶ線分の距離、５３２が注射針を腕に穿刺中のＢ２とＣ２を結ぶ線分の距離でである。図５（Ｂ）を用いて、通常動作モードにおいて、使用者が注射器を腕に穿刺中に、注射針先端位置推定手段３が注射針先端の位置を予測する処理について説明する（以下、この処理を注射針先端位置予測処理と称す。）。ここに、図５（Ａ）の可視画像１２４と大きく異なる点は、穿刺中であるため、皮膚外部に存在する注射針５１８は可視画像に映っているが、皮膚下に存在する注射針５１９は可視画像１２４に映らず、使用者の目にも注射針先端位置Ａ２（５１１）が見えない点である。

注射針先端位置予測処理では、まず、注射器画像抽出手段１０２が、キャリブレーションモード時と同様、一般的な輪郭抽出処理を用いて、該可視画像にて注射器全体の輪郭抽出を行い、前記輪郭抽出を施した画像を特定の閾値で２値化し、ノイズ除去を実施する。

次に、前記注射器画像抽出手段１０２は、キャリブレーションモード時と同様、前記ノイズ除去後の画像から、一般的な特徴抽出処理を用いて、線分を抽出する。該線分として、注射器の外形線分５１７、注射針の線分５１８、及び注射器に付加されている目盛の線分を検出する。注射器に付加されている目盛が規則的に並んでおり、目盛の線分に対する垂直方向と、注射器の外形線分５１７、注射針の線分５１８が平行に位置するので、注射針先端位置算出手段１０４は、注射器の外形線分５１７の延長線と注射針の線分５１８の延長線５１６のうち、前記目盛の線分と垂直に交差する方を注射針の線分５１８と認識する。

次に、注射針先端位置算出手段１０４は、前記延長線５１６と一定の間隔で垂直に交わる線分群を検出して、その中から長さの長い特定の目盛線分５１４、５１５を認識し、前記延長線５１６が目盛線分５１４、５１５と交差する交点Ｂ２（５１２）、Ｃ２（５１３）の画素位置を算出し、前記Ｂ２とＣ２を結ぶ線分の距離Ｙ２（５３２）を算出する。そして、キャリブレーションモード時に記憶しておいた距離Ｘ１（５２１）を距離Ｙ１（５２２）で除算した値Ｚ１とＹ２（５３２）を乗算した結果を、皮膚下にあって目に見えない注射針先端位置Ａ２（５１１）と交点Ｂ２（５１２）を結ぶ線分の距離Ｘ２（５３１）とみなし、注射針の線分５１８側かつＢ２とＣ２を結ぶ線分の延長線上で、Ｂ２からの距離がＸ２（５３１）となる画素（注射針先端）位置Ａ２（５１１）を算出する。そして算出した画素位置Ａ２（５１１）を、注射針先端位置１２８として注射針先端位置画像生成手段１０５に出力する。

なお、ここでは、Ａ１とＢ１を結ぶ線分の距離とＢ１とＣ１を結ぶ線分の距離の比を基にＡ２の位置を予測したが、それ以外の方法として、Ａ１とＣ１を結ぶ線分の距離とＢ１とＣ１を結ぶ線分の距離の比を基にＡ２の位置を予測してもよい。

また、キャリブレーション時と穿刺時では、通常、注射器の腕に対する角度は異なるケースがほとんどであるが、撮像される前記可視画像において、前記Ｘ１（５２１）、Ｙ１（５２２）の比と、前記Ｘ２（５３１）、Ｙ２（５３２）の比は、常に同じであるので、穿刺時の注射針先端位置Ａ２は検出可能である。

また、ここでは、注射器の目盛りを検出して注射針先端位置を予測したが、それ以外の方法として、目盛りを検出するのではなく、注射器のＢ１、Ｃ１にあらかじめ可視光に強く蛍光する蛍光体が所定サイズの点状に塗布された注射器を用い、前記可視画像において、高輝度な画素位置を検出し該画素領域を認識することで、前記目盛り検出によるＢ１、Ｃ１、Ｂ２、Ｃ２の検出処理の替わりとすることも可能である。

注射針先端位置画像生成手段１０５は注射針先端位置１２８から、画素位置を中心に半径１０画素の領域を注射針先端領域として、該注射針先端領域に含まれる画素の画素値を青色として表示するための注射針先端位置を示すマーク画像１２９を生成して画像合成手段１０９へ出力する。ここで、マーク画像１２９は、各画素の画素値がＲ（赤）、Ｇ（緑）、Ｂ（青）各８ビットで表現される画像であり、青色以外の他の色であっても良い。

次に血管位置検出手段４について説明する。
血管画像抽出手段１０７は、近赤外画像１３４から生体の血管部分を認識して抽出し、血管を強調した画像（以下、血管強調画像と称す。）１３５を生成して血管画像生成手段１０８へ出力する。

血管画像生成手段１０８は、血管強調画像１３５から表示用の血管表示画像１３８を生成して画像合成手段１０９へ出力する。

図６に、血管位置検出手段４における血管検出、血管強調画像生成に関する説明図を示す。
図６において、白黒ＣＣＤカメラが撮像した近赤外画像６０１には血管像６０２が映っている。血管画像抽出手段１０７は、近赤外画像６０１の各水平ライン６０４を走査して、横軸を水平１ライン、縦軸を輝度とした水平ラインの各画素の輝度グラフを生成する。例えば、水平ライン６０４が血管像６０２と交差すると、輝度グラフ６０７のようになる。ここに、６０５、６０６はそれぞれ、水平ライン走査上で血管近傍６０３内の最初の画素輝度、最後の画素輝度である。輝度グラフ６０７は所定の輝度閾値ＴＨ１と比較され、輝度グラフ６０７と前記輝度閾値ＴＨ１とが交差する位置に最も近い画素位置Ｇ３、Ｇ４を血管６０２の境界位置とみなし、Ｇ３とＧ４との間の画素数、及びＧ３とＧ４の中点に最も近い画素位置Ｐを記憶しておく。全ての水平ラインを走査終了した時点で、各ラインのＧ３とＧ４との間の画素数、及びＧ３とＧ４の中点画素位置Ｐを、血管パターン情報として保持しておく。

血管画像抽出手段１０７が近赤外画像から生成する血管強調画像は、血管像６０２の境界位置として検出された前記Ｇ３、Ｇ４の間の画素輝度を一様に高輝度化させ、それ以外の画素輝度を０とする。また、前記画像表示手段１１０がカラー表示能力のある場合なら、例えば、前記Ｇ３、Ｇ４の間の画素色を一様に赤色とし、それ以外の画素色を黒色としてもよい。前記血管パターン情報は、後述の注射針を穿刺するのに最適な血管を検出する方法説明においても用いられる。

図７に、血管パターン情報生成方法の説明図を示す。
図７（Ａ）においては、白黒ＣＣＤカメラが撮像した撮像範囲７０１に血管像７０３、７０４、７０５が映っている。ここでは、図６で説明した方法で血管境界を検出する方法を利用する。撮像範囲７０１の左上から１ラインずつ、水平ライン走査を行う順番７０２のとおり、一番上のラインから一番下のラインまで全ラインを走査し、例えば、各水平走査ライン７０６においては、各ラインが血管境界と交わるＫ１とＫ２との間の画素数ＬＫ、Ｋ１とＫ２の中点画素位置ＰＫ、Ｓ１とＳ２との間の画素数ＬＳ、Ｓ１とＳ２との中点画素位置ＰＳ、Ｔ１とＴ２との間の画素数ＬＴ、Ｔ１とＴ２との中点画素位置ＰＴを検出し該水平走査ライン７０６の血管パターン情報として記憶しておく。同様にして、全ラインに対し前述した処理を行うと、血管パターン情報として、全ての血管の太さと中心位置が生成されることになる。

図７（Ｂ）において、撮像範囲７０１は、例えば、横６４０画素、縦４００画素とし、ＰＫ０、ＰＳ０は０ライン目の血管の中心位置を意味し、ＰＫ０位置、ＰＳ０位置の血管の太さをそれぞれＬＫ０、ＬＳ０とする。また、ＰＳ３００、ＰＴ３００、ＰＵ３００は、３００ライン目の血管分岐点を意味する。

血管として認識した画素領域は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）各８ビットで表現される赤色の値とし、それ以外の部分は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）各８ビットで表現される肌色の値としてカラー画像化したものとする。なお、この色別化は血管とそれ以外の部分を他の色で表現するようにしても良い。

次に、表示手段５において、画像合成手段１０９は、血管表示画像１３８と前記注射針先端位置を示すマーク画像１２９とを合成して合成画像１４１を生成し、画像表示手段１１０へ出力する。

そして、画像表示手段１１０は、生体の血管位置を強調した画像に穿刺中の注射針先端位置を推定して重ね合わせた合成画像１４１を表示部２０３に表示する。ここで表示部２０３は例えばカラー液晶ディスプレイとする。

例えば、図８に、各撮像画像から合成画像１４１を生成する過程のイメージを示す。
図８において、４０１は血管画像生成手段１０８が出力する血管表示画像１３８を示しており、血管位置検出手段４が検出した血管像４０３が映っている。また、４０２はマーク画像１２９を生成する際の穿刺中の可視画像であり、４０４は注射針先端位置推定手段３で求めた注射針先端位置である。なお、ここに、４０５は穿刺中の注射器像であり、注射針のうち、４０６の部分は皮膚の上にあり、４０７の部分は腕に刺さっている部分であり、注射針先端位置４０４は皮下に位置するため目視では見えない状態であり、注射針の先端を示唆するためのイメージとして付してある。最終的に生成表示される合成画像４０９は、近赤外画像から生成される血管強調画像に対し、前記注射針先端位置４０４を示す青色のマーク画像４０８を合成したものとなる。
この様にして、使用者は、腕２０１を目視して見えにくい血管や皮膚下に位置する注射針の先端位置を表示部２０３で確認する事が可能となる。

図９に、本発明による血管及び注射針位置提示方法のフローチャートを示す。
本発明による血管及び注射針位置提示装置の電源をオンすると（Ｓ１０１）、まず注射針先端位置画像生成手段１０５内部の記憶領域として確保している針先端位置画像の記憶領域を初期化する（Ｓ１０２）。針先端位置画像は、最終的に血管強調画像と合成される画像の記憶領域である。

次に、使用者が、注射器を腕２０１と筐体２０２の間に位置させ、ボタンスイッチ２０５を押すと、照明手段１は腕に可視光を照射して、撮像手段１００及び可視画像抽出手段１０１にて第１の可視画像を抽出する（Ｓ１０３）。

次に、注射器画像抽出手段１０２が、第１の可視画像から注射器部分を認識して、前記注射針先端位置検出手段１０３が、撮像範囲における針先端位置（Ａ１）及び注射器の目盛り位置（Ｂ１、Ｃ１）を検出する（Ｓ１０４）。この（Ｓ１０２）から（Ｓ１０４）の処理が前述のキャリブレーションモードに相当する。

次に通常動作モードでは、使用者が、注射器を一旦、撮像範囲以外に移動させ、ボタンスイッチ２０６を押すと、照明手段１は腕に近赤外光を照射し、前記近赤外画像抽出手段１０６にて第１の近赤外画像を抽出する（Ｓ１０５）。

次に、前記血管画像抽出手段１０７が、第１の近赤外画像から血管部分を検出して血管パターン情報を生成し第１の血管特徴情報として記憶するとともに、第１の血管強調画像を生成・記憶し、該第１の血管強調画像１３５を前記血管画像生成手段１０８へ転送し、そのまま前記動き補正後の血管表示画像１３８として画像合成手段１０９へ転送する。この時、注射針先端位置を示すマーク画像１２９はまだ生成されていないため、前記画像合成手段１０９は合成画像１４１として前記動き補正後の血管表示画像１３８を前記画像表示手段１１０へ転送して所定表示範囲を表示する（Ｓ１０６）。

ここから以降は、照明手段１が５フレーム時間毎に、可視光と近赤外光を交互に照射しながら、可視光照射時は前記可視画像抽出手段１０１が可視画像を抽出し、近赤外光照射時は前記近赤外画像抽出手段１０６が近赤外画像を抽出する動作を交互に繰り返し、可視画像１２４を注射器画像抽出手段１０２へ、前記近赤外画像１３４を前記血管画像抽出手段１０７へそれぞれ転送しながら、以下の処理を行う。

まず、照明手段１が腕２０１に可視光を照射し、前記可視画像抽出手段１０１にて第２の可視画像を抽出する（Ｓ１０７）。

次に、前記注射器画像抽出手段１０２が、第２の可視画像から注射器部分を検出し、前記注射針先端位置算出手段１０４が、撮像範囲における注射器の目盛り位置（Ｂ２、Ｃ２）を検出する（Ｓ１０８）。

次に、前記注射針先端位置算出手段１０４は、前記Ｂ２とＣ２の間の距離と方向を算出し、前記Ａ１とＢ１、Ｂ１とＣ１の各距離の比を基に、Ｂ２と針先端位置Ａ２の距離を求め、針先端位置Ａ２の位置を算出する（Ｓ１０９）。
なお、前記ステップＳ１０８、Ｓ１０９は、図５（Ｂ）で説明した前記注射針先端位置予測処理に相当する。

次に、前記注射針先端位置画像生成手段１０５は、前記算出したＡ２位置に針先端を示すマークを付加した針先端位置画像を生成・記憶する（Ｓ１１０）。

次に、前記画像合成手段１０９は、前記針先端位置画像と第１の血管強調画像とを合成した合成画像を生成し、該合成画像を前記画像表示手段１１０へ転送して所定表示範囲を表示する（Ｓ１１１）。

以後、ステップＳ１０７からＳ１１１は、注射終了するまで繰り返され（Ｓ１１７）、医師や看護師は注射が終了した時点で電源をオフする（Ｓ１１８）。

なお、本実施例においては、筐体上に表示部２０３とボタンスイッチ２０５及び２０６を別に配置する例を示したが、例えば、表示部２０３がタッチパネル方式のディスプレイである場合には、ボタンスイッチ２０５及び２０６を表示部２０３上に設けても良い。

また、本実施例においては、ボタンスイッチ２０５及び２０６を用いてキャリブレーションモードと通常動作モードを行うように示したが、ボタンスイッチの数及び用い方についてはどのような方法でも良いことは言うまでもない。

また、本実施例においては注射器を例に示したが、点滴用の針についても同様に実施する事が可能である。例えば、点滴用の針の手に持つつまみ部分の形状を認識させて針の先端位置を推定しても良いし、点滴用の針にマークをしたり、点滴用チューブにマークをして針の先端位置を推定するようにしても良い。

以上のように、本実施例においては生体に近赤外光を照射して得る近赤外画像を基に血管を強調した画像を生成し、生体の可視画像に映る注射器の目盛りもしくは、注射器に付着させた蛍光体の蛍光を基に、注射針先端位置を算出し、血管を強調した画像の注射針先端位置に色情報を組み込んで表示させることで、使用者は、生体への注射や点滴を行う際、穿刺前後にかかわらず常に血管と注射針先端の位置関係を視認することが可能となる。

特に、従来の目視注射では、穿刺後は注射針自体が生体の皮膚下にあるため注射針先端位置は目視ではわからなかったが、本発明によれば、注射針先端が皮膚下にあっても、血管との位置関係を視認できるので、使用者が、穿刺しようとする血管に正確に注射針等を穿刺出来たかを確認することが可能となる。

図１０に本発明の血管及び注射針位置提示装置の概略機能ブロック図を示す。図１０の血管及び注射針位置提示装置は、照明手段１と、画像取得手段２と、注射針先端位置推定手段３と、血管位置検出手段４と表示手段５とで構成される。

実施例１と異なる点は血管位置検出手段４内に血管動きベクトル抽出手段１１１を設けた点である。実施例１と同じ要素については同じ符号を付し、詳細な説明を省略する。

血管動きベクトル抽出手段１１１は、詳細は後述の図１２で説明するが、後述の図１３のボタンスイッチ２０６による入力が発生した時点以降、前記血管画像抽出手段１０７が５フレーム時間おきに生成する血管強調画像１３５間の画像のずれを検出して腕の動きの移動量と移動方向を検出し、該移動量と移動方向を腕の動きベクトル１３７として血管画像生成手段１０８へ転送する。

前記血管動きベクトル抽出手段１１１は、前記血管パターン情報の前記血管の中心位置が、撮像範囲７０１と交わる位置、もしくは、撮像範囲７０１内の血管分岐点を、端点とする連続性のある経路を探索し、各経路を血管リストとする。この場合、前記血管パターン情報は以下の４つの血管リストに分けられる。血管リスト１は、中心位置ＰＫ０からＰＫ３９９にいたる点線経路である。血管リスト２は、中心位置ＰＳ０からＰＳ３００にいたる点線経路である。血管リスト３は、中心位置ＰＴ１７０からＰＴ３００にいたる点線経路である。血管リスト４は、中心位置ＰＵ３００からＰＵ３９９にいたる点線経路である。

前記血管動きベクトル抽出手段１１１は、前記血管リストを生成すると、各血管リストにおいて、中心位置を結んだ点線経路の直線性が高く太い箇所をサブリストとして複数個抽出する。直線性が高く太い箇所を抽出する方法としては、判断する画素間隔数を決定（本実施例では５０画素）し、血管リスト１ではＰＫ０からＰＫ５０までの中心位置に対して、太さのパラメータであるＬＫ０からＬＫ５０のすべてが所定の値（外部より設定可能）よりも大きい場合、最小二乗法を用いて中心位置を一次直線近似し、近似した直線とＰＫ０からＰＫ５０の経路との距離誤差の絶対値の総和をＱＫ０として記憶しておく。太さのパラメータであるＬＫ０からＬＫ５０のいずれかが前記所定の値よりも小さい場合は、前記距離誤差の絶対値の総和は、所定最大値とする。続いてＰＫ１からＰＫ５１、・・・、ＰＫ３４９からＰＫ３９９と全ての中心位置に対してそれぞれ、前記距離誤差の絶対値の総和ＱＫ１、・・・、ＱＫ３４９を算出した時点で、前記ＱＫ０からＱＫ３４９が所定の値（外部より設定可能）以下の領域を直線性の高い箇所としてサブリストに抽出する。前記同様の処理をすべての血管リストについて実施する。抽出の終わったサブリストに対して、血管の太さの平均値を算出し、平均値が大きいものから順に数個（本実施例では２個）のサブリストを選択する。このようにして選択したサブリストを、血管に穿刺するに最適な領域とみなし、最適穿刺領域７１１、７１２として認識・記憶する。

図１１は、前記５０画素の中心位置群による経路と該中心位置群を近似した直線との距離誤差の絶対値の総和の具体例図である。

図１１（Ａ）は、経路の中心画素群８００上において、中心画素ＰＫ６６（８０１）から中心画素ＰＫ１１６（８０２）までの５０画素を、最小二乗法を用いて近似した近似直線８０３の例である。図１１（Ｂ）において、ＰＫ６６（８０１）からＰＫ１１６（８０２）の画素群と前記近似直線８０３との距離誤差の絶対値の総和は、斜線部８１１、８１２、８１３の各面積の総和となる。

なお、Ｈ１（８０４）は、ＰＫ６６（８０１）から近似直線８０３への垂線と近似直線８０３の交点である。Ｈ４（８０７）は、ＰＫ１１６（８０２）から近似直線８０３への垂線と近似直線８０３の交点である。Ｈ２（８０５）、Ｈ３（８０６）は、経路の中心画素群８００と近似直線８０３との交点である。

図１２（Ａ）においては、本装置を腕に装着する前に、あらかじめ穿刺したい箇所近辺の腕表面上に特殊シールを貼っており、該特殊シールの像９０４が映っている例を説明する。該特殊シールは、近赤外光が当たると近赤外光を極端に蛍光もしくは吸収する材質のシールとする。近赤外光を照射時に前記近赤外画像抽出手段１０６が撮像した近赤外画像が、撮像画像領域９００にあるとする。この時、前記血管動きベクトル抽出手段１１１は、前記図６、図７で説明した方法を利用して、撮像画像領域９００における特殊シールの像９０４や血管分岐点９０３の画素位置を検出する。腕が動いたり揺れたりすると、次の時刻に撮像した近赤外画像では、血管像９０１、９０２はそれぞれ血管像９１１、９１２へ位置が動いており、同様に、血管分岐点９０３は移動後の血管分岐点９１３へ、特殊シールの像９０４は移動後の特殊シールの像９１４へ動く。前記血管動きベクトル抽出手段１１１は、前記図６、図７で説明した手順を利用して、腕が動いた後の特殊シール像９１４や移動後の血管分岐点９１３の撮像画像領域９００内での画素位置を検出し、特殊シールの像９０４の画素位置から移動後の特殊シールの像９１４の画素位置へのベクトル、もしくは血管分岐点９０３の画素位置から移動後の血管分岐点９１３の画素位置へのベクトルを算出する。例えば、移動後の血管分岐点９１３の画素位置が血管分岐点９０３の画素位置に対して水平左方向に５０画素、垂直下方向に２０画素ずれていたとすると、前記ベクトルは（−５０、＋２０）となる。これを腕の動きベクトルとする。

前記血管画像抽出手段１０７は、前記キャリブレーション終了後に、後述の図１４のステップＳ１０５、Ｓ１０６にあるように、初期の血管強調画像の血管パターンを検出しておき、その後、後述の図１４のステップＳ１１２からＳ１１６にあるように、前記近赤外画像抽出手段１０６からの近赤外画像の血管パターンを検出する度に、前記血管動きベクトル抽出手段１１１が該近赤外画像の血管パターンの前記初期血管強調画像の血管パターンに対するずれ量とずれ方向として、該ずれに係る前記動きベクトルを検出し、前記血管画像生成手段１０８は該近赤外画像の血管部分が前記初期の血管強調画像の血管部分と一致するように、前記初期の血管強調画像を前記ベクトル分だけずらした画像を再び初期血管強調画像として記憶しておき、前記動き補正後の血管表示画像１３８として出力する。

なお、前記特殊シールは、近赤外光によく蛍光するもしくは近赤外光をよく吸収する性質と記したが、可視光によく蛍光するもしくは可視光をよく吸収する性質のシールを用い、照明手段１が可視光を照射している時に撮像した可視画像において、前記特殊シールの位置のずれを腕の動きベクトルとして検出してもよい。

図１２（Ｂ）は、前記動きベクトルの検出方法として、前記最適穿刺領域を利用する方法を説明するものである。前記血管動きベクトル抽出手段１１１は、腕２０１が動く前と動いた後の血管パターン情報から生成した最適穿刺領域のずれを検出することで動きベクトル生成する方法である。腕が動く前の最適穿刺領域（サブリスト）９０７の中心画素（最適穿刺位置）９０５が、腕が動いた後の最適穿刺領域（サブリスト）９１７の中心画素（最適穿刺位置）９１５に移動しているので、最適穿刺位置９０５から最適穿刺位置９１５へのベクトルを算出することができる。ここに、動き探索領域９１８は、最適穿刺位置９０５の近傍にある最適穿刺領域（サブリスト）９１７の最適穿刺位置９１５を探索する範囲を意味する。

なお、前記腕の動き検出は、水平、垂直方向への腕の動きであったが、それ以外に、腕自身の角度が変化する動きが有り得る。この場合は、例えば、前記特殊シールの画素位置、もしくは、前記血管分岐点の画素位置、もしくは、前記最適穿刺領域の中心画素位置のうち、いずれか２点を基準点として、腕が動く前の近赤外画像における前記２点を結ぶ直線と、腕が動いた後の近赤外画像における前記２点を結ぶ直線とがなす角度量と回転方向を検出することで、前記腕が動いた後の近赤外画像の血管部分が前記初期血管強調画像の血管部分と一致するように、前記初期血管強調画像を前記角度量だけ前記回転方向へ回転した画像を再び初期血管強調画像として記憶しておき、前記動き補正後の血管表示画像１３８として画像合成手段１０９へ転送すればよい。

また、前記腕の動き検出においては、注射器が撮像範囲内に入るため、撮像範囲内の注射器像以外の領域に存在する前記特殊シール、もしくは、前記血管分岐点、もしくは、前記最適穿刺領域を用いて動き検出を行うものである。

以上の様に、血管動きベクトル抽出手段１１１を設けることで、筐体を図１３に示すようにすることが可能となる。図１３は、第２の位置関係で設置される血管位置提示装置の一例の概観図を示す。図１３は、血管位置提示装置と生体が非固定で使用される例であり、筐体２０２は、足場２０７、２０８によって支持される。足場２０７、２０８は、筐体２０２と血管位置を検出しようとする腕２０１とを所定の距離離した状態で安定させ、筐体２０２と足場２０７、２０８で腕２０１を囲むように設置される。この場合、腕２０１は固定されないため、腕と筐体の位置関係にずれが生じる場合がある。そこで、血管動きベクトル抽出手段１１１を設けることで、腕と筐体の位置関係がずれても的確に血管に穿刺を行うことが可能となる。

図１４に、本発明による血管及び注射針位置提示方法のフローチャートを示す。
本発明による血管及び注射針位置提示装置の電源をオンすると（Ｓ１０１）、まず前記注射針先端位置画像生成手段１０５内部の記憶領域として確保している針先端位置画像の記憶領域を初期化する（Ｓ１０２）。該針先端位置画像は、最終的に前記血管強調画像と合成される画像の記憶領域である。

次に、医師や看護師が、注射器を腕２０１と筐体２０２の間に位置させ、ボタンスイッチ２０５を押すと、前記照明手段１は腕に可視光を照射して、前記可視画像抽出手段１０１にて第１の可視画像を撮像する（Ｓ１０３）。

次に、注射器画像抽出手段１０２が、第１の可視画像から注射器部分を認識して、前記注射針先端位置検出手段１０３が、撮像範囲における針先端位置（Ａ１）及び注射器の目盛り位置（Ｂ１、Ｃ１）を検出する（Ｓ１０４）。なお、この処理は、前記図５（Ａ）で説明したキャリブレーション処理に相当する。

次に、医師や看護師が、注射器を一旦、撮像範囲以外に移動させ、ボタンスイッチ２０５を押すと、前記照明手段１は腕に近赤外光を照射し、前記近赤外画像抽出手段１０６にて第１の近赤外画像を撮像する（Ｓ１０５）。

次に、前記血管画像抽出手段１０７が、第１の近赤外画像から血管部分を検出して血管パターン情報を生成し第１の血管特徴情報として記憶するとともに、第１の血管強調画像を生成・記憶し、該第１の血管強調画像１３５を前記血管画像生成手段１０８へ転送し、そのまま前記動き補正後の血管表示画像１３８として画像合成手段１０９へ転送する。この時、注射針先端位置を示すマーク画像１２９はまだ生成されていないため、前記画像合成手段１０９は合成画像１４１として前記動き補正後の血管表示画像１３８を画像表示手段１１０へ転送して所定表示範囲を表示する（Ｓ１０６）。

ここから以降は、照明手段１が５フレーム時間毎に、可視光と近赤外光を交互に照射しながら、可視光照射時は可視画像抽出手段１０１が撮像し、近赤外光照射時は前記近赤外画像抽出手段１０６が撮像を交互に繰り返し、可視画像１２４を注射器画像抽出手段１０２へ、前記近赤外画像１３４を前記血管画像抽出手段１０７へそれぞれ転送しながら、以下の処理を行う。

まず、前記照明手段１が腕２０１に可視光を照射し、可視画像抽出手段１０１にて第２の可視画像を撮像する（Ｓ１０７）。

次に、前記注射針先端位置算出手段１０４は、前記Ｂ２とＣ２の間の距離と方向を算出し、前記Ａ１とＢ１、Ｂ１とＣ１の各距離の比を基に、Ｂ２と針先端位置Ａ２の距離を求め、針先端位置Ａ２の位置を算出する（Ｓ１０９）。

なお、前記ステップＳ１０８、Ｓ１０９は、図５（Ｂ）で説明した前記注射針先端位置予測処理に相当する。

次に、前記照明手段１が腕２０１に近赤外光を照射し、前記近赤外画像抽出手段１０６にて第２の近赤外画像を撮像する（Ｓ１１２）。

次に、前記血管画像抽出手段１０７が、第２の近赤外画像から血管部分を検出し、前記血管動きベクトル抽出手段１１１が、血管の特徴部分を検出し第２の血管特徴情報として記憶する（Ｓ１１３）。

次に、前記血管動きベクトル抽出手段１１１は、前記第１の血管特徴情報と前記第２の血管特徴情報から、腕２０１の動きベクトルを検出する（Ｓ１１４）。

次に、前記血管画像生成手段１０８は、前記第１の血管強調画像を前記動きベクトルの方向に動きベクトル量だけ移動させた画像を新たな第１の血管強調画像として記憶し、前記画像合成手段１０９が、該新たな第１の血管強調画像と前記可視画像を基に生成した前記注射針先端位置画像との合成画像を生成し、該合成画像１４１を前記画像表示手段１１０へ転送して表示させる（Ｓ１１５）。

次に、前記血管動きベクトル抽出手段１１１は、前記生成した第２の血管特徴情報を第１の血管特徴情報として置き換える（Ｓ１１６）。

以後、ステップＳ１０７からＳ１１６は、注射終了するまで繰り返され（Ｓ１１７）、医師や看護師は注射が終了した時点で電源をオフする（Ｓ１１８）。

以上のように、本実施例においては、穿刺作業中に生体が動いた場合においても正確に動いた量を検出し、血管の表示を補正する事が可能となるので、生体と本発明の血管及び注射針位置提示装置が固定されていない場合においても、使用者は正確に注射針等を穿刺することが可能となる。

本発明にかかる血管及び注射針位置提示装置、及び血管及び注射針位置提示方法は、生体に穿刺を行う際に穿刺後の注射針先端位置と血管位置を確認出来る血管及び注射針位置提示装置等として有用である。

本発明の実施例１における血管及び注射針位置提示装置の概略機能ブロック図本発明の実施例１における生体に固定するタイプの血管及び注射針位置提示装置の概観図本発明の実施例１における生体に固定するタイプの血管及び注射針位置提示装置の固定部の構造図本発明の実施例１における血管及び注射針位置提示装置が生体に面する側の構成図本発明の実施例１における注射針位置提示方法を説明するための図本発明の実施例１における血管検出、血管強調画像生成の説明図本発明の実施例１における血管パターン情報生成方法と最適穿刺領域を検出する方法の説明図本発明の実施例１において各撮像画像から合成画像を生成する過程の説明図本発明の実施例１において血管に注射針を穿刺中の注射針先端位置を検出・表示させる方法のフローチャート本発明の実施例２における血管及び注射針位置提示装置の概略機能ブロック図本発明の実施例２における中心位置群による経路と中心位置群を近似した直線との距離誤差の絶対値の総和の具体例図本発明の実施例２における生体の動き検出、画像補正の説明図本発明の実施例２において生体に非固定タイプの血管及び注射針位置提示装置の概観図本発明の実施例２において血管に注射針を穿刺中の注射針先端位置を検出・表示させる方法のフローチャート従来の静脈探査装置の構成図

符号の説明

１照明手段
２画像取得手段
３注射針先端位置推定手段
４血管位置検出手段
５表示手段
１００撮像手段
１０１可視画像抽出手段
１０２注射器画像抽出手段
１０３注射針先端位置検出手段
１０４注射針先端位置算出手段
１０５注射針先端位置画像生成手段
１０６近赤外画像抽出手段
１０７血管画像抽出手段
１０８血管画像生成手段
１０９画像合成手段
１１０画像表示手段
１１１血管動きベクトル抽出手段
１２１可視光指示信号
１２２可視光
１２３反射光
１２４可視画像
１２５注射器特徴画像情報
１２７注射器初期情報
１２８注射針先端位置
１２９マーク画像
１３１近赤外光指示信号
１３２近赤外光
１３３反射光
１３４近赤外画像
１３５血管強調画像
１３７腕の動きベクトル
１３８血管表示画像
１４１合成画像
１５１指示信号
１５２指示信号
１６１可視光光量調整手段
１６２可視光指示手段
１６３近赤外光光量調整手段
１６４近赤外光指示手段
１７１可視光強度指示信号
１７２近赤外光強度指示信号
２０１腕
２０２筐体
２０３表示部
２０４強調表示された血管
２０５ボタンスイッチ
２０６ボタンスイッチ
２０７足場
２０８足場
２０９注射針先端マーク
２２１注射器
２２２注射針先端
２２３皮膚外部に位置する注射針部分
２２４皮膚下に位置する注射針部分
３０１〜３０４近赤外ＬＥＤ
３０５カメラのレンズ部
３１１〜３１４可視ＬＥＤ
４０１血管画像生成手段が出力する血管表示画像
４０２穿刺中の可視画像
４０３血管像
４０４注射針先端位置
４０５注射器像
４０６皮膚の外部に位置する注射針像
４０７皮膚下に位置する注射針の部分
４０８注射針先端を示すマーク画像
４０９合成画像
５０１キャリブレーション時の注射針先端位置Ａ１
５０２キャリブレーション時の注射器の目盛りと注射針延長線との交点Ｂ１
５０３キャリブレーション時の注射器の目盛りと注射針延長線との交点Ｃ１
５０４キャリブレーション時の注射器の目盛り
５０５キャリブレーション時の注射器の目盛り
５０６キャリブレーション時の注射針の延長線
５０７キャリブレーション時の注射器の外形線分
５０８キャリブレーション時の注射針の線分
５１０注射器
５１１注射針を腕に穿刺中の注射針先端位置Ａ２
５１２注射針を腕に穿刺中の注射器の目盛りと注射針延長線との交点Ｂ２
５１３注射針を腕に穿刺中の注射器の目盛りと注射針延長線との交点Ｃ２
５１４注射針を腕に穿刺中の注射器の目盛り
５１５注射針を腕に穿刺中の注射器の目盛り
５１６注射針を腕に穿刺中の注射針の延長線
５１７注射針を腕に穿刺中の注射器の外形線分
５１８注射針を腕に穿刺中の皮膚外部に位置する注射針の線分
５１９注射針を腕に穿刺中の皮膚下に位置する注射針の線分
５２１キャリブレーション時のＡ１とＢ１を結ぶ線分の距離Ｘ１
５２２キャリブレーション時のＢ１とＣ１を結ぶ線分の距離Ｙ１
５３１注射針を腕に穿刺中のＡ２とＢ２を結ぶ線分の距離Ｘ２
５３２注射針を腕に穿刺中のＢ２とＣ２を結ぶ線分の距離Ｙ２
６０１近赤外画像
６０２血管像
６０３血管近傍
６０４水平ライン
６０５水平ライン走査上で血管近傍内の最初の画素輝度
６０６水平ライン走査上で血管近傍内の最後の画素輝度
６０７水平ラインの各画素の輝度グラフ
７０１撮像範囲
７０２水平ライン走査を行う順番
７０３〜７０５血管像
７０６水平走査ライン
７１１最適穿刺領域（サブリスト）
７１２最適穿刺領域（サブリスト）
８００経路の中心画素群
８０１中心画素ＰＫ６６
８０２中心画素ＰＫ１１６
８０３近似直線
８０４交点Ｈ１
８０５交点Ｈ２
８０６交点Ｈ３
８０７交点Ｈ４
８１１〜８１３距離誤差の絶対値の和
９００撮像画像領域
９０１、９０２血管像
９０３血管分岐点
９０４特殊シールの像
９０５最適穿刺位置
９０７最適穿刺領域（サブリスト）
９１１、９１２移動後の血管像
９１３移動後の血管分岐点
９１４移動後の特殊シールの像
９１５腕が動いた後の最適穿刺位置
９１７腕が動いた後の最適穿刺領域（サブリスト）
９１８動き探索領域
１１０１固定用接続部
１１０２固定用ベルト
１２０１接着部
１３０１筐体
１３０２発光素子
１３０３受光素子
１３０４電池
１３０５電源操作スイッチ
１３０６表示素子
１３０７矢印
１３０８クリップ

Claims

波長の異なる第１の照明光及び第２の照明光を生体へ照射する照明手段と、
前記生体に前記第１の照明光を照射した反射光を撮像して第１の撮像画像として出力し、前記生体に前記第２の照明光を照射した反射光を撮像して第２の撮像画像として出力する画像取得手段と、
前記第１の撮像画像から前記生体に穿刺した針の先端位置を推定し前記針の先端位置画像を出力する針先端位置推定手段と、
前記第２の撮像画像から前記生体の血管位置を検出して前記血管位置を強調した画像を出力する血管位置検出手段と、
前記針の先端位置画像と前記血管位置を強調した画像とを１つの画像に合成する画像合成手段と、
前記画像合成手段が出力する合成された画像を表示する画像表示手段とを備え、
前記生体の血管位置を表示した画像上に前記穿刺した針の先端位置を同時に表示する
ことを特徴とした血管及び注射針位置提示装置。
前記照明手段は、
前記第１の照明光を照射する可視光源と、
前記第２の照明光を照射する近赤外光源とを備え、
前記画像取得手段の指示に従って前記可視光源と前記近赤外光源とを切り替えて前記生体に照射する
ことを特徴とする請求項１に記載の血管及び注射針位置提示装置。
前記画像取得手段は、
前記生体からの反射光を撮像する撮像手段と、
前記撮像手段から前記第１の撮像画像を抽出する第１の画像抽出手段と、
前記撮像手段から前記第２の撮像画像を抽出する第２の画像抽出手段と、
前記第１の撮像画像に基づいて前記第１の照明光の強度を指示する第１の照明光強度指示信号を生成する第１の照明光光量調整手段と、
前記第２の撮像画像に基づいて前記第２の照明光の強度を指示する第２の照明光強度指示信号を生成する第２の照明光光量調整手段と、
前記撮像手段が出力する前記第１の照明光を照射するタイミングを指示する第１の指示信号と前記第１の照明光強度指示信号から前記第１の照明光の照射タイミング及び強度を前記照明手段に出力する第１の照明光指示手段と、
前記撮像手段が出力する前記第２の照明光を照射するタイミングを指示する第２の指示信号と前記第２の照明光強度指示信号から前記第２の照明光の照射タイミング及び強度を前記照明手段に出力する第２の照明光指示手段とを備え、
前記第１の指示信号と前記第２の指示信号は前記撮像手段の撮像タイミングに応じて決定される
ことを特徴とする請求項１に記載の血管及び注射針位置提示装置。
前記針先端位置推定手段は、
前記第１の撮像画像から注射器部分の画像を抽出する注射器画像抽出手段と、
前記注射器部分の画像から前記針の先端部分を検出する注射針先端位置検出手段と、
前記注射器部分の画像と前記注射針器先端位置検出手段が出力する情報とから前記生体に穿刺している前記針の先端位置を算出する注射針先端位置算出手段と、
前記注射針先端位置算出手段が出力した前記針の先端位置の画像を生成する注射針先端位置画像生成手段とを備え、
前記注射針先端位置検出手段が検出する穿刺前の注射針上の２点の特徴位置と注射針の先端位置を注射器初期情報とし、
前記注射針先端位置算出手段が前記注射器部分の画像と前記注射器初期情報から穿刺中の
注射器の針の先端位置を算出する
ことを特徴とする請求項１に記載の血管及び注射針位置提示装置。
前記血管位置検出手段は、
前記第２の撮像画像から前記生体内の血管位置を検出する血管画像抽出手段と、
前記血管画像抽出手段が出力する前記血管位置を強調した画像を生成する血管画像生成手段とを備える
ことを特徴とする請求項１に記載の血管及び注射針位置提示装置。
前記血管位置検出手段は、
前記血管位置の動きを検出する血管位置動き検出手段をさらに備え、
前記血管画像生成手段は、前記血管画像抽出手段が出力する前記血管位置と
前記血管位置動き検出手段が出力する血管位置の動き情報に基づいて前記血管位置を強調した画像を生成する
ことを特徴とする請求項５に記載の血管及び注射針位置提示装置。