JP6532042B2

JP6532042B2 - 自動注射装置

Info

Publication number: JP6532042B2
Application number: JP2017154009A
Authority: JP
Inventors: 貢一佐川; 力長井; 善生遠藤
Original assignee: Hirosaki University NUC
Current assignee: Hirosaki University NUC
Priority date: 2017-08-09
Filing date: 2017-08-09
Publication date: 2019-06-19
Anticipated expiration: 2037-08-09
Also published as: JP2019030570A

Description

本発明は、対象物の３次元位置を推定する位置推定装置、自動注射装置、及び位置推定方法に関する。

異なる方向から対象物を撮影した、該対象物の第１及び第２画像を取得し、取得した第１及び第２画像に基づいて、対象物の３次元位置を算出する位置推定装置が知られている（例えば、特許文献１参照）。

特開２００９−１１９１０７号公報

上記位置推定装置においては、第１画像上の対象物と第２画像上の対象物とを対応付けるために複数の対応点を求める必要があるため、その処理が複雑化する虞がある。

本発明は、このような問題点を解決するためになされたものであり、簡易な手法で、対象物の３次元位置を高精度に算出できる位置推定装置、自動注射装置、及び位置推定方法を提供することを主たる目的とする。

上記目的を達成するための本発明の一態様は、異なる方向から対象物を撮影した、該対象物の第１及び第２画像を取得する第１及び第２画像取得手段と、前記第１及び第２画像取得手段により取得された対象物の第１及び第２画像に基づいて、該対象物の特徴形状を表す近似式を夫々算出する近似式算出手段と、前記近似式算出手段により算出された対象物の各近似式に基づいて、該対象物の３次元位置を算出する位置算出手段と、を備えることを特徴とする位置推定装置である。
この一態様において、前記近似式算出手段は、前記第１及び第２画像取得手段により取得された第１及び第２画像に基づいて、該第１及び第２画像における前記対象物の特徴形状を表す線の第１及び第２近似式を夫々算出し、前記位置算出手段は、前記第１画像取得手段の位置と、前記近似式算出手段により算出された第１近似式の線と、を含む第１面の式を算出し、前記第２画像取得手段の位置と、前記近似式算出手段により算出された第２近似式の線と、を含む第２面の式を算出し、該算出した第１及び第２面の交線を算出し、該算出した交線の位置を前記対象物の３次元位置として算出してもよい。
この一態様において、前記近似式算出手段は、前記対象物の特徴形状を表す近似式として１次の直線式を算出してもよい。
この一態様において、前記第１及び第２画像取得手段は、赤外線カメラであってもよい。
この一態様において、前記対象物は血管であってもよい。
上記目的を達成するための本発明の一態様は、上記記載の位置推定装置を備え、前記位置推定装置により算出された血管の３次元位置に基づいて、該血管に対し穿刺針を穿刺する、ことを特徴する自動注射装置であってもよい。
この一態様において、前記穿刺針を移動させる移動手段と、前記穿刺針にかかる力を検出する力検出手段と、前記力検出手段により検出された穿刺針の力に基づいて、前記穿刺針が前記血管に到達したか否かを判定する判定手段と、前記判定手段による判定結果に基づいて、前記移動手段を制御する制御手段と、を備えていてもよい。
この一態様において、前記判定手段は、前記力検出手段により検出された穿刺針の力が２つ目のピークに達したときに、前記穿刺針が前記血管に到達したと判定してもよい。
この一態様において、前記制御手段は、前記力検出手段により検出された穿刺針の力が閾値以上になると、前記穿刺針を前記血管から抜針するように前記移動手段を制御してもよい。
上記目的を達成するための本発明の一態様は、異なる方向から対象物を撮影した、該対象物の第１及び第２画像を取得するステップと、前記取得された対象物の第１及び第２画像に基づいて、該対象物の特徴形状を表す近似式を夫々算出するステップと、前記算出された対象物の各近似式に基づいて、該対象物の３次元位置を算出するステップと、を含む、ことを特徴とする位置推定方法であってもよい。

本発明によれば、簡易な手法で、対象物の３次元位置を高精度に算出できる位置推定装置、自動注射装置、及び位置推定方法を提供することができる。

本発明の実施形態１に係る位置推定装置の概略的構成を示すブロック図である。血管の３次元位置の算出方法を説明するための図である。本発明の実施形態１に係る位置推定方法のフローを示すフローチャートを示す図である。本発明の実施形態２に係る自動注射装置の概略的なシステム構成を示すブロック図である。移動部の概略的な構成を示す図である。

実施形態１
以下、図面を参照して本発明の実施形態について説明する。本発明の実施形態１に係る位置推定装置は、例えば、医療現場などにおいて、人体の血管の３次元位置を推定できる。

ところで、従来、例えば、血管のテンプレートを事前に準備し、血管のパターンを学習し、その学習結果を用いて、血管の３次元位置を算出している。この場合、その膨大な学習データを準備し、その学習処理に負荷がかかるという問題が生じていた。

これに対し、本実施形態１に係る位置推定装置１においては、後述の如く、血管の第１及び第２画像に基づいて、血管の特徴形状を表す第１及び第２近似式を夫々算出し、該算出された血管の第１及び第２近似式に基づいて、血管の３次元位置を算出する。これにより、上記のような学習処理を行う必要がなく、血管を直線に近似し、簡易な手法で、血管の３次元位置を高精度に算出できる。

図１は、本実施形態１に係る位置推定装置の概略的構成を示すブロック図である。本実施形態１に係る位置推定装置１は、血管の画像を取得する第１及び第２カメラ２、３と、血管の近似式を算出する近似式算出部４と、血管の３次元位置を算出する位置算出部５と、を備えている。

なお、位置推定装置１は、例えば、演算処理等を行うＣＰＵ（Central Processing Unit）、ＣＰＵによって実行される演算プログラム等が記憶されたＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）からなるメモリ、外部と信号の入出力を行うインターフェイス部（Ｉ／Ｆ）、などからなるマイクロコンピュータを中心にして、ハードウェア構成されている。ＣＰＵ、メモリ、及びインターフェイス部は、データバスなどを介して相互に接続されている。

第１及び第２カメラ２、３は、第１及び第２画像取得手段の一具体例である。第１及び第２カメラ２、３は、それぞれ、異なる方向から血管を撮影し、血管のステレオ画像として第１及び第２画像を取得する。第１及び第２カメラ２、３は、赤外線カメラであるのが好ましい。これにより、例えば、皮膚下にある血管を透視して撮影することができる。第１及び第２カメラ２、３は、取得した第１及び第２画像を近似式算出部４に出力する。

近似式算出部４は、近似式算出手段の一具体例である。近似式算出部４は、第１及び第２カメラ２、３により取得された血管の第１及び第２画像に基づいて、該血管の特徴形状を表す近似式を夫々算出する。

近似式算出部４は、第１及び第２カメラ２、３により取得された第１及び第２画像から血管部分を抽出する。例えば、近似式算出部４は、第１及び第２画像の中から、血管に特有の色特性を有する、明度および彩度が特定範囲内にある領域を血管部分として抽出する。

近似式算出部４は、抽出した血管部分の特徴形状を表す近似式として、例えば、１次の直線式を算出する。通常、採血や輸血が行われる腕などの血管（静脈）は、直線状に延びているため、血管の特徴形状を１次の直線式で表すことができる。これにより、血管の特徴形状を簡易に近似式で表現することができる。

近似式算出部４は、第１カメラ２により取得された第１画像を２値化する。近似式算出部４は、例えば、血管が占めている部位を「１」、他の部位を「０」とした２値画像データを生成する。そして、近似式算出部４は、２値化した第１画像から血管部分を抽出する。近似式算出部４は、例えば、最小二乗法などを用いて、抽出した血管部分（「１」の領域）の中心を通る中心軸線の直線方程式を、第１近似式として算出する。

同様に、近似式算出部４は、例えば、第２カメラ３により取得された第２画像を２値化し、２値化した第２画像から血管部分を抽出する。近似式算出部４は、最小二乗法などを用いて、抽出した血管部分の中心を通る中心軸線の直線方程式を、第２近似式として算出する。

このようにして、対象物である血管の特徴形状を示す近似式を、複雑な処理を用いることなく容易に算出できる。近似式算出部４は、算出した第１及び第２近似式を位置算出部５に出力する。

位置算出部５は、位置算出手段の一具体例である。位置算出部５は、近似式算出部４により算出された血管の第１及び第２近似式に基づいて、該血管の３次元位置を算出する。例えば、位置算出部５は、第１及び第２画像座標系と３次元座標系との関係と、上記算出した第１及び第２画像の第１及び第２近似式と、第１及び第２カメラ２、３の位置情報と、に基づいて、第１及び第２面の式を夫々算出する。そして、位置算出部５は、算出した第１及び第２面が交わる交線を算出し、該算出した交線の３次元座標系における位置を血管の３次元位置として算出する。

より具体的には、図２に示す如く、位置算出部５は、第１カメラ２の位置Ｏ_１と、近似式算出部４により算出された第１画像Ｓ_１上の第１直線（第１近似式）Ｌ_１と、を含む第１平面Ｐ_１の第１平面方程式を算出する。同様に、位置算出部５は、第２カメラ３の位置Ｏ_２と、近似式算出部４により算出された第２画像Ｓ_２上の第２直線（第２近似式）Ｌ_２と、を含む第２平面Ｐ_２の第２平面方程式を算出する。位置算出部５は、算出した第１及び第２平面Ｐ_１、Ｐ_２が交わる交線Ｌ_３の交線方程式を算出し、該算出した交線Ｌ_３の３次元座標系における位置を血管の３次元位置として算出する。なお、上記第１及び第２カメラ２、３の位置Ｏ_１、Ｏ_２は、例えば、カメラの中心座標などがメモリに予め設定されている。

上述したように、本実施形態１に係る位置推定装置１によれば、処理負荷の低い簡易な手法で、血管の３次元位置を示す交線方程式を算出できる。

図３は、本実施形態１に係る位置推定方法のフローを示すフローチャートを示す図である。

第１及び第２カメラ２、３は、それぞれ、異なる方向から血管を撮影し、血管の第１及び第２画像Ｓ_１、Ｓ_２を取得し、取得した第１及び第２画像Ｓ_１、Ｓ_２を近似式算出部４に出力する（ステップS１０１）。

近似式算出部４は、第１及び第２カメラ２、３から出力された血管の第１及び第２画像Ｓ_１、Ｓ_２に基づいて、血管の特徴形状を表す第１及び第２近似式を夫々算出し、算出した第１及び第２近似式を位置算出部５に出力する（ステップＳ１０２）。

位置算出部５は、第１カメラ２の位置Ｏ_１と、近似式算出部４により算出された第１画像Ｓ_１上の第１直線（第１近似式）Ｌ_１と、を含む第１平面Ｐ_１の第１平面方程式を算出する（ステップＳ１０３）。

位置算出部５は、第２カメラ３の位置Ｏ_２と、近似式算出部４により算出された第２画像Ｓ_２上の第２直線（第２近似式）Ｌ_２と、を含む第２平面Ｐ_２の第２平面方程式を算出する（ステップＳ１０４）。

位置算出部５は、算出した第１及び第２平面Ｐ_１、Ｐ_２が交わる交線Ｌ_３の交線方程式を算出し、該算出した交線Ｌ_３の３次元座標系における位置を血管の３次元位置として算出する（ステップＳ１０５）。

なお、上記実施形態１において、対象物として、医療現場などにおける人の血管が適用されているが、これに限定されず、任意の物体が適用されてもよい。これにより、血管の場合と同様に、簡易な手法で、任意の物体の３次元位置を高精度に算出できる。

上記実施形態１において、近似式算出部４は、第１及び第２近似式として１次の直線式を算出しているが、これに限定されない。近似式算出部４は、第１及び第２近似式として、例えば、２次元曲線や３次元曲線などの曲線式を算出してもよい。

この場合、位置算出部５は、第１カメラ２の位置と、近似式算出部４により算出された第１画像上の第１曲線（第１近似式）と、を含む第１曲面の第１曲面方程式を算出する。位置算出部５は、第２カメラ３の位置と、近似式算出部４により算出された第２画像上の第２曲線（第２近似式）と、を含む第２曲面の第２曲面方程式を算出する。位置算出部５は、算出した第１及び第２曲面が交わる交線の交線方程式を算出し、該算出した交線の３次元座標系における位置を血管の３次元位置として算出する。

以上、本実施形態１に係る位置推定装置１は、異なる方向から対象物を撮影し、該対象物の第１及び第２画像を取得し、取得された対象物の第１及び第２画像に基づいて、該対象物の特徴形状を表す近似式を夫々算出し、算出された対象物の各近似式に基づいて、該対象物の３次元位置を算出する。これにより、簡易な手法で、対象物の３次元位置を高精度に算出できる。

実施形態２
本発明の実施形態２に係る自動注射装置は、例えば、医療現場などにおいて、自動的に、人の血管に対し穿刺針を穿刺し、採血や輸血などを行う。本実施形態２に係る自動注射装置によれば、医療現場において行われる採血や輸血などを自動化し、医療従事者の２次感染の予防、病院での待ち時間の解消、穿刺ミス等の採血や輸血などに伴う問題を解決することができる。

図４は、本実施形態２に係る自動注射装置の概略的なシステム構成を示すブロック図である。

本実施形態２に係る自動注射装置１０は、上記実施形態１に係る位置推定装置１により算出された血管の３次元位置に基づいて、該血管に対し穿刺針を穿刺する。血管は、例えば、人の前腕肘窩部における、表在性の静脈血管などである。

自動注射装置１０は、位置推定装置１と、穿刺針を移動させる移動部１１と、穿刺針にかかる力を検出する力検出部１２と、穿刺針が血管に到達したか否かを判定する判定部１３と、移動部１１を制御する制御部１４と、を備えている。

位置推定装置１は、上述の如く、血管の３次元位置を算出し、該算出した血管の３次元位置を制御部１４に出力する。なお、位置推定装置１、判定部１３、及び制御部１４は、一体的に構成されていてもよい。

移動部１１は、移動手段の一具体例である。移動部１１は、例えば、図５に示す如く、穿刺針を任意の位置に移動させることができるマニピュレータとして構成されている。移動部１１は、アーム部１１１と、アーム部１１１の先端に連結されたスライド機構１１２と、スライド機構１１２を駆動する直動アクチュエータ１１３と、を有している。アーム部１１１は、複数の関節部１１４及びリンク１１５で構成された多関節型アームである。各関節部１１４には、各関節部１１４を回転駆動するサーボモータ、各関節部１１４の回転情報を検出する回転センサなどが設けられている。

スライド機構１１２には、穿刺針を有するシリンジ１１６が連結されている。直動アクチュエータ１１３は、スライド機構１１２を駆動することで、直線的に、シリンジ１１６の穿刺針を血管に接近させ、あるいは離間されることができる。

力検出部１２は、力検出手段の一具体例である。力検出部１２は、例えば、６軸力覚センサなどで構成されている。力検出部１２は、例えば、スライド機構１１２に設けられている。力検出部１２は、スライド機構１１２がシリンジ１１６を血管に接近させ穿刺針を血管に穿刺したときの、穿刺針にかかる力を検出することができる。

判定部１３は、判定手段の一具体例である。判定部１３は、力検出部１２により検出された穿刺針の力に基づいて、穿刺針が血管に到達（貫通）したか否かを判定する。判定部１３は、例えば、力検出部１２により検出された穿刺針の力が２つ目のピークに達したときに、穿刺針が血管に到達しと判定する。これは、１つ目のピークは、穿刺針が皮膚を貫通したことを示し、２つ目のピークは、穿刺針が血管壁を貫通したこと示すからである。このように、簡易かつ正確に穿刺針の血管への到達を判定できる。

制御部１４は、制御手段の一具体例である。制御部１４は、アーム部１１１及び直動アクチュエータ１１３に対して、制御信号を送信することで、例えば、フィードバック制御やロバスト制御を行う。これにより、制御部１４は、血管に対しシリンジ１１６の穿刺針を接近させ、あるいは離間させるなど、シリンジ１１６の穿刺針を任意の位置に移動させることができる。

制御部１４は、位置推定装置１から出力される血管の３次元位置に基づいて、アーム部１１１及び直動アクチュエータ１１３を制御して、シリンジ１１６の穿刺針を血管に対して穿刺する。

例えば、制御部１４は、位置推定装置１から出力される血管の３次元位置に基づいて、アーム部１１１を制御して、シリンジ１１６を血管から所定距離まで接近させる。続いて、制御部１４は、直動アクチュエータ１１３を制御して、シリンジ１１６の穿刺針を直線移動させ、血管に穿刺する。

このとき、制御部１４は、位置推定装置１から出力される血管の３次元位置に基づいて、例えば、血管を示す交線上において予め設定された位置を目標位置として、穿刺針を移動させる。例えば、上記交線の中心位置、所定比率の位置、ユーザによって指示された位置、などが予めメモリに設定されている。

制御部１４は、判定部１３による判定結果に基づいて、移動部１１の直動アクチュエータ１１３を制御する。制御部１４は、例えば、判定部１３により穿刺針が血管に到達したとの判定結果に基づいて、直動アクチュエータ１１３を制御して、シリンジ１１６の穿刺針の直線移動を停止させる。そして、制御部１４は、シリンジ１１６の穿刺針から採血や輸血を行うための制御を行う。なお、採血や輸血を行うための機構及び制御は、周知であり、例えば、特開２０１４−２３９８３１号公報などに詳細に記載されているため、これを援用できるものとする。

制御部１４は、採血が終了したと判断すると、直動アクチュエータ１１３を制御して、自動的に、シリンジ１１６の穿刺針を血管から抜針してもよい。これにより、採血や輸血を自動化し医療従事者の負荷を大幅に軽減することができる。

ところで、シリンジ１１６の穿刺針を血管に穿刺する際に、穿刺針に異常な力が作用していないかリアルタイムで監視し、異常な力が作用している場合、直ちに、穿刺針を血管から抜針するのが、安全上好ましい。

これに対し、本実施形態２に係る自動注射装置１０は、穿刺針にかかる力が閾値以上になると、穿刺針を血管から抜針する。すなわち、穿刺針にかかる力が閾値以上となるような穿刺針に異常な力が作用している場合に、直ちに、穿刺針を血管から抜針する。

例えば、制御部１４は、力検出部１２により検出された穿刺針の力が閾値以上になったと判断すると、穿刺針を血管から抜針するように移動部１１の直動アクチュエータ１１３を制御する。これにより、穿刺針を血管に穿刺する際に、異常な力が作用した場合でも、直ちに穿刺針を血管から抜針し、その安全性を向上させることができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他のさまざまな形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

本発明は、例えば、図３に示す処理を、ＣＰＵにコンピュータプログラムを実行させることにより実現することも可能である。

プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。

プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

１位置推定装置
２第１カメラ
３第２カメラ
４近似式算出部
５位置算出部
１０自動注射装置
１１移動部
１２力検出部
１３判定部
１４制御部
１１１アーム部
１１２スライド機構
１１３直動アクチュエータ
１１４関節部
１１５リンク
１１６シリンジ

Claims

異なる方向から血管を撮影した、該血管の第１及び第２画像を取得する第１及び第２画像取得手段と、
前記第１及び第２画像取得手段により取得された血管の第１及び第２画像に基づいて、該血管の特徴形状を表す近似式を夫々算出する近似式算出手段と、
前記近似式算出手段により算出された血管の各近似式に基づいて、該血管の３次元位置を算出する位置算出手段と、
を備え、
前記近似式算出手段は、前記第１及び第２画像取得手段により取得された第１及び第２画像に基づいて、該第１及び第２画像における前記血管の特徴形状を表す線の第１及び第２近似式を夫々算出し、
前記位置算出手段は、前記第１画像取得手段の位置と、前記近似式算出手段により算出された第１近似式の線と、を含む第１面の式を算出し、前記第２画像取得手段の位置と、前記近似式算出手段により算出された第２近似式の線と、を含む第２面の式を算出し、該算出した第１及び第２面の交線を算出し、該算出した交線の位置を前記血管の３次元位置として算出し、
前記第１及び第２画像取得手段は、赤外線カメラであり、
前記算出された血管の３次元位置に基づいて、該血管に対し穿刺針を穿刺する、
ことを特徴とする自動注射装置。
請求項１記載の自動注射装置であって、
前記近似式算出手段は、前記血管の特徴形状を表す近似式として１次の直線式又は２次以上の曲線式を算出する、
ことを特徴とする自動注射装置。
請求項１記載の自動注射装置であって、
前記穿刺針を移動させる移動手段と、
前記穿刺針にかかる力を検出する力検出手段と、
前記力検出手段により検出された穿刺針の力に基づいて、前記穿刺針が前記血管に到達したか否かを判定する判定手段と、
前記判定手段による判定結果に基づいて、前記移動手段を制御する制御手段と、
を備える、ことを特徴とする自動注射装置。
請求項３記載の自動注射装置であって、
前記判定手段は、前記力検出手段により検出された穿刺針の力が２つ目のピークに達したときに、前記穿刺針が前記血管に到達したと判定する、
ことを特徴する自動注射装置。
請求項３又は４記載の自動注射装置であって、
前記制御手段は、前記力検出手段により検出された穿刺針の力が閾値以上になると、前記穿刺針を前記血管から抜針するように前記移動手段を制御する、
ことを特徴とする自動注射装置。