JP6406590B2 - 液滴測定システム、液滴測定方法及びプログラム - Google Patents

液滴測定システム、液滴測定方法及びプログラム Download PDF

Info

Publication number
JP6406590B2
JP6406590B2 JP2017045479A JP2017045479A JP6406590B2 JP 6406590 B2 JP6406590 B2 JP 6406590B2 JP 2017045479 A JP2017045479 A JP 2017045479A JP 2017045479 A JP2017045479 A JP 2017045479A JP 6406590 B2 JP6406590 B2 JP 6406590B2
Authority
JP
Japan
Prior art keywords
image
nozzle
droplet
volume
drop
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017045479A
Other languages
English (en)
Other versions
JP2018148962A (ja
Inventor
功 大和田
功 大和田
陽美 寒川
陽美 寒川
正紹 似田貝
正紹 似田貝
片野 圭二
圭二 片野
忠孝 上山
忠孝 上山
尚行 小田島
尚行 小田島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
IGUNOSS, INC.
Icomes Lab Co Ltd
Original Assignee
IGUNOSS, INC.
Icomes Lab Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by IGUNOSS, INC., Icomes Lab Co Ltd filed Critical IGUNOSS, INC.
Priority to JP2017045479A priority Critical patent/JP6406590B2/ja
Priority to US15/911,914 priority patent/US10583248B2/en
Publication of JP2018148962A publication Critical patent/JP2018148962A/ja
Application granted granted Critical
Publication of JP6406590B2 publication Critical patent/JP6406590B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M5/00Devices for bringing media into the body in a subcutaneous, intra-vascular or intramuscular way; Accessories therefor, e.g. filling or cleaning devices, arm-rests
    • A61M5/14Infusion devices, e.g. infusing by gravity; Blood infusion; Accessories therefor
    • A61M5/168Means for controlling media flow to the body or for metering media to the body, e.g. drip meters, counters ; Monitoring media flow to the body
    • A61M5/16886Means for controlling media flow to the body or for metering media to the body, e.g. drip meters, counters ; Monitoring media flow to the body for measuring fluid flow rate, i.e. flowmeters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M5/00Devices for bringing media into the body in a subcutaneous, intra-vascular or intramuscular way; Accessories therefor, e.g. filling or cleaning devices, arm-rests
    • A61M5/14Infusion devices, e.g. infusing by gravity; Blood infusion; Accessories therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M5/00Devices for bringing media into the body in a subcutaneous, intra-vascular or intramuscular way; Accessories therefor, e.g. filling or cleaning devices, arm-rests
    • A61M5/14Infusion devices, e.g. infusing by gravity; Blood infusion; Accessories therefor
    • A61M5/1411Drip chambers
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M5/00Devices for bringing media into the body in a subcutaneous, intra-vascular or intramuscular way; Accessories therefor, e.g. filling or cleaning devices, arm-rests
    • A61M5/14Infusion devices, e.g. infusing by gravity; Blood infusion; Accessories therefor
    • A61M5/168Means for controlling media flow to the body or for metering media to the body, e.g. drip meters, counters ; Monitoring media flow to the body
    • A61M5/16804Flow controllers
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M5/00Devices for bringing media into the body in a subcutaneous, intra-vascular or intramuscular way; Accessories therefor, e.g. filling or cleaning devices, arm-rests
    • A61M5/14Infusion devices, e.g. infusing by gravity; Blood infusion; Accessories therefor
    • A61M5/168Means for controlling media flow to the body or for metering media to the body, e.g. drip meters, counters ; Monitoring media flow to the body
    • A61M5/172Means for controlling media flow to the body or for metering media to the body, e.g. drip meters, counters ; Monitoring media flow to the body electrical or electronic
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00General characteristics of the apparatus
    • A61M2205/33Controlling, regulating or measuring
    • A61M2205/3327Measuring
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00General characteristics of the apparatus
    • A61M2205/50General characteristics of the apparatus with microprocessors or computers
    • A61M2205/502User interfaces, e.g. screens or keyboards
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00General characteristics of the apparatus
    • A61M2205/50General characteristics of the apparatus with microprocessors or computers
    • A61M2205/52General characteristics of the apparatus with microprocessors or computers with memories providing a history of measured variating parameters of apparatus or patient
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Hematology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Vascular Medicine (AREA)
  • Anesthesiology (AREA)
  • Physics & Mathematics (AREA)
  • Fluid Mechanics (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Infusion, Injection, And Reservoir Apparatuses (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

本発明は、ノズルから滴下する液滴の体積を測定する液滴測定システム、液滴測定方法及びプログラムに関する。
薬液や栄養剤等の液体(点滴液)を点滴する際には、予め決められた流量を維持することが重要である。従来、点滴の流量制御は、点滴筒内に滴下する液滴の数をカウントして単位時間あたりの滴下数を求め、液滴の体積が一定であるという前提で流量を算出し、液滴の滴下周期(滴下する時間間隔)を調節することにより行っていた。
しかし、実際には、点滴液の表面張力は粘度や環境温度等の条件に依存して変化するため、液滴1つあたりの体積は一定ではない。また、医療の現場においては、点滴中に患者が姿勢を変えてしまうことがあり、この場合、点滴液のヘッド差が変化して液滴の体積が変動してしまうことがある。そのため、液滴の滴下周期のみによって流量を制御する従来の方法においては、流量の誤差が生じ易く、高精度な流量制御が困難であった。
このような問題に対し、滴下する液滴の体積を測定して流量制御に用いる技術が知られている。例えば特許文献1には、透明な点滴筒と、該点滴筒の外部の一側に配置された発光部と、該発光部と点滴筒を挟んで対向した位置に配置された二次元イメージセンサとを備え、点滴筒内の滴下ノズル先端と、該滴下ノズルから落ちる液滴の所定落下距離分を含むようにこの二次元イメージセンサの視野を設定した液滴検出装置が開示されている。
特開2011−62371号公報
上記特許文献1においては、落下中の液滴の全体形状から液滴の体積を算出している。そのため、滴下ノズルの先端から液滴の所定落下距離までの範囲を捉えることができるような大きなサイズを有し、且つフレームレートの高い二次元イメージセンサが必要になる。そのため、処理すべき画像データのデータ量が多くなるので、次々に落下する液滴の体積をほぼリアルタイムに測定するためには、大量の演算処理及びメモリ操作を高速に処理できる高性能の処理装置が必要になる。それにより、システム構成全体が大掛かりになると共に、装置コストが上昇し、その結果、システムの量産化が困難になってしまう。
他方、汎用のイメージセンサを用い、滴下ノズルからイメージセンサまでの距離を大きくすることで、滴下ノズルの先端から液滴の所定落下距離まで範囲を捉えることも考えられる。しかしながら、この場合、画像に写り込む液滴の像のサイズが小さくなってしまうので、画像処理により液滴の体積を算出する際の精度が低下してしまう。また、画像内に液滴以外のオブジェクトが写り込み易くなるので、測定誤差が大きくなる可能性がある。
本発明は上記に鑑みてなされたものであって、ノズルから滴下する液滴の体積を精度良く測定することができ、且つ量産化に適した液滴測定システム、液滴測定方法及びプログラムを提供することを目的とする。
上記課題を解決するために、本発明の一態様に係る液滴測定システムは、ノズルから滴下する液滴の体積を測定する液滴測定システムにおいて、被写体を撮像して画像データを出力する撮像装置であって、前記ノズルの先端部と、前記ノズルに垂下する液体全体とを視野に収めるように設置される撮像装置と、前記撮像装置から出力される画像データに基づき、前記ノズルから液滴が滴下する様子が写った画像を時系列順に生成する画像生成部と、前記画像生成部により時系列順に生成された複数の画像のうちから、液滴が前記ノズルから離れたことが検出された画像である滴下検出画像を検出する滴下検出部と、少なくとも、前記複数の画像のうち前記滴下検出画像の所定フレーム前に生成され、前記ノズルに垂下する液体が写った画像である滴下前画像と、該滴下前画像と異なる画像であって、前記撮像装置から出力される画像データに基づいて生成され、少なくとも前記ノズルの先端部が写った画像である参照画像と、に基づいて、前記液滴の体積を算出する体積算出部と、を備えるものである。
上記液滴測定システムにおいて、前記参照画像は、前記撮像装置から出力される画像データに基づいて生成され、前記ノズルから液滴を滴下させていない状態が写った画像であり、前記体積算出部は、前記滴下前画像と前記参照画像との差分画像に基づいて前記液滴の体積を算出しても良い。
上記液滴測定システムにおいて、前記参照画像は、前記撮像装置から出力される画像データに基づいて生成され、前記ノズルから液滴を滴下させていない状態が写った画像であり、前記体積算出部は、前記滴下前画像と前記参照画像との間の第1の差分画像と、前記滴下検出画像と前記参照画像との間の第2の差分画像とに基づいて前記液滴の体積を算出しても良い。
上記液滴測定システムにおいて、前記滴下前画像は、前記滴下検出画像の1フレーム又は2フレーム前に生成された画像であっても良い。
上記液滴測定システムにおいて、前記参照画像は、前記複数の画像のうち前記滴下検出画像の所定フレーム後に生成された画像であり、前記体積算出部は、前記滴下前画像のうち前記滴下検出画像の1フレーム前に生成された画像である滴下直前画像と、前記参照画像との差分画像に基づいて、前記液滴の体積を算出しても良い。
上記液滴測定システムにおいて、前記参照画像は、前記滴下検出画像の1フレーム又は2フレーム後に生成された画像であっても良い。
上記液滴測定システムにおいて、前記画像処理部は、前記差分画像に対して二値化処理を施すことにより、前記ノズルに垂下する液体が写った領域を抽出し、該領域の内部領域に対して穴埋め処理を施し、前記体積算出部は、前記穴埋め処理が施された前記領域に基づいて、前記液滴の体積を算出しても良い。
上記液滴測定システムにおいて、前記画像処理部は、前記差分画像に対して二値化処理を施すことにより、前記ノズルに垂下する液体が写った領域を抽出し、前記体積算出部は、前記ノズルの下端面に相当する位置から上方に突出している部分が左右非対称である場合、前記領域から前記部分を除いた残りの領域に基づいて前記液滴の体積を算出しても良い。
上記液滴測定システムにおいて、前記画像処理部は、前記差分画像に対して二値化処理を施すことにより、前記ノズルに垂下する液体が写った領域を抽出し、前記体積算出部は、前記ノズルの下端面に相当する位置から上方に突出している部分が左右非対称である場合、前記ノズルの下端面に相当する位置における前記領域の幅に対する、前記位置から上方に突出している部分の幅の比率を算出し、前記比率が所定値未満である場合、前記領域から前記部分を除いた残りの領域に基づいて前記液滴の体積を算出し、前記比率が所定値以上である場合、前記領域から前記部分を除いた残りの領域に基づいて算出された体積と、前記部分に基づいて算出された体積との合算値を前記液滴の体積として算出しても良い。
上記液滴測定システムにおいて、前記撮像装置のフレームレートは、60フレーム/秒±10フレーム/秒の範囲で可変であっても良い。
上記液滴測定システムにおいて、撮像装置は、長手方向の画素数が480以上800以下、短手方向の画素数が320以上600以下、且つトータルの画素数が50万画素以下である撮像素子を備えても良い。
上記液滴測定システムにおいて、前記撮像装置は、テレセントリックレンズを備えても良い。
上記液滴測定システムにおいて、前記ノズルは、容器内に充填された液体を点滴筒を介して点滴する点滴装置に設けられ、前記液体からなる液滴を前記点滴筒内に滴下し、前記点滴筒内に溜まった前記液体を流通させるチューブに対して押圧可能に設けられたクレンメに対し、該クレンメを駆動して前記チューブに対する押圧力を変化させることにより、前記液体の流量を変化させるアクチュエータと、前記体積の算出結果に基づいて、前記液体の流量が予め設定された範囲となるように前記アクチュエータを制御する流量制御部と、をさらに備えても良い。
本発明の別の態様である液滴測定方法は、ノズルから滴下する液滴の体積を測定する液滴測定方法において、前記ノズルの先端部と、前記ノズルに垂下する液体全体とを視野に収めるように設置される撮像装置から出力される画像データに基づき、前記ノズルから液滴が滴下する様子が写った画像を時系列順に生成するステップ(a)と、ステップ(a)において時系列順に生成された複数の画像のうちから、液滴が前記ノズルから離れたことが検出された画像である滴下検出画像を検出するステップ(b)と、少なくとも、前記複数の画像のうち前記滴下検出画像の所定フレーム前に生成され、前記ノズルに垂下する液体が写った画像である滴下前画像と、該滴下前画像と異なる画像であって、前記撮像装置から出力される画像データに基づいて生成され、少なくとも前記ノズルの先端部が写った画像である参照画像と、に基づいて、前記液滴の体積を算出するステップ(c)と、を含むものである。
本発明のさらに別の態様であるプログラムは、ノズルから滴下する液滴の体積を測定するプログラムにおいて、前記ノズルの先端部と、前記ノズルに垂下する液体全体とを視野に収めるように設置される撮像装置から出力される画像データに基づき、前記ノズルから液滴が滴下する様子が写った画像を時系列順に生成するステップ(a)と、ステップ(a)において時系列順に生成された複数の画像のうちから、液滴が前記ノズルから離れたことが検出された画像である滴下検出画像を検出するステップ(b)と、少なくとも、前記複数の画像のうち前記滴下検出画像の所定フレーム前に生成され、前記ノズルに垂下する液体が写った画像である滴下前画像と、該滴下前画像と異なる画像であって、前記撮像装置から出力される画像データに基づいて生成され、少なくとも前記ノズルの先端部が写った画像である参照画像と、に基づいて、前記液滴の体積を算出するステップ(c)と、をコンピュータに実行させるものである。
本発明によれば、少なくとも、ノズルに垂下する液体が写った滴下前画像と、該滴下前画像とは異なる画像であって少なくともノズルの先端部が写った参照画像とに基づいて液滴の体積を算出するので、液滴がノズルから落下している様子を時系列で捉え得るような、サイズが大きく高フレームレートのイメージセンサを備える撮像装置を使用する必要がなくなる。従って、汎用の撮像装置や演算処理装置等を組み合わせてシステムを簡素に構成することができ、システムの量産化を図ることが可能となる。
また、本発明によれば、液滴が落下している様子を捉える場合と比較して近距離から撮像を行うことができるので、画像内に大きく写った液体の像に基づいて精度良く液滴の体積を算出することができる。さらに、本発明によれば、少なくともノズルに垂下したままの状態の液体を撮像するので、撮像装置と被写体との間の距離であるワークディスタンスを安定させることができ、精度良く、且つ安定した精度で液滴の体積を精度よく算出することが可能となる。
本発明の第1の実施形態に係る液滴測定システムの概略構成を示す図である。 図1に示す情報処理装置の概略構成を示すブロック図である。 図1に示す液滴測定システムの動作を示すフローチャートである。 画像生成部により時系列順に生成される画像を例示する模式図である。 本発明の第1の実施形態における液滴の体積算出処理を示すフローチャートである。 液滴の体積算出処理を説明するための模式図である。 液滴の体積算出処理を説明するための模式図である。 液滴の体積の算出方法を説明するための模式図である。 液滴の体積算出処理を説明するための模式図である。 液滴の体積算出処理を説明するための模式図である。 本発明の第1の実施形態の変形例における液滴の体積算出処理を説明するための模式図である。 参考例における液滴の体積算出処理を説明するための模式図である。 本発明の第2の実施形態における液滴の体積算出処理を説明するための模式図である。 本発明の第5の実施形態における液滴の体積算出処理を説明するための模式図である。 本発明の第5の実施形態における液滴の体積算出処理を説明するための模式図である。 本発明の第5の実施形態における液滴の体積算出処理を説明するための模式図である。 本発明の第5の実施形態の変形例における液滴の体積算出処理を説明するための模式図である。 本発明の第5の実施形態の変形例における液滴の体積算出処理を説明するための模式図である。
以下、本発明の実施の形態に係る液滴測定システム、液滴測定方法及びプログラムについて、図面を参照しながら説明する。なお、これらの実施の形態によって本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。
以下の説明において参照する図面は、本発明の内容を理解し得る程度に形状、大きさ、及び位置関係を概略的に示しているに過ぎない。即ち、本発明は各図で例示された形状、大きさ、及び位置関係のみに限定されるものではない。また、図面の相互間においても、互いの寸法の関係や比率が異なる部分が含まれている場合がある。
(第1の実施形態)
図1は、本発明の第1の実施形態に係る液滴測定システムの概略構成を示す図である。図1に示すように、本実施形態に係る液滴測定システム10は、輸液バッグ2に充填された液体(点滴液)を、中間チューブ3、点滴筒4、及び輸液チューブ5を介して供給する点滴装置1に対し、点滴筒4内に設けられたノズル6の先端部(以下、ノズル先端部ともいう)6aから滴下する液滴7の体積を測定すると共に、測定した体積をもとに点滴の流量を制御するシステムである。
輸液バッグ2は、薬液や栄養剤等の点滴液が充填された容器であり、点滴中には支持台等に吊り下げられて保持される。中間チューブ3は、一端において輸液バッグ2の排液ポート2aと接続され、他端において点滴筒4の上蓋4aに取り付けれたノズル6の一端と接続されている。このノズル6の他端は、点滴筒4内に突出するように設けられている。
輸液チューブ5は弾性材料によって形成されている。この輸液チューブ5の途中には、輸液チューブ5を径方向に押圧可能なクレンメ8と、クレンメ8を駆動するアクチュエータ9とが設けられている。
アクチュエータ9は、電気的な制御の下でクレンメ8を駆動することにより、クレンメ8による輸液チューブ5に対する押圧力を変化させる。それにより、輸液チューブ5の内径が変化(開閉)し、輸液チューブ5内を流通する点滴液の流量を調節することができる。それに伴い、点滴筒4の内圧が変化し、ノズル6から滴下する液滴7の滴下周期が変化する。
また、液滴測定システム10は、点滴筒4を照明する光源11と、点滴筒4内を撮像して画像データを生成するカメラ12と、カメラ12が生成した画像データに基づいて液滴の体積を算出する情報処理装置13と、液滴の体積の算出結果等を表示する表示装置14とを備える。
光源11は、例えばLED(Light Emitted Diode)等の発光素子と、該発光素子から出射した光が平行光となるように配光制御するフィルタやレンズ等の光学系とを備える。光源11は、カメラ12の視野と対向するように設置され、液滴が滴下するノズル先端部6aの近傍を、液滴7の背後から照明する。
カメラ12は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の撮像素子12aを有し、所定の撮像フレームレートで動画又静止画の撮像が可能な撮像装置である。撮像素子12aは、カメラ12に入射し、光学系により結像させられた光(被写体像)を受光面において受光し、光電変換を行うことにより電気信号を生成する。カメラ12は、この電気信号に対し、増幅、A/D変換等の所定の信号処理を施すことにより画像データを生成して出力する。
カメラ12のスペックは、測定対象とする点滴装置1に応じて適宜構成することができる。一例として、点滴装置1が医療分野において一般的に用いられる装置である場合、点滴筒4を近距離から撮像することができ、且つユーザによる点滴操作の邪魔にならないように、カメラモジュールの外径が数mm〜十数mm程度、且つ、焦点距離が数mm〜数十mm程度の小型カメラを用いると良い。
撮像素子12aとしては、トータルの画素数が50万画素以下の汎用の製品を用いることができる。詳細には、長手方向の画素数が480〜800程度、短手方向の画素数が320〜600程度であって、縦横比が1以上であれば良い。後述するように、本実施形態においては、撮像素子12aの長手方向が鉛直方向、短手方向が水平方向となるようにカメラ12を設置する。そのため、以下においては、撮像素子12aの長手方向を縦方向、短手方向を横方向という。
カメラ12の撮像フレームレートは、50〜70fps(フレームレート/秒)の範囲であることが好ましい。より好ましくは、上記範囲内で撮像フレームレートが可変であると良い。
カメラ12は、ノズル先端部6a及び該ノズル先端部6aから下方の所定範囲を視野に収めるように設置される。具体的には、滴下する直前にノズル先端部6aに垂下している液体の全体が視野に収まれば良い。この際、ノズル先端部6aから離れて落下中の液滴については、その一部又は全部が視野から外れても良い。ノズル先端部6aに垂下する液体の大きさは、ノズルの径、液体の粘度、滴下周期等の条件によって変化するため、ワークディスタンスWD(被写体からカメラ12のレンズ先端までの距離)を調節することにより、カメラ12の視野に収める被写体の範囲を決定すると良い。例えば、1mlを20滴で滴下するための大人用ノズルを用いる場合、垂下する液体は比較的大きくなるので、ワークディスタンスWDを長めにすると良い。また、1mlを60滴で滴下するための小児用ノズルを用いる場合、垂下する液体は比較的小さくなるので、ワークディスタンスWDは短めでも良い。
好ましくは、カメラ12に対物側テレセントリックレンズを設けても良い。ここで、点滴筒4内におけるノズル6の位置や傾きは個体によって異なることがあるため、点滴筒4とカメラ12との標準的な距離を定めておいたとしても、実際のワークディスタンスWDが変化してしまうことがあり得る。このような場合、通常の集光レンズを介して撮像素子12aに光を入射させると、撮像素子12aの受光面における被写体像のサイズが変動してしまい、液滴7の体積算出処理において誤差が生じるおそれがある。これに対し、テレセントリックレンズを介して撮像素子12aに光を入射させることにより、ワークディスタンスWDが変化した場合であっても、受光面における被写体像のサイズの変動を抑制することができる。なお、カメラ12に結像側テレセントリックレンズを設けても良いが、必須ではない。
図2は、情報処理装置13の概略構成を示すブロック図である。情報処理装置13としては、液滴測定システム10専用に構成した機器の他、パーソナルコンピュータ(PC)やノートPC等の汎用の情報処理装置を用いることができる。図2に示すように、情報処理装置13は、入出力部131と、記憶部132と、操作入力部133と、演算部134とを備える。
入出力部131は、カメラ12や表示装置14等の各種外部機器との間で画像データや種々の信号の入出力を行う外部インタフェースである。
記憶部132は、ディスクドライブ、ROM、RAM等の半導体メモリなどのコンピュータ読取可能な記憶媒体を用いて構成される。記憶部132は、オペレーティングシステムプログラムやドライバプログラムの他、情報処理装置13に所定の動作を実行させるためのプログラムや、該プログラムの実行中に使用される各種データ及び設定情報等を記憶する。詳細には、記憶部132は、ノズル6から滴下する液滴7の体積を測定するための液滴測定プログラムを記憶するプログラム記憶部132aと、カメラ12から出力された画像データに基づいて生成される画像を記憶する画像記憶部132bとを有する。
操作入力部133は、入力ボタン、スイッチ、キーボード、マウス、タッチパネル等の入力デバイスによって構成され、ユーザによりなされた操作に応じた信号を演算部134に入力する。
演算部134は、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、DSP(Digital Signal Processor)等のハードウェアを用いて構成され、プログラム記憶部132aに記憶されているプログラムを読み込んで実行することにより、情報処理装置13の各部へのデータ転送や指示を行い、情報処理装置13の動作を統括的に制御する。また、演算部134は、プログラム記憶部132aに記憶された液滴測定プログラムを実行することにより、カメラ12から取得した画像データに基づいて、ノズル6から滴下する液滴7の体積を算出する演算処理を実行する。詳細には、演算部134が液滴測定プログラムを実行することにより実現される機能部には、撮像制御部135と、流量制御部136と、画像処理部137とが含まれる。
撮像制御部135は、カメラ12に対する撮像の開始及び終了を制御すると共に、所定の撮像フレームレートで撮像を実行するようにカメラ12の動作を制御する。また、撮像制御部135は、撮像素子12aの撮像領域を制限する制御を行っても良い。例えば、画素数が800×600画素の撮像素子12aに対し、実効的な撮像領域を(480〜800)×(320〜600)画素の範囲で可変で設定可能とし、設定された撮像領域内に配置された画素のみから画像信号を取得するように制御する。このように、撮像領域を可変とすることで、ノズルの径や点滴される液体の粘度や滴下周期等の条件によらず、ノズル6に垂下する液体全体を視野に収めつつ、画像信号に対する処理の負荷を軽減することができる。
流量制御部136は、後述する画像処理部137において算出される液滴7の体積に基づいて、アクチュエータ9の動作を制御する。ここで、点滴液の流量は、液滴7の体積を液滴7の滴下周期で除算することにより得られる。流量制御部136は、予めユーザにより設定された目標流量を保持しており、この目標流量に実際の流量が近づくように制御を行う。
画像処理部137は、画像生成部137aと、滴下検出部137bと、体積算出部137cとを有し、カメラ12から入力された画像データに対して所定の処理を行う。詳細には、画像生成部137aは、入力された画像データに対してデモザイキング、ホワイトバランス処理、ガンマ補正等の所定の画像処理を施すことにより画像を生成する。滴下検出部137bは、画像生成部137aにより生成された画像から、ノズル6から液滴7が滴下した直後の様子が写った画像を検出する。体積算出部137cは、画像生成部137aにより生成された画像と、滴下検出部137bによる画像の検出結果とに基づいて、ノズル6から滴下する液滴7の体積を算出する。
なお、演算部134のハードウェア構成は上述したものに限定されず、FPGA(Field Programmable Gate Array)などの回路を用いて、演算部134の各機能構成を実現しても良い。
表示装置14は、液晶ディスプレイや有機ELディスプレイ等によって構成され、情報処理装置13の制御の下、情報処理装置13から出力された制御信号や、情報処理装置13により生成された画像等を表示する。
次に、液滴測定システム10の動作について説明する。図3は、液滴測定システム10の動作を示すフローチャートである。
点滴開始に先立って、ユーザは、点滴筒4の近傍に光源11及びカメラ12を設置する(図1参照)。この際、カメラ12により撮像された画像を表示装置14に表示させ、画像を見ながら、ノズル先端部6a及びノズル先端部6aの下方の所定範囲が撮像素子12aの視野に入るように、光源11、点滴筒4、及びカメラ12の位置関係を調整する。この状態で、ユーザは情報処理装置13を操作し、カメラ12に撮像を実行させる。
ステップS10において、情報処理装置13の画像処理部137は、カメラ12から入力される画像データに基づいて、点滴開始前、即ち、ノズル先端部6aから液滴7を滴下させていない状態が写った画像を生成する。以下、点滴開始前のノズル先端部6aが写った画像を基準画像という。基準画像は1枚あれば良く、画像処理部137は、生成した基準画像をメモリに保存しておく。本実施形態においては、この基準画像を参照画像として用いる。
ステップS11において、流量制御部136の制御の下でアクチュエータ9を駆動し、クレンメ8に輸液チューブ5を開放させることにより、点滴装置1における点滴動作を開始させる。
続くステップS12において、撮像制御部135はカメラ12に所定の撮像フレームレートで撮像を開始させる。これに応じて、画像生成部137aは、カメラ12から順次入力される画像データに基づいて、ノズル先端部6aから液滴7を滴下させている状態が写った画像を時系列順に生成する。図4は、画像生成部137aにより生成される時系列順の画像を示す模式図である。以下においては、時系列順の画像において液滴の像が移動する方向を下方とする。
図4に示す画像M1〜M6に写ったノズルの像m10は、図1に示すノズル6の先端部分を表している。また、画像M1、M2には、ノズル6から離れて落下する液滴の一部と、ノズル6の先端部に形成され始めた液溜まりが写っている。画像M3、M4、M5においては、落下する液滴は視野から消え、ノズル6の先端部に液溜まりが徐々に成長している様子が写っている。画像M6には、成長した液溜まりがノズル6から離れ、液滴として落下している様子が写っている。以下、画像が生成された順序を表すパラメータをiとし、i番目に生成された画像を画像M(i)と記す。
続くステップS13において、画像処理部137は、液滴7の体積を算出する。図5は、液滴7の体積算出処理を示すフローチャートである。
ステップS131において、滴下検出部137bは、ステップS131において生成された最新の画像M(i)から、ノズルの像m10の先端部から所定の距離(画素数)Zだけ離れた位置にある幅Δzの領域Jに含まれる画素の画素値を抽出する。領域Jは、成長した液溜まりがノズルから離れ、液滴として滴下する際に液が切れる位置に設定される。距離Zは、使用するノズル6の径や液体の粘度、滴下周期、ワークディスタンスWD等によって変化するため、例えば、予め点滴のテストを行った際に取得した画像に基づいて決定すれば良い。また、幅Δzは、1画素〜数画素に相当する幅である。
続くステップS132において、滴下検出部137bは、判定領域Jは背景であるか否かを判定する。ここで、背景とは、被写体である液体が写っていない領域のことである。詳細には、滴下検出部137bは、判定領域Jに含まれる各画素の輝度が閾値以上であるか否かを判定し、判定領域Jに含まれる全画素の輝度が閾値以上である場合に、判定領域Jは背景であると判定する。例えば、図4に示す画像M1、M2、M6における判定領域Jは背景であると判定され(ステップS132:Yes)、画像M3、M4、M5における判定領域Jは背景でないと判定される(ステップS132:No)。
判定領域Jが背景ではない場合(ステップS132:No)、滴下検出部137bは、判定対象の画像M(i)の直前に取得された画像M(i−1)をメモリから削除する(ステップS133)。その後、滴下検出部137bはパラメータiをインクリメントし(ステップS134)、処理はステップS131に移行する。
他方、判定領域Jが背景である場合(ステップS132:Yes)、続いて滴下検出部137bは、画像M(i)の直前に取得された画像M(i−1)における判定領域Jが背景であるか否かを判定する(ステップS135)。例えば、図4に示す画像M2に対し、直前の画像M1における判定領域Jは背景である(ステップS135:Yes)。他方、画像M6に対し、直前の画像M5における判定領域Jは背景ではない(ステップS135:No)。
直前の画像M(i−1)における判定領域Jが背景である場合(ステップS135:Yes)、処理はステップS133に移行する。
他方、画像M(i−1)における判定領域Jが背景でない場合(ステップS135:No)、滴下検出部137bは、画像M(i−1)が撮像された時刻の近傍で液滴7がノズル6(図1参照)から離れて滴下したと判断し、画像M(i−1)を滴下直前画像、画像M(i)を滴下検出画像として取得する(ステップS136)。
続くステップS137において、体積算出部137cは、滴下直前画像、滴下検出画像、及び基準画像から液滴7の体積を算出する。図6〜図10は、液滴7の体積算出処理を説明するための模式図である。
ここで、図4に示すように、時系列に生成された画像を観察すると、ノズルに垂下する液滴に生じたくびれが徐々に細くなり(画像M4、M5参照)、くびれの部分で液体がちぎれ、くびれよりも下の部分が液滴として落下する(画像M6参照)。このとき、くびれよりも上の部分はノズルに付着したまま残留する。そのため、液滴が落下する直前(画像M5参照)にノズルに垂下していた液体の体積は、液滴が落下したとき(画像M6参照)にノズルに残留していた液体の体積と落下中の液滴の体積との和に実質的に等しい。
そこで、体積算出部137cは、図6及び図7に示すように、滴下直前画像M(i−1)、滴下検出画像M(i)、及び基準画像Mを取得し、これらの画像に基づいて、ノズルから滴下した液滴の体積を算出する。詳細には、まず、図6に示すように、滴下直前画像M(i−1)と基準画像Mとの差分画像D1を作成し、差分画像D1に二値化処理を施すことにより、ノズルに垂下する液体の像m11の領域を抽出する。そして、抽出された液体の像m11の領域を、ノズルに垂下する液体の投影像と見做し、液体の像m11の領域を鉛直軸回りに回転させた回転体の体積V1を算出する。
また、体積算出部137cは、図7に示すように、滴下検出画像M(i)と基準画像Mとの差分画像D2を作成し、差分画像D2に二値化処理を施すことにより、ノズルに残留する液体の像m12の領域を抽出する。差分画像D2の作成にあたっては、滴下検出画像M(i)のうち、ノズルの像m10の先端部から所定距離以上離れた領域を予め消去しておくことにより、ノズルから落下する液滴の像を除去しておいても良い。具体的には、ノズルの像m10の先端部から距離Z又は距離Z+Δz以上離れた領域を消去すると良い。そして、体積算出部137cは、抽出された液体の像m12の領域を、ノズルに残留する液体の投影像と見做し、液体の像m12の領域を鉛直軸回りに回転させた回転体の体積V2を算出する。
さらに、体積算出部137cは、ノズルに垂下する液体の像m11に基づいて算出された体積V1から、ノズルに残留する液体の像m12に基づいて算出された体積V2を差し引いた値を、ノズルから落下する液滴の体積V3として出力する。なお、体積V3の算出後、又は体積V1、V2を算出する前後において、画像内のオブジェクトに基づいて算出された体積を、実際のスケールに換算するキャリブレーションを行っても良い。
回転体の体積V1、V2の算出方法は特に限定されない。例えば、ノズルに垂下する液体及びノズルに残留する液体の各々を、1つの回転軸回りの回転体と見做し、液体の像m11、m12の各領域をもとに積分演算を行っても良い。或いは、図8に示すように、ノズルに垂下する液体及びノズルに残留する液体の各々を、鉛直方向の軸と直交する面でスライスした円盤を積み重ねたオブジェクトと見做し、液体の像m11、m12の各々を所定の高さ(例えば1ピクセル)でスライスしたバーの幅(水平方向の長さ)を直径とする円柱の体積を積算しても良い。
また、体積算出部137cは、体積V1、V2の算出に先立って、差分画像D1、D2に二値化処理を施すことにより抽出される領域に対し、穴埋め処理を行っても良い。ここで、光源11とカメラ12との間に位置する液滴は、あたかも凸レンズのように、当該液滴の中心に入射する光をほぼ真っ直ぐに透過させ、液滴の周縁部に入射する光を大きく屈折・散乱させる。本実施形態においては、この液滴の周縁部において光が屈折・散乱することにより形成される輪郭を検出することで、液滴の像の領域を抽出する。そのため、例えば図9に示すように、差分画像D1に二値化処理を施した二値画像B1においては、液滴の像m11に相当する領域m13が抽出されるものの、液滴の像m11の中心部近傍の明るい部分に相当する領域が抜けた状態になる。そこで、体積算出部137cは、抽出された領域m13に対し、モフォロジー処理などの公知の手法を利用した穴埋め処理(孤立点除去処理)を行う。体積算出部137cは、それにより得られた二値画像B1’(図10参照)に対し、ブロブ(blob)処理を行うことにより、1つの面積塊として、液滴の像m11に相当する領域m14を抽出し、この領域m14に基づいて、体積変換のための演算処理を行う。
このようにして液滴の体積を算出した後、処理はメインルーチンに戻る。
再び図3を参照すると、ステップS13に続くステップS14において、流量制御部136は、ステップS13において算出された液滴7の体積を滴下周期で除算することにより、点滴液の現在の流量を算出する。
ステップS15において、流量制御部136は、ステップS14において算出された現在の流量と、予め設定されている目標流量との誤差が閾値以下であるか否かを判定する。この閾値は、点滴の目的に応じて予め設定しておく。なお、この際、現在の流量と目標流量とが等しいか否かを判定することとしても良い。
誤差が閾値以下であると判定された場合(ステップS15:Yes)、流量制御部136は、現在の流量をメモリに積算する(ステップS16)。これにより、流量の積算量が更新される。
一方、現在の流量と目標流量との誤差が閾値よりも大きいと判定された場合(ステップS15:No)、流量制御部136は、アクチュエータ9を介してクレンメ8の開閉制御を行う(ステップS17)。具体的には、現在の流量が目標流量よりも大きい場合にはクレンメ8を閉じる制御を行い、現在の流量が目標流量よりも小さい場合にはクレンメ8を開く制御を行う。その後、処理はステップS16に移行する。
ステップS16に続くステップS18において、流量制御部136は、流量の積算量が予め設定された流量の設定値以上であるか否かを判定する。流量の積算量が設定値に満たないと判定された場合(ステップS18:No)、処理はステップS13に戻る。
一方、流量の積算量が設定値以上であると判定された場合(ステップS18:Yes)、流量制御部136は、アクチュエータ9を介してクレンメ8に輸液チューブ5を閉塞させることにより、点滴を終了させる(ステップS19)。その後、撮像制御部135がカメラ12による撮像動作を停止させる。それにより、液滴測定システム10の動作は終了する。
以上説明したように、本発明の第1の実施形態においては、液滴がノズルから離れて落下する様子が検出された滴下検出画像と、その1フレーム前の液体がノズルに垂下している様子が写った滴下直前画像とを用いて液滴の体積を算出する。そのため、撮像素子のサイズが大きくフレームレートも高い高スペックのカメラでノズルから落下する液滴全体を撮像する必要がなくなり、汎用のカメラ12を使用できるようになる。
また、本発明の第1の実施形態によれば、撮像素子のサイズを抑えることにより画像1枚あたりのデータ量を抑制できると共に、順次生成される画像のうち滴下直前画像及び滴下検出画像の2枚のみを保存して処理対象とするので、情報処理装置13における演算負荷やメモリ操作の負荷を低減することが可能となる。そのため、情報処理装置13についても高スペックな機器を使用する必要がなくなる。従って、汎用のカメラ12と情報処理装置13とを用いて、液滴測定システム10を簡素且つ安価に構成することができ、量産化することも可能となる。
また、本発明の第1の実施形態によれば、ノズル6の先端部及びノズル6に垂下したままの液体を被写体とするので、被写体の位置が非常に安定している。具体的には、被写体が常に点滴筒4の中心軸上に存在しているため、画角を狭い範囲に抑えることができると共に、ワークディスタンスWDの変動を抑制することができる。ここで、点滴筒4内においては、ノズル6から滴下した液滴7が、鉛直方向に落下せずに、静電気等により点滴筒4の壁面に引き付けられてしまうことがある。そのため、落下する液滴7を撮像する場合には、ワークディスタンスWDの変化により画像内における液滴7の像のサイズが変動し、或いは液滴7の像の焦点がぼけてしまい、液滴7の体積の測定精度に影響を及ぼすおそれが考えられる。しかしながら、本実施形態の場合には、ノズル6に付着している状態の液体を撮像するので、落下中の液滴7の経路によらず、液滴7の体積の精度良く、且つ安定した精度で測定することができる。
また、本発明の第1の実施形態によれば、ノズル6の先端部及びノズル6に垂下している液体を被写体とするので、光源11による照明エリアを狭い範囲に抑えることができる。従って、光源11として小型で安価な機器を用いることができると共に、光源11の設置スペースを抑制することができ、省電力を図ることも可能となる。
さらに、本発明の第1の実施形態によれば、液滴7の体積の算出結果に基づき、アクチュエータ9を介して流量をフィードバック制御するので、正確な点滴を行うことが可能となる。
(実施例1−1)
ノズルから液体を滴下させ、本発明の第1の実施形態における体積算出処理(図5〜図7参照)により液滴の体積(以下、算出体積VCともいう)を算出すると共に、滴下した液滴の実質的な体積(以下、実質体積VRともいう)を求めることにより、本実施形態における体積算出処理の精度を検証する実験を行った。カメラとしては、縦640画素×横480画素(トータル約30万画素)の撮像素子を備える汎用の製品を用い、撮像フレームレートは60fpsとした。
実質体積VRは、滴下した液滴を回収して重量を測定し、これを滴下回数で除することにより、1滴あたりの重量を算出し、液滴1gを1mLとして扱うことにより求めた。回収する液滴は、1回の実験につき20滴以上とした。
算出体積VCは、具体的には以下のように算出した。まず、図6に例示する液体の像m11の領域に基づいて、ノズルに垂下する液体の体積V1を算出した。また、図7に例示する液体の像12に基づいて、ノズルに残留する液体の体積V2を算出した。体積V1、V2は、図8に示すように、各領域を、高さ1ピクセルの円柱を積み上げたオブジェクトとみなし、円柱の体積を積算することにより算出した。そして、体積V1から体積V2を差し引くことにより、体積VPを算出した。
このようにして算出された体積VPは、画像空間における体積(ピクセル3/滴)であるため、これを実空間での体積(μL/滴)に換算するためのキャリブレーションを行った。具体的な手法は以下のとおりである。即ち、実質体積VR(μL/滴)の平均値VR・AVEと、画像空間における体積VP(ピクセル3/滴)の平均値VP・AVEとを算出し、次式(1)によりキャリブレーション係数C0を算出した。
0=VR・AVE/VP・AVE …(1)
算出体積VCはキャリブレーション係数C0を用いて、次式(2)により算出した。
C=C0×VP …(2)
さらに、算出体積VCの平均値VC・AVEを用いて、次式(3)に示す誤差率を算出し、この誤差率により実験結果を評価した。
誤差率(%)=|VC・AVE−VR|/VR×100…(3)
実験においては、1mlを60滴で滴下(平均16.7μl/滴)させるための小人用ノズルを用い、ワークディスタンスを20mmに設定して点滴を行った。点滴液としては生理食塩水を用いた。そして、滴下周期0.5秒/滴、1.0秒/滴、及び2.0秒/滴のそれぞれについて、上記誤差率を算出した。それにより、以下の結果が得られた。
滴下周期0.5秒/滴:誤差率0.39%
滴下周期1.0秒/滴:誤差率1.62%
滴下周期2.0秒/滴:誤差率2.39%
このように、ノズルに垂下する液体の像に基づいて体積を算出した場合であっても、ノズルから滴下した液滴の実質的な体積に対して遜色のない結果が得られることがわかる。
(変形例)
次に、本発明の第1の実施形態の変形例について説明する。図11は、本変形例における液滴の体積算出処理を説明するための模式図である。
点滴に使用するノズルの径、液体の粘性、滴下周期等の点滴条件やワークディスタンス等の撮像条件によっては、図11に示すように、滴下直前画像M12内に、ノズルに垂下する液体の像全体が収まらない場合がある。一例として、1mlを20滴で滴下(平均50μl/滴)させるための大人用ノズルを用いて生理食塩水を点滴する場合、ワークディスタンスを20mmにすると、滴下直前画像においては、ノズルに垂下する液体の一部が視野からはみ出してしまう。このような場合、ノズルに垂下する液体全体が視野に収まっていれば、滴下直前画像M12の代わりに、滴下検出画像M13の数フレーム前の画像を用いて液滴の体積を算出しても良い。以下、滴下検出画像M13の所定フレーム前に取得された画像を滴下前画像という。
例えば、図11においては、滴下直前画像M12のさらに1フレーム前の画像である滴下前画像M11であれば、ノズルに垂下する液体全体が視野に収まっている。この場合、滴下直前画像M12の代わりに、滴下前画像M11を用いることで、上記第1の実施形態と同様の画像処理により、液滴の体積を算出することができる。滴下前画像としては、滴下検出画像M13の前4〜5フレーム以内の画像を用いることが好ましく、滴下検出画像M13の前2〜3フレーム以内の画像を用いることがより好ましい。
(実施例1−2)
上述した大人用ノズルを用い、ワークディスタンスを20mmに設定し、その他の条件は実施例1−1と同様にして点滴を行い、上記変形例における体積算出処理により液滴の体積を算出した。滴下前画像としては、滴下検出画像の2フレーム前の画像を用いた。そして、上記実施例1−1と同様にして誤差率を算出したところ、以下の結果が得られた。
滴下周期0.5秒/滴:誤差率4.84%
滴下周期1.0秒/滴:誤差率1.93%
滴下周期2.0秒/滴:誤差率7.18%
このように、滴下検出画像の2フレーム前の滴下前画像を用いる場合であっても、滴下周期によって若干ばらつきはあるものの、実質体積と比較的近い値の体積算出結果が得られることがわかる。
(参考例)
参考例として、ノズルから滴下する液滴全体を捉えることができるカメラを用い、液滴全体が写った画像から液滴の体積を算出する実験を行った。カメラとしては、縦1936画素×横496画素の撮像素子を備える製品を用い、撮像フレームレートは120fpsとした。
図12は、参考例における液滴の体積算出処理を説明するための模式図である。サイズの大きい撮像素子を備えるカメラを用い、高フレームレートで撮像を行う場合、図12に示すように、ノズルを離れて落下する液滴が写る複数の画像M21〜M25を取得することができる。そこで、例えば、画像M21と画像M24との差分画像と、画像M21と画像M25との差分画像をそれぞれ算出し、さらにこれらの差分画像同士の差分を取ることにより、画像内における1つの液滴の領域を抽出する。この抽出された領域を液滴の投影像と見做し、抽出された領域を鉛直軸回りに回転させた回転体の体積を液滴の体積として算出する。回転体の体積の算出方法は、第1の実施形態と同様、単純な積分演算でも良いし、図8に示すような円盤の体積を積算する方法でも良い。
実験においては、ワークディスタンスを20mmに設定し、大人用及び小人用ノズルを用い、その他の条件は実施例1−1と同様にして点滴を行い、上述した方法で液滴の体積を算出した。そして、上記実施例1−1と同様にして誤差率を算出したところ、以下の結果が得られた。
大人用ノズル、ワークディスタンス20mmの場合
滴下周期0.5秒/滴:誤差率0.84%
滴下周期1.0秒/滴:誤差率0.10%
滴下周期2.0秒/滴:誤差率0.92%
小人用ノズル、ワークディスタンス20mmの場合
滴下周期0.5秒/滴:誤差率1.44%
滴下周期1.0秒/滴:誤差率0.12%
滴下周期2.0秒/滴:誤差率1.90%
このように、液滴全体が写った像からは、実質体積との誤差が非常に少ない体積を算出することができる。
他方、参考例により算出された体積の誤差率を基準に、上記実施例1−1、1−2より算出された体積の誤差率を評価すると、実施例1−1の場合には、概ね参考例に対して遜色のない結果が得られることがわかる。
(第2の実施形態)
次に、本発明の第2の実施形態について説明する。本発明の第2の実施形態に係る液滴測定システム及び液滴測定方法は、全体として上記第1の実施形態と同様であり(図1〜図3参照)、図3のステップS13における液滴の体積算出処理が第1の実施形態と異なる。図13は、本発明の第2の実施形態における液滴の体積算出処理を説明するための模式図である。
ここで、上記実施例1−2を実施例1−1と比較すると、滴下前画像として滴下検出画像の2フレーム前の画像を使用した実施例1−2の方が、滴下直前画像を使用した実施例1−1に対し、全体的に実質体積との乖離が大きかった。そこで、実施例1−2において使用した画像のうち、実質体積との乖離が特に大きかった体積の算出に使用した画像(滴下前画像及び滴下検出画像)を抽出して調査した。その結果、実質体積との乖離が大きくなるのは、滴下前画像においてノズルに垂下する液体が十分に成長しておらず、平均的な体積よりも小さいこと、及び、滴下検出画像においてノズルに残留する液体の体積が、平均的な体積よりも大きいことが判明した。つまり、ノズルに垂下する液体の体積から、ノズルに残留する液体として過剰な体積を差し引く傾向にあることがわかった。
そこで、本発明の第2の実施形態においては、滴下前画像と参照画像としての基準画像のみを用いて液滴の体積を算出する。詳細には、図13に示すように、滴下検出画像M(i)の1フレーム以上前に取得された画像である滴下前画像M(i−k)(kは1以上の整数)から基準画像Mを差し引くことにより、差分画像D3を作成する。そして、差分画像D3に対して二値化処理及び穴埋め処理を施すことにより、ノズルから垂下する液体の像m20の領域を抽出し、該領域を鉛直軸回りに回転させた回転体の体積を、ノズルから滴下した液滴の体積として算出する。回転体の体積の算出方法は、第1の実施形態と同様、単純な積分演算でも良いし、図8に示すような円盤の体積を積算する方法でも良い。また、滴下前画像M(i−k)としては、ノズルに垂下する液体の全体が視野に収まっているという条件で、滴下検出画像M(i)の前4〜5フレーム以内の画像を用いることが好ましく、滴下検出画像M(i)の前2〜3フレーム以内を用いることがより好ましく、滴下直前画像M(i−1)を用いることがさらに好ましい。
(実施例2)
大人用ノズル及び小人用ノズルを用い、ワークディスタンスを20mmに設定し、その他の条件は実施例1−1と同様にして点滴を行い、第2の実施形態における体積算出処理により液滴の体積を算出した。そして、上記実施形態1−1と同様にして誤差率を算出したところ、以下の結果が得られた。
大人用ノズル、ワークディスタンス20mm、滴下前画像として滴下検出画像の2フレーム前の画像を使用した場合
滴下周期0.5秒/滴:誤差率2.04%
滴下周期1.0秒/滴:誤差率1.22%
滴下周期2.0秒/滴:誤差率4.74%
小人用ノズル、ワークディスタンス20mm、滴下前画像として滴下検出画像の1フレーム前の画像を使用した場合
滴下周期0.5秒/滴:誤差率0.51%
滴下周期1.0秒/滴:誤差率1.62%
滴下周期2.0秒/滴:誤差率2.51%
大人用ノズルにおける実験結果を上記実施例1−2と比較すると、滴下周期がいずれの場合であっても、誤差率が低減し、体積算出精度が向上したことがわかる。また、小人用ノズルについても、上記実施例1−1と比較して遜色のない結果が得られることがわかる。
(第3の実施形態)
次に、本発明の第3の実施形態について説明する。本発明の第3の実施形態に係る液滴測定システム及び液滴測定方法は、全体として上記第1の実施形態と同様であり(図1〜図3参照)、図3のステップS13における液滴の体積算出処理が第1の実施形態と異なる。
上記第1の実施形態の変形例においては、滴下直前画像、滴下検出画像、及び基準画像を用いて液滴の体積を算出するにあたって、ノズルに垂下する液体の像全体が滴下直前画像内に収まらない場合(図11参照)、滴下直前画像の代わりに、滴下検出画像の数フレーム前の画像を用いることとした。しかしながら、ワークディスタンスを変更することにより、ノズルに垂下する液体の像全体が滴下直前画像内に収まるように、十分な画角視野を確保することとしても良い。この場合、滴下直前画像、滴下検出画像、及び基準画像を用いて、第1の実施形態と同様の画像処理により、液滴の体積を算出することができる(図6、図7参照)。
(実施例3)
大人用ノズル及び小人用ノズルを用い、ワークディスタンスを28mmに設定し、その他の条件は実施例1−1と同様にして点滴を行い、第3の実施形態における体積算出処理により液滴の体積を算出した。そして、上記実施例1−1と同様にして誤差率を算出したところ、以下の結果が得られた。
大人用ノズル、ワークディスタンス28mm、滴下直前画像、滴下検出画像、及び基準画像から体積を算出した場合
滴下周期0.5秒/滴:誤差率1.68%
滴下周期1.0秒/滴:誤差率0.79%
滴下周期2.0秒/滴:誤差率0.13%
小人用ノズル、ワークディスタンス28mm、滴下直前画像、滴下検出画像、及び基準画像から体積を算出した場合
滴下周期0.5秒/滴:誤差率0.75%
滴下周期1.0秒/滴:誤差率0.37%
滴下周期2.0秒/滴:誤差率1.15%
大人用ノズルにおける実験結果を上記実施例1−2と比較すると、滴下検出画像の2フレーム前の画像を用いて体積を算出するよりも、ノズルに垂下する液体の全体が滴下直前画像内に収まるようにワークディスタンスを調整した上で、滴下直前画像を用いて体積を算出する方が、全体的に体積算出精度が向上することがわかる。また、小人用ノズルについても、上記実施例1−1と比較して遜色のない結果が得られることがわかる。
(第4の実施形態)
次に、本発明の第4の実施形態について説明する。本発明の第4の実施形態に係る液滴測定システム及び液滴測定方法は、全体として上記第1の実施形態と同様であり(図1〜図3参照)、図3のステップS13における液滴の体積算出処理が第1の実施形態と異なる。
上記第2の実施形態においては、滴下直前画像及び基準画像を用いて液滴の体積を算出するにあたって、ノズルに垂下する液体の像全体が滴下直前画像内に収まらない場合(図11参照)、滴下直前画像の代わりに、滴下検出画像の数フレーム前の画像を用いることとした。しかしながら、ワークディスタンスを変更することにより、ノズルに垂下する液体の像全体が滴下直前画像内に収まるように、十分な画角視野を確保することとしても良い。この場合、滴下直前画像及び基準画像を用いて、第2の実施形態と同様の画像処理により、液滴の体積を算出することができる(図13参照)。
(実施例4)
大人用ノズル及び小人用ノズルを用い、ワークディスタンスを28mmに設定し、その他の条件は実施例1−1と同様にして点滴を行い、第4の実施形態における体積算出処理により液滴の体積を算出した。そして、上記実施例1−1と同様にして誤差率を算出したところ、以下の結果が得られた。
大人用ノズル、ワークディスタンス28mm、滴下直前画像及び基準画像から体積を算出した場合
滴下周期0.5秒/滴:誤差率0.25%
滴下周期1.0秒/滴:誤差率0.59%
滴下周期2.0秒/滴:誤差率1.19%
小人用ノズル、ワークディスタンス28mm、滴下直前画像及び基準画像から体積を算出した場合
滴下周期0.5秒/滴:誤差率0.31%
滴下周期1.0秒/滴:誤差率0.37%
滴下周期2.0秒/滴:誤差率0.76%
上記実験結果を実施例2と比較すると、大人用ノズル及び小人用ノズル共に、滴下周期がいずれの場合であっても、誤差率が低減し、体積算出精度が向上したことがわかる。
(第5の実施形態)
次に、本発明の第5の実施形態について説明する。本発明の第5の実施形態に係る液滴測定システム及び液滴測定方法は、全体として上記第1の実施形態と同様であり(図1〜図3参照)、図3のステップS13における液滴の体積算出処理が第1の実施形態と異なる。図14〜図17は、本発明の第5の実施形態における液滴の体積算出処理を説明するための模式図である。
上記第2の実施形態においては、滴下前画像と基準画像との差分画像から、ノズルに垂下する液体の領域を抽出した。しかしながら、点滴開始後、時間が経過すると、点滴筒の内壁やノズルに不要な液滴等が付着したり、ノズルの位置や傾きにずれが生じたりする場合がある。このような場合、滴下前画像と基準画像との差分画像において、液滴の体積算出に不要な成分をキャンセルすることができず、体積の算出精度に影響を及ぼすおそれがある。
点滴開始後にノズル等に付着した液滴やノズルの位置ずれ等の影響を排除するためには、図14に示すように、滴下直前画像M31と、この滴下直前画像M31に近いフレームの画像との間で差分画像を作成することが考えられる。しかしながら、図15に示すように、滴下直前画像M31と、その直後のフレームである滴下検出画像M32との間では、滴下直前画像M31においてノズルに垂下する液体m30の位置と、滴下検出画像M32において滴下した液滴m32の位置とが重なってしまい、両者間の差分画像D4において抽出されるべき液体の像m33の一部が欠けてしまうことがある。
そこで、本実施形態においては、滴下検出画像M32の1フレーム後に取得された画像である滴下直後画像M33を参照画像として用いて差分画像を作成する。これにより、図16に示すように、滴下直前画像M31と滴下直後画像M33との間で差分画像D5において、抽出されるべき液体の像m34を、ほぼ完全な形で抽出することが可能となる。差分画像D5を生成した後は、第1の実施形態と同様に、差分画像D5に対し、二値化処理及び穴埋め処理を施し、二値画像から抽出された領域に基づいて体積を算出すれば良い。
このように、本発明の第5の実施形態によれば、点滴開始後から長時間が経過したり、ノズルの位置や傾きが初期状態からずれてしまったりした場合であっても、液滴の体積を精度良く算出することが可能となる。
(実施例5)
大人用ノズル及び小人用ノズルを用い、ワークディスタンスを28mmに設定し、その他の条件は実施例1−1と同様にして点滴を行い、第5の実施形態における体積算出処理により液滴の体積を算出した。そして、上記実施例1−1と同様にして誤差率を算出したところ、以下の結果が得られた。
大人用ノズル、ワークディスタンス28mm、滴下直前画像及び滴下直後画像を使用した場合
滴下周期0.5秒/滴:誤差率1.16%
滴下周期1.0秒/滴:誤差率0.74%
滴下周期2.0秒/滴:誤差率0.37%
小人用ノズル、ワークディスタンス28mm、滴下直前画像及び滴下直後画像を使用した場合
滴下周期0.5秒/滴:誤差率0.94%
滴下周期1.0秒/滴:誤差率0.25%
滴下周期2.0秒/滴:誤差率1.27%
上記実験結果から、実施例5−1においても、大人用ノズル及び小人用ノズル共に、滴下周期がいずれの場合であっても、実質体積との誤差の少ない、良好な体積算出精度が得られることがわかる。また、上記参考例に対しても遜色のない結果が得られている。
(変形例5−1)
次に、本発明の第5の実施形態の変形例について説明する。
上記実施例5−1における小人用ノズルを用いた実験により得られた画像を個別に観察したところ、小人用ノズルにおいては滴下周期が不安定であり、時々液滴が連続して滴下するなどして、滴下直前画像と滴下直後画像との間で液体の像の位置が重なってしまう場合があった。そこで、滴下直前画像と滴下直後画像との間(即ち、2フレーム間隔)で液滴の像の位置が重ならないように、フレームレートを変更できるようにしても良い。例えば、ユーザが、図2に示す操作入力部133を用いてフレームレートを任意に(好ましくは、60fps±10fpsの範囲で)調整できるようにし、撮像制御部135が、調整されたフレームレートでカメラ12の動作を制御するように、演算部134を構成する。
フレームレートの調整方法の一例として、フレームレートが60fpsでは、滴下直前画像においてノズルに垂下する液体の像の位置と、滴下直後画像において落下する液滴の像の位置とが一部重なってしまうが、滴下直前画像と滴下直後画像の1フレーム後の画像との間ではこれらの像の位置が重ならないという場合、現在の滴下直後画像における液体の位置よりもやや下方に液滴が落下した際に、滴下直後画像の撮像タイミングが到来するように、フレームレートを60fpsから若干下げれば良い。
(変形例5−2)
次に、本発明の第5の実施形態の別の変形例について説明する。図17及び図18は、変形例5−2における液滴の体積算出処理を説明するための模式図である。
上記第5の実施形態のように、ノズルに液体が垂下している状態が写った滴下直前画像M31と、ノズルに液体が残留している状態が写った滴下直後画像M33との差分画像D5を作成した場合、図17に示すように、差分画像D5に対して二値化処理及び穴埋め処理を施した後の二値画像B2から抽出された領域m36の上部(ノズル側の端部)に、ツノのように突出する切れ端m37が現れることが多い。この切れ端m37が左右対称に表れている場合、当該切れ端m37は、内部が空洞のリング状の回転体の投影像と考えられる。そのため、抽出された領域m36全体の鉛直軸回りの回転体の体積は、落下する液滴の体積に相当すると考えて問題ない。
しかし、図18に示すように、二値画像B3から抽出された領域m40の上部に、左右非対称に突出する切れ端m41が現れることがある。この場合、領域m40全体の鉛直軸回りの回転体の体積を算出すると、切れ端m41はリング状の回転体の投影像でないにもかかわらず、リング状の回転体として扱われて体積が算出されてしまい、実際の体積との間での誤差が大きくなってしまうことが考えられる。
そこで、本変形例5−2においては、抽出された領域m40に現れる切れ端m41をカットして回転体の体積を算出する。即ち、領域m40の上端の平らなライン(即ち、ノズルの下端面に相当するライン)Lを検出し、二値画像B4に示すように、領域m40のうちラインLよりも下方の部分m42のみに基づいて回転体の体積を算出し、これを液滴の体積とする。回転体の体積の算出方法は、上記第1の実施形態において説明した方法と同様である(図8参照)。
上記変形例5−2における液滴の体積算出処理の実施例として、大人用ノズルを用い、ワークディスタンスを28mmに設定し、その他の条件は実施例1−1と同様にして点滴を行い、上述した処理により液滴の体積を算出した。そして、上記実施例1−1と同様にして誤差率を算出したところ、以下の結果が得られた。
大人用ノズル、ワークディスタンス28mm、二値画像から抽出された領域の切れ端をカットした場合
滴下周期0.5秒/滴:誤差率1.168%
滴下周期1.0秒/滴:誤差率0.730%
滴下周期2.0秒/滴:誤差率0.366%
他方、二値画像から抽出された領域の切れ端をカットせずに液滴の体積を算出し、誤差率を算出したところ、以下の結果が得られた。
大人用ノズル、ワークディスタンス28mm、二値画像から抽出された領域の切れ端をカットしない場合
滴下周期0.5秒/滴:誤差率1.164%
滴下周期1.0秒/滴:誤差率0.728%
滴下周期2.0秒/滴:誤差率0.370%
二値画像から抽出された領域の切れ端をカットする処理を行った場合と、当該処理を行わなかった場合とにおいて、算出された液滴の体積の誤差は平均して±0.02μL前後であった。上記実験結果より、誤差率については、切れ端をカットするか否かによらず大きな差異は見られなかった。しかしながら、滴下周期が長い場合(1.0秒、2.0秒)には、切れ端をカットした方が算出体積のバラツキが少なくなる傾向にあった。これらの実験結果を考慮すると、切れ端をカットするか否かは、体積算出処理の精度に大きな影響を及ぼすことはないが、体積算出処理の負荷の観点では、切れ端をカットした方が好ましいといえる。
(変形例5−3)
次に、本発明の第5の実施形態のさらに別の変形例について、図18を参照しながら説明する。
図18に示す二値画像B3から抽出された領域m40における切れ端m41に対する処理は、当該切れ端m41の大きさに応じて変更しても良い。例えば、領域m40の上端のラインLにおける領域m40の幅Wと、ラインLから上方に突出する切れ端m41の幅Δwとを検出し、ラインLにおける領域m40の幅Wに対する切れ端m41の幅Δwの比率Δw/Wを算出し、この比率Δw/Wに基づいて当該切れ端m41に対する処理を決定する。
即ち、比率Δw/Wが所定の閾値(例えば1/10〜1/5程度)未満である場合、切れ端m41をカットし、領域m40のうち、ラインLよりも下方の部分m42のみに基づいて、回転体の体積を算出し、これを液滴の体積とする。他方、比率Δw/Wが上記閾値以上である場合、領域m40のうちラインLよりも下方の部分m42に基づく回転体の体積と、切れ端m41に基づく回転体の体積とをそれぞれ算出し、これらの体積の合算値を液滴の体積とする。各回転体の体積の算出方法は、上記第1の実施形態において説明した方法と同様である(図8参照)。また、切れ端m41の回転体の体積は、幅Δwを底面の直径とする円錐の体積として算出しても良い。
(第6の実施形態)
次に、本発明の第6の実施形態について説明する。本発明の第6の実施形態に係る液滴測定システム及び液滴測定方法は、全体として上記第1の実施形態と同様であり(図1〜図3参照)、図3のステップS13における液滴の体積算出処理が第1の実施形態と異なる。
上記変形例5−1において述べたように、小児用ノズルを用いて点滴する場合において、上記第5の実施形態と同様に、滴下直前画像と滴下直後画像との差分画像に基づいて液滴の体積を算出すると、滴下直前画像と滴下直後画像との間で液体の像の位置が重なってしまう場合があった。そこで、本願発明者らは、参照画像として、滴下直後画像の代わりに、滴下直後画像の1フレーム後の画像(滴下検出画像の2フレーム後の画像)を用いることを検討した。以下、滴下検出画像の所定フレーム後に取得された画像を滴下後画像ともいう。
そのためにまず、小人用ノズルを用いて同じ条件で点滴を行い、滴下直前画像及び滴下直後画像を用いた場合と、滴下直前画像及び滴下検出画像の2フレーム後の画像を用いた場合とのそれぞれの場合について体積算出処理を行った。体積算出処理としては、滴下直後画像の代わりに滴下検出画像の2フレーム後の画像を用いる場合があることを除いて、第5の実施形態と同様である。なお、小人用ノズルを用いた場合には、全般的に、二値画像から抽出される領域に左右非対称な切れ端は見られなかったため、切れ端はないものとして体積を算出した。
実質体積に対する算出体積の誤差率としては、以下の結果が得られた。
小人用ノズル、ワークディスタンス28mm、滴下直前画像及び滴下直後画像を用いた場合
滴下周期0.5秒/滴:誤差率0.465%
滴下周期1.0秒/滴:誤差率0.822%
滴下周期2.0秒/滴:誤差率1.267%
小人用ノズル、ワークディスタンス28mm、滴下直前画像及び滴下検出画像の2フレーム後の画像を用いた場合
滴下周期0.5秒/滴:誤差率1.383%
滴下周期1.0秒/滴:誤差率0.081%
滴下周期2.0秒/滴:誤差率1.528%
上記小人用ノズルに関する実験結果においては、参照画像として滴下直後画像を用いた場合と滴下検出画像の2フレーム後の画像を用いた場合とにおいて、誤差率については大きな差異は見られなかった。しかしながら、参照画像として滴下直後画像を用いた場合、算出体積のバラツキが2μL程度と、非常に大きかった。それに対し、参照画像として滴下検出画像の2フレーム後の画像を用いた場合は、算出体積のバラツキは抑制されていた。これらの実験結果を考慮すると、小人用ノズルを用いる場合には、滴下周期や点滴する液体の種類にもよるが、参照画像として滴下検出画像の2フレーム後の画像を用いることが好ましいといえる。
他方、大人用ノズルについても同様に点滴を行い、滴下直前画像及び滴下直後画像を用いた場合と、滴下直前画像及び滴下検出画像の2フレーム後の画像を用いた場合とのそれぞれの場合について体積算出処理を行った。体積算出処理としては、滴下直後画像の代わりに滴下検出画像の2フレーム後の画像を用いる場合があることを除いて、第5の実施形態と同様である。ただし、二値画像から抽出される領域に対して一律に、上記変形例5−2において説明した切れ端をカットする処理を行うことにより、演算負荷の軽減を図った。
実質体積に対する算出体積の誤差率としては、以下の結果が得られた。
大人用ノズル、ワークディスタンス28mm、滴下直前画像及び滴下直後画像を用いた場合
滴下周期0.5秒/滴:誤差率1.168%
滴下周期1.0秒/滴:誤差率0.730%
滴下周期2.0秒/滴:誤差率0.366%
大人用ノズル、ワークディスタンス28mm、滴下直前画像及び滴下検出画像の2フレーム後の滴下後画像を用いた場合
滴下周期0.5秒/滴:誤差率1.899%
滴下周期1.0秒/滴:誤差率0.838%
滴下周期2.0秒/滴:誤差率0.291%
上記大人用ノズルに関する実験結果においては、滴下周期にもよるが、概ね、参照画像として滴下直後画像を用いることが好ましいといえる。
そこで、本実施形態においては、点滴に使用するノズルの種類(大人用、小人用)、点滴する液体の種類、滴下周期等の点滴条件に応じて、参照画像として使用する滴下後画像を変更できるようにする。例えば、ユーザが、図2に示す操作入力部133を用いてノズルの種類や滴下周期等の点滴条件を入力すると、体積算出部137cが、入力された点滴条件に応じて、参照画像として使用する滴下後画像(即ち、滴下検出画像とのフレーム間隔)を決定し、滴下直前画像及び決定した滴下後画像を取り込んで体積算出処理を実行するように、演算部134を構成する。体積算出部137cが実行する体積算出処理は、参照画像として滴下検出画像の2フレーム後の滴下後画像を使用する場合があることを除いては、上記第5の実施形態と同様である。
このように、本発明の第6の実施形態によれば、点滴条件に応じて適切な画像を用いて体積算出処理を実行することが可能となる。
(変形例6−1)
次に、本発明の第6の実施形態の変形例について説明する。
上記第6の実施形態においては、点滴に使用するノズルの種類に応じて、参照画像として使用する滴下後画像を変更できることとしたが、ノズルの種類によらず、体積算出のアルゴリズムを共通化することが好ましい場合もある。そのような場合には、大人用ノズルを使用する場合も、小人用ノズルに合わせて、参照画像として滴下検出画像の2フレーム後の画像を用いることにすると良い。
(変形例6−2)
次に、本発明の第6の実施形態の別の変形例について説明する。
点滴に使用するノズルの種類によらず、体積算出のアルゴリズムを共通化しつつ、ノズルの種類に応じて最適な演算結果を得るためには、フレームレートを可変にしても良い。この場合、体積算出のアルゴリズムとしては、小人用ノズルを使用する場合に合わせて、参照画像として滴下検出画像の2フレーム後の画像(滴下後画像)を用いることとし、大人用ノズルを使用する場合には、滴下直前画像と滴下後画像との間の撮像タイミングのギャップを低減するために、滴下直前画像においてノズルに垂下する液体の像の位置と、滴下後画像において落下している液滴の像の位置とが重ならない範囲で、フレームレートを若干上げることとしても良い。
(変形例6−3)
次に、本発明の第6の実施形態のさらに別の変形例について説明する。
上記第6の実施形態においては、滴下直前画像と滴下後画像との差分画像に基づく二値画像から抽出される領域に対し、上記変形例5−2において説明した切れ端をカットする処理を一律に行うことした。しかしながら、上記変形例5−3と同様に、切れ端の大きさに応じて、切れ端に対する処理を変更することとしても良い。
以上説明した本発明は、上記第1〜第6の実施形態及び変形例に限定されるものではなく、上記第1〜第6の実施形態及び変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、上記第1〜第6の実施形態及び変形例に示した全構成要素からいくつかの構成要素を除外して形成しても良いし、上記実施形態及び変形例に示した構成要素を適宜組み合わせて形成しても良い。
1 点滴装置
2 輸液バッグ
2a 排液ポート
3 中間チューブ
4a 上蓋
4 点滴筒
5 輸液チューブ
6 ノズル
6a ノズル先端部
7 液滴
8 クレンメ
9 アクチュエータ
10 液滴測定システム
11 光源
12 カメラ
12a 撮像素子
13 情報処理装置
14 表示装置
131 入出力部
132 記憶部
132a プログラム記憶部
132b 画像記憶部
133 操作入力部
134 演算部
135 撮像制御部
136 流量制御部
137 画像処理部
137a 画像生成部
137b 滴下検出部
137c 体積算出部

Claims (15)

  1. ノズルから滴下する液滴の体積を測定する液滴測定システムにおいて、
    被写体を撮像して画像データを出力する撮像装置であって、前記ノズルの先端部と、前記ノズルに垂下する液体全体とを視野に収めるように設置される撮像装置と、
    前記撮像装置から出力される画像データに基づき、前記ノズルから液滴が滴下する様子が写った画像を時系列順に生成する画像生成部と、
    前記画像生成部により時系列順に生成された複数の画像のうちから、液滴が前記ノズルから離れたことが検出された画像である滴下検出画像を検出する滴下検出部と、
    記複数の画像のうち前記滴下検出画像の所定フレーム前に生成され、前記ノズルに垂下する液体が写った画像である滴下前画像と、前記複数の画像のうち前記滴下検出画像以降の所定フレーム以内に生成され、前記滴下前画像において前記ノズルに垂下していた液体が滴下した後のノズルが写った画像と、に基づいて、前記滴下前画像において前記ノズルに垂下していた液体が滴下した液滴の体積を算出する体積算出部と、
    を備える液滴測定システム。
  2. 記撮像装置から出力される画像データに基づいて予め生成され、前記ノズルから液滴を滴下させていない状態が写った画像である基準画像を記憶する記憶部をさらに備え、
    前記体積算出部は、前記滴下前画像と前記基準画像との間の第1の差分画像と、前記滴下検出画像と前記基準画像との間の第2の差分画像とに基づいて前記液滴の体積を算出する、請求項1に記載の液滴測定システム。
  3. 前記滴下前画像は、前記滴下検出画像の1フレーム又は2フレーム前に生成された画像である、請求項2に記載の液滴測定システム。
  4. 前記体積算出部は、前記滴下前画像と、前記滴下検出画像の所定フレーム後に生成され た画像である滴下後画像との差分画像に基づいて、前記液滴の体積を算出する、請求項1に記載の液滴測定システム。
  5. 前記滴下前画像は、前記滴下検出画像の1フレーム前に生成された画像である、請求項4に記載の液滴測定システム。
  6. 前記滴下後画像は、前記滴下検出画像の1フレーム又は2フレーム後に生成された画像である、請求項4又は5に記載の液滴測定システム。
  7. 前記体積算出部は、前記差分画像に対して二値化処理を施すことにより、前記ノズルに垂下する液体が写った領域を抽出し、該領域の内部領域に対して穴埋め処理を施し、前記穴埋め処理が旋された前記領域に基づいて、前記液滴の体積を算出する、請求項4〜6のいずれか1項に記載の液滴測定システム。
  8. 前記体積算出部は、前記差分画像に対して二値化処理を施すことにより、前記ノズルに垂下する液体が写った領域を抽出し、該抽出された領域において、前記ノズルの下端面に相当する位置から上方に突出している部分が左右非対称である場合、前記領域から前記部分を除いた残りの領域に基づいて前記液滴の体積を算出する、請求項〜7のいずれか1項に記載の液滴測定システム。
  9. 前記体積算出部は、
    前記差分画像に対して二値化処理を施すことにより、前記ノズルに垂下する液体が写った領域を抽出し、該抽出された領域において、前記ノズルの下端面に相当する位置から上方に突出している部分が左右非対称である場合、前記ノズルの下端面に相当する位置における前記領域の幅に対する、前記位置から上方に突出している部分の幅の比率を算出し、
    前記比率が所定値未満である場合、前記領域から前記部分を除いた残りの領域に基づいて前記液滴の体積を算出し、
    前記比率が所定値以上である場合、前記領域から前記部分を除いた残りの領域に基づいて算出された体積と、前記部分に基づいて算出された体積との合算値を前記液滴の体積として算出する、
    請求項〜7のいずれか1項に記載の液滴測定システム。
  10. 前記撮像装置のフレームレートは、60フレーム/秒±10フレーム/秒の範囲で可変である、請求項〜9のいずれか1項に記載の液滴測定システム。
  11. 撮像装置は、長手方向の画素数が480以上800以下、短手方向の画素数が320以上600以下、且つトータルの画素数が50万画素以下である撮像素子を備える、請求項1〜10のいずれか1項に記載の液滴測定システム。
  12. 前記撮像装置は、テレセントリックレンズを備える、請求項1〜11のいずれか1項に記載の液滴測定システム。
  13. 前記ノズルは、容器内に充填された液体を点滴筒を介して点滴する点滴装置に設けられ、前記液体からなる液滴を前記点滴筒内に滴下し、
    前記点滴筒内に溜まった前記液体を流通させるチューブに対して押圧可能に設けられたクレンメに対し、該クレンメを駆動して前記チューブに対する押圧力を変化させることにより、前記液体の流量を変化させるアクチュエータと、
    前記体積の算出結果に基づいて、前記液体の流量が予め設定された範囲となるように前記アクチュエータを制御する流量制御部と、
    をさらに備える請求項1〜12のいずれか1項に記載の液滴測定システム。
  14. ノズルから滴下する液滴の体積を測定する液滴測定方法において、
    前記ノズルの先端部と、前記ノズルに垂下する液体全体とを視野に収めるように設置される撮像装置から出力される画像データに基づき、前記ノズルから液滴が滴下する様子が写った画像を時系列順に生成するステップ(a)と、
    ステップ(a)において時系列順に生成された複数の画像のうちから、液滴が前記ノズルから離れたことが検出された画像である滴下検出画像を検出するステップ(b)と、
    記複数の画像のうち前記滴下検出画像の所定フレーム前に生成され、前記ノズルに垂下する液体が写った画像である滴下前画像と、前記複数の画像のうち前記滴下検出画像以降の所定フレーム以内に生成され、前記滴下前画像において前記ノズルに垂下していた液体が滴下した後のノズルが写った画像と、に基づいて、前記滴下前画像において前記ノズルに垂下していた液体が滴下した液滴の体積を算出するステップ(c)と、
    を含む液滴測定方法。
  15. ノズルから滴下する液滴の体積を測定するプログラムにおいて、
    前記ノズルの先端部と、前記ノズルに垂下する液体全体とを視野に収めるように設置される撮像装置から出力される画像データに基づき、前記ノズルから液滴が滴下する様子が写った画像を時系列順に生成するステップ(a)と、
    ステップ(a)において時系列順に生成された複数の画像のうちから、液滴が前記ノズルから離れたことが検出された画像である滴下検出画像を検出するステップ(b)と、
    記複数の画像のうち前記滴下検出画像の所定フレーム前に生成され、前記ノズルに垂下する液体が写った画像である滴下前画像と、前記複数の画像のうち前記滴下検出画像以降の所定フレーム以内に生成され、前記滴下前画像において前記ノズルに垂下していた液体が滴下した後のノズルが写った画像と、に基づいて、前記滴下前画像において前記ノズルに垂下していた液体が滴下した液滴の体積を算出するステップ(c)と、
    をコンピュータに実行させるプログラム。
JP2017045479A 2017-03-09 2017-03-09 液滴測定システム、液滴測定方法及びプログラム Active JP6406590B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017045479A JP6406590B2 (ja) 2017-03-09 2017-03-09 液滴測定システム、液滴測定方法及びプログラム
US15/911,914 US10583248B2 (en) 2017-03-09 2018-03-05 Droplet measurement system, droplet measurement method and computer readable recording device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017045479A JP6406590B2 (ja) 2017-03-09 2017-03-09 液滴測定システム、液滴測定方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2018148962A JP2018148962A (ja) 2018-09-27
JP6406590B2 true JP6406590B2 (ja) 2018-10-17

Family

ID=63446845

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017045479A Active JP6406590B2 (ja) 2017-03-09 2017-03-09 液滴測定システム、液滴測定方法及びプログラム

Country Status (2)

Country Link
US (1) US10583248B2 (ja)
JP (1) JP6406590B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7324485B2 (ja) * 2019-05-13 2023-08-10 有限会社イグノス 液滴測定システム、液滴測定方法、及びプログラム
JP7324533B2 (ja) * 2019-05-13 2023-08-10 有限会社イグノス 液滴測定システム、液滴測定方法、及びプログラム
DE102020110729A1 (de) 2020-04-20 2021-10-21 Martin Gmbh Verfahren und Vorrichtung zur optischen Bestimmung von Tropfenvolumina
US11911594B2 (en) * 2020-10-30 2024-02-27 Carefusion 303, Inc. Systems and apparatus for drip rate measurement for medical fluid administration
CN113588497B (zh) * 2021-08-02 2024-02-23 安徽工程大学 一种用于研究在冲击作用下液滴演变过程的实验装置
WO2024020240A1 (en) * 2022-07-22 2024-01-25 Spaero Inc. System and method for determining dispensing volume for a liquid handler
CN115910274A (zh) * 2022-11-17 2023-04-04 珠海迪尔生物工程股份有限公司 滴液控制方法、系统、电子设备及其存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5583939B2 (ja) 2009-09-17 2014-09-03 テルモ株式会社 点滴検出装置、輸液ポンプとその制御方法
US8622979B2 (en) * 2010-10-19 2014-01-07 Baxter Healthcare S.A. Infusion system using optical imager for controlling flow and method thereof
MX342940B (es) * 2011-09-30 2016-10-19 Hospira Inc Controlador de índice de flujo intravenoso.
SG11201507326SA (en) * 2013-03-14 2015-10-29 Baxter Int Optical imaging system with multiple imaging channel optical sensing
DE112016000229T5 (de) * 2015-01-13 2017-09-07 Murata Manufacturing Co., Ltd. Tropfraten-Messvorrichtung, Tropfraten-Controller, Tropfinfusionsvorrichtung, und Flüssigkeitstropfen-Volumenmessvorrichtung
JP6639122B2 (ja) * 2015-07-03 2020-02-05 東芝デベロップメントエンジニアリング株式会社 吐出量測定装置

Also Published As

Publication number Publication date
US20180256817A1 (en) 2018-09-13
JP2018148962A (ja) 2018-09-27
US10583248B2 (en) 2020-03-10

Similar Documents

Publication Publication Date Title
JP6406590B2 (ja) 液滴測定システム、液滴測定方法及びプログラム
WO2017082381A1 (ja) 液滴測定システム、液滴測定方法、及び液滴測定プログラム
JP6356773B2 (ja) 流体キャニスタ中の血液成分量を測定するシステム及び方法
JP2011062371A (ja) 点滴検出装置、輸液ポンプとその制御方法
JP7324485B2 (ja) 液滴測定システム、液滴測定方法、及びプログラム
TW202009786A (zh) 可由頭部操控的電子裝置與其操作方法
US20210059569A1 (en) Fall risk evaluation method, fall risk evaluation device, and non-transitory computer-readable recording medium in which fall risk evaluation program is recorded
CN103424406A (zh) 管道内气液两相流的图像法测量装置及方法
CN114555004A (zh) 用于跟踪外科手术物品的系统和方法
US20200129380A1 (en) Instrumented infant feeding bottle
TWI498857B (zh) 瞌睡提醒裝置
JP7226706B2 (ja) 吐出量測定システム及び吐出量測定方法
CN105498042B (zh) 一种基于视频的非避光式输液自动报警方法及其装置
CN107638289B (zh) 鼻腔污物实时检测器
US11779260B2 (en) Cognitive function evaluation method, cognitive function evaluation device, and non-transitory computer-readable recording medium in which cognitive function evaluation program is recorded
KR102093066B1 (ko) 인체 주입 액적량 측정 방법 및 시스템
TW202011003A (zh) 液位檢測方法及其裝置
JP7324533B2 (ja) 液滴測定システム、液滴測定方法、及びプログラム
JP2010273800A (ja) 瞬目計測装置及び瞬目計測方法
CN108010014A (zh) 一种鼻腔污物实时检测方法
JP2023154362A (ja) 流量制御システム、点滴システム、輸液ポンプ、流量制御方法及びプログラム
CN111686346A (zh) 一种输液过程状态监测装置及监控方法
Yu Study on monitoring infusion rate based on computer vision
TWI817772B (zh) 液滴分配器之輔助操作裝置
WO2011065177A1 (ja) 血球軌跡表示装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180713

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180829

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180906

R150 Certificate of patent or registration of utility model

Ref document number: 6406590

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250