JP7324533B2 - 液滴測定システム、液滴測定方法、及びプログラム - Google Patents

液滴測定システム、液滴測定方法、及びプログラム Download PDF

Info

Publication number
JP7324533B2
JP7324533B2 JP2022067663A JP2022067663A JP7324533B2 JP 7324533 B2 JP7324533 B2 JP 7324533B2 JP 2022067663 A JP2022067663 A JP 2022067663A JP 2022067663 A JP2022067663 A JP 2022067663A JP 7324533 B2 JP7324533 B2 JP 7324533B2
Authority
JP
Japan
Prior art keywords
image
droplet
nozzle
volume
dropping
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022067663A
Other languages
English (en)
Other versions
JP2022092059A (ja
Inventor
功 大和田
陽美 寒川
健資 大森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
IGUNOSS, INC.
Original Assignee
IGUNOSS, INC.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2019090982A external-priority patent/JP7324485B2/ja
Application filed by IGUNOSS, INC. filed Critical IGUNOSS, INC.
Priority to JP2022067663A priority Critical patent/JP7324533B2/ja
Publication of JP2022092059A publication Critical patent/JP2022092059A/ja
Application granted granted Critical
Publication of JP7324533B2 publication Critical patent/JP7324533B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Infusion, Injection, And Reservoir Apparatuses (AREA)

Description

本発明は、ノズルから滴下する液滴の体積を測定する液滴測定システム、液滴測定方法、及びプログラムに関する。
薬液や栄養剤等の液体（点滴液）を点滴する際には、予め決められた流量を維持することが重要である。従来、点滴の流量制御は、点滴筒内に滴下する液滴の数をカウントして単位時間あたりの滴下数を求め、液滴の体積が一定であるという前提で流量を算出し、液滴の滴下周期（滴下する時間間隔）を調節することにより行っていた。
しかし、実際には、液滴の表面張力は粘度や環境温度等の条件に依存して変化するため、液滴１つあたりの体積は一定ではない。また、医療の現場においては、点滴中に患者が姿勢を変えてしまうことがあり、この場合、点滴液のヘッド差が変化して液滴の体積が変動してしまうことがある。そのため、液滴の滴下周期のみによって流量を制御する従来の方法においては、高精度な流量制御が困難であった。
このような問題に対し、滴下する液滴の体積を測定して流量制御に用いる技術が知られている。例えば特許文献１には、透明な点滴筒と、該点滴筒の外部の一側に配置された発光部と、該発光部と点滴筒を挟んで対向した位置に配置された二次元イメージセンサとを備え、点滴筒内の滴下ノズル先端と、該滴下ノズルから落ちる液滴の所定落下距離分を含むようにこの二次元イメージセンサの視野を設定した液滴検出装置が開示されている。
また、特許文献２には、ノズルの先端部と、該ノズルに垂下する液体全体とを視野に収めるように撮像装置を設置し、ノズルから液滴が滴下する様子が写った時系列順の画像のうち、液滴がノズルから離れたことが検出された画像である滴下検出画像を検出し、該滴下検出画像の所定フレーム前に生成され、ノズルに垂下する液体が写った画像である滴下前画像と、滴下検出画像以降の所定フレーム以内に生成され、滴下前画像において上記ノズルに垂下していた液体が滴下した後のノズルが写った画像と、に基づいて、滴下前画像においてノズルに垂下していた液体が滴下した液滴の体積を算出する液滴測定システムが開示されている。
特開２０１１－６２３７１号公報 特許第６４０６５９０号公報
上記特許文献１においては、落下中の液滴の全体形状から液滴の体積を算出するため、滴下ノズルの先端から液滴の所定落下距離までの範囲を捉えることができるような大きなサイズを有し、且つフレームレートの高い二次元イメージセンサが必要になる。それにより、処理すべき画像データのデータ量が多くなるので、大量の演算処理及びメモリ操作を高速に処理できる高性能の処理装置が必要になってしまう。
これに対し、上記特許文献２においては、少なくとも、ノズルの先端部と、該ノズルに垂下する液滴全体とを含む範囲を画像内に捉えることができれば良いので、それほど大きなサイズのイメージセンサを用いる必要はない。そのため、画像１枚あたりのデータ量を抑制することができ、それほど高性能の処理装置を用いることなく液滴の体積を精度良く算出することが可能となる。しかしながら、液滴の体積の測定精度やリアルタイム性をさらに向上させるためには、液滴がノズルから離れて落下し始めたタイミングの検出処理や、画像に写った液滴の領域を抽出する処理などについて、さらなる工夫が望まれる。
本発明は、ノズルから滴下する液滴の体積の測定精度やリアルタイム性を従来よりもさらに向上させることができる液滴測定システム、液滴測定方法及びプログラムを提供することを目的とする。
上記課題を解決するために、本発明の一態様である液滴測定システムは、ノズルから滴下する液滴の体積を測定する液滴測定システムにおいて、被写体を撮像して画像データを出力する撮像装置であって、前記ノズルの先端部と、前記ノズルに垂下する液滴全体とを視野に収めるように設置される撮像装置と、前記撮像装置から出力される画像データに基づき、前記ノズルから液滴が滴下する様子を写した画像を時系列順に生成する画像生成部と、前記画像生成部により時系列順に生成される画像から、前記ノズルから液滴が離れて滴下し始めた状態を写した画像である滴下開始画像を検出する滴下検出部と、前記滴下開始画像の所定フレーム前の画像と、前記滴下開始画像の所定フレーム後の画像とに基づいて、前記滴下開始画像に写った液滴の体積を算出する体積算出部と、を備え、前記滴下検出部は、前記画像生成部により時系列順に生成される画像に対し、前記ノズルの先端部が写った位置から所定の距離だけ下方の位置に所定の大きさを有する矩形領域を設定し、該矩形領域内を監視することにより、前記ノズルの先端部に液滴が垂下している状態を写した画像である滴下待機画像を検出する滴下待機判定部と、前記滴下待機画像が検出された後、前記画像生成部により生成される画像における前記矩形領域内を監視することにより、前記滴下開始画像を検出する滴下開始判定部と、を有するものである。
上記液滴測定システムは、第１のバッファ記憶領域と第２のバッファ記憶領域とを含む記憶部をさらに備え、前記画像生成部は、前記撮像装置から出力される画像データに対して所定の処理を施し、該処理が施された画像データを前記第１のバッファ記憶領域に記憶させ、前記滴下検出部は、前記滴下開始画像が検出された際に、前記第１のバッファ記憶領域に記憶された画像データのうち、該滴下開始画像の前記所定フレーム前の画像及び前記所定フレーム後の画像の画像データを前記第２のバッファ記憶領域にコピーし、前記体積算出部は、前記第２のバッファ記憶領域に記憶された画像データに基づいて、前記液滴の体積を算出しても良い。
上記液滴測定システムにおいて、前記滴下待機判定部は、前記矩形領域内において垂直方向に連続する液滴の像の領域を検出した場合に、判定対象の画像は前記滴下待機画像であると判定し、前記滴下開始判定部は、前記矩形領域内において垂直方向に分断された液滴の像の領域を検出した場合に、判定対象の画像は前記滴下開始画像であると判定しても良い。
上記液滴測定システムにおいて、前記滴下待機判定部は、前記矩形領域内において垂直方向に連続する液滴の像を検出した場合に、判定対象の画像は前記滴下待機画像であると判定し、前記滴下開始判定部は、前記矩形領域内において垂直方向に分断された液体の像を連続する複数フレームにわたって検出した場合に、該複数フレームの先頭の画像が前記滴下開始画像であると判定しても良い。
上記液滴測定システムにおいて、前記滴下開始判定部は、前記滴下待機判定部が前記滴下待機画像を検出した後、前記画像生成部により時系列順に生成される画像の監視を開始し、前記滴下待機判定部は、前記滴下開始判定部が前記滴下開始画像を検出した後、前記画像生成部により時系列順に生成される画像の監視を再開しても良い。
上記液滴測定システムは、前記画像生成部により生成される画像における前記ノズルの像の下端の位置を検出し、該下端の位置が所定範囲内に位置していない場合にエラー信号を出力するエラー判定部と、前記ノズルの液滴の滴下開始を制御する流量制御部と、外部からなされる操作に応じた信号を前記流量制御部に入力する操作入力部と、をさらに備え、前記流量制御部は、前記エラー判定部からエラー信号が出力された場合には、前記操作入力部から液滴の滴下開始を指示する信号が入力されたときであっても、前記ノズルからの液滴の滴下を開始させないこととしても良い。
上記液滴測定システムは、前記画像生成部により生成される画像における前記ノズルの像を認識し、該ノズルの像の形状と太さとの少なくともいずれかに基づいて、前記ノズルから滴下する液滴の標準的な流量の範囲を推定する流量推定部と、前記ノズルから滴下する液滴の流量を制御する流量制御部と、外部からなされる操作に応じて、前記ノズルから滴下させる液滴の流量の設定値を表す信号を前記流量制御部に入力する操作入力部と、をさらに備え、前記流量制御部は、前記設定値が、前記流量推定部により推定された前記標準的な流量の範囲に含まれない場合、前記ノズルからの液滴の滴下を開始させないこととしても良い。
上記液滴測定システムにおいて、前記画像生成部により生成される画像の垂直方向において、前記矩形領域の上端は、前記ノズルの像の先端よりも下方に設定され、前記矩形領域の下端は、前記滴下開始画像の所定フレーム前の画像に写った液滴の像の下端よりも上方となるように設定されても良い。
上記液滴測定システムにおいて、前記ノズルから液滴を滴下させる条件を変化させた場合に、前記滴下開始画像においてノズルに付着する液滴の像の下端部と、前記滴下開始画像において落下する液滴の像の上端部との隙間が変化し、且つ、前記条件を変化させた場合に変化する前記隙間同士の間で共通する範囲が存在するとき、前記矩形領域の垂直方向のサイズは、前記隙間同士の間で共通する範囲を包含するように設定されても良い。
上記液滴測定システムにおいて、前記ノズルから液滴を滴下させる条件を変化させた場合に、前記滴下開始画像においてノズルに付着する液滴の像の下端部と、前記滴下開始画像において落下する液滴の像の上端部との隙間が変化し、且つ、前記条件を変化させた場合に変化する前記隙間同士の間で共通する範囲が存在しないとき、前記矩形領域の垂直方向のサイズは、前記条件を変化させた場合における前記上端部のうち最も上方の位置と、前記条件を変化させた場合における前記下端部のうち最も下方の位置と、の間の範囲を包含するように設定されてもよい。
上記液滴測定システムにおいて、前記ノズルから液滴を滴下させる条件を変化させた場合に、前記滴下開始画像における液滴の像の幅が変化するとき、前記矩形領域の水平方向のサイズは、前記条件を変化させた場合に変化する前記幅のうち最も大きい幅を包含するように設定されても良い。
上記液滴測定システムにおいて、前記滴下待機判定部は、前記矩形領域に二値化処理を施すことにより、液滴の像の少なくとも輪郭領域の画素の階調を第１の階調に変換すると共に、液滴の像の背景領域の画素の階調を第２の階調に変換し、前記矩形領域内を探索することにより、前記第１の階調を有する画素が存在する行を液滴存在行として抽出し、探索の結果、前記矩形領域の全ての行が液滴存在行である場合に、判定対象の画像は滴下待機画像であると判定しても良い。
上記液滴測定システムにおいて、前記滴下待機判定部は、前記矩形領域に対して二値化処理を施すことにより、液滴の像の少なくとも輪郭領域の画素の階調を第１の階調に変換すると共に、液滴の像の背景領域の画素の階調を第２の階調に変換し、前記矩形領域内を探索することにより、前記第１の階調を有する複数の画素が連続して存在する行を液滴存在行として抽出し、探索の結果、前記矩形領域の全ての行が液滴存在行である場合に、判定対象の画像は滴下待機画像であると判定しても良い。
上記液滴測定システムにおいて、前記滴下開始判定部は、前記二値化処理が施された前記矩形領域内を探索し、全ての画素が前記第２の階調を有する行が検出された場合に、判定対象の画像は滴下開始画像であると判定しても良い。
上記液滴測定システムにおいて、前記滴下開始判定部は、前記二値化処理が施された前記矩形領域内を探索し、全ての画素が前記第２の階調を有する行が連続して複数行にわたって検出された場合に、判定対象の画像は滴下開始画像であると判定しても良い。
上記液滴測定システムにおいて、前記滴下開始判定部は、全ての画素が前記第２の階調を有する行が検出された場合であっても、前記矩形領域の下端と連続する１つ以上の行が、全ての画素が前記第２の階調を有する行である場合には、判定対象の画像は滴下開始画像ではないと判定しても良い。
上記液滴測定システムにおいて、前記滴下開始判定部は、前記二値化処理が施された前記矩形領域について、該矩形領域の下端と連続する複数行における前記第１の諧調を有する画素をカウントし、該画素の総数が、当該判定対象の画像の直前のフレームにおける前記総数から、所定の閾値を超えて減少している場合に、判定対象の画像は滴下開始画像であると判定しても良い。
本発明の別の態様である液滴測定システムは、ノズルから滴下する液滴の体積を測定する液滴測定システムにおいて、被写体を撮像して画像データを出力する撮像装置であって、前記ノズルの先端部と、前記ノズルに垂下する液滴全体とを視野に収めるように設置される撮像装置と、前記撮像装置から出力される画像データに基づき、前記ノズルから液滴が滴下する様子を写した画像を時系列順に生成する画像生成部と、前記画像生成部により時系列順に生成される画像から、前記ノズルから液滴が離れて滴下し始めた状態を写した画像である滴下開始画像を検出する滴下検出部と、前記滴下開始画像の所定フレーム前の画像と、前記滴下開始画像の所定フレーム後の画像とに基づいて、前記滴下開始画像に写った液滴の体積を算出する体積算出部と、を備え、前記体積算出部は、前記所定フレーム前の画像に写った液滴の像の領域を抽出する領域抽出部と、前記領域抽出部により抽出された領域を回転体の投影像とみなし、該抽出された領域の各行について、画素数を直径とする円の面積を算出する円面積算出部と、前記円面積算出部により算出された面積を積算する積算部と、を含み、前記領域抽出部は、前記所定フレーム前の画像である第１の画像と、前記所定フレーム後の画像である第２の画像との差分画像を生成し、前記差分画像に対して二値化処理を施すことにより第３の画像を生成すると共に、該第３の画像に対して穴埋め処理を施すことにより得られる第４の画像を生成し、前記第３及び第４の画像に基づき、前記第１及び第２の画像の間で重なり合う液滴の像の部分を画定するための領域を設定し、該領域を前記第１の画像に適用することにより前記重なり合う液滴の像の部分を抽出し、前記重なり合う液滴の像の部分と、前記第４の画像から抽出される部分とを合成することにより、前記第１の画像に写った液滴の像全体の領域を抽出するものである。
上記液滴測定システムにおいて、前記円面積算出部は、前記領域抽出部により抽出された領域のうち、前記第４の画像から抽出された部分に対して、該部分に外接する矩形の枠を設定すると共に、該枠の垂直方向に延びる中心線を設定し、前記第４の画像から抽出された部分の各行について、前記中心線の左右の側のうち画素数が多い側の画素数の２倍を直径とする円の面積を算出しても良い。
上記液滴測定システムにおいて、前記円面積算出部は、前記領域抽出部により抽出された領域のうち、前記第４の画像から抽出された部分に対し、前記第１の画像に写った前記ノズルの像の下端の中心を通る線を分割線として設定し、該分割線と直交する方向に延びる各行について、該分割線の両側のうち画素数が多い側の画素数の２倍を直径とする円の面積を算出しても良い。
上記液滴測定システムにおいて、前記円面積算出部は、前記ノズルの像の下端の中心を通り、且つ、前記第１の画像の垂直方向と平行な線を、前記分割線として設定しても良い。
上記液滴測定システムにおいて、前記ノズルの傾きを検出する角度センサをさらに備え、前記円面積算出部は、前記ノズルの像の下端の中心を通り、且つ、前記第１の画像の垂直方向と平行な線を前記角度センサによる検出結果に基づいて補正した線を、前記分割線として設定しても良い。
上記液滴測定システムにおいて、前記円面積算出部は、前記ノズルの像の下端の中心と、前記第４の画像から抽出された部分の輪郭上の各点とを結ぶ線分のうち、最も長い線分を前記分割線としても良い。
上記液滴測定システムにおいて、前記円面積算出部は、前記第４の画像から抽出された部分のうち水平方向における幅が最大となる位置における幅の中心点と、前記ノズルの像の下端の中心とを結ぶ直線を前記分割線としても良い。
本発明のさらに別の態様である液滴測定システムは、ノズルから滴下する液滴の体積を測定する液滴測定システムにおいて、被写体を撮像して画像データを出力する撮像装置であって、前記ノズルの先端部と、前記ノズルに垂下する液滴全体とを視野に収めるように設置される撮像装置と、前記撮像装置から出力される画像データに基づき、前記ノズルから液滴が滴下する様子を写した画像を時系列順に生成する画像生成部と、前記画像生成部により時系列順に生成される画像から、前記ノズルから液滴が離れて滴下し始めた状態を写した画像である滴下開始画像を検出する滴下検出部と、前記滴下開始画像の所定フレーム前の画像と、前記滴下開始画像の所定フレーム後の画像とに基づいて、前記滴下開始画像に写った液滴の体積を算出する体積算出部と、を備え、前記体積算出部は、前記ノズルからの液滴の滴下を開始してから所定時間内に測定された液滴の体積を基準として、液滴の体積の上限値及び下限値を設定し、前記体積算出部により算出された液滴の体積が前記上限値及び下限値から外れている場合に、該算出された液滴の体積の代わりに、所定の暫定値を挿入する誤差補正部を有するものである。
上記液滴測定システムにおいて、前記暫定値は、前記所定時間内に測定された液滴の体積の平均値であっても良い。
上記液滴測定システムにおいて、前記暫定値は、前記上限値及び下限値から外れた液滴の体積が算出されたとき以前の所定回の間に算出された液滴の体積の平均値であっても良い。
上記液滴測定システムにおいて、前記体積算出部は、前記ノズルから滴下する液滴の流量の設定値に応じて、前記下限値を設定しても良い。
上記液滴測定システムにおいて、前記体積算出部は、過去の複数回にわたって算出した液滴の体積の平均値を、液滴の体積の測定値として出力しても良い。
上記液滴測定システムにおいて、前記体積算出部は、前記ノズルから滴下する液滴の流量の設定値に応じて、前記液滴の体積の平均を取る回数を設定しても良い。
本発明のさらに別の態様である液滴測定方法は、ノズルから滴下する液滴の体積を測定する液滴測定システムにおいて実行される液滴測定方法において、被写体を撮像して画像データを出力する撮像装置であって、前記ノズルの先端部と、前記ノズルに垂下する液滴全体とを視野に収めるように設置される撮像装置から出力される画像データに基づき、前記ノズルから液滴が滴下する様子を写した画像を時系列順に生成する画像生成ステップと、前記画像生成ステップにおいて時系列順に生成される画像から、前記ノズルから液滴が離れて滴下し始めた状態を写した画像である滴下開始画像を検出する滴下検出ステップと、前記滴下開始画像の所定フレーム前の画像と、前記滴下開始画像の所定フレーム後の画像とに基づいて、前記滴下開始画像に写った液滴の体積を算出する体積算出ステップと、を含み、前記滴下検出ステップは、前記画像生成ステップにおいて時系列順に生成される画像に対し、前記ノズルの先端部が写った位置から所定の距離だけ下方の位置に所定の大きさを有する矩形領域を設定し、該矩形領域内を監視することにより、前記ノズルの先端部に液滴が垂下している状態を写した画像である滴下待機画像を検出する滴下待機判定ステップと、前記滴下待機画像が検出された後、前記画像生成ステップにおいて生成される画像に対して前記矩形領域を設定し、該矩形領域内を監視することにより、前記滴下開始画像を検出する滴下開始判定ステップと、を有するものである。
本発明のさらに別の態様である液滴測定方法は、ノズルから滴下する液滴の体積を測定する液滴測定システムにおいて実行される液滴測定方法において、被写体を撮像して画像データを出力する撮像装置であって、前記ノズルの先端部と、前記ノズルに垂下する液滴全体とを視野に収めるように設置される撮像装置から出力される画像データに基づき、前記ノズルから液滴が滴下する様子を写した画像を時系列順に生成する画像生成ステップと、前記画像生成ステップにおいて時系列順に生成される画像から、前記ノズルから液滴が離れて滴下し始めた状態を写した画像である滴下開始画像を検出する滴下検出ステップと、前記滴下開始画像の所定フレーム前の画像と、前記滴下開始画像の所定フレーム後の画像とに基づいて、前記滴下開始画像に写った液滴の体積を算出する体積算出ステップと、を含み、前記体積算出ステップは、前記所定フレーム前の画像に写った液滴の像の領域を抽出する領域抽出部ステップと、前記領域抽出ステップにおいて抽出された領域を回転体の投影像とみなし、該抽出された領域に並ぶ画素の画素数に基づいて、前記回転体をスライスした円に相当する面積を算出する円面積算出ステップと、前記円面積算出部により算出された面積を積算する積算ステップと、を含み、前記領域抽出ステップは、前記所定フレーム前の画像である第１の画像と、前記所定フレーム後の画像である第２の画像との差分画像を生成し、前記差分画像に対して二値化処理を施すことにより第３の画像を生成すると共に、該第３の画像に対して穴埋め処理を施すことにより得られる第４の画像を生成し、前記第３及び第４の画像に基づき、前記第１及び第２の画像の間で重なり合う液滴の像の部分を画定するための領域を設定し、該領域を前記第１の画像に適用することにより前記重なり合う液滴の像の部分を抽出し、前記重なり合う液滴の像の部分と、前記第４の画像から抽出される部分とを合成することにより、前記第１の画像に写った液滴の像全体の領域を抽出するものである。
本発明のさらに別の態様である液滴測定方法は、ノズルから滴下する液滴の体積を測定する液滴測定システムにおいて実行される液滴測定方法において、被写体を撮像して画像データを出力する撮像装置であって、前記ノズルの先端部と、前記ノズルに垂下する液滴全体とを視野に収めるように設置されるから出力される画像データに基づき、前記ノズルから液滴が滴下する様子を写した画像を時系列順に生成する画像生成ステップと、前記画像生成ステップにおいて時系列順に生成される画像から、前記ノズルから液滴が離れて滴下し始めた状態を写した画像である滴下開始画像を検出する滴下検出ステップと、前記滴下開始画像の所定フレーム前の画像と、前記滴下開始画像の所定フレーム後の画像とに基づいて、前記滴下開始画像に写った液滴の体積を算出する体積算出ステップと、を含み、前記体積算出ステップは、前記ノズルからの液滴の滴下を開始してから所定時間内に測定された液滴の体積を基準として、液滴の体積の上限値及び下限値を設定し、前記体積算出部により算出された液滴の体積が前記上限値及び下限値から外れている場合に、該算出された液滴の体積の代わりに、所定の暫定値を挿入することにより、誤差を補正するものである。
本発明のさらに別の態様であるプログラムは、ノズルから滴下する液滴の体積を測定する液滴測定システムにおいてコンピュータに実行させるプログラムにおいて、被写体を撮像して画像データを出力する撮像装置であって、前記ノズルの先端部と、前記ノズルに垂下する液滴全体とを視野に収めるように設置される撮像装置から出力される画像データに基づき、前記ノズルから液滴が滴下する様子を写した画像を時系列順に生成する画像生成ステップと、前記画像生成ステップにおいて時系列順に生成される画像から、前記ノズルから液滴が離れて滴下し始めた状態を写した画像である滴下開始画像を検出する滴下検出ステップと、前記滴下開始画像の所定フレーム前の画像と、前記滴下開始画像の所定フレーム後の画像とに基づいて、前記滴下開始画像に写った液滴の体積を算出する体積算出ステップと、を実行させ、前記滴下検出ステップは、前記画像生成ステップにおいて時系列順に生成される画像に対し、前記ノズルの先端部が写った位置から所定の距離だけ下方の位置に所定の大きさを有する矩形領域を設定し、該矩形領域内を監視することにより、前記ノズルの先端部に液滴が垂下している状態を写した画像である滴下待機画像を検出する滴下待機判定ステップと、前記滴下待機画像が検出された後、前記画像生成ステップにおいて生成される画像に対して前記矩形領域を設定し、該矩形領域内を監視することにより、前記滴下開始画像を検出する滴下開始判定ステップと、を含むものである。
本発明のさらに別の態様であるプログラムは、ノズルから滴下する液滴の体積を測定する液滴測定システムにおいてコンピュータに実行させるプログラムにおいて、被写体を撮像して画像データを出力する撮像装置であって、前記ノズルの先端部と、前記ノズルに垂下する液滴全体とを視野に収めるように設置される撮像装置から出力される画像データに基づき、前記ノズルから液滴が滴下する様子を写した画像を時系列順に生成する画像生成ステップと、前記画像生成ステップにおいて時系列順に生成される画像から、前記ノズルから液滴が離れて滴下し始めた状態を写した画像である滴下開始画像を検出する滴下検出ステップと、前記滴下開始画像の所定フレーム前の画像と、前記滴下開始画像の所定フレーム後の画像とに基づいて、前記滴下開始画像に写った液滴の体積を算出する体積算出ステップと、を実行させ、前記体積算出ステップは、前記所定フレーム前の画像に写った液滴の像の領域を抽出する領域抽出部ステップと、前記領域抽出ステップにおいて抽出された領域を回転体の投影像とみなし、該抽出された領域に並ぶ画素の画素数に基づいて、前記回転体をスライスした円に相当する面積を算出する円面積算出ステップと、前記円面積算出部により算出された面積を積算する積算ステップと、を含み、前記領域抽出ステップは、前記所定フレーム前の画像である第１の画像と、前記所定フレーム後の画像である第２の画像との差分画像を生成し、前記差分画像に対して二値化処理を施すことにより第３の画像を生成すると共に、該第３の画像に対して穴埋め処理を施すことにより得られる第４の画像を生成し、前記第３及び第４の画像に基づき、前記第１及び第２の画像の間で重なり合う液滴の像の部分を画定するための領域を設定し、該領域を前記第１の画像に適用することにより前記重なり合う液滴の像の部分を抽出し、前記重なり合う液滴の像の部分と、前記第４の画像から抽出される部分とを合成することにより、前記第１の画像に写った液滴の像全体の領域を抽出するものである。
本発明のさらに別の態様であるプログラムは、ノズルから滴下する液滴の体積を測定する液滴測定システムにおいてコンピュータに実行させるプログラムにおいて、被写体を撮像して画像データを出力する撮像装置であって、前記ノズルの先端部と、前記ノズルに垂下する液滴全体とを視野に収めるように設置されるから出力される画像データに基づき、前記ノズルから液滴が滴下する様子を写した画像を時系列順に生成する画像生成ステップと、前記画像生成ステップにおいて時系列順に生成される画像から、前記ノズルから液滴が離れて滴下し始めた状態を写した画像である滴下開始画像を検出する滴下検出ステップと、前記滴下開始画像の所定フレーム前の画像と、前記滴下開始画像の所定フレーム後の画像とに基づいて、前記滴下開始画像に写った液滴の体積を算出する体積算出ステップと、を実行させ、前記体積算出ステップは、前記ノズルからの液滴の滴下を開始してから所定時間内に測定された液滴の体積を基準として、液滴の体積の上限値及び下限値を設定し、前記体積算出部により算出された液滴の体積が前記上限値及び下限値から外れている場合に、該算出された液滴の体積の代わりに、所定の暫定値を挿入することにより、誤差を補正するものである。
本発明の１つの態様によれば、画像生成部により時系列順に生成される画像に対し、所定の位置に所定の大きさを有する矩形領域を設定し、該矩形領域内を監視することにより、滴下待機画像の検出と、滴下待機画像が検出された後の滴下開始画像を検出とを交互に行うので、順次生成される一連の画像から滴下開始画像を、大きな演算負荷を要することなく、効率良く検出することができる。従って、液滴の体積算出に用いられる画像をリアルタイムに抽出することが可能となる。
また、本発明の別の態様によれば、滴下開始画像の所定フレーム前の画像と所定フレーム後の画像との差分画像に基づいて抽出された領域だけでなく、両画像において重なり合っているものの、本来液滴の像の一部として抽出されるべき領域も抽出することができるので、液滴の体積の測定精度を向上させることができる。
また、本発明のさらに別の態様によれば、算出された液滴の体積が設定された範囲を外れた場合に、当該算出された値の代わりに所定の暫定値を挿入するので、イレギュラーな状態で液体が滴下して異常値が算出されてしまった場合であっても、この異常値が一連の液滴の体積測定に与える影響を抑制することができる。
本発明の実施形態に係る液滴測定システムの概略構成を示す図である。 図１に示す情報処理装置の概略構成を示すブロック図である。 本発明の実施形態に係る液滴測定システムの動作を概略的に示すフローチャートである。 ノズルの位置出し処理を示すフローチャートである。 ノズルの位置出し処理を説明するための模式図である。 ノズルの位置出し処理を説明するための模式図である。 ノズル検知処理を示すフローチャートである。 ノズル検知処理を説明するための模式図である。 ノズル検知処理を説明するための模式図である。 本発明の実施形態における滴下状態の判定処理を示すフローチャートである。 本発明の実施形態における液滴体積の算出処理を示すフローチャートである。 本発明の実施形態における滴下状態の判定処理の変形例を示すフローチャートである。 監視領域の設定方法を説明するための模式図である。 監視領域の設定方法を説明するための模式図である。 監視領域の設定方法を説明するための模式図である。 監視領域の設定方法を説明するための模式図である。 本発明の実施形態における滴下待機画像の判定処理を示すフローチャートである。 本発明の実施形態における滴下待機判定処理を説明するための模式図である。 本発明の実施形態における滴下待機判定処理の変形例を説明するための模式図である。 本発明の実施形態における滴下画像の判定処理を示すフローチャートである。 本発明の実施形態における滴下画像の判定処理を説明するための模式図である。 本発明の実施形態における滴下画像の判定処理の第２の変形例を示すフローチャートである。 本発明の実施形態における滴下画像の判定処理の第２の変形例を説明するための模式図である。 本発明の実施形態における滴下画像の判定処理の第３の変形例を示すフローチャートである。 本発明の実施形態における滴下画像の判定処理の第３の変形例を説明するための模式図である。 本発明の実施形態における滴下画像の判定処理の第３の変形例を説明するための模式図である。 本発明の実施形態における滴下画像の判定処理の第３の変形例を説明するための模式図である。 本発明の実施形態における液滴の像の領域の抽出処理を示すフローチャートである。 時系列順に生成された滴下開始画像前後の画像を示す図である。 本発明の実施形態における液滴の像の領域の抽出処理を説明するための模式図である。 本発明の実施形態における液滴の像の領域の抽出処理を説明するための模式図である。 本発明の実施形態における液滴の像の領域の抽出処理を説明するための模式図である。 本発明の実施形態における抽出された領域の体積の算出処理を示すフローチャートである。 本発明の実施形態における抽出された領域の体積の算出処理の第１の変形例を示すフローチャートである。 時系列順に生成された滴下開始画像前後の画像を示す図である。 抽出された領域の体積の算出処理の第１の変形例を説明するための模式図である。 抽出された領域の体積の算出処理の第１の変形例を説明するための模式図である。 本発明の実施形態における抽出された領域の体積の算出処理の第２の変形例を示すフローチャートである。 抽出された領域の体積の算出処理の第２の変形例を説明するための模式図である。 抽出された領域の体積の算出処理の第３の変形例を説明するための模式図である。 抽出された領域の体積の算出処理の第４の変形例を説明するための模式図である。 抽出された領域の体積の算出処理の第４の変形例を説明するための模式図である。 液滴体積の算出処理の一例を説明するための模式図である。 液滴体積の算出処理の別の例を説明するための模式図である。 実施例１、２及び比較例１において滴下待機状態及び滴下開始状態を判定する際に設定された矩形領域を示す図である。 実施例３、４及び比較例２において滴下待機状態及び滴下開始状態を判定する際に設定された矩形領域を示す図である。 実施例１、２及び比較例１の実験結果を示すグラフである。 実施例３、４及び比較例２の実験結果を示すグラフである。
以下、本発明の実施の形態に係る液滴測定システム、液滴測定方法、及びプログラムについて、図面を参照しながら説明する。なお、これらの実施の形態によって本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。
以下の説明において参照する図面は、本発明の内容を理解し得る程度に形状、大きさ、及び位置関係を概略的に示しているに過ぎない。即ち、本発明は各図で例示された形状、大きさ、及び位置関係のみに限定されるものではない。また、図面の相互間においても、互いの寸法の関係や比率が異なる部分が含まれている場合がある。
（液滴測定システムの構成）
図１は、本発明の一実施形態に係る液滴測定システムの概略構成を示す図である。図１においては、本実施形態に係る液滴測定システム１０を、輸液バッグ２に充填された液体（点滴液）点滴する点滴装置１に適用した例を示している。点滴装置１は、輸液バッグ２に接続された中間チューブ３、点滴筒４、及び輸液チューブ５を含み、点滴筒４内には
ノズル６が取り付けられている。液滴測定システム１０は、このノズル６の先端部（以下、ノズル先端部ともいう）６ａから滴下する液滴７の体積を測定すると共に、測定した体積をもとに点滴の流量を制御する。
もっとも、本実施形態に係る液滴測定システム１０は、点滴装置１に限らず、例えば、所定量の液体を吐出するピペットなど、ノズルの先端から液滴を滴下する種々の機器に適用することが可能である。
図１に示すように、輸液バッグ２は、薬液や栄養剤等の点滴液が充填された容器であり、点滴中には支持台等に吊り下げられて保持される。中間チューブ３は、一端において輸液バッグ２の排液ポート２ａと接続され、他端において点滴筒４の上蓋４ａに取り付けられたノズル６の一端と接続されている。このノズル６の他端は、点滴筒４内に突出するように設けられている。
輸液チューブ５は弾性材料によって形成されている。この輸液チューブ５の途中には、輸液チューブ５を径方向に押圧可能なクレンメ８と、クレンメ８を駆動するアクチュエータ９とが設けられている。
アクチュエータ９は、電気的な制御の下でクレンメ８を駆動することにより、クレンメ８による輸液チューブ５に対する押圧力を変化させる。それにより、輸液チューブ５の内径が変化（開閉）し、輸液チューブ５内を流通する点滴液の流量を調節することができる。それに伴い、点滴筒４の内圧が変化し、ノズル６から滴下する液滴７の滴下周期、言い換えると単位時間あたりの液体の流量が変化する。
液滴測定システム１０は、ノズル先端部６ａの近傍を照明する光源１１と、ノズル先端部６ａの近傍を撮像して画像データを生成するカメラ１２と、カメラ１２が生成した画像データに基づいて液滴の体積を算出する情報処理装置１００とを備える。また、液滴測定システム１０は、液滴の体積の算出結果等を表示する表示装置１３や、点滴筒４に取り付けられた傾きセンサ１４をさらに備えても良い。
光源１１は、例えばＬＥＤ（Light Emitted Diode）等の発光素子と、該発光素子から出射した光が平行光となるように配光制御するフィルタやレンズ等の光学系とを備える。光源１１は、カメラ１２の視野と対向するように設置され、液滴が滴下するノズル先端部６ａの近傍を、液滴７の背後から照明する。
カメラ１２は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子１２ａを有し、所定の撮像フレームレートで動画又静止画の撮像が可能な撮像装置である。撮像素子１２ａは、カメラ１２に入射し、光学系により結像させられた光（被写体像）を受光面において受光し、光電変換を行うことにより電気信号を生成する。カメラ１２は、この電気信号に対し、増幅、Ａ／Ｄ変換等の所定の信号処理を施すことにより画像データを生成して出力する。
カメラ１２のスペックは、測定対象とする点滴装置１に応じて適宜構成することができる。一例として、点滴装置１が医療分野において一般的に用いられる装置である場合、点滴筒４を近距離から撮像することができ、且つユーザによる点滴操作の邪魔にならないように、カメラモジュールの外径が数ｍｍ～十数ｍｍ程度、且つ、焦点距離が数ｍｍ～数十ｍｍ程度の小型カメラを用いると良い。
撮像素子１２ａとしては、トータルの画素数が５０万画素以下の汎用の製品を用いることができる。詳細には、長手方向の画素数が４８０～８００程度、短手方向の画素数が３２０～６００程度であって、縦横比が１以上であれば良い。後述するように、本実施形態においては、撮像素子１２ａの長手方向が鉛直方向、短手方向が水平方向となるようにカメラ１２を設置する。そのため、以下においては、撮像素子１２ａの長手方向を縦方向、短手方向を横方向という。
カメラ１２の撮像フレームレートは、３０～１２０ｆｐｓ（フレームレート／秒）程度の範囲であれば良い。ローコストを重視する場合、３０ｆｐｓ程度のフレームレートであっても良い。この場合、設定された点滴の流量が高いとき（即ち、滴下周期が短いとき）には測定が困難になることもあるが、一般的な点滴において設定される流量であれば十分に対応可能であり、以下に説明するアルゴリズムは、低フレームレートによる精度の低下をカバーし得るものとなっている。また、特に精度を重視する場合や、高流量の点滴を測定する場合には、フレームレートを６０ｆｐｓ以上としても良い。この場合、カメラのコストは高くなるが、フレームレートが高いほど性能の向上が期待できる。好ましくは、上記範囲内で撮像フレームレートが可変であると良い。
カメラ１２は、ノズル先端部６ａ及び該ノズル先端部６ａから下方の所定範囲を視野に収めるように設置される。具体的には、滴下する直前にノズル先端部６ａに垂下している液滴の全体が視野に収まれば良い。この際、ノズル先端部６ａから離れて落下中の液滴については、その一部又は全部が視野から外れても良い。ノズル先端部６ａに垂下する液滴の大きさは、ノズルの径、液体の粘度、滴下周期等の条件によって変化するため、ワークディスタンスＷＤ（被写体からカメラ１２のレンズ先端までの距離）を調節することにより、カメラ１２の視野に収める被写体の範囲を決定すると良い。例えば、１ｍＬを２０滴で滴下するための大人用ノズル（２０滴／ｍＬ用）を用いる場合、垂下する液滴は比較的大きくなるので、ワークディスタンスＷＤを長めにすると良い。また、１ｍＬを６０滴で滴下するための小児用ノズル（６０滴／ｍＬ用）を用いる場合、垂下する液滴は比較的小さくなるので、ワークディスタンスＷＤは短めでも良い。
好ましくは、カメラ１２に対物側テレセントリックレンズを設けても良い。ここで、点滴筒４内におけるノズル６の位置や傾きは個体によって異なることがあるため、点滴筒４とカメラ１２との標準的な距離を定めておいたとしても、実際のワークディスタンスＷＤが変化してしまうことがあり得る。このような場合、通常の集光レンズを介して撮像素子１２ａに光を入射させると、撮像素子１２ａの受光面における被写体像のサイズが変動してしまい、液滴７の体積算出処理において誤差が生じるおそれがある。これに対し、テレセントリックレンズを介して撮像素子１２ａに光を入射させることにより、ワークディスタンスＷＤが変化した場合であっても、受光面における被写体像のサイズの変動を抑制することができる。なお、カメラ１２に結像側テレセントリックレンズを設けても良いが、必須ではない。
図２は、情報処理装置１００の概略構成を示すブロック図である。情報処理装置１００としては、液滴測定システム１０専用に構成した機器の他、パーソナルコンピュータ（ＰＣ）やノートＰＣ等の汎用の情報処理装置を用いることができる。図２に示すように、情報処理装置１００は、入出力部１０１と、操作入力部１０２と、記憶部１０３と、演算部１０４とを備える。
入出力部１０１は、カメラ１２や表示装置１３等の各種外部機器との間で画像データや種々の信号の入出力を行う外部インタフェースである。
操作入力部１０２は、入力ボタン、スイッチ、キーボード、マウス、タッチパネル等の入力デバイスによって構成され、ユーザによりなされた操作に応じた信号を演算部１０４に入力する。操作入力部１０２に対してなされる操作には、カメラ１２に撮像を開始させる操作又は終了させる操作や、点滴（ノズル６からの液滴の滴下）を開始させる操作又は終了させる操作や、点滴の流量の設定値を入力する操作等が挙げられる。
記憶部１０３は、ディスクドライブや、ＲＯＭ、ＲＡＭ等の半導体メモリなどのコンピュータ読取可能な記憶媒体を用いて構成される。記憶部１０３は、複数の物理デバイスを１つの論理デバイスにマッピングして構築しても良いし、１つの物理デバイスを複数の論理デバイスにマッピングして構築しても良い。記憶部１０３は、オペレーティングシステムプログラムやドライバプログラムの他、情報処理装置１００に所定の動作を実行させるためのプログラムや、該プログラムの実行中に使用される各種データ及び設定情報等を記憶する。
詳細には、記憶部１０３は、ノズル６から滴下する液滴の体積を測定するための液滴測定プログラムを記憶するプログラム記憶部１１１と、カメラ１２から出力され、液滴の体積測定に用いられた画像の画像データを記憶する画像データ記憶部１１２と、液滴の体積測定に用いられる各種設定値を記憶する設定値記憶部１１３と、液滴の体積の測定値を記憶する測定値記憶部１１４と、画像データを一時的に記憶するバッファ記憶領域として設けられた滴下検出用画像バッファ１１５及び体積算出用画像バッファ１１６とを含む。滴下検出用画像バッファ（第１のバッファ記憶領域）１１５は、カメラ１２から出力され、後述する画像生成部１３１により所定の画像処理が施された画像の画像データを一時的に記憶する。体積算出用画像バッファ（第２のバッファ記憶領域）１１６は、滴下検出用画像バッファ１１５に記憶された画像データのうち、液滴の体積測定に用いられる画像の画像データを一時的に記憶する。
演算部１０４は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）等のハードウェアを用いて構成され、プログラム記憶部１１１に記憶されているプログラムを読み込んで実行することにより、情報処理装置１００の各部へのデータ転送や指示を行い、情報処理装置１００の動作を統括的に制御する。また、演算部１０４は、プログラム記憶部１１１に記憶された液滴測定プログラムを実行することにより、カメラ１２から取得した画像データに基づいて、ノズル６から滴下する液滴の体積を測定する演算処理を実行する。詳細には、演算部１０４が液滴測定プログラムを実行することにより実現される機能部には、撮像制御部１２１と、流量制御部１２２と、画像処理部１２３とが含まれる。
撮像制御部１２１は、カメラ１２に対する撮像の開始及び終了を制御すると共に、所定の撮像フレームレートで撮像を実行するようにカメラ１２の動作を制御する。また、撮像制御部１２１は、撮像素子１２ａの撮像領域を制限する制御を行っても良い。例えば、画素数が８００×６００画素の撮像素子１２ａに対し、実効的な撮像領域を（４８０～８００）×（３２０～６００）画素の範囲において可変で設定可能とし、設定された撮像領域内に配置された画素のみから画像信号を取得するように制御する。このように、撮像領域を可変とすることで、ノズルの径や点滴される液体の粘度や滴下周期等の条件によらず、ノズル６に垂下する液滴全体を視野に収めつつ、画像信号に対する処理の負荷を軽減することができる。
流量制御部１２２は、操作入力部１０２から入力される信号に応じてアクチュエータ９の動作を制御することにより、ノズル６からの液滴の滴下を開始及び終了させると共に、後述する画像処理部１２３により算出される液滴の体積に基づいて、予め設定された流量となるようにアクチュエータ９の動作を制御する。
画像処理部１２３は、画像生成部１３１と、エラー判定部１３２と、流量推定部１３３と、滴下検出部１３４と、体積算出部１３５とを有し、カメラ１２から入力された画像データに対して所定の処理を行い、ノズル６から滴下する液滴の体積を算出する。
詳細には、画像生成部１３１は、カメラ１２から順次入力される画像データに対してデモザイキング、ホワイトバランス処理、ガンマ補正等の所定の画像処理を施すことにより、ノズル６から液滴が滴下する様子が写った画像を時系列順に生成する。
エラー判定部１３２は、画像におけるノズル先端部６ａの像の位置に基づいて、ノズル６に対するカメラ１２の相対的な位置が適性であるか否かを判定する。
流量推定部１３３は、画像におけるノズル先端部６ａの像の形状と太さとの少なくともいずれかに基づいて、ノズル６から滴下する液滴の標準的な流量を推定する。ここで、標準的な流量とは、２０滴／ｍＬ、６０滴／ｍＬといったノズルの種類ごとに設定可能な流量値（範囲）のことである。
滴下検出部１３４は、画像生成部１３１により時系列順に生成される画像において、液滴がどのような状態にあるのかを判定することにより、ノズル６から液滴が離れて滴下し始めた状態を写した画像である滴下開始画像を検出する。詳細には、滴下検出部１３４は、滴下待機判定部１４１及び滴下開始判定部１４２を含む。
滴下待機判定部１４１は、画像生成部１３１により順次生成される画像に対し、ノズル先端部６ａが写った位置から所定の距離だけ下方の位置に、所定の大きさを有する矩形領域を設定し、該矩形領域内を監視することにより、ノズル先端部６ａに液滴が垂下している状態（滴下待機状態）を写した画像である滴下待機画像を検出する。滴下開始判定部１４２は、滴下待機画像が検出された後、画像生成部１３１により順次生成される画像における上記矩形領域内を監視することにより、ノズル６に垂下していた液滴がノズル６から離れて落下し始めた状態を写した画像である滴下開始画像を検出する。以下、滴下待機判定部１４１及び滴下開始判定部１４２が画像に設定する矩形領域のことを、監視領域という。
体積算出部１３５は、滴下開始画像を含む連続する複数フレームの画像のうち、滴下開始画像の所定フレーム前の画像及び所定フレーム後の画像を用いて、滴下開始画像に写った（即ち、落下中の）液滴の体積を算出する。詳細には、体積算出部１３５は、滴下開始画像の所定フレーム前の画像に写った液滴の像の領域を抽出する領域抽出部１４３と、抽出された領域を回転体の投影像とみなし、該回転体をスライスした円の面積を算出する円面積算出部１４４と、算出された円の面積を積算する積算部１４５とを含む。また、体積算出部１３５は、算出された液滴の体積を補正する誤差補正部１４６と、液滴の流量の設定値に応じて液滴の体積算出アルゴリズムを調整する高流量調整部１４７とをさらに含んでも良い。
なお、演算部１０４のハードウェア構成は上述したものに限定されず、ＦＰＧＡ（Field Programmable Gate Array）などの回路を用いて、演算部１０４の各機能構成を実現しても良い。
表示装置１３は、液晶ディスプレイや有機ＥＬディスプレイ等によって構成され、情報処理装置１００の制御の下、情報処理装置１００から出力された制御信号や、情報処理装置１００により生成された画像や、液滴の測定値等を表示する。
傾きセンサ１４は、例えば、ジャイロセンサや加速度センサによって構成され、鉛直方向の軸に対する点滴筒４の傾きを検出する。ここで、ノズル６は点滴筒４に固定されているため、点滴筒４の傾きはノズル６の傾きとほぼ等しいと考えて良い。
（液滴測定システムの動作）
次に、液滴測定システム１０の動作について説明する。図３は、液滴測定システム１０の動作を示すフローチャートである。
点滴開始に先立って、ユーザは、点滴筒４の近傍に光源１１及びカメラ１２を設置する（図１参照）。この際、ユーザは、情報処理装置１００を操作してカメラ１２に撮像を実行させることにより画像を表示装置１３に表示させ、画像を見ながら、ノズル先端部６ａ及びノズル先端部６ａの下方の所定範囲が撮像素子１２ａの視野に入るように、光源１１、点滴筒４、及びカメラ１２の位置関係を調整すると良い。
ステップＳ１０において、情報処理装置１００は、操作入力部１０２から入力された信号に基づいて、ノズル６から滴下させる液滴７の流量を設定する。
続くステップＳ２０において、情報処理装置１００は、点滴装置１の初期設定を行う。図４は、初期設定の１つとして実行されるノズルの位置出し処理を示すフローチャートである。図５及び図６は、ノズルの位置出し処理を説明するための模式図である。
ここで、カメラ１２とノズル先端部６ａ（液滴の排出口）との相対位置が不定である場合、ノズル６から液滴７が離れて落下し始めたタイミングの検知が困難になる、液滴７の体積の測定精度が低下する、といった問題が生じるおそれがある。そのため、図５の（ａ）に示すように、カメラ１２の画角のほぼ中心に液滴７の中心が位置するようにノズル６を配置する必要がある。それにより、図５の（ｂ）に示すように、画像ｍ１０に、ほぼ正面から見たノズルの端部ｍ１２が写ると共に、液滴の像ｍ１１の形状の歪を極力低減できるからである。これに対し、図６の（ａ）に示すように、ノズル先端部６ａがカメラ１２の画角の端部に位置していると、ノズル６を斜め上から見ている状態になり、ノズル６から液滴７が離れる瞬間を明確に捉えることができなくなってしまう。また、図６の（ｂ）に示すように、画像ｍ１３において、液滴の像ｍ１４の形状が大きく歪んでしまう。
そこで、本実施形態においては、図４に示すように、点滴装置１をセットした後、点滴を開始する前の段階で、情報処理装置１００がカメラ１２に撮像を実行させ（ステップＳ１０１）、ノズル６が写った画像を生成する。
これに応じて、エラー判定部１３２は、生成された画像におけるノズルの下端の位置を検出する（ステップＳ１０２）。続いて、エラー判定部１３２は、ノズルの下端の位置が画像の所定範囲ｒ１内にあるか否かを判定する（ステップＳ１０３）。
ノズルの下端の位置が所定範囲ｒ１内にある場合（ステップＳ１０３：Ｙｅｓ、図５参照）、エラー判定部１３２は、流量制御部１２２に対し、滴下開始を許可する（ステップＳ１０４）。その後、処理はメインルーチンに戻る。この場合、ユーザが操作入力部１０２を用いて点滴開始の操作を行うと、流量制御部１２２が設定された流量でアクチュエータ９の動作を開始させる。
他方、ノズルの下端の位置が所定範囲ｒ１内にない場合（ステップＳ１０３：Ｎｏ、図６参照）、エラー判定部１３２はエラー信号を出力し（ステップＳ１０５）、その後、処理はステップＳ１０１に戻る。この場合、ユーザが点滴開始の操作を行っても、流量制御部１２２はアクチュエータ９の動作を開始させない。これにより、カメラ１２とノズル先端部６ａとの位置関係が不適切な状態で点滴が開始されるというエラーを防ぐことができる。この場合、ユーザはカメラ１２とノズル６との相対位置を調整する必要がある。
図７は、もう一つの初期設定（図３のステップＳ２０）として実行されるノズル検知処理を示すフローチャートである。図８及び図９は、ノズル検知処理を説明するための模式図である。
ここで、一般的な点滴装置としては、２０滴／ｍＬ用と６０滴／ｍＬ用との２種類が存在しており、点滴装置の種類ごとに、設定可能な流量の範囲（最低流量及び最高流量）が規定されている。流量の設定は、通常、ユーザが手動で行うが、設定された流量が規定範囲から外れる場合、正確な流量制御が困難となってしまう。
そこで、本実施形態においては、図４に示すノズルの位置出し処理を実行し、カメラ１２とノズル先端部６ａとの位置関係が適正に調整された後、図７に示すように、再び情報処理装置１００がカメラ１２に撮像を実行させ（ステップＳ１１１）、ノズル６が写った画像を生成する。
これに応じて、エラー判定部１３２は、生成された画像からノズルの像を検出し、この像に基づいて、ノズルの先端部近傍の太さを測定する（ステップＳ１１２）。或いは、ノズルの先端部近傍の太さの代わりに、若しくは、太さと共に、先端部近傍の形状を検出しても良い。続いて、エラー判定部１３２は、ノズルの先端部近傍の太さ（及び／又は形状）に基づいて、ノズルを含む点滴装置に対して規定された流量の範囲（規定範囲）を取得する（ステップＳ１１３）。
例えば、図８に示す画像ｍ２０におけるノズルの像ｍ２１は、２０滴／ｍＬ用のノズルを表している。また、図９に示す画像ｍ２２に写ったノズルの像ｍ２３は、６０滴／ｍＬ用のノズルを表している。２０滴／ｍＬ用のノズルと６０滴／ｍＬ用のノズルとでは、太さ及び形状が異なっており、後者の方が細く、ストレートな形状となっている。そこで、画像ｍ２０、ｍ２２におけるノズルの像ｍ２１、ｍ２３の太さｗ１～ｗ４を測定することにより、セットされたノズル６の太さや形状を検知し、用途（２０滴／ｍＬ用、６０滴／ｍＬ用など）を把握することが可能となる。
続いて、エラー判定部１３２は、ステップＳ１０（図３参照）において設定された流量が、ステップＳ１１３において取得された規定の流量の範囲内であるか否かを判定する（ステップＳ１１４）。流量の設定値が規定範囲内である場合（ステップＳ１１４：Ｙｅｓ）、エラー判定部１３２は、流量制御部１２２に対し、滴下開始を許可する（ステップＳ１１５）。その後、処理はメインルーチンに戻る。この場合、ユーザが操作入力部１０２を用いて点滴開始の操作を行うと、流量制御部１２２が設定された流量でアクチュエータ９の動作を開始させる。
他方、流量の設定値が規定範囲外である場合（ステップＳ１１４：Ｎｏ）、エラー判定部１３２はエラー信号を出力し（ステップＳ１１６）、その後、処理はステップＳ１１１に戻る。この場合、ユーザが点滴開始の操作を行っても、流量制御部１２２はアクチュエータ９の動作を開始させない。これにより、不適切な流量で点滴を開始するというエラーを防ぐことができる。この場合、ユーザは、規定の流量の範囲内となるように流量を設定し直すか、又は、点滴装置１を交換する必要がある。
再び図３を参照すると、ステップＳ２０に続くステップＳ３０において、情報処理装置１００はカメラ１２に撮像を開始させる。それにより、カメラ１２から情報処理装置１００に画像データが順次に入力される。情報処理装置１００において、画像生成部１３１は、入力された画像データに基づく画像に対して所定の画像処理を施した上で、画像データを滴下検出用画像バッファ１１５に一時的に保存させる。
続くステップＳ４０において、情報処理装置１００は、操作入力部１０２から入力される信号に従ってアクチュエータ９を制御することにより、液滴の滴下（点滴）を開始させる。
ステップＳ５０において、情報処理装置１００は、カメラ１２から順次入力される画像データに基づいて、液滴の体積を測定する。ステップＳ５０においては、滴下検出部１３４による液滴の滴下状態の判定処理と、体積算出部１３５による体積算出処理とが並列に実行される。
図１０は、液滴体積の測定処理（図３のステップＳ５０）のうち、滴下状態の判定処理を示すフローチャートである。まず、滴下検出部１３４は、滴下検出用画像バッファ１１５から画像データを取り込み（ステップＳ１３１）、滴下待機判定部１４１に、取り込んだ画像データに基づく画像が、ノズルに液滴が垂下している状態を写した画像であるか否かを判定させる（ステップＳ１３２）。この判定は、判定対象の画像に対し、ノズルの先端が写った位置から所定の距離だけ下方の位置に、所定の大きさを有する矩形の監視領域を設定し、該監視領域を監視することにより行われる。以下、ノズルに液滴が垂下している状態のことを滴下待機状態といい、この状態を写した画像のことを滴下待機画像ともいう。
判定対象の画像が滴下待機画像でない場合（ステップＳ１３３：Ｎｏ）、処理はステップＳ１３１に戻る。この場合、判定済みの画像の次のフレームの画像に対し、同様の処理（ステップＳ１３１～Ｓ１３３）が実行される。他方、判定対象の画像が滴下待機画像である場合（ステップＳ１３３：Ｙｅｓ）、滴下検出部１３４は、現在は滴下待機状態であると認識する（ステップＳ１３４）。
続いて、滴下検出部１３４は、ステップＳ１３２における判定対象の画像の次のフレームの画像データを滴下検出用画像バッファ１１５から取り込み（ステップＳ１３５）、滴下開始判定部１４２に、取り込んだ画像データに基づく画像が、ノズルに垂下していた液滴がノズルから離れて落下している状態を写した画像であるか否かを判定させる（ステップＳ１３６）。この判定も、ステップＳ１３２と同様に設定される領域を監視することにより行われる。以下、ノズルに垂下していた液滴がノズルから離れて落下している状態を写した画像のことを滴下画像ともいう。また、ノズルに垂下していた液滴がノズルから離れて落下し始めた状態のことを滴下開始状態といい、この状態を写した画像のことを滴下開始画像ともいう。
判定対象の画像が滴下画像でない場合（ステップＳ１３７：Ｎｏ）、処理はステップＳ１３５に戻る。この場合、判定済みの画像の次のフレームの画像に対し、同様の処理（ステップＳ１３５～Ｓ１３７）が実行される。他方、判定対象の画像が滴下画像である場合（ステップＳ１３７：Ｙｅｓ）、滴下検出部１３４は、滴下待機状態から滴下開始状態に遷移したと認識し（ステップＳ１３８）、当該滴下画像を滴下開始画像とする。
続いて、滴下検出部１３４は、滴下検出用画像バッファ１１５に保存された画像データのうち、体積算出に用いられる画像の画像データを、体積算出用画像バッファ１１６にコピーする（ステップＳ１３９）。体積算出に用いられる画像は、滴下開始画像の所定フレーム前及び所定フレーム後の画像である。しかしながら、滴下検出部１３５は、体積算出に用いられる画像の画像データに加えて、滴下開始画像の画像データも体積算出用画像バッファ１１６にコピーしても良いし、滴下待機画像から滴下開始画像の所定フレーム後の画像に至る一連の画像の画像データをコピーしても良い。
その後、滴下検出部１３４は、撮像が終了したか否かを判断する。具体的には、操作入力部１０２に対して撮像終了を指示する操作が行われた、画像生成部１３１により生成される画像からノズル６の像が検出されなくなった、画像生成部１３１により生成される画像において、所定フレーム以上連続して液滴の像が検出されなくなった、といった場合に、滴下検出部１３４は、撮像が終了したと判断する。撮像が終了したと判断されない場合（ステップＳ１４０：Ｎｏ）、処理はステップＳ１３１に戻る。他方、撮像が終了したと判断された場合（ステップＳ１４０：Ｙｅｓ）、処理はメインルーチンに戻る。
図１１は、液滴体積の測定処理（図３のステップＳ５０）のうち、体積算出処理を示すフローチャートである。まず、体積算出部１３５は、体積算出用画像バッファ１１６から画像データを取り込み（ステップＳ１５１）、取り込んだ画像データに基づく画像から、液滴の像の領域を抽出する（ステップＳ１５２）。続いて、体積算出部１３５は、画像から抽出された領域を回転体の投影像とみなすことにより、該領域（回転体）の体積を算出する（ステップＳ１５３）。
さらに、体積算出部１３５は、画像におけるノズルの像の画素数と実際のノズルのサイズとの比や、カメラ１２における光学系の倍率及びワークディスタンス（ノズル６とカメラ１２との距離）ＷＤ等に基づいて、画像から抽出された領域の体積を実際のスケールに換算することにより液滴の体積を算出し、出力する（ステップＳ１５４）。この際、体積算出部１３５は、算出した液滴の体積をそのまま、滴下開始画像に写った液滴の体積として出力しても良いし、今回算出した液滴の体積と、過去の所定回にわたって算出した体積との平均値を、当該滴下開始画像に写った液滴の体積として出力しても良い。出力された液滴の体積は、測定値記憶部１１４に記憶されると共に、表示装置１３に表示される。
その後、体積算出部１３５は、撮像が終了したか否かを判断する（ステップＳ１５５）。体積算出部１３５は、例えば、体積算出用画像バッファ１１６に新たな画像データが保存されなくなると、撮像が終了したと判断する。撮像が終了したと判断されない場合（ステップＳ１５５：Ｎｏ）、処理はステップＳ１５１に戻る。他方、撮像が終了したと判断された場合（ステップＳ１５５：Ｙｅｓ）、処理はメインルーチンに戻る。
再び図３を参照すると、ステップＳ５０における液滴体積の測定処理、即ち、滴下検出部１３４による液滴の滴下状態の判定処理と、体積算出部１３５による体積算出処理とが終了すると、液滴測定システム１０は動作を終了する。
以上説明したように、本実施形態によれば、液滴の滴下を開始する前にノズルの位置出し処理を実行するので、ノズル６から液滴７が離れて落下し始めたタイミングを確実に検知できるようになると共に、液滴の体積の測定精度を向上させることが可能となる。
また、本実施形態によれば、液滴の滴下を開始する前に流量の設定値のエラー判定を行うので、点滴開始後に流量制御が不能になるという事態を防ぐことが可能となる。
また、本実施形態によれば、撮像を繰り返しながら順次生成される画像データに基づいて滴下待機状態を認識し、滴下待機状態に入った後で滴下画像を判定する処理を実行するので、ノズルから液滴が滴下したタイミングを効率良く、且つ、正確に検出することができる。
さらに、本実施形態によれば、滴下検出用画像バッファ１１５及び体積算出用画像バッファ１１６を使い分け、液滴の滴下状態の判定処理と、液滴体積の測定処理とを並列で行うので、ノズルから順次滴下する個々の液滴の体積を高速且つリアルタイムに測定することが可能となる
（滴下状態の判定処理の変形例）
図１２は、本発明の実施形態における滴下状態の判定処理の変形例を示すフローチャートである。なお、図１２のステップＳ１６１～Ｓ１６４における処理は、上記実施形態において説明した図１０のステップＳ１３１～Ｓ１３４における処理と同様である。上記実施形態においては、滴下画像が最初に検出された際に滴下開始状態に遷移したと認識したが、本変形例においては、滴下画像が複数回検出された場合に、滴下開始状態に遷移したと認識する。
即ち、ステップＳ１６４に続いて、滴下検出部１３４は、滴下画像の検出回数を表すカウンタｋを初期化（ｋ＝０）する（ステップＳ１６５）。続いて、滴下検出部１３４は、ステップＳ１６２における判定対象の画像の次のフレームの画像データを滴下検出用画像バッファ１１５から取り込み（ステップＳ１６６）、滴下開始判定部１４２に、取り込んだ画像データに基づく画像が、滴下画像であるか否かを判定させる（ステップＳ１６７）。
判定対象の画像が滴下画像でない場合（ステップＳ１６８：Ｎｏ）、処理はステップＳ１６５に戻る。他方、判定対象の画像が滴下画像である場合（ステップＳ１６８：Ｙｅｓ）、滴下開始判定部１４２は、カウンタｋをインクリメントする（ステップＳ１６９）。
続いて、滴下開始判定部１４２は、カウンタｋが所定の閾値ｋ0以上であるか否かを判定する（ステップＳ１７０）。カウンタｋが閾値ｋ0未満である場合（ステップＳ１７０：Ｎｏ）、処理はステップＳ１６６に戻る。他方、カウンタｋが閾値ｋ0以上である場合（ステップＳ１７０：Ｙｅｓ）、滴下検出部１３４は、滴下開始状態に遷移したと認識し（ステップＳ１７１）、カウンタｋ＝０のときに（つまり最初に）検出された滴下画像を滴下開始画像とする。その後のステップＳ１７２～Ｓ１７３は、図１０のステップＳ１３９～Ｓ１４０と同様である。
本変形例によれば、滴下待機状態になった後、滴下画像が複数回検出されたことをもって滴下開始状態に遷移したと判断するので、滴下開始状態の誤認識を低減することが可能となる。
（監視領域の設定）
次に、滴下待機画像の判定処理（図１０のステップＳ１３２参照）及び滴下画像の判定処理（図１０のステップＳ１３６及び図１２のステップＳ１６７参照）を実行する際に設定される監視領域について詳細に説明する。図１３～図１６は、監視領域の設定方法を説明するための模式図である。
まず、監視領域の垂直方向における最大範囲の設定方法を説明する。図１３に示す画像ｍ３１～ｍ３３は、滴下開始画像の直前フレームの画像、即ち、滴下待機状態の最後の画像である。画像ｍ３１～ｍ３３の間では、滴下させる液体の種類や流量等の条件を変えているため、ノズルに垂下する液滴の像の大きさ（高さｈ１～ｈ３）も異なっている。
監視領域Ｒの上端は、ステップＳ２０（図３参照）において位置出しされたノズルの像の先端位置よりも下方に設定される。他方、監視領域Ｒの下端は、滴下開始画像の直前フレームの画像においてノズルに垂下する液滴の像の下端よりも上方に設定される。つまり、少なくとも液滴が滴下する直前では、液滴の像が監視領域Ｒの上端から下端全体にかかるようにする。ここで、画像ｍ３１～ｍ３３に示すように、同じノズルを用いる場合であっても、液体の種類や流量等の条件を変化させると、ノズルに垂下する液滴の大きさが変わってくる。そのため、好ましくは、条件を変えた場合であっても共通の監視領域Ｒを利用できるように、当該ノズルを用いる場合に変化し得る液滴の像の高さｈ１、ｈ２、ｈ３のうち最も小さい高さｈ１を超えないように、監視領域Ｒの上端位置及び下端位置を設定すると良い。
次に、監視領域の垂直方向における最小範囲の設定方法を説明する。図１４に示す画像ｍ３４～ｍ３６は、滴下開始画像である。画像ｍ３４～ｍ３６の間では、滴下させる液体の種類や流量等の条件を変えているため、ノズルに付着する液滴の像の下端部とノズルから離れて落下する液滴の像の上端部との隙間ｄ１～ｄ３が異なっている。
監視領域Ｒは、ノズルに付着する液滴の像の下端部とノズルから離れて落下する液滴の像の上端部との隙間を含む範囲に設定される。ただし、画像ｍ３４～ｍ３６に示すように、同じノズルを用いる場合であっても、条件を変化させると上記隙間が変わってくる。そのため、条件を変えた場合であっても共通の監視領域Ｒを利用できるように、当該ノズルを用いる場合に変化し得る隙間ｄ１、ｄ２、ｄ３の間で共通する領域ｄが存在する場合には、その共通する領域ｄを包含するように、監視領域Ｒを設定すると良い。図１４においては、画像ｍ３６の隙間ｄ３の上端と、画像ｍ３４の隙間ｄ１の下端との隙間ｄが、監視領域Ｒの垂直方向における最小範囲となる。従って、この隙間ｄを包含するように、監視領域Ｒの上端位置及び下端位置を設定すると良い。
次に、監視領域の垂直方向における最小範囲の別の設定方法を説明する。図１５に示す画像ｍ３７～ｍ３９は、滴下開始画像である。画像ｍ３７～ｍ３９の間では、滴下させる液体の種類や流量等の条件の変化により、ノズルに付着する液滴の像の下端部とノズルから離れて落下する液滴の像の上端部との隙間ｄ４～ｄ６が異なっている。これらの隙間ｄ４～ｄ６の間では、条件によっては共通する領域が存在しない場合がある。そのような場合には、条件を変えた際にも共通の監視領域Ｒを利用できるように、ノズルに垂下する液滴の像の下端部が最も低い位置と、ノズルから離れて落下する液滴の像の上端部が最も高い位置との隙間ｄ’を包含するように、監視領域Ｒを設定すると良い。図１５においては、画像ｍ３９の隙間ｄ６の上端と、画像３７の隙間ｄ４の下端との隙間ｄ’を包含するように、監視領域Ｒの上端位置及び下端位置が設定される。
次に、監視領域の水平方向における最小範囲の設定方法を説明する。図１６に示す画像ｍ４０～ｍ４２は、滴下開始画像の直前フレームの画像である。画像ｍ４０～ｍ４２の間では、滴下させる液体の種類や流量等の条件の変化により、ノズルに垂下する液滴の幅ｗ５～ｗ７が異なっている。
監視領域Ｒは、ノズルに垂下する液滴の像の幅を含む範囲に設定される。ただし、画像ｍ４０～ｍ４２に示すように、同じノズルを用いる場合であっても、条件を変化させると液滴の幅が変わってくる。そのため、条件を変えた場合であっても共通の監視領域Ｒを利用できるように、当該ノズルを用いる場合に変化し得る幅ｗ５、ｗ６、ｗ７のうち、最も大きい幅ｗ７を包含するように、監視領域Ｒの左端位置及び右端位置を設定すると良い。ただし、監視領域Ｒの幅が大きすぎると、監視領域Ｒに対する探索量が増えるため、最も大きい幅ｗ７を包含しつつも、なるべく幅を小さく設定すると良い。
監視領域のサイズの具体例として、２０滴／ｍＬ用のノズルを用いる場合、ノズルの像の先端から監視領域の上端までの距離を、画像におけるノズルの先端の幅の０．４倍～２．０倍程度、監視領域の水平方向の幅を同０．７倍～３．０倍程度、監視領域の垂直方向の長さを同０．３倍～１．５倍程度にすると良い。また、６０滴／ｍＬ用のノズルを用いる場合、ノズルの像の先端から監視領域の上端までの距離を、画像におけるノズルの先端の幅の０．４倍～２．０倍程度、監視領域の水平方向の幅を同１．０倍～３．０倍程度、監視領域の垂直方向の長さを同１．０倍～３．０倍程度にすると良い。
以上のように管理領域Ｒを設定し、時系列順に生成される画像の管理領域Ｒ内を監視することより、滴下待機画像及び滴下画像を確実且つ高速に検出することが可能となる。
（滴下待機画像の判定処理）
次に、滴下待機画像の判定処理（図１０のステップＳ１３２参照）について詳細に説明する。図１７は、本実施形態における滴下待機画像の判定処理を示すフローチャートである。図１８は、本実施形態における滴下待機画像の判定処理を説明するための模式図である。図１８に示す画像ｍ５０～ｍ５３は、ノズルに垂下する液滴が徐々に大きくなる様子を時系列順に写した画像を表している。画像ｍ５０～ｍ５２においては、監視領域Ｒ内の探索済みの領域にグレーの網掛けを付している。
まず、滴下待機判定部１４１は、判定対象の画像に設定された監視領域に対して二値化処理を施す（ステップＳ２０１）。本実施形態においては、画素の階調が０～２５５階調であるものとし、液滴の像の少なくとも輪郭領域の画素の階調が０階調（即ち、黒色）、液滴の像の背景領域の画素の階調が２５５階調（即ち、白色）となるように、二値化処理における閾値を設定する。
続いて、滴下待機判定部１４１は、判定対象の画像に監視領域を設定し、該監視領域における画素の行を表すカウンタｉ（ｉ＝１～ｉmax）を１に設定する（ステップＳ２０２）。本実施形態においては、監視領域の上端の行を１行目とする。
続いて、滴下待機判定部１４１は、監視領域内のｉ行目の画素を水平方向に探索し（ステップＳ２０３）、ｉ行目に０階調の画素が存在するか否かを判定する（ステップＳ２０４）。
ｉ行目に０階調の画素が存在しない場合（ステップＳ２０４：Ｎｏ）、即ち、当該行に液体の像の領域が存在しない場合、判定対象の画像は滴下待機画像ではないと判定し、処理はメインルーチンに戻る。例えば、図１８に示す画像ｍ５０及び画像ｍ５１においては、ｉ行目の画素が全て白色となっている。従って、画像ｍ５０及び画像ｍ５１は滴下待機画像ではないと判定される。
他方、ｉ行目に０階調の画素が存在する場合（ステップＳ２０４：Ｙｅｓ）、滴下待機判定部１４１は、当該ｉ行目は液滴存在行であると判定する（ステップＳ２０５）。
続いて、滴下待機判定部１４１は、探索中の行（ｉ行目）が、監視領域の最終行（ｉmax行）に至ったか否かを判定する（ステップＳ２０６）。最終行に至っていない場合（ステップＳ２０６：Ｎｏ）、滴下待機判定部１４１はカウンタｉをインクリメントし（ステップＳ２０７）、その後、処理はステップＳ２０３に戻る。
他方、探索中の行が最終行に至った場合（ステップＳ２０６：Ｙｅｓ）、滴下待機判定部１４１は、滴下待機画像を検出したものと判定し（ステップＳ２０８）、処理はメインルーチンに戻る。例えば、画像ｍ５２においては、監視領域Ｒの全ての行が液滴存在行であるため、滴下待機画像であると判定される。
次に、滴下待機画像の判定処理の変形例について説明する。図１９は、本発明の実施形態における滴下待機画像の判定処理の変形例を説明するための模式図である。
ここで、図１に示すように、点滴筒４内においてノズル６から液滴を滴下させる場合、点滴筒４内に溜まった液体が跳ねて点滴筒４の内壁に付着し、内壁に付着した液体の像が監視領域Ｒに写ってしまうことがある。このような場合、０階調の画素が１つでも存在する行を液滴存在行として判定すると（図１７のステップＳ２０４参照）、監視領域Ｒにおける液体の像の位置によっては、滴下待機画像の誤検出が生じてしまうおそれがある。
例えば、図１９に示す画像ｍ５０’、ｍ５１’は、画像に写った液滴の成長過程としては図１８に示す画像ｍ５０、ｍ５１と同程度であるが、監視領域Ｒの下端を含む領域に、飛び跳ねた液体の像ｍ５４が写っている。この場合、画像ｍ５１’の段階で滴下待機画像と判定されてしまう。
そこで、本変形例においては、監視領域Ｒのｉ行目の探索を行う際に、０階調の画素が所定数以上連続して存在する行を液滴存在行として判定する。連続する画素の数は、滴下する液体の種類、ワークディスタンス、画像のスケール等に基づき、点滴筒４の内壁に付着する液体の像の平均的なサイズよりも大きく、ノズルに垂下する液滴の像の平均的なサイズよりも小さくなるよう、適宜設定すれば良い。
本変形例によれば、滴下待機画像の誤検出を抑制することが可能となる。
（滴下画像の判定処理）
次に、滴下画像の判定処理（図１０のステップＳ１３６、図１２のステップＳ１６７参照）について詳細に説明する。図２０は、本発明の実施形態における滴下画像の判定処理を示すフローチャートである。図２１は、本発明の実施形態における滴下画像の判定処理を説明するための模式図である。図２１に示す画像ｍ５５～ｍ５８は、滴下待機画像が検出された後の画像を時系列順に示している。
まず、滴下開始判定部１４２は、判定対象の画像に設定された監視領域に対して二値化処理を施す（ステップＳ３０１）。本処理においても、液滴の像の少なくとも輪郭領域の画素の階調が０階調（即ち、黒色）、液滴の像の背景領域の画素の階調が２５５階調（即ち、白色）となるように、二値化処理における閾値を設定する。
続いて、滴下開始判定部１４２は、判定対象の画像に監視領域を設定し、該監視領域における画素の行を表すカウンタｉ（ｉ＝１～ｉmax）を１に設定する（ステップＳ３０２）。
続いて、滴下開始判定部１４２は、監視領域内のｉ行目の画素を水平方向に探索し（ステップＳ３０３）、ｉ行目の全ての画素が２５５階調の画素であるか否かを判定する（ステップＳ３０４）。言い換えると、ｉ行目に０階調の画素が存在するか否かを判定する。
ｉ行目に０階調の画素が１つでも存在する場合（ステップＳ３０４：Ｎｏ）、続いて滴下開始判定部１４２は、探索中の行（ｉ行目）が、監視領域の最終行（ｉmax行）に至ったか否かを判定する（ステップＳ３０５）。最終行に至っていない場合（ステップＳ３０５：Ｎｏ）、滴下開始判定部１４２はカウンタｉをインクリメントし（ステップＳ３０６）、その後、処理はステップＳ３０３に戻る。例えば、画像ｍ５５のｉ行目には０階調の画素が存在し、且つ、探索中の行がまだ最終行に至っていないため、さらに次の行に対する探索が行われる。
他方、探索中の行が監視領域の最終行に至った場合（ステップＳ３０５：Ｙｅｓ）、処理はメインルーチンに戻る。この場合、判定対象の画像は滴下画像ではないと判定され（図１０のステップＳ１３７：Ｎｏ、図１２のステップＳ１６８：Ｎｏ）、次のフレームの画像に対して引き続き滴下画像の判定処理が行われる。例えば画像ｍ５５及び画像ｍ５６の監視領域Ｒの全ての行には０階調の画素が存在するため、画像ｍ５５及び画像ｍ５６は滴下画像ではない。
また、ｉ行目の全ての画素が２５５階調である場合（ステップＳ３０４：Ｙｅｓ）、言い換えると、０階調の画素が１つも存在しない場合、滴下開始判定部１４２は、滴下画像を検出したと判定する（ステップＳ３０７）。その後、処理はメインルーチンに戻る。例えば、画像ｍ５７においては、ノズルに残留する液滴の像と落下する液滴の像との間に、全ての画素が白色となる行（液切れ行）が発生している。このような液切れ行が１行検出されると、判定対象の画像は滴下画像と判定される。
このような本実施形態によれば、ノズルに垂下していた液滴が切れて落下し始めた瞬間を写した画像を、高精度に検出することが可能となる。
次に、滴下画像の判定処理の第１の変形例について説明する。
上記実施形態においては、液切れ行が１行でも検出されると、判定対象の画像は滴下画像であると判定した（図１９のステップＳ３０４、Ｓ３０７参照）。しかしながら、液切れ行が連続する複数行にわたって検出された場合に、判定対象の画像は滴下画像であると判定しても良い。判定基準とする液切れ行の行数（閾値）は、滴下する液体の種類、ワークディスタンス、画像のスケール等に基づいて適宜設定すれば良い。
本変形例によれば、ノズルに垂下していた液滴が確実に切れた状態をもって滴下画像と判定することが可能となる。
次に、滴下画像の判定処理の第２の変形例について説明する。図２２は、本発明の実施形態における滴下画像の判定処理の第２の変形例を示すフローチャートである。図２３は、本発明の実施形態における滴下画像の判定処理の第２の変形例を説明するための模式図である。図２３に示す画像ｍ６０～ｍ６３は、滴下待機画像が検出された後の画像を時系列順に示している。なお、図２２に示すステップＳ３０１～Ｓ３０６における処理は、上記実施形態において図２０を参照しながら説明した処理と同様である。
ここで、ノズルに垂下する液滴は振動することがあるため、画像ｍ６０～ｍ６２に示すように、時系列順に取得された画像であっても、液滴の像の下端の位置が上下に変動する場合がある。そのため、一旦、滴下待機状態と判定され（画像ｍ６０参照）、滴下開始判定部１４２が滴下画像の判定処理を開始した後で、監視領域Ｒ内において液滴の像の下端が上方に移動すると（画像ｍ６１参照）、液切れ行が誤検出されてしまうことがある。
そこで、本変形例においては、探索中の行（ｉ行）の全ての画素が２５５階調であると判定すると（ステップＳ３０４：Ｙｅｓ）、滴下開始判定部１４２は続いて、当該ｉ行が監視領域Ｒの下端の行（ｉmax行）であるか否かを判定する（ステップＳ３１１）。当該ｉ行が監視領域Ｒの下端の行である場合（ステップＳ３１１：Ｙｅｓ）、処理はそのままメインルーチンに戻る。この場合、判定対象の画像は滴下画像ではないと判定される。他方、当該ｉ行が監視領域Ｒの下端の行でない場合（ステップＳ３１１：Ｎｏ）、滴下開始判定部１４２は、滴下画像を検出したと判定する（ステップＳ３１２）。その後、処理はメインルーチンに戻る。
本変形例によれば、液滴の振動に起因する滴下画像の誤検出を防ぐことが可能となる。なお、本変形例においても、上記第１の変形例と同様に、連続する複数行にわたって液切れ行が検出されたか否かを判定しても良い。この場合、連続する複数の液切れ行が監視領域Ｒの下端の行を含むとき、判定対象の画像は滴下画像ではないと判定される。
次に、滴下画像の判定処理の第３の変形例について説明する。図２４は、本発明の実施形態における滴下画像の判定処理の第３の変形例を示すフローチャートである。図２５～図２７は、本発明の実施形態における滴下画像の判定処理の第３の変形例を説明するための模式図である。図２５に示す画像ｍ６４～ｍ６７、図２６に示す画像ｍ６８～ｍ７１、及び、図２７に示す画像ｍ７２～ｍ７５はそれぞれ、滴下待機画像が検出された後の画像を時系列順に示している。
まず、滴下開始判定部１４２は、判定対象の画像に設定された監視領域Ｒのうち、下端を含む複数行、即ち、（ｉmax－ｘ）行目～ｉmax行目における０階調（黒色）の画素の画素数Ｎkをカウントする（ステップＳ３２１）。
続いて、滴下開始判定部１４２は、カウントした画素数Ｎkと、直前フレームの画像の同じ領域における０階調の画素の画素数Ｎk-1との差ΔＮ＝Ｎk-1－Ｎkが所定の閾値Ｓｈよりも大きいか否かを判定する（ステップＳ３２２）。
ここで、滴下待機状態になった後、ノズルに垂下していた液滴が落下するまでの間、液滴は徐々に大きくなりつつ、形状を様々に変化させたり、振動したりする。そのため、図２５～図２７に示すように、監視領域Ｒ内の液滴の像の領域（即ち、０階調の画素の画素数）は増減する。これに対して、液滴がノズルから離れて落下すると、監視領域Ｒ内の下端付近（（ｉmax－ｘ）行目～ｉmax行目のｘ行の領域）における液滴の像の領域は激減する。ステップＳ３２２において用いられる閾値Ｓｈは、この下端付近の画素数がゼロ近傍まで大きく減少する場合を捉えるように、滴下する液体の種類、ワークディスタンス、画像のスケール等に基づいて適宜設定される。
差ΔＮ＝Ｎk-1－Ｎkが所定の閾値Ｓｈ以下である場合（ステップＳ３２２：Ｎｏ）、滴下開始判定部１４２は、画素数Ｎkを保存する（ステップＳ３２３）。その後、処理はメインルーチンに戻る。この場合、判定対象の画像は滴下画像ではないと判定され（図１０のステップＳ１３７：Ｎｏ、図１２のステップＳ１６８：Ｎｏ）、次のフレームの画像に対して引き続き滴下画像の判定処理が行われる。
他方、差ΔＮ＝Ｎk-1－Ｎkが所定の閾値Ｓｈよりも大きい場合（ステップＳ３２２：Ｙｅｓ）、即ち、監視領域Ｒの下端近傍に存在する０階調の画素の画素数が激減した場合、滴下開始判定部１４２は、判定対象の画像は滴下画像であると判定する（ステップＳ３２４）。その後、処理はメインルーチンに戻る。
本変形例によれば、監視領域Ｒの下端付近における液滴の像の領域の変化を、０階調の画素の画素数をカウントすることにより定量的に検出するので、滴下画像であるか否かを高精度に判定することが可能となる。従って、例えば図２６に示すように、液滴が振動することにより、監視領域Ｒ内における液滴の像の領域が大きく変化する場合であっても、誤判定を抑制することができる。また、図２７に示すように、点滴筒の内壁に付着した液体が画像内に写っている場合であっても、このような液体の像の存在が判定に影響を及ぼすことはほとんどなくなるので、滴下画像の判定精度を向上させることが可能となる。
（液滴の像の抽出処理）
次に、画像に写った液滴の像の抽出処理（図１１のステップＳ１５２参照）について詳細に説明する。図２８は、図２に示す体積算出部１３５のうち領域抽出部１４３が実行する液滴の像の領域の抽出処理を示すフローチャートである。図２９は、時系列順に生成された滴下開始画像前後の画像を示す図である。図３０～図３２は、本実施形態における液滴の像の領域の抽出処理を説明するための模式図である。
図２９に示すように、滴下開始画像Ｍ2において落下している液滴の体積は、滴下開始画像Ｍ2の直前フレーム、即ち、滴下待機状態の最後の画像Ｍ1においてノズルに垂下している液滴の体積とほぼ等しいといえる。画像Ｍ2に写る液滴の像を抽出する方法としては、画像Ｍ1からノズルが写った画像を差し引くことにより差分画像を生成し、さらに、二値化処理、穴埋め処理、ブロブ（ｂｌｏｂ）処理を施す手法が考えられる。
ここで、光源１１とカメラ１２（図１参照）との間に位置する液滴は、あたかも凸レンズのように、当該液滴の中心に入射する光をほぼ真っ直ぐに透過させ、液滴の周縁部に入射する光を大きく屈折・散乱させる。液滴の像の領域は、この液滴の周縁部において光が屈折・散乱することにより形成される輪郭を検出することで抽出される。図３０に示すように、差分画像ＤＦ１に二値化処理を施した二値画像ＢＮ１においては、液滴の像の中心部近傍の明るい部分に相当する領域が抜けた状態になる。そこで、二値画像ＢＮ１に対し、モフォロジー処理などの公知の手法を利用した穴埋め処理（孤立点除去処理）を行い、さらに、ブロブ処理を行うことにより、１つの面積塊として、液滴の像に相当する領域を抽出することができる。
画像Ｍ1から差し引く画像として、具体的には、点滴を開始する前（例えば、ノズルの位置出し完了時）の画像や、滴下開始画像Ｍ2の所定フレーム後の画像（例えば、１フレーム後の画像Ｍ3又は２フレーム後の画像Ｍ4）が挙げられる。
しかしながら、点滴を開始する前の画像を用いる場合、点滴筒の内壁に付着した液体の像など、画像Ｍ1に写った液滴以外の不要な像をキャンセルすることができないという問題がある。また、滴下開始画像Ｍ2の直後フレームの画像Ｍ3は、フレームレートなどの条件にもよるが、画像Ｍ1に写った液滴の像と、画像Ｍ3において落下する液滴の像の一部の位置が重なってしまうことがあり、この場合、画像Ｍ1に写った液滴の像のうち当該一部の領域がキャンセルされてしまう。そのため、限定はされないが、滴下開始画像Ｍ2の２フレーム後の画像Ｍ4を用いることがより好ましいといえる。
他方、滴下する液滴の流量が高い場合（言い換えると、液滴の滴下周期が短い場合）には、ノズルに垂下する液滴の成長も速くなる。そのため、画像Ｍ1と画像Ｍ4のように、フレーム間隔が若干開いた画像を用いる場合には、次のような問題が生じることがある。即ち、図３０に示すように、画像Ｍ1から画像Ｍ4を差し引いた差分画像ＤＦ１においては、画像Ｍ1における液滴の像のノズル端近傍の領域が、画像Ｍ4において成長し始めた液滴の像の領域にキャンセルされてしまう。そのため、差分画像ＤＦ１を二値化し、さらに、二値画像ＢＮ１に対して穴埋め処理及びブロブ処理を施すと、それによって得られたブロブ画像ＢＬ１においては、画像Ｍ1に写った液滴の像のうち、本来抽出されるべきノズル端近傍の領域（領域Δｙ参照）がカットされた状態になってしまう。その結果、ブロブ画像ＢＬ１において抽出された領域に基づいて液滴の体積を算出すると、誤差が大きくなってしまう。
そこで、本実施形態においては、本来抽出されるべき領域がカットされる前の画像（二値画像ＢＮ１）と、該領域がカットされた後の画像（ブロブ画像ＢＬ１）とに基づいて、カットされた領域を特定し、該カットされた領域を画像Ｍ1から再抽出することにより、画像Ｍ1に写った液滴の像全体の領域を再現する。
詳細には、図２８に示すように、まず、領域抽出部１４３は、滴下待機状態の最後の画像Ｍ1と滴下開始画像の２フレーム後の画像Ｍ4との差分画像ＤＦ１を生成する（ステップＳ４０１）。続いて、領域抽出部１４３は、この差分画像ＤＦ１に対して二値化処理を施す（ステップＳ４０２）。続いて、領域抽出部１４３は、二値画像ＢＮ１に対して穴埋め処理及びブロブ処理を施す（ステップＳ４０３）。
続いて、領域抽出部１４３は、図３１に示すように、二値画像ＢＮ１及びブロブ画像ＢＬ１に基づいて、滴下待機状態の最後の画像Ｍ1に対して矩形領域Ｒ２を設定する（ステップＳ４０４）。この矩形領域Ｒ２は、二値画像ＢＮ１に残った液滴の領域Ｅ１の上端部（言い換えると、画像Ｍ1におけるノズルの下端部）を上端とし、ブロブ画像ＢＬ１において抽出された領域Ｅ２の上端部を下端とし、ブロブ画像ＢＬ１において抽出された領域Ｅ２の最大幅と同じ幅を有する領域である。
続いて、領域抽出部１４３は、滴下待機状態の最後の画像Ｍ1に設定された矩形領域Ｒ２に二値化処理を施す（ステップＳ４０５）。それにより得られた二値画像ＢＮ２においては、画像Ｍ1に写った液滴の像のうち、画像Ｍ4との差分を取ることによりキャンセルされてしまった領域Ｅ３が抽出されている。
続いて、領域抽出部１４３は、図３２に示すように、ステップＳ４０３において得られたブロブ画像ＢＬ１と、ステップＳ４０５において得られた二値画像ＢＮ２とをマージし（ステップＳ４０６）、さらに、穴埋め処理及びブロブを施す（ステップＳ４０７）。このようにして得られた合成画像ＭＥ１においては、画像Ｍ1に写った液滴の像の全体の領域Ｅ４が抽出されている。その後、処理はメインルーチンに戻る。
このような本実施形態によれば、滴下待機状態の最後の画像Ｍ1に写った液滴の像の領域を不足なく抽出することができるので、液滴体積の測定誤差を低減することが可能となる。
なお、上記実施形態においては、滴下開始画像の直前フレームの画像を用いて液滴の体積を算出することとしたが、例えば滴下周期に対してフレームレートが高いといった条件によっては、滴下開始画像の数フレーム（例えば２フレーム）前の画像を用いることも可能である。滴下開始画像の後の画像についても同様であり、条件によっては、滴下開始画像の２フレーム後の画像の代わりに、直後フレームの画像や、３フレーム後の画像を用いることも可能である。
（抽出された領域の体積の算出処理）
次に、滴下待機状態の最後の画像から抽出された領域の体積の算出処理（図１１のステップＳ１５３参照）について詳細に説明する。図３３は、図２に示す体積算出部の１３５のうち、円面積算出部１４４及び積算部１４５が実行する抽出された領域の体積の算出処理を示すフローチャートである。
本実施形態において、体積算出部１３５は、抽出された領域（図３２の合成画像ＭＥ１における領域Ｅ４参照）を、画像の垂直方向の軸を回転軸とする回転体の投影像とみなすことにより、回転体の体積を算出する。即ち、図３３に示すように、円面積算出部１４４は、抽出された領域の各行について、画素数を直径とする円の面積を算出する（ステップＳ４１１）。続くステップＳ４１２において、積算部１４５は、算出された円の面積を積算する。その後、処理はメインルーチンに戻る。
（抽出された領域の体積の算出処理の第１の変形例）
次に、抽出された領域の体積の算出処理の第１の変形例について説明する。図３４は、抽出された領域の体積の算出処理の第１の変形例を示すフローチャートである。図３５は、時系列順に生成された滴下開始画像前後の画像を示す図である。図３６及び図３７は、抽出された領域の体積の算出処理の第１の変形例を説明するための模式図である。
本変形例においては、領域抽出部１４３により、図３７の（ａ）に示す領域Ｅ７が抽出されたものとして説明する。領域Ｅ７は、図３６に示す滴下開始画像Ｍ11の直前フレームの画像Ｍ10（滴下待機状態の最後の画像）から、滴下開始画像Ｍ11の所定フレーム（ここでは２フレーム）後の画像Ｍ13を差し引いた差分画像ＤＦ３に基づいて抽出された領域Ｅ５と、滴下待機状態の最後の画像に対して矩形領域（図２８のステップＳ４０４参照）を設定することにより直接抽出された領域Ｅ６とを合成したものである。
ここで、点滴を開始してからある程度の時間が経過すると、点滴筒内に溜まった液体が跳ねて、点滴筒の内壁に付着することがある。そのような場合、図３５の画像Ｍ10～Ｍ13に示すように、ノズル及び液滴の像の他、点滴筒の内壁に付着した液体の像が画像内に写り込んでしまう。そのような状態で、滴下開始画像Ｍ11の直前フレームの画像Ｍ10（滴下待機状態の最後の画像）から、滴下開始画像Ｍ11の所定フレーム後の画像（例えば画像Ｍ13）を差し引くと、図３６の差分画像ＤＦ３に示すように、直前フレームの画像Ｍ10における液滴の像のうち、背景の液体の像と重なる部分がキャンセルされてしまう。このような差分画像ＤＦ３に二値化処理を施すと、二値画像ＢＮ３においては多くの欠けが発生してしまうので、穴埋め処理及びブロブ処理を施しても、最終的に得られるブロブ画像ＢＬ３において欠けた部分を補うことは困難である。
そこで、円面積算出部１４４は、図３７の（ａ）に示すように、領域抽出部１４３により抽出された領域Ｅ７のうち、差分画像ＤＦ３に基づいて抽出された領域Ｅ５（図３６参照）については、この領域Ｅ５に外接する矩形領域Ｒ４を設定する（ステップＳ４２１）。
続いて、円面積算出部１４４は、図３７の（ｂ）に示すように、矩形領域Ｒ４の垂直方向に伸びる中心線Ｌ１により、差分画像ＤＦ３に基づいて抽出された領域Ｅ５の各行を左右に分割する（ステップＳ４２２）。
続いて、円面積算出部１４４は、上記領域Ｅ５の各行について、中心線Ｌ１の左右のうち画素数が多い側の画素数の２倍のサイズを直径とする円の面積を算出する（ステップＳ４２３）。例えば、図３７に示すｎ行目においては、中心線Ｌ１の左側の画素数ＰLよりも右側の画素数ＰRの方が多い。そのため、当該行については、２×ＰR画素を直径とする円の面積が算出される。
他方、円面積算出部１４４は、滴下待機状態の最後の画像Ｍ10から直接抽出された領域Ｅ６の各行について、画素数を直径とする円の面積を算出する（ステップＳ４２４）。
積算部１４５は、ステップＳ４２３、Ｓ４２４において算出された円の面積を積算する（ステップＳ４２５）。それにより、図３７の（ｃ）に示すように、画像Ｍ10においてノズルに垂下していた液滴の像に相当する領域Ｅ７’を回転体とみなした場合の体積を取得することができる。
本変形例によれば、液滴の像の領域を抽出する際の画像処理により、領域の一部が欠けてしまった場合であっても、当該欠けた部分が補間された状態で、回転体の体積を算出することが可能となる。
（抽出された領域の体積の算出処理の第２の変形例）
次に、抽出された領域の体積の算出処理の第２の変形例について説明する。図３８は、抽出された領域の体積の算出処理の第２の変形例を示すフローチャートである。図３９は、抽出された領域の体積の算出処理の第２の変形例を説明するための模式図である。
本変形例においては、領域抽出部１４３により、図３９に示す領域Ｅ７が抽出されたものとして説明する。領域Ｅ７は、上記第１の変形例と同様、滴下待機状態の最後の画像と滴下開始画像の所定フレーム後の画像との差分画像に基づいて抽出された領域Ｅ５と、滴下待機状態の最後の画像から直接抽出された領域Ｅ６とを合成したものである。なお、図３９においては、理解を助けるために、ノズルの像Ｅ８を図示しているが、領域Ｅ５、Ｅ６が抽出される画像において、ノズルの像Ｅ８は表示されない。
まず、円面積算出部１４４は、滴下待機状態の最後の画像に写ったノズルの像の下端の中心を通る垂直線を基準として分割線を設定する（ステップＳ４３１）。ここで、ノズルの像の下端は、滴下待機状態の最後の画像から直接抽出された領域Ｅ６の上端と一致するとみなせる。そこで、領域Ｅ６の上端ラインの中心Ｐ１を通る垂直線を分割線Ｌ２とする。
続いて、円面積算出部１４４は、分割線Ｌ２を中心として、抽出された領域の各行を左右に分割する（ステップＳ４３２）。続くステップＳ４３３～Ｓ４３５における処理は、図３４のステップＳ４２３～Ｓ４２５と同様である。
（抽出された領域の体積の算出処理の第３の変形例）
次に、抽出された領域の体積の算出処理の第３の変形例について説明する。図４０は、抽出された領域の体積の算出処理の第３の変形例を説明するための模式図である。
本変形例においては、領域抽出部１４３により、図４０に示す領域Ｅ１１が抽出されたものとして説明する。領域Ｅ１１は、滴下開始画像の直前フレームの画像（滴下待機状態の最後の画像）と滴下開始画像の所定フレーム後の画像との差分画像に基づいて抽出された領域Ｅ９と、滴下待機状態の最後の画像に対して矩形領域（図２８のステップＳ４０４参照）を設定することにより直接抽出された領域Ｅ１０とを合成したものである。なお、図４０の（ａ）においては、理解を助けるために、ノズルの像Ｅ１２を図示しているが、領域Ｅ９、Ｅ１０が抽出される画像において、ノズルの像Ｅ１２は表示されない。
ここで、液滴を滴下するノズル６（図１参照）が鉛直方向に対して傾いている場合、ノズルの像の下端の中心を通る垂直線は、必ずしも、領域Ｅ１１の中心軸を通るわけではない。そこで、本変形例においては、図４０の（ａ）に示すように、ノズルの像の下端（即ち、領域Ｅ１２の上端ライン）の中心Ｐ２を通る垂直線Ｌ３を設定し、傾きセンサ１４から入力された検出値に基づいて、中心Ｐ２を通り、且つ、垂直線Ｌ３をノズル６の傾きに応じた角度だけ傾けた線を分割線Ｌ４として設定する。そして、領域Ｅ１１を回転体の投影像とみなし、分割線Ｌ４と直交する方向にスライスした円の面積を算出して積算する。
この際、図４０の（ｂ）に示すように、領域Ｅ９については、分割線Ｌ４と直交する方向において分割線Ｌ４の両側に並ぶ画素の画素数のうち、数が多い方の画素数の２倍を直径として円の面積を算出する。他方、領域Ｅ１０については、分割線Ｌ４と直交する方向に並ぶ画素の画素数を直径として円の面積を算出する。そして、領域Ｅ９について算出された面積と、領域Ｅ１０について算出され体積とを積算する。それにより、図４０の（ｃ）に示すように、滴下待機状態の最後の画像においてノズルに垂下していた液滴の像に相当する領域Ｅ９’を回転体とみなした場合の体積を取得することができる。
本変形例によれば、ノズル６の傾きに起因する体積の算出誤差を精度良く補正することが可能となる。
（抽出された領域の体積の算出処理の第４の変形例）
次に、抽出された領域の体積の算出処理の第４の変形例について説明する。図４１及び図４２は、抽出された領域の体積の算出処理の第４の変形例を説明するための模式図である。上記第３の変形例においては、傾きセンサ１４から出力された検出値に基づいて、領域１１の分割線Ｌ４（図４０参照）を設定することとした。しかしながら、傾きセンサ１４が設けられていない場合には、抽出された領域の形状に基づいて分割線を設定することも可能である。
例えば、図４１に示すように、ノズルの像の下端の中心Ｐ２、即ち、領域Ｅ１１の上端ラインの中心から領域Ｅ１１の輪郭上の各点までの距離のうち、距離が最も離れた点Ｐ３を通る線Ｌ５を分割線としても良い。或いは、図４２に示すように、ノズルの像の下端の中心Ｐ２と、領域Ｅ１１のうち水平方向における画素数が最も多い（即ち、最も幅が広い）行の中心Ｐ４とを通る線Ｌ６を分割線としても良い。
本変形例によれば、ノズル６の傾きを検出するセンサが設けられていない場合であっても、ノズル６の傾きに起因する体積の算出誤差を精度良く補正することが可能となる。
（液滴体積の算出処理）
次に、画像から抽出された領域について算出された体積に基づいて液滴の体積を算出する処理（図１１のステップＳ１５４参照）について説明する。
上述したように、体積算出部１３５は、画像から抽出された領域の体積を画素数のスケールで算出し（ステップＳ１５３）、算出した値をスケール変換することにより、実際の液滴の体積を求める（ステップＳ１５４）。この際、体積算出部１３５は、スケール変換した値（体積算出値）を液滴の体積としてそのまま出力しても良いし、スケール変換した値（体積算出値）を複数回分蓄積し、これらの平均値を液滴の体積として出力しても良い。
図４３は、液滴体積の算出処理の一例を説明するための模式図である。図４３に示すように、体積算出部１３５は、滴下検出部１３４により滴下開始画像が検出されるごとに、当該滴下開始画像の直前フレームの画像を用いて体積算出値ｖ１、ｖ２、…を算出し、さらに、過去の所定回（図４３においては計５回）分の体積算出値の平均値を算出して、この平均値を液滴体積として出力する。具体的には、体積算出部１３５は、体積算出値ｖ５を算出すると、体積算出値ｖ１～ｖ５の平均値を算出し、この平均値を次の体積算出タイミングｔ６において液滴体積ｖout６として出力し、続いて、体積算出値６を算出すると、体積算出値ｖ２～ｖ６の平均値を算出し、この平均値を次の体積算出タイミングｔ７において液滴体積ｖout７として出力する、という動作を順次実行する。なお、点滴開始直後で、平均値の算出に必要な数の体積算出値が得られていないときには、算出された体積算出値をそのまま出力することとしても良い。例えば、図４３の場合、体積の算出タイミングｔ１～ｔ５においては、体積算出値ｖ１～ｖ５がそのまま液滴体積ｖout１～ｖout５として出力される。
図４４は、液滴体積の算出処理の別の例を説明するための模式図である。体積算出部１３５は、体積算出値ｖ１、ｖ２、…の平均値を一定間隔で算出することとしても良い。例えば図４４の場合、体積算出部１３５は、体積算出値ｖ５を算出すると、体積算出値ｖ１～ｖ５の平均値を算出し、続く体積の算出タイミングｔ６～ｔ１０において体積算出値ｖ６～ｖ１０を算出しつつ、この平均値を液滴体積ｖout６～ｖout１０として出力し、体積算出値ｖ１０を算出すると、体積算出値ｖ６～ｖ１０の平均値を算出し、続く体積の算出タイミングｔ１１～ｔ１５において体積算出値ｖ１１～ｖ１５を算出しつつ、この平均値を液滴体積ｖout１１～ｖout１５として出力する、という動作を順次実行する。なお、図４３の場合と同様、点滴開始直後で、平均値の算出に必要な数の体積算出値が得られていないときには、算出された体積算出値をそのまま出力することとしても良い。
（誤差補正部の動作）
次に、図２に示す誤差補正部１４６の動作について説明する。
液滴の滴下を開始してから時間が経過すると、点滴筒４（図１参照）内において液体が飛び跳ね、ノズル６に付着することにより液滴体積の測定誤差が生じたり、振動等により一時的にイレギュラーな状態となり、想定外の測定値が算出されたりすることがある。誤差補正部１４６は、このような異常値が算出される場合に備えて、点滴開始後の所定時間（例えば、数分～十数分間）に測定した液滴の体積を基準値として、適正な体積の範囲の上限値及び下限値を設定しておく。そして、誤差補正部１４６は、設定範囲を外れた異常値が算出された場合に、この異常値の代わりに暫定値を挿入する。暫定値としては、例えば、設定範囲を定める際に使用された基準値、この際に測定された液滴の体積の平均値、或いは、過去の所定時間内に測定された液滴の体積の平均値等を用いることができる。
本変形例によれば、液滴の体積の測定誤差や、一時的にイレギュラーな状態となった際に算出された異常値が一連の液滴の体積測定に与える影響を抑制することができる。
（高流量調整部の動作）
次に、図２に示す高流量調整部１４７の動作について説明する。
上述したように、液滴体積の測定値としては、過去複数回にわたって算出された体積算出値１、２、…の平均値が用いられることがある。高流量調整部１４７は、この平均値を算出する際に用いられる体積算出値の数を、流量制御部１２２に対して設定された流量に応じて調整する。詳細には、高流量調整部１４７は、流量の設定値が所定値以上である場合に、平均値の算出に用いられる体積算出値の数を増加させる。
ここで、液滴の流量が多くなると、カメラ１２のフレームレートや撮像タイミングによっては、液滴体積の測定誤差が生じ易くなり、１滴あたりの体積のばらつきが大きくなる。そこで、平均を取る回数を増やすことで、個々の体積算出値のばらつきに起因する液滴体積の変動を抑制することができる。
また、高流量調整部１４７は、設定された流量が高い場合に、誤差補正部１４６が判定に用いる設定範囲を調整しても良い。具体的には、流量の設定値が所定値以上である場合に、設定範囲の下限値を引き上げることにより、当該範囲を狭くする。ここで、液滴の流量が高い場合には、液滴体積が過小に算出されるという測定誤差が多くなる。そこで、設定の下限値を引き上げ、設定範囲の下限値を下回る異常値が算出された場合には暫定値を挿入することにより、異常値が一連の液滴体積の測定に与える影響を低減することができる。
（実施例）
ノズルから液滴を１時間にわたって連続して滴下し、画像に基づいて算出された液滴の体積と、実際に滴下された液滴の体積との誤差を算出する実験を行った。実験の条件は以下のとおりである。
＜実施例１＞
ノズルの種類：２０滴／ｍＬ
液滴の像の領域の抽出方法：滴下待機状態の最後の画像と滴下開始画像の２フレーム後の画像との差分画像に基づいて抽出した第１の領域と、滴下待機状態の最後の画像に矩形領域を設定することにより抽出した第２の領域とを合成した（図２８参照）。
体積算出方法：第１及び第２の領域の各行の画素数を直径とする円の面積を算出し、これらの円の面積を積算した（図３３参照）。
＜実施例２＞
ノズルの種類：２０滴／ｍＬ
液滴の像の領域の抽出方法：実施例１と同じ。
体積算出方法：第１の領域については、外接する矩形領域の垂直方向の中心線により左右に分割し、画素数が多い側の２倍のサイズを直径とする円の面積を算出し、積算した。第２の領域については、抽出された領域の各行の画素数を直径とする円の面積を算出し、積算した（図３４参照）。
＜実施例３＞
ノズルの種類：６０滴／ｍＬ
液滴の像の領域の抽出方法：実施例１と同じ。
体積算出方法：実施例１と同じ。
＜実施例４＞
ノズルの種類：６０滴／ｍＬ
液滴の像の領域の抽出方法：実施例１と同じ。
体積算出方法：実施例２と同じ。
＜比較例１＞
ノズルの種類：２０滴／ｍＬ
液滴の像の領域の抽出方法：滴下待機状態の最後の画像から滴下開始画像の２フレーム後の画像を差し引いた差分画像に対し、二値化処理及びブロブ処理を施した。
体積算出方法：実施例１と同じ。
＜比較例２＞
ノズルの種類：６０滴／ｍＬ
液滴の像の領域の抽出方法：比較例１と同じ。
体積算出方法：実施例１と同じ。
また、実施例１、２及び比較例１においては、図４５に示すように、２０滴／ｍＬ用のノズルの像ｍ９０の下方に設定した監視領域Ｒ１０を監視することにより、滴下待機状態及び滴下開始状態を判定した。監視領域Ｒ１０の実際のサイズは以下のとおりである。
画像内におけるノズルの先端の幅：１２５ｐｘ
ノズルの先端から監視領域までの距離：１１９ｐｘ（ノズルの幅の約０．９５倍）
監視領域の横幅：１８１ｐｘ（ノズルの幅の約１．４５倍）
監視領域の縦の長さ：８１ｐｘ（ノズルの幅の約０．６５倍）
また、実施例３、４及び比較例２においては、図４６に示すように、６０滴／ｍＬ用のノズルの像ｍ９１の下方に設定した矩形領域Ｒ１１を監視することにより、滴下待機状態及び滴下開始状態を判定した。監視領域Ｒ１１の実際のサイズは以下のとおりである。
画像内におけるノズルの先端の幅：３３ｐｘ
ノズルの先端から監視領域までの距離：２９ｐｘ（ノズルの幅の約０．９倍）
監視領域の横幅：８１ｐｘ（ノズルの幅の約２．４５倍）
監視領域の縦の長さ：８１ｐｘ（ノズルの幅の約２．４５倍）
図４７は、実施例１、２及び比較例１の実験結果を示すグラフである。図４８は、実施例３、４及び比較例２の実験結果を示すグラフである。図４７及び図４８において、横軸は、流量の設定値を示し、縦軸は、画像に基づく液滴体積の測定値の誤差の比率（真値に対する誤差値（＝測定値－真値）の比率）を示す。ここで、液滴体積の真値は、ノズルから滴下した液滴の重量を電子天秤で測定し、この重量を液滴の比重に基づいて体積に換算することにより求めた。
図４７に示すように、２０滴／ｍＬ用のノズルにおいては、流量が低い場合（約３０ｍＬ／ｈ、約８０ｍＬ／ｈ）、実施例１、２及び比較例１のいずれにおいても誤差は小さく、実施例１、２と比較例１との間であまり差はない。しかしながら、流量が高い場合（約６３０ｍＬ／ｈ）には、実施例２の誤差が小さく抑えられているのに対し、比較例１の誤差は大幅に拡大している。また、実施例１の誤差は、低流量の場合と比べると大きくはなっているが、比較例１の誤差よりも大幅に小さい。
図４８に示すように、６０滴／ｍＬ用のノズルにおいては、流量が低い場合（約１０ｍＬ／ｈ、約２７ｍＬ／ｈ）、実施例３、４及び比較例２のいずれにおいても誤差は小さく、実施例３、４と比較例２との間でそれほど変わらない。しかしながら、流量が高い場合（約１４０ｍＬ／ｈ）には、実施例３、４に対し、比較例２の誤差が大きくなっている。
以上より、実施例１～４においては、誤差の少ない、精度の良い液滴体積を測定できることがわかった。また、実施例１～４においては、点滴の流量が高くなっても比較例１、２に対して液滴体積の誤差が小さく抑えられており、点滴の流量が高くなるほど顕著な効果が得られることがわかった。
以上説明した本発明は、上記実施形態及び変形例に限定されるものではなく、上記実施形態及び変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、上記実施形態及び変形例に示した全構成要素からいくつかの構成要素を除外して形成しても良いし、上記実施形態及び変形例に示した構成要素を適宜組み合わせて形成しても良い。
１…点滴装置
２ａ 排液ポート
２ 輸液バッグ
３ 中間チューブ
４ 点滴筒
４ａ 上蓋
５ 輸液チューブ
６ ノズル
６ａ ノズル先端部
７ 液滴
８ クレンメ
９ アクチュエータ
１０ 液滴測定システム
１１ 光源
１２ カメラ
１２ａ 撮像素子
１３ 表示装置
１４ センサ
１００ 情報処理装置
１０１ 入出力部
１０２ 操作入力部
１０３ 記憶部
１０４ 演算部
１１１ プログラム記憶部
１１２ 設定値記憶部
１１３ 画像データ記憶部
１１４ 測定値記憶部
１１５ 滴下検出用画像バッファ
１１６ 体積算出用画像バッファ
１２１ 撮像制御部
１２２ 流量制御部
１２３ 画像処理部
１３１ 画像生成部
１３２ エラー判定部
１３３ 流量推定部
１３４ 滴下検出部
１３５ 体積算出部
１４１ 滴下待機判定部
１４２ 滴下開始判定部
１４３ 領域抽出部
１４４ 円面積算出部
１４５ 積算部
１４６ 誤差補正部
１４７ 高流量調整部

Claims (8)

  1. ノズルから滴下する液滴の体積を測定する液滴測定システムにおいて、
    被写体を撮像して画像データを出力する撮像装置であって、前記ノズルの先端部と、前記ノズルに垂下する液滴全体とを視野に収めるように設置される撮像装置と、
    前記撮像装置から出力される画像データに基づき、前記ノズルから液滴が滴下する様子を写した画像を時系列順に生成する画像生成部と、
    前記画像生成部により時系列順に生成される画像から、前記ノズルから液滴が離れて滴下し始めた状態を写した画像である滴下開始画像を検出する滴下検出部と、
    前記滴下開始画像の所定フレーム前の画像であって、ノズルに液滴が垂下している状態が写った画像と、前記滴下開始画像の所定フレーム後の画像であって、液滴が離れた後のノズルが写った画像とに基づいて、前記滴下開始画像に写った液滴の体積を算出する体積算出部と、
    を備え、
    前記体積算出部は、前記ノズルからの液滴の滴下を開始してから所定時間内に測定された液滴の体積を基準として、液滴の体積の上限値及び下限値を設定し、前記滴下開始画像に写った液滴の体積を算出した際の該液滴の体積が前記上限値及び下限値から外れている場合に、該算出した液滴の体積の代わりに、所定の暫定値を挿入する誤差補正部を有する、液滴測定システム。
  2. 前記暫定値は、前記所定時間内に測定された液滴の体積の平均値である、請求項１に記載の液滴測定システム。
  3. 前記暫定値は、前記上限値及び下限値から外れた液滴の体積が算出されたとき以前の所定回の間に算出された液滴の体積の平均値である、請求項１に記載の液滴測定システム。
  4. 前記体積算出部は、前記ノズルから滴下する液滴の流量の設定値が所定値以上である場合、前記下限値を引き上げる、請求項１に記載の液滴測定システム。
  5. 前記体積算出部は、前記滴下開始画像に関して算出した液滴の体積と、過去の複数回にわたって算出した液滴の体積との平均値を、当該滴下開始画像に写った液滴の体積の測定値として出力する、請求項１～４のいずれか１項に記載の液滴測定システム。
  6. 前記体積算出部は、前記ノズルから滴下する液滴の流量の設定値に応じて、前記液滴の体積の平均を取る回数を設定する、請求項５に記載の液滴測定システム。
  7. ノズルから滴下する液滴の体積を測定する液滴測定システムにおいて実行される液滴測定方法において、
    被写体を撮像して画像データを出力する撮像装置であって、前記ノズルの先端部と、前記ノズルに垂下する液滴全体とを視野に収めるように設置される撮像装置から出力される画像データに基づき、前記ノズルから液滴が滴下する様子を写した画像を時系列順に生成する画像生成ステップと、
    前記画像生成ステップにおいて時系列順に生成される画像から、前記ノズルから液滴が離れて滴下し始めた状態を写した画像である滴下開始画像を検出する滴下検出ステップと、
    前記滴下開始画像の所定フレーム前の画像であって、ノズルに液滴が垂下している状態が写った画像と、前記滴下開始画像の所定フレーム後の画像であって、液滴が離れた後のノズルが写った画像とに基づいて、前記滴下開始画像に写った液滴の体積を算出する体積算出ステップと、
    を含み、
    前記体積算出ステップは、前記ノズルからの液滴の滴下を開始してから所定時間内に測定された液滴の体積を基準として、液滴の体積の上限値及び下限値を設定し、前記滴下開始画像に写った液滴の体積を算出した際の該液滴の体積が前記上限値及び下限値から外れている場合に、該算出した液滴の体積の代わりに、所定の暫定値を挿入することにより、誤差を補正する、液滴測定方法。
  8. ノズルから滴下する液滴の体積を測定する液滴測定システムにおいてコンピュータに実行させるプログラムにおいて、
    被写体を撮像して画像データを出力する撮像装置であって、前記ノズルの先端部と、前記ノズルに垂下する液滴全体とを視野に収めるように設置される撮像装置から出力される画像データに基づき、前記ノズルから液滴が滴下する様子を写した画像を時系列順に生成する画像生成ステップと、
    前記画像生成ステップにおいて時系列順に生成される画像から、前記ノズルから液滴が離れて滴下し始めた状態を写した画像である滴下開始画像を検出する滴下検出ステップと、
    前記滴下開始画像の所定フレーム前の画像であって、ノズルに液滴が垂下している状態が写った画像と、前記滴下開始画像の所定フレーム後の画像であって、液滴が離れた後のノズルが写った画像とに基づいて、前記滴下開始画像に写った液滴の体積を算出する体積算出ステップと、
    を実行させ、
    前記体積算出ステップは、前記ノズルからの液滴の滴下を開始してから所定時間内に測定された液滴の体積を基準として、液滴の体積の上限値及び下限値を設定し、前記滴下開始画像に写った液滴の体積を算出した際の該液滴の体積が前記上限値及び下限値から外れている場合に、該算出した液滴の体積の代わりに、所定の暫定値を挿入することにより、誤差を補正する、プログラム。
JP2022067663A 2019-05-13 2022-04-15 液滴測定システム、液滴測定方法、及びプログラム Active JP7324533B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022067663A JP7324533B2 (ja) 2019-05-13 2022-04-15 液滴測定システム、液滴測定方法、及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019090982A JP7324485B2 (ja) 2019-05-13 2019-05-13 液滴測定システム、液滴測定方法、及びプログラム
JP2022067663A JP7324533B2 (ja) 2019-05-13 2022-04-15 液滴測定システム、液滴測定方法、及びプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019090982A Division JP7324485B2 (ja) 2019-05-13 2019-05-13 液滴測定システム、液滴測定方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2022092059A JP2022092059A (ja) 2022-06-21
JP7324533B2 true JP7324533B2 (ja) 2023-08-10

Family

ID=87519540

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022067663A Active JP7324533B2 (ja) 2019-05-13 2022-04-15 液滴測定システム、液滴測定方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP7324533B2 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016114264A1 (ja) 2015-01-13 2016-07-21 株式会社村田製作所 滴下量測定装置、滴下量コントローラ、点滴装置および液滴体積測定装置
JP2018148962A (ja) 2017-03-09 2018-09-27 株式会社アイカムス・ラボ 液滴測定システム、液滴測定方法及びプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5583939B2 (ja) * 2009-09-17 2014-09-03 テルモ株式会社 点滴検出装置、輸液ポンプとその制御方法
JP6639122B2 (ja) * 2015-07-03 2020-02-05 東芝デベロップメントエンジニアリング株式会社 吐出量測定装置
JP2017083790A (ja) * 2015-10-30 2017-05-18 キヤノン株式会社 画像取得装置、及びそれを用いた画像取得方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016114264A1 (ja) 2015-01-13 2016-07-21 株式会社村田製作所 滴下量測定装置、滴下量コントローラ、点滴装置および液滴体積測定装置
JP2018148962A (ja) 2017-03-09 2018-09-27 株式会社アイカムス・ラボ 液滴測定システム、液滴測定方法及びプログラム

Also Published As

Publication number Publication date
JP2022092059A (ja) 2022-06-21

Similar Documents

Publication Publication Date Title
JP7324485B2 (ja) 液滴測定システム、液滴測定方法、及びプログラム
JP6406590B2 (ja) 液滴測定システム、液滴測定方法及びプログラム
TWI416943B (zh) 聚焦輔助系統與方法
WO2020253827A1 (zh) 评估图像采集精度的方法及装置、电子设备和存储介质
US20200289749A1 (en) Droplet measurementsystem, droplet measurement method and droplet measurement program
US20100253495A1 (en) In-vehicle image processing device, image processing method and memory medium
JP2013036846A (ja) 撮像装置及びプログラム
JP2013036846A5 (ja)
US20210142490A1 (en) Information processing apparatus, control method, and program
JP4774390B2 (ja) 文字切り出し装置、方法およびプログラム
JP2012065997A (ja) 視線推定装置
CN107481225A (zh) 一种自动寻找最优参数分割粘连细胞的方法
JP7324533B2 (ja) 液滴測定システム、液滴測定方法、及びプログラム
CN109426797B (zh) 瞌睡检测装置及其瞌睡检测方法
CN106599838B (zh) 一种籽棉异纤分选系统延迟时间动态调整装置及方法
TW201820263A (zh) 自動調整顯示畫面比例的方法及其顯示裝置
JP2020185118A5 (ja)
EP3106968B1 (en) Information processing device, information processing method, and program
TWI670473B (zh) 液位檢測方法及其裝置
US20190078047A1 (en) Cell culture apparatus
US11530993B2 (en) Deposit detection device and deposit detection method
US20170297505A1 (en) Imaging apparatus, car, and variation detection method
JP2017220020A (ja) 動体検知システム及び動体検知方法
JP4120638B2 (ja) 画像処理装置、および方法
US11587325B2 (en) System, method and storage medium for detecting people entering and leaving a field

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220415

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230307

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230427

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230718

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230724

R150 Certificate of patent or registration of utility model

Ref document number: 7324533

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150