JP6616707B2 - 液滴吐出装置、及び液滴吐出検査方法 - Google Patents

Description

本発明は、液滴吐出装置、及び液滴吐出検査方法に関し、例えば、液滴の吐出が適切に行われているかを検査するものに関する。

インクジェットヘッドなど、液滴吐出ヘッドから液滴を吐出して、これを目標位置に着滴させる技術が広く利用されている。
このような技術には、ヘッドのノズルからインク、塗料、接着剤、オイルなどの液滴を吐出するものが各種存在する。
これらの液滴吐出装置では、吐出信号に対応して液滴が確実に吐出されると共にその状態（方向など）が適切であることが重要である。

従来は、このような液滴の状態を検査するために、例えば特許文献１の「記録ヘッド検査装置および記録ヘッド検査方法」のように、カメラで液滴の静止画を撮影して、その液滴の画像から良・不良の画像判定を行っていた。

しかし、高速で飛翔している液滴を撮影する場合、シャッターのタイミングを液滴に合わせるのが困難であるという問題があった。
このように、シャッタータイミングを合わせるためには、例えば、専用のハードウェアシステムを構築する必要がある。

特開２０１１−００２２５８号公報

本発明は、簡易な設備で液滴吐出装置の検査を行うことを目的とする。

（１）本発明は、前記目的を達成するために、請求項１に記載の発明では、複数の吐出信号を所定間隔で発生する吐出信号発生手段と、前記発生した吐出信号に同期して液滴を吐出する液滴吐出手段と、前記吐出した液滴が飛翔する領域を動画に撮影する撮影手段と、前記発生した吐出信号を検出する検出手段と、吐出信号を前記検出した時点より所定時間遡った時点を起点として、前記動画に撮影された液滴の画像を検索する検索手段と、前記検索した液滴の画像から当該液滴の良・不良を判定する判定手段と、前記判定手段による判定結果を出力する出力手段と、を具備したことを特徴とする液滴吐出装置を提供する。
（２）請求項２に記載の発明では、前記所定時間が、前記吐出信号発生手段が吐出信号を発生してから、前記検出手段が吐出信号を検出するまでの時間よりも長いことを特徴とする請求項１に記載の液滴吐出装置を提供する。
（３）請求項３に記載の発明では、前記所定時間が、前記所定間隔未満であることを特徴とする請求項１、又は請求項２に記載の液滴吐出装置を提供する。
（４）請求項４に記載の発明では、前記検索手段の検索対象の範囲に含まれない動画を記憶装置から消去する消去手段を具備したことを特徴とする請求項１、請求項２、又は請求項３に記載の液滴吐出装置を提供する。
（５）請求項５に記載の発明では、前記起点を設定する吐出信号が、連続する複数の吐出信号のうちの最初の吐出信号であることを特徴とする請求項１から請求項４までのうちの何れか１の請求項に記載の液滴吐出装置を提供する。
（６）請求項６に記載の発明では、前記判定手段が、前記液滴の画像の形状を用いて前記液滴の吐出状態の良否を判定することを特徴とする請求項１から請求項５までのうちの何れか１の請求項に記載の液滴吐出装置を提供する。
（７）請求項７に記載の発明では、前記判定手段が、前記吐出状態として前記液滴の吐出方向を判定し、前記形状が所定の基準領域にある場合に良と判定し、当該基準領域にない場合に不良と判定することを特徴とする請求項６に記載の液滴吐出装置を提供する。
（８）請求項８に記載の発明では、前記判定手段が、前記吐出状態として前記液滴の大きさを判定し、前記形状から得られる前記液滴の大きさが所定の基準値以上の場合に良と判定し、当該基準値未満の場合に不良と判定することを特徴とする請求項６に記載の液滴吐出装置を提供する。
（９）請求項９に記載の発明では、前記判定手段が、前記吐出状態として前記液滴の速度を判定し、前記形状から得られる前記液滴の速度が所定の基準値以上の場合に良と判定し、当該基準値未満の場合に不良と判定することを特徴とする請求項６に記載の液滴吐出装置を提供する。
（１０）請求項１０に記載の発明では、前記判定手段が、複数の前記液滴の画像を重ね合わせ、当該重ね合わせた画像の色の濃さを用いて前記液滴の吐出状態の良否を判定することを特徴とする請求項１から請求項５までのうちの何れか１の請求項に記載の液滴吐出装置を提供する。
（１１）請求項１１に記載の発明では、複数の吐出信号を所定間隔で発生する吐出信号発生ステップと、前記発生した吐出信号に同期して液滴を吐出する液滴吐出ステップと、前記吐出した液滴が飛翔する領域を動画に撮影する撮影ステップと、前記発生した吐出信号を検出する検出ステップと、吐出信号を前記検出した時点より所定時間遡った時点を起点として、前記動画に撮影された液滴の画像を検索する検索ステップと、前記検索した液滴の画像から当該液滴の良・不良を判定する判定ステップと、前記判定ステップによる判定結果を出力する出力ステップと、を備えたことを特徴とする液滴吐出検査方法を提供する。

本発明によれば、液滴を動画撮影することにより、液滴吐出のタイミングと撮影のタイミングを厳格に合わせる必要がなく、簡易な設備で液滴吐出装置の検査を行うことができる。

液滴吐出装置を説明するための図である。 コンピュータのハードウェア的な構成などを説明するための図である。 動画の保存方法などを説明するための図である。 液滴の良否を液滴像から判断する手法を説明するための図である。 ディスペンサを検査する手順を説明するためのフローチャートである。 ディスペンサを検査する手順の変形例を説明するためのフローチャートである。

（１）実施形態の概要
図１に示した液滴吐出装置１は、例えば、インクやオイルなどの液滴１０をワークに吐出する装置であり、図は、ディスペンサ３の検査を行う構成を示している。
コンピュータ２は、制御装置８に対して吐出指令を送信し、制御装置８は、これに応じてディスペンサ３にトリガ信号を出力する。

ディスペンサ３は、トリガ信号を受信すると液滴１０を吐出し、コンピュータ２は、カメラ５によって、液滴１０の様子を動画撮影する。

コンピュータ２は、制御装置８がトリガ信号を発したことを検知すると、トリガ信号の発生から検知までの時間的な遅れを考慮した量だけ動画を遡り、液滴１０が撮影されているフレームを特定する。
そして、コンピュータ２は、液滴１０の画像から液滴１０の良・不良（良否）を画像判定する。

（２）実施形態の詳細
図１は、本実施の形態に係る液滴吐出装置１を説明するための図である。
液滴吐出装置１は、コンピュータ２、ディスペンサ３、カメラ５、照明６、制御装置８、図示しないが液滴を吐出する生産対象であるワークを設置するワーク台を備えている。

液滴吐出装置１は、通常運転では、ワーク台に設置されたワークに対してディスペンサ３から液滴を塗布し、ディスペンサ３の検査の際に、検査用の標的（図示しない）が設置された検査エリアにディスペンサ３を移動させる。そして、図１は、検査エリアにおける構成を示している。

コンピュータ２は、液滴吐出装置１の全体を制御し、通常運転モードでは、ディスペンサ３やワーク台を制御してワークに液滴を塗布し、検査モードでは、ディスペンサ３とカメラ５を駆動して液滴を動画撮影し、動画のフレームに写った液滴の軌道の軌跡から液滴の良・不良を画像判定する。

以下では、検査モードでの動作などについて説明する。
この検査モードにおける技術は、吐出トリガ（吐出信号）に対して液滴が確実に吐出されているか否か、特に、ｎ（ｎは自然数で例えば５、以下同様）発の液滴を連続吐出する場合に、ｎ発適切に吐出していることを確認したい、との現場の要望から開発されたものである。

ディスペンサ３は、インク、接着剤、オイル、薬品、半田、液晶材、塗料などの液体を定量だけ液滴にして吐出し、塗布対象に当該液体を非接触で塗布する非接触式液体定量吐出デバイスである。
ディスペンサ３は、例えば、円筒、又は円錐形状を有する単穴式のノズル４を備えており、制御装置８からトリガ信号を受信すると、液滴１０をノズル４の先端からノズル４の中心軸方向に吐出する。

なお、トリガ信号が発せられた直後にディスペンサ３が液滴１０を吐出するので、トリガ信号が発せられてから吐出するまでの間には遅延がほとんどないと考えてよい。
ディスペンサ３の設置角度を調節することにより、吐出方向を設定することができるが、ここでは、一例として吐出方向を垂直下方向としている。

制御装置８は、コンピュータ２から送信される指令（コマンド）によって制御され、指令に応じた吐出トリガをディスペンサ３に送信する。
例えば、コンピュータ２が単発の吐出指令を制御装置８に送信すると、制御装置８は、ディスペンサ３に対して吐出トリガを１回発し、これに同期してディスペンサ３は、液滴１０を１回だけ吐出（発射）する。

また、コンピュータ２が制御装置８に所定時間間隔でｎ回吐出せよとの指令を発すると、制御装置８は、当該所定時間間隔でｎ回トリガ信号を出力する。その結果、ディスペンサ３は、ｎ回のトリガ信号に同期してｎ回だけ液滴１０を所定時間間隔で吐出する。
このように制御装置８は、複数の吐出信号を所定間隔で発生する吐出信号発生手段として機能しており、ディスペンサ３は、当該発生した吐出信号に同期して液滴を吐出する液滴吐出手段として機能している。
このトリガ信号に対してディスペンサ３が正しく液滴１０を吐出しているかを検査するのが検査モードの目的の１つである。

カメラ５は、液滴１０を動画撮影するカメラであって、例えば、所謂ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）カメラによって構成されている。
カメラ５は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）や、ＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などで構成されている撮像素子と、撮像素子上に被写体（液滴１０）の画像を結像する光学系を備えている。

カメラ５の画角１１（視野角、カメラ５で撮影される画像に写される被写体の範囲を角度で表したもの）は、液滴１０の飛行経路をとらえるように設定されている。このため、この範囲を液滴１０が通過すると動画に撮影される。
このようにカメラ５は、吐出した液滴が飛翔する領域を動画に撮影する撮影手段として機能している。

動画データは、フレーム（コマ）から構成されており、フレームレートは、液滴１０の速度、画角サイズ（画角１１でとらえられる液滴１０の走行距離）、制御装置８がトリガ信号を発してからこれをコンピュータ２が検知するまでの遅延時間などの諸々の条件を加味して液滴１０が良好に撮影される適当な値が選択される。
本実施の形態で使用した典型的な値は、例えば、１フレーム時間が２．５ｍｓ、液滴速度が２ｍ／ｓ、画角サイズが２ｍｍ程度の値である。

照明６は、例えば、ＬＥＤ照明を用いており、動画撮影のために液滴１０を連続的に照明する。このように液滴吐出装置１は、連続的に照明で照らすため、吐出に同期してストロボを動作させる必要がない。
ところで、吐出に同期してストロボを動作させるには、トリガ信号のタイミングを正確に検知するハードウェア的なシステムを構築する必要があるが、液滴吐出装置１では、その必要はない。

以上に説明した液滴吐出装置１では、検査エリアを設けて検査用の液滴１０を吐出するように構成したが、この他に、ワークに吐出している液滴１０をカメラ５で撮影してワークへの液滴１０の塗布と検査を同時に行うように構成することもできる。
この場合、例えば、吐出回数が設定値以外であるなどのエラーが生じた場合に、液滴１０の吐出を中断し、警告灯の赤ランプを点灯させるように構成することができる。

図２（ａ）は、コンピュータ２のハードウェア的な構成を説明するための図である。
コンピュータ２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２３、インターフェース２４、入力装置２５、出力装置２６、記憶装置２７などから構成されている。

ＣＰＵ２１は、記憶装置２７などに記憶されているプログラムに従って、各種の情報処理（動画のフレームに写っている液滴の画像判定など）や液滴吐出装置１の制御を行う中央処理装置である。
ＲＯＭ２２は、コンピュータ２を動作させるための基本的なプログラムやパラメータを記憶した読み取り専用メモリである。

ＲＡＭ２３は、ＣＰＵ２１が動作する際のワーキングメモリを提供する読み書き可能なメモリである。
本実施の形態では、ＲＡＭ２３は、例えば、カメラ５で撮影した動画を記憶したり、液滴１０の画像を画像認識して良・不良を判定する際に使用される。

インターフェース２４は、制御装置８、カメラ５、その他の外部機器をコンピュータ２に接続するための接続装置である。
ＣＰＵ２１は、インターフェース２４を介して制御装置８やカメラ５と信号を送受信する。
これにより、ＣＰＵ２１は、制御装置８に吐出指令を送信して、制御装置８にトリガ信号をディスペンサ３に出させたり、制御装置８が発したトリガ信号を検知したり、カメラ５を動作させて、カメラ５から液滴１０を撮影した動画データを受信したりする。

入力装置２５は、例えば、キーボード、マウスなど、液滴吐出装置１の操作担当者が液滴吐出装置１を操作するために各種の入力を行う入力機器で構成されている。
操作担当者は、入力装置２５から各種コマンドを入力することにより、液滴吐出装置１を通常運転モードで動作させたり、検査モードで動作させたりすることができる。

出力装置２６は、例えば、ディスプレイ、スピーカ、プリンタなど、液滴吐出装置１が操作担当者に情報を出力する出力機器で構成されている。
ディスプレイには、液滴吐出装置１を通常運転モードや検査モードで操作するための操作画面や、検査モードにおける検査結果を表示する検査結果画面などを表示する。
スピーカは、検査でのエラーの発生や液滴吐出装置１の動作の区切り（例えば、検査動作の終了）などを操作担当者に通知する音声を発する。
プリンタは、例えば、検査結果を紙に印刷したりするのに用いられる。

記憶装置２７は、例えば、ハードディスクなどの大容量の記憶媒体を用いて構成されており、各種のプログラムを記憶したプログラム部と各種のデータを記憶したデータ部を備えている。
プログラム部には、コンピュータ２を動作させる基本的なプログラムであるＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）を始め、液滴吐出装置１を通常運転モードで動作させるための通常運転プログラム、液滴吐出装置１を検査モードで動作させるための検査プログラム、制御装置８やカメラ５を制御するための制御プログラムなどが記憶されている。
一方、データ部には、通常運転モードでの動作記録や、検査モードでの検査結果などが記憶される。

詳細は後述するが、検査モードにおいて、コンピュータ２は、液滴１０を動画で撮影し、トリガ信号を検出した時点で、その時点より前に撮影された動画から液滴１０の画像を検索する。
そのため、トリガ信号が発せられたタイミングを正確に検出する必要がなく、少々遅延があったとしても液滴１０の画像を得ることができる。

このため、シャッタータイミングを合わせるために高価なハードウェアによってトリガ信号を厳密に検出する必要がなく、ある程度の遅延を許容してトリガ信号をソフトウェア的に検出することが可能である。
このように、液滴吐出装置１は、制御装置８にトリガ信号を発せさせ、これをコンピュータ２でソフトウェア的に検出する構成であるため遅延が生じるが、コンピュータ２は、過去の動画を参照できるため、遅延があっても液滴１０を画像判定することができる。
このため、液滴吐出装置１では、制御装置８やディスペンサ３のハードウェアの中の構成を知らなくても、制御装置８がトリガ信号を発したことを検知さえすれば検査を実行することができる。

図２（ｂ）は、カメラ５で撮影した動画のフレームの仕組みを説明するための図である。
フレーム３１には、原点Ｏと共に直交するｘ座標軸とｙ座標軸が設定されている。
フレーム３１のｘ方向、及びｙ方向の幅が、それぞれｘ方向、及びｙ方向の画角に対応している。図では、時間軸ｔも示している。
フレーム３１の画像は、カメラ５の撮像素子上に投影された画像から構成されるが、フレーム時間（例えば、ｔ１〜ｔ２、ｔ２〜ｔ３、・・・）の間、カメラ５のシャッターが開いた状態となるため、この時間帯に形成された画像を重畳したものとなる。
これにより、フレーム３１には、フレーム時間に渡る液滴１０の軌跡が液滴像６１として記録される。

これにより、液滴１０が画角を丁度フレーム時間内に通過した場合は、図２（ｃ）のようにフレーム３１に液滴１０の軌跡が液滴像６１として記録される。
また、液滴１０が複数のフレーム３１に渡って記録される場合は、例えば、図２（ｄ）のように、フレーム３１ａに画角に進入する際の液滴像６１（進入）が記録され、次のフレーム３１ｂに画角から退出する際の液滴像６１（退出）が記録される。
なお、以下では、フレーム３１ａ、３１ｂ、・・・を特に区別しない場合は、単にフレーム３１と記す。他の構成要素についても同様とする。

図３の各図は、コンピュータ２が検査モードにおいて、カメラ５から送られた動画を保存する方法、及び動画に記録された液滴１０の画像を検索する手法の例を説明するための図である。
何れの例も、コンピュータ２は、制御装置８がトリガ信号を発するのを監視し、トリガ信号を検知すると、当該検知前に既に撮影されていた動画において液滴１０の画像を検索する。
このようにコンピュータ２は、発生した吐出信号を検出する検出手段と、吐出信号を検出した時点より所定時間遡った時点を起点として、動画に撮影された液滴の画像を検索する検索手段を備えている。

図３（ａ）は、トリガ信号を検知するごとに液滴１０の画像を検索する例である。
以下では、説明を簡単にするため、液滴像６１が一枚のフレーム３１に丁度収まっている状態（）図２（ｃ）に示す状態を用いて説明する。液滴像６１が複数のフレーム３１に渡って記録されている場合も同様に処理することができる。
コンピュータ２は、カメラ５から送信されてくる動画のフレーム３１ａ、３１ｂ、・・・をＲＡＭ２３に記憶するが、この際、コンピュータ２は、新たに最新のフレームを記憶するとともに最も古いフレームを消去しながらＲＡＭ２３に一定数（例えば５個）のフレームを記憶している。これは、古いフレームは検索対象に含まれないためである。
このようにコンピュータ２は、検索手段の検索対象の範囲に含まれない動画を記憶装置（ＲＡＭ２３）から消去する消去手段を備えている。

なお、フレーム３１ａが最も古く、フレーム３１ｉが最も新しいものである。即ち、時間軸は図に向かって右方向である。また、波線のフレームは既に消去されたか、これから記憶されるためＲＡＭ２３には存在しないことを示している。

ＣＰＵ２１は、ＲＡＭ２３のメモリ資源を活用して各種の処理を行っているため、このように記憶領域を開放して記憶するフレームのコマ数をなるべく少なくすることにより、他の処理への圧迫を低減することができる。

この図の例では、フレーム３１ｂ〜３１ｆがＲＡＭ２３に記憶されており、フレーム３１ａは、既に消去され、フレーム３１ｇ〜３１ｉは、これから記憶される。
なお、ＣＰＵ２１は、フレーム３１ｇを記憶する際にフレーム３１ｂを消去し、フレーム３１を更新するたびにこの動作を行う。

図３（ａ）では、フレーム３１ｄのフレーム時間内のタイミングで制御装置８がトリガ信号４１ａを発しており、これによってディスペンサ３から吐出された液滴１０の画像である液滴像６１ａがフレーム３１ｄに記録されている。

フレーム３１ｄの画像は、フレーム左側が上側、右側が下側に対応しており、液滴１０が上側から下側に向けて吐出されるため、液滴１０の軌跡は、フレーム３１ｄの左側から右側にかけて形成された略長方形の液滴像６１ａとして記録される。

このトリガ信号４１ａに対し、コンピュータ２は、これよりも遅延した検知タイミング５１ａにて検知する。図３（ａ）の例では、フレーム３１ｄの間に発生したトリガ信号４１ａを、その発生から２コマ遅れたフレーム３１ｆのフレーム時間内にて検知している。
コンピュータ２がトリガ信号４１ａを検知した時点、即ち検知タイミング５１ａは、既に液滴１０が吐出された後であるため、この例では、コンピュータ２は、検知タイミング５１ａのフレーム３１ｆを含め、さらに３コマだけフレーム３１を遡り、フレーム３１ｃからフレーム３１ｆまでの４フレームを使用して、液滴像６１ａを検索する。
このため、フレーム３１ｂは、消去し、４コマ記憶するように構成することもできるが、本実施形態では、１コマ分の余裕を持たせて５コマ記憶している。

なお、コンピュータ２は、検知タイミング５１ａのフレーム３１ｆを含め、さらにｎコマ（ｎ≧１）だけフレーム３１を遡り、ｎ＋１フレームを使用して液滴像６１ａを検索うするようにしてもよい。このｎコマの数については、１フレームに対する時間のｎ倍が、トリガ信号４１の間隔を超えない範囲であればよい。

そして、コンピュータ２は、フレーム３１ｄで液滴像６１ａを認識し、これを用いて液滴１０の良・不良を画像判定する。
なお、ＣＰＵ２１が画像判定処理を行う時間帯は、検知タイミング５１ａの次のフレーム（図３（ａ）ではフレーム３１ｇ）内で行う。
但し、検知タイミング５１ａを検知した直後から始めるようにしてもよい。

このように３コマ遡った、合計４フレームから検索する構成にしたのは、動画のフレームレートと検知タイミング５１ａの遅延時間の程度を考慮すると、液滴像６１ａは、フレーム３１ｃ〜３１ｆの何れかに写っているであろうと考えられるからである。

このように何コマ遡るかは、フレームレートと遅延時間などの兼ね合いから決まるものであって、例えば、遅延時間が更に長い場合は、例えば、５コマ遡るように構成し、短い場合は２コマや、１コマ遡るように構成することもできる。
ただし、液滴像６１を検索するには、少なくとも遅延時間よりも長い時間遡ることが必要である。
このように、遡る所定時間は、吐出信号発生手段が吐出信号を発生してから、検出手段が吐出信号を検出するまでの時間よりも長いことが必要である。

そして、遡るコマ数が少ない場合、記憶するフレーム数を更に削減することも可能である。
また、フレームレートは、液滴１０の速度に基づいて液滴像６１がフレーム内に適当に撮影される値に選択されている。

このようにしてコンピュータ２は、フレーム３１ｃ〜３１ｆで液滴像６１ａを検索し、検索されなかった場合は、液滴１０が吐出されなかった（不良）と判断し、検索された場合には、液滴像６１ａを用いて液滴１０の良・不良を判断する。
同様に、コンピュータ２は、トリガ信号４１ｂが発せられたことを検知タイミング５１ｂで検出し、動画を過去に遡って液滴像６１ｂを検索して画像判定する。以下、この動作を必要なだけ繰り返す。

ところで、コンピュータ２は、検知タイミング５１ａから過去に遡って液滴像６１ａを検索するが、過去に遡りすぎると、液滴像６１ａよりも前に吐出された液滴像６１を検索する可能性がある。
遅延時間がトリガ信号４１の間隔よりも長い場合や、総数と液滴像６１の総数を比較できればよい場合など、必ずしも検知タイミング５１に対応する液滴像６１を検索する必要のない場合は、このような可能性を許容できるが、検知タイミング５１に対応する液滴像６１を検索したい場合は、遡る時間をトリガ信号４１の間隔よりも短くする。
この場合、遡る所定時間は、トリガ信号４１の間隔未満となる。

以上のように動画を過去に遡って確認することにより、トリガ信号４１が発せられた瞬間を厳密に検出する必要がなくなる。
そのため、高価なハードウェア機器を設置して検査系を構築する必要がなくなり、例えば、安価なソフトウェア的な構成を用いてトリガ信号４１を検知することができる。

図３（ｂ）は、検知タイミング５１からフレーム３１を１コマ戻って液滴像６１を検索する例である。
この例では、トリガ信号４１が発せられてから、これがコンピュータ２に検知される検知タイミング５１までの時間が概略フレームの撮影時間より短いため、液滴１０が適切に吐出されていれば、検知タイミング５１ａから１コマ遡ったフレーム３１ｂとその次のフレーム３１ｃの何れかには液滴像６１ａが写っているだろうとの見込みから、検知タイミング５１から１コマ遡るように構成してある。

また、１コマ遡ればよいため、動画のフレームをＲＡＭ２３に２コマ記憶して、これを更新するようになっている。
そして、ＣＰＵ２１は、検索後、フレーム３１ｄが撮影される時間帯に画像判定を行う。
以下、同様に、ＣＰＵ２１は、検知タイミング５１ｂでトリガ信号４１ｂを検知してフレーム３１ｆ、３１ｇで液滴像６１ｂを検索、・・・という動作を必要回数繰り替えす。
このようにＲＡＭ２３に記憶するフレームのコマ数、検索のために遡るコマ数は、システムの構成により最適値が定まる。

図３（ｃ）は、複数の液滴１０を連射する場合の変形例を説明するための図である。
コンピュータ２が制御装置８に所定時間間隔Ｔで液滴１０をｎ回連続して吐出するように指令した場合、制御装置８は、ディスペンサ３に対してＴの時間間隔でｎ回トリガ信号４１を発する。
ディスペンサ３が正常に動作していれば、最初のトリガ信号４１ａから時間間隔Ｔで液滴１０をｎ回吐出するはずである。

そこで、この例では、コンピュータ２は、最初のトリガ信号４１ａを検出した場合に、所定コマ数だけ動画を遡って液滴像６１の検索を開始し、Ｔ×ｎ＋ａコマ分程度のフレーム（ａは遡るコマ数）で連射される液滴像６１ａ、６１ｂ、６１ｃ、・・・を検索する。
そして、図４（ｆ）で説明するように、液滴像６１が検出されたフレームを重ねることにより液滴像６１ａ、６１ｂ、６１ｃ、・・・を重ねてまとめて画像判定する。

このように構成すると、トリガ信号４１の検知動作を減らすことができ、コンピュータ２の効率を高めることができる。
また、吐出が終了した後にまとめて画像判定できるため、時間的余裕をもって画像判定を行うことができる。
なお、この例では、起点を設定する吐出信号が、連続する複数の吐出信号のうちの最初の吐出信号となっている。

図４の各図は、液滴１０の良・不良を液滴像６１から判断する手法を説明するための図である。
以下のようにコンピュータ２は、検索した液滴の画像から当該液滴の良・不良を判定する判定手段を備えており、より具体的には液滴の画像の形状を用いて液滴の吐出状態の良否を判定する。

図４（ａ）、図４（ｂ）の例は、液滴像６１から液滴１０の吐出方向の良・不良を画像判定する例を示した図である。
コンピュータ２は、フレーム３１に写っている液滴像６１を画像認識し、図４（ａ）に示したように、液滴像６１が適切な液滴１０の軌跡の範囲を表す基準線７１ａ、７１ｂの間の領域にある場合に良と画像判定し、図４（ｂ）に示したように、当該領域を逸脱している場合を不良と画像判定する。
この例では、判定手段は、吐出状態として液滴の吐出方向を判定し、液滴１０の画像の形状が所定の基準領域（基準線７１ａ、７１ｂの間）にある場合に良と判定し、当該基準領域にない場合に不良と判定している。

図４（ｃ）、図４（ｄ）は、液滴像６１から液滴１０の大きさの良・不良を画像判定する例を示した図である。
液滴１０の大きさは、ノズル４の吐出口が狭窄して（詰まって）小さくなる場合がある。
そこで、コンピュータ２は、図４（ｃ）に示したように、最低限の大きさを規定する基準線７２ａ、７２ｂよりも液滴像６１が太い場合に良と画像判定し、図４（ｄ）に示したように、基準線７１ａ、７１ｂよりも細い場合に不良と画像判定する。
あるいは、画像解析により液滴像６１の太さを計算し、これによって判断してもよい。
この例では、判定手段は、吐出状態として液滴の大きさを判定し、液滴１０の画像の形状から得られる液滴の大きさが所定の基準値以上（基準線７２ａ、７２ｂの幅以上）の場合に良と判定し、当該基準値未満の場合に不良と判定している。

図４（ｅ）は、液滴１０の早さの良・不良を画像判定する例を示した図である。
基準線７３は、速度判定のための基準線を示している。
この例の液滴像６１は、液滴１０がフレーム３１の左端からカメラ５の画角に入ってから１フレーム時間（当該フレームを撮影するためにカメラ５のシャッターが開いている時間）の間に基準線７３に到達できなかったことを示している。

この場合に、コンピュータ２は、液滴１０が早さ不足であるとして不良と画像判定する。
一方、液滴像６１が基準線７３に到達している場合は良であると画像判定する。
この例では、判定手段は、吐出状態として液滴の速度を判定し、液滴１０の画像の形状から得られる液滴の速度が所定の基準値以上の（基準線７３に到達している）場合に良と判定し、当該基準値未満の場合に不良と判定している。

なお、これは一例であって、液滴像６１が基準線７３に到達していない場合、液滴像６１の長さから液滴１０の早さを計算できるため、計算された速さによって良・不良を判定してもよい。
より詳細には、ディスペンサ３の吐出口とカメラ５が固定されているため、液滴１０がカメラ５の画角を通過する時間ｔを求めることにより、液滴の速度を算出できる。
この場合、全体の撮影時間は、２コマ遡る場合、ｔ＋カメラ５の２フレーム分の時間ｆ程度となる。時間ｆはカメラ５の性能によるが、ディスペンサ３の連続射出間隔より短いものを選定する。
また、ディスペンサ３が吐出する合間に画像判定するためには、カメラ５の１フレーム分の時間ｆと画像処理演算時間ｃの合計がディスペンサ３の連続射出間隔Ｔより小さくする必要がある。ｆ＋ｃ＜Ｔの条件に合うカメラ５及び画像処理装置を選定する必要がある。

図４（ｆ）は、複数の液滴像６１を重ねて判定する例を示した図である。
液滴１０をｎ回連続的に吐出する場合、コンピュータ２は、図３（ｃ）の手法で検索した液滴像６１ａ、６１ｂ、・・・を重ね合わせる。
液滴像６１ａ、６１ｂ、・・・の合成画像の色の濃さは、重ねる液滴像６１が多いほど濃くなるため、これによってｎ回吐出したか否かを画像判定することができる。

そこで、コンピュータ２は、色の濃さが規定値である場合に良と判定し、濃さが不足する場合には不良と判定する。
また、重ねた液滴像６１の少なくとも一部が基準線７１ａ、７１ｂからはみ出たり、あるいは、基準線７２ａ、７２ｂより細かったり、あるいは基準線７３に達していなかった場合に不良と判定することもできる。
この例では、判定手段は、複数の液滴の画像を重ね合わせ、当該重ね合わせた画像の色の濃さを用いて液滴の吐出状態の良否を判定している。

図５は、液滴吐出装置１が検査モードでディスペンサ３を検査する手順を説明するためのフローチャートである。
なお、以下の処理は、ＣＰＵ２１が検査プログラムに従って行うものである。

まず、ＣＰＵ２１は、カメラ５によって液滴１０が飛翔する領域を動画撮影し、新しいフレームをＲＡＭ２３に書き込み、古いフレームをＲＡＭ２３から消去することにより所定の個数のフレームをＲＡＭ２３に記憶するとともに、これを更新する。
そして、ＣＰＵ２１は、この書き込み消去動作を行いつつ、制御装置８に吐出指令を送信し、制御装置８が発するトリガ信号４１を監視する。

ＣＰＵ２１は、トリガ信号を検知タイミング５１で検知すると（ステップ５）、ＲＡＭ２３に記憶されているフレームにアクセスし、所定個数だけ過去のフレームからトリガ信号検出時のフレームにかけて液滴１０の液滴像６１を検索する（ステップ１０）。
液滴像６１が検索できなかった場合（ステップ１５；Ｎ）、ＣＰＵ２１は、液滴１０が吐出しなかったと判断して不良判定を出力し（ステップ４０）、検査を終了する。

一方、液滴像６１が検索できた場合（ステップ１５；Ｙ）、ＣＰＵ２１は、液滴像６１を用いて液滴１０の良・不良を画像判定する（ステップ２０）。
画像判定で液滴１０の状態が不良であると判定した場合（ステップ２５；Ｎ）、ＣＰＵ２１は、液滴１０が不良であると判断して不良判定を出力し（ステップ４０）、検査を終了する。

一方、画像判定で液滴１０の状態が良であると判定した場合（ステップ２５；Ｙ）、ＣＰＵ２１は、当該液滴１０を検査合格とする。
次いで、ＣＰＵ２１は、検査を終了するか否かを判断する（ステップ３０）。
より詳細には、例えば、連続吐出するｎ個の液滴１０について検査する場合、検査した液滴１０がｎ個目の場合は検査終了と判断し、ｎ個に満たない場合には検査未終了と判断する。
あるいは、例えば、操作担当者から検査終了の指示があった場合には検査終了と判断し、当該指示がない場合には検査続行と判断する。

検査を終了しない場合（ステップ３０；Ｎ）、ＣＰＵ２１は、ステップ５に戻り検査を続行する。
一方、検査を終了する場合（ステップ３０；Ｙ）、ＣＰＵ２１は、全ての液滴１０について良と画像判定したことになり、良判定を出力して検査を終了する（ステップ３５）。
このようにコンピュータ２は、判定手段による判定結果を出力する出力手段を備えている。
以上のようにして、液滴吐出装置１は、制御装置８が発したトリガ信号４１に対してディスペンサ３が適切に液滴１０を吐出しているか否かを検査することができる。

図６は、液滴吐出装置１が検査モードでディスペンサ３を検査する手順の変形例を説明するためのフローチャートである。
この例では、コンピュータ２は、制御装置８に対して所定時間間隔Ｔでｎ回吐出せよとの指令を送信し、制御装置８は、ディスペンサ３に対してＴの時間間隔でｎ回トリガ信号４１を発する。
この結果、ディスペンサ３は、正常に動作していれば、トリガ信号４１に同期してｎ回連続して液滴１０を吐出する。
なお、図５と同様のステップには同じステップ番号を付して説明を簡略化する。

まず、ＣＰＵ２１は、トリガ信号４１を検知タイミング５１にて検出し（ステップ５）、所定のコマ数だけ遡って過去のフレームから順に液滴像６１を検索する（ステップ１０）。
ＣＰＵ２１は、液滴像６１を検索すると、これをＲＡＭ２３に保存する（ステップ１０５）。なお、初回は、重ねて保存する画像がないため、そのまま保存する。

吐出回数と所定時間間隔Ｔからｎ回の吐出が終わるまでの時間がわかるため、ＣＰＵ２１は、当該時間が経過するまでのフレームで液滴像６１を検索する。詳細は図３（ｃ）で説明したとおりである。
そのため、ＣＰＵ２１は、ｎ回吐出分のフレームを検索したか否かを判断し（ステップ１１０）、検索していない場合は（ステップ１１０；Ｎ）、検索を継続する（ステップ１１５）。
そして、液滴像６１が検索された場合には、ステップ１０５に戻り当該フレームを先に記憶してあるフレームに重ね合わせて（これにより液滴像６１を重ね合わせて）記憶する（ステップ１０５）。

一方、ＣＰＵ２１は、ｎ回吐出分のフレームを検索した場合（ステップ１１０；Ｙ）、重ね合わせた液滴像６１を用いて液滴１０の良・不良を画像判定する（ステップ２０）。
そして、ＣＰＵ２１は、液滴１０の状態が良の場合は（ステップ２５；Ｙ）、良判定を出力し（ステップ３５）、不良の場合は（ステップ２５；Ｎ）、不良判定を出力する（ステップ４０）。

なお、上の例では、トリガ信号４１を検知してから液滴１０の連射が終了するまで液滴像６１を検索したが、連射する時間間隔が予めわかっているため、最初の１回目の液滴像６１が検索されれば、次の液滴像６１がどのフレームで認識されて検索されるか予想することができる。
そのため、コンピュータ２は、予想されるタイミング付近のフレームで液滴像６１を検索し、他のフレームでの検索は行わないように構成することもできる。
これによりコンピュータ２の計算負荷を低減することができる。

以上に説明した実施の形態によれば、次のような効果を得ることができる。
（１）液滴１０の吐出機構のハードウェア的な構成の詳細を知らなくてもソフトウェア的なシステムを構築するだけで検査システムを構築することができる。そのため、構築が容易であり、コストも低減できる。
（２）着滴位置精度の評価などを行うことにより、液滴１０を吐出するピエゾ素子の寿命やノズル詰まりによる吐出不良を発見することができる。
（３）液滴１０をストロボ撮影する方式の場合、ストロボの光が液滴１０に当たるように設置し、かつ外光（外乱）による影響がないように暗室で撮影する必要があった。更に、短時間（例えば０．０１秒間隔）の連続吐出において、ストロボ発光のタイミングで撮影し、液滴１０の有無を短時間に画像認識で確認することは撮影とストロボ発光のタイミングが合わないことによる撮影ミスがあり、困難であった。この点、液滴吐出装置１は、照明６によって液滴１０を連続照明しつつ、動画撮影するため、このような問題はない。
（４）動画により液滴１０を連続撮影するため、ディスペンサ３から連続吐出される液滴１０の数を適切にカウントすることができ、吐出の検査を適切に評価することができる。
（５）液滴１０の吐出タイミングを厳密に検知する必要がないので、安価なソフトウェア的な構成でトリガ信号４１を検知することができる。
（６）ディスペンサ３から吐出される液滴数のカウントを適切に評価することができる。

１ 液滴吐出装置
２ コンピュータ
３ ディスペンサ
４ ノズル
５ カメラ
６ 照明
８ 制御装置
１０ 液滴
２１ ＣＰＵ
２２ ＲＯＭ
２３ ＲＡＭ
２４ インターフェース
２５ 入力装置
２６ 出力装置
２７ 記憶装置
３１ フレーム
４１ トリガ信号
５１ 検知タイミング
６１ 液滴像
７１ 基準線
７２ 基準線
７３ 基準線

Claims (11)

1. 複数の吐出信号を所定間隔で発生する吐出信号発生手段と、
   前記発生した吐出信号に同期して液滴を吐出する液滴吐出手段と、
   前記吐出した液滴が飛翔する領域を動画に撮影する撮影手段と、
   前記発生した吐出信号を検出する検出手段と、
   吐出信号を前記検出した時点より所定時間遡った時点を起点として、前記動画に撮影された液滴の画像を検索する検索手段と、
   前記検索した液滴の画像から当該液滴の良・不良を判定する判定手段と、
   前記判定手段による判定結果を出力する出力手段と、
   を具備したことを特徴とする液滴吐出装置。
2. 前記所定時間は、前記吐出信号発生手段が吐出信号を発生してから、前記検出手段が吐出信号を検出するまでの時間よりも長いことを特徴とする請求項１に記載の液滴吐出装置。
3. 前記所定時間は、前記所定間隔未満であることを特徴とする請求項１、又は請求項２に記載の液滴吐出装置。
4. 前記検索手段の検索対象の範囲に含まれない動画を記憶装置から消去する消去手段を具備したことを特徴とする請求項１、請求項２、又は請求項３に記載の液滴吐出装置。
5. 前記起点を設定する吐出信号は、連続する複数の吐出信号のうちの最初の吐出信号であることを特徴とする請求項１から請求項４までのうちの何れか１の請求項に記載の液滴吐出装置。
6. 前記判定手段は、前記液滴の画像の形状を用いて前記液滴の吐出状態の良否を判定することを特徴とする請求項１から請求項５までのうちの何れか１の請求項に記載の液滴吐出装置。
7. 前記判定手段は、前記吐出状態として前記液滴の吐出方向を判定し、
   前記形状が所定の基準領域にある場合に良と判定し、当該基準領域にない場合に不良と判定することを特徴とする請求項６に記載の液滴吐出装置。
8. 前記判定手段は、前記吐出状態として前記液滴の大きさを判定し、
   前記形状から得られる前記液滴の大きさが所定の基準値以上の場合に良と判定し、当該基準値未満の場合に不良と判定することを特徴とする請求項６に記載の液滴吐出装置。
9. 前記判定手段は、前記吐出状態として前記液滴の速度を判定し、
   前記形状から得られる前記液滴の速度が所定の基準値以上の場合に良と判定し、当該基準値未満の場合に不良と判定することを特徴とする請求項６に記載の液滴吐出装置。
10. 前記判定手段は、複数の前記液滴の画像を重ね合わせ、当該重ね合わせた画像の色の濃さを用いて前記液滴の吐出状態の良否を判定することを特徴とする請求項１から請求項５までのうちの何れか１の請求項に記載の液滴吐出装置。
11. 複数の吐出信号を所定間隔で発生する吐出信号発生ステップと、
    前記発生した吐出信号に同期して液滴を吐出する液滴吐出ステップと、
    前記吐出した液滴が飛翔する領域を動画に撮影する撮影ステップと、
    前記発生した吐出信号を検出する検出ステップと、
    吐出信号を前記検出した時点より所定時間遡った時点を起点として、前記動画に撮影された液滴の画像を検索する検索ステップと、
    前記検索した液滴の画像から当該液滴の良・不良を判定する判定ステップと、
    前記判定ステップによる判定結果を出力する出力ステップと、
    を備えたことを特徴とする液滴吐出検査方法。

Images