JP5294988B2 - 撮像装置及び撮像方法 - Google Patents

Description

本発明は、撮像装置、検査装置、撮像方法及びフラットパネルディスプレイの検査方法に関する。

撮像装置の中には、画像を取得して画像処理を行う一連の動作を、複数回繰り返す装置がある。こうした装置の典型的な例としては、ロボットの頭部や手につけたカメラによるロボットビジョンや、液晶等のフラットパネルディスプレイの点灯検査装置等があげられる。ロボットビジョンでは一の場所で撮像後、画像処理を実行し、その後、頭や手を動かして視野を移動して、次の場所で再び撮像後、画像処理を実行する、この一連の作業を複数回繰り返す。フラットパネルディスプレイの点灯検査装置では、一の表示画面で撮像後、検査を実行し、その後、表示画面を切り替えて、次の表示画面で撮像後、検査を実行する、この一連の作業を複数回繰り返す。

例えば、特許文献１では、電子的撮像装置において、ホワイトバランスをとるための撮像を行い、次に本撮像を行うフローチャートが示されている。

特開平８−０５１５７１号公報

しかしながら、前述のロボットに取り付けたカメラによるロボットビジョンや、液晶等のフラットパネルディスプレイの点灯検査装置では、複数回撮像する画像の各々で被写体に応じて撮像条件（光源やメカ系の設定、露光条件等）を変える場合が多い。またその一方で、製造現場で工数の短縮が求められるために、撮像から画像処理までの一連の動作の繰り返しを、短い時間で実行することが求められる。

特許文献１では、ホワイトバランスをとるための撮像と、本撮像を行うフローを開示しているが、順次撮像を行うため、２回の撮像に時間がかかる課題を有している。２回の撮像の間にホワイトバランスを算出する画像処理と本撮像のための撮像条件（白色板はねあげ、アンプ増幅率設定等）の設定のための時間が必要になり、２回の撮像の時間間隔を制限している。

上述の問題点に鑑みて本発明は、画像取得動作から画像処理までの一連の動作を、撮像条件を変えて複数回行う作業に必要な時間を短縮することができる撮像装置、検査装置、撮像方法及びフラットパネルディスプレイの検査方法を提供することを目的とする。

本発明の撮像装置は、少なくとも連続する第１の撮像画像及び第２の撮像画像を取得して画像処理する撮像装置であって、前記第１の撮像画像の画像処理の予定終了時刻及び前記第２の撮像画像の撮像条件設定の予定終了時刻を基に前記第２の撮像画像の取得動作の開始を待機させるウェイト時間を設定するウェイト時間設定部と、前記ウェイト時間設定部により設定されたウェイト時間が経過してから、前記第２の撮像画像の取得動作を開始させるように制御するとともに、前記第２の撮像画像の撮像条件設定が終了するまでの期間と前記第１の撮像画像の画像処理が終了するまでの期間との少なくとも一部が重複するように制御する画像取得制御部とを有することを特徴とする。

また、本発明の撮像方法は、少なくとも連続する第１の撮像画像及び第２の撮像画像を取得して画像処理する撮像方法であって、前記第１の撮像画像の画像処理の予定終了時刻及び前記第２の撮像画像の撮像条件設定の予定終了時刻を基に前記第２の撮像画像の取得動作の開始を待機させるウェイト時間を設定するウェイト時間設定ステップと、前記ウェイト時間設定ステップにて設定されたウェイト時間が経過してから、前記第２の撮像画像の取得動作を開始させるように制御するとともに、前記第２の撮像画像の撮像条件設定が終了するまでの期間と前記第１の撮像画像の画像処理が終了するまでの期間との少なくとも一部が重複するように制御する画像取得制御ステップとを有することを特徴とする。

本発明によれば、画像取得動作から画像処理までの一連の動作を複数回行う作業を短時間で実行することができる。

本発明の第１の実施形態に係る撮像装置の構成例を示す図である。 動作モード切り替え手段の設定切り替えフローを示す図である。 順次動作シーケンス手段における動作ステップのフローチャートである。 並行動作シーケンス手段における動作ステップのフローチャートである。 ウェイト時間設定処理の詳細を示すフローチャートである。 順次動作シーケンス及び並列動作シーケンスのタイミングチャートである。 並行動作シーケンスのタイミングチャートである。 本発明の第３の実施形態に係る撮像装置の構成例を示す図である。 順次動作シーケンス及び並列動作シーケンスのタイミングチャートである。 ウェイト時間設定処理の詳細を示すフローチャートである。

（第１の実施形態）
本発明の第１の実施形態に係る撮像装置の構成例を図１を用いて、またその動作による撮像方法を図２〜７を用いて説明する。ここでは、第１の実施形態として、ロボットビジョンに適用した例を示す。ここでの例示するロボットは、産業用として部品の外観検査を行うものを想定し、ロボットアームの先端にカメラがとりつけられ、アームが部品の周囲を移動しながら複数回撮像することで、複数方向の部品の表面の検査を行うものを想定する。複数方向での撮像は、撮像条件として撮像補助手段としての光源とカメラ位置の条件を設定変更しながら行う。光源の条件としては、検査したい項目により、明視野となるようにカメラと同じ方向から照明するか、暗視野となるようにカメラと異なる方向から低い角度で部品を照明するか変更するために光源を切り替えたり、光源の輝度、照明時間を変更する。カメラ位置の条件としては、ロボットアーム自身を動かして、部品に対するカメラの位置を変更するものとしている。

図１において、１２０は被写体であり、外観検査する部品である。１０１は、撮像装置であり、１点鎖線内の各構成手段からなる。１０２は撮像条件を設定するための撮像補助手段であり、例えば、光源１、光源２、カメラ位置を決定するロボットアーム等である。１０３は、撮像手段（撮像部）としてのカメラ部である。１０４は、撮像装置１０１の制御を行う制御手段であり、例えばプログラムで動作するマイコンチップである。また、制御手段１０４は、ソフトウェアでプログラムを実行するＰＣ（パーソナルコンピュータ）であったり、あるいは産業用で用いられるＰＬＣ（プログラマブルロジックコントローラ、シーケンサとも呼ばれる）等でもよい。１０５は撮像条件を設定する撮像条件設定手段であり、点灯する光源の選択やロボットアームの位置等の撮像補助手段１０２の設定と撮像手段１０３の蓄積時間等の制御信号を出力する。１０６は画像取得開始手段であり、撮像手段１０３の画像取得を開始する制御信号を出力する。ここでは、画像取得開始手段１０６が撮像手段１０３の蓄積動作及び転送動作を開始する外部トリガ信号を出力することを例示する。１０７は画像処理手段であり、撮像手段１０３から転送される画像データを受け取り、所定の画像処理を行った後、結果を出力する。１０８は撮像毎設定保持手段であり、メモリやレジスタ領域である。撮像毎設定保持手段１０８は、プログラムや外部からの設定手段により設定された各撮像段階ごとの撮像条件等の設定値を記録する。１０９は、ウェイト時間設定手段（ウェイト時間設定部）である。１１０は、画像取得制御手段（画像取得制御部）である。ウェイト時間設定手段１０９は、撮像条件確立時刻取得手段１１１と画像処理確立時刻取得手段１１２と時刻評価手段１１３とウェイト時間設定手段１１４を有する。また、画像取得制御手段１１０は、並行動作シーケンス手段１１５と順次動作シーケンス手段１１６と動作モード切り替え手段１１７を有する。また、１１８は画像処理手段１０７からの処理結果を出力する結果出力手段であり、ここではＬＡＮ（ローカルエリアネットワーク）を通じて、外観検査結果のデータファイルを送信する通信手段である。１１９は、設定入力手段であり、ここでは制御値を入力するボタンやキーボードである。

撮像補助手段１０２は、例えば、光源１、光源２、ロボットアーム等である。光源１及び光源２は、波長が異なる光源である。光源１及び光源２は、発光が安定するまで所定の時間を要する。また、ロボットアームは、先端に撮像手段１０３が取り付けられ、移動することにより、被写体１２０に対する撮像手段１０３の位置を変えることができる。また、ロボットアームの先端に被写体１２０を取り付け、撮像手段１０３に対する被写体１２０の位置を変えるようにしてもよい。ロボットアームは、その移動に振動を伴うため、移動後の位置が安定するまで所定の時間を要する。撮像条件設定手段１０５が撮像補助手段１０２の撮像条件を設定すると、その撮像条件が確立するまでに所定の時間を要する。

設定入力手段１１９から入力された値や不図示のプログラム実行手段により読み込まれた設定値が撮像毎設定保持手段１０８に記録される。この撮像毎の設定値をもとに、撮像条件確立時刻取得手段１１１は撮像条件の確立する時刻を計算して取得し、また画像処理確立時刻取得手段１１２は少なくとも一部の画像処理が確立する時刻を計算して取得する。時刻評価手段１１３は、それぞれの時刻を比較して評価を行い結果を出力する。ウェイト時間設定手段１１４は、時刻評価手段１１３の結果を受けて、ウェイト時間を決定して、並行動作シーケンス手段１１５の動作を設定する。動作モード切り替え手段１１７は、設定入力手段１１９の切り替え信号に応じて、並行動作シーケンス手段１１５で決定するシーケンス動作の各信号と順次動作シーケンス手段１１６で決定するシーケンス動作の各信号いずれを用いるかを切り替える。その際、動作モード切り替え手段１１７は、撮像条件設定手段１０５、画像取得開始手段１０６、画像処理手段１０７の連続動作のための各信号として、並行動作シーケンス手段１１５の各信号と順次動作シーケンス手段１１６の各信号いずれを用いるかを切り替える。

図３に、順次動作シーケンス手段１１６における動作ステップのフローチャートを示す。また、図６（ａ）にこの順次動作シーケンスにおけるタイミングチャートを示す。図６中の「カメラ動作 ６０４」は、図３において、ステップ３０１で順次動作シーケンスが開始されると、まずステップ３０２では、順次動作シーケンス手段１１６はｍ番目の撮像を示す値ｍを初期化する。次に、ステップ３０３では、順次動作シーケンス手段１１６は値ｍを１つ進める。ステップ３０４では、順次動作シーケンス手段１１６はｍ撮像目の撮像条件を取得して、撮像条件設定手段１０５により設定を行う。ステップ３０５では、順次動作シーケンス手段１１６はｍ撮像目の撮像条件が確立するまでの時間Ｔ１（ｍ）が経過するまで待機する。時間Ｔ１（ｍ）の経過後、ステップ３０６では、順次動作シーケンス手段１１６は画像取得開始手段１０６を制御してｍ撮像目の画像取得を実行する。ステップ３０７では、順次動作シーケンス手段１１６はｍ撮像目の撮像における撮像手段１０３に必要な蓄積時間Ｔｓ（ｍ）と転送時間Ｔｔ（ｍ）が経過するまで待機する。経過後、ステップ３０８では、順次動作シーケンス手段１１６は画像処理手段１０７を設定してｍ撮像目の画像処理を実行する。ステップ３０９では、順次動作シーケンス手段１１６はｍ撮像目の撮像画像の少なくとも一部の画像処理に必要な時間Ｔ２（ｍ）が経過するまで待機する。経過後、ステップ３１０では、順次動作シーケンス手段１１６は連続撮像の終了条件に達したかどうかを判定する。連続撮像の終了条件に達していない場合は、ステップ３０３に進む。連続撮像の終了条件に達した場合は、ステップ３１１に進み、シーケンスを終了する。

図６（ａ）において画像処理６０１は画像処理手段１０７で実行される画像処理の実行タイミングを示しており、Ｔ２（ｍ）がｍ番目の撮像に対する画像処理期間である。撮像条件設定６０２は、撮像条件設定手段１０５で設定する設定タイミングと、その後、撮像条件が確立するまで待機すべき時間を示しており、Ｔ１（ｍ）がｍ番目の撮像に対する撮像条件確立までに必要な時間である。カメラトリガ６０３は撮像手段１０３の蓄積開始を指示する外部トリガ信号のタイミングを示している。カメラ動作６０４は、カメラトリガ６０３により動作を開始した撮像手段１０３の光電変換による電荷の蓄積時間Ｔｓ（ｍ）とデータの転送時間Ｔｔ（ｍ）のタイミングを示している。図６（ａ）において、Ｔｊ（ｍ）の期間がｍ枚目の撮像を行う１撮像期間である。

図３及び図６（ａ）で示したように、順次動作シーケンスにおいては、前の撮像の画像処理が終了後、撮像条件の設定を開始して、その後、撮像手段１０３の電荷の蓄積とデータ転送を行うように、順次動作を行っていく。

次に、図４、図５に、本実施形態の並行動作シーケンス手段１１５における動作ステップのフローチャートを示す。また、図６（ｂ）にこの並行動作シーケンスにおけるタイミングチャートを示す。図４において、ステップ４０１で並行動作シーケンスが開始されると、まずステップ４０２では、並行動作シーケンス手段１１５はｍ番目の撮像かを示す値ｍを初期化する。次に、ステップ４０３では、並行動作シーケンス手段１１５は値ｍを１つ進める。ステップ４０４では、並行動作シーケンス手段１１５はｍ撮像目の撮像条件を取得して、撮像条件設定手段１０５により設定を行う。ステップ４０５では、並行動作シーケンス手段１１５はウェイト時間Ｔｗ（ｍ）の設定を行うステップを実行する。ステップ４０５内のシーケンス詳細は図５を用いて後述する。ステップ４０６では、並行動作シーケンス手段１１５は１枚目の撮像かどうかを判断し、１枚目の撮像の場合はステップ４０７を飛ばしてステップ４０８に進む。２枚目以降の場合は、ステップ４０７に進み、並行動作シーケンス手段１１５は画像取得開始手段１０６を制御してｍ−１枚目の画像処理の実行を行う。

ステップ４０８では、並行動作シーケンス手段１１５はステップ４０５で設定したウェイト時間Ｔｗ（ｍ）が経過したかどうかを判断し、経過した場合はステップ４０９でｍ撮像目の画像取得を実行する。ステップ４１０では、並行動作シーケンス手段１１５はｍ撮像目の撮像における撮像手段１０３に必要な蓄積時間Ｔｓ（ｍ）と転送時間Ｔｔ（ｍ）が経過するまで待機する。経過後、ステップ４１１では、並行動作シーケンス手段１１５は連続撮像の終了条件に達したかどうかを判定する。連続撮像の終了条件に達していない場合は、ステップ４０３に進む。連続撮像の終了条件に達した場合は、ステップ４１２に進み、並行動作シーケンス手段１１５は画像処理手段１０７を設定してｍ撮像目の画像処理を実行する。ステップ４１３では、並行動作シーケンス手段１１５はｍ撮像目の撮像画像の少なくとも一部の画像処理に必要な時間Ｔ２（ｍ）が経過するまで待機して、経過後ステップ４１４に進み、シーケンスを終了する。

図５は、図４のステップ４０５のウェイト時間設定処理の詳細を示すフローチャートである。ステップ５０１でウェイト時間Ｔｗ（ｍ）の設定を行うシーケンスが開始すると、ステップ５０２では、撮像条件確立時刻取得手段１１１はｍ枚目の撮像条件の確立する時刻ｔ１の取得を行う。ｍ枚目の撮像条件の確立する時刻ｔ１は、ｍ枚目の撮像条件が設定された時刻から、撮像条件が確立するのに必要な時間Ｔ１（ｍ）が経過した時刻を求めることで得られる。ステップ５０３では、画像処理確立時刻取得手段１１２は（ｍ−１）枚目の撮像画像の画像処理の少なくとも一部が確立する時刻ｔ２の取得を行う。時刻ｔ２は、（ｍ−１）枚目の撮像画像が撮像手段１０３から画像処理手段１０７に転送終了した時刻から、（ｍ−１）枚目の撮像画像についての画像処理の少なくとも一部が確立するまでに必要な演算時間Ｔ２（ｍ−１）が経過した時刻として求めることができる。ステップ５０４では、時刻評価手段１１３は時刻ｔ１とｔ２の評価を行う。評価内容として、具体的には、時刻評価手段１１３は時刻ｔ１とｔ２のいずれが後の時刻かを比較し、時刻ｔ１≧ｔ２になる場合は、ステップ５０５に進み、Ｔｗ（ｍ）＝Ｔ１（ｍ）を代入する。時刻ｔ１＜ｔ２になる場合は、ステップ５０６に進み、時刻評価手段１１３はＴｗ（ｍ）＝Ｔ１（ｍ）＋（ｔ２−ｔ１）を代入する。ステップ５０７において、ウェイト時間設定手段１１４はウェイト時間としてＴｗ（ｍ）を設定して、ステップ５０８でウェイト時間Ｔｗ（ｍ）の設定シーケンスを終了する。

以上のように、時刻ｔ１≧ｔ２になる場合は、ｍ撮像目の撮像条件が確立する時刻ｔ１が経過するまでをウェイト時間Ｔｗ（ｍ）として設定し、その撮像条件確立後に、ｍ撮像目の画像取得を実行し、電荷蓄積及びデータ転送を行う。また、時刻ｔ１＜ｔ２になる場合は、ｍ−１撮像目の画像処理確立時刻ｔ２が経過するまでのウェイト時間Ｔｗ（ｍ）として設定し、その画像処理確立後に、ｍ撮像目の画像取得を実行し、電荷蓄積及びデータ転送を行う。以下、その理由を説明する。ｍ−１撮像目の画像処理は、フレームメモリ内のｍ−１撮像目の画像データを基に行う。そのため、ｍ−１撮像目の画像処理確立時刻ｔ２の前に、ｍ撮像目の画像取得を実行してしまうと、フレームメモリ内にｍ撮像目の画像データが上書きされ、ｍ−１撮像目の画像データが消去され、ｍ−１撮像目の画像処理ができなくなってしまう。この理由により、ステップ５０６の処理が必要になる。

図６（ｂ）において、画像処理６０１は画像処理手段１０７で実行される画像処理の実行タイミングを示しており、Ｔ２（ｍ）がｍ番目の撮像に対する画像処理時間である。撮像条件設定６０２は、撮像条件設定手段１０５で設定する設定タイミングと、その後、撮像条件が確立するまで待機すべき時間を示しており、Ｔ１（ｍ）がｍ番目の撮像に対する撮像条件確立までに必要な時間である。カメラトリガ６０３は撮像手段１０３の蓄積開始を指示する外部トリガ信号のタイミングを示している。カメラ動作６０４は、カメラトリガ６０３により動作を開始した撮像手段１０３の蓄積時間Ｔｓ（ｍ）とデータの転送時間Ｔｔ（ｍ）のタイミングを示している。図６（ｂ）において、Ｔｈ（ｍ）の期間はｍ枚目の撮像を行う１撮像期間であり、図６（ａ）の順次動作シーケンスの１撮像期間Ｔｊ（ｍ）より短くなる。

図４、図５及び図６（ｂ）で示したように、並行動作シーケンスにおいては、第１の撮像の画像処理の終了前に、第２の撮像の撮像条件の設定を開始して、その後、撮像手段１０３の蓄積とデータ転送を行うように、並行して動作を行っていく。このときに、第１の撮像の画像処理が第２の撮像のデータ転送前に完了し、かつ第２の撮像の撮像条件設定が第２の撮像の蓄積動作の前に完了することが重要となる。この判定を簡易的に行うため、本実施形態では時刻ｔ１とｔ２の比較を行い、遅い時刻でウェイト時間Ｔｗ（ｍ）を決定する例を示した。

画像取得制御手段１１０は、第１の撮像画像の画像処理の予定終了時刻ｔ２及び第２の撮像画像の撮像条件設定の予定終了時刻ｔ１のいずれか遅い方が経過してから、第２の撮像画像の画像取得動作を開始させるように制御する。

簡易的な方法で行うことは、システムの構造を簡単にするため、ソフトウェアや装置の開発コストをおさえる面、誤動作、バグの要因を少なくし、保守をしやすくする面、ユーザーのシステム理解を容易にして利便性を高める面で重要である。

図７（ａ）、（ｂ）は、図６（ｂ）と同じ並行動作シーケンスのタイミングチャートである。ここで、図７（ａ）は図６（ｂ）と同様ｔ１≧ｔ２のときのタイミング関係を示している。ウェイト時間はＴｗ（ｍ）＝Ｔ１（ｍ）となる。一方、図７（ｂ）はｔ１＜ｔ２のときのタイミング関係を示している。ウェイト時間はＴｗ（ｍ）＝Ｔ１（ｍ）＋（ｔ２−ｔ１）となる。

以上説明したように、第１の撮像画像に対する処理結果の少なくとも一部が確立するまでの時間と、第２の撮像画像のための撮像条件が確立するまでの時間のそれぞれが、各々の撮像に必要な要素によって長くなったり短くなったりすることがある。その場合でも、両者が確立した最短の時間で画像取得の開始をさせることが可能になる。

（第２の実施形態）
本発明の第２の実施形態に係る撮像装置について説明する。図２に、図１の動作モード切り替え手段１１７の設定切り替えフローを示す。ステップ２０１では、設定入力手段１１９より動作モードの切り替えの入力が行われる。すると、ステップ２０２において、動作モード切り替え手段１１７は動作モードの切り替えとして、並行動作が選択されたかどうかの判別を行う。選択されたと判断した場合にはステップ２０３に進み、モード切り替え手段１１７は出力として並行動作シーケンス手段の出力を選択する。その後、ステップ２０５でモード設定を終了する。一方、並行動作が選択されなかったと判断した場合にはステップ２０４に進み、モード切り替え手段１１７は出力として順次動作シーケンス手段の出力を選択する。その後、ステップ２０５でモード設定を終了する。

第１の実施形態のように、並行動作シーケンスは複数の撮像と画像処理を組み合わせた連続撮像用途において、一連の動作時間を短縮する効果が得られる。これは、例えば、製造工程における検査工程において、検査工数の削減を実現して、製造コストを低減することを可能とする。ただし、並行動作シーケンスは、前の撮像の画像処理ステップと次の撮像の撮像条件設定ステップを並行して行うため、１つ１つの撮像動作と画像処理動作が正しく行われたのかを検証しにくくなってしまいユーザーの利便性を損なうことが懸念される。本実施形態では、この件にも配慮して、並行動作シーケンスと順次動作シーケンスを切り替え可能な構成とした。例えば、装置の管理者が１つ１つの撮像動作と画像処理動作が正しく行われたのかを検証する場合には、順次動作シーケンスを選択して動作検証を行い、作業者が工程で実際に作業を行う場合には並行動作シーケンスを行うように切り替えて使用することができる。

以上のように、撮像して画像処理を行う１連の動作を１ステップとして複数回繰り返す場合に、各ステップの動作を順次確認するための設定用のモードと、時間短縮のため各ステップの動作を重複させながら行う作業用のモードの両者を選択することができる。そのため、利便性と作業時間の短縮の両立した装置が実現可能になる。また、利便性と作業時間の短縮の両立した装置が実現可能になる。

（第３の実施形態）
本発明の第３の実施形態に係る撮像装置の構成例を図８を用いて、またその動作による撮像方法を図９及び図１０を用いて説明する。本実施形態では、第１の撮像の画像処理が第２の撮像画像のデータ転送前に完了し、かつ第２の撮像の撮像条件設定が第２の撮像の蓄積動作の前に完了することが重要となる。第１の実施形態ではこの動作を簡易的な方法で行うため、時刻ｔ１とｔ２の比較を行い、遅い時刻でウェイト時間Ｔｗ（ｍ）を決定する例を示した。第３の実施形態では、さらに時間短縮を可能とするウェイト時間Ｔｗ（ｍ）を決定する例を示す。

ここでは、第３の実施形態として、液晶やＥＬ，プラズマディスプレイ等のフラットパネルディスプレイの点灯検査に適用する例を示す。ここでの例示する点灯検査は、フラットパネルディスプレイの製造工程において、ディスプレイ部分に信号源から信号を印加するとともに、バックライトを点灯して点灯表示を行うことで画素欠陥を検出したり、画質を評価する検査を想定する。

このとき、信号源はＲ（赤）、Ｇ（緑）、Ｂ（青）各色をそれぞれ単色で表示したり、全色消灯して黒表示としたり、全色点灯して白表示を行ったりして、各表示ごとに撮像を行うことで、Ｒ（赤）、Ｇ（緑）、Ｂ（青）各表示セルの欠陥を区別して検出する。また、バックライト以外に、ディスプレイ表面のゴミやキズを検出するように外部照明を照明する撮像も行う。また、場合によっては、光学フィルタを挿入して、特別な波長をカットする等の撮像を行う場合もある。したがって、信号源の信号の種類、光源の種類、光学フィルタの挿抜する時間等が、撮像条件として撮像補助手段の役割を果たす。

また、各撮像に対して行う画像処理も、その画像に応じて多様な処理を実行するため、画像処理時間も一定とは限らない。例えば、Ｂ（青）では点欠陥と線欠陥を検出する２種類の画像処理を行うが、黒表示では点欠陥と線欠陥の検出以外に、演算時間のかかるムラを検出する画像処理を行う等である。

また、各撮像画像を取得する蓄積時間も一定とは限らない。例えば、Ｂ（青）では非常に明るいため蓄積時間は短くてすむが、黒表示では輝度の低い画像から濃淡の差を検出するため蓄積時間を長くする必要がある等である。

このように、各撮像毎に時間関係が異なるとともに、その時間関係が検査機の使用するユーザーの使い方から決まる設定次第になるため、こうした検査装置の撮像と画像処理は順次処理で行われていた。本実施形態では、検査の時間短縮とユーザーの利便性の両立を実現する。

図８において、８２０，８０２，８０９以外は、第１の実施形態と同様の手段である。８２０は被写体であり、本実施形態では、点灯検査するフラットパネルディスプレイである。１０１は、撮像装置であり、１点鎖線内の各構成手段からなる。

８０２は撮像条件を設定するための撮像補助手段であり、例えば、光源、信号源、フィルタ挿抜メカ等である。１０５は撮像条件を設定する手段であり、点灯する光源や信号源の信号の選択、フィルタ挿抜等の撮像補助手段１０２の設定と撮像手段１０３の蓄積時間等の制御信号を出力する。また、１１８は画像処理手段からの処理結果を出力する結果出力手段であり、点灯検査結果のデータファイルを記録し、ＨＤＤに格納する手段である。

撮像補助手段８０２の光源は、被写体８２０を照射するためのものであり、選択された波長の発光が安定するまで所定の時間を要する。撮像補助手段８０２の信号源は、被写体８２０のフラットパネルディスプレイの表示を行うための赤、緑、青の色信号等であり、表示が安定するまで所定の時間を要する。撮像補助手段８０２のフィルタは、特別な波長をカットするための光学フィルタであり、光学フィルタを挿抜するために所定の時間を要する。

設定入力手段１１９から入力された値や不図示のプログラム実行手段により読み込まれた設定値が撮像毎設定保持手段１０８に記録される。この撮像毎の設定値をもとに、撮像条件確立時刻取得手段１１１は撮像条件の確立する時刻を計算して取得し、また画像処理確立時刻取得手段１１２は少なくとも一部の画像処理が確立する時刻を計算して取得する。時刻評価手段１１３は、それぞれの時刻を比較して評価を行い結果を出力する。ウェイト時間設定手段１１４は、時刻評価手段１１３の結果を受けて、ウェイト時間を決定して、並行動作シーケンス手段１１５の動作を設定する。動作モード切り替え手段１１７は、設定入力手段１１９の切り替え信号に応じて、並行動作シーケンス手段１１５で決定するシーケンス動作の各信号と順次動作シーケンス手段１１６で決定するシーケンス動作の各信号いずれを用いるかを切り替える。その際、動作モード切り替え手段１１７は、撮像条件設定手段１０５、画像取得開始手段１０６、画像処理手段１０７の連続動作のための各信号として、並行動作シーケンス手段１１５の各信号と順次動作シーケンス手段１１６の各信号いずれを用いるかを切り替える。

この動作モード切り替え手段１１７の設定切り替えフローは第１の実施形態と同様、図２で示される。また、順次動作シーケンス手段１１６の動作ステップのフローチャートは第１の実施形態と同様、図３で示される。また、並行動作シーケンス手段１１５の動作ステップのフローチャートも第１の実施形態と同様、図４で示される。

ただし、本実施形態では図４におけるウェイト時間Ｔｗ（ｍ）設定のフローが異なっているので、この点を図９のタイミングチャート及び図１０のフローチャートを用いて説明する。

図９（ａ）は第３の実施形態における順次動作シーケンス手段１１６の順次動作のタイミングチャートを、図９（ｂ）は、第３の実施形態における並行動作シーケンス手段１１５の並列動作のタイミングチャートを示している。図９（ａ）は図６（ａ）と同様である。図９（ｂ）において、画像処理６０１は画像処理手段１０７で実行される画像処理の実行タイミングを示しており、Ｔ２（ｍ）がｍ番目の撮像に対する画像処理時間である。撮像条件設定６０２は、撮像条件設定手段１０５で設定する設定タイミングと、その後、撮像条件が確立するまで待機すべき時間を示しており、Ｔ１（ｍ）がｍ番目の撮像に対する撮像条件確立までに必要な時間である。カメラトリガ６０３は撮像手段１０３の蓄積開始を指示する外部トリガ信号のタイミングを示している。カメラ動作６０４は、カメラトリガ６０３により動作を開始した撮像手段１０３の蓄積時間Ｔｓ（ｍ）とデータの転送時間Ｔｔ（ｍ）のタイミングを示している。図９（ｂ）において、Ｔｈ（ｍ）の期間はｍ枚目の撮像を行う１撮像期間であり、図９（ａ）の順次動作シーケンス手段１１６の撮像期間Ｔｊ（ｍ）より短くなっている。

ここで、図６（ｂ）と異なるのは、（ｍ−１）枚目の撮像した画像の処理の確立時刻ｔ２が、ｍ枚目の撮像の蓄積時間Ｔｓ（ｍ）にまでオーバーラップしているが、ｍ枚目の撮像のデータ転送開始時刻ｔｔｓ前には終了している点である。さらに、ｍ枚目の撮像の撮像条件設定期間Ｔ１（ｍ）が（ｍ−１）枚目の撮像した画像の転送時間Ｔｔ（ｍ−１）中に開始されているが、ｍ枚目の撮像の撮像条件確立時刻ｔ１が、ｍ枚目の撮像の蓄積開始時刻ｔｓｓ前には終了している点である。このような関係を満たすように、撮像条件設定６０２のタイミングからカメラトリガ６０３の発行までのウェイト時間Ｔｗ（ｍ）が決定される。

ｍ枚目の撮像の蓄積時間Ｔｓ（ｍ）は、撮像手段１０３内で画像データを生成中の期間であり、フレームメモリには未だ画像データが出力されていない。これに対し、ｍ枚目の撮像の転送時間Ｔｔ（ｍ）は、撮像手段１０３からフレームメモリへの転送が行われ、フレームメモリにｍ枚目の撮像の画像データが上書きされ、（ｍ−１）枚目の撮像の画像データが消去される。したがって、（ｍ−１）枚目の撮像した画像の処理の確立時刻ｔ２は、ｍ枚目の撮像のデータ転送開始時刻ｔｔｓ前に終了している必要がある。

第２の撮像画像の画像取得動作は、撮像手段１０３の電荷蓄積動作及びデータ転送動作を有する。画像取得制御手段１１０は、第２の撮像画像の撮像条件設定の予定終了時刻ｔ１経過後に第２の撮像画像の電荷蓄積動作を開始させ、かつ第１の撮像画像の画像処理の予定終了時刻ｔ２経過後に第２の撮像画像のデータ転送動作を開始させるように制御する。

図１０は、図４のステップ４０５のウェイト時間設定処理の詳細を示すフローチャートである。ステップ１００１でウェイト時間Ｔｗ（ｍ）の設定を行うシーケンスが開始すると、ステップ１００２では、ウェイト時間設定手段８０９は仮のＴｗ（ｍ）を設定して時刻ｔｓｓを算出して取得する。さらに、ステップ１００３では、ウェイト時間設定手段８０９は時刻ｔｓｓに蓄積時間Ｔｓ（ｍ）を加算して時刻ｔｔｓを取得する。さらに、ステップ１００４では、撮像条件確立時刻取得手段１１１はｍ枚目の撮像条件の確立する時刻ｔ１の取得を行う。ｍ枚目の撮像条件の確立する時刻ｔ１は、ｍ枚目の撮像条件が設定された時刻から、撮像条件が確立するのに必要な時間Ｔ１（ｍ）が経過した時刻として求めることができる。さらに、ステップ１００５では、画像処理確立時刻取得手段１１２は（ｍ−１）枚目の撮像画像の画像処理の少なくとも一部が確立する時刻ｔ２の取得を行う。時刻ｔ２は、（ｍ−１）枚目の撮像画像が撮像手段１０３から画像処理手段１０７に転送終了した時刻から、（ｍ−１）枚目の撮像画像についての画像処理の少なくとも一部が確立するまでに必要な演算時間Ｔ２（ｍ−１）が経過した時刻として求めることができる。

ステップ１００６〜１０１１では、ウェイト時間設定手段８０９は時刻ｔ１とｔ２の評価を行い、ウェイト時間の設定を行う。評価内容として、具体的には、ステップ１００６では、時刻評価手段１１３は（ｔｓｓ−ｔ１）≧（ｔｔｓ−ｔ２）かどうかを判定して、満たす場合はステップ１００７に進む。時刻評価手段１１３は、ステップ１００７で（ｔｔｓ−ｔ２）≧０を判定して満たす場合は、ステップ１００９に進み、Ｔｗ＝Ｔｗとする。時刻評価手段１１３は、ステップ１００７で（ｔｔｓ−ｔ２）≧０を満たさない場合は、ステップ１０１０に進み、ΔＴｗ＝（ｔ２−ｔｔｓ）、Ｔｗ＝Ｔｗ＋ΔＴｗとする。

また、時刻評価手段１１３は、ステップ１００６で（ｔｓｓ−ｔ１）≧（ｔｔｓ−ｔ２）を満たさない場合は、ステップ１００８に進む。また、時刻評価手段１１３は、ステップ１００８で（ｔｓｓ−ｔ１）≧０を判定して満たす場合は、ステップ１００９に進み、Ｔｗ＝Ｔｗとする。また、時刻評価手段１１３は、ステップ１００８で（ｔｓｓ−ｔ１）≧０を満たさない場合は、ステップ１０１１に進み、ΔＴｗ＝（ｔ１−ｔｓｓ）、Ｔｗ＝Ｔｗ＋ΔＴｗとする。

ステップ１０１２では、ウェイト時間設定手段１１４は、ウェイト時間としてＴｗ（ｍ）を設定して、ステップ１０１３でウェイト時間Ｔｗ（ｍ）の設定シーケンスを終了する。

このように、本実施形態においても並行動作シーケンスは、複数の撮像と画像処理を組み合わせた連続撮像用途において、一連の動作時間を短縮する効果が得られる。これは、多くの撮像を繰り返して行うフラットパネルディスプレイの点灯検査工程等において、検査工数の削減を実現して、製造コストを低減することを可能とする。

なお、本実施形態は、被写体８２０の代わりに、図１の被写体１２０を設ける場合にも適用することができる。

（第４の実施形態）
本発明の第４の実施形態による撮像装置について説明する。第３の実施形態の並行動作シーケンスは、前の撮像の画像処理ステップと次の撮像の撮像条件設定ステップを並行して行うため、１つ１つの撮像動作と画像処理動作が正しく行われたのかを検証しにくくなってしまい、ユーザーの利便性を損なうことが懸念される。

本実施形態でも、この件にも配慮して、動作モード切り替え手段１１７は、第２の実施形態（図２）と同様に、並行動作シーケンスと順次動作シーケンスを切り替え可能な構成とする。例えば、装置の管理者が１つ１つの撮像動作と画像処理動作が正しく行われたのかを検証する場合には、順次動作シーケンスを選択して動作検証を行い、作業者が工程で実際に作業を行う場合には並行動作シーケンスを行うように切り替えて使用することができる。

上記の第１〜第４の実施形態の撮像装置は、少なくとも連続する第１の撮像画像及び第２の撮像画像を取得して画像処理する。ウェイト時間設定手段１０９又は８０９は、第１の撮像画像の画像処理の予定終了時刻ｔ２及び第２の撮像画像の撮像条件設定の予定終了時刻ｔ１を基に第２の撮像画像の取得動作の開始を待機させるウェイト時間Ｔｗ（ｍ）を設定する。画像取得制御手段１１０は、ウェイト時間設定手段１０９又は８０９により設定されたウェイト時間Ｔｗ（ｍ）が経過してから、第２の撮像画像の取得動作を開始させるように制御する。それとともに、画像取得制御手段１１０は、第２の撮像画像の撮像条件設定の期間Ｔ１（ｍ）と第１の撮像画像の画像処理の期間Ｔ２（ｍ−１）との少なくとも一部が重複するように制御する。

例えば、撮像条件設定は、被写体を照射するための光源、第１及び第２の撮像画像を撮像するための撮像手段又は被写体を移動させるためのロボットアーム、撮像手段の光学フィルタの挿抜、又は被写体であるディスプレイに印加する信号の設定である。

これにより、第１の撮像画像の画像処理の予定終了時刻ｔ２と、第２の撮像画像の撮像条件設定の予定終了時刻ｔ１のそれぞれが、各々の撮像に必要な要素によって長くなったり短くなったりすることがある。その場合でも、両者が確立した最短の時間で画像取得の開始をさせることが可能になる。

図２では、動作モード切り替え手段１１７は、第１の撮像モードと、第２の撮像モードとの切り替えを行う。画像取得制御手段１１０は、第１の撮像モードでは、第１の撮像画像の画像処理の予定終了時刻ｔ２経過後に、第２の撮像画像の撮像条件設定を開始させた後、第２の撮像画像の画像取得を開始させるように制御する。また、画像取得制御手段１１０は、第２の撮像モードでは、ウェイト時間Ｔｗ（ｍ）が経過してから、第２の撮像画像の取得動作を開始させるように制御する。それとともに、第２の撮像モードでは、画像取得制御手段１１０は、第２の撮像画像の撮像条件設定の期間Ｔ１（ｍ）と第１の撮像画像の画像処理の期間Ｔ２（ｍ−１）との少なくとも一部が重複するように制御する。

これにより、撮像して画像処理を行う１連の動作を１ステップとして、これを複数回繰り返す場合に、各ステップの動作を順次確認するための設定用のモードと、時間短縮のため各ステップの動作を重複させながら行う作業用のモードの両者を選択することができる。そのため、利便性と作業時間の短縮の両立した装置が実現可能になる。

なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０１ 撮像装置、１０２ 撮像補助手段、１０３ 撮像手段、１０９ ウェイト時間設定手段、１１０ 画像取得制御手段、１２０ 被写体

Claims (12)

1. 少なくとも連続する第１の撮像画像及び第２の撮像画像を取得して画像処理する撮像装置であって、
   前記第１の撮像画像の画像処理の予定終了時刻及び前記第２の撮像画像の撮像条件設定の予定終了時刻を基に前記第２の撮像画像の取得動作の開始を待機させるウェイト時間を設定するウェイト時間設定部と、
   前記ウェイト時間設定部により設定されたウェイト時間が経過してから、前記第２の撮像画像の取得動作を開始させるように制御するとともに、前記第２の撮像画像の撮像条件設定が終了するまでの期間と前記第１の撮像画像の画像処理が終了するまでの期間との少なくとも一部が重複するように制御する画像取得制御部と
   を有することを特徴とする撮像装置。
2. 前記画像取得制御部は、前記第１の撮像画像の画像処理の予定終了時刻及び前記第２の撮像画像の撮像条件設定の予定終了時刻のいずれか遅い方の時刻の後に、前記第２の撮像画像の画像取得動作を開始させるように制御することを特徴とする請求項１記載の撮像装置。
3. 前記第２の撮像画像の取得動作は、撮像部の電荷蓄積動作及びデータ転送動作を含み、
   前記画像取得制御部は、前記第２の撮像画像の撮像条件設定の予定終了時刻の後に前記第２の撮像画像の前記電荷蓄積動作を開始させ、かつ前記第１の撮像画像の画像処理の予定終了時刻の後に前記第２の撮像画像の前記データ転送動作を開始させるように制御することを特徴とする請求項２記載の撮像装置。
4. 前記画像取得制御部は、
   第１の撮像モードでは、前記第１の撮像画像の画像処理の予定終了時刻の後に、前記第２の撮像画像の撮像条件設定を開始させた後、前記第２の撮像画像の取得動作を開始させるように制御し、
   第２の撮像モードでは、前記ウェイト時間設定部により設定されたウェイト時間が経過してから、前記第２の撮像画像の取得動作を開始させるように制御するとともに、前記第２の撮像画像の撮像条件設定が終了するまでの期間と前記第１の撮像画像の画像処理が終了するまでの期間との少なくとも一部が重複するように制御することを特徴とする請求項１記載の撮像装置。
5. 前記撮像条件設定は、被写体を照射するための光源、前記第１及び第２の撮像画像を撮像するための撮像部又は被写体を移動させるためのロボットアーム、前記撮像部の光学フィルタの挿抜、又は被写体であるディスプレイに印加する信号の設定であることを特徴とする請求項１〜４のいずれか１項に記載の撮像装置。
6. 請求項１〜５のいずれか１項に記載の撮像装置を有し、
   前記撮像装置は、フラットパネルディスプレイについて前記第１の撮像画像及び前記第２の撮像画像を取得することを特徴とする検査装置。
7. 少なくとも連続する第１の撮像画像及び第２の撮像画像を取得して画像処理する撮像方法であって、
   前記第１の撮像画像の画像処理の予定終了時刻及び前記第２の撮像画像の撮像条件設定の予定終了時刻を基に前記第２の撮像画像の取得動作の開始を待機させるウェイト時間を設定するウェイト時間設定ステップと、
   前記ウェイト時間設定ステップにて設定されたウェイト時間が経過してから、前記第２の撮像画像の取得動作を開始させるように制御するとともに、前記第２の撮像画像の撮像条件設定が終了するまでの期間と前記第１の撮像画像の画像処理が終了するまでの期間との少なくとも一部が重複するように制御する画像取得制御ステップと
   を有することを特徴とする撮像方法。
8. 前記画像取得制御ステップでは、前記第１の撮像画像の画像処理の予定終了時刻及び前記第２の撮像画像の撮像条件設定の予定終了時刻のいずれか遅い方の時刻の後に、前記第２の撮像画像の画像取得動作を開始させるように制御することを特徴とする請求項７記載の撮像方法。
9. 前記第２の撮像画像の取得動作は、撮像部の電荷蓄積動作及びデータ転送動作を含み、
   前記画像取得制御ステップでは、前記第２の撮像画像の撮像条件設定の予定終了時刻の後に前記第２の撮像画像の前記電荷蓄積動作を開始させ、かつ前記第１の撮像画像の画像処理の予定終了時刻の後に前記第２の撮像画像の前記データ転送動作を開始させるように制御することを特徴とする請求項８記載の撮像方法。
10. 前記画像取得制御ステップでは、
    第１の撮像モードでは、前記第１の撮像画像の画像処理の予定終了時刻の後に、前記第２の撮像画像の撮像条件設定を開始させた後、前記第２の撮像画像の取得動作を開始させるように制御し、
    第２の撮像モードでは、前記ウェイト時間設定ステップで設定されたウェイト時間が経過してから、前記第２の撮像画像の取得動作を開始させるように制御するとともに、前記第２の撮像画像の撮像条件設定が終了するまでの期間と前記第１の撮像画像の画像処理が終了するまでの期間との少なくとも一部が重複するように制御することを特徴とする請求項７記載の撮像方法。
11. 前記撮像条件設定は、被写体を照射するための光源、前記第１及び第２の撮像画像を撮像するための撮像部又は被写体を移動させるためのロボットアーム、前記撮像部の光学フィルタの挿抜、又は被写体であるディスプレイに印加する信号の設定であることを特徴とする請求項７〜１０のいずれか１項に記載の撮像方法。
12. 請求項７〜１１のいずれか１項に記載の撮像方法の各ステップを有し、
    フラットパネルディスプレイについて前記第１の撮像画像及び前記第２の撮像画像を取得することを特徴とするフラットパネルディスプレイの検査方法。

Images