JP5593750B2 - 画像処理方法および画像処理装置 - Google Patents

Description

本発明は、内部に封入された液体に電圧を印加することで当該液体の界面を変化させることで焦点位置を変化させるレンズを用いる画像処理方法および画像処理装置に関する。

従来から、ＦＡ（Factory Automation）分野などにおいては、各種の画像処理技術が利用されている。典型的には、検査対象を撮像して得られた画像データに基づいて、検査対象の被測定物（以下、「ワーク」とも称す。）に印字されている文字を認識したり、ワークの表面におけるキズの有無などを検査したりする画像処理技術（以下、「画像計測処理」とも称す。）が広く実用化されている。

このような画像計測処理においては、一般的には、ワークから所定距離だけ離れた位置に撮像部を配置するとともに、撮像部がその視野内に存在する被測定物を撮像することで生成される２次元の画像データが処理される。但し、画像計測処理の内容によっては、被測定物の高さ（撮像部の光軸方向での位置）の情報を用いて画像計測処理を行う必要もある。このような場合には、撮像部の被写界深度の情報などを用いて、ワークの立体的な情報が取得される場合もある（たとえば、特許文献１（特開２００５−３３１４８８号公報））。

ところで、撮像部の焦点位置を変化させる機構として、撮像素子に対するレンズの相対位置を機械的に変化させるような従来の光学系に代えて、内部に封入された液体に電圧を印加することで当該液体の界面を変化させて焦点位置を変化させる機構、いわゆる「液体レンズ」が提案されている。たとえば、特許文献２（特開２０００−３４７００５号公報）には、導電性である第１の液体と、セル中の絶縁層内部の表面領域に静止状態で配置された絶縁性の第２の液体とで満たされたセルを備える可変焦点レンズ（液体レンズ）が開示されている。

この特許文献２に開示されるような液体レンズを用いることで、撮像部の焦点位置をより高速に変化させることができ、また、レンズを機械的に動かす必要がないので、耐久性も高いというメリットがある。さらに、液体レンズにおける消費電力も相対的に小さい。

特開２００５−３３１４８８号公報 特開２０００−３４７００５号公報

日浦慎作、松山隆司"構造化瞳をもつ多重フォーカス距離画像センサ"電子情報通信学会論文誌、Ｄ−ＩＩ Ｖｏｌ．Ｊ８２−Ｄ−ＩＩ Ｎｏ．１１ ｐｐ．１９１２−１９２０ １９９９年１１月 飯田宗央、柳田悠一、浜本隆之"テクスチャ平たん領域の判定誤りを考慮した距離計測イメージセンサ"電子情報通信学会論文誌、Ｄ Ｖｏｌ．Ｊ９２−Ｄ Ｎｏ．１０ ｐｐ．１７６０−１７６２ ２００９年

しかしながら、上述の特許文献２に開示されるような液体レンズは、焦点位置を変化させるための指令を与えてから現実に焦点位置の変化が完了するまでに要する時間（反応時間）のばらつきが大きい。そのため、焦点位置の移動動作の再現性があまり高くない。そのため、上述のようなＦＡ分野で使用される画像処理装置にはそのまま適用することが難しかった。

そこで、本発明は、これらの問題を解決するためになされたものであり、その目的は、上述のような液体レンズを用いて、ワークに対する画像処理を適切に行うことが可能な画像処理方法および画像処理装置を提供することである。

本発明のある局面によれば、撮像部により被測定物を撮像して得られる画像データを処理する画像処理方法を提供する。本画像処理方法は、その内部に封入された液体に電圧を印加することで当該液体の界面を変化させて当該撮像部の焦点位置を変化させるレンズに対して、電圧を印加するステップと、電圧の印加開始からレンズによる焦点位置の変化が実質的に完了するまでの間、撮像部で生成される複数の画像データを記憶するステップと、記憶された画像データについて合焦を判定するステップと、合焦の判定結果から記憶されている画像データのうち被測定物についての画像処理に利用する画像データまたは部分画像を選択するステップとを含む。

好ましくは、本画像処理方法は、選択された画像データに対して画像計測処理を実行するステップをさらに含む。

あるいは好ましくは、選択するステップでは、複数の画像データから合焦状態となっている複数の部分画像を選択し、画像処理方法は、選択された複数の部分画像から合成画像を生成するステップをさらに含む。

好ましくは、画像処理方法は、レンズへの電圧の印加開始から予め定められた時間の経過後に、レンズによる焦点位置の変化が実質的に完了すると判断するステップをさらに含む。

好ましくは、画像処理方法は、撮像部により順次生成される画像データ間の差分が実質的になくなった場合に、レンズによる焦点位置の変化が実質的に完了すると判断するステップをさらに含む。

本発明の別の局面に係る画像処理装置は、被測定物を撮像して画像データを生成する撮像部と、その内部に封入された液体に電圧を印加することで当該液体の界面を変化させて当該撮像部の焦点位置を変化させるレンズと、撮像部により生成された画像データを記憶するための記憶部と、撮像部および記憶部を制御するための制御部とを含む。制御部は、被測定物を撮像すべきタイミングで撮像部の焦点位置を変化させるための指令を出力する手段と、レンズによる撮像部の焦点位置の変化が実質的に完了するまでの間、撮像部で順次生成される画像データのうち複数を記憶部へ格納する手段と、記憶部へ格納される画像データについて合焦判定を行う手段と、当該合焦判定の結果から記憶部へ格納されている画像データのうち被測定物についての画像処理に利用する画像データまたは部分画像を選択する手段とを含む。

本発明によれば、液体レンズを有する撮像部を用いて、ワークに対する画像処理を適切に行うことができる。

本発明の実施の形態に係る画像処理装置を含む視覚センサシステムの全体構成を示す概略図である。 本発明の実施の形態に係る画像処理装置の概略構成図である。 本実施の形態に係る撮像部に結合される液体レンズの構造および動作原理を説明するための図である。 本実施の形態に係る撮像部に結合される液体レンズの構造および動作原理を説明するための図である。 本実施の形態に係る液体レンズを結合した撮像部の構造例（その１）を示す図である。 本実施の形態に係る液体レンズを結合した撮像部の構造例（その２）を示す図である。 本実施の形態に係る液体レンズを結合した撮像部の構造例（その３）を示す図である。 本実施の形態に係る画像処理装置における液体レンズを制御するための構成例を示す図である。 液体レンズの反応特性の実験例を示す図である。 液体レンズの反応時間（平均値）の実験例を示す図である。 本実施の形態に係る撮像動作について説明する図である。 本実施の形態に係る全体処理手順を示すフローチャートである。 本実施の形態に係る画像処理装置の適用例を示す図である。 本実施の形態に係る画像処理装置の適用例を示す図である。 本実施の形態に係る画像処理装置の適用例を示す図である。 本実施の形態に係る画像処理装置において１枚の画像データを用いて計測処理を行う場合の処理手順を示すフローチャートである。 本実施の形態に係る画像処理装置の別の適用例を示す図である。 図１７に示す画像合成処理の結果の一例を示す図である。 本実施の形態に係る画像処理装置において複数枚の画像データを用いて画像合成処理を行う場合の処理手順を示すフローチャートである。 本実施の形態に係る画像処理装置のさらに別の適用例を示す図である。 図２０に示す距離画像生成処理の結果の一例を示す図である。

本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰返さない。

＜Ａ．概要＞
本実施の形態に係る画像処理方法および画像処理装置では、液体レンズへの駆動電圧の印加後、撮像部に画像データを順次生成させるとともに、これらの画像データを記憶する。そして、記憶した画像データに対して合焦判定を行って、その合焦判定の結果に基づいて、後段の画像処理に適切な（１または複数の）画像データおよび／または（１または複数の）部分画像を選択する。さらに、選択された画像データまたは部分画像を用いて、画像計測処理や画像合成処理を実行する。

後述するように、液体レンズは動作の再現性が低いが、本実施の形態に係る画像処理方法および画像処理装置では、このような不利な点を克服して、より適切な画像処理を提供できる。

＜Ｂ．全体装置構成＞
図１は、本発明の実施の形態に係る画像処理装置１００を含む視覚センサシステム１の全体構成を示す概略図である。

図１を参照して、視覚センサシステム１は、本実施の形態に係る画像処理システムの一適用例であり、生産ラインなどに組込まれてワーク２を撮像することで生成される画像データに基づいて、文字認識やキズ検査といった画像計測処理を実行する。

視覚センサシステム１においては、ワーク２はベルトコンベヤなどの搬送機構６によって搬送され、搬送されたワーク２は、撮像部８によって所定タイミングで撮像される。

撮像部８は、ＣＣＤ（Coupled Charged Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサといった撮像素子を含んで構成される。特に、撮像部８は、その内部に封入された液体に電圧を印加することで当該液体の界面を変化させて焦点位置を変化させる液体レンズと結合されている。この構成の詳細については後述する。なお、撮像部８で撮像されるワーク２に対して光を照射する照明機構をさらに設けてもよい。

撮像部８がワーク２を撮像して生成される画像データは、画像処理装置１００へ伝送される。

ワーク２が撮像部８の視野内に到達したことは、搬送機構６の両端に配置されたセンサ４によって検出される。具体的には、センサ４は、同一の光軸上に配置された受光部４ａと投光部４ｂとを含み、投光部４ｂから放射される光がワーク２で遮蔽されることを受光部４ａで検出することによって、ワーク２の到達を検出する。このセンサ４のトリガ信号は、ＰＬＣ（Programmable Logic Controller）５へ出力される。ＰＬＣ５は、センサ４などからのトリガ信号を受信するとともに、搬送機構６の制御自体を司る。

画像処理装置１００は、典型的には、汎用的なアーキテクチャを有しているコンピュータであり、予めインストールされたプログラム（命令コード）を実行することで、後述するような各種機能を提供する。このようなプログラムは、典型的には、メモリカード１０６などに格納された状態で流通する。

このような汎用的なコンピュータを利用する場合には、本実施の形態に係る機能を提供するためのアプリケーションに加えて、コンピュータの基本的な機能を提供するためのＯＳ（Operating System）がインストールされていてもよい。この場合には、本実施の形態に係るプログラムは、ＯＳの一部として提供されるプログラムモジュールのうち、必要なモジュールを所定の配列で所定のタイミングで呼出して処理を実行させるものであってもよい。すなわち、本実施の形態に係るプログラム自体は、上記のようなモジュールを含んでおらず、ＯＳと協働して処理が実行されてもよい。本実施の形態に係るプログラムとしては、このような一部のモジュールを含まない形態であってもよい。

さらに、本実施の形態に係るプログラムは、他のプログラムの一部に組込まれて提供されるものであってもよい。その場合にも、プログラム自体には、上記のような組合せられる他のプログラムに含まれるモジュールを含んでおらず、当該他のプログラムと協働して処理が実行される。すなわち、本実施の形態に係るプログラムとしては、このような他のプログラムに組込まれた形態であってもよい。なお、プログラムの実行により提供される機能の一部もしくは全部を専用のハードウェア回路として実装してもよい。

図２は、本発明の実施の形態に係る画像処理装置１００の概略構成図である。図２を参照して、画像処理装置１００は、演算処理部であるＣＰＵ（Central Processing Unit）１１０と、記憶部としてのメインメモリ１１２およびハードディスク１１４と、カメラインターフェイス１１６と、入力インターフェイス１１８と、表示コントローラ１２０と、ＰＬＣインターフェイス１２２と、通信インターフェイス１２４と、データリーダ／ライタ１２６と、レンズインターフェイス１３０とを含む。これらの各部は、バス１２８を介して、互いにデータ通信可能に接続される。

ＣＰＵ１１０は、ハードディスク１１４に格納されたプログラム（コード）をメインメモリ１１２に展開して、これらを所定順序で実行することで、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）などの揮発性の記憶装置であり、ハードディスク１１４から読み出されたプログラムに加えて、撮像部８によって取得された画像データ、ワークデータ、モデルに関する情報などを保持する。さらに、ハードディスク１１４には、各種設定値などが格納されてもよい。なお、ハードディスク１１４に加えて、あるいは、ハードディスク１１４に代えて、フラッシュメモリなどの半導体記憶装置を採用してもよい。

カメラインターフェイス１１６およびレンズインターフェイス１３０は、ワーク２を撮像して画像データを生成する撮像部８を画像処理装置１００に接続するためのインターフェイスに相当する。

より具体的には、カメラインターフェイス１１６は、撮像部８で生成される画像データのデータ伝送を仲介する。カメラインターフェイス１１６は、撮像部８で生成される画像データを一時的に蓄積するための画像バッファ１１６ａを含む。画像バッファ１１６ａに蓄積される画像データは、必要に応じて、メインメモリ１１２へ転送される。すなわち、画像バッファ１１６ａおよびメインメモリ１１２は、撮像部８により生成された画像データを記憶するための記憶部として機能する。

また、レンズインターフェイス１３０は、撮像部８に搭載された液体レンズを駆動するための制御信号などのデータ伝送を仲介する。より具体的には、レンズインターフェイス１３０は、ＣＰＵ１１０からの内部コマンドに従って、撮像部８の焦点位置を変化させるための電圧制御指令を撮像部８へ出力する。

また、カメラインターフェイス１１６またはレンズインターフェイス１３０からは、撮像条件（露光時間（シャッター速度）および絞り量）や、撮像開始タイミングを示す信号（トリガ信号）なども撮像部８に対して出力される。

なお、カメラインターフェイス１１６とレンズインターフェイス１３０とを一体的に構成してもよい。

入力インターフェイス１１８は、ＣＰＵ１１０とマウス１０４、キーボード、タッチパネルなどの入力部との間のデータ伝送を仲介する。すなわち、入力インターフェイス１１８は、ユーザが入力部を操作することで与えられる操作指令を受付ける。

表示コントローラ１２０は、表示装置の典型例であるディスプレイ１０２と接続され、ＣＰＵ１１０における画像処理の結果などをユーザに通知する。すなわち、表示コントローラ１２０は、ディスプレイ１０２に接続され、当該ディスプレイ１０２での表示を制御する。なお、図１には、ディスプレイ１０２と一体的に構成された画像処理装置１００を例示するが、両者を別体として構成してもよい。

ＰＬＣインターフェイス１２２は、ＣＰＵ１１０とＰＬＣ５との間のデータ伝送を仲介する。より具体的には、ＰＬＣインターフェイス１２２は、ＰＬＣ５によって制御される生産ラインの状態に係る情報やワーク２に係る情報などをＣＰＵ１１０へ伝送する。

通信インターフェイス１２４は、ＣＰＵ１１０とコンソール（あるいは、パーソナルコンピュータやサーバ装置）などとの間のデータ伝送を仲介する。通信インターフェイス１２４は、典型的には、イーサネット（登録商標）やＵＳＢ（Universal Serial Bus）などからなる。なお、後述するように、メモリカード１０６に格納されたプログラムを画像処理装置１００にインストールする形態に代えて、通信インターフェイス１２４を介して、配信サーバなどからダウンロードしたプログラムを画像処理装置１００にインストールしてもよい。

データリーダ／ライタ１２６は、ＣＰＵ１１０と記録媒体であるメモリカード１０６との間のデータ伝送を仲介する。すなわち、メモリカード１０６には、画像処理装置１００で実行されるプログラムなどが格納された状態で流通し、データリーダ／ライタ１２６は、このメモリカード１０６からプログラムを読出す。また、データリーダ／ライタ１２６は、ＣＰＵ１１０の内部指令に応答して、撮像部８によって取得された画像データおよび／または画像処理装置１００における処理結果などをメモリカード１０６へ書込む。なお、メモリカード１０６は、ＣＦ（Compact Flash）、ＳＤ（Secure Digital）などの汎用的な半導体記憶デバイスや、フレキシブルディスク（Flexible Disk）などの磁気記憶媒体や、ＣＤ−ＲＯＭ（Compact Disk Read Only Memory）などの光学記憶媒体等からなる。

また、画像処理装置１００には、必要に応じて、プリンタなどの他の出力装置が接続されてもよい。

＜Ｃ．液体レンズ＞
まず、本実施の形態に係る撮像部８に搭載される液体レンズの構造および動作原理について説明する。

図３および図４は、本実施の形態に係る撮像部８に結合される液体レンズの構造および動作原理を説明するための図である。

図３（ａ）を参照して、本実施の形態に係る液体レンズ８０は、一対の透光部８１および８２の間に封入された２種類の液体を含む。すなわち、液体レンズ８０の内部には、導電性の第１の液体８３と、絶縁性の第２の液体８４とが封入されている。そして、その内面がテーパー状に形成されたリング形状の第１の電極８５と、リング状の第２の電極８７とが、リング状の絶縁体８６を挟んで積層される。この積層された、第１の電極８５、リング状の絶縁体８６、およびリング状の第２の電極８７が、第１の液体８３および第２の液体８４を取り囲む。また、第１の電極８５の表面には、絶縁層８８が形成されている
一例として、第１の液体８３は、所定の導電性の物質が添加された水であり、第２の液体８４は、非導電性のオイルである。

この液体レンズ８０では、第１の電極８５と第２の電極８７との間に印加する電圧を調整することで、レンズ内部の第１の液体８３と第２の液体８４との間の界面が変化する。ここで、第１の液体８３と第２の液体８４との間の屈折率も異なるように設計されており、界面の変化によって、レンズを透過する光の屈折率も変化する。この屈折率の変化によって、レンズの焦点位置が移動することになる。このように、液体の界面の変化だけで、焦点位置を変化させるので、焦点合せに要する反応時間を短くでき、また、機械的な磨耗などの問題が生じない。

図３（ｂ）および図３（ｃ）には、第１の電極８５と第２の電極８７との間に、異なる大きさの電圧を印加した場合の状態を示す。特に、図３（ｂ）には、相対的に大きな電圧を印加した場合の液体レンズ８０の状態を示し、図３（ｃ）には、相対的に小さな電圧を印加した場合の液体レンズ８０の状態を示す。

図３（ｂ）に示すように、相対的に大きな電圧が印加された場合には、第２の液体８４がより大きく盛り上がるので屈折率が相対的に大きくなり、液体レンズ８０の焦点位置はＦ１の位置になる。これに対して、図３（ｃ）に示すように、相対的に小さな電圧が印加された場合には、第２の液体８４の盛り上がり量が小さくなるので屈折率が相対的に小さくなり、液体レンズ８０の焦点位置はＦ１より遠いＦ２の位置になる。

このように、第１の電極８５と第２の電極８７との間に印加する電圧の大きさに応じて、液体レンズ８０の焦点位置を変化させることができる。

このような液体レンズ８０の動作について、図４を参照してより詳しく説明する。図４（ａ）には、液体レンズ８０の断面構造を示し、図４（ｂ）には、電圧が印加されていない状態における、第１の電極８５における界面の状態を拡大して示し、図４（ｃ）には、電圧が印加された状態における、第１の電極８５における界面の状態を拡大して示す。

液体レンズ８０は、いわゆるエレクトロウエッティングと称される技術を用いて、その界面、すなわち焦点位置が制御される。

図４（ｂ）に示すように、電力に電圧が印加されていない状態においては、第１の液体８３、第２の液体８４、および第１の電極８５（絶縁層８８）の間に３種類の界面張力が生じる。すなわち、（１）第１の液体８３と第１の電極８５（絶縁層８８）との間に生じる界面張力γｓｗ、（２）第１の液体８３と第２の液体８４との間に生じる界面張力γｏｗと、および、（３）第２の液体８４と第１の電極８５（絶縁層８８）との間に生じる界面張力γｏｓが生じる。この３つの界面張力がバランスするように、第２の液体８４と第１の電極８５との間の接触角θが定まる。

次に、第１の電極８５と第２の電極８７との間に電圧が印加されると、第１の電極８５（絶縁層８８）が接する第１の液体８３および第２の液体８４のうち、導電性を有する第１の液体８３についてのみ電荷の移動が生じる。すなわち、第１の液体８３と第１の電極８５（絶縁層８８）との界面には、印加される電圧値に応じた量の電荷が生じる。一方、非導電性の第２の液体８４と第１の電極８５（絶縁層８８）との界面には、電荷が生じない。

その結果、発生する電荷の不均衡によって、第１の電極８５の界面に沿って、生じた電荷の量に応じた力Πが発生する（図４（ｃ）に示す例では、紙面下向き）。すると、図４（ｂ）に示すような界面張力γｓｗ，γｏｗ，γｏｓに加えて、力Πを含めてバランスするように、第２の液体８４と第１の電極８５との間の接触角がθからθ’へ変化する。すなわち、第２の液体８４と第１の電極８５との間の接触角が大きくなる。

これにより、第２の液体８４が凸状に盛り上がり、液体レンズ８０全体としての屈折率が変化することになる。

また、上述したように、第１の液体８３と第１の電極８５（絶縁層８８）との界面に生じる電荷の量（印加電圧に依存）が大きくなるほど、より大きな力Πが発生するので、第２の液体８４の接触角も大きくなる。したがって、印加電圧が大きいほど、より屈折率が大きくなる。

＜Ｄ．撮像部＞
次に、上述のような液体レンズ８０を結合した撮像部の構造の一例について説明する。
（ｄ１．構造その１）
図５は、本実施の形態に係る液体レンズ８０を結合した撮像部８の構造例（その１）を示す図である。

図５に示す撮像部８は、カメラユニット８０１と、レンズユニット８０２とから構成される。カメラユニット８０１は、撮像素子（図示しない）を有しており、開口部から入射する光を受光して、その像を表わす画像データを出力する。レンズユニット８０２は、カメラユニット８０１の入射光軸上に沿って、２つの液体レンズ８０が直列的に配置される。図５に示す例では、焦点位置の変化量を増加させるために、２個の液体レンズ８０を用いた構成を例示するが、１つの液体レンズ８０だけを搭載する構成であってもよく、あるいは、それ以上の数の液体レンズ８０を搭載する構成であってもよい。

この液体レンズ８０は筒内に格納され、その両端は、防護レンズ８０３および８０４により封止される。また、同じ筒内には、カメラユニット８０１の撮像素子に入射像を結像するための固体レンズ８０４（典型的には、収束レンズ）が配置される。

また、液体レンズ８０が格納される筒の上部には、液体レンズ８０を駆動するための回路基板８０６や、図示しない照明装置（ストロボ）を駆動するための回路８０７が実装される。

図５に示すような構造を採用することで、共通のカメラユニット８０１に対して、様々な光学的な特性を有するレンズユニット８０２を装着することで、焦点範囲などにおいてバリエーションを有する撮像部８の商品群を実現できる。
（ｄ２．構造その２）
図６は、本実施の形態に係る液体レンズ８０を結合した撮像部８の構造例（その２）を示す図である。

図６に示す撮像部８は、カメラユニット８１１と、ズームレンズユニット８１２と、フォーカスレンズユニット８１３とから構成される。カメラユニット８０１は、撮像素子（図示しない）を有しており、開口部から入射する光を受光して、その像を表わす画像データを出力する。ズームレンズユニット８１２は、カメラユニット８０１の入射光軸上に配置され、視野範囲を可変にするための光学系を有する。フォーカスレンズユニット８１３は、カメラユニット８１１の入射光軸上に配置され、２つの液体レンズ８０が直列的に配置される。図６に示す例においても、焦点位置の変化量を増加させるために、２個の液体レンズ８０を用いた構成を例示するが、１つの液体レンズ８０だけを搭載する構成であってもよく、あるいは、それ以上の数の液体レンズ８０を搭載する構成であってもよい。

この液体レンズ８０は筒内に格納され、その両端は、防護レンズ８１４および８１５により封止される。また、同じ筒内には、液体レンズ８０に入射する像を収束させるための固体レンズ８１５が配置される。

なお、カメラユニット８１１には、撮像素子および撮像素子を駆動するための回路に加えて、液体レンズ８０を駆動するための回路基板が実装される。

図６に示すような構造を採用することで、比較的広い焦点距離および視野範囲に対応できる撮像部を実現することができる。
（ｄ３．構造その３）
図７は、本実施の形態に係る液体レンズ８０を結合した撮像部８の構造例（その３）を示す図である。

図７には、照明装置一体型の撮像部８を例示する。この撮像部８は、発光素子（ＬＥＤ）などが実装された照明ユニット８２２と、照明ユニット８２２の中心部にある空洞の軸上に配置された液体レンズ８０とを含む。この液体レンズ８０の下部には、液体レンズ８０を駆動するための回路基板８２３が実装される。また、液体レンズ８０の光軸上には、撮像素子８２５が実装され、液体レンズ８０を通過した像を受光する。また、撮像素子８２５の上部には、撮像素子８２５を駆動するための回路基板８２４が実装される。さらに、撮像部８の照射面には、透光性の防護カバー８２１が配置される。

図７に示すような構造を採用することで、比較的広い焦点距離および視野範囲に対応できる撮像部を実現することができる。
（ｄ４．制御回路）
図８は、本実施の形態に係る画像処理装置１００における液体レンズを制御するための構成例を示す図である。特に、図８（ａ）には、画像処理装置１００から撮像部８および液体レンズ駆動部８９をそれぞれ制御する構成を示し、図８（ｂ）には、画像処理装置１００から撮像部８を通じて液体レンズ駆動部８９を制御する構成を示す。

図８に示すように、本実施の形態に係る撮像部８は、接続される液体レンズ８０を駆動するための液体レンズ駆動部８９を有する。この液体レンズ駆動部８９は、撮像部８に内蔵される場合もあるし、撮像部８とは独立したコンポーネントとして実装される場合もある。

図８（ａ）に示す構成は、図２に示すような、画像処理装置１００にカメラインターフェイス１１６およびレンズインターフェイス１３０が実装される場合に向けられたものである。すなわち、画像処理装置１００のカメラインターフェイス１１６が撮像部８との間で画像データおよびトリガ信号を遣り取りする。この画像データは、撮像部８の撮像により順次生成される。トリガ信号は、ＣＰＵ１１０が撮像タイミングであると判断した場合に送出される。

また、画像処理装置１００のレンズインターフェイス１３０は、液体レンズ駆動部８９に対して、撮像部８に搭載されている液体レンズ８０を駆動するための電圧制御指令を与える。この電圧制御指令は、目的の焦点位置に応じてその大きさが定まる。液体レンズ駆動部８９は、電圧制御指令に応答して、液体レンズ８０を駆動するための駆動電圧を発生する。この駆動電圧は、交流電圧が好ましく、電圧制御指令に従ってその振幅値が変更される。

また、図８（ｂ）に示す構成は、画像処理装置１００と撮像部８との間のインターフェイスを共通化した場合に向けられたものである。すなわち、画像処理装置１００と撮像部８との間で、画像データ、トリガ信号および電圧制御信号が遣り取りされる。このうち、電圧制御信号については、撮像部８を通じて液体レンズ駆動部８９へ伝えられる。そして、液体レンズ駆動部８９は、電圧制御指令に応答して、液体レンズ８０を駆動するための駆動電圧を発生する。

もちろん、上記の構成に限られず、画像処理装置１００が撮像部８および撮像部８に搭載される液体レンズ８０との間でデータ伝送可能な構成であれば、いずれの構成を採用してもよい。

＜Ｅ．液体レンズの動作特性＞
次に、液体レンズの動作特性について説明する。

本願発明者は、駆動電圧を印加した場合の液体レンズの反応特性について実験を行った。なお、実験には、ｖａｒｉｏｐｔｉｃｓ社（バリオプティック社：フランス）の液体レンズを用いた。

図９は、液体レンズの反応特性の実験例を示す図である。図１０は、液体レンズの反応時間（平均値）の実験例を示す図である。

実験系としては、液体レンズの一方側に所定の光量を一定照射する光源（レーザ）を配置するとともに、液体レンズの他方側に液体レンズを透過した光を受光する検出器（フォトダイオード）を配置した上で、液体レンズに駆動電圧を印加してからの、検出器での受光量（強度）の時間的変化を測定した。この実験系では、液体レンズの焦点位置が光源の位置に一致した場合に受光量が最大となる。そのため、検出器から出力される受光量が所定のしきい値に到達した時点を焦点位置の変化が完了したと判断できる。

実験内容としては、駆動電圧として交流を採用し、この交流の振幅値を基準電圧（振幅値）から＋１０Ｖ，＋２０Ｖ，＋３０Ｖの３種類に変化（電圧上昇）させた場合の反応時間を複数回測定した。また、それぞれ（基準電圧＋１０）Ｖ，（基準電圧＋２０）Ｖ，（基準電圧＋３０）Ｖの振幅値をもつ交流を基準電圧まで変化（電圧下降）させた場合の反応時間を複数回測定した。また、温度環境についても変化させて測定を行った。

図９には、駆動電圧の基準電圧が２０Ｖである場合に、駆動電圧を４０Ｖまで上昇（＋２０Ｖ変化）させた場合の受光量の時間的変化を示す。図９に示すように、駆動電圧を変化させたタイミングから、液体レンズ８０の焦点位置が動かない状態の期間（むだ時間）と、液体レンズ８０の焦点位置が目的の位置の移動に要する期間（応答時間）とが生じる。以下では、前者を「反応開始時間」と称し、後者を「反応安定時間」と称する。これらの時間の合計を反応時間（＝反応開始時間＋反応安定時間）として評価する。

上述したような各条件における実験結果を図１０に示す。図１０を参照すると、全体としては環境温度が高いほど、より高速に焦点合せ（焦点位置の移動）が完了する傾向があるといえる。また、全体としては電圧変化量が多いほど、より高速に焦点合せ（焦点位置の移動）が完了する傾向があるといえる。

しかしながら、このような傾向に反する実験結果もあり、また、反応時間の最大値と最小値との間は約２．５倍程度のばらつきがある。したがって、液体レンズ８０による焦点位置の移動動作の再現性は高いとはいえず、動作のばらつきが大きいと評価せざるを得ない。

すなわち、液体レンズ８０を搭載する撮像部８を用いてワーク２を撮像しようとする場合、駆動電圧を印加した後、液体レンズ８０による焦点位置の変化が完了した時点で撮像動作（撮像素子による受光および画像データ生成）を行うのが一般的であると考えられる。しかしながら、液体レンズ８０が焦点位置の変化を完了させるまでに１００［ｍｓ］以上要し、その再現性も低い。そのため、液体レンズ８０による焦点位置の完了後に撮像を開始した場合には余分に処理時間を要してしまい、また、合焦動作の再現性が低い（撮像部８の焦点を目的の位置に合せることが難しい）ため、目的の画像データを取得することができない。そこで、本実施の形態に係る画像処理装置１００においては、以下のような処理を採用する。

すなわち、本実施の形態に係る画像処理装置１００は、液体レンズ８０の反応時間より十分に短い間隔で撮像可能な撮像素子を用いて、液体レンズ８０に駆動電圧が印加されてからその焦点位置の変化が実質的に完了するまでの間、撮像部８で順次生成される画像データのうち複数を格納する。なお、ＶＧＡ（Video Graphics Array）サイズ（６４０画素×４８０画素）の画像データを出力するのであれば、撮像周期が２［ｍｓ］程度の撮像素子が実用化されている。そして、画像処理装置１００は、格納された画像データについて合焦判定を行って必要な画像データだけを選択して、その選択した画像データに基づいて画像計測処理を行う。

なお、選択される画像データは、１枚であってもよいし、それより多くの枚数（もちろん、全画像データであってもよい）であってもよい。選択される画像データが１枚である場合には、従来からある各種の画像計測処理をそのまま適用できる。また、選択される画像データが複数枚である場合には、画像合成技術を用いて、合成画像を生成してもよい。

このような処理を採用することで、液体レンズ８０の焦点移動動作の再現性が低いという課題を解決できる。

＜Ｆ．全体処理手順＞
次に、上述したような本実施の形態に係る処理内容についてより詳細に説明する。

図１１は、本実施の形態に係る撮像動作について説明する図である。特に、図１１（ａ）は、液体レンズ８０の反応時間が相対的に長い状態を示し、図１１（ｂ）は、液体レンズ８０の反応時間が相対的に短い状態を示す。

図１１（ａ）および図１１（ｂ）に示すように、本実施の形態に係る画像処理装置１００は、液体レンズ８０に対して駆動電圧を印加してから液体レンズ８０の焦点位置の変化が完了するまでの期間中、撮像部８に対して複数回の撮像を行わせる。この撮像部８による複数回の撮像によって生成される複数の画像データは、画像処理装置１００に格納される。

そして、画像処理装置１００は、格納された複数の画像データに対して合焦判定を行い、合焦状態（目的のワーク２に撮像部８の焦点位置が一致している状態）となっている画像データまたは部分画像を画像計測処理／画像合成処理の対象として選択する。この液体レンズ８０による焦点位置の移動に要する時間に対して、撮像部８の撮像周期を十分に短く設定することで、液体レンズ８０の１回の焦点位置の移動動作において多数の画像データを取得することができる。そのため、図１１（ａ）および図１１（ｂ）に示すように、液体レンズ８０の反応時間が変動した場合であっても、目的のワーク２に焦点が合った画像データ（図１１の「合焦位置」で撮像された画像データ）を取得できる。

上述したように、撮像部８の撮像周期が２［ｍｓ］であれば、反応時間の最小値が２００［ｍｓ］程度であれば、約１００枚の画像データを生成できる。そのため、この１００枚の画像データから目的のワーク２に合焦している画像データまたは部分画像を選択することで、画像処理を適切に行うことができる。

図１２は、本実施の形態に係る全体処理手順を示すフローチャートである。図１２を参照して、本実施の形態に係る全体処理は、主として、画像処理装置１００と撮像部８、および、画像処理装置１００と液体レンズ８０との間の遣り取りで構成される。

すなわち、何らかの撮像開始のイベントが発生すると（ステップＳ１）、画像処理装置１００は、撮像部８へ撮像開始を指示するトリガを送信する（ステップＳ２）とともに、液体レンズ８０へ電圧制御指令を送信する（ステップＳ３）。すなわち、画像処理装置１００は、ワーク２を撮像すべきタイミングと判断すると、撮像部８の焦点位置を変化させるための指令を液体レンズ駆動部８９（図８）などへ出力する。

この電圧制御指令に応答して、液体レンズ駆動部８９が液体レンズ８０に駆動電圧を印加する。すると、液体レンズ８０は焦点位置の変化を開始させる（ステップＳ４）。この液体レンズ８０の焦点位置の変化と並行して、撮像部８は所定周期での繰返し撮像を開始する（ステップＳ５−１，Ｓ５−２，…，Ｓ５−Ｎ）。また、撮像部８が撮像することで生成した画像データは、画像処理装置１００へ順次転送される（ステップＳ６−１，Ｓ６−２，…，Ｓ６−Ｎ）。この画像処理装置１００へ転送される画像データは、画像バッファ１１６ａまたはメインメモリ１１２へ格納される。

上述の撮像部８による撮像および画像データの転送は、液体レンズ８０の焦点位置の変化が実質的に完了する（ステップＳ７）まで繰返される。そのため、画像処理装置１００は、液体レンズ８０による撮像部８の焦点位置の変化が実質的に完了するまでの間、撮像部８で順次生成される画像データを格納することになる。

なお、液体レンズ８０の焦点位置の変化が完了したことは、画像処理装置１００が電圧制御指令を送信してからの経過時間で判断してもよい。この場合には、液体レンズ８０の反応時間の最大値を予め実験的に取得しておき、この反応時間の最大値が経過したか否かで判断することができる。

あるいは、撮像部８に対してワーク２が移動しない場合には、画像処理装置１００は、撮像部８が順次生成する画像データの差分を順次算出し、この差分が実質的にゼロとなった場合に、液体レンズ８０による撮像部８の焦点位置の変化が実質的に完了したと判断することもできる。

なお、画像処理装置１００が液体レンズ８０による撮像部８の焦点位置の変化が実質的に完了したと判断すると、撮像部８へ撮像中止の指令を出力するようにしてもよい。あるいは、撮像部８が撮像および画像データの生成を周期的に繰返している場合には、画像処理装置１００は、撮像部８で生成される画像データの取込みを中止することになる。

その後、画像処理装置１００は、格納される画像データについて合焦判定を行う（ステップＳ８）。この合焦判定としては、画像データの全体が合焦状態であるか否かを判定する処理、画像データのうちいずれの部分が合焦状態であるかを判定する処理、および、画像データ内の特定の部分が合焦状態であるか否かを判断する処理などを含み得る。すなわち、ステップＳ８に示す合焦判定は、後段の画像計測処理の処理内容に応じて、必要な処理が設定される。この点については、後述する。

この合焦判定については、公知の技術を採用することができる。たとえば、非特許文献１（日浦慎作、松山隆司“構造化瞳をもつ多重フォーカス距離画像センサ”電子情報通信学会論文誌、Ｄ−ＩＩ Ｖｏｌ．Ｊ８２−Ｄ−ＩＩ Ｎｏ．１１ ｐｐ．１９１２−１９２０ １９９９年１１月）や、非特許文献２（飯田宗央、柳田悠一、浜本隆之“テクスチャ平たん領域の判定誤りを考慮した距離計測イメージセンサ”電子情報通信学会論文誌、Ｄ Ｖｏｌ．Ｊ９２−Ｄ Ｎｏ．１０ ｐｐ．１７６０−１７６２ ２００９年）などを参照されたい。

また、ステップＳ８の合焦判定は、液体レンズ８０の焦点位置の変化が実質的に完了した後に開始されてもよいし、撮像部８からの画像データが転送される度に実行してもよい。すなわち、前者の場合には、合焦判定の対象となるすべての画像データが画像処理装置１００に一旦格納された後に合焦判定が開始され、後者の場合には、撮像部８から画像データを受信するたびに合焦判定が開始される。

そして、画像処理装置１００は、ステップＳ８の合焦判定の結果に基づいて、格納されている画像データのうちワーク２についての画像処理に利用する画像データまたは部分画像を選択する（ステップＳ９）。最終的に、画像処理装置１００は、ステップＳ９において選択した画像データを用いて画像計測処理を実行する（ステップＳ１０）。

＜Ｇ．適用例＞
次に、本実施の形態に係る画像処理装置１００の適用例について説明する。
（ｇ１．１枚の画像データを用いた画像計測処理）
まず、図１２に示すステップＳ８およびＳ９において、合焦判定の結果を用いて、複数の画像データのうち１枚を選択して画像計測処理を実行する場合の例を示す。すなわち、液体レンズ８０に対して駆動電圧を印加してから焦点位置の変化が完了するまでの期間の間に取得された画像データのうち、最適な１枚の画像データを選択して、画像計測処理を行う適用例を示す。

図１３〜図１５は、本実施の形態に係る画像処理装置１００の適用例を示す図である。
図１３には、異なる高さのワークが流れるラインの例を示す。図１３（ａ）に示すように、たとえば固定焦点式の撮像部１８を用いた視覚センサシステムがラインに設置されている場合を考える。この場合には、ラインを流れるワーク２−１の種類（高さ）が切替えられる（段取替え）と、撮像部１８の焦点位置を新たなワーク２−２に一致させるように、撮像部１８の取付け位置を変更したり、オペレータが焦点位置を調整したりする必要がある。そのため、一旦ラインを停止して段取替えを行う必要があり、このような段取替えの時間が発生することで、生産効率が低下するという課題がある。

また、このような固定焦点式の撮像部１８を採用する場合には、ラインを流れるワークの種類だけ撮像部１８を用意しておくようなことも考えられるが、コスト上昇となるため、現実的ではない。

これに対して、本実施の形態に係る画像処理装置１００からなる視覚センサシステムでは、ラインを流れるワーク２−１の種類が切替えられた場合には、新たなワーク２−２に対応するための設定変更（たとえば、パターン認識処理であればモデル画像の変更）などをソフト的に処理するだけで済む。すなわち、ワークがどのような高さであっても、多数撮像される画像データのうち、いずれかの画像データには対象のワークの露出面に合焦した画像データ（最適画像データ）を選択することができる。

そのため、ワークが変更されても、オペレータが撮像部８を調整するような操作が不要となり、ラインをほとんど止めることなく、ソフト的な設定変更の操作のみで段取替えを行うことができる。

図１４には、同一のワークであっても高さにばらつきがあるラインの例を示す。図１４（ａ）に示すように、たとえば固定焦点式の撮像部１８を用いた視覚センサシステムがラインに設置されている場合を考える。この場合には、ラインの稼動中に、ラインを流れるワーク２の高さ（撮像部１８の光軸方向の位置）を変更することができない。また、撮像部１８の焦点位置を調整するためにラインを停止することも非効率である。

これに対して、本実施の形態に係る画像処理装置１００からなる視覚センサシステムでは、ラインを流れるワーク２の高さにばらつきがある場合であっても、合焦結果に基づいて最適な画像データを選択することができる。そのため、ワーク２がばらつく場合であっても、安定して画像計測処理を行うことができる。このとき、オペレータは、その視野範囲に目的のワークが存在するように撮像部８を配置するだけで済む。

典型的には、本方法は、高さが異なるワークが流れる混流ラインや、作業員が手組みするためにワークの位置が変動するようなラインに好適である。

さらに、図１５に示すように、オペレータが調整などを行うことが困難な場所（オペレータの手が届かない高いまたは狭い場所）に撮像部が設置されている場合には、撮像部の調整が非常に困難である。すなわち、図１５には、オペレータの手が届く範囲より高い位置に撮像部８および照明装置９が配置されるとともに、撮像部８で撮像された画像データが無線電波で画像処理装置１００へ伝送される形態を示す。本実施の形態に係る画像処理装置１００からなる視覚センサシステムでは、常に最適な画像データを選択することができるので、撮像部８を調整することなく、安定して画像計測処理を行うことができる。そのため、オペレータは、その視野範囲に目的のワークが存在するように撮像部８を配置するだけで済む。

以下、図１３〜図１５に示す適用例における画像処理装置１００の処理手順について説明する。

図１６は、本実施の形態に係る画像処理装置１００において１枚の画像データを用いて計測処理を行う場合の処理手順を示すフローチャートである。図１６に示す各ステップは、典型的には、画像処理装置１００のＣＰＵ１１０がプログラムを実行することで提供される。

まず、ＣＰＵ１１０は、撮像開始のイベントが発生したか否かを判断する（ステップＳ１００）。撮像開始のイベントが発生していない場合（ステップＳ１００においてＮＯの場合）には、ステップＳ１００の処理が繰返される。

撮像開始のイベントが発生した場合（ステップＳ１００においてＹＥＳの場合）には、ＣＰＵ１１０は、カメラインターフェイス１１６（図２）を介して、撮像部８へ撮像を開始させるためのトリガを出力する（ステップＳ１０２）。同時に、ＣＰＵ１１０は、レンズインターフェイス１３０（図２）を介して、液体レンズ８０による焦点位置の変化を開始させるための電圧制御信号を出力する（ステップＳ１０４）。

続いて、ＣＰＵ１１０は、撮像部８から画像データを受信したか否かを判断する（ステップＳ１０６）。撮像部８から画像データを受信していなければ（ステップＳ１０６においてＮＯ）、画像データを受信するまで処理を待機する。なお、この撮像部８からの画像データは、画像バッファ１１６ａに一旦蓄積される。

撮像部８から画像データを受信していれば（ステップＳ１０６においてＹＥＳ）、ＣＰＵ１１０は、受信した画像データをメインメモリ１１２へ格納する（ステップＳ１０８）。続いて、ＣＰＵ１１０は、液体レンズ８０による焦点位置の変化が完了したか否かを判断する（ステップＳ１１０）。液体レンズ８０による焦点位置の変化が完了していなければ（ステップＳ１１０においてＮＯ）、ステップＳ１０６以下の処理が繰返される。

液体レンズ８０による焦点位置の変化が完了していれば（ステップＳ１１０においてＹＥＳ）、ＣＰＵ１１０は、メインメモリ１１２に格納されている画像データに対してそれぞれ合焦判定を行う（ステップＳ１１２）。なお、ステップＳ１１２の合焦判定の処理は、ステップＳ１０８の実行直後に行うようにしてもよい。

続いて、ＣＰＵ１１０は、ステップＳ１１２において行った合焦判定の結果、最も合焦していると判断された画像データを選択し（ステップＳ１１４）、選択した画像データに対して画像計測処理を実行する（ステップＳ１１６）。最終的に、ＣＰＵ１１０は、ステップＳ１１６の画像計測処理の結果を出力する（ステップＳ１１８）。
（ｇ２．複数枚の画像データを用いた画像計測処理）
次に、図１２に示すステップＳ８およびＳ９において、複数の画像データのうち複数枚を選択して画像計測処理を実行する場合の例を示す。この場合には、選択された複数の画像データに対して合焦判定が実行される。典型的には、液体レンズ８０に対して駆動電圧を印加してから焦点位置の変化が完了するまでの期間の間に取得された画像データのうち、複数枚の画像データを選択して、画像合成処理を行う適用例を示す。

図１７は、本実施の形態に係る画像処理装置１００の別の適用例を示す図である。図１８は、図１７に示す画像合成処理の結果の一例を示す図である。

図１７に示すように、撮像部が合焦できる範囲（高さ方向）は、その被写界深度に依存する。そのため、固定焦点式の撮像部を用いた場合には、深いボウル状のワーク内のキズ検査といった、撮像部の被写界深度を超える範囲を検査することは難しい。この場合には、１つのワークに対して焦点位置の異なる複数台の撮像部を用いてそれぞれ異なる被写界深度を撮像するか、あるいは、１台の撮像部を異なる高さに上下して撮像するといった方法を採用せざるを得なかった。

これに対して、本実施の形態に係る画像処理装置１００では、焦点位置を複数の異なる高さに設定できる。すなわち、液体レンズ８０に駆動電圧が印加されてからその焦点位置の変化が実質的に完了するまでの間、１つのワークを撮像部８で順次撮像して複数の画像データを生成するとともに、生成された複数の画像データから、合焦状態の部分画像を抽出して組合せることで、撮像部８の視野全体を合焦状態にした、深度の深い画像を生成することができる。すなわち、図１７に示すように、撮像部８の焦点位置が合焦範囲１〜４のそれぞれにある場合に取得される画像データを用いて、合成画像が生成される。

一例として、図１８（ａ）に示すようなボウル状のワークＷに対して画像計測処理を実行する場合を考える。このような場合には、撮像部８の被写界深度に比較して、ワークＷの内面の検査領域が深すぎて、１回の撮像ではその全域を合焦状態とした画像データを生成できない。

そこで、図１８（ｂ）に示すように、異なる焦点位置において撮像部８が生成した画像データＩＭＧ１およびＩＭＧ２を選択するとともに、それぞれ、合焦状態の部分画像を合成することで、図１８（ｃ）に示すような、視野の全体にわたって合焦状態となっている合成画像ＳＩＭＧを生成することができる。このような合成画像ＳＩＭＧを用いることで、ワークＷの深いところまで安定してキズ検査が可能となる。

このような合成画像を生成することで、凹凸のあるワーク（たとえば、複雑な形状を有する部品）を検査する場合や、配置高さの異なる複数のワークがある場合などにおいても、特定の部分だけが合焦状態となって、その他の部分はいわゆるピンぼけのような状態となってしまうことを回避できる。それにより、ワークの全体を確実に検査できる。同様に、設置環境の制約や大型ワークを対象とする場合などのように、撮像部８をワークに対して斜めにしか取付けできないような場合にも、ワークを確実に検査できる。

以下、図１７および図１８に示す適用例における画像処理装置１００の処理手順について説明する。

図１９は、本実施の形態に係る画像処理装置１００において複数枚の画像データを用いて画像合成処理を行う場合の処理手順を示すフローチャートである。図１９に示す各ステップは、典型的には、画像処理装置１００のＣＰＵ１１０がプログラムを実行することで提供される。

図１９に示すステップＳ１００〜Ｓ１１０までの各ステップは、図１６に示すステップＳ１００〜Ｓ１１０までの各ステップと同様であるので、詳細な説明は繰返さない。図１９に示すフローチャートにおいては、ステップＳ１１０においてＹＥＳの場合、ステップＳ１２０以下の処理が実行される。すなわち、ＣＰＵ１１０は、メインメモリ１１２に格納されている複数の画像データのうち、所定のタイミングで取得された複数の画像データを選択する（ステップＳ１２０）。たとえば、撮像された順序が、メインメモリ１１２に格納された画像データの総数に対して３０％，４０％，５０％，６０％，７０％に相当する画像データが選択される。

続いて、ＣＰＵ１１０は、ステップＳ１２０において選択した画像データに対してそれぞれ合焦判定を行う（ステップＳ１２２）。さらに、ＣＰＵ１１０は、合焦判定の結果に基づいて、各画像データのうち合焦状態にある部分を特定する（ステップＳ１２４）。そして、ＣＰＵ１１０は、ステップＳ１２４において特定した合焦状態にある部分画像を合成して合成画像データを生成する（ステップＳ１２６）。

さらに、ＣＰＵ１１０は、ステップＳ１２６において生成した合成画像データに対して画像計測処理を実行する（ステップＳ１２８）。最終的に、ＣＰＵ１１０は、ステップＳ１２８の画像計測処理の結果を出力する（ステップＳ１３０）。
（ｇ３．複数枚の画像データを用いた距離画像生成）
次に、上述したような複数枚の画像データを用いて合成画像データを生成する処理と同様に、距離画像を生成することもできる。以下、複数の画像データを用いた距離画像生成処理を実行する場合の例を示す。

図２０は、本実施の形態に係る画像処理装置１００のさらに別の適用例を示す図である。図２１は、図２０に示す距離画像生成処理の結果の一例を示す図である。

図２０に示すように、撮像部８の焦点位置が合焦範囲１〜４のそれぞれにある場合に取得される画像データに対応付けて、高さ情報１〜４をそれぞれ割当てることができる。上述したように、液体レンズ８０では反応速度の再現性が低いので、この高さ情報１〜４は相対的な情報となるが、高さが異なるとの情報があれば検査には十分である場合も多い。

たとえば、図２１（ａ）に示すように、錠剤のパッケージの外観から、所定数の錠剤が封入されているか否かを判断する検査（錠剤欠品検査）が考えられる。図２１（ａ）に示す錠剤のパッケージでは、４個の錠剤が封入されるべきであるが、紙面左下の部分には錠剤が封入されていない。このような欠品状態は、図２１（ｂ）に示すような距離画像を用いることで検出することができる。

図２１（ｂ）に示す距離画像は、上述の図１８に示したような画像合成処理と同様の処理で実現することができる。すなわち、メインメモリ１１２に格納される複数の画像データのうち、所定のタイミングで取得された複数の画像データを選択する。そして、各画像データに対してそれぞれ合焦判定を行うことで、合焦状態にある部分を特定する。各画像データにおいて合焦状態であると特定された部分（位置情報）を対応する高さを示す情報と対応付けて抽出する。

すべての画像データに対する合焦判定および位置情報／高さ情報の抽出が完了すると、これらの情報を統合して、図２１（ｂ）に示すような距離画像が生成される。

このような距離画像を生成することで、２次元的に撮像されるワークを３次元形状化できるので、より多様な計測処理を行うことができる。

＜Ｈ．作用・効果＞
本実施の形態によれば、焦点位置の移動動作についての再現性が低く、かつ、撮像部による撮像周期（シャッタースピード）に比較して反応時間が長いという液体レンズの不利な特性を利用して、より適切な画像処理を行うことができる。すなわち、液体レンズの動作中に複数回の撮像を行って複数の画像データを生成するとともに、これらの生成された画像データのうち、後段の画像処理に適した画像データおよび／または部分画像を選択する。これにより、液体レンズの動作の再現性が低い場合であっても、適切な画像データ／部分画像を取得することができる。同時に、複数回の撮像を行うため、被写界深度の異なる複数の画像情報が得られ、これにより、ワークなどの被測定物を適切に計測等することができる。

より具体的には、本実施の形態に係る画像処理方法によれば、高さ方向（撮像部の光軸方向；Ｚ方向）にばらつきがあるワークであっても、オペレータなどが介入する必要がなく、適切に画像計測処理を行うことができる。また、撮像部のレンズ選定やフォーカス調整などを厳密に行う必要がないので、オペレータなどによる撮像部の調整を不要としつつ、適切な画像データを取得することができる。

さらに、本実施の形態に係る画像処理方法によれば、被写界深度の異なる複数の画像データを用いて、より被写界深度の深い画像データを合成することができる。これにより、１枚の画像データを用いて、高さの異なる複数のワークを一括して検査等することができる。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１ 視覚センサシステム、２ ワーク、４ センサ、４ａ 受光部、４ｂ 投光部、６ 搬送機構、８，１８ 撮像部、９ 照明装置、８０ 液体レンズ、８１ 透光部、８３ 第１の液体、８４ 第２の液体、８５ 第１の電極、８６ 絶縁体、８７ 第２の電極、８８ 絶縁層、８９ 液体レンズ駆動部、１００ 画像処理装置、１０２ ディスプレイ、１０４ マウス、１０６ メモリカード、１１０ ＣＰＵ、１１２ メインメモリ、１１４ ハードディスク、１１６ カメラインターフェイス、１１６ａ 画像バッファ、１１８ 入力インターフェイス、１２０ 表示コントローラ、１２２ インターフェイス、１２４ 通信インターフェイス、１２６ データリーダ／ライタ、１２８ バス、１３０ レンズインターフェイス、８０１，８１１ カメラユニット、８０２ レンズユニット、８０３，８１４ 防護レンズ、８０４，８１５ 固体レンズ、８０６，８２３，８２４ 回路基板、８０７ 回路、８１２ ズームレンズユニット、８１３ フォーカスレンズユニット、８２１ 防護カバー、８２２ 照明ユニット、８２５ 撮像素子。

Claims (8)

1. 撮像部により、予め定められた方向に連続的に搬送される被測定物を当該被測定物の移動する経路から離れた所定の位置から撮像して得られる画像データを処理する画像処理方法であって、
   その内部に封入された液体に電圧を印加することで当該液体の界面を変化させて当該撮像部の焦点位置を変化させるレンズに対して、電圧を印加するステップと、
   電圧の印加開始から前記レンズによる焦点位置の変化が実質的に完了するまでの間、前記撮像部で生成される複数の画像データを記憶するステップと、
   記憶された画像データについて合焦を判定するステップと、
   合焦の判定結果から記憶されている画像データのうち前記被測定物についての画像処理に利用する画像データまたは部分画像を選択するステップとを備える、画像処理方法。
2. 前記選択された画像データに対して画像計測処理を実行するステップをさらに備える、請求項１に記載の画像処理方法。
3. 前記選択するステップでは、複数の画像データから合焦状態となっている複数の部分画像を選択し、
   前記画像処理方法は、選択された複数の部分画像から合成画像を生成するステップをさらに備える、請求項１に記載の画像処理方法。
4. 前記画像処理方法は、前記レンズへの電圧の印加開始から予め定められた時間の経過後に、前記レンズによる焦点位置の変化が実質的に完了すると判断するステップをさらに備える、請求項１〜３のいずれか１項に記載の画像処理方法。
5. 前記画像処理方法は、前記撮像部により順次生成される画像データ間の差分が実質的になくなった場合に、前記レンズによる焦点位置の変化が実質的に完了すると判断するステップをさらに備える、請求項１〜３のいずれか１項に記載の画像処理方法。
6. 撮像部により被測定物を撮像して得られる画像データを処理する画像処理方法であって、
   その内部に封入された液体に電圧を印加することで当該液体の界面を変化させて当該撮像部の焦点位置を変化させるレンズに対して、電圧を印加するステップと、
   電圧の印加開始から、前記撮像部により順次生成される画像データ間の差分が実質的になくなるまでの間、前記撮像部で生成される複数の画像データを記憶するステップと、
   記憶された画像データについて合焦を判定するステップと、
   合焦の判定結果から記憶されている画像データのうち前記被測定物についての画像処理に利用する画像データまたは部分画像を選択するステップとを備える、画像処理方法。
7. 撮像部により、予め定められた方向に連続的に搬送される被測定物を当該被測定物の移動する経路から離れた所定の位置から撮像して得られる画像データを処理する画像処理装置であって、
   その内部に封入された液体に電圧を印加することで当該液体の界面を変化させて当該撮像部の焦点位置を変化させるレンズと、
   前記撮像部により生成された画像データを記憶するための記憶部と、
   前記撮像部および前記記憶部を制御するための制御部とを備え、
   前記制御部は、
   前記被測定物を撮像すべきタイミングで前記撮像部の焦点位置を変化させるための指令を出力する手段と、
   前記レンズによる前記撮像部の焦点位置の変化が実質的に完了するまでの間、前記撮像部で順次生成される画像データのうち複数を前記記憶部へ格納する手段と、
   前記記憶部へ格納される画像データについて合焦判定を行う手段と、
   当該合焦判定の結果から前記記憶部へ格納されている画像データのうち前記被測定物についての画像処理に利用する画像データまたは部分画像を選択する手段とを含む、画像処理装置。
8. 撮像部により被測定物を撮像して得られる画像データを処理する画像処理装置であって、
   その内部に封入された液体に電圧を印加することで当該液体の界面を変化させて当該撮像部の焦点位置を変化させるレンズと、
   前記撮像部により生成された画像データを記憶するための記憶部と、
   前記撮像部および前記記憶部を制御するための制御部とを備え、
   前記制御部は、
   前記被測定物を撮像すべきタイミングで前記撮像部の焦点位置を変化させるための指令を出力する手段と、
   前記撮像部により順次生成される画像データ間の差分が実質的になくなるまでの間、前記撮像部で順次生成される画像データのうち複数を前記記憶部へ格納する手段と、
   前記記憶部へ格納される画像データについて合焦判定を行う手段と、
   当該合焦判定の結果から前記記憶部へ格納されている画像データのうち前記被測定物についての画像処理に利用する画像データまたは部分画像を選択する手段とを含む、画像処理装置。