JP6685550B2 - オートフォーカス装置及びオートフォーカス用プログラム - Google Patents

Description

本発明は、コントラスト方式で合焦位置を検出するオートフォーカス装置及びオートフォーカス用プログラムに関する。

従来、オートフォーカス装置は、光学系のレンズ焦点位置を段階的に変化させつつ被写体を撮像し、各段階での被写体の撮影画像に基づいてコントラスト情報等の評価値を取得する。そして、最適な評価値（例えば、最大となる評価値）を得られる段階のレンズ焦点位置を、合焦位置として検出する。オートフォーカス装置は、環境や被写体に応じてより最適な合焦位置を検出するために、様々な改良がなされている。

例えば、特許文献１のオートフォーカスカメラは、被写体までの距離情報に依存して撮影レンズのピント位置を制御する演算制御部を有する。そして、演算制御部は、距離情報および距離以外の背景情報に基づいてピント位置を決定する。

また、特許文献２のオートフォーカス装置は、撮影視野の中央部と全体の２つのＡＦエリアについてＡＦ評価値を発生するＡＦ評価値発生部を設ける。更に、これらのＡＦエリアのＡＦ評価値から割り出されるフォーカスレンズの合焦位置がほぼ等しい場合、中央部ＡＦエリアと全体ＡＦエリアのＡＦ評価値の差からフォーカスレンズの合焦位置を割り出すＣＰＵを設ける。

特開２０００−３２１４８３号公報 特開２００４−３０９７２２号公報

しかしながら、従来のオートフォーカス装置は、フォーカスのターゲットが小面積であって周囲のコントラストが大きい被写体等の場合には、周囲にフォーカスを合わせたときのコントラスト情報（評価値）が最大となって、フォーカスが周囲に引かれ易いという問題がある。この場合、周囲にピントを合わせた合焦位置で本撮影が行われて、ターゲットがぼけた画像が生成されてしまう。例えば、電子部品等を検査するマシンビジョンシステムでは、電極等の突起状部材を有する電子部品を突起部の先端側から撮影して突起部の位置を判定することがある。このとき、突起部の先端がフォーカスのターゲットとなるが、周囲よりも突出しているため、先端側から見ると、小面積で周囲のコントラストが大きくなっていてフォーカスを合わせ難くなっている。

これに対して、ターゲット近辺のみに関心領域（ＲＯＩ：Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）を設定し、周囲を参照しないように覆うことによって、当然ながらターゲットにピントを合わせた合焦位置で撮影することが可能である。しかしながら、一般的にフォーカスをオートで制御したいような撮影条件においては、画角内でのターゲットの位置は正確には未知であることが多く、撮像するタイミング間でも変動が起こり得る。また、ターゲットは、サイズが小さいほど、位置の変動によって、予め固定した関心領域から外れる確率が高くなる。

また、そのような状況を避けるため、パターンマッチング等によって適応的にターゲット位置を識別して、その位置へ専用の画角や関心領域を追従させて撮影を行う技術も提案されているが、このようなパターンマッチング及び追従処理は、構成や処理が複雑化し、負荷が高くなってしまう。さらには、ターゲットが複数あり、それらの位置関係が未知の場合には、ターゲットに合わせた領域でのコントラスト情報の検出がより困難となる。

更に、例えば、製造装置に用いられるフォーカス機構等は、フォーカスの対象とする被写体の物理条件がある程度限定されている代わりに、検出の精度や速度に対して非常に高い性能が求められる場合がある。しかしながら、上記したような従来のフォーカス装置では、フォーカスのターゲットを小面積に限定した場合に、ターゲットの検出の精度や速度の性能が低下するおそれがある。

本発明は上記した課題を解決すべくなされたものであり、フォーカスのターゲットの数や位置の変動に拘らず、小さい負荷で、適切なオートフォーカスを実現することを目的とするものである。

本発明のオートフォーカス装置は、上記した目的を達成するため、被写体の画像のコントラストに応じて前記被写体に対する焦点制御状態を決定するオートフォーカス装置であって、複数の焦点位置のそれぞれにおいて前記被写体を撮像して得られる複数の画像のそれぞれについて、合焦位置の判定に用いられる評価値を算出する評価値算出部と、前記複数の焦点位置のそれぞれに対して算出された複数の前記評価値に基づいて、合焦位置を判定する合焦位置判定部と、を備え、前記評価値算出部は、前記各画像に含まれる複数の局所領域のそれぞれについて、前記被写体のフォーカスのターゲットを含む大きさの第１領域に対して算出される第１のスコア成分と、前記第１領域の周囲で前記ターゲットの周辺部分の少なくとも一部以上を含む大きさの第２領域に対して算出される第２のスコア成分とを用いて、前記第１のスコア成分に正の重みで寄与し、前記第２のスコア成分に負の重みで寄与するように計算した評価データを生成し、前記各画像内の前記複数の局所領域のそれぞれについて生成された複数の前記評価データに基づいて前記評価値を算出することを特徴とする。

例えば、前記評価値算出部は、前記各画像内の前記各局所領域の画素データに対して、前記正の重みに対応する正の係数を前記第１領域に与えると共に前記負の重みに対応する負の係数を前記第２領域に与える空間的加重フィルタを用いた畳み込み演算を行い、前記畳み込み演算の結果に基づいて前記評価データを生成するとよい。

また、前記評価値算出部は、前記各画像内の前記各局所領域の画素データに対して所定のバンドパス特性を持つ空間的周波数フィルタを用いた周波数フィルタ処理を行い、前記周波数フィルタ処理後のデータに基づいて振幅成分の大小を表す値へ換算する換算処理を行い、前記換算処理の結果に基づいて前記第１のスコア成分及び前記第２のスコア成分を算出するとよい。あるいは、前記評価値算出部は、前記加重フィルタと前記周波数フィルタとを予め結合させた結合空間フィルタを用いて前記畳み込み演算を行ってもよい。

更に、例えば、前記評価値算出部は、前記各画像内の画素データとして、各画素位置に結像される前記被写体の輝度に線形又は非線形な関係を持つ階調に相当する情報を用いて、前記階調が前記各画像内の前記複数の局所領域毎に分布したコントラストに相当する指標を算出する。

なお、前記評価値算出部は、前記各画像について、前記複数の評価データの中から最大値を前記評価値とするとよく、前記合焦位置判定部は、前記複数の焦点位置のそれぞれに対する前記複数の評価値の中から最大値が得られる焦点位置を合焦位置として判定するとよい。

これらのような構成によれば、オートフォーカス装置は、フォーカスのターゲットとこのターゲットの周辺部分とで合焦する焦点位置が異なる被写体の場合でも、ターゲットにピントを合わせた合焦位置を検出することができる。そのため、例えば、電極等の突起状部材を有する電子部品のように、周辺部分よりも小面積のターゲットを有する被写体を突起部の先端側から本撮影する場合でも、突起部の先端にピントを合わせた合焦位置を検出することができる。あるいは、凹部を有する部品を凹みの正面から本撮影する場合でも、凹部の深部にピントを合わせた合焦位置を検出することができる。また、オートフォーカス装置は、撮影するタイミングに応じてターゲットの位置が変動する場合でも、複雑な処理や構成を備えることなく、迅速且つ確実にターゲットの合焦位置を検出することができる。そのため、このオートフォーカス装置をマシンビジョンシステム等に採用する場合には、撮影及び検査の処理速度の向上や、処理負担の軽減、更には、設備コストの抑制を実現することができる。

更に、前記評価値算出部は、前記周波数フィルタ処理後のデータに対して画素サイズ縮小処理を行い、前記縮小処理後のデータに基づいて前記第１のスコア成分及び前記第２のスコア成分を算出するとよい。

このような構成によれば、オートフォーカス装置は、オートフォーカス動作における処理速度を向上すると共に、処理負担を軽減することが可能となる。

更に、前記評価値算出部は、前記第１領域と前記第２領域との間に、重みが０である不感帯としての第３領域を持つ前記加重フィルタを用いてもよい。

このような構成によれば、例えば、撮影側から見て突起部のターゲットの先端が微小面積を有し、先端から基端にかけて面積が増加している被写体を撮影する場合や、撮影側から見て凹部のターゲットの深部が微小面積を有し、深部から凹部縁側にかけて面積が増加している被写体を撮影する場合でも、ターゲットの先端や深部以外での合焦を回避して、確実にターゲットの合焦位置を検出することができる。

更に、オートフォーカス装置は、前記焦点位置に対して適正な分布範囲または極性の情報を取得する適正分布取得部を備え、前記合焦位置判定部は、前記複数の焦点位置に対する前記複数の評価値の中から局所的ピーク位置を１つ以上算出し、前記適正分布に最も適する前記局所的ピーク位置が得られた前記焦点位置を合焦位置として判定してもよい。

このような構成によれば、被写体において焦点位置の異なる２つ以上の突起部や凹部が存在する場合でも、最適なターゲットを選択してフォーカスを合わせることが可能となる。

更に、オートフォーカス装置は、前記第１領域の大きさ及び前記第２領域の大きさの少なくとも一方を変更することができる領域設定部を備えてもよいし、前記第１のスコア成分に寄与させる前記正の重み及び前記第２のスコア成分に寄与させる前記負の重みの少なくとも一方を変更することができる寄与率設定部を備えてもよい。

これらのような構成によれば、オートフォーカス装置は、被写体においてピントを合わせるべきターゲットについて、被写体（例えば、マシンビジョンシステム等での検査製品）毎に、詳細な設定を行うことが可能となる。

また、本発明のオートフォーカス用プログラムは、上記の何れかのオートフォーカス装置としてコンピュータを機能させるためのプログラムであって、上記のオートフォーカス装置に備わる評価値算出部及び合焦位置判定部や、適正分布取得部、領域設定部及び寄与率設定部と同様の機能の各処理ステップを有して構成される。

本発明によれば、フォーカスのターゲットの数や位置の変動に拘らず、小さい負荷で、適切なオートフォーカスを実現することができる。

本発明の一実施形態に係るオートフォーカス装置を備えた撮像システムを示すブロック図である。 本発明の一実施形態に係るオートフォーカス装置を備えた撮像システムで撮影した被写体の撮影画像の例を示す概要図である。 本発明の一実施形態に係るオートフォーカス装置におけるオートフォーカス動作を示すフローチャートである。 本発明の他の実施形態に係るオートフォーカス装置の加重フィルタ生成部で生成される加重フィルタの例を示すグラフである。 本発明の一実施形態に係るオートフォーカス装置を備えた撮像システムで撮影した被写体の画像データの例を示す概要図である。 本発明の一実施形態に係るオートフォーカス装置を備えた撮像システムで撮影した被写体の画像データの一部の例を示すグラフである。 本発明の一実施形態に係るオートフォーカス装置を備えた撮像システムで撮影した被写体の画像データに基づく空間フィルタリング処理後のデータの一部の例を示すグラフである。 オートフォーカス装置を備えた撮像システムで撮影した被写体の画像データに基づく振幅成分への換算処理後のデータの一部の例を示すグラフである。 本発明の一実施形態に係るオートフォーカス装置を備えた撮像システムで撮影した被写体の画像データに基づく重み付け処理後のデータの一部の例を示すグラフである。

以下、図面を参照しつつ、本発明の実施形態について説明する。本発明のオートフォーカス装置は、独立した装置でもよいが、カメラ、スマートフォン、タブレット端末等のように撮像部を備えていて撮像制御や画像処理が可能な様々な機器の一部として備わるオートフォーカス装置でもよく、マシンビジョンシステム等の撮像システムにおいて撮像部に接続されていて撮像制御や画像処理が可能な管理装置等の様々な機器の一部として備わるオートフォーカス装置でもよい。即ち、本発明のオートフォーカス装置は、撮像画像に基づくオートフォーカス機能を有する様々な装置やコンピュータの一部として備わるものであればよい。同様にして、本発明のオートフォーカス用プログラムも、撮像画像に基づくオートフォーカス機能を有する様々な装置やコンピュータの一部として備わるものであればよい。本実施形態では、本発明に係るオートフォーカス装置を備えた撮像システム１について説明する。

図１に示すように、撮像システム１は、光学系１０と、光学系駆動部１１と、撮像部１２と、撮像駆動部１３と、Ａ／Ｄ変換部１４と、画像処理部１５と、領域設定部１６と、加重フィルタ生成部１７と、評価値算出部１８と、合焦位置判定部１９とを備える。また、撮像システム１は、ＣＰＵ等からなる制御部３０と、ＲＯＭやＲＡＭ等からなる記憶部３１と、画像データを記録する記録媒体３２と、操作部３３と、表示部３４とを備える。図１では、撮像システム１の各部間でやり取りされる被写体像や画像データ等を点線で示し、制御信号や駆動信号等を実線で示す。

撮像システム１は、例えば、光学系１０、光学系駆動部１１、撮像部１２、撮像駆動部１３及びＡ／Ｄ変換部１４からなるカメラ（撮像装置）と、他の各部を含むパーソナルコンピュータ（管理装置）とを通信可能に接続して構成される。あるいは、撮像システム１は、各部を１つのカメラに備えて構成されてもよい。撮像システム１のオートフォーカス装置は、少なくとも、領域設定部１６、加重フィルタ生成部１７、評価値算出部１８及び合焦位置判定部１９を備えて構成され、入力画像データに基づいて光学系１０の光学駆動部１２を制御する。

撮像システム１は、バス３０ａを介して各部に接続された制御部３０が各部を制御することで動作するように構成される。記憶部３１は、例えば、撮影制御、オートフォーカス制御、画像処理制御等に必要なプログラムやデータ、その他の撮像システム１の機能を制御するためのプログラムやデータを記憶している。そして、制御部３０は、記憶部３１に記憶された各プロクラム等に従って演算処理を実行して、制御部３０に接続された各部を制御する。

例えば、画像処理部１５は、記憶部３１に記憶されて制御部３０に実行されるプログラム（即ち、画像処理プログラム）で構成されてよい。また、領域設定部１６、加重フィルタ生成部１７、評価値算出部１８及び合焦位置判定部１９、並びに後述する寄与率設定部２０及び適正分布取得部２１は、記憶部３１に記憶されて制御部３０に実行されるプログラム（即ち、撮像システム１やカメラに適用されるオートフォーカス用プログラム）で構成されてよい。この場合、領域設定部１６、加重フィルタ生成部１７、評価値算出部１８及び合焦位置判定部１９、並びに後述する寄与率設定部２０及び適正分布取得部２１は、オートフォーカス用プログラムの各処理ステップとして動作する。例えば、オートフォーカス用プログラムは、撮像システム１やカメラの撮影モードが被写体の突出した先端や凹部の深部にピントを合わせるピンフォーカスモード等に選択された場合に動作するように組み込まれる。

光学系１０は、被写体像を取り込んで撮像部１２に入射する光入射機構である。光学系１０は、図示しないが、ズームレンズ、フォーカスレンズ、シャッタ機構や絞り機構を、所定の光軸上に配置して備える。光学系１０は、光学系駆動部１１からの駆動信号に応じてフォーカスレンズが光軸方向に変位するように構成される。

光学系駆動部１１は、制御部３０からの制御信号に基づいて、光学系１０のフォーカスレンズの位置を変動させる駆動信号を光学系１０へと出力する。例えば、光学系駆動部１１は、コントラスト方式（山登り方式）のオートフォーカス動作時には、フォーカスレンズの位置（焦点位置）を段階的に変動させる駆動信号を順次出力する。また、光学系駆動部１１は、オートフォーカス動作等で合焦位置（合焦するレンズ位置）が決定した場合には、決定したレンズ位置にフォーカスレンズを変動させる駆動信号を出力する。

撮像部１２は、図示しないが、撮影画像の１画面を形成する撮像面及び水平転送路を備え、撮像面が、各画素に対応する複数の感光部及び複数の垂直転送路を備える。各感光部は、入射光を受光した際に、光を受光光量に応じた電気信号に光電変換する光センサである。例えば、撮像部１２は、電荷結合素子（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ：ＣＣＤ）や金属酸化膜型半導体（Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ：ＭＯＳ）等のイメージセンサで構成される。撮像部１２は、光学系１０を介してその撮像面に結像される被写体像を、撮像駆動部１３からの駆動信号に基づいて光電変換し、これにより得られた各画素の信号電荷をアナログ電気信号の撮像画像に変換してＡ／Ｄ変換部１４へと出力する。

撮像駆動部１３は、制御部３０からの制御信号に基づいて撮像部１２を駆動する。例えば、撮像駆動部１３は、各感光部から電荷を読み出すための電荷読出パルス、水平転送路や垂直転送路での電荷の転送を行うための転送パルス等の駆動信号を撮像部１２へと出力する。

Ａ／Ｄ変換部１４は、撮像部１２で生成されたアナログ電気信号の撮像画像を、ディジタル画像信号の撮像画像へと変換する。

画像処理部１５は、Ａ／Ｄ変換部１４で得られたディジタル画像信号の撮像画像に画像処理を施す。例えば、画像処理部１５は、記録媒体３２等で記録可能なフォーマットの画像データを生成して、記録媒体３２に記録する。また、画像処理部１５は、表示部３４等で表示可能なフォーマットの画像データを生成して、表示部３４に表示させる。更に、画像処理部１５は、オートフォーカス動作時には、光学系１０のフォーカスレンズを各段階に変動させる度に画像データを生成し、即ち、複数の焦点位置のそれぞれの画像データを生成する。

領域設定部１６は、被写体４０を撮影する際のフォーカスのターゲット４１に相当する領域を設定する機能を有する（図２参照）。領域設定部１６は、図２に示すように、被写体４０の画像データの全画像領域４３の中で、ターゲット４１を含む大きさの主対象範囲４４と、主対象範囲４４の周囲でターゲット４１の周辺部分４２を少なくとも一部以上含む大きさの周辺範囲４５とを設定する。領域設定部１６は、被写体４０の画像データとして予め定めた基準データに基づいて、あるいは、複数の被写体４０が撮影される際に最初に撮影した画像データに基づいて、主対象範囲４４や周辺範囲４５を設定してもよい。領域設定部１６は、主対象範囲４４及び周辺範囲４５を、基準データに基づいて自動的に設定してもよいが、操作部３３を介したユーザーの手動操作に応じて設定してもよい。例えば、領域設定部１６は、ユーザーの手動操作のために、画像データの全画像領域４３を表示部３４に表示し、全画像領域４３上の範囲選択を操作部３３を介して受け付け、選択された範囲を主対象範囲４４や周辺範囲４５として設定する。このように、領域設定部１６は、主対象範囲４４及び周辺範囲４５の大きさの少なくとも一方を変更可能に構成され、これにより、下記の局所領域の第１領域４６の大きさ及び第２領域４７の大きさの少なくとも一方を変更可能となっている。

ターゲット４１は、全画像領域４３の中の一部であり、例えば、周辺部分４２よりも小面積である。主対象範囲４４は、ターゲット４１が既知である前提で、ターゲット４１を含む画像サイズ（主対象サイズ）であり、例えば、８×８画素以上の矩形で設定される。周辺範囲４５は、ターゲット４１の合焦時にぼけているターゲット４１の周辺部分４２（背景）を包含する領域のサイズ（周辺サイズ）であり、ターゲット４１の周囲に対称的に位置するような矩形で設定される。なお、周辺範囲４５は、画像データの全画像領域４３に複数のターゲット４１がある場合には、主対象範囲４４に対応するターゲット４１に隣接する他のターゲットを含まないように設定される。被写体が複数のターゲット４１を含む場合でも、周辺範囲４５が隣接する他のターゲットを含まずに設定されることにより、確実にターゲット４１の合焦位置を検出できるようになる。

加重フィルタ生成部１７は、領域設定部１６で設定された主対象範囲４４及び周辺範囲４５に対応する空間的加重フィルタ（カーネル）を生成する。加重フィルタ生成部１７は、加重フィルタにおいて、主対象範囲４４に相当する領域には主対象重み係数として正の値（正の重みに対応する正の係数）を設定し、周辺範囲４５に相当する領域には周辺重み係数として負の値（負の重みに対応する負の係数）を設定する。なお、主対象範囲４４や周辺範囲４５に設定される重み係数は、加重フィルタ生成部１７が自動的に設定してもよいが、操作部３３を介したユーザーの手動操作によって調整可能としてよい。例えば、撮像システム１が、主対象範囲４４に対して設定された主対象重み係数、及び周辺範囲４５に対して設定された周辺重み係数の少なくとも一方を変更することができる寄与率設定部２０を備えてもよい。寄与率設定部２０は、例えば、主対象重み係数や周辺重み係数を設定するための寄与率設定画面を表示部３４に表示して、主対象重み係数や周辺重み係数のユーザーによる設定入力を寄与率設定画面上で操作部３３を介して受け付けるとよい。

主対象重み係数は、オートフォーカス動作時に焦点のみが異なる画像間の相対比較を行う際に、ターゲット４１に合焦した画像のコントラストを明瞭にするための重み係数であり、絶対値は必ずしも限定しないが、ここでは、主対象範囲４４のサンプリング点の合計が１．０となるように正規化した値とする。周辺重み係数は、ターゲット４１の周辺部分４２に合焦した画像のコントラストを抑制するための重み係数であり、即ち、周辺範囲４５は、画像データのコントラストから得られるスコア（評価値）にペナルティを与える領域である。周辺重み係数は、負の値であれば必ずしも限定せずにペナルティ効果を考慮して選択すればよいが、ここではサイズによって適用後のレベルが変動しないような値に設定するため、例えば、周辺範囲４５のサンプリング点合計が−２．０となるように正規化する。

上記の加重フィルタは、各焦点位置の画像データ（全画像領域４３）において画素位置の異なる複数の局所領域のデータ（以下、単に局所領域と称する）のそれぞれに対する畳み込み演算に用いられる。局所領域は、主対象範囲４４及び周辺範囲４５を含む大きさであり、即ち、主対象範囲４４に対応する第１領域４６と周辺範囲４５に対応する第２領域４７とを含む。例えば、全画像領域４３に亘って画素位置毎にスキャンすることで複数の局所領域が得られる。この畳み込み演算の結果に基づいて、各局所領域の評価データが算出される。各局所領域の評価データは、詳細は後述するが、鮮鋭度と相関が高いスコア成分（鮮鋭度の指標となるスコア成分）に基づいて算出される。加重フィルタを用いた畳み込み演算を行うことにより、第１領域４６の第１のスコア成分を算出するときには第１のスコア成分に正の重みが寄与することになり、また、第２領域４７の第２のスコア成分を算出するときには第２のスコア成分に負の重みが寄与することになる。

評価値算出部１８は、オートフォーカス動作時に撮像された各焦点位置の画像データに基づいて、最適な合焦位置を評価するための評価値を算出する。即ち、評価値算出部１８は、各焦点位置での評価値を算出する。オートフォーカス動作時の評価値の算出について、図３のフローチャートを参照して説明する。

オートフォーカス動作時を開始する前に、上記の加重フィルタ生成部１７によって加重フィルタを生成しておく（ステップＳ１）。加重フィルタ生成部１７は、２次元の主対象範囲４４及び周辺範囲４５に対応する加重フィルタを生成するが、理解を容易にするため、１次元（左右方向）の加重フィルタを図４のグラフに示す。図４において、縦軸は重み係数のレベルを定めるフィルタ係数Ｆを示し、横軸は左右方向の画素位置座標ｉを示していて、横軸の原点は主対象範囲４４の中心を示す。図４に示すように、加重フィルタは、主対象範囲４４に主対象重み係数を設定すると共に、周辺範囲４５に周辺重み係数を設定して構成される。

評価値算出部１８は、例えば、図５に示すような全画像領域４３を構成する２次元の画像データを入力するが（ステップＳ２）、理解を容易にするため、線Ｂに沿った１次元（左右方向）の画像データを図６のグラフに示す。図５において、ターゲット４１は被写体４０から撮影側（カメラ側）に突出している。図６（ａ）はターゲット４１の周辺部分４２に合焦した状態（周辺合焦状態）のデータを示し、図６（ｂ）はターゲット４１に合焦した状態（ターゲット合焦状態）のデータを示す。以下、図７、図８及び図９でも、理解を容易にするため、図６と同様にして１次元（左右方向）のデータを示す。

評価値算出部１８は、各焦点位置の画像データの評価値を算出するために、画像データに含まれる複数の局所領域のそれぞれについて評価データを生成し、これらの複数の評価データに基づいて各焦点位置の評価値を算出する。評価データの生成及び評価値の算出の詳細は後述する。なお、この局所領域には、主対象範囲４４に対応する同じ大きさの第１領域４６と、周辺範囲４５に対応する同じ大きさの第２領域４７との少なくとも２つの領域が含まれる。評価値算出部１８は、各焦点位置の画像データとして、例えば、各画素位置に結像される被写体４０の輝度に線形又は非線形な関係を有する階調に相当する情報を用いて、この階調が全画像領域４３内の複数の局所領域毎に分布したコントラストに相当する指標を算出して、その算出結果の画素データを用いる。ここで用いられる画素データは、例えば、輝度に線形に比例するモノクロ信号（グレースケール）でよい。あるいは、三原色ＲＧＢからなる画像データから抽出したＧ成分のみのデータや、ガンマ特性等の被線形に符号化されたデータを用いてもよい。

評価値算出部１８は、評価データ生成のために、先ず、各画像データの各局所領域の画素データに対して所定のバンドパス特性を有する空間的周波数フィルタを用いて周波数フィルタ処理を行い（ステップＳ３）、エッジ部を中心に局所的な明暗の相対変化のみをデータとして算出する。そして、周波数フィルタ処理後のデータに基づいて、複数の局所領域のそれぞれについて、鮮鋭度と相関が高いスコア成分（鮮鋭度の指標となるスコア成分）を算出する。例えば、各局所領域のデータを、振幅成分でコントラストの大小を表す数値に換算する換算処理を行う。これにより、各局所領域の第１領域４６に対する第１のスコア成分と第２領域４７に対する第２のスコア成分とが算出される。

このような空間フィルタリング処理では、例えば、ローカットフィルタによって、鮮鋭度と相関の低い明暗差を除き、ハイカットフィルタによって、フォーカス判定に関連の低いノイズ成分の影響を抑える。あるいは、この空間フィルタリング処理では、図６に示すデータに対して、最小限の簡易な処理として平均を除いて振幅のみを抽出する計算を行うことによって、図７に示すデータが得られる。なお、周波数フィルタ処理は、画像データから局所的なコントラストを検出するための手法の一つであり、局所的なコントラストを検出することができれば、周波数フィルタ処理以外の手法を適用してもよい。

ここで一般的には、振幅成分でコントラストの大小を表す数値に換算するために、例えば、二乗平均や最大値と最小値との差等によって算出することができる。また、図８のように絶対値したデータの平均を用いる処理は、各値をＹ_ｉ（ｉは、データ数ｎ以下の整数）、各値の平均値をＹ_ｍｅａｎとすると、次の数式（１）によって行うことができる。

しかしながら、このように単純に平均化したデータでは、図８（ａ）の周辺合焦状態は、図８（ｂ）のターゲット合焦状態に比べて、全体的に絶対値が高いため、このままでは、図８（ａ）の周辺合焦状態の方がコントラストが高いと判断されてしまうことがある。

従って、評価値算出部１８は、コントラストを表す数値への換算処理の前に、追加的に加重フィルタ処理を行う（ステップＳ５）。ここでは、周波数フィルタ後の振幅成分Ａ_ｉに対して（例えば、上記のように絶対値化されたレベル｜Ｙ_ｉ−Ｙ_ｍｅａｎ｜に対して）、上記の加重フィルタを適用する畳み込み演算を行い、次の数式（２）で表すことができる。

このとき、同一の局所領域において、加重フィルタの主対象範囲４４に対して第１領域４６内にターゲット４１に相当するデータ（ターゲットデータ）があると共に周辺範囲４５に対して第２領域４７内に周辺部分４２に相当するデータ（周辺部データ）がある場合には、畳み込み演算によって全体的にデータのレベルが下げられるがターゲットデータのピークは維持される（図９（ｂ）参照）。一方、同一の局所領域において、加重フィルタの主対象範囲４４に対して第１領域４６内にターゲット４１に相当するデータ（ターゲットデータ）がない場合には、畳み込み演算によって全体的にデータのレベルが下げられ、即ち、ターゲット４１の周辺部分４２に合焦した画像に対する全体的なレベルは抑制される（図９（ａ）参照）。

従って、このような畳み込み演算後のデータに対して上記の換算処理を行うと（ステップＳ６）、各局所領域の第１領域４６に対して算出される第１のスコア成分に対しては、加重フィルタの主対象範囲４４に設定された主対象重み係数が寄与していて、各局所領域の第２領域４７に対して算出される第２のスコア成分に対しては、加重フィルタの周辺範囲４５に設定された周辺重み係数が寄与するように計算（統合）した評価データが得られる。

そして、評価値算出部１８は、上記の畳み込み演算を利用して生成された複数の局所領域の評価データに基づいて、注目する一定範囲から合焦位置を判定する指標となる１つの評価値を算出するための統計処理を行う（ステップＳ７）。例えば、評価値算出部１８は、各画像データの全画像領域に亘る複数の評価データの中から最大値を取得して評価値とする。このとき、図９（ｂ）に示すようなターゲット合焦状態の評価データは、ターゲット４１に相当する位置でピークを有するため、図９（ａ）に示すような周辺合焦状態の評価データに比べて、高い評価値が得られる。

なお、評価値算出部１８は、図９（ｂ）に示すような統計処理前の段階において、ターゲット４１に合焦した場合の評価値の最大値が損なわれない解像度を維持できるなら、空間フィルタリング処理（ステップＳ３）の後に画像データの縮小処理（画素サイズ縮小処理）を行うことによって、その後の演算量を減らしてもよい（ステップＳ４）。

合焦位置判定部１９は、異なる複数の各焦点位置において評価値算出部１８で算出された評価値を分析し、最大の評価値が得られた焦点位置を、合焦位置として検出する（ステップＳ８）。例えば、各焦点位置の評価データの内、図９（ｂ）のターゲット合焦状態の評価データがターゲット４１に相当する位置でピークを有して最大の評価値が得られる場合には、このターゲット合焦状態の画像データを得たときの焦点位置（ターゲット４１にピントを合わせた焦点位置）が、合焦位置として検出される。

なお、本実施形態では、周波数フィルタを用いた空間フィルタリング処理と、加重フィルタを用いた追加的なフィルタリング処理とを、別個に行う例を説明したが、本発明は、この例に限定されない。例えば、他の実施形態では、周波数フィルタと加重フィルタとを予め結合させた結合空間フィルタを用いて、畳み込み演算を空間フィルタリング処理と共に行ってもよい。

また、本実施形態では、加重フィルタを用いた畳み込み演算によって、第１領域４６の第１のスコア成分に対して正の値の主対象重み係数を寄与させると共に、第２領域４７の第２のスコア成分に対して負の値の周辺重み係数を寄与させる例を説明したが、本発明は、この例に限定されない。例えば、第１領域４６の第１のスコア成分に対して正の値の主対象重み係数を寄与させるフィルタと、第２領域４７の第２のスコア成分に対して負の値の周辺重み係数を寄与させるフィルタとを別個に備えて、各フィルタ処理結果を加算することで、各局所領域の評価データを算出してもよい。あるいは、第１領域４６の第１のスコア成分に対して正の値の主対象重み係数を寄与させ、また、第２領域４７の第２のスコア成分に対して負の値の周辺重み係数を寄与させることができれば、加重フィルタ等のフィルタを用いた畳み込み演算以外の手法を適用してもよい。

上述のように、本実施形態によれば、撮像システム１のオートフォーカス装置は、被写体４０の画像のコントラストに応じて被写体４０に対する焦点制御状態を決定する装置である。このオートフォーカス装置は、評価値算出部１８と、合焦位置判定部１９とを備える。評価値算出部１８は、複数の焦点位置のそれぞれにおいて被写体４０を撮像して得られる複数の画像データのそれぞれについて、合焦位置の判定に用いられる評価値を算出する。合焦位置判定部１９は、複数の焦点位置のそれぞれに対して算出された複数の評価値に基づいて合焦位置を判定する。また、評価値算出部１８は、各画像データに含まれる複数の局所領域のそれぞれについて、被写体４０のフォーカスのターゲット４１を含む大きさの第１領域４６に対して算出される第１のスコア成分と、第１領域４６の周囲でターゲット４１の周辺部分４２を少なくとも一部以上含む大きさの第２領域４７に対して算出される第２のスコア成分とを用いて、第１のスコア成分に正の重みで寄与し、第２のスコア成分に負の重みで寄与するように計算した評価データを生成し、各画像データ内の複数の局所領域のそれぞれについて生成された複数の評価データに基づいて評価値を算出する。

例えば、評価値算出部１８は、各画像データ内の各局所領域の画素データに対して、正の重みに対応する正の係数を第１領域４６に与えると共に負の重みに対応する負の係数を第２領域４７に与える空間的加重フィルタを用いた畳み込み演算を行い、畳み込み演算の結果に基づいて評価データを生成するとよい。

また、例えば、評価値算出部１８は、各画像データ内の各局所領域の画素データに対して所定のバンドパス特性を持つ空間的周波数フィルタを用いた周波数フィルタ処理を行い、周波数フィルタ処理後のデータに基づいて振幅成分の大小を表す値へ換算する換算処理を行い、換算処理の結果に基づいて第１のスコア成分及び第２のスコア成分を算出するとよい。あるいは、評価値算出部１８は、加重フィルタと周波数フィルタとを予め結合させた結合空間フィルタを用いて畳み込み演算を行ってもよい。

更に、例えば、評価値算出部１８は、各画像データ内の画素データとして、各画素位置に結像される被写体４０の輝度に線形又は非線形な関係を持つ階調に相当する情報を用いて、階調が各画像データ内の複数の局所領域毎に分布したコントラストに相当する指標を算出する。

なお、評価値算出部１８は、例えば、各画像データについて、複数の評価データの中から最大値を評価値とするとよく、合焦位置判定部１９は、複数の焦点位置のそれぞれに対する複数の評価値の中から最大値が得られる焦点位置を合焦位置として判定するとよい。

これらのような構成により、オートフォーカス装置は、フォーカスのターゲット４１とこのターゲット４１の周辺部分４２とで合焦する焦点位置が異なる被写体の場合でも、ターゲット４１にピントを合わせた合焦位置を検出することができる。そのため、例えば、電極等の突起状部材を有する電子部品のように、周辺部分４２よりも小面積のターゲット４１を有する被写体を突起部の先端側から本撮影する場合でも、突起部の先端にピントを合わせた合焦位置を検出することができる。あるいは、凹部を有する部品を凹みの正面から本撮影する場合でも、凹部の深部にピントを合わせた合焦位置を検出することができる。また、オートフォーカス装置は、撮影するタイミングに応じてターゲット４１の位置が変動する場合でも、複雑な処理や構成を備えることなく、迅速且つ確実にターゲット４１の合焦位置を検出することができる。そのため、このオートフォーカス装置をマシンビジョンシステム等に採用する場合には、撮影及び検査の処理速度の向上や、処理負担の軽減、更には、設備コストの抑制を実現することができる。

また、本実施形態によれば、評価値算出部１８は、周波数フィルタ処理後のデータに対して画素サイズ縮小処理を行い、縮小処理後のデータに基づいて第１のスコア成分及び第２のスコア成分を算出してもよい。

これにより、オートフォーカス装置は、オートフォーカス動作における処理速度を向上すると共に、処理負担を軽減することが可能となる。

また、本実施形態によれば、撮像システム１のオートフォーカス装置は、第１領域４６の大きさ及び第２領域４７の大きさの少なくとも一方を変更することができる領域設定部１６を備えてもよいし、第１のスコア成分に寄与させる正の値の主対象重み係数（正の重み）及び第２のスコア成分に寄与させる負の値の周辺重み係数（負の重み）の少なくとも一方を変更することができる寄与率設定部２０を備えてもよい。

これらにより、オートフォーカス装置は、被写体４０においてピントを合わせるべきターゲット４１について、被写体４０（例えば、マシンビジョンシステム等での検査製品）毎に、詳細な設定を行うことが可能となる。

本実施形態では、加重フィルタ生成部１７が主対象範囲４４の周囲の周辺範囲４５に対して負の重み係数を均一に設定して加重フィルタを生成する構成について説明したが、本発明はこの構成に限定されない。他の実施形態では、加重フィルタ生成部１７は、各画像データの各局所領域において第１領域４６と第２領域４７との間に、重みが０である不感帯としての第３領域を持つように、正の値の主対象重み係数が設定される主対象範囲４４と、負の値の周辺重み係数が設定される周辺範囲４５との間に、０の重み係数が設定される不感帯範囲を有して加重フィルタを生成してもよい。このような他の実施形態によれば、例えば、撮影側から見て突起部のターゲット４１の先端が微小面積を有し、先端から基端にかけて面積が増加している被写体４０を撮影する場合や、撮影側から見て凹部のターゲット４１の深部が微小面積を有し、深部から凹部縁側にかけて面積が増加している被写体４０を撮影する場合でも、ターゲット４１の先端や深部以外での合焦を回避して、確実にターゲット４１の合焦位置を検出することができる。あるいは、加重フィルタ生成部１７は、周辺範囲４５を内側（ターゲット４１に近い側）から外側（ターゲット４１より遠い側）にかけて多段階領域に分割し、より外側の段階領域に対して、より少ない負の重み係数を設定して加重フィルタを生成してもよい。

また、本実施形態では、合焦位置判定部１９が、複数の焦点位置のそれぞれに対する複数の評価値の中から最大値が得られる焦点位置を合焦位置として判定する例を説明したが、本発明はこの例に限定されない。例えば、他の実施形態では、合焦位置判定部１９は、複数の焦点位置に対する複数の評価値の中から局所的ピーク位置を１つ以上算出し、所定の適正分布に最も適する局所的ピーク位置が得られた焦点位置を合焦位置として判定してもよい。この場合、撮像システム１は、ターゲット４１の合焦位置に対して適正な分布範囲又は極性の情報を示す所定の適正分布を取得するために適正分布取得部２１を備えて構成されるとよい。適正な分布範囲や極性の情報は、複数の焦点位置に亘って見られる１つ以上の局所的ピーク位置の内、最適なものを評価するための情報である。例えば、「分布範囲」は、複数の焦点位置の中で、近距離側や遠距離側等の予め想定できる範囲である。これにより、被写体４０において焦点位置の異なる２つ以上の突起部や凹部が存在する場合でも、最適なターゲット４１を選択してフォーカスを合わせることが可能となる。

なお、本実施形態では、領域設定部１６が、ターゲット４１を含む大きさの主対象範囲４４と、主対象範囲４４の周囲の周辺範囲４５とを設定する構成を説明したが、本発明はこの構成に限定されない。例えば、他の実施形態では、領域設定部１６は、ターゲット４１を含む大きさの主対象範囲４４の他に、ターゲット４１の周辺部分４２を少なくとも一部以上含む複数の領域を設定してもよい。また、領域設定部１６は、主対象範囲４４や周辺範囲４５の形状として、矩形に限定されず、ターゲット４１やその周辺部分４２に対応する領域であれば、他の形状を設定することもできる。

また、本発明は、請求の範囲及び明細書全体から読み取ることのできる発明の要旨又は思想に反しない範囲で適宜変更可能であり、そのような変更を伴うオートフォーカス装置やオートフォーカス用プログラムもまた本発明の技術思想に含まれる。

１ 撮像システム
１０ 光学系
１１ 光学系駆動部
１２ 撮像部
１３ 撮像駆動部
１４ Ａ／Ｄ変換部
１５ 画像処理部
１６ 領域設定部
１７ 加重フィルタ生成部
１８ 評価値算出部
１９ 合焦位置判定部
２０ 寄与率設定部
２１ 適正分布取得部
３０ 制御部
３１ 記憶部
３２ 記録媒体
３３ 操作部
３４ 表示部
４０ 被写体
４１ ターゲット
４２ 周辺部分
４３ 全画像領域
４４ 主対象範囲
４５ 周辺範囲
４６ 第１領域
４７ 第２領域

Claims (13)

1. 被写体の画像のコントラストに応じて前記被写体に対する焦点制御状態を決定するオートフォーカス装置であって、
   複数の焦点位置のそれぞれにおいて前記被写体を撮像して得られる複数の画像のそれぞれについて、合焦位置の判定に用いられる評価値を算出する評価値算出部と、
   前記複数の焦点位置のそれぞれに対して算出された複数の前記評価値に基づいて、合焦位置を判定する合焦位置判定部と、を備え、
   前記評価値算出部は、前記各画像に含まれる複数の局所領域のそれぞれについて、前記被写体のフォーカスのターゲットを含む大きさの第１領域に対して算出される第１のスコア成分と、前記第１領域の周囲で前記ターゲットの周辺部分を少なくとも一部以上含む大きさの第２領域に対して算出される第２のスコア成分とを用いて、前記第１のスコア成分に正の重みで寄与し、前記第２のスコア成分に負の重みで寄与するように計算した評価データを生成し、前記各画像内の前記複数の局所領域のそれぞれについて生成された複数の前記評価データに基づいて前記評価値を算出することを特徴とするオートフォーカス装置。
2. 前記評価値算出部は、前記各画像内の前記各局所領域の画素データに対して、前記正の重みに対応する正の係数を前記第１領域に与えると共に前記負の重みに対応する負の係数を前記第２領域に与える空間的加重フィルタを用いた畳み込み演算を行い、前記畳み込み演算の結果に基づいて前記評価データを生成することを特徴とする請求項１に記載のオートフォーカス装置。
3. 前記評価値算出部は、前記各画像内の前記各局所領域の画素データに対して所定のバンドパス特性を持つ空間的周波数フィルタを用いた周波数フィルタ処理を行い、前記周波数フィルタ処理後のデータに基づいて振幅成分の大小を表す値へ換算する換算処理を行い、前記換算処理の結果に基づいて前記第１のスコア成分及び前記第２のスコア成分を算出することを特徴とする請求項１又は２に記載のオートフォーカス装置。
4. 前記評価値算出部は、前記加重フィルタと前記周波数フィルタとを予め結合させた結合空間フィルタを用いて前記畳み込み演算を行うことを特徴とする請求項３に記載のオートフォーカス装置。
5. 前記評価値算出部は、前記各画像内の画素データとして、各画素位置に結像される前記被写体の輝度に線形又は非線形な関係を持つ階調に相当する情報を用いて、前記階調が前記各画像内の前記複数の局所領域毎に分布したコントラストに相当する指標を算出することを特徴とする請求項１ないし４の何れか１項に記載のオートフォーカス装置。
6. 前記評価値算出部は、前記周波数フィルタ処理後のデータに対して画素サイズ縮小処理を行い、前記縮小処理後のデータに基づいて前記第１のスコア成分及び前記第２のスコア成分を算出することを特徴とする請求項３に記載のオートフォーカス装置。
7. 前記評価値算出部は、前記第１領域と前記第２領域との間に、重みが０である不感帯としての第３領域を持つ前記加重フィルタを用いることを特徴とする請求項２に記載のオートフォーカス装置。
8. 前記評価値算出部は、前記各画像について、前記複数の評価データの中から最大値を前記評価値とすることを特徴とする請求項１ないし７の何れか１項に記載のオートフォーカス装置。
9. 前記合焦位置判定部は、前記複数の焦点位置のそれぞれに対する前記複数の評価値の中から最大値が得られる焦点位置を合焦位置として判定することを特徴とする請求項１ないし８の何れか１項に記載のオートフォーカス装置。
10. 前記焦点位置に対して適正な分布範囲または極性の情報を取得する適正分布取得部を備え、
    前記合焦位置判定部は、前記複数の焦点位置に対する前記複数の評価値の中から局所的ピーク位置を１つ以上算出し、前記適正分布に最も適する前記局所的ピーク位置が得られた前記焦点位置を合焦位置として判定することを特徴とする請求項１ないし９の何れか１項に記載のオートフォーカス装置。
11. 前記第１領域の大きさ及び前記第２領域の大きさの少なくとも一方を変更することができる領域設定部を備えることを特徴とする請求項１ないし１０の何れか１項に記載のオートフォーカス装置。
12. 前記第１のスコア成分に寄与させる前記正の重み及び前記第２のスコア成分に寄与させる前記負の重みの少なくとも一方を変更することができる寄与率設定部を備えることを特徴とする請求項１ないし１１の何れか１項に記載のオートフォーカス装置。
13. 請求項１ないし１２の何れかに記載のオートフォーカス装置としてコンピュータを機能させるためのオートフォーカス用プログラム。

Images