JP4773740B2 - 画像選択装置および自動合焦装置 - Google Patents

Description

この発明は、複数の画像の中から特定の画像を選択する画像選択装置および自動合焦装置に関するものである。

従来より、製本機では、ステーションに複数枚積み重ねて載置されている折丁（１枚の用紙に複数頁を印刷し折り畳んだ印刷物）を１枚ずつ引き出し、この引き出した折丁を上流から搬送されてくる折丁（前段のステーションから引き出され搬送されてくる折丁）に重ね合わせ、次段に送るという動作を繰り返している。

この製本機には、ステーションから折丁を１枚ずつ引き出す際に、この引き出された折丁の所定の部分を検査画像として撮像し、この検査画像と予め登録されている基準画像とを照合することによって乱丁の有無を検査する乱丁検査装置が設けられている（例えば、特許文献１参照）。

この乱丁検査装置において、検査の基準となる基準画像は、検査対象である折丁において最も変化に富んだ特徴的な部分を含んでいることが望ましい。そこで、従来においては、乱丁検査に先立って、最も変化に富んだ特徴的な部分を含む基準画像の選択および登録を行っている。

例えば、ステーションから折丁を引き出しながら、この折丁が所定の位置に達した時点より、所定距離引き出される毎に、カメラでその折丁の一部分を基準画像の候補として撮像し、この各基準画像候補の自己相関を求め、これらの基準画像候補の中から最大の自己相関を持つ画像（最も変化に富んだ特徴的な部分を含む画像）を選び出し、この選び出した画像を乱丁検査用の基準画像として登録する。また、この基準画像の撮像タイミングを記憶し、検査画像の撮像タイミングとして使用する。

特開平１１−５３５５２号公報、図１、段落〔００２５〕参照。 特開平９−２２４０６号公報 コンピュータ画像処理入門（日本工業技術センター編、総研出版（株）発行、Ｐ．４４〜４５）。 「画像処理による長焦点深度光学顕微鏡画像の合成」、白石利治，三井公之、精密工学会誌、Vol.60、No.8、１９９４。

しかしながら、上述した従来の乱丁検査装置では、基準画像候補の中から最大の自己相関を持つ画像を選び出すため、自己相関の値が画像全体の輝度分布に左右され、必ずしも最善の画像が基準画像として選ばれるという保証がなかった。また、検査画像を基準画像と照合する場合、基準画像にはその照合処理を行う際に生じる量子化誤差などの外乱に強いことが望まれるが、そのようなことは考慮に入れられていなかった。例えば、離散的フーリエ変換を用いて相互相関を求める場合には、フーリエ変換／フーリエ逆変換の過程で量子化誤差が生じることがあり、基準画像によっては量子化誤差が照合結果に悪影響を及ぼす虞れがあった。

本発明は、このような課題を解決するためになされたもので、その目的とするところは、最も変化に富んだ特徴的な部分を含むとともに、外乱にも強いバランスのとれた画像を選択することができる画像選択装置を提供することにある。

このような目的を達成するために本発明は、複数の画像の中から特定の画像を選択する画像選択装置において、
前記画像の各々について前記画像に２次元離散的フーリエ変換を施し、前記画像の各画素における振幅成分を求め、所定の周波数範囲における振幅成分を合計し、この合計に基づいて第１の評価値を求める第１評価値算出手段と、
前記画像の各々について前記画像に２次元離散的フーリエ変換を施してフーリエ画像を得、このフーリエ画像に２次元離散的逆フーリエ変換を施して逆フーリエ画像を求め、前記画像と逆フーリエ画像との相関を求め、この自己相関に基づいて第２の評価値を求める第２評価値算出手段とを備え、
前記画像の各々について求められた第１の評価値及び第２の評価値に基づいて総合評価値を求め、各画像の中から総合評価値の最も優れた画像を選択する画像選択手段とを設けたものである。

請求項１記載の発明によれば、第１評価値算出手段は、画像に２次元離散的フーリエ変換を施し、画像の各画素における振幅成分を求め、所定の周波数範囲における振幅成分を合計し、この合計に基づいて第１評価値を求めるものである。第２評価値算出手段は、前記画像に２次元離散的フーリエ変換を施してフーリエ画像を得、このフーリエ画像に２次元離散的逆フーリエ変換を施して逆フーリエ画像を求め、前記画像と逆フーリエ画像との相関を求め、この自己相関に基づいて第２の評価値を求めるものである。画像の各々に対して、第１の評価値と第２の評価値とを用いて総合評価値を求め、各画像の中から総合評価値の最も優れた画像を選び出す。また、請求項２記載の発明では、前記フーリエ画像に振幅抑制処理を施す。さらに、請求項３記載の発明では、第１の評価値および第２の評価値の少なくとも一方に基づいて対象物と撮像用カメラとの距離又は撮像用レンズのピントを変化させながら繰り返し撮像し、撮像された画像の中から最適な画像を選択する。

本発明によれば、第１の評価値と第２の評価値とに基づいて最適な画像が選択されるものとなる。

以下、本発明を図面に基づいて詳細に説明する。図１はこの発明に係る画像選択装置の一実施の形態を含む乱丁検査装置の概略構成図である。

同図において、２は製本機のステーションであり、折丁１が複数枚積み重ねて載置されている。３はステーション２に積み重ねられている折丁１を最下層から１枚ずつくわえて引き出すキャリパである。キャリパ３は、回転軸３ａが例えば１回転する毎に往復運動を行い、ステーション２から折丁１を引き出し、この引き出した折丁１を上流から搬送されてくる折丁（前段のステーションから引き出され搬送されてくる折丁）に重ね合わせる。

４は回転軸３ａの回転に応じて位置検出パルスを発生するロータリエンコーダである。このロータリエンコーダ４は、回転軸３ａが１回転する毎にｋ個の位置検出パルスを発生する。換言すると、回転軸３ａが（３６０／ｋ）゜回転する毎に、すなわちキャリパ３が折丁１を所定長さ引き出す毎に１個の位置検出パルスを発生する。

５はキャリパ３による折丁１の引出経路にその光路が交わるようにして設けられた光電センサである。光電センサ５は、引き出された折丁１の通過開始および通過終了を検出する印刷物検出手段であり、折丁１の通過を検出している間「Ｈ」レベルの信号を出力する。

６はキャリパ３による折丁１の引出経路にその視野範囲θを向けて固定されたカメラである。本実施の形態において、カメラ６の視野範囲θは狭く、キャリパ３により引き出される折丁１の一部分を撮像領域とする。この例では、折丁１の引き出し方向を長さ方向、この長さ方向と直交する方向を幅方向とした場合、幅方向の全部と長さ方向の一部とがカメラ６による折丁１の撮像領域とされる。

７はカメラ６の視野範囲θを照明する照明装置である。８はロータリエンコーダ４からの位置検出パルスと光電センサ５からの信号（光電信号）を入力とし、撮像タイミングパルスを発生する撮像タイミングパルス生成部である。本実施の形態において、撮像タイミングパルス生成部８は、光電センサ５からの光電信号が「Ｈ」レベルとなっている間、すなわち折丁１の通過開始が検出されてから通過終了が検出されるまでの間、折丁１の通過開始が検出された時点で１個目の撮像タイミングパルスを発生し、この時点から位置検出パルスの積算値が所定積算値Ｎｓに達する毎に、２個目、３個目というように撮像タイミングパルスを発生する。

なお、この例では、折丁１の通過開始が検出されてから通過終了が検出されるまでの間に発生する撮像タイミングパルスの発生個数ＮがＮ＝８となるように、すなわち基準画像候補の撮像回数ＮがＮ＝８となるように、撮像タイミングパルスを生成する際に使用する所定積算値Ｎｓが設定されているものとする。

９は撮像タイミングパルス生成部８からの撮像タイミングパルスを入力とし、カメラ６や照明装置７、キャリパ３の動作を制御するとともに、カメラ６によって撮像される検査画像と基準画像との照合により乱丁を検査する乱丁検査部である。１０は乱丁検査部９に対して基準画像の選択指示を与える指示スイッチである。指示スイッチ１０はオペレータによって操作される。

乱丁検査部９は、プロセッサや記憶装置からなるハードウェアと、これらのハードウェアと協働して乱丁検査部としての各種機能を実現させるプログラムとによって実現され、上述した検査画像と基準画像との照合機能に加えて、本実施の形態特有の機能として基準画像選択機能を備えている。

なお、本実施の形態において、乱丁検査部９における検査画像と基準画像との照合は、本出願人が先に提案した特許文献２に記載されている方式によって行うようにしている。 すなわち、検査画像と基準画像にそれぞれ２次元離散的フーリエ変換（ＦＦＴ）を施し、このＦＦＴを施した検査画像と基準画像とを合成して合成フーリエ画像データを得る。そして、この合成フーリエ画像データに対して振幅抑制処理（ｌｏｇ処理）を行ったうえ、再度ＦＦＴを施して相関データとする。そして、この相関データ上に定められた所定の相関成分エリアの個々の画素毎の相関成分の中から強度の高い上位ｎ画素を抽出し、この抽出したｎ画素の相関成分の強度の平均を相関値としてしきい値と比較し、相関値がしきい値よりも高ければ検査画像と基準画像とが一致したと判断する。

この照合において、相関データは、周波数空間における振幅が抑制されているが（全ての振幅を１とした場合には位相成分のみ）、基本的には検査画像と基準画像とを畳み込んだデータと考えることができ、検査画像と基準画像との相関を表すものである。振幅抑制処理は省略してもよいが、振幅抑制処理を行うことによって、合成フーリエ画像データにおける検査画像の採取時と基準画像の採取時の照度差による影響が小さくなり、また画像中の模様がより強調され、照合精度が格段にアップする。

以下、図２に示したフローチャートに従って、乱丁検査部９が有する基準画像選択機能について説明する。
オペレータは、指示スイッチ１０をオンとし、乱丁検査部９に基準画像の選択指示を与える。すると、乱丁検査部９は、指示スイッチ１０のオンを基準画像の選択開始と判断し（ステップ２０１のＹＥＳ）、キャリパ３を動かしてステーション２から折丁１を引き出しながら、Ｎ＝８個の基準画像候補の撮像を行う（ステップ２０２）。

〔基準画像候補の撮像〕
ステップ２０２での基準画像候補の撮像は次のようにして行われる。キャリパ３によって折丁１が引き出されると、この折丁１の前縁が光電センサ５の光路に達した時点で、光電センサ５が出力する光電信号が「Ｈ」レベルとなる。この「Ｈ」レベルの光電信号を受けて、撮像タイミングパルス生成部８は、１個目の撮像タイミングパルスを発生する。この撮像タイミングパルスは乱丁検査部９へ与えられる。乱丁検査部９は、撮像タイミングパルス生成部８からの１個目の撮像タイミングパルスを受けて、照明装置７を作動させ、カメラ６の視野範囲θの照明を開始する。また、カメラ６を作動させ、視野範囲θに位置する折丁１の一部分を１番目の基準画像候補として撮像する。

撮像タイミングパルス生成部８は、光電センサ５からの光電信号が「Ｈ」レベルとなると、ロータリーエンコーダ４からの位置検出パルスの積算を始める。ロータリーエンコーダ４は折丁１が所定長さ引き出される毎に位置検出パルスを発生する。この位置検出パルスの積算値が所定積算値Ｎｓに達すると、すなわち光電センサ５により折丁１の通過が検出されてからその折丁１が所定距離ΔＬ引き出されると、基準タイミングパルス生成部８が２個目の撮像タイミングパルスを発生する。乱丁検査部９は、撮像タイミングパルス生成部８からの２個目の撮像タイミングパルスを受けて、カメラ６を作動させ、視野範囲θに位置する折丁１の次の一部分を２番目の基準画像候補として撮像する。

以下、同様にして、撮像タイミングパルス生成部８は、位置検出パルスの積算値が所定積算値Ｎｓに達する毎（折丁１が所定距離ΔＬ引き出される毎）に、撮像タイミングパルスを発生する。そして、この撮像タイミングパルスを受けて、乱丁検査部９がカメラ６を作動させ、視野範囲θに位置する折丁１の一部分を次々に基準画像候補として撮像して行く。これにより、乱丁検査部９は、折丁１を引き出しながら、この折丁１から８個の基準画像候補を得る。この８個の基準画像候補が得られる間、乱丁検査部９は、照明装置７による視野範囲θの照明を続ける。

このようにして、キャリパ３で折丁１を引き出しながら８個の基準画像候補を取り込んだ後、ステップ２０３以降の処理により、取り込んだ８個の基準画像候補の中から最適な画像、すなわち最も変化に富んだ特徴的な部分を含むととともに検査画像との照合に際して生じる外乱にも強いバランスのとれた画像を基準画像として選択する。

〔基準画像の選択〕
乱丁検査部９は、８個の基準画像候補を取り込んだ後、ループカウンタ（ソフトタイマ）のカウント値ｉを１、変数ｍおよびＥを０とする（ステップ２０３）。そして、カウント値ｉとＮ（Ｎ＝８）とを比較し（ステップ２０４）、ｉ≦Ｎであればステップ２０５へ進み、ｉ＞Ｎとなればステップ２１２へ進む。

この場合、ループカウンタのカウント値ｉはｉ＝１であるので、ステップ２０５へ進む。ステップ２０５では、ｉ番目の画像、すなわち１番目の基準画像候補を読み出す。そして、この読み出した１番目の基準画像候補について、合焦の度合いを示す第１の評価値Ａを計算する（ステップ２０６）。

〔評価値Ａの計算〕
この評価値Ａの計算は図３に示すフローチャートに従って行う。まず、読み出した基準画像候補に２次元離散的フーリエ変換（ＦＦＴ）を施し（ステップ３０１）、フーリエ画像データを作成する。このＦＦＴが施された基準画像候補の各画素のデータは複素数によって表される。次のステップ３０２では、この複素数で表されたデータの実部と虚部とから、（実部² ＋虚部² ）^1/2 としてそのデータの振幅を求める（ステップ３０２）。なお、２次元離散的フーリエ変換については、例えば非特許文献１等に説明されている。

そして、直流分を中心にＸ軸方向，Ｙ軸方向に振幅を並べた図４に示す周波数空間（この例では、画像幅を３２画素、画像高さを３２画素とする）において、同図に斜線で示す井形のエリア、すなわちＸ軸方向の周波数が１／２画像幅（１６画素）の１／４（４画素）〜１／２（８画素）、Ｙ軸方向の周波数が１／２画像高さ（１６画素）の１／４（４画素）〜１／２（８画素）に相当する井形のエリアの各画素のデータの振幅を合計し、この振幅の合計値を評価値Ａとする（ステップ３０３）。

本実施の形態において、評価値Ａは、ＦＦＴを施した基準画像候補の低周波領域と高周波領域をほゞ除去した周波数領域（以下、この領域を評価領域と呼ぶ）のデータの振幅の合計として求められる。基準画像候補に適度の輝度変化があり、合焦の度合いが高いほど評価値Ａは大きくなる。合焦の度合いが低い場合には、基準画像候補での輝度変化（輝度差）が小さく、評価領域におけるデータの振幅の合計が小さくなる。これにより、評価値Ａが大きくなるほど、合焦の度合いが高いということが分かる。

なお、上述においては、井形の領域を評価領域として評価値Ａを求めたが、図５（ａ）に示すように任意の方向で周波数が４画素〜８画素に相当するリング状のエリアを評価領域として評価値Ａを求めるようにしてもよく、また図５（ｂ）に示すようにＸ軸方向の周波数が４画素〜８画素、Ｙ軸方向の周波数が４画素〜８画素に相当する□形のエリアを評価領域として評価値Ａを求めるようにしてもよい。また、評価領域を決める周波数の範囲も４画素〜８画素相当に限られるものでもない。図６に評価領域の変形例を示す。

〔低周波領域と高周波領域を除去した周波数領域を評価領域とする理由〕
合焦の判断には、ピントが合っている画像と、合っていない画像とで判定値に差が出やすいほど望ましい。従って、振幅の合計値を判定値に利用する場合には、図７に示す実験結果（評価領域を変えての振幅の合計値のピントによる変化）より、高周波領域ほど判定に向いていることになる。この結果から、低周波領域を除外する。次に、本実施の形態での判定状況を考えると、折丁のそり具合でピントが合うかどうかが決まることから、もしかすると全ての撮像位置でピントが甘い状況になるかも知れない。従って、合焦の判断基準として、いかなるピントの状態でも適用できる方が使い勝手がよい。ピントが合っていない状態同士（例えば、画像00000〜20000,50000〜60000）で比較を行う事になった場合、高周波領域の振幅の合計値では、有意な比較ができるとは思えない。この結果から、高周波領域を除外する。

なお、この実施の形態では、上記の様な理由により低周波領域と高周波領域を除去するが、例えばピントが合っている範囲の前後を動かすような場合、対象物とカメラとの距離（対物距離）を変化させたりレンズのピントを動かす様な場合には、単純に高周波領域の振幅の合計値を使うだけで済むことは言うまでもない。すなわち、対物距離またはレンズのピントを変化させながら所定の時間間隔で一連の画像を撮像し、各々の画像の評価値Ａを求め、最適な評価値Ａが得られた対物距離またはレンズのピントの位置を、ピントが合った位置（合焦位置）と判断する。以後、この合焦位置の前後で同様の動作を繰り返せば、常に合焦位置における画像を撮像することができる。このような場合には、常にピントの合った画像が得られるので上述のようなピントが甘い画像への配慮は不要であり、したがって単純に高周波領域の振幅の合計値を用いて評価値Ａを求めれば済むのである。なお、合焦の判断の方法としては上記の他、所定の閾値よりも良好な評価値Ａが得られた位置を合焦位置と判断しても良い。また、評価値Ａが「劣悪→良好→劣悪」と変化するように対物距離またはレンズのピントを変化させ、その中で最適な評価値Ａが得られた位置を合焦位置と判断しても良い。特に後者においては精密に合焦した画像を常に得ることができる。このように常に合焦した画像を得るための構成としては、一般的な自動合焦装置と同様に、対物距離またはレンズのピントを変化させるためのモータ（図示せず）を備えたカメラ６と、評価値Ａに基づいてモータを制御する制御プログラムを搭載した乱丁検査部９とを用いる。

〔評価値Ｂの計算〕
次に、照合に際して生じる外乱に対する強さを示す第２の評価値Ｂを計算する（ステップ２０７）。この評価値Ｂの計算は図８に示すフローチャートに従って行う。

まず、読み出した１番目の基準画像候補にＦＦＴを施し（ステップ８０１）、フーリエ画像データを作成する。そして、このフーリエ画像データに振幅抑制処理を施す。この実施の形態では、振幅抑制処理として、ｌｏｇ処理を行う。但し、ここでの振幅抑制処理は、基準画像と照合する際に用いられる方式と同方式とする。すなわち、基準画像と照合する際に用いられる振幅抑制処理がｌｏｇ処理ではなく√処理であった場合には、ここでの振幅抑制処理も√処理とする。

なお、本実施の形態において、振幅抑制処理はｌｏｇ処理や√処理に限らず、振幅を抑制することができればどのような処理でもよい。振幅抑制で全ての振幅を例えば１にすると、すなわち位相のみにすると、ｌｏｇ処理や√処理に比べ、計算量を減らすことができるという利点とデータが少なくなるという利点がある。

次に、この振幅抑制処理を施したフーリエ画像データに２次元離散的逆フーリエ変換（ＩＦＦＴ）を施し（ステップ８０３）、実空間の画像（以下、この画像を「評価画像」と呼ぶ）に戻す。この時、振幅抑制処理を施したフーリエ画像データにＩＦＦＴを施す過程で生じる量子化誤差により、検査画像との照合に際して生じると考えられる外乱（ＦＦＴ演算によって生じやすいノイズ）が評価画像に与えられる。

このようにして、評価画像を得た後、この評価画像とその元となった基準画像候補との相関を計算する（ステップ８０４）。すなわち、評価画像に再びＦＦＴを施し、このＦＦＴを施した評価画像のフーリエ画像データとＩＦＦＴを施す前のフーリエ画像データ（ステップ８０３における振幅抑制処理が施されたフーリエ画像データ）とを合成し、この合成したフーリエ画像データに再度ＦＦＴを施して相関データとする。

この相関データは、振幅抑制処理されている点を除いては、基準画像候補と評価画像という異なる画像データ同士の相関であるが、照合という観点からすればどちらも同じ基準画像候補を元とするものであるから、逆フーリエ変換による歪みが加わった自己相関ということができる。

そして、自己相関の計算によって得られた各画素の相関データより、相関データの実部の最大値（Ｍａｘ）と最小値（Ｍｉｎ）を探索する（ステップ８０５）。そして、相関データの数に探索した相関データの実部の最大値と最小値との差を乗じ、これによって得られる値を「Whole」とする（ステップ８０６）。この「Whole」は、相関空間で、評価画像の面積を底面とし、相関データの実部の「最大値−最小値」を高さとする直方体の体積に相当する（図９参照）。

また、評価画像の各画素の相関データの実部の値からステップ８０５で探索した相関データの実部の最小値を差し引いた値を合計し、これによって得られる値を「Peak」とする（ステップ８０７）。この「Peak」は、相関空間で、相関データの実部の最大値を頂点とし、他の相関データの実部の値を連ねた立体の体積（自己相関のピークの体積）に相当する（図９参照）。

そして、ステップ８０６で求めた「Whole」とステップ８０７で求めた「Peak」とから、Whole／（Peak）^1/2として評価値Ｂを求める（ステップ８０８）。評価画像には、ステップ８０３でのＩＦＦＴの過程で検査画像との照合に際して生じると考えられる外乱が与えられており、この外乱により自己相関のピークの形状がなだらに拡がる。自己相関のピークの体積が大きいほど、元のピーク形状（δ関数）からの変化が大きく、外乱に弱い画像であると言える。そこで、本実施の形態では、全体の体積を自己相関のピークの体積の平方根で割ることによって評価値Ｂを得るようにしている。評価値Ｂが大きければ、自己相関のピークの形状の拡がりが小さく、その基準画像候補が検査画像との照合に際する外乱に強い画像であることが分かる。

なお、ステップ８０８で自己相関のピークの体積の平方根をとったのは、第１の評価値Ａとの変化具合を調整するためである。自己相関のピークの体積の平方根ではなく、自己相関のピークの体積そのものを用いてもよいことは言うまでもない。

〔総合評価値の計算〕
次に、ステップ２０６で計算した評価値Ａとステップ２０７で計算した評価値Ｂより、下記に示す（１）式に従って総合評価値Ｃを計算する（ステップ２０８）。なお、この（１）式において、重み係数ａ，ｂは共に０以上の値をとるものであり、適用対象に応じて予め設定される。
総合評価値Ｃ＝（評価値Ａ）^ａ×（評価値Ｂ）^ｂ ・・・・（１）

そして、この総合評価値Ｃと変数Ｅの値（初期値０）とを比較し（ステップ２０９）、総合評価値Ｃが記憶値Ｅよりも大きければ（ステップ２０９のＹＥＳ）、ステップ２１０へ進み、ｍ＝ｉ、Ｅ＝総合評価値Ｃとし、ステップ２１１へ進む。この場合、ｉ＝１であるので、ｍが１とされ、Ｅが１番目の基準画像候補に対して求められた総合評価値Ｃとされる。総合評価値ＣがＥ以下であれば（ステップ２０９のＮＯ）、直ちにステップ２１１へ進む。ステップ２１１では、カウント値ｉをｉ＋１とし、ステップ２０４へ戻る。

以下、同様動作を繰り返すことにより、８個全ての基準画像候補に対して総合評価値Ｃが求められ、この総合評価値Ｃのうち最大のものがＥとされる。また、最大の総合評価値の基準画像候補の撮像順位（画像番号）がｍとされる。そして、ステップ２１１においてカウント値ｉがｉ＝９となれば、ステップ２０４でのＮＯに応じてステップ２１２へ進み、ｍを基準画像の画像番号として記憶し、Ｅを基準画像の総合評価値として記憶する。このようにして、８個の基準画像候補の中から、合焦の度合いが高く、検査画像との照合に際して生じる外乱に強い最適な画像が基準画像として選択され、その画像番号と総合評価値が記憶される。乱丁検査部９は、この記憶された基準画像を用いて、検査画像との照合を行う。

図１０は図２のフローチャートに従う処理を実行する乱丁検査部９の機能ブロック図である。同図において、９−１は画像読出部、９−２は評価値Ａ計算部、９−３は評価値Ｂ計算部、９−４は重み設定部、９−５は総合評価値Ｃ計算部、９−６は基準画像選択部である。

画像読出部９−１は、撮像された８個の基準画像候補を次々に読み出す。評価値Ａ計算部９−２は、読み出された基準画像候補に対してステップ２０６に従う評価値Ａの計算を行う。評価値Ｂ計算部９−３は、読み出された基準画像候補に対してステップ２０７に従う評価値Ｂの計算を行う。重み設定部９−４は総合評価値Ｃ計算部９−５へ重み係数ａを与える。

総合評価値Ｃ計算部９−５は、評価値Ａ計算部９−２からの評価値Ａと評価値Ｂ計算部９−３からの評価値Ｂと、重み設定部９−４からの重み係数ａとを入力し、ステップ２０８に従う総合評価値Ｃの計算を行う。基準画像選択部９−６は、画像読出部９−１が読み出した８個の基準画像候補の中から、総合評価値Ｃが最大である基準画像候補を基準画像として選択する。

図１１は図２のフローチャートに従う処理の流れを示す図である。
先ず、読み出された基準画像候補（図１１（ａ））にＦＦＴを施して各画素のデータの振幅を求め、井形の領域（評価領域）の振幅を合計し（図１１（ｂ））、評価値Ａを得る。

次に、読み出された基準画像候補（図１１（ａ））にＦＦＴを施して、フーリエ画像データを得る（図１１（ｃ））。このフーリエ画像データは振幅成分と位相成分とで構成されている。このフーリエ画像データについて、ｌｏｇ処理などの振幅抑制処理を施して、振幅が抑制されたフーリエ画像データを得る（図１１（ｄ））。そして、この振幅抑制処理を施したフーリエ画像データにＩＦＦＴを施して、実空間の画像（評価画像）に戻す（図１１（ｅ））。この評価画像の自己相関を計算し、自己相関のピークの体積を求め（図１１（ｆ））、評価値Ｂを得る。

そして、評価値Ａと評価値Ｂと重み係数ａ，ｂとから、Ｃ＝（評価値Ａ）^ａ×（評価値Ｂ）^ｂとして総合評価値Ｃを得る。すなわち、重み係数ａが０のとき総合評価値Ｃ＝評価値Ｂとなり、重み係数ｂが０のとき総合評価値Ｃ＝評価値Ａとなり、重み係数ａ，ｂが共に０より大きい値を採るとき総合評価値Ｃは評価値Ａと評価値Ｂとの中間値を採る。ここで評価値Ａ，Ｂともに値が大きいほど良好と評価されるので、評価値Ｃの値も大きいほど良好と評価される。なお、重み係数ａ，ｂをどのような値に設定するかは適用対象によって異なるので、特定の適用対象に対して重み係数ａを変化させる試行を行い、その結果を見て最適な重み係数ａ，ｂの値を決定すると良い。また、評価値Ａと評価値Ｂの数値の大きさが同程度の場合は、Ｃ＝ａ×（評価値Ａ）＋ｂ×（評価値Ｂ）として評価値Ｃを算出しても良い。

以下、同様の動作を繰り返すことにより、８個全ての基準画像候補に対して総合評価値Ｃを求め、総合評価値Ｃが最大である基準画像候補を基準画像として選択する。

〔評価値Ａの別の計算例〕
上述した実施の形態では、ＦＦＴを施した基準画像候補の評価領域のデータの振幅の合計として合焦の度合いを示す評価値Ａを求めたが、別の方法でも求めることが可能である。例えば、隣接輝度比較法、輝度分散比較法、コントラスト比較法、アダマール変換比較法などを利用することができる（非特許文献２参照）。

〔隣接輝度比較法〕
ある画素と周りの画素との輝度差が小さくなることで画像が不鮮明になる。このことを利用して、隣接輝度比較法では、隣接する画素の輝度差を評価値とする。
〔輝度分散比較法〕
非合焦部分では点で結像すべき像が広がりを持つため隣接画素は干渉しあって輝度が平均化され、輝度の分布が小さくなる。このことを利用して、輝度分散比較法では、輝度分散を評価値とする。
〔コントラスト比較法〕
非合焦部分では点で結像すべき像が広がりを持つため隣接画素は干渉しあって輝度が平均化され、最大輝度と最小輝度の差が小さくなる。このことを利用して、コントラスト比較法では、輝度差を評価値とする。
〔アダマール変換比較法〕
フーリエ変換の代わりに、同じ直交変換のアダマール変換を使って高周波成分を取り出し、その周波数成分の大きさを評価値とする。

〔評価値Ｂの別の計算例〕
上述した実施の形態では、基準画像候補に対しＦＦＴを施し振幅抑制してからＩＦＦＴを行うようにしたが、振幅抑制をせずにＩＦＦＴを行うようにしてもよい。この場合、例えば、下記の（２）式によって評価値Ｂを求める。
評価値Ｂ＝ノイズを与えた場合に求まる自己相関（量子化誤差などの外乱が与えられた場合の自己相関）のピークの体積／ノイズを与えずに求まる自己相関（ノイズがないと仮定した場合の自己相関）のピークの体積 ・・・・（２）

また、上述した実施の形態では、ＩＦＦＴを施す過程で生じる量子化誤差を外乱として与えるようにしたが、空間周波数領域や実空間領域でランダムノイズを加えるなどの方法も考えられる。

また、００３５段落においては、評価値Ａのみを用いて合焦位置を判断する例を示しているが、同様に評価値Ｂのみ又は総合評価値Ｃを用いて合焦位置を判断するようにしても良い。最も優れた評価値Ｂが得られる位置を合焦位置とみなした場合、最もピントの合った画像の代わりに最も外乱に強い画像を得ることができる。いずれの画像にもいわゆる”ピンぼけ”が生じている場合、評価値Ｂを用いれば、それらの中で最も程度の良いものを選択することができる。そこで、先ず評価値Ｂを用いて粗調節を行い、その後に評価値Ａを用いて微調節を行えば、広範囲の合焦が可能となる。また、最も優れた総合評価値Ｃが得られる位置を合焦位置とみなした場合、ピントと外乱への強さを併せ持つ画像を常に得ることができる。
また、上述した実施の形態では、乱丁検査装置において基準画像を選択するものとしたが、基準画像の選択のみならず他の装置や用途への適用も可能である。例えば、指紋画像を取り込み、この取り込んだ画像の中から最良の画像を選択するような場合にも適用することができる。また、必ずしもカメラで撮像された画像でなくてもよく、画像入力インターフェースを介して上位装置から転送されてくる画像であっても、同様にして画像を選択することができる。

本発明に係る画像選択装置の一実施の形態を含む乱丁検査装置の概略構成図である。 この乱丁検査装置が有する基準画像選択機能を説明するためのフローチャートである。 基準画像を選択する際の評価値Ａの計算過程を示すフローチャートである。 評価値Ａを算出する際の周波数空間における井形のエリア（評価領域）を示す図である。 リング状のエリアおよび□形のエリアを評価領域とした例を示す図である。 評価領域の変形例を示す図である。 評価領域を変えての振幅の合計値のピントによる変化の実験結果を示す図である。 基準画像を選択する際の評価値Ｂの計算過程を示すフローチャートである。 評価画像の自己相関の相関空間を示す図である。 図２のフローチャートに従う処理を実行する乱丁検査部の機能ブロック図である。 図２のフローチャートに従う処理の流れを示す図である。

符号の説明

１…折丁、２…ステーション、３…キャリパ、３ａ…回転軸、４…ロータリエンコーダ、５…光電センサ、６…カメラ、７…照明装置、８…撮像タイミングパルス生成部、９…乱丁検査部、１０…指示スイッチ、９−１…画像読出部、９−２…評価値Ａ計算部、９−３…評価値Ｂ計算部、９−４…重み設定部、９−５…総合評価値Ｃ計算部、９−６…基準画像選択部。

Claims (3)

1. 複数の画像の中から特定の画像を選択する画像選択装置において、
   前記画像の各々について前記画像に２次元離散的フーリエ変換を施し、前記画像の各画素における振幅成分を求め、所定の周波数範囲における振幅成分を合計し、この合計に基づいて第１の評価値を求める第１評価値算出手段と、
   前記画像の各々について前記画像に２次元離散的フーリエ変換を施してフーリエ画像を得、このフーリエ画像に２次元離散的逆フーリエ変換を施して逆フーリエ画像を求め、前記画像と逆フーリエ画像との相関を求め、この自己相関に基づいて第２の評価値を求める第２評価値算出手段とを備え、
   前記画像の各々について求められた第１の評価値及び第２の評価値に基づいて総合評価値を（１）式で求め、
   総合評価値＝（第１の評価値） ^ａ ×（第２の評価値） ^ｂ ・・・・（１）
   ただし
   ａ，ｂ：０以上の値をとる重み係数
   各画像の中から総合評価値の最も優れた画像を選択する画像選択手段とを備えたことを特徴とする画像選択装置。
2. 請求項１に記載された画像選択装置において、
   前記フーリエ画像に振幅抑制処理を施すことを特徴とする画像選択装置。
3. 請求項１又は２の画像選択装置を備え、第１の評価値および第２の評価値の少なくとも一方に基づいて対象物と撮像用カメラとの距離又は撮像用レンズのピントを変化させながら繰り返し撮像し、撮像された画像の中から最適な画像を選択する自動合焦装置。