JP6996469B2 - 撮像システムおよび設定装置 - Google Patents

撮像システムおよび設定装置 Download PDF

Info

Publication number
JP6996469B2
JP6996469B2 JP2018190941A JP2018190941A JP6996469B2 JP 6996469 B2 JP6996469 B2 JP 6996469B2 JP 2018190941 A JP2018190941 A JP 2018190941A JP 2018190941 A JP2018190941 A JP 2018190941A JP 6996469 B2 JP6996469 B2 JP 6996469B2
Authority
JP
Japan
Prior art keywords
search range
image
focal position
setting
lens
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018190941A
Other languages
English (en)
Other versions
JP2020060649A (ja
Inventor
智大 荒野
豊 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Priority to JP2018190941A priority Critical patent/JP6996469B2/ja
Priority to US16/562,391 priority patent/US10827114B2/en
Publication of JP2020060649A publication Critical patent/JP2020060649A/ja
Application granted granted Critical
Publication of JP6996469B2 publication Critical patent/JP6996469B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/958Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/675Focus control based on electronic image sensor signals comprising setting of focusing regions
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)
  • Lens Barrels (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)

Description

本技術は、撮像システムおよび設定装置に関する。
一般にカメラの分野では、合焦状態を判定し、被写体に合焦するように光学系のフォーカスレンズを移動させるオートフォーカス機能が知られている。たとえば特開2018-84701号公報(特許文献1)には、フォーカスレンズを移動させる範囲を制限範囲に制限する焦点調節装置が開示されている。
特開2018-84701号公報
たとえば被写体の検査を行う産業用機器においては、正確な検査のために被写体に合焦した画像を得ることが望まれる。被写体の形状または透光性によって、被写体の複数の箇所に合焦する可能性がある。このような場合、当該複数の箇所のうち所望の検査対象箇所に合焦した画像を得る必要がある。
特許文献1に記載の技術では、フォーカスレンズを移動させる制限範囲を設定することができる。しかしながら、作業者は、被写体の検査対象箇所に応じた適切な制限範囲を設定することが困難であった。そのため、検査対象箇所に合焦した画像を安定して得ることができない。
本発明は、上記の問題を鑑みてなされたものであり、その目的は、被写体の所望の箇所に安定して合焦させることができる撮像システムおよび設定装置を提供することである。
本開示の一例によれば、撮像システムは、光学系と、撮像素子と、算出手段と、オートフォーカス手段と、入力装置と、設定手段と、表示装置とを備える。光学系の焦点位置は、所定範囲で可変である。撮像素子は、被写体からの光を光学系を介して受けることによって画像信号を生成する。算出手段は、画像信号に基づいて、合焦度合を示す評価値を算出する。オートフォーカス手段は、評価値に基づいて、被写体に合焦する焦点位置を探索する。設定手段は、入力装置への入力に従って、所定範囲の中から、オートフォーカス手段による探索範囲を設定する。設定手段は、光学系の焦点位置と評価値との関係を示す図形と、光学系の焦点位置が図形上において指定された位置に調整されたときの画像信号で示される画像とを表示装置に表示させることにより、入力装置への探索範囲の入力を支援する。
この開示によれば、作業者は、図形上の位置を指定することにより、光学系の焦点位置が当該位置に調整されたときの画像を確認できる。これにより、作業者は、図形の中から、被写体の所望の箇所に合焦する焦点位置を容易に選択できる。さらに、作業者は、図形を確認しながら、評価値が極大となる焦点位置が複数含まれないように探索範囲を設定できる。その結果、探索される合焦位置が不安定になることを避けることができる。以上から、作業者は、設定手段による支援を受けることにより、被写体の所望の箇所に合焦した画像を安定して取得するための探索範囲を設定することができる。その結果、被写体の所望の箇所に安定して合焦させることができる。
上述の開示において、入力装置は、光学系と被写体との間の距離の入力を受け付け可能である。設定手段は、入力装置が距離の入力を受け付けた場合に、光学系から当該距離だけ離れた被写体の表面に合焦するときの焦点位置を上記の指定された位置として設定する。
この開示によれば、作業者は、光学系と被写体との間の距離を認識している場合に、当該距離を入力装置に入力することにより、図形上において、光学系から当該距離だけ離れた被写体の表面に合焦するときの焦点位置に対応する位置を容易に指定することができる。
上述の開示において、撮像システムは、光学系と被写体との間の距離を計測するセンサをさらに備える。入力装置は、センサによって計測された距離に基づいて指定された位置を設定させる指示を受け付け可能である。設定手段は、入力装置が指示を受け付けた場合に、計測された距離だけ光学系から離れた被写体の表面に合焦するときの焦点位置を上記の指定された位置として設定する。
この開示によれば、作業者は、図形上において、センサによって計測される距離だけ光学系から離れた位置に合焦するときの焦点位置に対応する位置を容易に指定することができる。
上述の開示において、入力装置は、探索範囲の候補を表示させる指示を受け付け可能である。設定手段は、入力装置が指示を受け付けた場合に、図形から少なくとも1つの探索範囲候補を抽出し、抽出した少なくとも1つの探索範囲候補の中から選択された1つの探索範囲候補を探索範囲として設定する。少なくとも1つの探索範囲候補は、図形において評価値が極大となる焦点位置を含む範囲である。この開示によれば、作業者は、探索範囲候補を探索範囲として容易に設定することができる。
上述の開示において、図形は、評価値が極大となる複数の焦点位置を含む。設定手段は、複数の焦点位置にそれぞれ対応する複数の探索範囲候補を少なくとも1つの探索範囲候補として抽出する。この開示によれば、作業者は、複数の探索範囲候補の中から被写体の所望の箇所に対応する1つを選択し、選択した探索範囲候補を探索範囲として設定することができる。
上述の開示において、設定手段は、被写体の複数のサンプルの各々に対して得られた図形を重畳して表示装置に表示させる。この開示によれば、作業者は、被写体の個体差を考慮した探索範囲を設定することができる。
本開示の一例によれば、上記の撮像システムで用いられる設定装置は、設定手段を備える。この開示によっても、被写体の所望の箇所に安定して合焦させることができる。
本発明によれば、被写体の所望の箇所に安定して合焦させることができる。
実施の形態に係る撮像システムの適用例を示す模式図である。 撮像システムに備えられる撮像装置の内部構成の一例を示す図である。 合焦位置の探索を説明するための模式図である。 レンズモジュールの焦点位置を変化させるためのレンズの構成の一例を示す図である。 レンズモジュールの焦点位置を変化させるためのレンズの構成の別の例を示す図である。 実施の形態に係る画像処理装置のハードウェア構成の一例を示すブロック図である。 撮像装置によるワークの撮像を模式的に示した図である。 合焦位置の探索範囲の設定を支援するための設定画面の一例を示す図である。 探索範囲の設定処理の流れの一例を示すフローチャートである。 探索範囲の設定画面の第1の変形例を示す図である。 探索範囲の設定画面の第2の変形例を示す図である。 表示装置に表示される探索範囲候補の一例を示す図である。 変形例2に係る撮像システムの構成を示す図である。 第3の変形例に係る設定画面の領域52bの一例を示す図である。
以下、図面を参照しつつ、本発明に従う実施の形態について説明する。以下の説明では、同一の部品および構成要素には同一の符号を付してある。それらの名称および機能も同じである。したがって、これらについての詳細な説明は繰り返さない。
§1 適用例
まず、図1および図2を参照して、本発明が適用される場面の一例について説明する。図1は、実施の形態に係る撮像システムの1つの適用例を示す模式図である。図2は、撮像システムに備えられる撮像装置の内部構成の一例を示す図である。
図1に示すように、本実施の形態に係る撮像システム1は、たとえば外観検査システムとして実現される。外観検査システムは、たとえば工業製品の生産ラインなどにおいて、ステージ90上に載置されたワークW上の検査対象箇所を撮像し、得られた画像を用いて、ワークWの外観検査を行う。外観検査では、ワークWの傷、汚れ、異物の有無、寸法などが検査される。
ステージ90上に載置されたワークWの外観検査が完了すると、次のワーク(図示せず)がステージ90上に搬送される。ワークWの撮像の際、ワークWは、ステージ90上の予め定められた位置に予め定められた姿勢で静止してもよい。あるいは、ワークWがステージ90上を移動しながら、ワークWが撮像されてもよい。
図1に示すように、撮像システム1は、基本的な構成要素として、撮像装置10と、画像処理装置20と、入力装置40と、表示装置50とを備える。この実施の形態では、撮像システム1は、さらに、PLC(Programmable Logic Controller)30を備える。
撮像装置10は、画像処理装置20に接続される。撮像装置10は、画像処理装置20からの指令に従って、撮像視野に存在する被写体(ワークW)を撮像して、ワークWの像を含む画像データを生成する。本実施の形態では、撮像装置10は、オートフォーカス機能を有する撮像系である。撮像装置10と画像処理装置20とは一体化されていてもよい。
図2に示されるように、撮像装置10は、照明部11と、レンズモジュール12と、撮像素子13と、撮像素子制御部14と、レンズ制御部16と、レジスタ15,17と、通信I/F部18とを含む。
照明部11は、ワークWに対して光を照射する。照明部11から照射された光は、ワークWで反射し、レンズモジュール12に入射する。照明部11は省略されてもよい。
レンズモジュール12は、ワークWからの光を撮像素子13の撮像面13a上に結像させるための光学系である。レンズモジュール12の焦点位置は、所定の可動範囲内で可変である。焦点位置とは、光軸に平行な入射光線が光軸と交わる点の位置である。
レンズモジュール12は、レンズ12aと、レンズ群12bと、レンズ12cと、可動部12dと、フォーカス調整部12eとを有する。レンズ12aは、レンズモジュール12の焦点位置を変化させるためのレンズである。フォーカス調整部12eは、レンズ12aを制御して、レンズモジュール12の焦点位置を変化させる。
レンズ群12bは、焦点距離を変更するためのレンズ群である。焦点距離が変更されることにより、ズーム倍率が制御される。レンズ群12bは、可動部12dに設置され、光軸方向に沿って可動する。レンズ12cは、撮像装置10内の予め定められた位置に固定されるレンズである。
撮像素子13は、たとえばCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどの光電変換素子であり、ワークWからの光をレンズモジュール12を介して受けることによって画像信号を生成する。
撮像素子制御部14は、撮像素子13からの画像信号に基づいて画像データを生成する。このとき、撮像素子制御部14は、予め設定されたシャッター速度(露光時間)となるようにシャッターを開閉し、予め設定された解像度の画像データを生成する。シャッター速度および解像度を示す情報は、予めレジスタ15に記憶されている。
レンズ制御部16は、レジスタ17が記憶する命令に従って、撮像装置10のフォーカスを調整する。図2に示されるように、レンズ制御部16は、算出部16aと、フォーカス制御部16bとを含む。
算出部16aは、撮像素子制御部14によって生成された画像データから、合焦度合を示す評価値を算出する。たとえば、算出部16aは、画像データに対してハイパスフィルタを適用することにより高周波成分を抽出し、抽出された高周波成分の積算値を評価値として算出する。このような評価値は、画像におけるエッジ成分量に対応し、画像のコントラストを数値化したものである。画像のコントラストは、合焦度合に応じて変化し、合焦度合が低いほどコントラストが低下する。
フォーカス制御部16bは、レンズモジュール12の焦点位置を変化させ、ワークWの合焦度合を制御する。フォーカス制御部16bは、オートフォーカスモードと、設定モードと、マニュアルフォーカスモードとを有する。
オートフォーカスモードにおいて、フォーカス制御部16bは、レンズモジュール12の焦点位置を探索範囲内で変化させながら評価値を取得し、取得した評価値に基づいて、ワークWに合焦する焦点位置(以下、「合焦位置」という)を探索する。「合焦する」とは、ワークWの像が撮像素子13の撮像面13aに形成されることを意味する。探索範囲は、レンズモジュール12の焦点位置が取り得る可動範囲の一部の範囲であり、予め画像処理装置20によって設定される。探索範囲を示す情報(以下、「探索範囲情報」という)は、予めレジスタ17に記憶されている。フォーカス制御部16bは、フォーカス調整部12eを制御することにより、レンズモジュール12の焦点位置を変化させる。フォーカス制御部16bは、評価値が最大となる焦点位置を合焦位置として探索する。
設定モードにおいて、フォーカス制御部16bは、レンズモジュール12の焦点位置を可動範囲内において所定の間隔(ステップ間隔)ずつ変化させ、各位置における評価値を取得する。フォーカス制御部16bは、可動範囲内の各焦点位置と評価値との対応関係を示す情報(以下、「評価値情報」という)を生成する。可動範囲を示す情報は、予めレジスタ17に記憶されている。
マニュアルフォーカスモードにおいて、フォーカス制御部16bは、レンズモジュール12の焦点位置を指定された位置(以下、「指定位置」という)に調整する。
レンズ制御部16は、ワークWのうち撮像視野内に含まれる領域の大きさが略一定になるように、可動部12dを制御して、レンズ群12bの位置を調整してもよい。言い換えると、レンズ制御部16は、ワークWのうち撮像視野内に含まれる領域の大きさが予め定められた範囲内になるように、可動部12dを制御することができる。レンズ制御部16は、撮像位置とワークWとの距離に応じてレンズ群12bの位置を調整すればよい。なお、この実施の形態では、ズームの調整は必須ではない。
通信I/F部18は、画像処理装置20との間でデータを送受信する。通信I/F部18は、オートフォーカスモードの撮像指示、設定モードの撮像指示、マニュアルフォーカスモードの撮像指示を画像処理装置20から受信する。
オートフォーカスモードの撮像指示を受信した場合、通信I/F部18は、レンズモジュール12の焦点位置が合焦位置に調整されたときに撮像素子制御部14によって生成された画像データを画像処理装置20に送信する。
設定モードの撮像指示を受信した場合、通信I/F部18は、フォーカス制御部16bによって生成された評価値情報を画像処理装置20に送信する。
マニュアルフォーカスモードの撮像指示を受信した場合、通信I/F部18は、レンズモジュール12の焦点位置が指定位置に調整されたときに撮像素子制御部14によって生成された画像データを画像処理装置20に送信する。
図1に戻って、画像処理装置20は、撮像装置10からワークWの画像を取得する。画像処理装置20は、その画像に対して所定の処理を実行する。さらに、画像処理装置20は、オートフォーカスモードにおける探索範囲を設定する設定装置としても動作する。画像処理装置20は、指令生成部21と、判定部22と、出力部23と、記憶部24と、設定部25とを含む。
指令生成部21は、PLC30からの制御指令を受けて、撮像装置10にオートフォーカスモードの撮像指示を出力する。さらに、指令生成部21は、設定部25からの指令を受けて、撮像装置10に設定モードの撮像指示またはマニュアルフォーカスモードの撮像指示を出力する。
判定部22は、撮像装置10によって生成された画像データに対して予め定められた処理を実行することにより、ワークWの外観の良否を判定する。判定部22は、オートフォーカスモードの撮像指示に対して撮像装置10から取得した画像データを処理対象とする。出力部23は、判定部22による判定結果を出力する。たとえば、出力部23は、表示装置50に判定結果を表示させる。
記憶部24は、各種のデータ、プログラム等を記憶する。たとえば記憶部24は、撮像装置10から取得された画像データ、および所定の処理が施された画像データを保存する。記憶部24は、判定部22による判定結果を保存してもよい。さらに、記憶部24は、各種の処理を画像処理装置20に実行させるためのプログラムを記憶する。
設定部25は、入力装置40への入力に従って、オートフォーカスモードにおける合焦位置の探索範囲を設定する。
設定部25は、入力装置40に探索範囲の設定指示が入力されると、指令生成部21に対してマニュアルフォーカスモードの撮像指示を指令生成部21から出力させ、撮像装置10から評価値情報を取得する。設定部25は、取得した評価値情報に基づいて、レンズモジュール12の焦点位置と評価値との関係を示す図形を表示装置50に表示させる。
さらに、設定部25は、図形上において指定された焦点位置を指定位置とするマニュアルフォーカスモードの撮像指示を指令生成部21から出力させ、レンズモジュール12の焦点位置が当該指定位置に調整されたときの画像データを取得する。設定部25は、取得した画像データで示される画像を図形とともに表示装置50に表示させる。これにより、設定部25は、入力装置40への探索範囲の入力を支援する。
設定部25の支援を受けることにより、作業者は、ワークWの検査対象箇所に合焦した画像を得るための探索範囲を容易に設定できる。その結果、ワークWの検査対象箇所に安定して合焦させることができる。
入力装置40は、たとえばキーボード、マウス、タッチパネル、専用コンソールなどによって構成され、作業者の入力を受け付ける。
表示装置50は、たとえば液晶ディスプレイなどによって構成され、探索範囲の設定画面、およびワークWの画像処理の結果(たとえば製品の外観の良否を判定した結果)を示す画面などを表示する。
PLC30は画像処理装置20を制御する。たとえばPLC30は、画像処理装置20がオートフォーカスモードの撮像指示を撮像装置10に出力するためのタイミングを制御する。
§2 具体例
<A.合焦位置の探索のための構成例>
図3は、合焦位置の探索を説明するための模式図である。説明を簡単にするため、図3には、レンズモジュール12のうちの1枚のレンズのみを示している。
図3に示すように、レンズモジュール12の主点Oから対象面(ワークWにおける検査対象箇所の表面)までの距離をaとし、レンズモジュール12の主点Oから撮像面13aまでの距離をbとし、レンズモジュール12の主点Oからレンズモジュール12の焦点位置(後側焦点位置)Fまでの距離(焦点距離)をfとする。ワークWの検査対象箇所の像が撮像面13aの位置で結ばれる場合に、以下の式(1)が成立する。
1/a+1/b=1/f・・・(1)
すなわち、式(1)が成り立つときに、ワークWの検査対象箇所に合焦した画像を撮像することができる。
ワークWの検査対象箇所の高さに応じて、撮像面13aと検査対象箇所との距離が変化し得る。撮像面13aと検査対象箇所との距離が変化した場合であっても検査対象箇所に合焦した画像を得るために、レンズ12aを制御することにより、レンズモジュール12の焦点位置Fが調整される。レンズ12aを制御することによりレンズモジュール12の焦点位置Fを調整する方法には、以下の方法(A)および方法(B)がある。
方法(A)は、レンズモジュール12を構成する少なくとも1つのレンズ(例えばレンズ12a)を光軸方向に平行移動させる方法である。方法(A)によれば、レンズモジュール12の主点Oが光軸方向に移動するとともに、焦点位置Fが変化する。その結果、距離bが変化する。式(1)を満たす距離bに対応する焦点位置Fが合焦位置として探索される。
方法(B)は、定位置に固定されたレンズ12aの屈折方向を変化させる方法である。方法(B)によれば、レンズモジュール12の焦点距離fが変化することに伴い、焦点位置Fが変化する。式(1)を満たす焦点距離fに対応する焦点位置Fが合焦位置として探索される。
上述のように、フォーカス制御部16bは、オートフォーカスモードを有する。オートフォーカスモードにおいて、フォーカス制御部16bは、レンズモジュール12の焦点位置Fを変化させながら評価値を取得し、評価値が最大となる焦点位置Fを合焦位置として探索する。レンズモジュール12の焦点位置Fを変化させるためのレンズ12aの構成は特に限定されない。以下に、レンズ12aの構成の例を説明する。
図4は、レンズモジュールの焦点位置を変化させるためのレンズモジュール12の構成の一例を示す図である。なお、図4に示す例では、レンズモジュール12を構成するレンズ12aを平行移動させる。ただし、レンズモジュール12を構成する少なくとも1つのレンズ(レンズ12a、レンズ群12bおよびレンズ12cのうちの少なくとも1つのレンズ)を平行移動させてもよい。
図4に示す構成のレンズ12aを用いることにより、上記の方法(A)に従って、レンズモジュール12の焦点位置Fが変化する。すなわち、図4に示した構成では、フォーカス調整部12eは、レンズ12aを光軸方向に沿って移動させる。レンズ12aの位置を移動させることによって、レンズモジュール12の焦点位置Fが変化する。焦点位置Fが取り得る可動範囲Raは、レンズ12aの可動範囲Rbに対応する。
フォーカス制御部16bは、レンズ12aの移動量を制御することにより、レンズモジュール12の焦点位置Fを調整する。レンズ12aの移動量は、基準位置(たとえば可動範囲Rbの一方端の位置)からレンズ12aまでの距離で表される。
オートフォーカスモードの撮像指示を受けた場合、フォーカス制御部16bは、レンズ12aの移動量を変化させたときの評価値を取得し、評価値が最大となるレンズ12aの移動量に対応する焦点位置Fを合焦位置として探索する。
設定モードの撮像指示を受けた場合、フォーカス制御部16bは、レンズ12aを可動範囲Rbの一方端から他方端まで所定の間隔ずつ変化させることにより、レンズモジュール12の焦点位置Fを可動範囲Raの全域で変化させる。そして、フォーカス制御部16bは、レンズ12aの移動量と評価値とを対応付けた評価値情報を生成する。
マニュアルフォーカスモードの撮像指示を受けた場合、フォーカス制御部16bは、指定位置に対応する移動量だけレンズ12aを移動させる。
図3では、1枚のレンズ12aの例が示されている。通常では、フォーカス調整用のレンズは複数枚の組レンズで構成されることが多い。しかしながら、組レンズにおいても、組レンズを構成する少なくとも1枚のレンズの移動量を制御することにより、レンズモジュール12の焦点位置Fを変化させることができる。
図5は、レンズモジュールの焦点位置を変化させるためのレンズ12aの構成の別の例を示す図である。図5に示す構成のレンズ12aを用いることにより、上記の方法(B)に従って、レンズモジュール12の焦点位置Fが変化する。
図5に示すレンズ12aは液体レンズである。レンズ12aは、透光性容器70と、電極73a,73b,74a,74bと、絶縁体75a,75bと、絶縁層76a,76bとを含む。
透光性容器70内の密閉空間には、水などの導電性液体71と、油などの絶縁性液体72とが充填される。導電性液体71と絶縁性液体72とは混合せず、互いに屈折率が異なる。
電極73a,73bは、絶縁体75a,75bと透光性容器70との間にそれぞれ固定され、導電性液体71中に位置する。
電極74a,74bは、導電性液体71と絶縁性液体72との界面の端部付近に配置される。電極74aと導電性液体71および絶縁性液体72との間には絶縁層76aが介在する。電極74bと導電性液体71および絶縁性液体72との間には絶縁層76bが介在する。電極74aと電極74bとは、レンズ12aの光軸に対して対称な位置に配置される。
図5に示す構成において、フォーカス調整部12eは、電圧源12e1と、電圧源12e2とを含む。電圧源12e1は、電極74aと電極73aとの間に電圧Vaを印加する。電圧源12e2は、電極74bと電極73bとの間に電圧Vbを印加する。
電極74aと電極73aとの間に電圧Vaを印加すると、導電性液体71は、電極74aに引っ張られる。同様に、電極74bと電極73bとの間に電圧Vbを印加すると、導電性液体71は、電極74bに引っ張られる。これにより、導電性液体71と絶縁性液体72との界面の曲率が変化する。導電性液体71と絶縁性液体72との屈折率が異なるため、導電性液体71と絶縁性液体72との界面の曲率が変化することにより、レンズモジュール12の焦点位置Fが変化する。
導電性液体71と絶縁性液体72との界面の曲率は、電圧Va,Vbの大きさに依存する。そのため、フォーカス制御部16bは、電圧Va,Vbの大きさを制御することにより、レンズモジュール12の焦点位置Fを変化させる。焦点位置Fが取り得る可動範囲Raは、電圧Va,Vbが取り得る電圧範囲によって定まる。
オートフォーカスモードの撮像指示を受けた場合、フォーカス制御部16bは、電圧Va,Vbの大きさを変化させたときの評価値を取得し、評価値が最大となる電圧Va,Vbの大きさに対応する焦点位置Fを合焦位置として探索する。
設定モードの撮像指示を受けた場合、フォーカス制御部16bは、電圧Va,Vbの大きさを最小値から最大値まで所定の間隔ずつ変化させることにより、レンズモジュール12の焦点位置Fを可動範囲Raの全域で変化させる。そして、フォーカス制御部16bは、電圧Va,Vbの大きさと評価値とを対応付けた評価値情報を生成する。
マニュアルフォーカスモードの撮像指示を受けた場合、フォーカス制御部16bは、指定位置に対応する大きさの電圧Va,Vbをレンズ12aに印加する。
通常は、電圧Vaと電圧Vbとは同値に制御される。これにより、導電性液体71と絶縁性液体72との界面は、光軸に対して対称に変化する。ただし、電圧Vaと電圧Vbとが異なる値に制御されてもよい。これにより、導電性液体71と絶縁性液体72との界面が光軸に対して非対称となり、撮像装置10の撮像視野の向きを変更することができる。
さらに液体レンズと固体レンズとを組み合わせてもよい。この場合、上記の方法(A)および方法(B)の両方を用いてレンズモジュール12の焦点位置Fを変化させ、式(1)を満たすときの焦点位置Fが合焦位置として探索される。
<B.画像処理装置のハードウェア構成>
図6は、実施の形態に係る画像処理装置のハードウェア構成の一例を示すブロック図である。図6に示す例の画像処理装置20は、演算処理部であるCPU(Central Processing Unit)210と、記憶部としてのメインメモリ212およびハードディスク214と、カメラインターフェイス216と、入力インターフェイス218と、表示コントローラ220と、PLCインターフェイス222と、通信インターフェイス224と、データリーダ/ライタ226とを含む。これらの各部は、バス228を介して、互いにデータ通信可能に接続される。
CPU210は、ハードディスク214に格納されたプログラム(コード)をメインメモリ212に展開して、これらを所定順序で実行することで、各種の演算を実施する。図1に示す指令生成部21、判定部22および設定部25は、CPU210が各種の演算を実施することにより実現される。メインメモリ212は、典型的には、DRAM(Dynamic Random Access Memory)などの揮発性の記憶装置であり、ハードディスク214から読み出されたプログラムに加えて、撮像装置10によって取得された画像データ、ワークデータなどを保持する。さらに、ハードディスク214には、各種設定値などが格納されてもよい。図1に示す記憶部24は、メインメモリ212およびハードディスク214によって構成される。なお、ハードディスク214に加えて、あるいは、ハードディスク214に代えて、フラッシュメモリなどの半導体記憶装置を採用してもよい。
カメラインターフェイス216は、CPU210と撮像装置10との間のデータ伝送を仲介する。すなわち、カメラインターフェイス216は、ワークWを撮像して画像データを生成するための撮像装置10と接続される。より具体的には、カメラインターフェイス216は、撮像装置10からの画像データを一時的に蓄積するための画像バッファ216aを含む。そして、カメラインターフェイス216は、画像バッファ216aに所定コマ数の画像データが蓄積されると、その蓄積されたデータをメインメモリ212へ転送する。また、カメラインターフェイス216は、CPU210が発生した内部コマンドに従って、撮像装置10に対して撮像指示または探索範囲を示す情報を送る。
入力インターフェイス218は、CPU210と入力装置40との間のデータ伝送を仲介する。すなわち、入力インターフェイス218は、作業者が入力装置40を操作することで与えられる操作指令を受付ける。
表示コントローラ220は、表示装置50と接続され、CPU210における処理の結果などをユーザに通知する。すなわち、表示コントローラ220は、表示装置50の画面を制御する。図1に示す出力部23は、表示コントローラ220によって構成される。
PLCインターフェイス222は、CPU210とPLC30との間のデータ伝送を仲介する。より具体的には、PLCインターフェイス222は、PLC30からの制御指令をCPU210へ伝送する。
通信インターフェイス224は、CPU210とコンソール(あるいは、パーソナルコンピュータやサーバ装置)などとの間のデータ伝送を仲介する。通信インターフェイス224は、典型的には、イーサネット(登録商標)やUSB(Universal Serial Bus)などからなる。なお、後述するように、メモリカード206に格納されたプログラムを画像処理装置20にインストールする形態に代えて、通信インターフェイス224を介して、配信サーバなどからダウンロードしたプログラムを画像処理装置20にインストールしてもよい。
データリーダ/ライタ226は、CPU210と記録媒体であるメモリカード206との間のデータ伝送を仲介する。すなわち、メモリカード206には、画像処理装置20で実行されるプログラムなどが格納された状態で流通し、データリーダ/ライタ226は、このメモリカード206からプログラムを読出す。また、データリーダ/ライタ226は、CPU210の内部指令に応答して、撮像装置10によって取得された画像データおよび/または画像処理装置20における処理結果などをメモリカード206へ書込む。なお、メモリカード206は、SD(Secure Digital)などの汎用的な半導体記憶デバイスや、フレキシブルディスク(Flexible Disk)などの磁気記憶媒体や、CD-ROM(Compact Disk Read Only Memory)などの光学記憶媒体等からなる。
<C.ワークの例およびオートフォーカスの課題>
図7は、撮像装置によるワークWの撮像を模式的に示した図である。図7に示す例のワークWは、透明体(ガラスなど)である。レンズモジュール12の焦点位置が取り得る可動範囲の全域から合焦位置を探索させると、ワークWのおもて面に合焦した画像が得られる場合と、ワークWの裏面に合焦した画像が得られる場合とがあり得る。そのため、ワークWのおもて面を検査したいにもかかわらず、ワークWの裏面に合焦した画像が得られることがある。逆に、ワークWの裏面を検査したいにもかかわらず、ワークWのおもて面に合焦した画像が得られることがある。
このように、ワークWにおいて合焦しやすい箇所が複数存在する場合に、ワークWの個体差などの要因によって、合焦する箇所が安定しないという問題が生じる。実施の形態に係る撮像システム1は、このような問題を解決するために、オートフォーカスモードにおける合焦位置の探索範囲を設定する。
<D.探索範囲の設定画面>
図8は、合焦位置の探索範囲の設定を支援するための設定画面の一例を示す図である。図8に示されるような設定画面51は、設定部25(図1参照)によって表示装置50に表示される。
図8に示す例の設定画面51は、領域52a,52bと、つまみ55,57と、OKボタン60と、キャンセルボタン61とを含む。図8に示す例の設定画面51は、レンズモジュール12が図4に示す例のレンズ12aを含む撮像システム1において表示される。
設定部25は、レンズモジュール12の焦点位置と評価値との関係を示す図形である折れ線グラフ53を領域52aに表示させる。設定部25は、設定モードの撮像指示を撮像装置10に送信することにより撮像装置10から取得した評価値情報に基づいて、折れ線グラフ53を作成する。評価値情報は、レンズモジュール12の焦点位置Fを可動範囲Raの全域で変化させることにより生成される。そのため、折れ線グラフ53は、可動範囲Ra全域の焦点位置と評価値との関係を示す。
図4に示す例のレンズ12aを含むレンズモジュール12の焦点位置Fは、レンズ12aの移動量に応じて変化する。そのため、図8に示す例の折れ線グラフ53は、レンズモジュール12の焦点位置Fに相関するレンズ12aの移動量と評価値との関係を示す。折れ線グラフ53において、横軸はレンズ12aの移動量を示し、縦軸は評価値を示す。なお、設定画面51において、レンズモジュール12の焦点位置Fが可動範囲Raの一方端であるときのレンズ12aの移動量は0であり、レンズモジュール12の焦点位置Fが可動範囲Raの他方端であるときのレンズ12aの移動量は100である。
折れ線グラフ53上には、合焦位置の探索範囲の中心に対応する点56aが表示される。さらに、領域52bには、点56aから横軸に下した垂線56bが表示される。点56aのデフォルト位置は予め設定される。点56aのデフォルト位置は、たとえば、レンズ12aの移動量が0の位置である。
さらに、折れ線グラフ53には、探索範囲の下限に対応するレンズ12aの移動量を示す点線58と、探索範囲の上限に対応するレンズ12aの移動量を示す点線59とが重畳して表示される。
設定部25は、点56aに対応するレンズ12aの移動量を指定したマニュアルフォーカスモードの撮像指示を指令生成部21から出力させ、撮像装置10から画像データを取得する。当該画像データは、点56aに対応する移動量にレンズ12aが調整されたときに撮像された画像を示す。設定部25は、当該画像データで示される画像54を領域52bに表示させる。設定部25は、点56aの位置が変更されるたびに、マニュアルフォーカスモードの撮像指示を指令生成部21から出力させ、変更後の点56aに対応する画像データで示される画像54を領域52bに表示させる。
つまみ55は、点56aの現在位置を示す。設定部25は、つまみ55に対する操作に応じて、点56a、垂線56bおよび点線58,59の位置を更新する。作業者は、入力装置40を用いてつまみ55を操作することにより、探索範囲の中心に対応する点56aを折れ線グラフ53上の任意の位置に変更することができる。
つまみ57は、合焦位置の探索範囲の幅を調整するためのものである。探索範囲の幅とは、探索範囲の下限に対応するレンズ12aの移動量と、探索範囲の上限に対応するレンズ12aの移動量との差分である。具体的には、つまみ57で示される値「±d」(dは0~100)の「d」は、点56aに対応する移動量と探索範囲の下限に対応する移動量との差を示すとともに、探索範囲の上限に対応する移動量と点56aに対応する移動量との差を示す。つまり、つまみ57で示される値「±d」の「d」の2倍が探索範囲の幅となる。設定部25は、つまみ57の操作に応じて、点線58,59の位置を更新する。作業者は、入力装置40を用いてつまみ57を操作することにより、点56aを中心とする探索範囲の幅を変更することができる。
OKボタン60は、現在設定されている探索範囲を登録するためのボタンである。設定部25は、OKボタン60が操作されると、現在設定されている探索範囲を示す探索範囲情報を生成する。設定部25は、カメラインターフェイス216を介して、生成した探索範囲情報を撮像装置10に送る。これにより、撮像装置10では、画像処理装置20から受けた探索範囲情報がレジスタ17に記憶され、オートフォーカスモードにおいて、当該探索範囲情報で示される探索範囲から合焦位置が探索される。
キャンセルボタン61は、現在設定されている探索範囲を破棄するためのボタンである。
ワークWにおいて合焦しやすい箇所が複数存在する場合に、折れ線グラフ53は、当該複数の箇所にそれぞれ対応する複数の極大点を有する。一般に、作業者は、ワークWの検査対象箇所に対応する極大点の位置を認識していない。しかしながら、図8に示す設定画面51によれば、作業者は、つまみ55を操作することにより、点56aを折れ線グラフ53の極大点に移動させ、レンズモジュール12の焦点位置が当該極大点に対応する位置に調整されたときの画像を領域52aで確認できる。これにより、作業者は、ワークWの検査対象箇所に合焦したときの点を折れ線グラフ53から容易に選択でき、当該点を含む探索範囲を設定できる。
さらに、探索範囲の中に複数の極大点が含まれる場合に、オートフォーカスモードで探索される合焦位置が不安定になる可能性がある。しかしながら、図8に示す設定画面51によれば、作業者は、つまみ57を操作することにより、探索範囲の中に検査対象箇所に対応する1つの極大点だけが含まれ、他の極大点が含まれないように、探索範囲の幅を設定することができる。
このように、作業者は、設定画面51を用いることにより、ワークWの検査対象箇所に合焦した画像を安定して取得するための探索範囲を設定することができる。
<E.探索範囲の設定処理>
図9は、探索範囲の設定処理の流れの一例を示すフローチャートである。
作業者は、ワークWのサンプルをステージ90(図1参照)に設置した状態で、探索範囲の設定指示を入力する。画像処理装置20は、探索範囲の設定指示を受け付けると、設定モードの撮像指示を撮像装置10に出力する。これにより、撮像装置10では、レンズモジュール12の焦点位置Fが可動範囲Raの全域で変化する(ステップS1)。
次に、撮像装置10では、可動範囲Raにおける各焦点位置と評価値とを対応付けた評価値情報が生成される(ステップS2)。
画像処理装置20は、撮像装置10によって生成された評価値情報を取得し、取得した評価値情報に基づいて、図8に示されるような設定画面51を表示装置50に表示させる(ステップS3)。すなわち、画像処理装置20は、焦点位置と評価値との関係を示す折れ線グラフ53、探索範囲、および探索範囲の中心に対応する画像54を含む設定画面51を表示装置50に表示させる。探索範囲は、折れ線グラフ53に重畳して表示される、点56a、垂線56bおよび点線58,59によって示される。点56aは、探索範囲の中心に対応する。そのため、画像54は、レンズモジュール12の焦点位置が点56aに対応する指定位置に調整されたときの画像データによって示される。
画像処理装置20は、探索範囲の登録の指示が入力装置40に入力されたか否かを判定する(ステップS4)。画像処理装置20は、設定画面51に含まれるOKボタン60が操作されたことにより、探索範囲の登録の指示が入力されたと判定する。
探索範囲の登録の指示が入力された場合(ステップS4でYES)、画像処理装置20は、設定画面51上で設定されている探索範囲を示す探索範囲情報を生成し、生成した探索範囲情報を撮像装置10に送信する。これにより、撮像装置10に新たな探索範囲が登録される(ステップS5)。ステップS5の後、探索範囲の設定処理は終了する。
探索範囲の登録の指示が入力されていない場合(ステップS4でNO)、画像処理装置20は、探索範囲の設定のキャンセル指示が入力装置40に入力されたか否かを判定する(ステップS6)。画像処理装置20は、設定画面51に含まれるキャンセルボタン61が操作されたことにより、探索範囲の設定のキャンセル指示が入力されたと判定する。キャンセル指示が入力された場合(ステップS6でYES)、探索範囲の設定処理は終了する。
キャンセル指示が入力されていない場合(ステップS6でNO)、画像処理装置20は、探索範囲の中心の変更指示が入力装置40に入力されたか否かを判定する(ステップS7)。画像処理装置20は、設定画面51に含まれるつまみ55が操作されたことにより、探索範囲の中心の変更指示が入力されたと判定する。
探索範囲の中心の変更指示が入力された場合(ステップS7でYES)、画像処理装置20は、設定画面51において探索範囲を更新するとともに、領域52bに表示される画像を更新する(ステップS8)。具体的には、画像処理装置20は、つまみ55の操作に応じて、点56a、垂線56bおよび点線58,59の位置を変更する。さらに、画像処理装置20は、レンズモジュール12の焦点位置が更新後の点56aに対応する指定位置に調整されたときの画像データを撮像装置10から取得し、取得した画像データで示される画像54を領域52bに表示する。
探索範囲の中心の変更指示が入力されていない場合(ステップS7でNO)、画像処理装置20は、探索範囲の幅の変更指示が入力装置40に入力されたか否かを判定する(ステップS9)。画像処理装置20は、設定画面51に含まれるつまみ57が操作されたことにより、探索範囲の幅の変更指示が入力されたと判定する。
探索範囲の幅の変更指示が入力された場合(ステップS9でYES)、画像処理装置20は、設定画面51において探索範囲を更新する(ステップS10)。具体的には、画像処理装置20は、つまみ57の操作に応じて、点線58,59の位置を変更する。ステップS10の後、探索範囲の設定処理はステップS4に戻る。
<F.作用・効果>
以上のように、撮像システム1は、レンズモジュール12と、撮像素子13と、算出部16aと、フォーカス制御部16bと、入力装置40と、設定部25と、表示装置50とを備える。レンズモジュール12の焦点位置Fは、所定の可動範囲Raで可変である。撮像素子13は、ワークWからの光をレンズモジュール12を介して受けることによって画像信号を生成する。算出部16aは、画像信号に基づいて、合焦度合を示す評価値を算出する。フォーカス制御部16bは、評価値に基づいて、ワークWに合焦する焦点位置(合焦位置)を探索する。設定部25は、入力装置40への入力に従って、可動範囲Raの中から、フォーカス制御部16bによる探索範囲を設定する。設定部25は、折れ線グラフ53と画像54とを表示装置50に表示させることにより、入力装置40への探索範囲の入力を支援する。折れ線グラフ53は、レンズモジュール12の焦点位置Fと評価値との関係を示す。画像54は、レンズモジュール12の焦点位置Fが折れ線グラフ53上において指定された位置に調整されたときの画像信号で示される。
本実施の形態によれば、作業者は、折れ線グラフ53上の位置を指定することにより、レンズモジュール12の焦点位置Fが当該位置に調整されたときの画像54を確認できる。これにより、作業者は、折れ線グラフ53の中から、ワークWの検査対象箇所に合焦する焦点位置を容易に選択できる。さらに、作業者は、折れ線グラフ53を確認しながら、評価値が極大となる焦点位置が複数含まれないように探索範囲を設定できる。その結果、探索される合焦位置が不安定になることを避けることができる。以上から、作業者は、設定部25による支援を受けることにより、ワークWの検査対象箇所に合焦した画像を安定して取得するための探索範囲を設定することができる。その結果、ワークWの検査対象箇所に安定して合焦させることができる。
<G.設定画面の第1の変形例>
図10は、探索範囲の設定画面の第1の変形例を示す図である。図10に示す第1の変形例の設定画面51Aは、図8に示す設定画面51と比較して、つまみ55の代わりにつまみ62を含む点で相違する。
つまみ62は、レンズモジュール12とワークWの検査対象箇所との間の距離(ワーキングディスタンス(WD))を示す。設定部25は、つまみ62に対する操作に応じて、レンズモジュール12とワークWの検査対象箇所との間の距離の入力を受け付ける。
ワークWの設計データなどに基づいて、レンズモジュール12とワークWの検査対象箇所との間の距離を作業者が認識できる場合がある。このような場合に、作業者は、つまみ62を操作して、レンズモジュール12とワークWの検査対象箇所との間の距離を入力する。設定部25は、入力された当該距離に応じて、折れ線グラフ53上の点56aの位置を変更する。具体的には、設定部25は、レンズモジュール12から当該距離だけ離れた箇所に合焦するときの焦点位置に対応するレンズ12aの移動量の位置に点56aを変更する。なお、レンズモジュール12から当該距離だけ離れた箇所に合焦するときの焦点位置は、上記の式(1)に基づいて特定される。
第1の変形例に係る設定画面51Aによれば、作業者は、ワークWの検査対象箇所に合焦するときの焦点位置に対応する点56aの位置を容易に指定することができる。
なお、図10に示す例では、折れ線グラフ53の横軸をレンズ12aの移動量とした。しかしながら、折れ線グラフ53の横軸は、つまみ62と同様に、レンズモジュール12とワークWの検査対象箇所との間の距離(WD)であってもよい。同様に、つまみ57の単位を、つまみ62と同様に、レンズモジュール12とワークWの検査対象箇所との間の距離(WD)に合わせてもよい。
<H.設定画面の第2の変形例>
図11は、探索範囲の設定画面の第2の変形例を示す図である。図11に示す第2の変形例の設定画面51Bは、図8に示す設定画面51と比較して、候補表示ボタン63と自動調整ボタン64とを含む点で相違する。
候補表示ボタン63は、探索範囲候補を表示させるためのボタンである。設定部25は、候補表示ボタン63が操作されると、評価値が極大となる焦点位置を含む範囲を探索範囲候補として抽出する。具体的には、設定部25は、折れ線グラフ53の中から極大点を抽出する。設定部25は、抽出した1つの極大点を中心とする探索範囲候補を決定する。このとき、設定部25は、抽出した1つの極大点と当該極大点に最も近い極小点とのレンズ12aの移動量の差分の2倍を探索範囲候補の幅として決定すればよい。これにより、探索範囲候補の中には1つの極大点のみが含まれる。
折れ線グラフ53の中に複数の極大点が含まれる場合、設定部25は、当該複数の極大点の各々に対応する探索範囲候補を決定してもよい。もしくは、設定部25は、当該複数の極大点のうち評価値が上位所定数番目までの極大点の各々に対応する探索範囲候補を決定してもよい。設定部25は、決定した複数の探索範囲候補の中から選択された探索範囲候補を表示装置50に表示させる。
図12は、表示装置に表示される探索範囲候補の一例を示す図である。図12(a)には、最も評価値が大きい極大点に対応する探索範囲候補が示される。図12(b)には、2番目に評価値が大きい極大点に対応する探索範囲候補が示される。作業者は、タブ65a,65bを操作することにより、探索範囲候補を切り替える。
なお、探索範囲候補が表示される場合、探索範囲候補の中心の極大点が点56aとして設定される。そのため、設定画面51Bの領域52bには、点56aとして設定された極大点に対応する画像が表示される。
候補表示ボタン63が設けられることにより、作業者は、探索範囲候補の中から探索範囲を容易に設定することができる。さらに、作業者は、つまみ57を操作して、探索範囲候補の幅を調整してもよい。
図13は、変形例2に係る撮像システムの構成を示す図である。図13に示されるように、変形例2に係る撮像システムは、撮像装置10に取り付けられた距離センサ80をさらに備える。距離センサ80は、レンズモジュール12とワークWとの間の距離を計測する。
図11に示す自動調整ボタン64は、距離センサ80によって計測された距離に基づいて点56aを設定するためのボタンである。
設定部25は、自動調整ボタン64が操作されると、距離センサ80によって計測された距離を取得する。設定部25は、取得した距離に応じて、折れ線グラフ53上の点56aの位置を変更する。具体的には、設定部25は、レンズモジュール12から当該距離だけ離れた箇所に合焦するときの焦点位置に対応するレンズ12aの移動量の位置に点56aを変更する。なお、レンズモジュール12から当該距離だけ離れた箇所に合焦するときの焦点位置は、上記の式(1)に基づいて特定される。
自動調整ボタン64が設定されることにより、作業者は、ワークWに合焦するときの焦点位置に対応する点56aを容易に指定することができる。
なお、図11に示す設定画面51Bは、候補表示ボタン63と自動調整ボタン64との両方を含む。しかしながら、設定画面51Bは、候補表示ボタン63と自動調整ボタン64との一方のみを含んでいてもよい。
<I.他の変形例>
設定部25は、ワークWの複数のサンプルに対してそれぞれ設定された複数の探索範囲を調整することにより、撮像装置10に登録する探索範囲を決定してもよい。たとえば、設定部25は、当該複数の探索範囲の下限の平均値から上限の平均値までの範囲を撮像装置10に登録する探索範囲として決定してもよい。もしくは、設定部25は、当該複数の探索範囲が重なり合う範囲を撮像装置10に登録する探索範囲として決定してもよい。これにより、設定部25は、ワークWの個体差を考慮した探索範囲を撮像装置10に登録することができる。
あるいは、設定部25は、ワークWの複数のサンプルの各々に対して得られた折れ線グラフを重畳して領域52aに表示させてもよい。この場合、画像処理装置20は、複数のサンプルの各々に対応する評価値情報を取得すればよい。
図14は、第3の変形例に係る設定画面の領域52aの一例を示す図である。図14に示されるように、領域52aには、3つのサンプルにそれぞれ対応する3つの折れ線グラフ53a~53cが重畳して表示される。これにより、作業者は、ワークWの個体差を考慮して探索範囲を設定することができる。
上記の説明では、点56aの位置が変更されるたびに、設定部25は、マニュアルフォーカスモードの撮像指示を指令生成部21から出力させ、変更後の点56aに対応する画像データで示される画像54を領域52bに表示させるものとした。しかしながら、撮像装置10は、設定モードの撮像指示を受けたときに、可動範囲の各焦点位置と画像データとを対応付けた画像情報を生成し、評価値情報とともに画像情報を画像処理装置20に送信してもよい。これにより、画像処理装置20は、画像情報の中から、点56aによって指定される焦点位置(指定位置)に対応する画像データを読み出し、読み出した画像データで示される画像を領域52bに表示させてもよい。
図14に示されるように複数の折れ線グラフが表示される場合、作業者は、当該複数の折れ線グラフの中から任意に選択した折れ線グラフ上に点56aを指定してもよい。設定部25は、選択された折れ線グラフに対応する画像情報を特定する。設定部25は、特定した画像情報の中から点56aに対応する画像データを読み出し、読み出した画像データで示される画像を領域52bに表示させればよい。
図8に示す例の設定画面は、レンズモジュール12が図4に示す例のレンズ12aを含む撮像システムにおいて表示される。レンズモジュール12が図5に示す例のレンズ12aを含む撮像システムにおいて表示される設定画面では、レンズモジュール12の焦点位置に相関する電圧Va,Vbの大きさと評価値との関係を示す折れ線グラフが表示されてもよい。
上記の例では、レンズモジュール12の焦点位置と評価値との関係を示す図形として、折れ線グラフが表示される。しかしながら、レンズモジュール12の焦点位置と評価値との関係を示す図形は、折れ線グラフに限定されず、折れ線グラフ以外の各種グラフでもよい。あるいは、レンズモジュール12の焦点位置と評価値との関係を示す図形において、評価値の高低は、色度、彩度および明度の少なくとも1つによって表されてもよい。
上記の例では、つまみ57により探索範囲の幅が設定される。すなわち、つまみ57により探索範囲の上限と下限との両方が同時に設定される。しかしながら、設定画面は、探索範囲の上限を設定するためのつまみと、探索範囲の下限を設定するためのつまみとを含んでもよい。これにより、作業者は、探索範囲の上限と下限とを個別に設定することができる。
§3 付記
以上のように、実施の形態および変形例は以下のような開示を含む。
(構成1)
焦点位置が所定範囲で可変である光学系(12)と、
被写体(W)からの光を前記光学系(12)を介して受けることによって画像信号を生成するための撮像素子(13)と、
前記画像信号に基づいて、合焦度合を示す評価値を算出するための算出手段(16a、)と、
前記評価値に基づいて、前記被写体に合焦する焦点位置を探索するオートフォーカス手段(16b)と、
入力装置(40)と、
前記入力装置(40)への入力に従って、前記所定範囲の中から、前記オートフォーカス手段(16b)による探索範囲を設定するための設定手段(25,210)と、
表示装置(50)とを備え、
前記設定手段(25,210)は、
前記光学系(12)の焦点位置と前記評価値との関係を示す図形と、前記光学系(12)の焦点位置が前記図形上において指定された位置に調整されたときの前記画像信号で示される画像とを前記表示装置(50)に表示させることにより、前記入力装置(40)への前記探索範囲の入力を支援する、撮像システム(1)。
(構成2)
前記入力装置(40)は、前記光学系(12)と前記被写体(W)との間の距離の入力を受け付け可能であり、
前記設定手段(25,210)は、前記入力装置(40)が前記距離の入力を受け付けた場合に、前記光学系(12)から当該距離だけ離れた前記被写体(W)の表面に合焦するときの焦点位置を前記指定された位置として設定する、構成1に記載の撮像システム(1)。
(構成3)
前記光学系(12)と前記被写体(W)との間の距離を計測するセンサ(80)をさらに備え、
前記入力装置(40)は、前記センサ(80)によって計測された距離に基づいて前記指定された位置を設定させる指示を受け付け可能であり、
前記設定手段(25,210)は、前記入力装置(40)が前記指示を受け付けた場合に、前記計測された距離だけ前記光学系(12)から離れた前記被写体(W)の表面に合焦するときの焦点位置を前記指定された位置として設定する、構成1に記載の撮像システム(1)。
(構成4)
前記入力装置(40)は、前記探索範囲の候補を表示させる指示を受け付け可能であり、
前記設定手段(25,210)は、前記入力装置(40)が前記指示を受け付けた場合に、前記図形から少なくとも1つの探索範囲候補を抽出し、抽出した前記少なくとも1つの探索範囲候補の中から選択された1つの探索範囲候補を前記探索範囲として設定し、
前記少なくとも1つの探索範囲候補は、前記図形において前記評価値が極大値となる焦点位置を含む範囲である、構成1に記載の撮像システム(1)。
(構成5)
前記図形は、前記評価値が極大値となる複数の焦点位置を含み、
前記設定手段(25,210)は、前記複数の焦点位置にそれぞれ対応する複数の探索範囲候補を前記少なくとも1つの探索範囲候補として抽出する、構成4に記載の撮像システム(1)。
(構成6)
前記設定手段(25,210)は、前記被写体(W)の複数のサンプルの各々に対して得られた前記図形を重畳して前記表示装置(50)に表示させる、構成1に記載の撮像システム(1)。
(構成7)
構成1から6のいずれか1項に記載の撮像システム(1)で用いられる設定装置(20)であって、
前記設定手段(25,210)を備える、設定装置(210)。
本発明の実施の形態について説明したが、今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
1 撮像システム、10 撮像装置、11 照明部、12 レンズモジュール、12a,12c レンズ、12b レンズ群、12d 可動部、12e1,12e2 電圧源、12e フォーカス調整部、13 撮像素子、13a 撮像面、14 撮像素子制御部、15,17 レジスタ、16 レンズ制御部、16a 算出部、16b フォーカス制御部、18 通信I/F部、20 画像処理装置、21 指令生成部、22 判定部、23 出力部、24 記憶部、25 設定部、30 PLC、40 入力装置、50 表示装置、51,51A,51B 設定画面、52a,52b 領域、53,53a,53c 折れ線グラフ、54 画像、55,57,62 つまみ、56a 点、56b 垂線、58,59 点線、60 OKボタン、61 キャンセルボタン、63 候補表示ボタン、64 自動調整ボタン、65a,65b タブ、70 透光性容器、71 導電性液体、72 絶縁性液体、73a,73b,74a,74b 電極、75a,75b 絶縁体、76a,76b 絶縁層、80 距離センサ、90 ステージ、206 メモリカード、210 CPU、212 メインメモリ、214 ハードディスク、216 カメラインターフェイス、216a 画像バッファ、218 入力インターフェイス、220 表示コントローラ、222 PLCインターフェイス、224 通信インターフェイス、226 データリーダ/ライタ、228 バス、W ワーク。

Claims (7)

  1. 焦点位置が所定範囲で可変である光学系と、
    被写体からの光を前記光学系を介して受けることによって画像信号を生成するための撮像素子と、
    前記画像信号に基づいて、合焦度合を示す評価値を算出するための算出手段と、
    前記評価値に基づいて、前記被写体に合焦する焦点位置を探索するオートフォーカス手段と、
    入力装置と、
    前記入力装置への入力に従って、前記所定範囲の中から、前記オートフォーカス手段による探索範囲を設定するための設定手段と、
    表示装置とを備え、
    前記設定手段は、
    前記光学系の焦点位置と前記評価値との関係を示す図形と、前記光学系の焦点位置が前記図形上において指定された位置に調整されたときの前記画像信号で示される画像とを前記表示装置に表示させることにより、前記入力装置への前記探索範囲の入力を支援する、撮像システム。
  2. 前記入力装置は、前記光学系と前記被写体との間の距離の入力を受け付け可能であり、
    前記設定手段は、前記入力装置が前記距離の入力を受け付けた場合に、前記光学系から当該距離だけ離れた前記被写体の表面に合焦するときの焦点位置を前記指定された位置として設定する、請求項1に記載の撮像システム。
  3. 前記光学系と前記被写体との間の距離を計測するセンサをさらに備え、
    前記入力装置は、前記センサによって計測された距離に基づいて前記指定された位置を設定させる指示を受け付け可能であり、
    前記設定手段は、前記入力装置が前記指示を受け付けた場合に、前記計測された距離だけ前記光学系から離れた前記被写体の表面に合焦するときの焦点位置を前記指定された位置として設定する、請求項1に記載の撮像システム。
  4. 前記入力装置は、前記探索範囲の候補を表示させる指示を受け付け可能であり、
    前記設定手段は、前記入力装置が前記指示を受け付けた場合に、前記図形から少なくとも1つの探索範囲候補を抽出し、抽出した前記少なくとも1つの探索範囲候補の中から選択された1つの探索範囲候補を前記探索範囲として設定し、
    前記少なくとも1つの探索範囲候補は、前記図形において前記評価値が極大となる焦点位置を含む範囲である、請求項1に記載の撮像システム。
  5. 前記図形は、前記評価値が極大となる複数の焦点位置を含み、
    前記設定手段は、前記複数の焦点位置にそれぞれ対応する複数の探索範囲候補を前記少なくとも1つの探索範囲候補として抽出する、請求項4に記載の撮像システム。
  6. 前記設定手段は、前記被写体の複数のサンプルの各々に対して得られた前記図形を重畳して前記表示装置に表示させる、請求項1に記載の撮像システム。
  7. 請求項1から6のいずれか1項に記載の撮像システムで用いられる設定装置であって、
    前記設定手段を備える、設定装置。
JP2018190941A 2018-10-09 2018-10-09 撮像システムおよび設定装置 Active JP6996469B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018190941A JP6996469B2 (ja) 2018-10-09 2018-10-09 撮像システムおよび設定装置
US16/562,391 US10827114B2 (en) 2018-10-09 2019-09-05 Imaging system and setting device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018190941A JP6996469B2 (ja) 2018-10-09 2018-10-09 撮像システムおよび設定装置

Publications (2)

Publication Number Publication Date
JP2020060649A JP2020060649A (ja) 2020-04-16
JP6996469B2 true JP6996469B2 (ja) 2022-01-17

Family

ID=70051739

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018190941A Active JP6996469B2 (ja) 2018-10-09 2018-10-09 撮像システムおよび設定装置

Country Status (2)

Country Link
US (1) US10827114B2 (ja)
JP (1) JP6996469B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7222796B2 (ja) * 2019-04-05 2023-02-15 株式会社キーエンス 画像検査システム及び画像検査方法
CN114026594A (zh) * 2019-06-25 2022-02-08 日本电气株式会社 虹膜认证装置、虹膜认证方法、计算机程序和记录介质
JP2025516191A (ja) * 2022-04-28 2025-05-27 コグネックス・コーポレイション マシンビジョンシステムおよびハイブリッドズーム光学アセンブリによる方法
JP2023173413A (ja) * 2022-05-26 2023-12-07 株式会社キーエンス 産業用カメラ

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005173163A (ja) 2003-12-10 2005-06-30 Canon Inc 自動焦点調整装置及びこれを有する撮像装置
JP2007114414A (ja) 2005-10-19 2007-05-10 Eastman Kodak Co 撮像装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5347845B2 (ja) * 2009-08-28 2013-11-20 オムロン株式会社 画像処理プログラムおよび画像処理装置
JP2018084701A (ja) 2016-11-24 2018-05-31 オリンパス株式会社 焦点調節装置、カメラシステム及び焦点調節方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005173163A (ja) 2003-12-10 2005-06-30 Canon Inc 自動焦点調整装置及びこれを有する撮像装置
JP2007114414A (ja) 2005-10-19 2007-05-10 Eastman Kodak Co 撮像装置

Also Published As

Publication number Publication date
US20200112687A1 (en) 2020-04-09
US10827114B2 (en) 2020-11-03
JP2020060649A (ja) 2020-04-16

Similar Documents

Publication Publication Date Title
JP6996469B2 (ja) 撮像システムおよび設定装置
JP5497386B2 (ja) 画像取得装置
CN110261386B (zh) 外观检查系统、图像处理装置、设定装置以及检查方法
JP6503221B2 (ja) 3次元情報取得装置、及び、3次元情報取得方法
JP2017223650A (ja) 可変焦点距離レンズシステムにおける位相差較正
WO2020110712A1 (ja) 検査システム、検査方法およびプログラム
JP4664871B2 (ja) 自動焦点検出装置
US10120163B2 (en) Auto-focus method for a coordinate-measuring apparatus
CN110261385B (zh) 外观检查系统、图像处理装置、拍摄装置以及检查方法
US10432843B2 (en) Imaging apparatus, control method of imaging apparatus, and non-transitory recording medium for judging an interval between judgement targets
JP2010169968A (ja) 顕微鏡システム及び該制御方法
JP7047725B2 (ja) 検査システム、検査方法およびプログラム
JP2000028336A (ja) 形状測定装置及び形状測定方法
JP5996462B2 (ja) 画像処理装置、顕微鏡システム及び画像処理方法
JP2010121955A (ja) 高さ情報取得装置、高さ情報取得方法、及びプログラム
JP7287533B2 (ja) 検査システム、検査方法およびプログラム
JP2006153636A (ja) 3次元計測方法および3次元計測方法をコンピュータに実行させるプログラム
CN105547659A (zh) 检测数字切片病理扫描仪的平台倾角的系统及方法
JP7087984B2 (ja) 撮像システムおよび設定装置
KR102278395B1 (ko) 다초점 조절 유닛 및 이를 포함하는 비전 검사 장치
JP2012150142A (ja) 顕微鏡制御装置、顕微鏡システム及び該制御方法
JP2020030338A (ja) 画像処理システム、画像処理方法およびプログラム
JP5904737B2 (ja) 顕微鏡システム
JP2015210396A (ja) アライメント装置、顕微鏡システム、アライメント方法、及びアライメントプログラム
JP2007101578A (ja) 顕微鏡のフォーカス維持装置及び顕微鏡装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201214

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211027

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211116

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211129

R150 Certificate of patent or registration of utility model

Ref document number: 6996469

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150