JP6274794B2 - 情報処理装置、情報処理方法、プログラム、及び画像測定装置 - Google Patents

情報処理装置、情報処理方法、プログラム、及び画像測定装置 Download PDF

Info

Publication number
JP6274794B2
JP6274794B2 JP2013189354A JP2013189354A JP6274794B2 JP 6274794 B2 JP6274794 B2 JP 6274794B2 JP 2013189354 A JP2013189354 A JP 2013189354A JP 2013189354 A JP2013189354 A JP 2013189354A JP 6274794 B2 JP6274794 B2 JP 6274794B2
Authority
JP
Japan
Prior art keywords
focus position
subject
focus
range
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013189354A
Other languages
English (en)
Other versions
JP2015055770A (ja
Inventor
吉田 博行
博行 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitutoyo Corp
Original Assignee
Mitutoyo Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitutoyo Corp filed Critical Mitutoyo Corp
Priority to JP2013189354A priority Critical patent/JP6274794B2/ja
Priority to US14/482,405 priority patent/US9420160B2/en
Priority to DE102014218054.6A priority patent/DE102014218054B4/de
Priority to CN201410460668.4A priority patent/CN104459974B/zh
Publication of JP2015055770A publication Critical patent/JP2015055770A/ja
Application granted granted Critical
Publication of JP6274794B2 publication Critical patent/JP6274794B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/241Devices for focusing
    • G02B21/244Devices for focusing using image analysis techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32Means for focusing
    • G03B13/34Power focusing
    • G03B13/36Autofocus systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Optics & Photonics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)
  • Microscoopes, Condenser (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

本発明は、例えば測定や観察等のために被写体の画像を撮影する際に利用可能な情報処理装置、情報処理方法、プログラム、及び画像測定装置に関する。
被写体を撮影して得られる画像をコンピュータにより処理して、観察や測定等を行うシステムが知られている。例えば顕微鏡により得られた拡大画像を用いた検査や、CNC(Computer Numerical Control)による測定等において、そのようなシステムが用いられる。
特許文献1には、生物顕微鏡等によって得られる被検体の拡大像を写真撮影する顕微鏡写真撮影システムが記載されている。このシステムでは、まず目視によりフォーカシングと視野の決定が行われる。その後、粗フォーカス動作と密フォーカス動作からなる2段階オートフォーカス動作が実行される。まず粗フォーカス動作により、広い走査範囲が大まかに走査され大凡のフォーカスポイントが検出される。次に密フォーカス動作により、大凡のフォーカスポイントを含む狭い走査範囲が走査され、正確なフォーカスポイントが検出される。このような2段階オートフォーカス動作を実行することにより、オートフォーカス動作に必要な時間が短縮化されている(特許文献1の段落[0001][0018][0043]等)。
特開平10−48506号公報
特許文献1に記載の技術では、その図6に示すように、粗フォーカスによる第1の操作幅W1にコントラストのピーク値P1が現れない場合に、さらに第1の操作幅W1にて他の範囲が走査される。すなわち最初の走査が無駄となり、その走査の分だけオートフォーカスに費やされる時間が長くなる。例えばこのような状況を回避できる、合焦位置を高速に算出可能な技術が求められている。
以上のような事情に鑑み、本発明の目的は、合焦位置を高速に算出することを可能とする情報処理装置、情報処理方法、プログラム、及び画像測定装置を提供することにある。
上記目的を達成するため、本発明の一形態に係る情報処理装置は、取得部と、第1の算出部と、第2の算出部とを具備する。
前記取得部は、所定の範囲内の任意の焦点位置で被写体の画像を撮影することが可能な撮像装置により、前記焦点位置が前記所定の範囲内にて移動されながら撮影された複数の被写体画像を取得する。
前記第1の算出部は、手動により前記焦点位置が前記所定の範囲内にて移動されながら撮影された前記複数の被写体画像である手動被写体画像群の各コントラスト情報をもとに、前記所定の範囲内の第1の合焦位置を算出可能である。
前記第2の算出部は、前記算出された第1の合焦位置を基準とした探索範囲内にて、自動により前記焦点位置が移動されながら撮影された前記複数の被写体画像である自動被写体画像群の各コントラスト情報をもとに、前記探索範囲内の第2の合焦位置を算出可能である。
この情報処理装置では、手動により焦点位置が移動されながら撮影された手動被写体画像群の各コントラスト情報をもとに、第1の合焦位置が算出される。そして第1の合焦位置を基準とした探索範囲内にて、自動により焦点位置が移動されながら撮影された自動被写体画像群をもとに、第2の合焦位置が算出される。これにより自動で焦点位置を移動させる走査において、無駄な走査の発生を十分に抑えることが可能となり、合焦位置を高速で算出することが可能となる。
前記情報処理装置は、さらに、駆動部を具備してもよい。
前記駆動部は、前記焦点位置を前記所定の範囲内にて移動させることが可能である。
この場合、前記駆動部は、前記焦点位置を前記探索範囲のいずれかの端点まで第1の速度で移動させ、前記探索範囲内にて前記第1の速度よりも小さい第2の速度で前記焦点位置を移動させてもよい。
このように高速で探索範囲の端点まで焦点位置が移動され、低速で探索範囲内の自動的な走査が実行される。これにより合焦位置を高速で算出することが可能となる。
前記情報処理装置は、さらに、操作入力部を具備してもよい。
前記操作入力部には、ユーザの指示が入力される。
この場合、前記第1の算出部は、前記ユーザが手動により前記焦点位置を移動させる操作をもとに前記第1の合焦位置を算出してもよい。また前記第2の算出部は、前記操作入力部を介した前記ユーザからのオートフォーカスの指示をもとに前記第2の合焦位置を算出してもよい。
このように第1の合焦位置が算出され探索範囲が定まった状態で、オートフォーカスの指示が入力されてもよい。これによりオートフォーカスに費やされる時間を十分に短くすることが可能となる。
前記情報処理装置は、さらに、判定部を具備してもよい。
前記判定部は、前記第1の合焦位置の算出から所定の時間が経過するまでに、前記オートフォーカスの指示が入力されない場合に、前記第1の合焦位置を無効と判定する。
例えば第1の合焦位置が算出された後に、被写体の交換や撮影条件の変更等が行われる可能性がある。その場合、当該第1の合焦位置を基準としたオートフォーカスは無駄となる可能性が高い。本発明のように所定の時間が経過した後は第1の合焦位置を無効とすることで、そのような無駄なオートフォーカスを回避することが可能となる。
前記第1の算出部は、前記手動被写体画像群の各コントラスト情報をもとに、前記所定の範囲内におけるコントラストのピーク値を算出し、前記ピーク値に対応する前記焦点位置を前記第1の合焦位置として算出してもよい。この場合、前記判定部は、前記コントラストのピーク値を所定の割合で減衰させ、前記減衰されたピーク値が所定の閾値よりも小さくなるまでの時間を、前記所定の時間として設定してもよい。
このようにピーク値を所定の割合で減衰させることで、第1の合焦位置の有効性が判定されてもよい。これにより判定の基準となる上記の所定の時間を、ピーク値の大きさに基づいたものとすることできる。
前記第1の算出部は、前記手動被写体画像群の各コントラスト情報をもとに、前記所定の範囲内の前記焦点位置と前記コントラスト情報との関係を表す関数を算出し、前記関数のピーク値を前記コントラストのピーク値として算出してもよい。
例えばモデル関数へのフィッティングを実行して、上記の関数を算出し、関数のピーク値をコントラストのピーク値として算出してもよい。
前記情報処理装置は、さらに、記憶部を具備してもよい。
前記記憶部は、複数の領域に分割された算出用マップを記憶する。
この場合、前記第1の算出部は、前記算出用マップの複数の領域に対応して前記被写体画像を分割する複数の分割領域の各コントラスト情報をもとに、前記分割領域ごとの前記第1の合焦位置である分割合焦位置を算出し、前記分割合焦位置の情報をもとに前記第1の合焦位置を算出してもよい。
この情報処理装置では、複数の領域に分割された算出用マップが用いられる。算出用マップの複数の領域に対応して前記被写体画像を分割する複数の分割領域が設定される。そして各分割領域のコントラスト情報をもとに、分割領域ごとの第1の合焦位置である分割合焦位置が算出される。第1の算出部は、これらの分割合焦位置の情報をもとに被写体画像全体の第1の合焦位置を算出する。このように複数の分割領域ごとに分割合焦位置を算出することで、高い精度で第1の合焦位置を算出することが可能となる。
前記第1の算出部は、前記複数の分割領域のうち、前記第1の合焦位置の算出の基準となる前記被写体画像内の基準領域と重なり合う前記分割領域を算出対象領域として、前記算出対象領域ごとの前記分割合焦位置の情報をもとに前記第1の合焦位置を算出してもよい。
このように基準領域と重なり合う算出対象領域として設定され、これらの領域の分割合焦位置の情報をもとに第1の合焦位置が算出されてもよい。これにより高い精度で第1の合焦位置を算出することが可能となる。
前記第1の算出部は、前記算出対象領域の前記基準領域に重なる範囲の大きさと、前記算出対象領域のコントラスト情報とをもとに重み付けを行い、前記第1の合焦位置を算出してもよい。
これにより高い精度で第1の合焦位置を算出することが可能となる。
前記情報処理装置は、さらに、駆動部を具備してもよい。
前記駆動部は、前記焦点位置を前記所定の範囲内にて移動させることが可能である。
この場合、前記駆動部は、前記焦点位置を前記探索範囲のいずれかの端点まで第1の速度で移動させ、前記探索範囲内にて前記第1の速度よりも小さい第2の速度で前記焦点位置を移動させてもよい。
前記撮影装置は、前記被写体が載置される載置面に沿う2次元内の任意の撮影位置で前記被写体を撮影することが可能であってもよい。この場合、前記駆動部は、前記撮影位置を前記2次元内にて移動させることが可能であってもよい。また前記算出用マップは、前記被写体画像の撮影範囲よりも大きい範囲で前記撮影範囲を含む位置に設定され、その設定位置が前記撮影位置の移動に応じて移動されてもよい。
この情報処理装置では、被写体が載置される載置面に沿う2次元内において、撮影位置を任意に移動させて撮影を行うことができる。算出用マップは、被写体画像の撮影範囲を含む位置に設定され、その設定位置が撮影位置の移動に応じて移動される。これにより撮影位置が移動された場合でも、その位置における合焦位置を高速で算出することが可能となる。
前記記憶部は、前記算出用マップの領域ごとに、当該領域に対応する前記被写体画像の分割領域のコントラスト情報及び分割合焦位置の情報を記憶してもよい。この場合、前記第1の算出部は、前記撮影位置が移動された場合に、移動前に記憶された前記算出用マップの領域ごとの前記コントラスト情報及び前記分割合焦位置情報を参照して、移動後の前記被写体画像の分割領域の前記分割合焦位置を算出してもよい。
例えば撮影位置を移動させながら被写体を撮影する場合、その撮影ごとに分割領域のコントラスト情報及び分割合焦位置が記憶される。そうすると移動後の分割領域が、移動前の算出用マップの設定範囲に含まれる場合があり得る。この場合、その分割領域に対応する算出用マップの領域について、移動前にコントラスト情報及び分割合焦位置が記憶されている場合がある。このような場合に、この移動前に記憶された情報を用いることで、短い時間で移動後の分割合焦位置の算出が可能となる。
本発明の一形態に係る情報処理方法は、コンピュータにより実行される情報処理方法であって、所定の範囲内の任意の焦点位置で被写体の画像を撮影することが可能な撮像装置により、前記焦点位置が前記所定の範囲内にて移動されながら撮影された複数の被写体画像を取得することを含む。
手動により前記焦点位置が前記所定の範囲内にて移動されながら撮影された前記複数の被写体画像である手動被写体画像群の各コントラスト情報をもとに、前記所定の範囲内の第1の合焦位置が算出される。
前記算出された第1の合焦位置を基準とした探索範囲内にて、自動により前記焦点位置が移動されながら撮影された前記複数の被写体画像である自動被写体画像群の各コントラスト情報をもとに、前記探索範囲内の第2の合焦位置が算出される。
本発明の一形態に係るプログラムは、コンピュータに以下のステップを実行させる。
所定の範囲内の任意の焦点位置で被写体の画像を撮影することが可能な撮像装置により、前記焦点位置が前記所定の範囲内にて移動されながら撮影された複数の被写体画像を取得するステップ。
手動により前記焦点位置が前記所定の範囲内にて移動されながら撮影された前記複数の被写体画像である手動被写体画像群の各コントラスト情報をもとに、前記所定の範囲内の第1の合焦位置を算出するステップ。
前記算出された第1の合焦位置を基準とした探索範囲内にて、自動により前記焦点位置が移動されながら撮影された前記複数の被写体画像である自動被写体画像群の各コントラスト情報をもとに、前記探索範囲内の第2の合焦位置を算出するステップ。
本発明の一形態に係る画像測定装置は、撮像部と、上記取得部と、上記第1の算出部と、上記第2の算出部とを具備する。
前記撮像部は、所定の範囲内の任意の焦点位置で被写体の画像を撮影することが可能である。
本発明の他の形態に係る情報処理装置は、取得部と、記憶部と、設定部と、算出部とを具備する。
前記取得部は、所定の範囲内の任意の焦点位置で被写体の画像を撮影することが可能な撮像装置により、前記焦点位置が前記所定の範囲内にて移動されながら撮影された複数の被写体画像を取得する。
前記記憶部は、複数の領域に分割された算出用マップを記憶する。
前記設定部は、前記複数の被写体画像のそれぞれに、前記算出用マップの複数の領域に対応して前記被写体画像を分割する複数の分割領域を設定する。
前記算出部は、前記被写体画像ごとに設定された前記複数の分割領域の各コントラスト情報をもとに、前記分割領域ごとの前記所定の範囲内の合焦位置である分割合焦位置を算出し、前記分割合焦位置の情報をもとに、前記被写体画像の前記所定の範囲内の合焦位置を算出する。
この情報処理装置では、複数の領域に分割された算出用マップが用いられる。算出用マップの複数の領域に対応して前記被写体画像を分割する複数の分割領域が設定される。そして各分割領域のコントラスト情報をもとに、分割領域ごとの合焦位置である分割合焦位置が算出される。第1の算出部は、これらの分割合焦位置の情報をもとに被写体画像全体の合焦位置を算出する。このように複数の分割領域ごとに分割合焦位置を算出することで、高い精度で合焦位置を算出することが可能となる。
以上のように、本発明によれば、合焦位置を高速に算出することが可能となる。
本発明の一実施形態に係る画像測定装置の構成例を示す模式的な図である。 図1に示すPC本体の構成例を示す模式的なブロック図である。 手動によるサーチ範囲の位置の調整について説明するための図である。 第1の合焦位置及び予測サーチ範囲の設定について説明するための図である。 本実施形態に係るAFの動作を説明するための図である。 予測サーチ範囲にフォーカス位置がない場合の動作を説明するための図である。 予測サーチ範囲にフォーカス位置がない場合の動作を説明するための図である。 第1の合焦位置の有効性の判定方法の一例を説明するための図である。 手動被写体画像群の各コントラスト情報をもとにした、第1の合焦位置の算出の概要を説明するための写真及び図である。 手動被写体画像群の各コントラスト情報をもとにした、第1の合焦位置の算出の概要を説明するための写真及び図である。 複数の分割領域の設定を説明するための図である。 分割領域情報を説明するための図である。 分割領域情報の更新の一例を示すフローチャートである。 コントラストマップの移動を説明するための図である。 コントラストマップの移動を説明するための図である。 コントラストマップの移動を説明するための図である。 分割領域情報を用いた第1の合焦位置の算出例を説明するための図である。 比較例として挙げるAFを説明するための図である。 比較例として挙げるAFを説明するための図である。 本実施形態に係るAFを実行した際の処理時間の一例を示すグラフである。 本実施形態に係るAFを実行した際の処理時間の一例を示すグラフである。 本実施形態に係るAFを実行した際の処理時間の一例を示すグラフである。 本実施形態に係るAFを実行した際の処理時間の一例を示すグラフである。 比較例として挙げるAFの処理時間を示すグラフである。
以下、図面を参照しながら、本発明の実施形態を説明する。
[画像測定装置の構成]
図1は、本発明の一実施形態に係る画像測定装置の構成例を示す模式的な図である。画像測定装置300は、非接触型の画像測定機100と、この画像測定機100を駆動制御すると共に必要なデータ処理を実行するPC(Personal Computer)200とを有する。PC200は、本実施形態に係る情報処理装置として機能する。なお本実施形態に係る情報処理装置として、PC以外のコンピュータが用いられてもよい。
画像測定機100は、試料移動手段である架台111と、架台111上に載置されるステージ112と、ステージ112の上方に配置される撮像ユニット114とを有する。
架台111はベース部115を有し、ベース部115は、第1の方向(X軸方向)を短手方向とし、第1の方向に直交する第2の方向(Y軸方向)を長手方向とする主面116を有する。ベース部115の2つの長辺部には、上方(Z軸方向)に延在する2つの支柱部113a及び113bが設置される。2つの支柱部113a及び113bの間には、X軸方向に延在するガイド部113cが設置される。
ステージ112は、被測定対象となるワーク3が載置される載置面117を有し、この載置面117が水平方向と平行となるように架台111の主面116上に載置される。架台111の主面116には、ステージ112をY軸方向に移動させる図示しないY軸駆動機構が備えられている。PC200によりY軸駆動機構が制御されることで、ステージ112がY軸方向に沿って移動される。Y軸駆動機構の構成は限定されず、適宜設計されてよい。
撮像ユニット114は、2本の支柱部113a及び113bの間に設置されたガイド部113cに取り付けられる。ガイド部113cには、図示しないX軸駆動機構が備えられている。PC200によりX軸駆動機構が制御されることで、撮像ユニット114がX軸方向に沿って移動される。X軸駆動機構の構成は限定されず、適宜設計されてよい。
撮像ユニット114には、撮像装置(撮像部)として機能するカメラ118が、ステージ112と対向するように装着される。カメラ118としては、例えばCMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge Coupled Devices)センサ等を有するものが用いられる。その他のカメラが用いられてもよい。
カメラ118は、ワーク3を被写体として、その被写体画像を撮影することが可能である。カメラ118は、光軸方向であるZ軸方向(合焦軸方向)に移動可能に設けられており、所定の範囲内の任意の焦点位置でワーク3の被写体画像を撮影することが可能である。撮像ユニット114には、カメラ118をZ軸方向に移動させる図示しないZ軸駆動機構が備えられている。PC200によりZ軸駆動機構が制御されることで、カメラ118がZ軸方向に沿って移動される。これによりカメラ118の焦点位置が移動される。
Z軸方向へカメラ118を移動させて焦点位置を移動させることは、マウス等を介したユーザの操作をもとに実行されてもよいし、例えばオートフォーカス(Auto Focus:以下AFと記載する)の指示等により自動的に実行されてもよい。ユーザの操作をもとにした焦点位置の移動は、手動による焦点位置の移動に相当する。AFの指示等に基づいたPC200の制御による焦点位置の移動は、自動による焦点位置の移動に相当する。
画像測定機100の種類は限定されない。ワーク3を撮影することで得られる被写体画像を用いて測定や観察等を実行するものであり、手動及び自動により焦点位置を移動可能な機器であれば、どのような機器が用いられてよい。例えばCNC画像測定機、CNC三次元測定機等の画像プローブ、硬さ試験機等が挙げられる。また光学顕微鏡で得られた拡大像をデジタルカメラにより撮影するデジタル顕微鏡においても本発明は適用可能である。
図1に示す例では、撮像ユニット114がX軸方向に駆動され、ステージ112がY軸方向に駆動される。これによりカメラ118の撮影位置をステージ112の載置面117に対して、XY平面方向で相対的に移動させることが可能となる。すなわち本画像測定機器100では、カメラ118により、ワーク3が載置される載置面117に沿う2次元内の任意の撮影位置で、ワーク3を撮影することが可能である。ここで撮影位置とは、カメラ118により撮影される撮影範囲の位置であり、撮影範囲に含まれる領域の画像が、被写体画像として撮影される。
カメラ118の撮影位置をXY平面方向で移動させるための構成は限定されない。例えばステージ112がX軸方向及びY軸方向にそれぞれ駆動可能であってもよい。また撮像ユニット114がX軸方向及びY軸方向にそれぞれ駆動可能であってもよい。あるいはステージ112及び撮像ユニット114がともにXY平面方向に駆動可能であり、相対的な位置関係が適宜制御されてもよい。
PC200は、PC本体221と、キーボード222と、ジョイスティックボックス(以下、J/Sと記載する)223と、マウス224と、ディスプレイ225と、プリンタ226とを有する。キーボード222、J/S223、及びマウス224は、ユーザの指示が入力される操作入力部として機能する。ディスプレイ225は、表示部として機能し、例えば液晶、EL(Electro-Luminescence)、CRT(Cathode Ray Tube)等を用いた表示デバイスである。プリンタ226は、例えば測定結果等をプリントアウトすることが可能である。
図2は、PC本体221の構成例を示す模式的なブロック図である。PC本体221は、CPU(Central Processing Unit)235、ROM(Read Only Member)236、RAM(Random Access Memory)237、画像メモリ238、表示制御部239を有する。またPC本体221は、画像測定機100やキーボード222、又はHDD(Hard Disk Drive)240等と接続される各種のI/F(インタフェース)241−245を有する。
カメラ118から転送され入力される撮影されたワーク3の被写体画像の情報は、I/F241を介して多値画像として画像メモリ238に格納される。画像情報は、例えば汎用のデジタルシリアル通信線としてのUSBケーブル及びUSBポートを介して転送される。
CAD(Computer Aided Design)データによるオフラインティーチングが実行される場合は、図示しないCADシステムにより作成されるワーク3のCADデータが、I/F242を介してCPU235に入力される。CPU235に入力されたCADデータは、例えばCPU235にてビットマップ等の画像情報に展開された後、画像メモリ238に格納される。この画像メモリ238に格納された画像情報は、表示制御部239を介してディスプレイ225に表示される。
キーボード222、J/S223及びマウス224から入力されるコード情報や位置情報等は、I/F244を介してCPU235に入力される。CPU235は、ROM236に格納されたマクロプログラム、及びHDD240からI/F245を介してRAM237に格納された各種プログラムに従って、測定実行処理や測定結果の表示処理等を実行する。各種プログラムには、例えば測定実行プログラムや測定結果表示プログラム等、及び本発明に係る情報処理方法を実行するためのプログラムが含まれる。
CPU235は、上記の測定実行処理に従って、I/F243を介して画像測定機100を駆動制御することが可能である。例えば、ユーザの操作によりJ/S223やマウス224から入力された入力情報に基づき、画像測定機100のX,Y軸駆動機構が制御されて、ステージ112や撮像ユニット114がX、Y軸方向に相対的に移動される。
ステージ112や撮像ユニット114が移動した位置において、手動又は自動によりZ軸駆動機構が制御されてカメラ118がZ軸方向に沿って移動される。そして焦点が合ったフォーカス位置に焦点位置が合わせられる。フォーカス位置によりワーク3が撮影されることで、新たな撮影範囲内のワーク3の被写体画像がディスプレイ225に表示される。このフォーカス位置の算出については、後に詳しく説明する。
なお、HDD240は、上記各種プログラムやデータ等を格納する記録媒体であり、RAM237は、各種プログラムを格納する他、各種処理におけるCPU235のワーク領域を提供する。HDD240、ROM236、RAM237等は、本実施形態おいて記憶部に相当する。なおプログラムは、インターネット等のネットワークを介して、PC200にインストールされてもよい。
またPC200は、例えばカメラ118に対してフレームレートを指定する信号や図示しない照明装置の光量を指定する信号等を送信することが可能である。カメラ118は、照明装置から光を照射されたワーク3をPC200により指定されたフレームレートで撮影し、撮影した画像情報を上述したようにUSBケーブル等を介してバルク転送によりPC200に転送する。この際、画像測定機100が有する図示しない位置制御部等により、カメラ118の位置情報がPC200に送信されてもよい。なお照明装置としては、種々の照明が使用可能であり、例えばPWM(Pulse Width Modulation)制御のLED(Light Emitting Diode)等が用いられる。
本実施形態では、カメラ118の位置が移動されることで、焦点位置が移動される。しかしながら焦点位置の移動はこれに限定されない。例えばカメラ118に設けられたレンズ等の光学系を調整することで、焦点位置が移動されてもよい。画像測定機100としてデジタル顕微鏡が用いられる場合には、光学顕微鏡の光学系が調整されることで、焦点位置が移動されてもよい。すなわち被写体画像の焦点位置を移動させる方法及びそのための構成は限定されない。
図2に模式的に示すように、本実施形態では、所定のプログラムに従って動作するCPU235により、取得部250、第1の算出部251、第2の算出部252、駆動部253、及び判定部254が実現される。これらの各ブロックにより、以下に示す本実施形態に係る情報処理方法が実行される。すなわちPC200による情報処理は、HDD240等に記憶されたソフトウェアと、PC200のハードウェア資源との協働により実現される。なお取得部250等の各ブロックを実現するために専用のハードウェアが用いられてもよい。
[画像測定装置の動作]
本実施形態に係る画像測定装置300の動作として、フォーカス位置の算出について説明する。図3−図8は、Z軸方向におけるカメラ118の移動、及びそれにともなうフォーカス位置の算出について説明するための図である。以下の説明では、Z軸方向におけるカメラ118の移動が、焦点位置の移動に相当する。またカメラ118の移動範囲が、焦点位置の移動範囲に相当する。
図3に示すように、カメラ118は、所定の範囲としての移動可能範囲120内にて、移動可能に構成されている。またカメラ118の位置121を基準として、サーチ範囲122が設定される。サーチ範囲122は、AFが実行される際に、フォーカス位置がサーチされる範囲である。すなわちユーザからAFの指示が入力された場合、サーチ範囲122内でカメラ118が自動的に移動されてフォーカス位置がサーチされる。
本実施形態では、サーチ範囲122は、カメラ118の位置121を基準として上方及び下方に所定の大きさで設定される。すなわちZ軸方向の上向きをプラスとして、±Lmmの範囲が、サーチ範囲122として設定される。サーチ範囲122の大きさ(Lmmの大きさ)は、焦点深度等をもとに適宜設定されてよい。Z軸方向においてカメラ118が移動すると、それにともなってサーチ範囲122も移動する。
サーチ範囲122にフォーカス位置が含まれるように、ユーザが手動により(マウス等を操作することで)、カメラ118の位置121を移動させる。すなわちユーザの手動により、AFが開始される位置までカメラ118が移動される。ユーザは、カメラ118により撮影された被写体画像をディスプレイ225で確認しながら、フォーカス位置に向かってカメラ118を移動させる。
例えば図3に示すように、Z軸方向の所定の位置にフォーカス位置Z_focusがあるとする。そしてユーザが、フォーカス位置Z_focusよりも上方の位置Aから下方に向けてカメラ118を移動させるとする。ユーザは、位置Aからフォーカス位置Z_focusを通り過ぎた位置Bまでカメラ118を移動させる。そして位置Bからフォーカス位置Z_focusに向けて上方に再びカメラ118を移動させる。そしてフォーカス位置Z_focusを通り過ぎた位置Cにカメラ118を移動させる。このようにしてAFが開始される位置(位置C)まで、カメラ118の位置121が手動で設定される。
本実施形態では、この手動によるカメラ118の位置121の調整が行われている際に、取得部250により、カメラ118の位置121が移動可能範囲120内にて移動されながら撮影された複数の被写体画像260が取得される。この複数の被写体画像260は、手動により焦点位置が所定の範囲内にて移動されて撮影された複数の被写体画像に相当する。
これらの手動による調整時に撮影された複数の被写体画像260は、手動被写体画像群265に含まれる画像となる。図3及び図4に示す例では、Image0−Image5までの被写体画像260が、手動被写体画像群265に含まれる画像となる。
本実施形態では、手動被写体画像群265を対象に予測AFが実行される。予測AFでは、第1の算出部251により、手動被写体画像群265の各コントラスト情報をもとに、移動可能範囲120内の第1の合焦位置125が算出される(フォーカス・ロックオン)。
本実施形態では、撮像ユニット114から被写体画像260が入力されるたびに、常時予測AFが実行され、第1の合焦位置125が探索される。すなわち図4に示す例では、位置Aにて撮影されたImage0の被写体画像260が入力された時点で予測AFが開始される。そしてフォーカス位置Z_focusを超えて、位置Bにて撮影されたImage5の被写体画像260が入力された時点で、第1の合焦位置125が算出される。第1の合焦位置125の算出には、コントラストのピーク値等が用いられるが、この点は後述する。
なお位置Bから位置Cまでカメラ118が移動するときに撮影された被写体画像260に対しても、予測AFが継続して実行されてもよい。例えばフォーカス位置Z_focusを超えて撮影されたImage5からImage3までの被写体画像260が入力された時点で、第1の合焦位置125が再度算出されてもよい。このように被写体画像260の入力ごとに常時予測AFが実行されてもよいし、例えば第1の合焦位置が算出された時点で予測AFが終了されてもよい。常時予測AFが実行されることで、高い精度で第1の合焦位置を算出することが可能となる。一方、途中で予測AFを終了させることで、演算量の低減や処理時間の短縮を図ることが可能となる。
予測AFのために手動被写体画像群265が取得される際には、各画像260のコントラスト値が算出される。コントラスト値は、各画像260のコントラスト情報をもとに算出されるコントラストの評価値である。コントラスト値は、被写体画像260の各画素の輝度値をもとに算出されるが、その算出方法は限定されない。例えば隣接する画素の輝度値の差の総和によりコントラスト値が算出されてもよい。あるいは、輝度値の絶対値の総和や、被写体画像260の周波数成分をもとにコントラスト値が算出されてもよい。その他、任意の方法でコントラスト値は算出されてもよい。なお全ての画素の輝度値の情報が用いられず、間引いたデータが用いられてもよい。
算出されたコントラスト値をもとに、第1の合焦位置125が算出される。本実施形態では、各コントラスト値をもとに、移動可能範囲120内におけるコントラストのピーク値が算出される。そしてコントラストのピーク値に対応するカメラ118の位置(焦点位置)が第1の合焦位置として算出される。第1の合焦位置125は、おおよそのフォーカス位置Z_focusとみなすことができる。
コントラストのピーク値として、例えば最もコントラスト値が高い被写体画像260の、そのコントラスト値がそのまま用いられる。すなわち被写体画像260ごとに算出されたコントラスト値のうち、最も高いコントラスト値がコントラストのピーク値として算出される。この場合、最もコントラスト値が高い被写体画像260が撮影されたときのカメラ118の位置121が第1の合焦位置125として算出される。この算出の際に、最もコントラスト値が高い被写体画像260の前後に、コントラスト値が低い被写体画像260が撮影されたか否かが判定されてもよい。そのようなコントラスト値が低い被写体画像260が前後に撮影されたと判定された場合に、第1の合焦位置125が算出されてもよい。
図4に示す例では、Image0からImage5までの被写体画像260が取得された際に、Image4の被写体画像260のコントラスト値がコントラストのピーク値として算出される。そしてImage4の被写体画像260が撮影されたときのカメラ118の位置121が第1の合焦位置125として算出される。なおカメラ118が位置Bから位置Cまで移動する際に再度第1の合焦位置125が算出される際にも、同様の処理が実行されればよい。
あるいはコントラストのピーク値を算出するために、モデル関数へのフィッティングが実行されてもよい。モデル関数へのフィッティングにより、移動可能範囲120内の焦点位置とコントラスト値との関係を表す関数が算出される。そしてその関数のピーク値がコントラストのピーク値として算出されてもよい。モデル関数へのフィッティングとしては、例えば最小二乗法を用いたガウス関数のフィッティング等が挙げられるが、それに限定されない。
第1の合焦位置125が算出されると、算出された第1の合焦位置125を基準とした探索範囲として、予測サーチ範囲127が設定される。予測サーチ範囲127は、第1の合焦位置125を中心として上方及び下方に所定の大きさで設定される。すなわちZ軸方向の上向きをプラスとして、±Nmmの範囲が、予測サーチ範囲127として設定される。
予測サーチ範囲127の大きさ(Nmmの大きさ)は、焦点深度等をもとに適宜設定されてよい。例えば焦点深度が狭い光学系の場合、第1の合焦位置125から近い範囲に、フォーカス位置Z_focusがあると考えられる。従ってこの場合、予測サーチ範囲127は小さく設定される。例えば焦点深度が広い光学系の場合、フォーカス位置Z_focusは、比較的広い範囲内にあると考えらえるので、予測サーチ範囲127は大きく設定される。
このように本実施形態では、ユーザによる手動の調整中に、予測AFが実行される。そして第1の合焦位置125及び予測サーチ範囲127が設定される。ユーザの調整が終了し、カメラ118の位置121がAFが開始される位置まで移動されると、ユーザからのAFの指示が入力される。なお、被写体画像260のコントラスト値は常に監視されている状態で、AFの指示が入力されたときに、第1の合焦位置125及び予測サーチ範囲127が設定されてもよい。
図5に示すように、AFの指示が入力されると、駆動部253により、カメラ118の位置121が、予測サーチ範囲127の開始位置128に大きい速度である第1の速度Vmax1で移動される。予測サーチ範囲127の開始位置128とは、予測サーチ範囲127のいずれかの端点である。典型的には、AFの指示が入力された際のカメラ118の位置121に近い方の端点が、予測サーチ範囲127の開始位置128として設定される。
そして駆動部253により、カメラ118の位置121が、予測サーチ範囲127にて第1の速度よりも小さい第2の速度V1で移動される。小さい速度である第2の速度V1によりサーチを実行することで、高い精度でフォーカス位置Z_focusを算出することが可能となる。なお第1の速度Vmax1及び第2の速度V1は、焦点深度等をもとに、適宜設定されてよい。
予測サーチ範囲127のサーチのために、取得部253により、第1の合焦位置125を基準とした予測サーチ範囲127内にて、自動によりカメラ118の位置121が移動されながら撮影された複数の被写体画像270が取得される。この複数の被写体画像270は、第1の合焦位置を基準とした予測サーチ範囲127内にて、自動により焦点位置が移動されながら撮影された複数の被写体画像に相当する。
AF時に撮影された複数の被写体画像270は、自動被写体画像群275に含まれる画像となる。図5に示す例では、Image2−Image6までの被写体画像270が、自動被写体画像群275に含まれる画像となる。なおImage0及びImage1の被写体画像270もフォーカス位置Z_focusの算出に用いられてもよい。
第2の算出部252により、自動被写体画像群275の各コントラスト情報をもとに、予測サーチ範囲127内の第2の合焦位置130が算出される。すなわち自動被写体画像群275の各コントラスト情報をもとに、コントラストのピーク値が算出される。そしてコントラストのピーク値に対応するカメラ118の位置121が第2の合焦位置として算出される。この第2の合焦位置130が、フォーカス位置Z_focusとして算出される。
コントラスト値、及びピーク値の算出方法は限定されず、上記で説明した方法等が適宜用いられてよい。典型的には、第2の合焦位置130の算出には、モデル関数へのフィッティングが実行され、その関数のピーク値が用いられる。もちろん最もコントラスト値が高い被写体画像270が撮影されたカメラ118の位置121が、第2の合焦位置130として算出されてもよい。
図5に示す例では、Image6の被写体画像270が撮影されたときに、コントラストのピーク値が算出されている。そしてImage6の被写体画像270の撮影時にてカメラ118の移動が停止される。なおピーク値が算出された時点にて、カメラ118の移動が停止されてもよい。これにより処理時間を短縮することが可能である。例えはモデル関数のパラメータを算出するために必要な数のコントラスト値が算出された時点で、カメラ118の移動が停止される。
このように本実施形態に係るPC200では、手動によりカメラ118の位置(焦点位置)が移動されながら撮影された手動被写体画像群265の各コントラスト情報をもとに、第1の合焦位置125が算出される。そして第1の合焦位置125を基準とした予測サーチ範囲127内にて、自動によりカメラ118の位置121が移動されながら撮影された自動被写体画像群275をもとに、第2の合焦位置130が算出される。これにより自動でカメラ118の位置を移動させる走査において、無駄な走査の発生を十分に抑えることが可能となり、フォーカス位置Z_focusを高速で算出することが可能となる。
また第1の合焦位置125が算出され予測サーチ範囲127が定まった状態で、AFの指示が入力されるので、AFに費やされる時間を十分に短くすることが可能となる。
またAFにおいては、予測サーチ範囲127の開始位置128まで高速にカメラ118が移動され、低速で予測サーチ範囲127内の自動的な走査が実行される。これによりフォーカス位置Z_focusを高速で又高い精度で算出することが可能となる。また予測サーチ範囲127の開始位置128が算出されるので、ユーザからの指示をもとにしたAFが行われる際に、最初にカメラ118を移動させる方向が決定する。これによりフォーカス位置Z_focusが存在しない方向に最初にカメラ118が移動してしまうことを十分に抑えることができる。これによっても高速なフォーカス位置の算出が可能となっている。
なお第1の合焦位置125を基準とした予測サーチ範囲127として、第1の合焦位置125を中心とした所定の大きさの範囲ではなくて、予測サーチ範囲127の開始位置128からサーチ範囲122の反対側の端点(図5の例では下端131)までの範囲が設定されてもよい。
すなわち、まず第1の合焦位置125を中心とした所定の大きさの範囲(本実施形態における予測サーチ範囲127に相当)が設定され、いずれかの端点が予測サーチ範囲127の開始位置128として設定される。そしてその開始位置128から、サーチ範囲122の反対側の端点までの範囲が予測サーチ範囲として設定されてもよい。これによりさらに広い範囲を操作することが可能となり、高い精度でのフォーカス位置Z_focusが算出可能となる。この場合でも、最初にカメラ118を移動させる方向が定まっているので、フォーカス位置Z_focusを高速に算出することが可能である。また多くの場合、サーチ範囲122の反対側の端点までカメラ118を移動させる前に、第1の合焦位置125の近くで、フォーカス位置Z_focusは算出される。
図6及び図7を参照して、予測サーチ範囲127内にて、フォーカス位置Z_focusが発見されない場合について説明する。例えば予測サーチ範囲127の設定後、AFの指示が入力されるまでに、ワーク3の交換や移動が行われたとする。または照明強度の変更等、撮影条件が変更されたとする。このような場合には、フォーカス位置Z_focusも異なってくるので、変更前に設定された予測サーチ範囲127に、フォーカス位置Z_focusが存在しなくなってしまう。
図6に示すように、AFの指示が入力されると、予測サーチ範囲127の開始位置128まで、第1の速度Vmax1で、カメラ118が移動する(Image0及びImage1の被写体画像270が撮影される)。そして予測サーチ範囲127内を、第2の速度V1にてカメラ118が移動する(Image2−Image6の被写体画像270が撮影される)。この予測サーチ範囲127にはフォーカス位置Z_focusがないので、コントラストのピーク値は算出されない。例えばコントラスト値の算出のための閾値が適宜設定されており、その閾値よりも大きいコントラスト値が算出されない場合には、ピーク値は算出されない。
予測サーチ範囲127内にてピーク値が算出されないので、第2の速度V1のまま、サーチ範囲127の下端131までサーチが実行される。図6に示す例では、その範囲にもフォーカス位置Z_focusがないので、カメラ118は下端131まで移動した後停止する。なお予測サーチ範囲127の下端にてカメラ118が停止されてもよいが、サーチ範囲122の下端131までそのままカメラ118を移動させることで、効率的にフォーカス位置Z_focusを算出することが可能となる。
図7に示すように、サーチが不調に終わった場合には、予測サーチ範囲127の開始位置128まで、第1の速度Vmax1でカメラ118が移動する。そしてその位置からサーチ範囲122の上端132まで、第2の速度V1でカメラが移動する。そしてその際に撮影されたImage12−Image24までの被写体画像271の各コントラスト情報をもとに、コントラストのピーク値が算出される。
図7に示す例では、Image24の被写体画像271が撮影された時点で、コントラストのピーク値が算出される。そしてフォーカス位置Z_focusが算出される。処理時間の短縮のために、カメラ118がサーチ範囲122の上端132に到着する前に、割り込みで移動が停止される。このように予測サーチ範囲127でのサーチが不調に終わった場合でも、AFを成功させることが可能である。なお、手動の調整後にワークを変更して、AFを指示するといったことはほとんどないと考えられるので、ここで説明したようなケースは非常に少ない。
予測サーチ範囲127のサーチが不調とならないように、本実施形態では、判定部254により、第1の合焦位置125の有効性が判定される。例えば、第1の合焦位置125の算出から所定の時間が経過するまでに、AFの指示が入力されない場合に、第1の合焦位置125は無効と判定される。上記したようにフォーカス位置Z_focusが変わってしまうのは、第1の合焦位置125が算出された後に、ワーク3の交換等が行われる場合が多い。そのような変更等が行われない場合は、ユーザは手動でカメラ118の位置121を調整した後に、すみやかにAFの指示を入力すると考えられる。この点を考慮して、第1の合焦位置125の算出から所定の時間が経過した場合は、ワーク3等の変更等が行われる可能性が高いと判断し、その場合は第1の合焦位置125は無効とされる。これにより無駄なサーチを回避することが可能となる。なお所定の時間は適宜設定されてよい。
この所定の時間の設定について、図8に示すように、コントラストのピーク値133に基づいた処理が実行されてもよい。すなわちコントラストピーク値133が所定の割合で減衰され、その減衰されたピーク値133が所定の閾値としてのロックオン閾値134よりも小さくなったときに、第1の合焦位置125が無効と判定される。コントラストピーク値133は、フィッティングされた関数のピーク値でもよいし、最も大きいコントラスト値でもよい。
すなわち図8に示す例では、ピーク値133がロックオン閾値134よりも小さくなるまでの時間が、所定の時間として設定されている。所定の割合、及びロックオン閾値134は任意に設定されてよい。例えは所定の割合として、フレームレート等が採用されてよい。またロックオン閾値134として、ピーク値133の50%の値等、ピーク値133を基準として値が採用されてもよい。
所定の割合で減衰するピーク値133が、第1の合焦位置125の信頼度を表すパラメータとして用いられてもよい。例えばロックオン閾値134よりも高いピーク値133の中で、その値の大きさをもとに、第1の合焦位置125の信頼度が判定される。そして第1の合焦位置125の信頼度を用いた処理が実行されてもよい。例えば信頼度の情報がユーザに報知され、AFの実行の有無を確認するGUI(Graphical User Interface)等がディスプレイ225に表示されてもよい。
第1の合焦位置125が無効となった後は、再び手動による調整時において、カメラ118がフォーカス位置Z_focusを通り過ぎたときに、再度第1の合焦位置125及び予測サーチ範囲127が設定される。
次に、手動被写体画像群265の各コントラスト情報をもとにした、第1の合焦位置125の算出について、詳細な処理例を説明する。図9及び図10は、その処理例の概要を説明するための写真及び図である。
図9Aの写真及び図9Bの図に示すように、本実施形態では、被写体画像260を分割する複数の分割領域280が設定される。その複数の分割領域280の各コントラスト情報をもとに、分割領域280ごとの第1の合焦位置である分割合焦位置等が算出される。そして分割領域280ごとに、分割合焦位置等を含む情報が記憶部に記憶される。被写体画像260全体の第1の合焦位置125が算出される際には、当該分割領域280ごとに記憶された情報(以下、分割領域情報と記載する)が適宜用いられる。
例えば図9に示す例では、分割領域280を示すセル281内に、以下の内容を表す分割領域情報が表示されている。
Y…現在のカメラのZ位置(焦点位置)での分割領域280の明るさ(分割領域280内の全画素の輝度平均値であり、例えば8bitの256諧調で表される)
C…現在のカメラのZ位置(焦点位置)での分割領域280のコントラスト値
Cp…分割領域280における現在までの最大のコントラスト値
Zp…最大コントラスト値Cpの分割領域280が撮像されたカメラのZ位置(焦点位置)。画像が撮影されたときのカメラのZ位置であり、段落[0110]に示す数式においてZcで表される値が用いられる。
W…図10に示す基準領域282に重なる範囲の大きさによる重み付け係数(後に説明する)
例えばこれらの情報が分割領域情報として記憶される。これらに限定されず他の情報が分割領域情報として記憶されてよい(図12参照)。
図9の中では、分割領域280を表すセル281が表示されていない領域283がある。この領域283は、上記した分割領域情報を算出することが不可能な領域である。例えばコントラスト値が所定の閾値(例えば図8に示すロックオン閾値)よりも低い領域、あるいはZpを通り過ぎておらずCp等が確定していない領域等が該当する。図9Bにおいて斜線が記載されていない分割領域280aは、図9Aでは赤色のセルとして表示される。この分割領域280aは、分割合焦位置が算出された領域であり、上記のZpが分割合焦位置として確定した領域である。
図9Bの右斜め上に伸びる斜線が記載され分割領域280bは、図9Aでは黄色のセルとして表示される。この分割領域280bは、現在のZ位置より上には分割合焦位置は存在しないと判定された領域である。すなわちZpよりも上には分割合焦位置は存在しないが、Zpよりも下には分割合焦位置が存在する可能性があると判定された領域である。従ってこの領域280bは、分割合焦位置が確定していない領域となる。
図9Bの左斜め上に伸びる斜線が記載され分割領域280cは、図9Aでは青色のセルとして表示される。この分割領域280cは、現在のZ位置より下には分割合焦位置は存在しないと判定された領域である。すなわちZpよりも下には分割合焦位置は存在しないが、Zpよりも上には分割合焦位置が存在する可能性があると判定された領域である。従ってこの領域280cは、分割合焦位置が確定していない領域となる。
被写体画像260全体の第1の合焦位置125が算出される際には、分割合焦位置が確定した赤色のセル(分割領域280a)の情報が用いられる。なお色の種類は限定されない。
図10に示すように、被写体画像260全体の第1の合焦位置125が算出される際には、まず第1の合焦位置125の算出の基準となる被写体画像260内の基準領域282が設定される。典型的には、基準領域282は、被写体画像260の中央に所定のサイズで設定される。この位置に限られず、基準領域282は、カメラ視野内の任意の位置に任意のサイズで設定されてよい。この基準領域282と重なり合う分割領域280が、算出対象領域284として設定される。これら算出対象領域284ごとの、分割合焦位置の情報を含む分割領域情報をもとに、被写体画像260全体の第1の合焦位置125が算出される。
この際に、算出対象領域284の基準領域282に重なる領域の大きさと、算出対象領域284のコントラスト情報である最大コントラスト値Cpとをもとに、重み付けが行われる。これにより高い精度で第1の合焦位置125を算出することが可能となる。上記した重み付け係数のWは、算出対象領域284となるセル全体が基準領域282に含まれる場合は、1.0となる。セルの一部が基準領域282に含まれる場合は、0.0から1.0までの間の値になる。セルが全く含まれない、すなわち算出対象領域284とならない分割領域280に対しては、Wは0.0となる。Wは、重み付け係数が正しく計算されているかをデバッグするための表示機能として利用可能である。
図9及び図10に示す分割領域280及び分割領域情報は、内部処理のために用いられる情報である。従って実際には、ユーザが画像を確認するためのディスプレイには、分割領域280を表すセルや分割領域情報は表示されない。もちろんユーザの操作時にこれらの情報が表示されてもよいが、典型的にはデバッグ用の情報として利用される。
手動による調整時には、分割領域280ごとの分割領域情報が更新され、AFの指示が入力される前に、第1の合焦位置125及び予測サーチ範囲127が予め設定される。あるいは、手動による調整時に分割領域情報が更新され、AFの指示が入力された際に、これらの情報をもとに第1の合焦位置125及び予測サーチ範囲127が設定されてもよい。いずれにしてもAFの開始において、カメラの移動方向が設定され、高速にフォーカス位置Z_focusが算出可能となる。
図11は、複数の分割領域280の設定を説明するための図である。図11に示すように、記憶部には、マシン座標系とコントラストマップ座標系とが記憶されている。マシン座標系とは、ステージ112及び撮像ユニット114の位置を示すための座標系であり、このマシン座標系をもとに撮影位置285の座標が算出される。マシン座標系は、撮影位置285が移動可能な範囲を含む範囲で設定される。マシン座標系の座標の単位はmmである。
このマシン座標系と、原点、X軸、及びY軸を同じくして、コントラストマップ座標系が設定される。図11に示すように、マシン座標系が設定される範囲286が格子状に分割される。この分割された複数の領域287の位置座標を示す座標系として、コントラストマップ座標系が設定される。
このコントラストマップ座標系を基準としてコントラストマップ288が設定される。本実施形態では、コントラストマップ288は、撮影範囲(カメラの視野)289よりも大きい範囲で、撮影範囲288を含む位置に設定される。コントラストマップ288は、本実施形態において、算出用マップとして機能する。
このコントラストマップ288の複数の領域290に対応して被写体画像260(撮影範囲289内の画像)を分割するように分割領域280が設定される。図11では、グレーの色が付された部分が複数の分割領域280となる(図9等と比べて分割領域の数は少なく図示されている)。従ってコントラストマップ288の複数の領域290の大きさ、すなわちコントラストマップ座標系の複数の領域287の大きさは、分割領域280の大きさをどの程度に設定するかにより定められる。例えは分割領域280の大きさを、n×n(pixel)とする場合、その大きさに基づいて、コントラストマップ座標系及びコントラストマップ288が設定される。
本実施形態では、撮影される被写体画像260のピクセルサイズが既知であるので、キャリブレーションによりピクセルサイズから分割領域280の1辺の大きさがmm単位で算出可能である。この算出されたmm単位の大きさを用いて、コントラストマップ座標系の単位もmmで設定されている。本実施形態では、被写体画像260の大きさは、2048×1536(pixel)であり、分割領域280のセル281大きさは、128×128(pixel)である。これらがmm単位のマシン座標系にマッピングされている。
撮影範囲289よりも大きい範囲に設定されるコントラストマップ288の大きさは限定されない。本実施形態では、撮影範囲289に含まれる複数の分割領域280(図11では7×5個のセル)を8方向に同じ大きさだけ拡大した21×15のセル数からなるコントラストマップ288が設定される。これに限定されず、任意に設定されてよい。
このように記憶部に記憶されているコントラストマップ288を基準として、複数の分割領域280が設定される。複数の分割領域280ごとの上記した分割領域情報は、例えばPC200に被写体画像260が転送されるたびに更新される。例えはXYZ軸方向においてカメラの位置が移動されるために分割領域情報が更新される。
図12は、分割領域情報を説明するための図である。本実施形態では、以下に示す分割領域情報が記憶される。
Cp…最大コントラスト値
Zp…最大コントラストのZ位置
Cu…現在までに手動で移動された範囲の最上端のコントラスト値
Zu…現在までに手動で移動された範囲の最上端のZ位置
Cl…現在までに手動で移動された範囲の最下端のコントラスト値
Zl…現在までに手動で移動された範囲の最下端のZ位置
Cc…現在画像のコントラスト値(段落[0092]のコントラスト値を表すCに相当)
Zc…現在画像のZ位置
Bc…現在画像の明るさ(段落[0092]の明るさを表すYに相当)
Cb…前の画像のコントラスト値
Zb…前の画像のZ位置
Bb…前の画像の明るさ
W…重み付け係数
なお現在画像のZ位置Zcは、現在の画像転送が完了したZ位置Zco、一つ前の画像転送が完了したZ位置Zpo、画像のフレーム転送遅延時間tdelay、画像転送間隔tframe(=1/フレームレート)を用いて以下の内挿計算により算出可能である。なおこれに限定されるわけではない。またコントラスト等の計算には、画像の間引きデータが使用されてもよい。
Zc=Zco−(Zco−Zpo)×tdelay/tframe
図13は、分割領域情報の更新の一例を示すフローチャートである。まずコントラストマップ288が初期化される(ステップ101)。次の画像が転送されるまで待機する(ステップ102)。マシン座標系をもとに撮影位置285のXYZ座標が取得される(ステップ103)。例えばリニアスケールから座標値が読み出される。
X軸及びY軸が停止しているか否か判定される。すなわちX座標値とY座標値とが移動しているか否かが判定される(ステップ104)。X座標値及びY座標値が移動している場合は(ステップ104のNo)、被写体画像260は流れた画像となり正確なコントラスト値が算出できないので、処理がスキップされてステップ102に戻る。
X座標値及びY座標値が移動していない場合には(ステップ104のYes)、XY平面上におけるカメラの位置とピクセルサイズの情報をもとに、コントラストマップ288が設定される(ステップ105)。カメラの視野289に含まれる分割領域280のコントラスト値が計算される(ステップ106)。
各セルの分割領域情報が以下のように更新される(ステップ107)。
もしCc>Cpなら、Cp=Cc、Zp=Zc…最大コントラスト値を更新
もしZc>Zuなら、Cu=Cc、Zu=Zc…最上端のコントラスト値を更新
もしZc>Zlなら、Cl=Cc、Zl=Zc…最下端のコントラスト値を更新
⇒Cp、Zp、Cu、Zu、Cl、Zlが確定したら、分割領域280ごとの第1の合焦位置である分割合焦位置が算出される。
この際、以下のような判定が実行されてもよい。
もしZpが現在位置Zcより下にあり、かつ、ClがCpより小さい場合は、フォーカス位置はZpの近くにあるとして、Zpを分割合焦位置として算出する(赤色のセルが表示される)。
もしZpが現在位置Zcより上にあり、かつ、CuがCpより小さい場合は、フォーカス位置はZpの近くにあるとして、Zpを分割合焦位置として算出する(赤色のセルが表示される)。
もしCuとCfが同じ、かつ、CuがClより大きい場合は、フォーカス位置はZuよりも上側にあるとして、分割合焦位置の確定が保留される(青色のセルが表示される)。
もしClとCfが同じ、かつ、ClがCuより大きい場合は、フォーカス位置はZlよりも下側にあるとして、分割合焦位置の確定が保留される(黄色のセルが表示される)。
フローチャートに戻り、ステップ108では、前後の画像の明るさの差である、BcとBbとの差が算出される。このBcとBbとの差が所定の閾値よりも大きい場合は、該当セルの情報がリセット(初期化)される(ステップ109)。すなわち画像(セル内)の明るいさが急激に変化した場合は、ワーク3の交換等の大きな変化が発生したと判断される。そして以前のコントラスト情報は使えなくなったと判断されリセットが実行される。分割合焦位置が確定されている場合は、そのロックオンも解除される。
BcとBbとの差が所定の閾値以下の場合は、各セルのCp及びZpが時間減少率だけ小さくされる(ステップ110)。これは、図8に示す処理に準じるものである。ステップ110の処理が終了すると、ステップ102に戻る。すなわちプログラムの起動時から終了まで、ループ処理が継続される。
次に、図14−図16を参照して、撮影位置285の移動にともなう処理について説明する。例えば、手動による調整時において、ワークをXY平面方向に移動させて画面中央に移動させたり、高さ調整をしたりする操作が入力される。例えはこのような調整時や、ターゲットの探索時に、XY平面方向において撮影位置285が移動される。
例えば図11に示す応対から、図14に示す状態まで、撮影位置285が載置面に沿う2次元内にて移動されたとする。そうすると、撮影位置285の座標情報と、ピクセルサイズの情報とをもとに、コントラストマップ288の設定位置が、撮影位置285の移動に応じて移動される(図14の矢印A及びB参照)。
図15は、撮影位置285が移動された後の状態を示す図である。図15において、濃いグレーの色で表現されている移動後の分割領域280において、分割領域280ごとの分割領域情報が更新される。移動前の分割領域280’は、薄いグレーの色で表現された部分280’aと、斜線が記載された部分280’bとからなる。この移動前の分割領域280’は、撮影範囲289から外れるので、これらの分割領域情報は更新されない。
移動前の分割領域280’のうち、薄いグレーの色で表現された部分280’aは、移動後のコントラストマップ288内に含まれる。この撮影範囲289から外れた領域であるが、移動後のコントラストマップ288に含まれる領域280’aは、記憶保持領域291となる。記憶保持領域291では、過去に分割領域280として設定された際に更新された分割領域情報が保持される。一方、斜線が記載された部分280’bは、移動後のコントラストマップ288からも外れるので、この部分に関しては、過去に更新された分割領域情報は削除される。
図15に示す状態から、図16に示す状態まで、撮影位置285が移動されたとする。濃いグレーの色で表現された分割領域280の各セル281について分割領域情報が更新される。また移動前の分割領域に相当するセルのうち、移動後のコントラストマップに含まる記憶保持領域291について分割領域情報が保持される。分割領域280の分割領域情報が更新される際には、移動前に記憶が保持されていた、記憶保持領域291の分割領域情報が適宜参照される。
すなわち図16に示す分割領域280のうち、図15に示す移動時にて設定された記憶保持領域291と重なる部分292と、図16に示す移動時にて設定された記憶保持領域291と重なる部分293とについては、過去に記憶された分割領域情報が参照されて、分割領域情報が更新される。これにより演算に係る時間の短縮、及び演算量の低減を図ることが可能となる。なお、図15で斜線が記載された部分280’bの一度削除された分割領域情報が復活されるということはない。
このように本実施形態では、撮影範囲289よりも大きい範囲でコントラストマップ288が設定され、その設定位置が撮影位置285の移動に応じて移動される。これにより撮影位置285が移動された場合でも、その位置におけるフォーカス位置Z_focusを高速で算出することが可能となる。すなわち撮影位置285の移動可能範囲の任意の位置において、高速にフォーカス位置Z_focusを算出することが可能となる。
また設定されたコントラストマップ288の領域290(セル)ごとに、当該領域に対応する被写体画像260の分割領域280の、コントラスト情報及び分割合焦位置の情報を含む分割領域情報が記憶される。そして撮影位置285が移動された場合には、移動前に記憶されたコントラストマップ288の領域290ごとの分割領域情報が参照されて、移動後の分割領域280の分割領域情報が更新される。この結果、短い時間で移動後の分割領域280の分割合焦位置が算出可能となる。
図17は、分割領域情報を用いた第1の合焦位置125の算出例を説明するための図である。図17に示すように、被写体画像260の中央に基準領域282が設定される。そして基準領域282と重なり合う算出対象領域284が設定される。算出対象領域284の分割領域情報を用いて、被写体画像260全体の最大コントラスト値(コントラストのピーク値)Cpと、それに対応した第1の合焦位置Zpが以下の式にて算出される。
Cp=Σ(Cpi,j×Si,j)/ΣSi,j
Zp=Σ(Zpi,j×Cpi,j×Si,j)/Σ(Cpi,j×Si,j)
なお、パラメータは以下の通りである。
(Cpi,j、Zpi,j)…算出対象領域284の各(最大コントラスト値、最大コントラストのZ値)
Si,j…基準領域282と算出対象領域284とが重なる領域の大きさ
このように、算出対象領域284の基準領域282に重なる領域の大きさと、算出対象領域284のコントラスト情報である最大コントラスト値Cpとをもとに、重み付けが行われる。これにより高い精度で第1の合焦位置125を算出することが可能となる。なお、上記の式と同様の式にて、被写体画像260全体のCu、Cl、Zu、及びZlが算出されて、第1の合焦位置125の確定が判定されてもよい(段落[0115]参照)。
ここで本実施形態に係るAFと、比較例として挙げるAFとを比較する。比較例として挙げるAFでは、手動による調整の後にAFの指示が入力される。このAFの指示が入力された場合にカメラの移動方向が一方向に定められている。例えばサーチ範囲の上方向に向かってカメラが移動して、コントラストピークが探索される。もちろん最初のカメラの移動方向がサーチ範囲の下方向に設定されてもよい。
最初の移動によりコントラストピークが見つかればサーチは中断され、そのコントラストピークに対応したフォーカス位置にカメラが移動される。コントラストピークが見つからない場合は、サーチ範囲の上端までカメラは移動される。その際に、コントラスト値が所定の閾値よりも小さくなると、それより先にコントラストピークは存在しないと判断され、上方向のサーチは停止される。
サーチの停止後は、下方向に向かってコントラストピークが探索される。コントラストピークが見つかればフォーカス位置にカメラが移動される。コントラストピークが見つからない場合は、サーチ範囲内にフォーカス位置が存在しないので、AFは失敗する。
図18及び19は、比較例として挙げるAFを説明するための図である。図18に示すように、サーチ範囲922の下方部分にフォーカス位置Z_focusが存在するとする。そしてAFの指示をもとに、サーチ範囲922の中心Oから上向きに低い速度V2にてサーチが開始されるとする。この場合、図18に示すように、カメラ918がサーチ範囲922の上端932に移動するまでコントラストピークは発見されない。
そうすると図19に示すように、サーチ範囲922の上端932から中心Oまで高速でる速度Vmax2でカメラ918戻される。そして今度はサーチ範囲922の下端931に向かって速度V2にてサーチが実行される。このサーチでImage22の被写体画像970が取得されたときに、ようやくコントラストピークが発見される。そしてカメラ918がフォーカス位置Z_focusに移動される。
すなわち従来のAFでは、図18に示すように、最初のサーチが無駄となってしまい、フォーカス位置Z_focusの算出に長い時間が費やされてしまう。すなわちAFの時間が長くなってしまう。例えば焦点深度が狭い光学系において、手動の調整の操作性を向上させるためにサーチ範囲を広くした場合等に、図18及び図19で示すようなサーチの無駄が発生しやすい。フォーカス位置Z_focusが、最初の移動方向とは反対側の端部に近い場合に存在する場合には、走査距離はサーチ範囲922の大きさの1.5倍ほどにもなってしまう。
図20−図23は、本実施形態に係るAFを実行した際の処理時間の一例を示すグラフである。各図のAに示すグラフは、時間とカメラのZ位置との関係を表すグラフである。各図のB及びCに示すグラフは、カメラのZ位置とコントラスト値との関係を表すグラフである(コントラスト値は相対値)。グラフ中の説明については以下の通りである。
「1st search」は、最初のサーチの全移動範囲である。すなわちAF開始位置から予測サーチ範囲の開始位置までの移動、及びそこからの予測サーチ範囲内の移動を含む、第2の合焦位置が算出されるまでの全ての移動範囲である。図20−図23のカメラのZ位置について、DからIまでのアルファベットを符号として用いて説明すると、位置Dから位置Eまでのサーチが「1st search」となる(図23については位置E’を経由)。
「1st fit range」は、コントラストカーブ(Fitted curve)のモデル式のパラメータを求めるために、各被写体画像のコントラスト値を最小二乗法で当てはめる範囲である。例えば所定の閾値よりも大きいコントラスト値が用いられる。図20−図23では、位置Fから位置Eまでの範囲が「1st fit range」となる。なお位置Fは、予測サーチ範囲の開始位置と略等しい位置ではあるが、必ずしも同じ位置とは限られない。
「2nd search」は、2回目のサーチの全移動範囲である。例えば1回目のサーチで第2の合焦位置が算出される。さらに算出された第2の合焦位置の近傍の範囲に対して、2回目のサーチが実行される。これにより高い精度でフォーカス位置を算出することが可能となる。例えば観察用の高速モードとして1回のみのサーチが実行され、測定用の高精度モードとして2回のサーチが実行される。このようにAFのモードによりサーチ回数が適宜選択されてもよい。図22及び図23において、位置Gから位置Hまでの範囲が「2nd search」となる。
「2nd fit range」は、2回目のサーチにおいて、最小二乗法による当てはめが実行される範囲である。図22及び図23において、位置Iから位置Hまでの範囲が「2nd fit range」となる。「Go to the target」は、カメラをフォーカス位置まで移動させる処理である。なお各グラフにおいて、Z=0mmとなる位置がフォーカス位置となっている。
図20は、フォーカス位置の上方からAFが開始される場合の図である。AFの指示をもとに、フォーカス位置より上のZ=約+1.8mmからAFが開始される。図20A及びBに示すように、予測サーチ範囲の開始位置まで高速でカメラが移動され、予測サーチ範囲内で低速のサーチが実行される。図20Cに示すように、コントラストカーブ400が算出され、それをもとに第2の合焦位置がフォーカス位置として算出される。
図21は、フォーカス位置の下方からAFが開始される場合の図である。AFの指示をもとに、フォーカス位置より下の上のZ=約−1.8mmからAFが開始される。図21A及びBに示すように、予測サーチ範囲の開始位置まで高速でカメラが移動され、予測サーチ範囲内で低速のサーチが実行される。図21Cに示すように、コントラストカーブ400が算出され、それをもとに第2の合焦位置がフォーカス位置として算出される。
図20A及び図21Aのグラフに示すように、いずれの場合も約1.1秒程度の短い時間で、フォーカス位置にカメラを移動させることが可能となっている。
図22及び図23は、2回目のサーチが実行される場合の図である。図22では、フォーカス位置の上方からAFが開始されている。フォーカス位置より上のZ=約+1.8mmから1回目のサーチが実行されて、第2の合焦位置が算出されている。この第2の合焦位置は、2回目のサーチの基準となる仮フォーカス位置として扱われる。
図22Cに示すように、位置Gから位置Hまでの「2nd search」にて、2回目のサーチが実行される。そして位置Iから位置Hまでの「2nd fit range」にて、例えは所定の閾値よりも大きいコントラスト値が用いられてコントラストカーブ450が算出される。このコントラストカーブ450をもとにフォーカス位置が算出される。なおfit rangeを広くすればAFの精度は向上するが、それだけ多くのデータを取る必要があるのでAFの時間は長くなる。この点を考慮しながら、fit rangeは適宜設定されてよい。
図23では、フォーカス位置の下方からAFが開始されている。フォーカス位置より下のZ=約−1.8mmから1回目のサーチが実行されて、第2の合焦位置が算出されている。この第2の合焦位置は、2回目のサーチの基準となる仮フォーカス位置として扱われる。
なお図23に示す例では、第2の合焦位置を算出するためのサーチ方向が上方から下方の方向に設定されている。すなわち予測サーチ範囲の開始位置として、予測サーチ範囲の上端が設定される。AFが開始されるとZ=約−1.8mmの位置から予測サーチ範囲の上端にカメラが高速で移動される。そして上方から下方にかけて予測サーチ範囲がサーチされて、第2の合焦位置が算出される。図23Bに示すように、カメラがまず位置Dから位置E’まで移動される。そして位置E’を位置Fとして、そこから位置Eまでサーチが実行される。
このようにサーチ方向を一方向に設定することで、高い精度で第2の合焦位置を算出することが可能となる。図20及び図21の観察用の高速モードと同様に、どちらの方向からでもサーチさせる場合は、精度は若干低下するが、逆方向に動かなくてよい分だけAFが速くなる。この点を考慮しながら、サーチ方向を一方向に設定するか否かが選択されてよい。
図23Cに示すように、位置Gから位置Hまでの「2nd search」にて、2回目のサーチが実行される。そして位置Iから位置Hまでの「2nd fit range」にて、例えは所定の閾値よりも大きいコントラスト値が用いられてコントラストカーブ450が算出される。このコントラストカーブ450をもとにフォーカス位置が算出される。
図22Aに示す例では、約1.6秒程度の短い時間で、フォーカス位置にカメラを移動させることが可能となっている。また図23Aに示す例では、約1.9秒程度の短い時間で、フォーカス位置にカメラを移動させることが可能となっている。このように2回目のサーチが実行される場合でも、本技術に係るAFによれば、2秒以内でフォーカス位置にカメラを移動させることが可能である。もちろん処理時間は種々の条件により変わってくる。
図24は、比較例として挙げるAFの処理時間を示すグラフである。図24Aは、Z=約+1.8mmの位置からAFが開始され、1回のサーチが実行された場合の図である。図24Aに示す例は、図18及び図19に示すAFの動作に対応するものである。すなわち位置Jからサーチ範囲の上端となる位置Kまでサーチが実行される。その範囲ではコントラストピークが発見されず、位置Jまで高速にカメラが戻される。そして位置Lまでサーチが実行されてフォーカス位置が算出されている。図24Aに示すように、カメラがフォーカス位置まで移動されるまでに、約2.3秒かかっている。図20に示す本実施形態に係るAFと比べると、約1.2秒の差があり、約2.1倍の高速化が実現されている。
図24Bは、Z=約−1.8mmの位置からAFが開始され、1回のサーチが実行された場合の図である。開始位置である位置Jから低速のサーチが実行されるので、AFが完了するまでに約1.4秒かかっている。図21に示す本実施形態に係るAFと比べると、約0.3秒の差があり、約1.3倍の高速化が実現されている。このように最初のサーチ方向にフォーカス位置が存在する場合でも、比較例として挙げるAFよりも高速にフォーカス位置を算出することが可能となる。
図24Cは、Z=約+1.8mmの位置からAFが開始され、2回のサーチが実行された場合の図である。AFが完了するまでに約3.4秒かかっており、図22に示す本実施形態に係るAFと比べると、約1.8秒の差がある。すなわち約2.1倍の高速化が実現されている。なお図24Cに示す例では、高速にカメラを移動させる動作が実行されていない。例えば図24Aに示すように位置Kから位置Jまで高速にカメラが移動されるとする。この場合でも、本技術を用いることで十分に処理時間の短縮が実現される。
図24Dは、Z=約−1.8mmの位置からAFが開始され、2回のサーチが実行された場合の図である。なお図23Aに示すのと同様に、1回目のサーチ方向が上方から下方の方向に設定されている。AFが完了するまでに約2.2秒かかっており、図23に示す本実施形態に係るAFと比べると、約0.3秒の差がある。すなわち約1.2倍の高速化が実現されている。
例えば画像測定機としてデジタル顕微鏡が用いられるとする。光学顕微鏡の対物レンズは焦点深度が狭いため、コントラストピーク(フォーカス位置)から少しでも外れるとコントラストは小さくなる。このことは高倍率になるほど顕著になる。このような焦点深度が狭い光学系においては、サーチ速度を遅くすることが必要である。一方、AFを使いやすくするためには、サーチ範囲を大きくすることが必要となる。サーチ速度が遅く、サーチ範囲が大きくなると、AFの実行時間が長くなってしまう。
本実施形態に係る画像測定装置では、AF実行前の準備作業として、ユーザがカメラのZ位置を調節する過程で、フォーカス位置を通り過ぎたとき等に、プログラムはラフなフォーカス位置を予測する。すなわちAF処理に入る前から画像のコントラストが監視されることで、ラフな焦点位置として第1の合焦位置があらかじめ取得される。AF実行時には、予測された第1の合焦位置の近くまでカメラが高速で移動され、その後低速移動で第2の合焦位置が高精度にサーチされる。これにより高速かつ高精度なAFが実行可能となる。
またプログラムは、カメラ視野を格子状に細分化したコントラストマップを持ち、AF以外の時も格子内のコントラストが最大になるZ位置を探し続ける。XYZ軸スケールの位置情報と被写体画像のピクセルサイズは既知であり、ステージ及び撮像ユニットが移動すると、プログラム内部のコントラストマップも連動して移動される。XYZ軸スケールの位置情報から、カメラ視野外の領域までカバーしたコントラストマップを持つことで、任意の位置で高速・高精度にAFを実行することが可能となる。すなわち視野の任意の位置で高速・高精度のAFが可能になり、操作性が大幅に向上する。また高精度でありながら、使いやすさと時間短縮の両立が実現される。
また本発明は、ソフトウェアのアルゴリズムのみで対応可能であり、特別なハードウェアは不要なので、コストアップなしに性能を向上させることができる。この結果、コストアップなしに、従来のAF精度を維持したまま高速化を図ることが可能となる。
また本発明によれば、以下のような効果を得ることが可能となる。なおこれらの効果が全て得られるということではなく、条件等により以下の効果のいずれかが得られるということである。
見たいところに素早くピント合わせし、ストレスのない観察や測定が可能。
XYZ軸リニアスケールとの組合せにより、高精度三次元測定をさらにスピードアップさせることが可能。
広いフォーカスサーチ範囲のどの位置からでも高速AFを実行することが可能。
光学顕微鏡のフォーカス合せの使い勝手をさらに向上させることが可能。
焦点深度が狭い高倍対物レンズになるほど、フォーカスの合せ易さを体感することが可能。
電動ステージの顕微鏡光学系とカメラのみの安価なシステム構成で本発明を実現することが可能。
高速AF用の高価なオプションは不要。
過去出荷したシステムにおいても、ソフトウェアのバージョンアップのみでAFの高速化を実現することが可能。
<その他の実施形態>
本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。
例えば図11に示すコントラストマップ288の大きさについて、撮影位置285の移動可能範囲の全体、すなわちコントラストマップ座標系全体にコントラストマップ288が設定されてもよい。これにより撮影位置285の移動にともなうコントラストマップ288の移動処理が不要となる。一方、上記実施形態のようにコントラストマップ288の大きさを、座標系の一部分の大きさとすることで、PC200のメモリにかかる負担等を軽減させることが可能となる。
なお本発明に係る予測AFの実行の有無にかかわらず、本発明に係るコントラストマップを用いたAFを実行可能な情報処理装置が、本発明の実施形態に係る情報処理装置として用いられてもよい。例えはそのような情報処理装置では、所定のプログラムに従って動作するCPUにより、取得部、記憶部、設定部、及び算出部が実現される。
取得部により、Z軸方向(合焦軸方向)の移動可能範囲にて焦点位置が移動されながら撮影された複数の被写体画像が取得される。記憶部に記憶された算出用マップとしてのコントラストマップが用いられて、設定部により、被写体画像を分割する複数の分割領域が設定される。算出部により、分割領域ごとの合焦位置である分割合焦位置が算出され、これら分割合焦位置の情報をもとに、被写体画像の移動可能範囲内の合焦位置(フォーカス位置)が算出される。
例えば比較例として挙げたAFにおいて、コントラストマップが用いられる場合には、そのAFを実行する情報処理装置も、本発明の実施形態に係る情報処理装置に含まれる。AF処理にコントラストマップが用いられることで、高速に高精度でフォーカス位置を算出することが可能となる。
以上説明した各形態の特徴部分のうち、少なくとも2つの特徴部分を組み合わせることも可能である。
3…ワーク
100…画像測定機
112…ステージ
114…撮像ユニット
117…載置面
118…カメラ
120…移動可能範囲
121…カメラの位置(焦点位置)
125…第1の合焦位置
127…予測サーチ範囲
128…予測サーチ範囲の開始位置
130…第2の合焦位置
200…PC
221…PC本体
250…取得部
251…第1の算出部
252…第2の算出部
253…駆動部
254…判定部
260…被写体画像
265…手動被写体画像群
270…被写体画像
275…自動被写体画像群
280…分割領域
282…基準領域
284…算出対象領域
285…撮影位置
288…コントラストマップ
289…撮影範囲(カメラの視野)
289…コントラストマップの複数の領域
291…記憶保持領域
300…画像測定装置

Claims (13)

  1. 所定の範囲内の任意の焦点位置で被写体の画像を撮影することが可能であり、前記被写体が載置される載置面に沿う2次元内の任意の撮影位置で前記被写体を撮影することが可能な撮像装置により、前記焦点位置が前記所定の範囲内にて移動されながら撮影された複数の被写体画像を取得する取得部と、
    手動により前記焦点位置が前記所定の範囲内にて移動されながら撮影された前記複数の被写体画像である手動被写体画像群の各コントラスト情報をもとに、前記所定の範囲内の第1の合焦位置を算出可能な第1の算出部と、
    前記算出された第1の合焦位置を基準とした探索範囲内にて、自動により前記焦点位置が移動されながら撮影された前記複数の被写体画像である自動被写体画像群の各コントラスト情報をもとに、前記探索範囲内の第2の合焦位置を算出可能な第2の算出部と
    複数の領域に分割された算出用マップを記憶する記憶部と、
    前記撮影位置を前記2次元内にて移動させることが可能な駆動部と
    を具備し、
    前記第1の算出部は、前記算出用マップの複数の領域に対応して前記被写体画像を分割する複数の分割領域の各コントラスト情報をもとに、前記分割領域ごとの分割合焦位置を算出し、前記分割合焦位置の情報をもとに前記第1の合焦位置を算出し、
    前記算出用マップは、前記被写体画像の撮影範囲よりも大きい範囲で前記撮影範囲を含む位置に設定され、その設定位置が前記撮影位置の移動に応じて移動される
    情報処理装置。
  2. 請求項1に記載の情報処理装置であって
    前記駆動部は、前記焦点位置を前記所定の範囲内にて移動させることが可能であり、前記焦点位置を前記探索範囲のいずれかの端点まで第1の速度で移動させ、前記探索範囲内にて前記第1の速度よりも小さい第2の速度で前記焦点位置を移動させる
    情報処理装置。
  3. 請求項1又は2に記載の情報処理装置であって、さらに、
    ユーザの指示が入力される操作入力部を具備し、
    前記第1の算出部は、前記ユーザが手動により前記焦点位置を移動させる操作をもとに前記第1の合焦位置を算出し、
    前記第2の算出部は、前記操作入力部を介した前記ユーザからのオートフォーカスの指示をもとに前記第2の合焦位置を算出する
    情報処理装置。
  4. 請求項に記載の情報処理装置であって、さらに、
    前記第1の合焦位置の算出から所定の時間が経過するまでに、前記オートフォーカスの指示が入力されない場合に、前記第1の合焦位置を無効と判定する判定部を具備する
    情報処理装置。
  5. 請求項4に記載の情報処理装置であって、
    前記第1の算出部は、前記手動被写体画像群の各コントラスト情報をもとに、前記所定の範囲内におけるコントラストのピーク値を算出し、前記ピーク値に対応する前記焦点位置を前記第1の合焦位置として算出し、
    前記判定部は、前記コントラストのピーク値を所定の割合で減衰させ、前記減衰されたピーク値が所定の閾値よりも小さくなるまでの時間を、前記所定の時間として設定する
    情報処理装置。
  6. 請求項5に記載の情報処理装置であって、
    前記第1の算出部は、前記手動被写体画像群の各コントラスト情報をもとに、前記所定の範囲内の前記焦点位置と前記コントラスト情報との関係を表す関数を算出し、前記関数のピーク値を前記コントラストのピーク値として算出する
    情報処理装置。
  7. 請求項1から6のうちいずれか1項に記載の情報処理装置であって、
    前記第1の算出部は、前記複数の分割領域のうち、前記第1の合焦位置の算出の基準となる前記被写体画像内の基準領域と重なり合う前記分割領域を算出対象領域として、前記算出対象領域ごとの前記分割合焦位置の情報をもとに前記第1の合焦位置を算出する
    情報処理装置。
  8. 請求項に記載の情報処理装置であって、
    前記第1の算出部は、前記算出対象領域の前記基準領域に重なる範囲の大きさと、前記算出対象領域のコントラスト情報とをもとに重み付けを行い、前記第1の合焦位置を算出する
    情報処理装置。
  9. 請求項1から8のうちいずれか1項に記載の情報処理装置であって、
    前記記憶部は、前記算出用マップの領域ごとに、当該領域に対応する前記被写体画像の分割領域のコントラスト情報及び分割合焦位置の情報を記憶し、
    前記第1の算出部は、前記撮影位置が移動された場合に、移動前に記憶された前記算出用マップの領域ごとの前記コントラスト情報及び前記分割合焦位置情報を参照して、移動後の前記被写体画像の分割領域の前記分割合焦位置を算出する
    情報処理装置。
  10. コンピュータにより実行される情報処理方法であって、
    所定の範囲内の任意の焦点位置で被写体の画像を撮影することが可能であり、前記被写体が載置される載置面に沿う2次元内の任意の撮影位置で前記被写体を撮影することが可能な撮像装置により、前記焦点位置が前記所定の範囲内にて移動されながら撮影された複数の被写体画像を取得するステップと、
    手動により前記焦点位置が前記所定の範囲内にて移動されながら撮影された前記複数の被写体画像である手動被写体画像群の各コントラスト情報をもとに、前記所定の範囲内の第1の合焦位置を算出するステップと、
    前記算出された第1の合焦位置を基準とした探索範囲内にて、自動により前記焦点位置が移動されながら撮影された前記複数の被写体画像である自動被写体画像群の各コントラスト情報をもとに、前記探索範囲内の第2の合焦位置を算出するステップと、
    複数の領域に分割された算出用マップを、前記被写体画像の撮影範囲よりも大きい範囲で前記撮影範囲を含む位置に設定し、その設定位置を前記撮影位置の前記2次元内における移動に応じて移動させるステップと
    を有し、
    前記第1の合焦位置を算出するステップは、前記算出用マップの複数の領域に対応して前記被写体画像を分割する複数の分割領域の各コントラスト情報をもとに、前記分割領域ごとの分割合焦位置を算出し、前記分割合焦位置の情報をもとに前記第1の合焦位置を算出する
    情報処理方法。
  11. コンピュータにより実行されるプログラムであって、
    所定の範囲内の任意の焦点位置で被写体の画像を撮影することが可能であり、前記被写体が載置される載置面に沿う2次元内の任意の撮影位置で前記被写体を撮影することが可能な撮像装置により、前記焦点位置が前記所定の範囲内にて移動されながら撮影された複数の被写体画像を取得するステップと、
    手動により前記焦点位置が前記所定の範囲内にて移動されながら撮影された前記複数の被写体画像である手動被写体画像群の各コントラスト情報をもとに、前記所定の範囲内の第1の合焦位置を算出するステップと、
    前記算出された第1の合焦位置を基準とした探索範囲内にて、自動により前記焦点位置が移動されながら撮影された前記複数の被写体画像である自動被写体画像群の各コントラスト情報をもとに、前記探索範囲内の第2の合焦位置を算出するステップと
    複数の領域に分割された算出用マップを、前記被写体画像の撮影範囲よりも大きい範囲で前記撮影範囲を含む位置に設定し、その設定位置を前記撮影位置の前記2次元内における移動に応じて移動させるステップと
    を有し、
    前記第1の合焦位置を算出するステップは、前記算出用マップの複数の領域に対応して前記被写体画像を分割する複数の分割領域の各コントラスト情報をもとに、前記分割領域ごとの分割合焦位置を算出し、前記分割合焦位置の情報をもとに前記第1の合焦位置を算出する
    プログラム。
  12. 所定の範囲内の任意の焦点位置で被写体の画像を撮影することが可能であり、前記被写体が載置される載置面に沿う2次元内の任意の撮影位置で前記被写体を撮影することが可能な撮像部と、
    前記撮像部により前記焦点位置が前記所定の範囲内にて移動されながら撮影された複数の被写体画像を取得する取得部と、
    手動により前記焦点位置が前記所定の範囲内にて移動されながら撮影された前記複数の被写体画像である手動被写体画像群の各コントラスト情報をもとに、前記所定の範囲内の第1の合焦位置を算出可能な第1の算出部と、
    前記算出された第1の合焦位置を基準とした探索範囲内にて、自動により前記焦点位置が移動されながら撮影された前記複数の被写体画像である自動被写体画像群の各コントラスト情報をもとに、前記探索範囲内の第2の合焦位置を算出可能な第2の算出部と
    複数の領域に分割された算出用マップを記憶する記憶部と、
    前記撮影位置を前記2次元内にて移動させることが可能な駆動部と
    を具備し、
    前記第1の算出部は、前記算出用マップの複数の領域に対応して前記被写体画像を分割する複数の分割領域の各コントラスト情報をもとに、前記分割領域ごとの分割合焦位置を算出し、前記分割合焦位置の情報をもとに前記第1の合焦位置を算出し、
    前記算出用マップは、前記被写体画像の撮影範囲よりも大きい範囲で前記撮影範囲を含む位置に設定され、その設定位置が前記撮影位置の移動に応じて移動される
    画像測定装置。
  13. 所定の範囲内の任意の焦点位置で被写体の画像を撮影することが可能であり、前記被写体が載置される載置面に沿う2次元内の任意の撮影位置で前記被写体を撮影することが可能な撮像装置により、前記焦点位置が前記所定の範囲内にて移動されながら撮影された複数の被写体画像を取得する取得部と、
    複数の領域に分割された算出用マップを記憶する記憶部と、
    前記複数の被写体画像のそれぞれに、前記算出用マップの複数の領域に対応して前記被写体画像を分割する複数の分割領域を設定する設定部と、
    前記被写体画像ごとに設定された前記複数の分割領域の各コントラスト情報をもとに、前記分割領域ごとの前記所定の範囲内の合焦位置である分割合焦位置を算出し、前記分割合焦位置の情報をもとに、前記被写体画像の前記所定の範囲内の合焦位置を算出する算出部と
    前記撮影位置を前記2次元内にて移動させることが可能な駆動部と
    を具備し、
    前記算出用マップは、前記被写体画像の撮影範囲よりも大きい範囲で前記撮影範囲を含む位置に設定され、その設定位置が前記撮影位置の移動に応じて移動される
    情報処理装置。
JP2013189354A 2013-09-12 2013-09-12 情報処理装置、情報処理方法、プログラム、及び画像測定装置 Active JP6274794B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2013189354A JP6274794B2 (ja) 2013-09-12 2013-09-12 情報処理装置、情報処理方法、プログラム、及び画像測定装置
US14/482,405 US9420160B2 (en) 2013-09-12 2014-09-10 Information processing apparatus, information processing method, program, and vision measuring apparatus
DE102014218054.6A DE102014218054B4 (de) 2013-09-12 2014-09-10 Informationsverarbeitungsvorrichtung, Informationsverarbeitungsverfahren, Programm und optische Messvorrichtung
CN201410460668.4A CN104459974B (zh) 2013-09-12 2014-09-11 信息处理装置、信息处理方法、程序和影像测量装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013189354A JP6274794B2 (ja) 2013-09-12 2013-09-12 情報処理装置、情報処理方法、プログラム、及び画像測定装置

Publications (2)

Publication Number Publication Date
JP2015055770A JP2015055770A (ja) 2015-03-23
JP6274794B2 true JP6274794B2 (ja) 2018-02-07

Family

ID=52478783

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013189354A Active JP6274794B2 (ja) 2013-09-12 2013-09-12 情報処理装置、情報処理方法、プログラム、及び画像測定装置

Country Status (4)

Country Link
US (1) US9420160B2 (ja)
JP (1) JP6274794B2 (ja)
CN (1) CN104459974B (ja)
DE (1) DE102014218054B4 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104702849B (zh) * 2014-01-10 2018-03-30 杭州海康威视数字技术股份有限公司 一种红外摄像机及其红外灯亮度调整方法
WO2016185952A1 (ja) 2015-05-18 2016-11-24 ソニー株式会社 制御装置及び医療用撮像システム
JP2017116297A (ja) 2015-12-21 2017-06-29 株式会社ミツトヨ 画像測定方法及び画像測定機
JP6677706B2 (ja) * 2017-12-27 2020-04-08 ファナック株式会社 リンク情報生成装置、リンク情報生成方法及びリンク情報生成プログラム
JP7112863B2 (ja) * 2018-03-22 2022-08-04 株式会社ミツトヨ 情報処理装置、情報処理方法、プログラム、及び画像測定装置
WO2020014188A1 (en) * 2018-07-09 2020-01-16 The Regents Of The University Of Michigan Microscope surveillance system
CN110673325A (zh) * 2019-09-25 2020-01-10 腾讯科技(深圳)有限公司 显微镜系统、智能医疗设备、自动对焦方法和存储介质
CN110823898B (zh) * 2019-12-23 2024-04-26 湖南爱威医疗科技有限公司 一种采图装置及采图方法
WO2021207945A1 (zh) * 2020-04-14 2021-10-21 深圳市大疆创新科技有限公司 对焦控制方法、装置、设备、可移动平台和存储介质
CN115236082A (zh) * 2021-04-25 2022-10-25 泰科电子(上海)有限公司 便携式视觉检查设备和使用其对物品进行检查的方法
US11714273B1 (en) * 2022-06-23 2023-08-01 Araceli Biosciences Inc. System and method for microscope high-speed auto-focusing including an imaged subject based on a corrected contrast distribution

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2708904B2 (ja) * 1989-08-08 1998-02-04 三洋電機株式会社 オートフォーカスカメラ
JPH06233165A (ja) 1993-02-04 1994-08-19 Hitachi Ltd 半自動合焦方法およびそれによる装置
JPH07244244A (ja) * 1994-03-04 1995-09-19 Olympus Optical Co Ltd 顕微鏡写真撮影装置
JP3412713B2 (ja) * 1994-07-21 2003-06-03 富士写真光機株式会社 ピント調整方法
JPH1048506A (ja) 1996-08-02 1998-02-20 Sankyo Seiki Mfg Co Ltd オートフォーカス装置
JPH11103408A (ja) * 1997-09-26 1999-04-13 Fuji Photo Optical Co Ltd カメラのレンズ駆動装置
JP2000163576A (ja) * 1998-11-25 2000-06-16 Hitachi Ltd 画像検索方法及びその実施装置並びにその処理プログラムを記録した媒体
JP2002277725A (ja) * 2001-03-14 2002-09-25 Ricoh Co Ltd 合焦制御方法及び撮像装置
JP2004077530A (ja) * 2002-08-09 2004-03-11 Canon Inc 焦点調節方法および装置
JP2004361484A (ja) * 2003-06-02 2004-12-24 Nikon Corp オートフォーカスカメラ
JP2005269604A (ja) * 2004-02-20 2005-09-29 Fuji Photo Film Co Ltd 撮像装置、撮像方法、及び撮像プログラム
DE102005024063B3 (de) 2005-05-25 2006-07-06 Soft Imaging System Gmbh Verfahren und Vorrichtung zur optischen Abtastung einer Probe
JP2006072384A (ja) 2005-10-31 2006-03-16 Fuji Photo Film Co Ltd 自動焦点調節装置及び方法
JP2007155921A (ja) * 2005-12-01 2007-06-21 Pentax Corp 焦点調節装置
KR100806690B1 (ko) 2006-03-07 2008-02-27 삼성전기주식회사 자동초점 수행 방법 및 이를 이용한 자동초점 조정장치
JP5380784B2 (ja) * 2007-04-12 2014-01-08 ソニー株式会社 オートフォーカス装置、撮像装置及びオートフォーカス方法
US7844172B1 (en) 2007-09-21 2010-11-30 Tessera MEMS Technologies, Inc. Adaptive autofocus lens positioning
JP5289879B2 (ja) * 2008-09-26 2013-09-11 オリンパス株式会社 顕微鏡システム、顕微鏡システムにおけるフォーカスドリフトの補正方法及びプログラム。
US8111938B2 (en) 2008-12-23 2012-02-07 Mitutoyo Corporation System and method for fast approximate focus
JP2011169993A (ja) * 2010-02-16 2011-09-01 Sharp Corp 撮像装置、コンティニュアスafの探索方法、制御プログラム、記憶媒体および電子情報機器
JP2012255919A (ja) 2011-06-09 2012-12-27 Nikon Corp 焦点調節装置および撮像装置
JP2013029656A (ja) * 2011-07-28 2013-02-07 Sanyo Electric Co Ltd 撮像装置
US20130027538A1 (en) * 2011-07-29 2013-01-31 Mitutoyo Corporation Multi-region focus navigation interface
DE102011116734B4 (de) 2011-10-19 2013-06-06 Carl Zeiss Industrielle Messtechnik Gmbh Verfahren zum Ermitteln eines fokussierten Bildabstands eines optischen Sensors eines Koordinatenmessgeräts
JP2013142769A (ja) * 2012-01-11 2013-07-22 Olympus Corp 顕微鏡システム、オートフォーカスプログラムおよびオートフォーカス方法
JP2013217442A (ja) 2012-04-09 2013-10-24 Jtekt Corp スラストころ軸受装置

Also Published As

Publication number Publication date
JP2015055770A (ja) 2015-03-23
DE102014218054A1 (de) 2015-03-12
US9420160B2 (en) 2016-08-16
CN104459974A (zh) 2015-03-25
DE102014218054B4 (de) 2024-06-13
CN104459974B (zh) 2018-09-25
US20150070566A1 (en) 2015-03-12

Similar Documents

Publication Publication Date Title
JP6274794B2 (ja) 情報処理装置、情報処理方法、プログラム、及び画像測定装置
JP7112863B2 (ja) 情報処理装置、情報処理方法、プログラム、及び画像測定装置
JP4462959B2 (ja) 顕微鏡画像撮影システム及び方法
JP6239232B2 (ja) 高性能エッジフォーカスツール
US20180143419A1 (en) Variable focal length lens system with multi-level extended depth of field image processing
US10444486B2 (en) Systems and methods for detection of blank fields in digital microscopes
US8830313B2 (en) Information processing apparatus, stage-undulation correcting method, program therefor
JP6053119B2 (ja) マシンビジョン検査システムおよびその位置測定結果の決定方法
JP2005156554A (ja) 画像測定検査システムの推定最良焦点位置決定制御方法、画像測定検査システムの訓練モード動作の制御方法
CN109691083B (zh) 图像处理方法、图像处理装置及摄像装置
US7869706B2 (en) Shooting apparatus for a microscope
CN109272575B (zh) 一种提高数字切片扫描仪建模速度的方法
US10429632B2 (en) Microscopy system, microscopy method, and computer-readable recording medium
JP4477863B2 (ja) 細胞計測支援システムおよび細胞観察装置
JP6312410B2 (ja) アライメント装置、顕微鏡システム、アライメント方法、及びアライメントプログラム
JP6973637B2 (ja) X線検査装置
JP2014149381A (ja) 画像取得装置および画像取得方法
JP2015210396A (ja) アライメント装置、顕微鏡システム、アライメント方法、及びアライメントプログラム
JP2010121955A (ja) 高さ情報取得装置、高さ情報取得方法、及びプログラム
JP2006153636A (ja) 3次元計測方法および3次元計測方法をコンピュータに実行させるプログラム
CN112955806A (zh) 用于对样本区域成像的显微镜系统和相应的方法
KR102258958B1 (ko) 고속 이미징 방법 및 이를 이용한 고속 이미징 현미경
JP7077485B2 (ja) 画像取得装置および画像取得方法
JP2012150142A (ja) 顕微鏡制御装置、顕微鏡システム及び該制御方法
WO2024014079A1 (ja) 細胞観察装置および細胞観察装置で用いられる撮像方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160809

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170426

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170523

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170711

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180109

R150 Certificate of patent or registration of utility model

Ref document number: 6274794

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250