JP5923824B2 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
JP5923824B2
JP5923824B2 JP2012034779A JP2012034779A JP5923824B2 JP 5923824 B2 JP5923824 B2 JP 5923824B2 JP 2012034779 A JP2012034779 A JP 2012034779A JP 2012034779 A JP2012034779 A JP 2012034779A JP 5923824 B2 JP5923824 B2 JP 5923824B2
Authority
JP
Japan
Prior art keywords
image
images
stage
axis
imaging unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012034779A
Other languages
English (en)
Other versions
JP2013171425A (ja
Inventor
有我 幸三
幸三 有我
川添 勝
勝 川添
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitutoyo Corp
Original Assignee
Mitutoyo Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitutoyo Corp filed Critical Mitutoyo Corp
Priority to JP2012034779A priority Critical patent/JP5923824B2/ja
Priority to US13/545,269 priority patent/US20130215263A1/en
Priority to EP12177859.1A priority patent/EP2631868B1/en
Priority to KR1020120081725A priority patent/KR101924191B1/ko
Priority to CN201210472526.0A priority patent/CN103257085B/zh
Publication of JP2013171425A publication Critical patent/JP2013171425A/ja
Priority to US15/070,148 priority patent/US9390324B1/en
Application granted granted Critical
Publication of JP5923824B2 publication Critical patent/JP5923824B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N3/00Investigating strength properties of solid materials by application of mechanical stress
    • G01N3/02Details
    • G01N3/06Special adaptations of indicating or recording means
    • G01N3/068Special adaptations of indicating or recording means with optical indicating or recording means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N3/00Investigating strength properties of solid materials by application of mechanical stress
    • G01N3/40Investigating hardness or rebound hardness
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N3/00Investigating strength properties of solid materials by application of mechanical stress
    • G01N3/40Investigating hardness or rebound hardness
    • G01N3/42Investigating hardness or rebound hardness by performing impressions under a steady load by indentors, e.g. sphere, pyramid
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2203/00Investigating strength properties of solid materials by application of mechanical stress
    • G01N2203/02Details not specific for a particular testing method
    • G01N2203/06Indicating or recording means; Sensing means
    • G01N2203/0641Indicating or recording means; Sensing means using optical, X-ray, ultraviolet, infrared or similar detectors
    • G01N2203/0647Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02Preprocessing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08Feature extraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12Classification; Matching

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Description

本発明は、硬さ試験装置等に用いられる画像処理装置に関する。
測定対象の表面に形成されたくぼみの形状に基づいて、その測定対象の硬さを測定する硬さ試験装置が知られている(特許文献1、2参照)。この硬さ試験装置においては、ステージ上に配置された測定対象を撮像装置によって撮像し得られた画像を用いて硬さの計測値が求められる。画像が測定対象の一部の領域のみを示すものである場合、測定対象の全体を示す画像が必要とされる。そこで、従来、ステージを所定方向に相対的に移動させて複数の画像を撮像し、この複数の画像を接合させて合成画像を生成する方法が知られている(特許文献3参照)。
しかしながら、上記のような合成画像の生成方法では、画像の座標軸の方向とステージの座標軸の方向が完全に平行でなければ、画像を接合した部分において、合成画像が不連続になると共に、画像のステージの座標系における座標値に誤差を発生させてしまうことになる。画像の座標軸とステージの座標軸の方向が一致するように、撮像装置の姿勢を物理的に調整すればこの問題は解消するが、その調整には手間がかかり、調整コストも必要となる。
特開2010−190817号公報 特開2005−345117号公報 特開平08−313217号公報
本発明は、このような問題点に鑑みされたもので、容易に且つ安価に合成部分で不連続とならない合成画像を生成可能な画像処理装置を提供することを目的とする。
本発明に係る画像処理装置は、測定対象を撮像する撮像部と、前記測定対象を載置可能に且つ前記撮像部に対して相対移動可能に構成されたステージと、前記撮像部を前記ステージに対して相対移動させて前記撮像部により前記測定対象を複数箇所で撮像して複数の画像を取得し、得られた複数の前記画像又はこれらの画像から所定の処理により求められた画像を合成することにより前記撮像部の撮像範囲よりも広い範囲の前記測定対象の合成画像を生成する制御部とを備え、前記制御部は、前記撮像部により取得された互いに隣接する画像の一部が重複するように前記ステージに対して前記撮像部を相対移動させ、前記隣接する画像の重複部分を画像マッチングさせる画像マッチング処理を行い、前記画像マッチング処理において画像マッチングした位置で、前記隣接する画像を結合することにより前記測定対象の合成画像を生成することを特徴とする。
この発明によれば、容易に且つ安価に合成部分で不連続とならない合成画像を生成可能な画像処理装置を提供できる。
第1の実施の形態に係る硬さ試験装置を示す概略図である。 第1の実施の形態に係るコンピュータ本体2を示すブロック図である。 撮像部12の座標系とステージ13の座標系のずれを示す概略図である。 第1の実施の形態に係る硬さ試験装置の動作を示すフローチャートである。 第1の実施の形態に係るステップS101、S102、S104のステージ13の移動、ワークWの撮像、及び画像マッチング処理を示す概略図である。 第1の実施の形態に係るステップS104の画像マッチング処理を示す概略図である。 第1の実施の形態に係るステップS104の画像マッチング処理を示す概略図である。 第1の実施の形態に係るステップS104の画像マッチング処理を示す概略図である。 第1の実施の形態に係るステップS105のステージ移動量の算出を示す概略図である。 第2の実施の形態に係る硬さ試験機30を示す概略図である。 第3の実施の形態に係るワークWのエッジEに沿ったステージ13の移動、ワークWの撮像を示す概略図である。 第3の実施の形態に係るエッジ追跡処理を示すフローチャートである。 第3の実施の形態に係る表示画面を示す図である。 第3の実施の形態に係るウィンドウ内のエッジ点検出を示す図である。 第3の実施の形態に係るウィンドウ位置の決定手順を示す図である。
次に、本発明の実施の形態を、図面を参照して詳細に説明する。
[第1の実施の形態]
図1は本実施の形態に係る硬さ試験装置を示す概略図である。硬さ試験装置は、図1に示すように、硬さ試験機10、及び硬さ試験機10を制御するコンピュータシステム20を有する。なお、本実施の形態において、硬さ試験装置は、合成画像を生成するための画像処理装置としても機能する。
硬さ試験機10は、X方向(図1の紙面垂直方向)からみてC型形状の支持体11、撮像部12、ステージ13、及びタレット14を有する。撮像部12は、支持体11の上部に設けられ、カメラマウント15を介してワークW(測定対象)を撮像する。撮像部12は、例えばCCDカメラ、又はCMOSカメラにより構成される。
ステージ13は、移動機構16を介して支持体11の下方に設けられる。移動機構16はステージ13を各々直交するX軸方向、Y軸方向及びZ軸方向に移動可能に構成される。すなわち、移動機構16は撮像部12をステージ13に対して相対移動可能に構成される。移動機構16はコンピュータシステム20により制御されてステージ13を駆動させる。
タレット14は、支持体11の上部に設けられる。タレット14は、Z軸に平行なタレット回転軸を中心に回転可能に構成され、その下方に圧子17、及び対物レンズ18a、18bを有する。圧子17は、ワークWに押しつけられ、ワークWの表面にくぼみをつけるためのものである。対物レンズ18a、18bは、それぞれ撮像部12と共に撮像光学系を構成するためのものである。タレット14の回転により、圧子17、及び対物レンズ18a、18bを使用位置に配置するように切り替え可能である。
コンピュータシステム20は、コンピュータ本体21、液晶パネル等の表示部22、キーボード23及びマウス24を有する。コンピュータ本体21は、例えば図2に示すようにCPU211、ROM212、RAM213、HDD214を有する。CPU211は、ROM212に格納されたマクロプログラム及びHDD214からRAM213に格納されたプログラムに従って処理を実行する。CPU211は、プログラムに従って撮像部12、移動機構16及び表示部22を制御する。また、CPU211は、キーボード23及びマウス24からの入力情報を受け付ける。
次に、図3を参照して本実施の形態に係る硬さ試験装置の座標系について説明する。図3に示すように、本実施の形態は、撮像部12の座標系(x,y)と、ステージ13の座標系(X,Y)を有する。ここで、軸x、軸yは、互いに直交し、撮像部12により取得される画像に設定される軸である。軸X、軸Yは、互いに直交し、ステージ13の移動可能な方向である。なお、軸x、軸yは、撮像部12により取得された画像に所定の画像処理を施した画像に設定される軸であっても良い。
ステージ13の座標系(X,Y)は、図3に示すように撮像部12の座標系(x,y)に対して角度θのずれを持つ。ここで、例えばステージ13をX軸方向に所定距離だけ移動させながらワークWを撮像して複数の画像を取得し、それら複数の画像を所定距離だけx軸方向にずらしながら結合させて合成画像を生成する。しかしこの方法では、角度θのずれのため、その合成画像は実際のワークWと異なる不連続な画像となる。このため、この合成画像上にくぼみつけ位置を配置して、ワークWにくぼみつけを行うと、位置がずれてしまうことが発生してしまい、必ずしも狙い通りの場所の硬さ試験を実施できないという問題がある。
そこで、本実施の形態は図4に示すような処理を用いて合成画像IMaを生成する。なお、図4に示す制御は、CPU211により実行される。図4に示すように、先ずステージ13が所定方向に移動される(S101)。次に、撮像部12によりワークWを撮像し、画像IMが取得される(S102)。ステップS102において、画像IMは表示部22に表示される。続いて、所定数の画像IM(1)〜IM(n)が撮像されたか否かが判定される(S103)。ここで、画像IM(1)〜IM(n)が撮像されていないと判定されると(S103、No)、ステップS101から再び処理が実行される。一方、画像IM(1)〜IM(n)が撮像されたと判定されると(S103、Yes)、画像IM(1)〜IM(n)は後述する画像マッチング処理により結合され、合成画像IMaが生成される(S104)。ここで、合成画像IMaは撮像部12のワンショットの撮像範囲よりも広い範囲のワークWの画像となる。ステップS104において、合成画像IMaは表示部22に表示される。なお、合成画像IMaは、プリンタにより印刷可能とされても良い。続いて、合成画像IMaに基づいてステージ13の移動可能なX軸、Y軸方向におけるステージ13の移動量ΔX、ΔY(ステージ移動量)が算出される(S105)。なお、後述するようにこのステージ移動量に基づいて、撮像部12の移動は制御される。
ステップS105の後、合成画像IMaに基づき、くぼみ付け位置が設定される(S106)。例えば、合成画像IMaからワークWの形状が認識され、そのワークの形状から、くぼみ付け位置が自動的に配置される。或いは、キーボード23及びマウス24によって、表示部22に表示された合成画像IMa上の任意の位置を指定することで、その指定された位置にくぼみ付け位置が手動的に配置される。
次に、圧子17をワークWの表面に押し付けられることで、配置されたくぼみ付け位置にくぼみが付けられる(S107)。続いて、このくぼみを撮像し、くぼみの形状(大きさ)に基づき硬さ値が算出される(S108)。そして、このくぼみ付け位置(合成画像上の座標値)、その位置に対応する硬さ値が表示部22に表示される(S109)。
次に、図5を参照してステップS101、S102、S104のステージ13の移動、ワークWの撮像、及び画像マッチング処理について具体的に説明する。図5に示す例では、先ず撮像部12により画像IM(1)が撮像される。次に、ステージ13を−X軸方向に撮像部12のワンショットの撮像範囲のX軸方向のサイズよりも、やや小さな範囲だけ平行移動させて、画像IM(2)、IM(3)が撮像される。次に、ステージ13を+Y軸方向に撮像部12のワンショットの撮像範囲のY軸方向のサイズよりも、やや小さな範囲だけ平行移動させて、画像IM(4)が撮像される。続いて、ステージ13を+X軸方向に撮像部12のワンショットの撮像範囲のX軸方向のサイズよりも、やや小さな範囲だけ平行移動させて、画像IM(5)、IM(6)が撮像される。こうすることで隣接する画像IM(1)〜(6)は、合成部分となる互いに重複する重複領域画像RIM(1)〜RIM(7)を持つように撮像される。この後、重複領域画像RIM(1)〜RIM(7)内のパターンを合わせるように画像マッチングがなされる(画像マッチング処理)。そして、画像マッチング処理において画像マッチングした位置で、隣接する画像IM(1)〜(6)を結合することにより合成画像IMaが生成される。これら合成画像IMa、画像IM(1)〜IM(6)及び重複領域画像RIM(1)〜RIM(7)は、表示部22に表示される。
次に、図6を参照して上記ステップS104の画像マッチング処理について更に具体的に説明する。図6は、画像IM(1)、IM(2)の重複領域画像RIM(1)、RIM(2)を画像マッチングさせて、合成画像IMaを生成する例を示す。図6に示すように、先ず、画像IM(1)、IM(2)の重複領域画像RIM(1)、RIM(2)を抽出する(S1041)。
続いて、重複領域画像RIM(1)、RIM(2)を間引き処理等によって各々画像圧縮して、圧縮画像SRIM(1)、SRIM(2)を生成する(S1042)。このステップS1042の処理により、画像マッチング処理で演算処理するデータ量を減らすことで、これに続く画像マッチング処理に要する時間を短縮できる。
次に、データ圧縮された圧縮画像SRIM(1)、SRIM(2)同士を画像マッチング(マクロマッチング)して画像IM(1)、IM(2)間のずれ量(圧縮画像間の相対位置)を算出する(S1043)。このずれ量に基づいて両画像IM(1),IM(2)を合成して合成画像IMaを得ることができる。さらにより正確にマッチング処理を行う場合は、このずれ量を初期値として画像IM(1)、IM(2)内の圧縮前の重複領域画像RIM(1)、RIM(2)を使って画像マッチングさせる(S1044)(ミクロマッチング)ことがより好ましい。これにより、最終的なマッチング位置の近傍から探索を開始することができるので、少ない処理量で両画像IM(1)、IM(2)のずれ量をより正確に求めることができて、このずれ量に基づいて不連続な部分がない合成画像IMaを生成することができる。
なお、上記のような処理に加えて、又は画像マッチング(S1042、S1043、S1044)に代えて、例えば、図7に示すような処理を行っても良い。すなわち、所定の閾値により重複領域画像RIM(1)、RIM(2)を輝度が高い領域と低い領域とに二値化して二値化画像BIM(1)、BIM(2)を生成する。次に、二値値画像BIM(1)、BIM(2)同士を画像マッチング(マクロマッチング)して画像IM(1)、IM(2)の間のずれ量(二値化画像間のずれ量)を算出する。このずれ量に基づいて両画像IM(1),IM(2)を合成して合成画像IMaを得ることができる。さらにより正確にマッチング処理を行う場合は、その後、このずれ量を初期値として、重複領域画像RIM(1)、RIM(2)の輝度が高い領域内の微細パターンを画像マッチング(ミクロマッチング)して、最終的な画像IM(1)、IM(2)の間のずれ量を算出することがより好ましい。そして、このずれ量に基づいて不連続な部分がない合成画像IMaを生成することができる。
また、上記のような処理に加えて、又は画像マッチング(S1042、S1043、S1044)に代えて、例えば、図8に示すような処理を行っても良い。すなわち、重複領域画像RIM(1)、RIM(2)から各々、画像の輪郭(エッジ)のみを抽出したエッジ画像EIM(1)、EIM(2)を生成する。次に、エッジ画像EIM(1)、EIM(2)同士を画像マッチング(マクロマッチング)して画像IM(1)、IM(2)の間のずれ量(エッジ画像間のずれ量)を算出する。このずれ量に基づいて両画像IM(1),IM(2)を合成して合成画像IMaを得ることができる。さらにより正確にマッチング処理を行う場合は、その後、このずれ量を初期値として画像IM(1)、IM(2)内の重複領域画像RIM(1)、RIM(2)を画像マッチングさせる(ミクロマッチング)ことがより好ましい。このような処理であっても、不連続な部分がない合成画像IMaを生成することができる。
次に、図9を参照して上記ステップS105のステージ移動量の算出について具体的に説明する。図9は、合成画像IMaにおける画像IM(1)と画像IM(2)とのずれ量に基づき、ステージ13の移動可能なX軸、Y軸方向におけるステージ移動量を算出する例を示す。ここで、合成画像IMaには座標系(X’,Y’が設定される。合成画像の座標系(X’,Y’)における軸X’、軸Y’は、互いに直交し、各々、撮像部12の座標系(x,y)の軸x、軸yと平行に設定される。一方、上述したように、ステージ13の座標系(X,Y)は撮像部12の座標系(x,y)と角度θずれているため、合成画像IMaの座標系(X’,Y’)もステージ13の座標系(X,Y)と角度θずれる。
図9に示す例において、ステージ13をX軸方向にΔXだけ移動させた時の合成画像IMaにおける画像IM(1)に対する画像IM(2)のずれ量をΔX’とし、Y’軸方向のずれ量をΔY’とする。このΔX’、ΔY’に対して、角度θを考慮して、ステージ移動量ΔX、ΔYを求める。この場合、角度θは非常に小さい値(例えば6×10−4rad未満)と想定されるので、角度θは、近似式「(ΔY’/ΔX’)=tanθ≒θ」により求められる。また、「sinθ≒θ」、「cosθ≒1」となる。これらからX軸方向のステージ移動量ΔX、Y軸方向のステージ移動量ΔYは、本来の移動量ΔX、ΔYにX軸方向にはΔY・θ、Y軸方向にはΔX・θだけ移動量を増減させれば良いことが分かる。このステージ移動量ΔX、ΔYによって、合成画像の座標系(X’,Y’)で指定された経路に沿ってステージ13を移動させることができる。
以上、本実施の形態によれば、ステージ13の座標系と撮像部12の座標系を調整することなく、容易に且つ安価に合成部分で不連続とならない合成画像IMaを生成できる。また、ステージ移動量を算出することによって合成画像の座標系に基づきステージ13を正確に移動させることができる。
[第2の実施の形態]
次に、図10を参照して、第2の実施の形態に係る硬さ試験装置について説明する。第2の実施の形態に係る硬さ試験装置は、第1の実施の形態と異なる硬さ試験機30を有する。この点のみ第2の実施の形態は第1の実施の形態と異なり、その他の構成及び動作は第1の実施の形態と同様である。
硬さ試験機30は、図10に示すように、土台31、及び土台31からZ方向に延びる支持体32を有する。土台31の上面には、X方向及びY方向に移動可能なステージ33が設けられる。ステージ33はその上面にワークWを載置可能に構成される。支持体32の側面には、Z方向に移動可能なユニット34が設けられる。
ユニット34には、撮像部35、及びタレット36が設けられる。撮像部35は、ステージ33上に載置されたワークWを撮像する。タレット36はユニット34の下端に設けられ、Z軸に平行なタレット回転軸を中心に回転可能に構成され、その下方に圧子37、及び撮像部35と共に撮像光学系を構成するための対物レンズ38a、38bを有する。上記第2の実施の形態に係る硬さ試験機30であっても、第1の実施の形態と同様の効果を奏する。
[第3の実施の形態]
次に、第3の実施の形態に係る硬さ試験装置について説明する。第3の実施の形態に係る硬さ試験装置は、ステージ13の移動方法のみにおいて第1の実施の形態と異なる。ここで、上記第1の実施の形態はワークWの指定された領域を撮像する。これに対して、第3の実施の形態は、図11に示すように、予め撮像された画像に基づきワークWのエッジEを追跡し(エッジ追跡処理)、そのエッジEに沿って画像IM(1)〜IM(4)を撮像する。そして、第3の実施の形態は、それら画像IM(1)〜IM(4)に対して前述の画像マッチングを実行して合成画像IMaを生成する。
次に、図12及び図13を参照して、エッジ追跡処理について説明する。図12はエッジ追跡処理を示すフローチャートであり、図13はこの処理を説明するため表示部22に表示されたワークWの一部を示す画像情報41を示す図である。図13に示す画像情報41には、追跡しようとするエッジ42が含まれる。そこで、まず、マウス24等を操作してエッジ42の一部を内部に含むように測定領域を示す矩形のウィンドウ43の初期位置を設定する(図12、S201)。ウィンドウ43は、例えば、図13に示すように、その四隅A,B,C,Dをマウス24のクリック操作で設定するか、又は矩形の対角方向の2点を指定したのち、その矩形領域をドラッグ操作で任意の角度に傾け、移動させる等の操作によって指定する。なお、このとき、エッジ42に沿って追跡する方向も指定する。
ウィンドウ43の初期位置が設定されたら、次にウィンドウ43内の多値画像情報からエッジ点44が複数検出される(図12、S202)。図14には、このサンプリングの詳細が示されている。図14に示すエッジ点のサンプリングの間隔Δは、予め設定しておく。まず、図14に示すように、始点A(x,y)から終点B(x,y)まで、x座標をcosθ[但し、θはウィンドウ43の傾きである。]、y座標をsinθずつ変化させながら、x,y座標で示されるアドレスの多値画像情報を抽出していく。得られた多値の点列データから適当なスレッショルドレベルを設定し、このスレッショルドレベルと点列データとの交差するポイントをエッジ点としてサンプリングする。次に、始点と終点とを、それぞれΔ・sinθ及びΔ・cosθだけ移動させて、同様のサンプリングを実行する。以上の処理を始点C(x,y)及び終点D(x,y)まで連続して行うと、予め設定された間隔Δでの複数のエッジ点44のサンプリングが終了する。
次に、得られた複数のエッジ点44のサンプリング値に例えば最小2乗法により、近似直線が当てはめられる(図12、S203)。いま、図15に示すように、ウィンドウ43により得られたエッジ点44のサンプリング値から近似直線Lが求められたとすると、この近似直線Lに沿うように、次のウィンドウ43′が決定される(図12、S204)。このため、まず、現在のウィンドウ43で求められたウィンドウ43の移動方向における最も端のエッジ点43aから近似直線Lに垂線を下ろし、この垂線と近似直線Lとの交点から、近似直線Lに沿ってウィンドウ43の移動方向とは逆向きにH・m/100(但し、Hはウィンドウの高さ、mは予め設定された重複率(%))だけ離れた点Pとこの点Pからウィンドウ43の移動方向にHだけ離れた点Pとを求める。次に、点P,Pで近似直線Lにそれぞれ直交する直線上で、近似直線LからそれぞれW/2(但し、Wはウィンドウの幅)だけ離れた点をそれぞれ新たなウィンドウ43′の四隅の点A′,B′,C′,D′とする。これにより、次のウィンドウ43′が決定される。
次のウィンドウ43′が決定されたら、前述と同様のウィンドウ43′内のエッジ点のサンプリングと近似直線の当てはめを行いながら、順次ウィンドウ43を移動していく。そして、追跡すべきエッジを全て追跡したら、処理を終了する(図12、S205)。
以上、発明の実施の形態を説明したが、本発明はこれらに限定されるものではなく、発明の趣旨を逸脱しない範囲内において、種々の変更、追加等が可能である。例えば、くぼみ付け位置の配置は、CADデータや形状測定機のワークの形状データに基づくこともできる。
また、ステージ13、33及びユニット34の移動は手動によっても可能である。また、キーボード23、マウス24によって、表示部22に表示された合成画像IMa上の任意の位置がオペレータにより指定された場合、その指定位置を撮像部12によって撮像させることも可能である。
10、30…硬さ試験機、 11、32…支持体、 12、35…撮像部、 13、33…ステージ、 14、36…タレット、 15…カメラマウント、 16…移動機構、 17、37…圧子、 18a、18b、38a、38b…対物レンズ、 20…コンピュータシステム、 21…コンピュータ本体、 22…表示部、 23…キーボード、 24…マウス、 31…土台、 34…ユニット

Claims (7)

  1. 測定対象を撮像する撮像部と、
    前記測定対象を載置可能に且つ前記撮像部に対して相対移動可能に構成されたステージと、
    前記撮像部を前記ステージに対して相対移動させて前記撮像部により前記測定対象を複数箇所で撮像して複数の画像を取得し、得られた複数の前記画像又はこれらの画像から所定の処理により求められた画像を合成することにより前記撮像部の撮像範囲よりも広い範囲の前記測定対象の合成画像を生成する制御部とを備え、
    前記制御部は、
    前記撮像部により取得された互いに隣接する画像の一部が重複するように前記ステージに対して前記撮像部を相対移動させ、
    前記隣接する画像の重複部分を画像マッチングさせる画像マッチング処理を行い、
    前記画像マッチング処理において画像マッチングした位置で、前記隣接する画像を結合することにより前記測定対象の合成画像を生成し、
    前記画像マッチング処理によって前記合成画像の座標系と前記ステージの座標系との角度のずれを算出し、
    前記合成画像の座標系における軸をX´軸及びY´軸と、
    前記ステージの座標系における軸をX軸及びY軸と、
    前記ステージの座標系と前記合成画像の座標系との角度のずれをθとすると、
    前記ステージに対して前記撮像部を前記X´軸に沿ってΔX だけ相対移動させる場合には、前記ステージに対して前記撮像部を、前記X軸に沿ってΔX だけ相対移動させると共に、前記Y軸に沿ってΔX ・θだけ相対移動させ、
    前記ステージに対して前記撮像部を前記Y´軸に沿ってΔY だけ相対移動させる場合には、前記ステージに対して前記撮像部を、前記Y軸に沿ってΔY だけ相対移動させると共に、前記X軸に沿ってΔY ・θだけ相対移動させる
    ことを特徴とする画像処理装置。
  2. 前記制御部は、前記重複部分を画像圧縮して圧縮画像を生成し、前記圧縮画像による画像マッチング処理を行うことを特徴とする請求項1記載の画像処理装置。
  3. 前記制御部は、前記重複部分を二値化して二値化画像を生成し、前記二値化画像による画像マッチング処理を行うことを特徴とする請求項1記載の画像処理装置。
  4. 前記制御部は、前記重複部分の輪郭を抽出してエッジ画像を生成し、前記エッジ画像による画像マッチング処理を行うことを特徴とする請求項1記載の画像処理装置。
  5. 前記制御部は、前記重複部分を画像圧縮して圧縮画像を生成し、前記圧縮画像同士を画像マッチングして前記圧縮画像間の相対位置を取得し、前記圧縮画像間の相対位置を初期値として前記画像マッチング処理を実行する
    ことを特徴とする請求項1記載の画像処理装置。
  6. 前記制御部は、前記重複部分を二値化して二値化画像を生成し、前記二値化画像同士を画像マッチングして前記二値化画像間の相対位置を取得し、前記二値化画像間の相対位置を初期値として前記画像マッチング処理を実行する
    ことを特徴とする請求項1記載の画像処理装置。
  7. 前記制御部は、前記重複部分の輪郭を抽出してエッジ画像を生成し、前記エッジ画像同士を画像マッチングして前記エッジ画像間の相対位置を取得し、前記エッジ画像間の相対位置を初期値として前記画像マッチング処理を実行する
    ことを特徴とする請求項1記載の画像処理装置。
JP2012034779A 2012-02-21 2012-02-21 画像処理装置 Active JP5923824B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2012034779A JP5923824B2 (ja) 2012-02-21 2012-02-21 画像処理装置
US13/545,269 US20130215263A1 (en) 2012-02-21 2012-07-10 Image processing device and method of image processing
EP12177859.1A EP2631868B1 (en) 2012-02-21 2012-07-25 Image processing device and method for image processing
KR1020120081725A KR101924191B1 (ko) 2012-02-21 2012-07-26 화상 처리 장치 및 화상 처리 방법
CN201210472526.0A CN103257085B (zh) 2012-02-21 2012-11-20 图像处理装置和图像处理方法
US15/070,148 US9390324B1 (en) 2012-02-21 2016-03-15 Image processing device and method of image processing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012034779A JP5923824B2 (ja) 2012-02-21 2012-02-21 画像処理装置

Publications (2)

Publication Number Publication Date
JP2013171425A JP2013171425A (ja) 2013-09-02
JP5923824B2 true JP5923824B2 (ja) 2016-05-25

Family

ID=47044733

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012034779A Active JP5923824B2 (ja) 2012-02-21 2012-02-21 画像処理装置

Country Status (5)

Country Link
US (2) US20130215263A1 (ja)
EP (1) EP2631868B1 (ja)
JP (1) JP5923824B2 (ja)
KR (1) KR101924191B1 (ja)
CN (1) CN103257085B (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7953277B2 (en) 2006-09-05 2011-05-31 Williams Robert C Background separated images for print and on-line use
CN104749056A (zh) * 2014-07-22 2015-07-01 施周平 一种镀层硬度测试仪
CN104227250B (zh) * 2014-09-16 2016-06-22 佛山市利迅达机器人系统有限公司 基于平面的机器人三维寻位纠偏方法及焊接机器人
JP6559023B2 (ja) * 2015-09-10 2019-08-14 株式会社ミツトヨ 硬さ試験機及び硬さ試験方法
JP6530287B2 (ja) * 2015-09-10 2019-06-12 株式会社ミツトヨ 硬さ試験機及び硬さ試験方法
US10475202B2 (en) * 2016-02-05 2019-11-12 Mitutoyo Corporation Image measuring device and program
AT518859B1 (de) * 2016-08-12 2018-02-15 Qness Gmbh Verfahren und Vorrichtung zur Härteprüfung
JP6785092B2 (ja) * 2016-08-19 2020-11-18 株式会社Screenホールディングス 変位検出装置、変位検出方法および基板処理装置
CN107036868A (zh) * 2017-06-19 2017-08-11 中国工程物理研究院激光聚变研究中心 用于制备熔石英光学元件表面损伤的装置及方法
JP2019015527A (ja) 2017-07-04 2019-01-31 株式会社ミツトヨ 画像測定装置及びプログラム
EP3451279A1 (en) * 2017-08-30 2019-03-06 SMR Patents S.à.r.l. Rear view mirror simulation
CN113375555A (zh) * 2018-07-02 2021-09-10 广西电网有限责任公司北海供电局 一种基于手机影像的电力线夹测量方法及系统
JP7152223B2 (ja) * 2018-08-31 2022-10-12 株式会社キーエンス 画像測定装置
DE102018126050A1 (de) * 2018-10-19 2020-04-23 Fraunhofer-Gesellschaft für die angewandte Forschung e.V. Verfahren zum absortiervorgang unterstützenden anzeigen von werkstück-darstellungen
US11733181B1 (en) 2019-06-04 2023-08-22 Saec/Kinetic Vision, Inc. Imaging environment testing fixture and methods thereof
DE102020113454A1 (de) 2020-05-19 2021-11-25 Carl Zeiss Microscopy Gmbh Mikroskop und Verfahren zum Erzeugen eines aus mehreren mikroskopischen Einzelbildern zusammengesetzten Bildes
CN112530823B (zh) * 2020-10-30 2024-02-06 普冉半导体(上海)股份有限公司 在晶圆测试过程中检测电子位图中坐标偏移的方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6354680A (ja) * 1986-08-26 1988-03-09 Canon Inc 位置検出装置
JP2988994B2 (ja) * 1990-10-22 1999-12-13 三菱電機株式会社 位置合わせ装置
JP3672970B2 (ja) 1995-05-22 2005-07-20 株式会社ミツトヨ 非接触画像計測システム
US6148118A (en) * 1995-07-05 2000-11-14 Minolta Co., Ltd. Image processing apparatus capable of reproducing large-sized document
JPH09281405A (ja) * 1996-04-17 1997-10-31 Olympus Optical Co Ltd 顕微鏡システム
JP3744166B2 (ja) * 1997-12-29 2006-02-08 株式会社島津製作所 赤外顕微鏡
JP3586371B2 (ja) * 1998-03-31 2004-11-10 株式会社日立ハイテクインスツルメンツ 電子部品認識装置
JPH11331556A (ja) * 1998-05-20 1999-11-30 Dainippon Screen Mfg Co Ltd 画像処理装置
US6798923B1 (en) * 2000-02-04 2004-09-28 Industrial Technology Research Institute Apparatus and method for providing panoramic images
GB2383487B (en) * 2001-12-18 2006-09-27 Fairfield Imaging Ltd Method and apparatus for acquiring digital microscope images
US6996264B2 (en) * 2002-10-18 2006-02-07 Leco Corporation Indentation hardness test system
JP4328671B2 (ja) 2004-05-31 2009-09-09 株式会社ミツトヨ 硬さ試験機
US7792338B2 (en) * 2004-08-16 2010-09-07 Olympus America Inc. Method and apparatus of mechanical stage positioning in virtual microscopy image capture
US20060256397A1 (en) * 2005-05-12 2006-11-16 Lexmark International, Inc. Method and system for combining images
JP4407663B2 (ja) * 2005-10-13 2010-02-03 株式会社デンソーウェーブ 撮像装置
JP2010190817A (ja) 2009-02-20 2010-09-02 Mitsutoyo Corp 圧子取付用治具、硬さ試験機、及び圧子取付方法
US8331726B2 (en) * 2009-06-29 2012-12-11 International Business Machines Corporation Creating emission images of integrated circuits
US9075106B2 (en) * 2009-07-30 2015-07-07 International Business Machines Corporation Detecting chip alterations with light emission
KR101899269B1 (ko) * 2011-04-28 2018-10-29 가부시키가이샤 유야마 세이사쿠쇼 약제 감사 장치 및 약제 분포 장치

Also Published As

Publication number Publication date
CN103257085B (zh) 2017-05-24
KR101924191B1 (ko) 2018-12-03
US20130215263A1 (en) 2013-08-22
KR20130096136A (ko) 2013-08-29
US20160196471A1 (en) 2016-07-07
JP2013171425A (ja) 2013-09-02
EP2631868A2 (en) 2013-08-28
US9390324B1 (en) 2016-07-12
EP2631868B1 (en) 2020-10-28
CN103257085A (zh) 2013-08-21
EP2631868A3 (en) 2017-02-15

Similar Documents

Publication Publication Date Title
JP5923824B2 (ja) 画像処理装置
JP3739550B2 (ja) ウェハの測定位置決定方法
WO2012053521A1 (ja) 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム
JP2012037491A (ja) 点群位置データ処理装置、点群位置データ処理システム、点群位置データ処理方法、および点群位置データ処理プログラム
JP2006066478A (ja) パターンマッチング装置及びそれを用いた走査型電子顕微鏡
JP2007047930A (ja) 画像処理装置及び検査装置
JPWO2014156723A1 (ja) 形状測定装置、構造物製造システム、形状測定方法、構造物製造方法、及び形状測定プログラム
JP2010108797A (ja) 試料観察方法、及び電子顕微鏡
JP2012122765A (ja) 欠陥検査装置
CN106095178A (zh) 输入设备识别方法和系统、输入指令识别方法和系统
JP2024012432A (ja) 検査システム、及び非一時的コンピュータ可読媒体
JP4932202B2 (ja) 画像測定装置用パートプログラム生成装置、画像測定装置用パートプログラム生成方法、及び画像測定装置用パートプログラム生成用プログラム
JP2011237279A (ja) 画像測定機、プログラム、及び画像測定機のティーチング方法
JP2011203080A (ja) 画像処理装置、画像処理方法、画像処理プログラム
WO2016194078A1 (ja) 情報処理装置及びキャリブレーション方法及びキャリブレーション処理プログラム
CN111199533B (zh) 图像处理装置
JP6360620B2 (ja) 荷電粒子線装置、荷電粒子線装置のアライメント方法、アライメントプログラム、及び記憶媒体
JPWO2016157403A6 (ja) 荷電粒子線装置、荷電粒子線装置のアライメント方法、アライメントプログラム、及び記憶媒体
JP2011099864A (ja) パターンマッチング装置およびそれを用いた半導体検査システム
JP2011075289A (ja) 外観検査装置,外観検査方法および外観検査プログラム
WO2021145304A1 (ja) 画像処理システム
JP6323160B2 (ja) 検査装置、検査方法及び検査プログラム
JP2010243209A (ja) 欠陥検査方法および欠陥検出装置
JP2009250777A (ja) 表面検査装置および表面検査方法
JPH11126816A (ja) ウェハ上の対象点座標の補正方法および対象点座標の決定方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150113

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151015

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151027

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160216

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160223

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160322

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160401

R150 Certificate of patent or registration of utility model

Ref document number: 5923824

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250