JP7042366B2 - カメラ焦点距離を用いた絶対測定および相対測定のための方法および装置 - Google Patents

カメラ焦点距離を用いた絶対測定および相対測定のための方法および装置 Download PDF

Info

Publication number
JP7042366B2
JP7042366B2 JP2020567761A JP2020567761A JP7042366B2 JP 7042366 B2 JP7042366 B2 JP 7042366B2 JP 2020567761 A JP2020567761 A JP 2020567761A JP 2020567761 A JP2020567761 A JP 2020567761A JP 7042366 B2 JP7042366 B2 JP 7042366B2
Authority
JP
Japan
Prior art keywords
depth
target
image
images
regions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020567761A
Other languages
English (en)
Other versions
JP2021521742A (ja
Inventor
オズカン チェリク,
パトリシア エー. シュルツェ,
グレゴリー ジェー. フリーマン,
ポール ズィー. ウィルト,
トンマーゾ ヴェルチェージ,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Applied Materials Inc
Original Assignee
Applied Materials Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Applied Materials Inc filed Critical Applied Materials Inc
Publication of JP2021521742A publication Critical patent/JP2021521742A/ja
Application granted granted Critical
Publication of JP7042366B2 publication Critical patent/JP7042366B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/22Measuring arrangements characterised by the use of optical techniques for measuring depth
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/002Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/571Depth or shape recovery from multiple images from focus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

[001]本明細書に提供される実施形態は、深度測定に関し、より具体的には、カメラ焦点距離を用いた絶対深度測定および相対深度測定のための方法および装置に関する。
[002]カメラは、一般に、2次元画像平面(x平面とy平面)における高精度位置決めが必要とされる用途における位置測定のために採用される。これらの用途には、例えば、超高解像度ディスプレイおよびモバイルデバイス用の高画素密度スクリーンの生産におけるパターニングプロセスに備えたマスクと基板の位置合わせが含まれる。
[003]現在、これらのタイプの用途では、深度軸(z平面)に沿った距離測定は、通常、レーザ距離センサ、共焦点センサまたは接触センサを用いて実施される。これらのセンサは、現在の製造プロセスに大幅なコストおよび複雑さを追加し得る。
[004]したがって、高精度で、既存のセンサの使用に関わる複雑さおよびコストを伴わない、深度測定装置および方法が求められる。
[005]いくつかの実施形態では、(1)カメラ軸に沿った複数の深度レベルを含むターゲットの一連の画像の画像データを捕捉することができるカメラ・レンズアセンブリと、(2)カメラ・レンズアセンブリまたはターゲットが位置付けられる移動ステージと、(3)カメラ軸に沿ったカメラ・レンズアセンブリとターゲットとの間の相対移動を規定された増分値で提供する、移動ステージに接続されたモータと、(4)カメラ軸に沿ったカメラ・レンズアセンブリまたはターゲットの相対位置データを、移動の各増分値で捕捉することができる位置センサと、(5)コントローラとを含む、深度測定装置が提供される。コントローラは、(a)画像勾配法を使用して、捕捉された画像データ内の関心領域として表される複数の深度レベルについての画像鮮鋭度データを生成するように構成された画像処理ユニットと、(b)画像鮮鋭度データを使用して、カメラ・レンズアセンブリと、捕捉された画像データ内の関心領域として表される複数の深度レベルの各々との間の最適な焦点距離を特定するように構成された距離処理ユニットと、(c)最適な焦点距離データを処理して、捕捉された画像データ内の関心領域として表される複数の深度レベルの各々についての深度を特定するように構成された深度処理ユニットと、を含む。
[006](1)カメラ軸に沿った複数の深度レベルを含むターゲットの一連の画像の画像データを捕捉することができるカメラ・レンズアセンブリと、(2)カメラ・レンズアセンブリまたはターゲットが位置付けられる移動ステージと、(3)移動ステージに接続され、カメラ軸に沿ったカメラ・レンズアセンブリとターゲットとの間の相対移動を規定された増分値で生じさせるように構成されたモータと、(4)カメラ軸に沿ったカメラ・レンズアセンブリまたはターゲットについての位置データを、規定された増分値の各々で捕捉することができる位置センサと、(5)画像勾配法および最適な焦点距離を用いて、捕捉された画像データおよび捕捉された位置データを処理して、複数の深度レベルの各々について深度を特定するように構成されたコントローラとを含む、深度測定装置が提供される。
[007]いくつかの実施形態では、(1)複数の深度レベルを有するターゲットを提供することと、(2)カメラ・レンズアセンブリまたはターゲットが移動可能であるように、カメラ・レンズアセンブリまたはターゲットを移動ステージ上に位置付けることと、(3)ターゲットの複数の深度レベルの全てについての最適な焦点距離を通して、規定された増分値でカメラ・レンズアセンブリまたはターゲットをステップ移動させることと、(4)位置センサを採用して、各増分値で、カメラ・レンズアセンブリまたはターゲットの位置データを測定することと、(5)カメラ・レンズアセンブリを採用して、各増分値で、一連の画像を捕捉するようにターゲットの画像を捕捉することと、(6)捕捉された一連の画像内の画像の各々に画像勾配法を適用することであって、捕捉された画像の各々において、より多い量の鮮明細部が深度レベルの縁部で見える場合により高い輝度勾配値を有し、より少ない量の鮮明細部が深度レベルの縁部で見える場合により低い輝度勾配値を有する処理された画像を作成する、画像勾配法を適用することと、(7)複数の深度レベルの各々について、処理された画像内の関心領域を特定することと、(8)各処理された画像についておよび各関心領域について、画像鮮鋭度スカラ値を作成することと、(9)各関心領域についての画像鮮鋭度スカラ値に基づいて、各関心領域について最適な焦点距離を特定することと、(10)関心領域の各々について特定された最適な焦点距離に基づいて、複数の深度レベルの各々についての深度測定値を特定することとを含む、深度を測定する方法が提供される。
[008]本開示の上記の実施形態および他の実施形態により、多数の他の態様が提供される。本開示の実施形態の他の特徴および態様は、以下の詳細な説明、添付の図面、および特許請求の範囲より完全に明らかになろう。
[009]下記で説明する図面は、例示目的のためだけのものであり、必ずしも縮尺通りではない。図面は、いかなるやり方においても、本開示の範囲を限定することは意図されていない。
[0010]本明細書に提供される実施形態による、カメラ焦点距離を用いた深度測定装置の斜視図を示す。 [0011]本明細書に提供される実施形態による、カメラ焦点距離を用いた、図1Aの深度測定装置の代替的な実施形態の斜視図を示す。 [0012]本明細書に提供される実施形態による、複数の深度レベルを有する例示的なターゲットを示す。 [0013]本明細書に提供される実施形態による、カメラ焦点距離を用いた深度測定装置のためのコントローラによって提供される例示的な処理ユニットの概略図を示す。 [0014]本明細書の実施形態による、一連の画像内で捕捉された単一の深度レベルの画像の概略図を示す。 [0015]本明細書の実施形態による、捕捉された一連の画像内に表される単一の深度レベルの画像を示す。 [0016]本明細書の実施形態による、画像勾配フィルタが適用された、捕捉された一連の画像内の単一の深度レベルの表現を示す。 [0017]本明細書の実施形態による、画像勾配フィルタが適用された、捕捉された一連の画像内の単一の深度レベルのフィルタされた画像を示す。 [0018]本明細書の実施形態による、捕捉された一連の画像内に含まれる単一の深度レベルを表す距離対画像鮮鋭度スカラ値のプロットを示す。 [0019]本明細書の実施形態による、曲線がフィッティングされた単一の深度レベルを表す距離対画像鮮鋭度スカラ値のプロットを示す。 [0020]本明細書の実施形態による、複数の深度レベルについての画像鮮鋭度対距離の例示的なプロットを示す。 [0021]本明細書に提供される実施形態による、カメラ焦点距離を用いた深度測定値を得る方法を示すフローチャートを示す。
[0022]ここで、添付の図面に示した例示的な実施形態を詳細に参照する。複数の図を通して同じまたは類似した部分を参照するために、可能な限り、図面全体を通して同じ参照番号が使用される。別途特段に明記されない限り、本明細書に記載の様々な実施形態の特徴は互いに組み合わされ得る。
[0023]フラットパネルディスプレイおよび/または半導体デバイス製造のための既存の高精度測定システムは、測定される基板の各領域に対して別個のセンサを必要とする。これらのセンサは、レーザベースおよび共焦点センサ、または測定される各個別の領域と実際に接する接触センサを含み得る。結果的に、これらのタイプのセンサは、製造プロセスに大幅なコストおよび複雑さを追加する。
[0024]上記に挙げた問題のうちの一以上、特にレーザベース、共焦点または接触ベースのセンサのコストおよび複雑さを改善するために、より廉価で、測定される一以上の領域と直接接触することを必要としない深度測定装置および方法が提供される。
[0025]本明細書に提供されるいくつかの実施形態では、正確な表面深度測定値を得るために、撮像カメラおよび焦点距離が採用され得る。例えば、カメラおよびレンズを含むカメラアセンブリは、種々の深度レベルの一以上の特徴が測定される対象物(例えば、ターゲット)に向かう軸に沿って移動され得る。カメラアセンブリがターゲットの方へ、あるいはターゲットから離れて移動すると、カメラが予め規定された間隔で一連の画像を記録する「ステップ移動して画像を捕捉する(ステップ移動・画像捕捉)」プロセスが実施され得る。代替的な実施形態では、ターゲットまたはターゲットとカメラアセンブリの両方が互いに対して移動され得る。カメラアセンブリ(および/またはターゲット)の各予め規定された間隔またはステップにおいて画像が捕捉され、カメラアセンブリ(および/またはターゲット)の位置が特定される。
[0026]カメラアセンブリとターゲットとの間の距離が変化するにつれて、ターゲットの種々の深度における表面領域が、焦点を合わされたり焦点から外されたりする。例えば、画像勾配フィルタに基づく画像鮮鋭度測定基準を捕捉された各画像に適用して、ターゲットの特定の深度レベルが、何れのステップ(距離)において、最適(または最大)焦点にあるかを特定し得る。例えば、いくつかの実施形態では、縁部検出フィルタ(例えば、ソーベル(Sobel)フィルタ)の適用などの勾配ベースの検出方法が、捕捉された各画像に適用され得る。かかる勾配ベースの検出方法は、明確なまたはより焦点が合わされた縁部(focused edge)が検出される場合にはより高い勾配値を生成し、焦点外または縁部が検出されない場合にはより低い勾配値を生成し得る。フィルタされた各画像は、関心領域に分割され得、異なる関心領域は、測定されるターゲットの各深度レベルに対応する。例えば、各関心領域は、捕捉およびフィルタされた画像内のピクセルのサブセットであり得る。
[0027]いくつかの実施形態では、各関心領域に集合関数(aggregation function)が適用され得る。例えば、関心領域内の各ピクセル(またはピクセルのサブセット)に関して特定された勾配値を利用して、平均勾配値、標準偏差、最大または中央勾配値、標準偏差を平均で割ったものなどの上記の組合せ等を計算し得る。かかる集合値(aggregation value)は、本明細書では、画像鮮鋭度スカラとも称される。
[0028]特定の関心領域に対する画像鮮鋭度は、カメラアセンブリ(またはターゲット)の位置に対して解析され得る。画像鮮鋭度が関心領域に対して最大または最適である距離は、その関心領域に対する相対深度(したがって、ターゲットの対応する深度レベル)の測定値を提供する。画像鮮鋭度対距離は、ターゲット上で測定される各深度レベルに対する相対深度の測定値を得るために、各関心領域に対して解析され得る。いくつかの実施形態では、解像度および/または精度を向上させるために、関数は、各関心領域の距離データに対する画像鮮鋭度にフィッティングされてもよく、該関数の最大値は、最も焦点が合った位置を特定するために使用され得る。例示的な関数には、ガウス関数(Gaussian function)、コーシー関数(Cauchy function)などが含まれる。
[0029]本明細書で使用されるように、「最も」焦点が合うまたは「最適に」焦点が合うは、測定される(または関数によって予測される)際に最も焦点が合うまたは最適に焦点が合うことを指し、画像に対して実際の最も焦点が合うまたは最適に焦点が合うことを表さない場合があることに留意されたい。例えば、カメラアセンブリ(またはターゲット)は、特定の深度レベルについて最適に焦点が合うことを提供する正確な距離で停止せず、画像を記録しない場合がある。したがって、本明細書で使用されるように、最も焦点が合うまたは最適に焦点が合うことは、最も焦点が合うまたは最適に焦点が合うように測定されるおよび/もしくは予測されることを指す。
[0030]ターゲットの深度レベル(例えば表面)間の深度測定は、深度レベル間の相対深度測定値を表す。いくつかの実施形態では、既知の深度測定値を有する基準特徴が、ターゲットまたはカメラアセンブリの近傍または上部に位置付けられ得、測定されるターゲットの各深度レベルに対する絶対深度測定値を確立するために使用され得る。
[0031]本明細書で提供される例示的な深度測定装置および方法のさらなる詳細が、以下の図1A~7を参照しながら記載される。
[0032]図1Aは、本明細書に提供される実施形態による、カメラ焦点距離を用いた深度測定装置100の概略斜視図を示す。該深度測定装置100は、カメラ・レンズアセンブリ102(図1Aに点線で示される)ならびにターゲット104を含み得る。カメラ・レンズアセンブリ102は、カメラ軸108に沿ったカメラ・レンズアセンブリ102とターゲット104との間の相対移動を提供するやり方で、移動ステージ106に取り付けられる。カメラ・レンズアセンブリ102、ターゲット104および移動ステージ106を支持するフレーム109が示される。任意の適切なフレームまたは他の構造物が、これらの構成部品(例えば、一以上のフレームまたは他の支持部材)を支持するために使用され得る。
[0033]カメラ・レンズアセンブリ102は、画像捕捉要素110およびレンズアセンブリ112を含む。画像捕捉要素110は、当業者に知られる任意のタイプの画像捕捉デバイスから構成され得る。一以上の実施形態では、画像捕捉要素110は、適切な解像度の相補型金属-酸化物-半導体(CMOS)または荷電連結デバイス(CCD)であり得る。例示的な解像度は、2~12メガピクセル以上であり得、いくつかの実施形態では、約4~6メガピクセル以上であり得る。採用され得る1つの特定の例示的なCMOSセンサは、約2000×2000ピクセル、約5メガピクセル解像度、および約3.5マイクロメートルのピクセルサイズを有し得る。他のセンサタイプ、ピクセルサイズ、ピクセル数、および/または解像度が使用されてもよい。画像捕捉要素110の解像度は、撮像される特徴のサイズ、照明、ピクセルサイズ、センササイズ、カメラ・レンズアセンブリ102で使用されるレンズのタイプなどのいくつかのパラメータに応じてよい。いくつかの実施形態では、カメラ・レンズアセンブリ102は、約1mm×1mmのターゲット104の領域を撮像し得る。他の領域サイズが撮像されてもよい。
[0034]レンズアセンブリ112は、画像捕捉要素110と機能的に連動するように位置付けられる。具体的には、レンズアセンブリ112は、画像捕捉要素110のカメラ軸108と同一線上にあるターゲット104の領域の画像に焦点を合わせる。撮像された領域は、測定された複数の深度レベル114を含み得る。撮像される深度レベルは、用途に応じて、互いに隣接していても隣接していなくてもよい。いくつかの実施形態では、深度レベルは、連続した傾斜を含み得る。レンズアセンブリ112は、規定された焦点距離を有する任意のタイプの既知のレンズアセンブリから構成され得る。一以上の実施形態では、レンズアセンブリ112は、カメラ軸108に沿って一定の非角度視野を有し、その倍率がカメラ軸108に沿った深度に対して変化しないテレセントリックレンズ(telecentric lens)であり得る。
[0035]ターゲット104は、測定される一以上の深度レベル114を含み得る。いくつかの実施形態では、ターゲット104は、正確に測定される複数の隣接する、隣接しない、および/または離散的な深度レベル114を含む表面を含み得る。測定される例示的な深度レベルは、ミリメートルまたはミリメートル未満(例えばミクロン)の範囲にあり得る。例えば、いくつかの実施形態では、数ミクロン~数十ミクロンまたは数百ミクロンの深度を有する特徴が、カメラ・レンズアセンブリ102で撮像され得る。例示的なターゲットには、膜堆積、パターニング、半導体ドーピング、または他の処理のために均一な分離を必要とする基板およびマスク、プリント基板、フラットパネルディスプレイ、他の半導体デバイス等が含まれるが、これらに限定されるものではない。
[0036]図1Aに戻ると、いくつかの実施形態では、深度測定装置100は、モータ116と、カメラ・レンズアセンブリ102とターゲット104との間の相対移動を提供する移動ステージ106に連結された主ねじ118とを含み得る。具体的には、モータ116の回転によって、主ねじ118は回転し、カメラ軸108(図1Aでは垂直)に沿って移動ステージ106(およびカメラ・レンズアセンブリ102)を移動させ、カメラ軸108に沿って規定された増分値でカメラ・レンズアセンブリ102の相対移動を提供する。該増分値は、採用されるモータのステップ分解能に応じて、いかなるサイズに設定されてもよい。例えば、一以上のギアは、用途に応じて、モータステップサイズを、より大きいまたはより小さい増分値(ステップ)に変換し得る。いくつかの実施形態では、増分値は、5、10、15、または20ミクロンであってよいが、より大きいまたはより小さい増分値が使用されてもよい。一以上の実施形態では、モータ116は、ターゲット104に対して約50マイクロメートルの増分値でカメラ・レンズアセンブリ102を移動させ得る。カメラ・レンズアセンブリ102によって動かされる全距離は、いくつかの実施形態では、約20~30cmであり得、後述するステップ移動・画像捕捉プロセス中に、より短いまたはより長い距離が使用され得る。
[0037]一以上の実施形態では、モータ116は、リニアモータ、DCブラシ付きまたはブラシレスモータ、ACモータ、ステッピングモータ、または任意の他の適切なモータであり得る。いくつかの実施形態では、主ねじ118の代わりにボールねじまたは他の回転から直線的移動への伝達装置が使用され得る。
[0038]図1Aのモータ116は、カメラ・レンズアセンブリ102に(主ねじ118および移動ステージ106を介して)取り付けられるように示されており、カメラ軸108に沿ってカメラ・レンズアセンブリ102を移動させる。概して、モータ116は、任意の位置でカメラ・レンズアセンブリ102に直接的または間接的に取り付けられてよい。例えば、モータ116は、モータ116による直線的なステージの移動がカメラ・レンズアセンブリ102の移動を生じさせるように、カメラ・レンズアセンブリ102を上部、底部または側面から支持する直線的なステージに連結され得る。他の構成が、カメラ・レンズアセンブリ102を支持しおよび/または移動させるために使用されてもよい。
[0039]図1Aに示す実施形態の変形例では、移動ステージ106およびモータ116は、カメラ・レンズアセンブリ102に取り付けられるのではなく、図1Bに示すように、カメラ・レンズアセンブリ102に対してターゲット104を移動させ得る。この構成では、ターゲット104は、カメラ・レンズアセンブリ102に対してカメラ軸108に沿って規定された増分値で移動し得る。さらに別の実施形態(図示せず)では、カメラ・レンズアセンブリ102とターゲット104の両方を移動させるために、一以上のモータが採用され得、それにより、互いに対して規定された増分値でカメラ・レンズアセンブリ102とターゲット104の両方を移動させる。
[0040]図1Aに戻ると、深度測定装置100は、ターゲット104に対するカメラ・レンズアセンブリ102の移動を追跡する位置センサ120を含む。いくつかの実施形態では、位置センサ120は、カメラ・レンズアセンブリ102、モータ116、移動ステージ106、主ネジ118、または任意の他の適切な位置に取り付けられ得る。位置センサ120は、ステップ移動・画像捕捉プロセス(後述する)において、移動ステージ106と共に移動する際に、カメラ・レンズアセンブリ102の位置を追跡する。図1Bの実施形態では、位置センサ120は、ステップ移動・画像捕捉プロセスにおいて、移動ステージ106と共に移動するときに、ターゲット104の位置を追跡し得る。
[0041]いくつかの実施形態では、位置センサ120は、モータ116のシャフトまたは主ねじ118に連結された光学的または他のエンコーダであり得る。他の位置センサを使用してもよい。概して、位置センサ120は、ステップ移動・画像捕捉プロセスにおいて、カメラ軸108に沿って移動するように構成された移動ステージ106の位置に取り付けられ、移動ステージ106の位置を追跡し得る。使用され得る他の例示的なセンサは、磁気エンコーダ、線形可変差動変圧器(LVDT)等を含む。
[0042]いくつかの実施形態では、カメラ・レンズアセンブリ102およびターゲット104は、垂直に整列されないことがある。例えば、カメラ・レンズアセンブリ102およびターゲット104は水平に位置付けられ得る。同様に、カメラ軸108は、直線でない場合もある。例えば、一以上のミラー(図示せず)が、ターゲット104からカメラ・レンズアセンブリ102に任意の所望の角度(例えば、45度、90度など)で画像を導くために採用され得る。
[0043]深度測定装置100の動作を制御するために、一以上のマイクロプロセッサ、マイクロコントローラ、専用ハードウェアおよび/またはソフトウェア等のコントローラ122が提供され得る。いくつかの実施形態では、コントローラ122は、内部メモリまたは外部メモリ、および画像捕捉要素110、レンズアセンブリ112、モータ116、位置センサ120などの動作を制御するためのソフトウェアを含み得る。
[0044]図1Cは、本明細書に提供される実施形態による、複数の深度レベル114a、114bおよび114cを有する例示的なターゲット104を示す。ターゲット104は単なる一例であり、他の特徴および/または深度レベルの数を有するターゲットは、深度測定装置100を用いて解析され得る。図1Cを参照すると、深度レベル114aは、第1の高度であり、深度レベル114bは、第2の高度であり、深度レベル114cは、第3の高度である。深度レベル114aは、深度レベル114cに隣接していない。以下にさらに記載するように、深度測定装置100を採用して、深度レベル114a、114bおよび/または114cの相対深度/または絶対深度を特定し得る。例えば、いくつかの実施形態では、画像捕捉要素110は、領域124を撮像し得る。1つの特定の例示的実施形態では、関心領域126aは、深度レベル114aに関する深度レベル情報を特定するために、画像捕捉要素110によって撮られた画像内で解析され得、関心領域126bは、深度レベル114cに関する深度レベル情報を特定するために、画像捕捉要素110によって撮られた画像内で解析され得る(さらに後述する)。例えば、ターゲット104の関心領域126aは、画像捕捉要素110のピクセル領域128aに対応し得、ターゲット104の関心領域126bは、画像捕捉要素110のピクセル領域128bに対応し得る(図1Cにおいてターゲット104の右側に示される)。
[0045]図2は、本明細書に提供される実施形態による、カメラ焦点距離を用いた深度測定装置100のためのコントローラ122によって提供され得る例示的処理ユニットの概略図を示す。コントローラ122は、記憶ユニット202、画像処理ユニット204、距離処理ユニット206および深度処理ユニット208を含み得る。処理ユニット204、206、および/または208は、例えば、メモリに記憶され、コントローラ122によって実行可能なコンピュータプログラムコードまたは命令であり得る。記憶ユニット202は、コントローラ122の内部または外部の任意の適切なストレージ(例えば、固体メモリ、ハードドライブなど)であり得る。
[0046]いくつかの実施形態では、記憶ユニット202は、カメラ・レンズアセンブリ102によって捕捉された一連の画像のみならず、ステップ移動・画像捕捉プロセス中に位置センサ120によって追跡されたときの捕捉された画像の各々についての対応する位置データも記憶し、検索するように構成され得る。例えば、記憶ユニット202は、何れが、取り付けられたモータ116を用いて移動ステージ106に沿って移動するように構成されているかに応じて、それぞれの捕捉された画像と、カメラ・レンズアセンブリ102、ターゲット104、またはその両方の何れかの位置との間の相関関係を維持し得る。
[0047]画像処理ユニット204は、ステップ移動・画像捕捉プロセス中に捕捉された一連の画像内の各画像に対して、勾配ベースの縁部検出機能を実施することなどによって、捕捉された画像情報を処理するように構成される。一以上の実施形態では、勾配ベースの縁部検出方法は、ソーベル(Sobel)、プルウィット(Prewitt)、ラプラス(Laplace)、または類似のフィルタなどの縁部検出フィルタを捕捉された画像に適用することを採用する。結果として得られるフィルタされた画像は、明瞭な縁部が検出された画像のそれらの部分において、より高い輝度を有し得る。あるいは、結果として得られるフィルタされた画像は、検出された縁部が存在しない、あるいは検出された縁部がぼやけている(不鮮明な)画像のそれらの部分において、輝度がより低いか輝度を有さないことがある。これらの処理された画像は、例えば、各画像の元の位置データとともに記憶ユニット202に記憶され得る。例えば、離散コサイン変換などの周波数領域法を含む、他の縁部検出法または画像勾配法が使用され得る。
[0048]いくつかの実施形態では、ターゲットが既知の深度範囲内に一以上の特徴を有する場合、画像のサブセットが取得および記憶され得る。このことにより、深度レベルの測定を実施する時間が削減され得る。例えば、第1の画像セットは、複数の最初に捕捉された画像において検出され、そこから抽出された第1の深度レベルの勾配ベースの縁部検出フィルタされた画像を含み得る。第2の画像セットは、複数の最初に捕捉された画像において検出され、そこから抽出された第2の深度レベルの勾配ベースの縁部検出フィルタされた画像を含み得る。第3の画像セットは、複数の最初に捕捉された画像において検出され、そこから抽出された第3の深度レベルの勾配ベースの縁部検出フィルタされた画像などを含み得る。以下同様。
[0049]いくつかの実施形態では、各深度レベルに関する画像セットを作成および/または記憶することは実施されない。例えば、ステップ移動・画像捕捉プロセスにおいて捕捉された全画像は、各画像内の関心領域に関する画像鮮鋭度情報を再検討することによって、各深度レベルについて解析され得る。図1Cの例示的な関心領域126aおよび126bを参照すると、深度レベル114aおよび114cそれぞれに関する画像鮮鋭度情報を特定するために、画像捕捉要素110によって捕捉された画像のピクセル領域128aおよび128bが解析され得る。
[0050]画像勾配法を適用すること、特に各画像内の関心領域に適用することは、各関心領域内の各ピクセルについての勾配値に対応する輝度値を生成するために使用され得る。この情報は、後述するように、距離処理ユニット206によって使用され得る。
[0051]距離処理ユニット206は、各深度レベルに対して、カメラ・レンズアセンブリ102とターゲット104との間の最適な焦点距離を特定するように構成される。例えば、距離処理ユニット206は、まず、各フィルタされた画像の各関心領域の輝度値に対して集合関数を実施し得る。例示的な集合関数は、すべてのピクセルまたはピクセルのサブセットにおける、輝度値の平均、標準偏差、最大値もしくは中央値、標準偏差を平均で割ったもの等のこれらのうちの一以上の組合せ等を含む。関心領域のピクセルのサブセットは、例えば、フィルタされた画像の関心領域内で非ゼロ値を有するピクセルであり得る。集合関数の適用は、収集された画像内でカバーされる各増分位置における特定の深度レベルに対する画像鮮鋭度を表す、関心領域についての画像鮮鋭度スカラ値をもたらす。これらの画像鮮鋭度スカラ値の各々は、例えば、記憶ユニット202内の対応する位置データと共に記憶されてもよい。
[0052]一旦、収集された画像内に含まれる各画像の各関心領域に画像鮮鋭度スカラ値が生成されると、いくつかの実施形態では、距離処理ユニット206は、各関心領域についての画像鮮鋭度スカラ値に曲線をフィッティングさせ得る。例えば、ガウス曲線、コーシー曲線または他の曲線を使用して、各関心領域について位置に対する画像鮮鋭度スカラ値をフィッティングさせることができる。曲線フィッティングに基づいて、各深度レベルに対するカメラ・レンズアセンブリ102とターゲット104との間の最適な焦点距離が特定され得る(例えば、各関心領域についてのピーク画像鮮鋭度スカラ値に関連付けられた位置データに基づいて)。いくつかの実施形態では、深度測定の解像度および精度は、最適な焦点距離の特定の前に画像鮮鋭度スカラ値に曲線をフィッティングさせることによって改善され得る。また、各深度レベルについて行われる画像測定の回数が削減され得る。
[0053]深度処理ユニット208は、最適な焦点距離が距離処理ユニット206によって特定された深度レベルの各々について、相対深度および/または絶対深度を特定するように構成され得る。
[0054]センサ120によって提供される位置データは、撮影された各画像について、移動ステージ106上のカメラ・レンズアセンブリ102の位置、ターゲット104の位置、または両方の位置に関する情報を提供する。そのように、2つの異なる深度レベルに対する最適な焦点距離が特定されると、最適な焦点距離間の差によって、深度レベル間の相対深度が提供される。
[0055]また、深度処理ユニット208は、深度レベルの各々について絶対測定値も特定し得る。一以上の実施形態では、カメラ・レンズアセンブリ102、ターゲット104またはいくつかの他の位置の基準面に対する既知の基準深度を確立し、基準面に対するターゲット104の全ての他の表面(例えば深度レベル)を測定することによって、絶対深度測定値が引き出され得る。すなわち、基準面に対する相対距離を基準面の既知の表面深度と組み合わせて、絶対測定値を得ることができる。あるいは、カメラ軸108に沿った一連の画像を捕捉する前に特定されるように、カメラ・レンズアセンブリ102の最適な焦点距離を用いて、基準深度が確立され得る。例えば、カメラ・レンズアセンブリ102の視界内の基準面が撮像され得、カメラ・レンズアセンブリ102の最適な焦点距離におけるカメラ・レンズアセンブリ102の位置が、基準面に対して特定され得る。基準面に対するカメラ・レンズアセンブリ102の位置は、光学エンコーダなどの位置センサを用いてモニタされ得る。既知の基準面位置、基準面に対するカメラ・レンズアセンブリ102の位置、およびそれが最適な焦点距離にある間のカメラ・レンズアセンブリ102からの基準面の距離を含む全ての距離測定値を組み合わせて、絶対深度測定値を生成することができる。
[0056]図3A~5Bは、複数の深度レベルを有するターゲットの例示的な単一深度レベルの典型的なデータである。したがって、図3A~5Bは、複数の深度レベルを有するターゲットの各個別の深度レベルについて得られるであろうデータを表す。
[0057]図3Aは、本明細書の実施形態による、一連の画像内で捕捉されたターゲットの単一の深度レベルの画像の概略図300を示す。図3Aの画像では、不鮮明な画像は複数の同心円を有し、最適な焦点付近の画像は1つの円を有する。
[0058]図3Aを参照すると、カメラ・レンズアセンブリ102によって捕捉された第1の画像は、画像表現302である。例えば、画像表現302は、カメラ・レンズアセンブリ102が例示的な深度レベルの撮像を開始したときに捕捉され得る。図示のように、画像表現302は、画像がカメラ・レンズアセンブリ102の最適な焦点距離から遠い地点で捕捉されたので、不鮮明である(例えば、複数の同心円によって表される)。そのように、画像表現302は、鮮明度が非常に低い。
[0059]画像表現302の捕捉に続いて、カメラ・レンズアセンブリ102が移動され、画像表現304を捕捉するために使用された。図3Aに示されるように、画像表現304は、(より少ない同心円によって表されるように)画像表現302よりも不鮮明さが少なく、深度レベルの最適な焦点距離により近い点で捕捉された。
[0060]画像表現304の捕捉に続いて、カメラ・レンズアセンブリ102が移動され、画像表現306を捕捉するために使用された。画像表現306は、カメラ軸108に沿った最適な焦点距離に最も近い位置で捕捉された。この画像は、捕捉された一連の画像内で最も鮮明である。そのように、この画像には、深度レベルの縁部で見える最大量の鮮明細部が含まれる(同心円がないことが、捕捉された画像内の鮮明な縁部を表している)。
[0061]画像表現306の捕捉に続いて、カメラ・レンズアセンブリ102が移動され、画像表現308を捕捉するために使用された。次いで、移動され、画像表現310を捕捉するために使用された。画像表現308および310は、カメラ・レンズアセンブリ102が、深度レベルからの最適な焦点距離からさらに離れているときに捕捉され、したがって不鮮明である(例えば、それぞれ、画像表現304および302に類似している)。
[0062]図3Bは、本明細書の実施形態による、図3Bの画像表現に対応する、捕捉された一連の画像内に表されるターゲットの単一の深度レベルの実際の画像300’を示す。図3Bを参照すると、カメラ・レンズアセンブリ102と撮像される深度レベルとの間の最適な焦点距離から最も遠い点で、最も不鮮明な画像(参照番号302’および310’で表される)が捕捉された。そのように、これらの捕捉された画像には、深度レベルの縁部で見える鮮明細部の最少量が含まれる。カメラ・レンズアセンブリ102が撮像される深度レベルに対して移動されると、カメラ・レンズアセンブリ102が、参照番号306’で表されるような深度レベルから最適な焦点距離に近づくにつれて、捕捉された画像はより不鮮明でなくなる(参照番号304’および308’)。
[0063]図4Aは、本明細書の実施形態による、ソーベルフィルタなどの画像勾配フィルタが適用された、捕捉された一連の画像内の単一の深度レベルの表現400を示す。具体的には、表現400は、図3Aの画像表現302~310に対応するフィルタされた画像表現を提供する。フィルタされた画像表現402および410は、最も不鮮明な画像表現302および310から引き出されるので、フィルタされた画像の最も低い輝度勾配値を有する。画像表現402および410の低い輝度勾配値は、捕捉された画像表現302および310における深度レベルの縁部で見える鮮明細部が欠けていることを表す(小さな白い領域はフィルタされた画像における低い輝度勾配値を表す)。
[0064]同様に、フィルタされた画像表現404および408は、図3Aの捕捉された一連の画像表現内の不鮮明な画像表現304および308からも引き出されるので、低い輝度勾配値を有する。フィルタされた画像表現404および408の低い輝度勾配値は、捕捉された画像表現304および308における深度レベルの縁部で見える鮮明細部が欠けた結果である(小さな白い領域はフィルタされた画像における低い輝度勾配値を表す)。
[0065]フィルタされた画像表現406は、捕捉された一連の画像内の最も鮮明な画像表現306から引き出されるので、最大の輝度勾配値を有する。フィルタされた画像表現406の高い輝度勾配値は、捕捉された画像表現306における深度レベルの縁部で見える鮮明細部を表す(最大の白い領域はフィルタされた画像における最大の輝度勾配値を表す)。
[0066]図4Bは、本明細書の実施形態による、画像勾配フィルタが適用された、図4Aの画像表現に対応する、捕捉された一連の画像内の単一の深度レベルの実際のフィルタされた画像を示す。画像鮮鋭度データは、図3Bの一連の画像に画像勾配フィルタを適用することによって得られる。フィルタされた画像402’および410’は、最も不鮮明な画像から引き出されるので、最も低い画像鮮鋭度を有する。
[0067]最適な焦点距離に近い画像は不鮮明さが少なく、より顕著なフィルタされた画像を有する(参照番号404’および408’参照)。カメラ・レンズアセンブリ102が、深度レベルまでの最適な焦点距離に最も近かったときに撮られた画像は、最も明るい画像勾配を有する(参照番号406’)。
[0068]上述のように、一以上の関心領域は、一以上の深度レベルに関する深度レベル情報を特定するために、画像捕捉要素110によって撮られた画像内で解析され得る。例えば、ターゲットの関心領域は、画像捕捉要素110のピクセル領域に対応し得る。いくつかの実施形態では、各関心領域に集合関数が適用され得る。例えば、関心領域内の各ピクセル(またはピクセルのサブセット)に関して特定された輝度値を利用して、平均輝度値、標準偏差、最大または中央輝度値、標準偏差を平均で割ったものなどの上記の組合せ等を、関心領域に対して計算し得る。いくつかの実施形態では、集合関数は、各画像内の各関心領域に画像鮮鋭度スカラ値などの画像鮮鋭度情報を生成するために使用され得る。
[0069]図5Aは、本明細書の実施形態による、捕捉された一連の画像内に含まれる単一の深度レベルを表すカメラ位置(距離)に対する画像鮮鋭度(スカラ値)のプロット500を示す。図5Aは、22個の捕捉された画像についての画像鮮鋭度データを示す。いくつかの実施形態では、より少ないまたはより多い画像が捕捉され得る。さらに、いくつかの実施形態では、(かかる情報が利用可能である場合)特定の深度レベルについて最適な焦点が予測される場所付近で、より多くの画像が捕捉され得る。例えば、画像が撮られる頻度は、深度レベルに対するカメラ位置に基づいて増減され得る。
[0070]図5Aのプロットに示されるように、カメラ距離502は、最も高い画像鮮鋭度スカラ値504に相関する距離(例えば、深度レベルに対するほぼ最適な焦点距離)である。より小さい画像鮮鋭度スカラ値506aおよび506bは、最も高い画像鮮鋭度スカラ値504を生成する距離502よりも短いおよび長い対応する距離で、最も高い画像鮮鋭度スカラ値504の両側に示される。これらの距離は、最も高い画像鮮鋭度スカラ値504を生成する距離502(例えば、深度レベルのほぼ最適な焦点距離)までの距離と、次いでそれを過ぎた距離とに、カメラ・レンズアセンブリ102をステップ移動させるモータ116によって使用される増分値によって分離される。
[0071]図5Bは、本明細書の実施形態による、曲線508がフィッティングされた単一の深度レベルを表すカメラ位置(距離)に対する画像鮮鋭度スカラ値のプロット500’を示す。曲線508は、図5Aに示されるプロット画像鮮鋭度スカラ値にフィッティングされる。フィッティングすると、曲線508は、最も高い画像鮮鋭度スカラ値(例えば、図5Bの画像鮮鋭度スカラ値504’)を生成する異なる距離502’を提供するために使用され得る。前述のように、画像捕捉要素110は、特定の深度レベルに対して正確で最適な焦点距離で画像を捕捉しない場合がある。画像鮮鋭度データに曲線をフィッティングすることによって、実際の最適な焦点距離のより正確な予測が得られ得る(図5B参照)。そのように、曲線フィッティングを使用することにより、深度測定の解像度および/または精度は向上し得る。
[0072]図6は、本明細書の実施形態による、複数の深度レベルについての距離に対する画像鮮鋭度の例示的なプロット600を示す。図6を参照すると、第1の曲線602は、第1の深度レベルに対する画像鮮鋭度スカラ値の曲線フィッティングを表し、第2の曲線604は、第2の深度レベルに対する画像鮮鋭度スカラ値の曲線フィッティングを表し、第3の曲線606は、ターゲットの第3の深度レベルに対する画像鮮鋭度スカラ値の曲線フィッティングを表す。第4の曲線608は、基準特徴(例えば、ターゲットまたはカメラアセンブリ上またはその近傍に存在する)に対する画像鮮鋭度スカラ値の曲線フィッティングを表す。プロット600の画像鮮鋭度データは、画像捕捉要素110が、距離Dにおける第1の深度レベルについて、距離Dにおける第2の深度レベルについて、距離Dにおける第3の深度レベルについて、最適な焦点の近くにあることを示す。距離D、D、および/またはDを互いに比較することにより、深度レベルについての相対距離および/または深度情報が提供され得、一方、距離D、D、および/またはDを基準深度レベルの距離DREFと比較することにより、各深度レベルの距離および/または深度の絶対測定値が提供され得る。
[0073]図7は、本明細書に提供される実施形態による、カメラ・レンズアセンブリ焦点距離を用いた深度測定値を得る方法700を示すフローチャートを示す。方法700は、ブロック702において、カメラ・レンズアセンブリまたはターゲットが移動可能であるように、カメラ・レンズアセンブリまたはターゲットを移動ステージ上に位置付けることより開始する。例えば、カメラ・レンズアセンブリ102または複数の深度レベルを有するターゲット104は、移動ステージ106に位置付けられ得る。カメラ・レンズアセンブリ102およびターゲット104は各々、カメラ・レンズアセンブリ102、ターゲット104、またはその両方が移動ステージ106上で移動可能であるように位置付けられ得る。この移動ステージによって、測定される複数の深度レベルの何れかに対する最適な焦点距離よりも大きいかあるいは小さい位置で開始して、カメラ・レンズアセンブリ102とターゲット104との間の相対距離を変更することができる。
[0074]位置付けられると、方法700は、ブロック704において、ターゲットの複数の深度レベルの全てについての最適な焦点距離を通して、カメラ・レンズアセンブリまたはターゲットを、規定された増分値で前方または後方にステップ移動させることを含む。例えば、カメラ・レンズアセンブリ102(またはターゲット104)は、規定された増分値で前方または後方にステップ移動し得る。このステップ移動は、測定される複数の深度レベルの全てについての最適な焦点距離を通して、相対距離が増加する又は減少するかの何れかまで継続する。
[0075]相対距離が増減している間、ブロック706において、各増分値で、方法700は、センサを採用して、カメラ・レンズアセンブリまたはターゲットの位置データを測定することと、カメラ・レンズアセンブリを採用して、一連の画像を捕捉するようにターゲットの画像を捕捉することとを含む。いくつかの実施形態では、各増分値において、捕捉された画像と移動ステージの対応する位置データとが記憶され得る。例えば、各増分値で、カメラ・レンズアセンブリ102を用いてターゲット104の画像が捕捉され記憶されてよく、ならびに位置センサ120によって提供される移動ステージの対応する位置データも捕捉され記憶されてよい。
[0076]画像シーケンスおよび対応する位置データが捕捉されると、ブロック708において、方法700は、捕捉された一連の画像内の画像の各々に画像勾配法を適用することを含む。画像勾配法は、より多い量の鮮明細部が深度レベルの縁部で見える場合により高い輝度勾配値を有し、より少ない量の鮮明細部が捕捉された画像の各々の深度レベルの縁部で見える場合により低い輝度勾配値を有する、処理された画像を作成するために使用され得る。処理されると、いくつかの実施形態では、処理された画像は記憶され得る。上述のように、縁部特徴を強調するために、ソーベルまたは類似のフィルタが適用され得る。
[0077]勾配フィルタされた画像が作成されると、ブロック710において、方法700は、複数の深度レベルの各々について処理された画像内の関心領域を特定することを含み、各関心領域は、ターゲットの個別の領域に対応する処理された画像の小区分を含む。いくつかの実施形態では、捕捉された画像内の関心領域は、各画像内のピクセルの所定のサブセットであり得る。例えば、ユーザは、(例えば、各深度レベルに対応する各画像内のピクセルのサブセットを選択することによって)各深度レベルで使用される関心領域を手動で画定し得る。いくつかの実施形態では、捕捉された画像内の関心点の位置を特定するために、ターゲット(基準)発見アルゴリズムが採用され得、次いで、関心点の周りの予め規定された領域(例えば、関心点の周りのボール、ドーナツ、長方形、正方形、または他の形状の領域)は関心領域として使用され得る。背景および前景対象物については、各対象物の範囲を画定し、関心領域内のこれらの領域を優先的に含めるかまたは除外するために、ブール(Boolean)マスク演算が適用され得る。
[0078]いくつかの実施形態では、各画像を関心領域に分割するために、検出された縁部が使用され得る。例えば、2つの円形または他の形状の標準点の中心を発見するために、テンプレート発見アルゴリズムが採用され得る。関心領域は、標準点の縁部の周りの領域として画定され得る。1つの例示的な実施形態では、背景関心領域を得るために、背景ドーナツ形状領域から前景ボール形状領域が引かれ得る。前景関心領域は、前景中心位置の周りのドーナツ領域であり得る。関心領域を規定するための他の適切な方法が採用され得る。
[0079]各深度レベルに対する関心領域が特定された後、ブロック712において、方法700は、各関心領域に対する各処理された(フィルタされた)画像に対する画像鮮鋭度スカラ値を作成することを含む。例えば、画像鮮鋭度スカラ値を特定するために、各関心領域内の一以上の輝度勾配値に集合関数が適用され得る。
[0080]ブロック714において、方法700は、各関心領域の画像鮮鋭度スカラ値に基づいて最適な焦点距離を特定することを含む。いくつかの実施形態では、前述したように、これは、画像鮮鋭度スカラ値対距離データに曲線をフィッティングさせることを含み得る。最適な焦点距離は、例えば、各関心領域内の最も高い画像鮮鋭度スカラ値に関連する位置データから引き出され得る。
[0081]ブロック716において、方法700は、関心領域の各々について、特定された最適な焦点距離に基づいて、複数の深度レベルの各々に対する相対(および/または絶対)深度測定値を特定することを含む。
[0082]前述の説明は、例示的な実施形態を開示しているにすぎない。本開示の範囲に含まれる上記の装置および方法の変形例が、当業者には容易に自明であろう。したがって、本発明は、その例示的な実施形態に関連して開示されているが、他の実施形態が、以下の特許請求の範囲によって定義される本発明の趣旨および範囲に含まれることもあると、理解すべきである。

Claims (19)

  1. ターゲットからの複数の距離で前記ターゲットの複数の画像を捕捉するように構成されたカメラアセンブリと、
    前記複数の画像のそれぞれについて、前記カメラアセンブリと前記ターゲットとの間の相対距離に関連する位置データを捕捉するように構成された位置センサと、
    コントローラであって、
    前記複数の画像内にある複数の領域のそれぞれについて、
    前記複数の画像内の対応する勾配値に対応する輝度値に基づく画像鮮鋭度の値を特定すること、
    前記画像鮮鋭度の値対前記位置データに曲線をフィッティングさせること、及び
    前記曲線内の最大の画像鮮鋭度の値に対応する位置データに基づいて、前記複数の領域のうちの領域の深度測定値を特定することであって、前記複数の領域の各領域は深度が異なる、深度測定値を特定すること、を実行するように構成されたコントローラと、を備える、深度測定装置。
  2. ターゲットからの複数の距離で前記ターゲットの複数の画像を捕捉するように構成されたカメラアセンブリと、
    前記複数の画像のそれぞれについて、前記カメラアセンブリと前記ターゲットとの間の相対距離に関連する位置データを捕捉するように構成された位置センサと、
    コントローラであって、
    前記複数の画像の各画像内にある、深度がそれぞれ異なる複数の領域のそれぞれについて、対応する勾配値に対応する輝度値に基づく画像鮮鋭度の値を特定すること、
    前記複数の領域のそれぞれに対して前記画像鮮鋭度の値対前記位置データに曲線をフィッティングさせること、及び
    前記複数の領域のそれぞれについての前記曲線内の最大の画像鮮鋭度の値に対応する位置データに基づいて、前記複数の領域のそれぞれについての深度測定値を特定すること、を実行するように構成されたコントローラと、を備える、深度測定装置。
  3. 前記ターゲットの前記複数の画像は、前記カメラアセンブリ又は前記ターゲットのうちの少なくとも一方を移動させることによって、前記ターゲットからの前記複数の距離で前記カメラアセンブリによって捕捉される、請求項2に記載の深度測定装置。
  4. 前記コントローラは、より多い量の鮮鋭細部が縁部で見える場合により高い輝度勾配値を有する処理画像を作成し、より少ない量の鮮鋭細部が縁部で見える場合により低い輝度勾配値を有する処理画像を作成するために、前記複数の画像内の前記複数の領域のそれぞれに画像勾配フィルタを適用することによって、前記対応する勾配値を特定し、前記複数の領域は複数の所定の領域である、請求項2に記載の深度測定装置。
  5. 前記画像勾配フィルタは、縁部検出フィルタ、ソーベルフィルタ、プルウィットフィルタ、又はラプラスフィルタのうちの1以上を含む、請求項4に記載の深度測定装置。
  6. 前記コントローラは、基準深度に基づいて前記深度測定値を更に特定し、前記複数の領域は、前記基準深度に対して測定される、請求項2に記載の深度測定装置。
  7. 前記カメラアセンブリと前記ターゲットとは、
    垂直に整列し、又は
    水平に整列し、又は
    ある角度に沿って整列する、請求項2に記載の深度測定装置。
  8. 前記コントローラは、前記深度測定値を含む複数の深度測定値を特定し、前記複数の深度測定値は、複数の隣接する深度レベル及び複数の隣接しない深度レベルに関連する、請求項2に記載の深度測定装置。
  9. ターゲットからの複数の距離で前記ターゲットの複数の画像を捕捉するように構成されたカメラアセンブリと、
    前記複数の画像のそれぞれについて、前記カメラアセンブリと前記ターゲットとの間の相対距離に関連する位置データを捕捉するように構成された位置センサと、
    コントローラであって、
    画像勾配フィルタを用いて前記複数の画像のそれぞれについての画像鮮鋭度の値と前記複数の画像のそれぞれについての前記位置データとを処理し、
    前記複数の画像内にある、複数の領域のそれぞれに対して、前記画像鮮鋭度の値対前記位置データに曲線をフィッティングさせ、
    前記複数の領域のそれぞれについての前記曲線内の最大の画像鮮鋭度の値に対応する位置データに基づいて、深度がそれぞれ異なる前記複数の領域のそれぞれについての深度測定値を特定する
    ように構成されたコントローラとを備える、深度測定装置。
  10. 前記ターゲットの前記複数の画像は、前記カメラアセンブリ又は前記ターゲットのうちの少なくとも一方を移動させることによって、前記ターゲットからの前記複数の距離で前記カメラアセンブリによって捕捉され、前記コントローラは、前記複数の画像を処理するために、前記複数の画像のそれぞれの画像内における、深度がそれぞれ異なる前記複数の領域の各領域の画像鮮鋭度のデータを処理する、請求項9に記載の深度測定装置。
  11. 前記画像勾配フィルタは、縁部検出フィルタ、ソーベルフィルタ、プルウィットフィルタ、又はラプラスフィルタのうちの1以上を含む、請求項10に記載の深度測定装置。
  12. 前記コントローラは、基準深度に基づいて前記深度測定値を更に特定し、前記複数の領域は、前記基準深度に対して測定される、請求項9に記載の深度測定装置。
  13. 前記カメラアセンブリと前記ターゲットとは、
    垂直に整列し、又は
    水平に整列し、又は
    ある角度に沿って整列する、請求項9に記載の深度測定装置。
  14. 前記コントローラは、前記深度測定値を含む複数の深度測定値を特定し、前記複数の深度測定値は、複数の隣接する深度レベル及び複数の隣接しない深度レベルに関連する、請求項9に記載の深度測定装置。
  15. ターゲットからの複数の距離でカメラアセンブリによって捕捉されるターゲットの複数の画像を受け取ること、
    前記複数の画像のそれぞれについて、前記カメラアセンブリと前記ターゲットとの間の相対距離に関連する位置データを受け取ること、
    前記複数の画像内の深度がそれぞれ異なる複数の領域のそれぞれについての対応する勾配値に対応する輝度値に基づく画像鮮鋭度の値を特定すること、
    前記複数の領域のそれぞれに対して、前記画像鮮鋭度の値対前記位置データに曲線をフィッティングさせること、及び
    前記複数の領域のそれぞれについての前記曲線内の最大の画像鮮鋭度の値に対応する位置データに基づいて、前記複数の領域のそれぞれについての深度測定値を特定することを含む、方法。
  16. 前記ターゲットの前記複数の画像は、前記カメラアセンブリ又は前記ターゲットのうちの少なくとも一方を移動させることによって、前記ターゲットからの前記複数の距離で前記カメラアセンブリによって捕捉される、請求項15に記載の方法。
  17. 前記複数の画像に画像勾配フィルタを適用することにより前記対応する勾配値を特定する、請求項15に記載の方法。
  18. 前記深度測定値を特定することは、基準深度に更に基づき、前記複数の領域は、基準深度に対して測定される、請求項15に記載の方法。
  19. 前記深度測定値を含む複数の深度測定値を特定することを更に含み、前記複数の深度測定値は、複数の隣接する深度レベル及び複数の隣接しない深度レベルに関連する、請求項15に記載の方法。
JP2020567761A 2018-06-05 2019-06-04 カメラ焦点距離を用いた絶対測定および相対測定のための方法および装置 Active JP7042366B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/000,884 US10498948B1 (en) 2018-06-05 2018-06-05 Methods and apparatus for absolute and relative depth measurements using camera focus distance
US16/000,884 2018-06-05
PCT/US2019/035446 WO2019236619A1 (en) 2018-06-05 2019-06-04 Methods and apparatus for absolute and relative depth measurements using camera focus distance

Publications (2)

Publication Number Publication Date
JP2021521742A JP2021521742A (ja) 2021-08-26
JP7042366B2 true JP7042366B2 (ja) 2022-03-25

Family

ID=68693469

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020567761A Active JP7042366B2 (ja) 2018-06-05 2019-06-04 カメラ焦点距離を用いた絶対測定および相対測定のための方法および装置

Country Status (6)

Country Link
US (3) US10498948B1 (ja)
JP (1) JP7042366B2 (ja)
KR (1) KR102323421B1 (ja)
CN (1) CN112243484B (ja)
TW (1) TWI804631B (ja)
WO (1) WO2019236619A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10498948B1 (en) * 2018-06-05 2019-12-03 Applied Materials, Inc. Methods and apparatus for absolute and relative depth measurements using camera focus distance
CN111445516B (zh) * 2020-03-03 2024-01-26 深圳市杰普特光电股份有限公司 玻璃基板内部二维码深度计算系统及计算方法
GB202015901D0 (en) 2020-10-07 2020-11-18 Ash Tech Limited System and method for digital image processing
US11965731B2 (en) * 2020-11-03 2024-04-23 Taiwan Semiconductor Manufacturing Company Ltd. Package structure and measurement method for the package structure
CN114689630A (zh) * 2020-12-30 2022-07-01 Fei 公司 用于对三维特征进行成像的方法和系统
CN113014808A (zh) * 2021-02-09 2021-06-22 湖南大学 图像采集系统及方法
CN113847841A (zh) * 2021-11-29 2021-12-28 南京润景丰创信息技术有限公司 一种激光对抗训练机器人靶标系统及其控制方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008014646A (ja) 2006-07-03 2008-01-24 Olympus Corp 基板検査方法
JP2014115149A (ja) 2012-12-07 2014-06-26 Olympus Corp 基板検査装置

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3141182A1 (de) 1980-10-16 1982-05-19 Canon K.K., Tokyo "scharfeinstellungs-ermittlungssystem"
JP3184641B2 (ja) 1992-11-09 2001-07-09 三鷹光器株式会社 テーパ孔のエッジ検出装置及びその深さ測定装置
US5598265A (en) * 1995-04-06 1997-01-28 Zygo Corporation Method for profiling an object surface using a large equivalent wavelength and system therefor
JP3216792B2 (ja) 1996-08-06 2001-10-09 富士電機株式会社 映像による距離検出方法
JPH10103934A (ja) 1996-09-30 1998-04-24 Sumitomo Metal Ind Ltd 装入物プロフィール測定方法及び測定装置
US7262798B2 (en) 2001-09-17 2007-08-28 Hewlett-Packard Development Company, L.P. System and method for simulating fill flash in photography
KR100535569B1 (ko) * 2003-05-31 2005-12-08 삼성코닝정밀유리 주식회사 유리 기판에 존재하는 결함의 깊이방향 위치 검출방법
US7454053B2 (en) * 2004-10-29 2008-11-18 Mitutoyo Corporation System and method for automatically recovering video tools in a vision system
US7538813B2 (en) 2005-05-11 2009-05-26 Sony Ericsson Mobile Communications Ab Digital cameras with triangulation autofocus systems and related methods
JP4892294B2 (ja) 2006-08-01 2012-03-07 三鷹光器株式会社 微小穴の深さ測定方法
KR100906974B1 (ko) 2006-12-08 2009-07-08 한국전자통신연구원 카메라를 이용한 위치 인식 장치 및 그 방법
JP4863955B2 (ja) * 2007-09-10 2012-01-25 三洋電機株式会社 自動焦点調節装置
US8331627B2 (en) * 2007-09-26 2012-12-11 Agency For Science, Technology And Research Method and system for generating an entirely well-focused image of a large three-dimensional scene
US8724013B2 (en) 2007-12-27 2014-05-13 Qualcomm Incorporated Method and apparatus with fast camera auto focus
US8184196B2 (en) 2008-08-05 2012-05-22 Qualcomm Incorporated System and method to generate depth data using edge detection
US8218061B2 (en) 2008-09-04 2012-07-10 Csr Technology Inc. Apparatus, method, and manufacture for iterative auto-focus using depth-from-defocus
US8111938B2 (en) * 2008-12-23 2012-02-07 Mitutoyo Corporation System and method for fast approximate focus
JP2010152026A (ja) 2008-12-25 2010-07-08 Hitachi Ltd 距離測定器及び物体移動速度測定器
US8405742B2 (en) 2008-12-30 2013-03-26 Massachusetts Institute Of Technology Processing images having different focus
CN101930150B (zh) * 2009-06-18 2012-01-04 三洋电机株式会社 聚焦控制电路
US8781152B2 (en) * 2010-08-05 2014-07-15 Brian Momeyer Identifying visual media content captured by camera-enabled mobile device
US8649592B2 (en) * 2010-08-30 2014-02-11 University Of Illinois At Urbana-Champaign System for background subtraction with 3D camera
US9111376B2 (en) * 2012-01-26 2015-08-18 Samsung Electronics Co., Ltd. Image processing method and apparatus for 3D video
US8896747B2 (en) 2012-11-13 2014-11-25 Qualcomm Technologies, Inc. Depth estimation based on interpolation of inverse focus statistics
US20140132822A1 (en) 2012-11-14 2014-05-15 Sony Corporation Multi-resolution depth-from-defocus-based autofocus
KR102401548B1 (ko) * 2012-12-24 2022-05-24 덴틀리텍 지.피.엘. 리미티드 치은연하 측정을 위한 방법 및 장치
US8995749B2 (en) * 2013-03-28 2015-03-31 Mitutoyo Corporation Enhanced edge detection tool for edges of irregular surfaces
US9154686B2 (en) 2013-09-25 2015-10-06 Google Technology Holdings LLC Close focus with GPU
AU2013263760A1 (en) * 2013-11-28 2015-06-11 Canon Kabushiki Kaisha Method, system and apparatus for determining a depth value of a pixel
US9554031B2 (en) 2013-12-31 2017-01-24 Light Labs Inc. Camera focusing related methods and apparatus
US9552633B2 (en) * 2014-03-07 2017-01-24 Qualcomm Incorporated Depth aware enhancement for stereo video
CN105100579B (zh) * 2014-05-09 2018-12-07 华为技术有限公司 一种图像数据的采集处理方法及相关装置
US10852838B2 (en) * 2014-06-14 2020-12-01 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US9704250B1 (en) * 2014-10-30 2017-07-11 Amazon Technologies, Inc. Image optimization techniques using depth planes
US11240421B2 (en) * 2015-04-10 2022-02-01 Qualcomm Incorporated Methods and apparatus for defocus reduction using laser autofocus
JP6377295B2 (ja) 2016-03-22 2018-08-22 三菱電機株式会社 距離計測装置及び距離計測方法
US9930243B2 (en) * 2016-05-02 2018-03-27 Mitutoyo Corporation Variable focal length imaging system
US9961253B2 (en) * 2016-05-03 2018-05-01 Mitutoyo Corporation Autofocus system for a high speed periodically modulated variable focal length lens
US20190178628A1 (en) 2016-05-13 2019-06-13 Olympus Corporation System and method for depth estimation using a movable image sensor and illumination source
US10521659B2 (en) * 2016-11-21 2019-12-31 Yazaki Corporation Image processing device, image processing method, and image processing program
WO2019075473A1 (en) * 2017-10-15 2019-04-18 Analog Devices, Inc. METHODS AND SYSTEMS FOR PROCESSING FLIGHT TIME DEPTH IMAGE
US10498948B1 (en) * 2018-06-05 2019-12-03 Applied Materials, Inc. Methods and apparatus for absolute and relative depth measurements using camera focus distance

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008014646A (ja) 2006-07-03 2008-01-24 Olympus Corp 基板検査方法
JP2014115149A (ja) 2012-12-07 2014-06-26 Olympus Corp 基板検査装置

Also Published As

Publication number Publication date
CN112243484B (zh) 2022-08-19
JP2021521742A (ja) 2021-08-26
US20210295547A1 (en) 2021-09-23
WO2019236619A1 (en) 2019-12-12
US11582378B2 (en) 2023-02-14
TW202012878A (zh) 2020-04-01
US20190373162A1 (en) 2019-12-05
US10498948B1 (en) 2019-12-03
KR102323421B1 (ko) 2021-11-09
US20200068119A1 (en) 2020-02-27
US11032464B2 (en) 2021-06-08
TWI804631B (zh) 2023-06-11
KR20210003310A (ko) 2021-01-11
CN112243484A (zh) 2021-01-19

Similar Documents

Publication Publication Date Title
JP7042366B2 (ja) カメラ焦点距離を用いた絶対測定および相対測定のための方法および装置
JP5154392B2 (ja) 撮像装置
US8218061B2 (en) Apparatus, method, and manufacture for iterative auto-focus using depth-from-defocus
JP5812835B2 (ja) ビデオ画像ストリーム中の画像の画質を改善するための方法およびデジタルビデオカメラ
TWI551113B (zh) 3d成像模組及3d成像方法
WO2016171265A1 (ja) 形状測定装置及び形状測定方法
CN112505910B (zh) 用显微镜拍摄试样图像的方法、系统、设备及介质
CN113645406A (zh) 一种扫描对焦方法及终端
CN106254855B (zh) 一种基于变焦测距的三维建模方法及系统
JP2005311755A (ja) 超解像処理に適するサブピクセルモーション画像を撮影するための移動決定方法及びそれを用いた撮像装置
JP6136019B2 (ja) 動画像撮影装置、および、動画像撮影装置の合焦方法
US7538815B1 (en) Autofocus system and method using focus measure gradient
JP5149984B2 (ja) 撮像装置
JP2008089811A (ja) 撮像装置及びその制御方法
JP5925109B2 (ja) 画像処理装置、その制御方法、および制御プログラム
WO2014073590A1 (ja) 3次元計測装置および3次元計測方法
JP5900049B2 (ja) 被写界深度拡張システム及び被写界深度拡張方法
Lin et al. Depth recovery from motion blurred images
JP5209137B2 (ja) 撮像装置
JP5610579B2 (ja) 3次元寸法測定装置
JP2005345590A (ja) 撮像装置の検査方法及び検査装置
JP6900228B2 (ja) 撮像装置、撮像システム、撮像装置の制御方法、および、プログラム
CN117492164A (zh) 基于dlp结构光与电机系统的自动对焦系统及方法
JP2017225071A (ja) 情報処理装置、情報処理方法、及びプログラム
JP2020101401A (ja) 立体形状計測装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210209

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210408

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210408

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210518

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210817

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211026

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220126

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220301

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220314

R150 Certificate of patent or registration of utility model

Ref document number: 7042366

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150