JP6765574B1 - カメラ較正のためのターゲット、方法、およびシステム - Google Patents

カメラ較正のためのターゲット、方法、およびシステム Download PDF

Info

Publication number
JP6765574B1
JP6765574B1 JP2020516606A JP2020516606A JP6765574B1 JP 6765574 B1 JP6765574 B1 JP 6765574B1 JP 2020516606 A JP2020516606 A JP 2020516606A JP 2020516606 A JP2020516606 A JP 2020516606A JP 6765574 B1 JP6765574 B1 JP 6765574B1
Authority
JP
Japan
Prior art keywords
panel
calibration
pattern
reference marker
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020516606A
Other languages
English (en)
Other versions
JP2020535511A (ja
Inventor
ウェンデル,アンドリアス
グレイブ,ヴォルカー
ディットマー,ジェレミー
モリス,ザッカリー
Original Assignee
ウェイモ エルエルシー
ウェイモ エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ウェイモ エルエルシー, ウェイモ エルエルシー filed Critical ウェイモ エルエルシー
Application granted granted Critical
Publication of JP6765574B1 publication Critical patent/JP6765574B1/ja
Publication of JP2020535511A publication Critical patent/JP2020535511A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2504Calibration devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/246Calibration of cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/282Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • G06T2207/30208Marker matrix
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Image Analysis (AREA)

Abstract

本開示は、カメラを較正するためのターゲット、方法、およびシステムに関する。実施形態の一例は、ターゲットを含む。ターゲットは、基準マーカの第1のパターンを含む。ターゲットは、基準マーカの第2のパターンも含む。ターゲットの取り込まれた較正画像が複数の較正視点で取り込まれた単一のパターンの複数の画像をシミュレートするように、基準マーカの第1のパターンは、基準マーカの第2のパターンの拡大縮小版である。【選択図】図7

Description

関連出願の相互参照
本出願は、その全体が参照により本明細書に組み込まれている2017年9月29日出願の米国特許出願第15/720,979号の優先権を主張するものである。
本明細書に別段の断りのない限り、このセクションに記載の資料は、本出願の特許請求の範囲に対する先行技術ではなく、このセクションに含めることよって先行技術であると認められるものでもない。
画像の記録に関して言えば、カメラは、おなじみのものになっている。様々なカメラは、フィルムに画像を記録するか、またはコンピュータメモリ(例えば、ハードドライブ)内に一連のビットとして画像をデジタル方式で保存することができる。多くのデバイスに、カメラが組み込まれている。例えば、携帯電話、タブレット、およびラップトップコンピュータには、カメラが含まれ得る。
カメラの用途の1つは、コンピュータビジョン分野における用途である。コンピュータビジョンでは、記録された画像から推測するために、画像を記録するカメラを較正することが重要になる場合がある。このような較正は、物理的場面の空間的レイアウトに対する記録された画像の見えの相関関係を示すことができる。さらに、較正は、画像を記録するために使用されるカメラセンサ/レンズの製造および/または組み立てにおける欠陥を補正することができる。例えば、カメラの絞りがカメラセンサに対して中心が外れている場合、較正でこれを考慮することができる(例えば、物理的場面をより正確に反映するように、記録された画像を補正するプロセッサを使用して)。
カメラを較正する1つの方法には、ピンホールカメラモデルを適用することが含まれる。ピンホールカメラモデルは、較正対象のカメラが理想的なピンホールカメラ(すなわち、レンズがなく、点状の絞りがあるカメラ)であると想定する。ピンホールカメラモデルの近似を使用して、物理的場面の座標(例えば、3次元)を2次元平面の投影図に写像することができ、2次元平面の投影図は、記録された較正画像によって表される。理論上のピンホールカメラにおけるピンホール絞りの位置は、較正画像に基づいて決定され得る。理論上のピンホールカメラの他のパラメータ(例えば、焦点距離)も決定され得る。ピンホール絞りの位置がカメラセンサに対して中心にない場合は、絞りの中心を外れた位置を考慮するための工程が行われ得る。ピンホール絞りの位置を決定し、それを明らかにすることは、1つ以上の較正画像に基づいてカメラ行列の1つ以上の要素を計算することも含み得る。
他の較正方法を採用して、光学設計に固有の、または製造/組み立てに起因する他の欠陥を同様に補正することができる。例えば、記録された較正画像に基づいて、1つ以上の歪み係数を計算することができる。歪み係数は、カメラのレンズが原因で起こる光学的不均一性(例えば、樽型歪み、口ひげ型歪み、または糸巻き型歪み)を考慮するのに使用され得る。さらに、他の光学収差が、較正を使用して明らかにされ得る(例えば、焦点ぼけ、傾斜、球面収差、非点収差、コマ収差、または色収差)。
較正ターゲット例は、カメラが較正されることを可能にし得る。較正ターゲットは、各々がその上に一連の基準マーカを備えた2つ以上のパネルを含み得る。パネルは、互いに対して角度が付けられ得、基準マーカは、1つ以上の配列において位置付けられ得る。パネル上の基準マーカは、一意に識別可能であり得る。較正対象のカメラが較正ターゲットの較正画像を取り込むまたは記録すると、単一のパネルの様々な角度視点(例えば、様々なカメラ視点)からの複数の較正画像が、2つ以上のパネルの単一の較正画像によってシミュレートされ得る。これは、2つ以上のパネルが互いに角度を付けられているからである。単一の較正画像で複数の画像をシミュレートすると、較正に必要な計算リソースが減るとともに、較正時間を短縮することができる。
第1の態様において、本開示は、較正に使用されるターゲットを説明する。ターゲットは、基準マーカの第1のパターンを含む。ターゲットは、基準マーカの第2のパターンも含む。ターゲットの取り込まれた較正画像が複数の較正視点で取り込まれた単一のパターンの複数の画像をシミュレートするように、基準マーカの第1のパターンは、基準マーカの第2のパターンの拡大縮小版である。
第2の態様において、本開示は、方法を説明する。この方法は、カメラを使用してターゲットの較正画像を記録することを含む。ターゲットは、上に基準マーカの第1の配列を有する第1のパネルを含む。第1の配列における基準マーカの各々は、第1の配列における基準マーカ間で一意に識別可能である。ターゲットは、第1のパネルに対して第1の角度で配置され、上に基準マーカの第2の配列を有する第2のパネルも含む。第2の配列における基準マーカの各々は、第2の配列における基準マーカ間で一意に識別可能である。基準マーカの第1の配列は、基準マーカの第2の配列と一致する。この方法は、較正画像において、1つ以上の基準マーカの場所および識別を決定することも含む。加えて、方法は、決定された場所および識別に基づき、カメラを較正することを含む。
第3の態様において、本開示は、カメラを較正するのに使用されるシステムを説明する。システムは、ターゲットを含む。ターゲットは、基準マーカの第1のパターンを含む。ターゲットは、基準マーカの第2のパターンも含む。ターゲットの取り込まれた較正画像が複数の較正視点で取り込まれた単一のパターンの複数の画像をシミュレートするように、基準マーカの第1のパターンは、基準マーカの第2のパターンの拡大縮小版である。システムは、ターゲットに対してカメラを並進または回転させるように構成されたステージも含む。
追加の態様において、本開示は、システムを説明する。システムは、カメラを使用してターゲットの較正画像を記録する手段を含む。ターゲットは、上に基準マーカの第1の配列を有する第1のパネルを含む。第1の配列における基準マーカの各々は、第1の配列における基準マーカ間で一意に識別可能である。ターゲットは、第1のパネルに対して第1の角度で配置され、上に基準マーカの第2の配列を有する第2のパネルも含む。第2の配列における基準マーカの各々は、第2の配列における基準マーカ間で一意に識別可能である。基準マーカの第1の配列は、基準マーカの第2の配列と一致する。このシステムは、較正画像において、1つ以上の基準マーカの場所および識別を決定するための手段も含む。加えて、システムは、決定された場所および識別に基づいてカメラを較正するための手段を含む。
上記の概要は、単に理解を助けるものであり、多少なりとも限定することを意図するものではない。上記の理解を助ける態様、実施形態、および特徴に加えて、さらなる態様、実施形態、および特徴が、図面および以下の「発明を実施するための形態」を述べることによって、明らかになってくるであろう。
実施形態例による、較正ターゲットのパネルの図である。 実施形態例による、較正ターゲットのパネルの図である。 実施形態例による、基準マーカの図である。 実施形態例による、較正ターゲットのパネルの図である。 較正プロセスの図である。 較正プロセスの図である。 実施形態例による、較正プロセスの図である。 実施形態例による、較正ターゲットの正面図である。 実施形態例による、較正ターゲットの上面図である。 較正プロセスの図である。 実施形態例による、較正プロセスの図である。 実施形態例による、較正ターゲットのパネルの図である。 実施形態例による、較正ターゲットのパネルの図である。 実施形態例による、較正ターゲットの正面図である。 実施形態例による、較正ターゲットの上面図である。 実施形態例による、較正ターゲットの正面図である。 実施形態例による、較正ターゲットの上面図である。 実施形態例による、較正ターゲットの側面図である。 実施形態例による、較正ターゲットのパネルの図である。 実施形態例による、較正ターゲットのパネルの図である。 実施形態例による、較正ターゲットのパネルの図である。 実施形態例による、較正ターゲットのパネルの図である。 実施形態例による、較正ターゲットのパネルの図である。 実施形態例による、較正ターゲットのパネルの図である。 実施形態例による、方法のフローチャート図である。
本明細書では、方法およびシステムの例について記載する。本明細書において記載された任意の実施形態または特徴の例は、必ずしも他の実施形態または特徴よりも好ましいまたは有利であると解釈されるものではない。本明細書において記載された実施形態例は、限定的であることを意味するものではない。開示されるシステムおよび方法の特定の態様は、多種多様な異なる構成で配置し、組み合わせることができ、これらの構成の全てが、本明細書において熟考されることは容易に理解できるであろう。
さらに、図に示されている特定の配置は、限定的であるとみなされるべきではない。他の実施形態は、所定の図に示されるそれぞれの要素をより多く、またはより少なく含むことができることを理解されるべきである。加えて、図示の要素のうちのいくつかは、組み合わせてもよく、または省略されてもよい。同様に、実施形態例は、図に示されていない要素を含んでいてもよい。
I.概要
実施形態例は、カメラ較正のためのターゲット、方法、およびシステムに関する。本明細書に記載されるようなカメラ較正に使用されるターゲットは、較正時間を短縮し、較正に必要な計算資源を減らし、較正に必要なスペースを減らし、較正の機械的な複雑さを減らし、較正が正常に完了するために取り込まれるまたは記録される必要がある較正画像の数を減らすことができる。本明細書に記載されているようなターゲットを使用すると、較正ターゲットの単一の較正画像を取り込みまたは記録するときに、追加の較正画像をシミュレートすることができるような方法で、較正ターゲットが設計されているため、較正効率が向上する可能性がある。
例えば、いくつかの実施形態では、較正ターゲットは、その上に位置している基準マーカを含み得る。基準マーカは、2つ以上のパネルに配置され得る。さらに、基準マーカは、それぞれのパネル上にパターンで配置され得る。所与のパネル上の少なくとも2つのパターンは、互いに拡大縮小版であってもよい(例えば、基準マーカの1つのパターンはより小さい正方形であり、基準マーカの別のパターンはより大きい正方形である)。このようなパターンは、複数のカメラ位置のシミュレーションとして、較正ターゲットの取り込まれたまたは記録された較正画像(例えば、較正を必要とするカメラで取り込まれるか記録されたもの)に使用することができる。代替の較正スキームの場合のように、カメラに対して較正ターゲットを相対的に再配置し、複数の画像を取り込むまたは記録する必要がない代わりに、単一の較正画像を使用して、較正ターゲットに対する様々なカメラの視点(例えば、較正ターゲットからの距離または較正ターゲットに対する角度)を較正することができる。較正が、ピンホールカメラモデルを使用してカメラの開口部の位置を較正することを含む実施形態では、様々な視点からの複数の較正画像が使用されてもよい。したがって、複数のカメラ視点を表すことができる単一の較正画像をもつことで、較正時間、較正スペース、機械的複雑さ、および/または計算資源を節約できる。
1つの自由度(例えば、カメラからの複数の距離、すなわちz方向)における複数のカメラ視点をシミュレートするために使用され得る較正ターゲットを有することに加えて、いくつかの実施形態例は、2つのパネルが互いに対する角度(複数可)で位置付けられる較正ターゲットを含む。このような実施形態では、2つのパネル上の基準マーカの配置は、ほぼ同じであるか完全に同じであり得る。互いに対するパネルの角度(複数可)が与えられると、1つ以上の追加の自由度(例えば、x軸、y軸、および/またはz軸を中心とした回転)が、較正ターゲットの単一の取り込まれたか記録された較正画像内でシミュレートされ得る。例えば、2つのパネルは、互いに対して(例えば、30°だけ)y軸を中心に回転され得る。これにより、較正ターゲットに対する単一の視点にあるカメラが、較正ターゲットにおける第1のパネルに対する1つの視点と、較正ターゲットにおける第2のパネルに対する第2の視点とを取り込むか記録することを可能にし得る。2つのパネルはほぼ同じか全く同じであり得るため(例えば、その上に配置された基準マーカが類似しているか同一である)、単一の較正画像を使用して、パネルに対する2つの角度視点の較正を行うことができる。追加の実施形態では、それぞれの較正ターゲットの取り込まれたか記録された較正画像における追加の自由度をシミュレートするために、パネル間の追加の角度および/または基準マーカのパターンのシフトを有する較正ターゲットを含んでもよい。
加えて、較正ターゲット/パネル上の基準マーカは、基準マーカ上の位置(例えば、基準マーカの中心)および基準マーカの同一性(例えば、基準マーカの名前またはID)が識別されるように設計されてもよい(例えば、カメラ較正を行うために、取り込まれたか記録された較正画像をレビューする人間によって、および/または取り込まれたか記録された較正画像を解析するプロセッサによって)。これを達成するために、1つの実施形態例は、それぞれが4つの別個の領域を有する基準マーカを含む。1つの領域は、基準マーカの中心の位置を正確に示すために使用される十字線領域であり得る。第2の領域は、基準マーカを識別するために使用することができる基準マーカ識別セクションであり得る(例えば、所与の基準マーカのID)。いくつかの実施形態では、第2の領域は、基準マーカのIDをバーコードとして表すために使用される一連の角度ビットを有する角度付きバーコードセクションであってもよい。基準マーカの第3の領域は、基準マーカのエッジ/境界を特定し、また基準マーカが実際に較正画像内に存在するかどうかを判断するために使用できる基準境界セクションであり得る(例えば、較正画像内のノイズに相対して)。最後に、基準マーカの第4の領域は、人間に基準マーカのIDを容易に示し得る、人間が読み取り可能なラベルであり得る。いくつかの実施形態では、4つより少ないかまたは多い領域が基準マーカに含まれ得る。例えば、いくつかの実施形態では、基準マーカは、十字線領域および基準境界セクションのみを含み得る。さらに、いくつかの実施形態では、同じ実施形態にわたる様々な基準マーカは、上記の4つの領域の異なるサブセットを含み得る(例えば、1つの基準マーカは、上記の4つの領域すべてを含み得るが、別の基準マーカは、十字線領域のみを含み得る)。
いくつかの実施形態(例えば、較正ターゲットの2つ以上のパネルがその上に類似または同じ配置の基準マーカを有する実施形態)では、それぞれのパネル上の1つ以上の基準マーカをパネル識別基準マーカとして使用することができる。パネル識別基準マーカは、較正中に(例えば、較正画像の画像解析中に)使用して、類似の外観を有する多数のパネルのうち、どのパネルが現在解析されているかを決定することができる。また、他の方法でパネルを識別することも可能である。
II.システム例
以下の説明および添付図面は、様々な実施形例の特徴を明らかにする。提供される実施形態は例としてのものであり、限定することを意図するものではない。したがって、図面の寸法は必ずしも縮尺通りではない。
図1Aは、実施形態例による、較正ターゲットの第1のパネル102の図である。較正ターゲットは、1つ以上のカメラを較正するプロセスで使用され得る。例えば、較正ターゲットは、1つ以上の較正画像を取り込みまたは記録するのに使用され得る。次に、取り込まれたまたは記録された較正画像を使用して、カメラに関する特徴(例えば、歪み係数、カメラ行列、レンズの位置/向き、カメラセンサの位置/向き、絞りの位置/向きなど)を決定することができる。カメラに関する特徴が決定されると(例えば、ピンホールカメラ近似モデルを使用して)、あらゆる欠陥または不規則性が説明され得る。欠陥または不規則性を考慮することは、カメラの絞りを変更すること、カメラの1つ以上のレンズの位置を調整すること、カメラの1つ以上の画像センサの位置を調整すること、画像の露光時間を変更すること、カメラによって取り込まれたか記録された画像の解像度を変更すること、または欠陥/不規則性を補正するためにカメラによって取り込まれたか記録された画像の後処理を行うことを含み得る(例えば、シーンから取り込まれたか記録された画像への投影を補正するために、または取り込まれたか記録された画像の歪みを解除するために、焦点距離または半径方向の歪みなどのパラメータを推定することによって)。
様々なカメラが、較正ターゲットを使用した較正の恩恵を受け得る。例えば、較正されたカメラは、ナビゲーションまたは物体認識に使用される自律走行車の構成要素であってもよい。さらに、較正されたカメラは、様々な異なる特徴(例えば、変化する焦点距離、異なるレンズタイプ、異なる画像センサなど)を有することができる。較正ターゲットは、電荷結合素子(CCD)または相補的金属酸化膜半導体(CMOS)イメージセンサを有するデジタルカメラなどのデジタルカメラ(すなわち、一連のビットとして電気的または磁気的に画像を保存するカメラ)の較正、またはフィルムカメラ(すなわち、写真フィルムのストリップ上に化学的に画像を保存するカメラ)の較正に使用することができる。
第1のパネル102は、その上に配置された一連の基準マーカ110を含み得る。図の乱雑さを避けるために、図1Aでは、基準マーカ110のうちの1つだけがラベル付けされていることが理解されよう。図1Cを参照して、基準マーカ110は、さらに以下に説明される。しかし、簡単に言えば、各基準マーカ110は、基準マーカが見つかったことを識別するために使用される領域(例えば、較正の一環としての画像解析中)と、どの基準マーカ110であるかを識別するための領域と、基準マーカ110の中心の位置を正確に示すための領域と、基準マーカ110の人間が読み取り可能なラベルとを含んでもよい。基準マーカ110のサブセットは、第1のパネル102を第1のパネル102として識別するのに使用され得る。これらの基準マーカ110は、第1のパネル識別基準マーカ108と呼ばれ得る。例えば、第1のパネル102の角に最も近い基準マーカ110は、第1のパネル102の同一性を示し得る。
基準マーカ110の別のサブセット(例えば、第1のパネル識別基準マーカ108以外のすべての基準マーカ110)は、基準マーカ110の第1の構成にあり得る。基準マーカ110の第1の構成は、基準マーカ110の複数のパターンを含み得る。例えば、基準マーカ110の第1の構成は、少なくとも第1のパターンの基準マーカ110および第2のパターンの基準マーカ110を含み得る。第2のパターンの基準マーカ110は、第1のパターンの基準マーカ110の第1の拡大縮小版であってもよい。基準マーカ110の「パターン」は、基準マーカ110が位置付けられる第1のパネル102上の位置のセットであり得る。様々な実施形態では、第1のパネル102上に様々なパターンがあってもよい(図6A〜6Eを参照してさらに説明される)。さらに、「拡大縮小版」は、基準マーカの位置と基準マーカのサイズの両方のスケーリングではなく、基準マーカ(例えば、パターン内)の位置のみのスケーリングを含み得る。しかし、代替の実施形態では、基準マーカの位置と基準マーカのサイズの両方のスケーリングを採用してもよい。
図1Bに示されているのは、較正ターゲットの第2のパネル104である。第2のパネル104は、第1のパネル102と同じ較正ターゲットの一部であり得る。第1のパネル102と同様に、第2のパネル104は、その上に配置された一連の基準マーカ110を含み得る。この場合も、図が乱雑になるのを避けるため、基準マーカ110のうちの1つだけがラベル付けされている。第1のパネル102と同様に、基準マーカ110のサブセットは、第2のパネル識別基準マーカ108として使用され得る。例えば、第2のパネル104の角に最も近い基準マーカ110は、第2のパネル104の同一性を示し得る。
同様に、基準マーカ110の別のサブセット(例えば、第2のパネル識別基準マーカ108以外のすべての基準マーカ110)は、基準マーカ110の第2の配列にあり得る。基準マーカ110の第2の配列は、基準マーカ110の複数のパターンを含み得る。例えば、基準マーカ110の第2の配列は、少なくとも基準マーカの第3のパターンおよび基準マーカ110の第4のパターンを含み得る。基準マーカ110の第4のパターンは、基準マーカ110の第3のパターンの拡大縮小版であってもよい。様々な実施形態では、第2のパネル104上に様々なパターンがあり得る。これについては、図6A〜6Eを参照してさらに説明されよう。
図1Bに示されるように、第2のパネル104の第2の配列における基準マーカ110は、第1のパネル102の第1の配列における基準マーカ110の回転であり得る。図示の実施形態では、第2の配列の基準マーカ110は、第1の配列に対応する場所にある基準マーカ110の180°回転である。代替の実施形態では、別の回転も可能である(例えば、15°、30°、45°、60°、75°、90°、105°、120°、135°、150°、165°、195°、210° 、225°、240°、255°、270°、285°、300°、315°、330°、345°、またはそれらの間の任意の値)。さらに他の実施形態では、第2の配列の基準マーカ110の一部のみが、第1の配置の基準マーカ110に対して回転されてもよい(例えば、第1の配置のパターンの特定のサブセットに対応する基準マーカ110のみ)。
第1の配列110の基準マーカ110に対する第2の配置の基準マーカ110の回転は、第1のパネル102を第2のパネル104から区別する特徴を提供し得る。これらの追加の特徴は、所与のパネルを識別するために、パネル識別基準マーカ108に加えて使用され得る。追加または代替として、第1の配列における1つ以上の基準マーカ110のすべてまたは一部は、第1の色であってもよく、第2の配列における1つ以上の基準マーカ110のすべてまたは一部は、第2の色であってもよい。第1の色および第2の色は、異なる色(例えば、青とオレンジ、黄と赤、茶と銀、薄紫と暗紫、フォレストグリーンとネオングリーンなど)であってもよく、これは、第1のパネル102と第2のパネル104とを区別するために使用することができる別の特徴をさらに提供し得る。
図1Aおよび1Bにそれぞれ示される第1のパネル102および第2のパネル104を設計するとき、基準マーカ110は、較正中のカメラの予想される位置、カメラの焦点距離、較正中のカメラのズーム、および/またはカメラの解像度に基づいて設計されてもよい。基準マーカが第1のパネル102または第2のパネル104に対して小さいほど、より多くの基準マーカ110がそれぞれのパネルに適合することができる。それぞれのパネルに適合することができる較正マーカ110の数を増加させることは、較正ポイント(例えば、対応する2次元の場所が画像を較正するのに使用される3次元空間内の位置)の数を増加させ、最終的に較正の精度を向上させることができる。しかし、基準マーカ110は、そのズーム、解像度、焦点距離、較正ターゲットからの距離などを考慮して、カメラに基づいて少なくとも最小の解像可能なサイズである必要がある。したがって、第1パネル102および第2のパネル104上の基準マーカ110は、最大数の基準マーカ110を第1のパネル102および第2のパネル104上に位置付けることができるように、それらがカメラによって依然として解像可能な最小サイズであるようなサイズであり得る。さらに、第1のパネル102および第2のパネル104上の基準マーカ110は、最大数の基準マーカ110を第1のパネル102および第2のパネル104上に位置付けることができるように、互いに対して間隔を空けてもよい。
図1Aおよび1Bの第1のパネル102および第2のパネル104の実施形態では、第1の配列における基準マーカ110の6つのパターンおよび第2の配列における基準マーカ110の6つのパターンがある。これは、図1Dに示される。図1Dに示すように、第1のパネル102の第1の配列および第2のパネル104の第2の配列は、「1」、「2」、「3」、「4」、「5」または「6」でラベル付けされた各基準マーカ110を含む。図1Dで「0」でラベル付けされた基準マーカ110は、パネル識別基準マーカ108を表す。「1」でラベル付けされた基準マーカ110は第1のパターンの各部であり、「2」でラベル付けられた基準マーカ110は第2のパターンの各部であり、「3」でラベル付けられた基準マーカ110は第3のパターンの各部であり、「4」でラベル付けられた基準マーカ110は4番目のパターンの各分であり、「5」でラベル付けられた基準マーカ110は5番目のパターンの各部であり、「6」でラベル付けられた基準マーカ110 は、それぞれ、第1のパネル102の第1の配列と第2のパネル104の第2の配列との第6のパターンの各部である。したがって、第1の配列と第2の配列には72個の基準マーカ(例えば、6つのパターンの各々に12個の基準マーカ)があり、第1のパネル102と第2のパネル104には合計76個の基準マーカ(例えば、6つのパターンの各々に12個の基準マーカ、および4個のパネル識別基準マーカ)がある。他の実施形態では、各配列または各パネルに、より多いまたはより少ない基準マーカがあってもよい。基準マーカの数が増えると、カメラの較正を行うことができる解像度が上がり得る。代替的に、基準マーカの数を減らすと、カメラの較正を行うことができる速度が上がり得る。
図1Dに示すように、5番目のパターンと6番目のパターンは、1番目、2番目、3番目、4番目のパターンの拡大縮小版(例えば、水平方向と垂直方向の両方で、潜在的に独立して拡大縮小された四角形)である。代替の実施形態では、第1の配列/第2の配列には2つのパターンのみがあり得る。このような実施形態では、第2のパターンは、第1のパターンの拡大縮小版であり得る。さらに他の実施形態では、任意の数のパターンがあり得る(例えば、3、4、5、7、8、9、10、15、20、50、または100パターン)。さらに、任意の数のパターンが、他の任意のパターンの拡大縮小版であり得る。
図1Dの基準マーカ110にラベル付けに使用されるアラビア数字は、実施するための縮小における基準マーカ110の実際の外観を必ずしも表すことを意味するのではなく、代わりに第1のパネル102/第2のパネル104の様々なパターンを示すために使用されることが理解される。
図1Cは、較正ターゲットの基準マーカ110の図である。基準マーカ110は、それぞれ図1Aおよび1Bに示される第1のパネル102または第2のパネル104の基準マーカ110のうちの1つであり得る。図1Cの左側に示されているのは、第1のパネル102(例えば、第1のパネル識別基準マーカ108)の実施形態例に現れる可能性があるように、基準マーカ110例である。図1Cの右側に示されているのは、基準マーカの様々なセクションが識別のためにラベル付けされている、空白の基準マーカである。図1Cに示されるように、第1のパネル102および/または第2のパネル104の基準マーカ110は、形状が円形であり得る。また、図示されるように、基準マーカは、十字線112、角度付きバーコードセクション114、基準境界セクション116、および人間が読み取り可能なラベル118を含み得る。
図1Cに示される基準マーカ110は、複数の目標を達成するような方法で設計され得る。第1に、基準マーカ110は、その中心が位置し得るように設計され得る(例えば、二次元の中心は、基準マーカに基づいて決定され得る)。加えて、基準マーカ110は、その同一性が同じパネルまたは較正ターゲット上の他の基準マーカの中で決定され得るように設計されてもよい。基準マーカ110に対して画像解析を行う場合、一組の較正命令を実行するプロセッサは、基準境界セクション116を使用して基準マーカ110の外側境界を確立し、角度バーコードセクション114を使用してどの基準マーカが解析されているかを決定し、基準マーカ110の中心が十字線112を使用している場所を決定する。
代替の実施形態では、基準マーカは、他の様々な形状(例えば、三角形形状、長方形形状、五角形形状、六角形形状、七角形形状、八角形形状、九角形形状、十角形形状など)を有してもよい。さらに、単一の実施形態内では、様々な基準マーカは様々な形状を有してもよい。例えば、第1の配列の第1のパターンの基準マーカは長方形であってもよく、第1の配列の第2のパターンの基準マーカは三角形であってもよい。同じパネル、配列、またはパターン上の基準マーカの複数の様々なサブセットは、それぞれのパネル、配列、またはパターンの様々な部分を識別するために様々な形状を有してもよい。追加的にまたは代替的に、いくつかの実施形態における基準マーカは、特別な光学特性を有してもよい(例えば、基準マーカはホログラフィックであってもよい)。
十十字線112は、基準マーカ110の中心(例えば、基準マーカ110の中心が位置する場所)を識別するために使用されてもよい。いくつかの実施形態では、十字線112は「レチクル」と呼ばれることもある。特定の基準マーカの位置(例えば、較正画像内の水平および垂直座標)および基準マーカの同一性は、その上に1つ以上の基準マーカを含む較正ターゲットを使用してカメラを較正する際に使用され得る。いくつかの実施形態では、十字線112は、図1Cに示されるように、2つの暗い領域と2つの明るい領域の交差を含み得る。代替の実施形態では、十字線112は、基準マーカの中心上の点、基準マーカの中心上で交差する2本の垂直線、中心が基準マーカ―の中心である円、基準マーカの中心を指し示すか基準マーカの中心に由来する矢印または線、または基準マーカの中心を指し示す山形を使用してもよい。
角度付きバーコードセクション114は、較正画像内の基準マーカを識別するために使用され得る。図1Cに示される実施形態では、角度付きバーコードセクション114は、十字線112を取り囲む環状セクションであり得る。角度付きバーコードセクション114は、一連のビット(例えば、4ビット、8ビット、10ビット、16ビット、24ビット、32ビット、64ビット、128ビット、256ビットなど)に分割され得、各ビットは角度付きバーコードセクション114の特定の角度部分によって表される。例えば、角度付きバーコードセクション114が8ビットに分割される場合、第1のビットは、角度付きバーコードセクション114の第1象限において、約0°〜約45°(角度付きバーコードセクション114の周りを反時計回りに進行する)の範囲で走る角度付きバーコードセクション114の一部によって表されてもよい。同様に、第2のビットは、第1の象限で約45°〜約90°の範囲で走り得、第3のビットは、第2の象限で約90°〜約135°の範囲で走り得、第4のビットは、第2の象限で約135°〜約180°の範囲で走り得、第5のビットは、第3象限の約180°〜約225°の範囲で走り得、第6のビットは、第3象限の約225°〜約270°の範囲で走り得、第7のビットは、第4象限の約270°〜約315°の範囲で走り得、第8ビットは、第4象限の約315°〜約360°の範囲で走り得る。各ビットは、黒(例えば、0を表す)または白(例えば、1を表す)で埋めてもよい。このスキーマを使用して、様々な数値を角度付きバーコードセクション114で2進数で表すことができる。
角度付きバーコードセクション114で表される数値は、所与の基準マーカを識別するために使用され得る。図1Aおよび1Bに示されるように、第1の配列および第2の配列内のすべての基準マーカは、固有の角度付きバーコードセクションを有し得、したがって、第1の配列の各基準マーカを一意的に識別可能にし、第2の配列の各基準マーカを一意的に識別可能にする。いくつかの実施形態では、角度付きバーコードセクション114に加えて、またはこれに代わるものとして、パネル上の基準マーカの位置、配列またはパターン内の基準マーカの位置、基準マーカのサイズ、基準マーカの向き、または基準マーカの色を使用して、基準マーカを一意に識別し得る。例えば、いくつかの実施形態では、各基準マーカは同じように見え得るが、配列における残りの基準マーカに対するそれらの位置およびパネル上のそれらの位置に基づいて、各基準マーカは一意に識別され得る。このようなことは、例えば、基準マーカがチェッカー盤パターンの正方形である実施形態の場合であり得る。
さらに、図1Aおよび1Bに示される実施形態を含むいくつかの実施形態の第1の配列および第2の配列における角度付きバーコードセクションの各々は、回転的に一意であり得る。これは、所与の基準マーカの所与の角度付きバーコードに対して、その基準マーカおよび/またはその角度付きバーコードが0°から360°の間の任意の角度だけ回転されても、使用されている別の角度付きバーコードとは一致しないことを意味する。例として、角度付きバーコード1−0−0−0−0−0−0−0−0−0(最初のビットが最上位ビット、最後のビットが最下位ビット)が、10ビットを含み、回転的に一意である角度付きバーコードセットで使用されている場合、角度付きバーコード0−1−0−0−0−0−0−0−0−0、0−0−1−0−0−0−0−0−0−0、0−0−0−1−0−0−0−0−0−0、0−0−0−0−1−0−0−0−0−0、0−0−0−0−0−1−0−0−0−0、0−0−0−0−0−0−1−0−0−0、0−0−0−0−0−0−0−1−0−0、0−0−0−0−0−0−0−0−1−0、および0−0−0−0−0−0−0−0−0−1は、1−0−0−0−0−0−0−0−0−0と回転的に重なるために、使用されることができなかった。こうして、回転的に一意のセットを保持するために、いくつかの角度付きバーコードはスキップされる。したがって、特に角度付きバーコード間の回転の一意性を有する実施形態では、可能な角度バーコードと所与のパターン、配列、パネル、または較正ターゲットで実際に使用される角度付きバーコードとの間に、必ずしも1対1の相関があるとは限らない。
しかし、いくつかの実施形態では、すべての角度付きバーコードが使用されてもよい。このような実施形態では、角度付きバーコードは、基準マーカが回転的に重なり合う場合であっても、各基準マーカの向きが実際の角度付きバーコードの重なりを防止するような方法でパネル上に向けられてもよい。
さらに、いくつかの実施形態では、角度付きバーコードを較正方法で使用して、それぞれの基準マーカの角度の向きを決定してもよい。例えば、基準マーカの角度の向きは、角度付きバーコードを符号化するために使用されるビット数で除算された360°の精度までの較正方法に従って決定され得る。
図1Aおよび1Bに示される例では、同じ角度付きバーコードセクションを有する唯一の基準マーカは、第1のパネル102および第2のパネル104の角にあるパネル識別基準マーカ108である。これは、第1のパネル102または第2のパネル104の任意の角の観察が、観察されているパネルについて同じ同一性をもたらすようにするためである。
代替の実施形態では、ビットを使用するのではなく、1から10までの範囲の10進数を、角度付きバーコードセクション114の各位置で表すことができる。例えば、各桁0〜9を表すために異なる色を使用することができ(例えば、抵抗器の色分けと同様に、黒=0、茶=1、赤=2、オレンジ=3、黄=4、緑=5、青=6、紫=7、灰色=8、白=9)で、各セクションは10の係数を表すことができる。こうして、角度付きバーコードセクションが8つのサブセクションに分割され、それぞれが上記の色の1つで表された場合、10通りの組み合わせが考えられる。
8ビットより多いかまたは少ない代替の実施形態では、角度付きバーコードセクション114の角度分布は、異なる間隔をあけてもよい(例えば、8ビットではなく4ビットがある場合、各ビットは、角度付きバーコードセクション114の約45°ではなく、角度付きバーコードセクションの約90°を占めてもよい)。図1A〜1Cに示されるように、基準マーカ110の角度付きバーコードセクション114は、8ビットではなく10ビットに分割される。したがって、各ビットは角度付きバーコードセクションの約36°を占めてもよい。
さらに、いくつかの実施形態(例えば、図1Aおよび1Bの実施形態)では、パネル識別基準マーカ108に含めるために、特定の角度付きバーコード(例えば、2、3、4、5、6、7、8、9、10、11、12、13、14、15、16、17、18、19、20など)が予約されていてもよい。図1Aおよび1Bに示されるように、「1」および「2」に対応する角度付きバーコードは、第1のパネル102および第2のパネル104のパネル識別基準マーカ108の角度付きバーコードとして使用され得る。
いくつかの実施形態(例えば、多数の一意的に識別可能な基準マーカを含む実施形態)では、角度付きバーコードセクションは、基準マーカ識別の代替形態によって置き換えまたは補完され得る。例えば、角度付きバーコードセクションに対応する1つのリングではなく、角度付きバーコードセクションの複数のリングが存在する可能性がある。追加的にまたは代替的に、基準マーカを識別するために色を使用することができる。上記のように、色を使用して角度付きバーコードセクションの面密度を上げることができる(例えば、黒/白のみを使用するのではなく、複数の色を使用して2進数ではなく10進数を表す)。代替的に、基準マーカの他の部分(例えば、十字線、人間が読めるラベル、または基準境界セクション)は着色されていてもよい。例えば、十字線は、各基準マーカに一意性を付加することができる別の識別子を追加するために、可視範囲の波長(例えば、約400nmから約700nmまでの波長を1nm刻みで間隔をあけて)を反射する塗料またはインクを使用して着色されてもよい。さらに他の実施形態では、角度付きバーコードではなくチェッカー盤パターンを使用して、パネルを識別してもよい。例えば、基準マーカの形状が長方形または正方形の場合、基準マーカの角のうちの1つをチェッカー盤パターン(例えば、黒または白を使用して各位置がパターン内の16ビットの1つを表す4×4のチェッカー盤)のために予約できる。このようなチェッカー盤パターンは、識別に使用されるクイックレスポンス(QR)コードに似ていてもよい。さらに他の実施形態では、角度付きバーコードではなく、線形バーコードを使用してもよい。
基準境界セクション116は、基準マーカの縁を特定し得、基準マーカが占める領域を画定し得る。基準境界セクション116はまた、基準マーカが実際に較正画像内の所与の場所に存在するかどうかを識別するために、較正中に使用されてもよい。例えば、較正画像を解析するためにプロセッサによって実行される画像解析プログラムは、較正画像の特定の場所が十字線112であるように見えることを決定し得る。しかし、十字線として識別されたセクションが実際に基準マーカの十字線であり、較正画像内の単なるノイズまたは別のアーチファクトではないことを確実にするために、プロセッサによって実行される画像解析プログラムは、十字線を取り囲む基準境界セクションを探してもよい。基準境界セクションが十字線で囲まれている場合、較正結果を不明瞭にするノイズやその他のアーチファクトの可能性が減少する可能性がある。
いくつかの実施形態では、最初に十字線112を特定してから十字線を取り囲む基準境界セクションを検索するのではなく、プロセッサによって実行される画像解析プログラムは、最初に基準境界セクション116を検索してもよい。基準境界セクション116を特定すると(例えば、較正画像内の楕円を特定することによって)、プロセッサによって実行される画像解析プログラムは、十字線112を探して、それぞれの基準マーカの中心を決定してもよい。代替的に、プロセッサによって実行される画像解析プログラムは、較正画像内の十字線112を探すのではなく、基準境界セクション116を定義する楕円の中心点を決定してもよい。
人間が読めるラベル118は、人間(例えば、較正技術者)が、パネル/校正ターゲット上で、および取り込まれまたは記録された較正画像内で、基準マーカ110の各々を識別できるように、いくつかの実施形態では基準マーカ110に含まれてもよい。人間が読めるラベル118は、様々な実施形態において、1つ以上のアラビア数字、ローマ数字、文字、句読点記号、および/または他の記号または画像を含んでもよい。様々な実施形態では、パターンにわたって、配列にわたって、パネルにわたって、または較正ターゲットにわたって、人間が読めるラベル118の各々は、一意であってもよい(例えば、基準マーカ110の角度付きバーコードセクション114と同様に)。さらに、いくつかの実施形態では、基準マーカ110の人間が読めるラベル118は、基準マーカの角度付きバーコードセクション114に対応してもよい。例えば、図1Cに示されるように、アラビア数字「1」は、基準マーカ110の角度付きバーコードセクション114における一連の角度付きバーコードのうちの第1の角度付きバーコードを有する基準マーカ110のための人間が読めるラベル118として使用されてもよい。いくつかの実施形態では、各基準マーカに対する複数の人間が読めるラベルがあってもよく、または各基準マーカに対する人間が読めるラベルがなくてもよい。さらに、代替の実施形態では、人間が読めるラベルは、基準マーカの残りの部分に関して、図1Cに示されたものとは異なる位置に位置付けられてもよい(例えば、人間が読めるラベルは、基準マーカの右上の領域ではなく、基準マーカの左下の領域にあってもよい)。
いくつかの実施形態では、較正ターゲットの一部は、広告の一部または全体を表してもよい。例えば、パネルが広告版の一部である場合(例えば、自動車の乗り換えに使用される高速道路の近く)、パネルは、二重目的(例えば、自律走行車両に搭載されたカメラの較正のために使用され、自律走行車両内の乗り手に広告するために使用され得る)であり得る。このような場合、各基準マーカは広告であってもよく、または一緒になって、基準マーカの第1の配列が広告を構成してもよい(例えば、第1のパターンまたは第1の配列がスローガンを綴ってもよい)。追加的または代替的に、各基準マーカ自体の一部を広告に使用することができる。例えば、1つ以上の基準マーカの十字線の一部は、貿易スローガン、割引、または他の形式の広告を含んでもよい。
図1Dは、その上に基準マーカを有する第1のパネル102および第2のパネル104の追加の図である。図1Dは、図1Aおよび1Bに示されているように、第1のパネル102上の第1の配列および第2のパネル104上の第2の配列における基準マーカ110の複数のパターンを示す。図示されるように、図1Dはまた、第1のパネル102/第2のパネル104の角にあるパネル識別基準マーカ108を示す。図1Dの番号付け(0〜6)は、基準マーカ110のサブセットで構成されるパターンを示すことを意図している。「0」を有する基準マーカ110は、パネル識別基準マーカ108であってもよい。「1」を有する基準マーカ110は、第1のパネル102の第1の配列の第1のパターンまたは第2のパネル104の第2の配列の第3のパターンであってもよい。同様に、「2」を有する基準マーカ110は、第1のパネル102の第1の配列の第2のパターンまたは第2のパネル104の第2の配列の第4のパターンなどであってもよい。
図示されるように、パネルごとに変化する形状およびサイズの6つのパターンに加えて、一組のパネル識別基準マーカ108があってもよい。これらのパターンは、1つ以上の配列(つまり、パターンのグループ)の一部であってもよい。「第1のパターン」、「第2のパターン」、「第3のパターン」などの命名規則は、識別のためにのみ使用され、様々な実施形態は、様々な方法で識別された様々な数のパターンを有い得ることができることを理解されたい。例えば、一実施形態では、「第2のパターン」は、異なる実施形態の「第6のパターン」と同じ場所にあってもよい。
図1Eおよび1Fは、代替の較正ターゲット152を使用する較正プロセスの一部を示す。カメラ(例えば、関連するレンズを有する画像センサ)を較正する1つの方法は、ピンホールカメラ近似モデルを使用することを含む。これを行うために、較正ターゲットの一連の較正画像を取り込むまたは記録することができる。較正ターゲットは、その上に較正マーカ(例えば、基準)を有してもよい。較正マーカは、較正ターゲットにわたって均等または不均一に間隔をあけてもよい。いずれにしても、較正ターゲット上の較正マーカの場所は、較正に先立って知られていてもよい。較正ターゲット上の較正マーカの位置が知られているため、結果として取り込まれたまたは記録された較正画像のこれらの場所からの偏差を識別することができる。次に、これらの識別された偏差は、カメラを使用するときに補正または考慮され得る(すなわち、カメラは「較正され」得る)。
較正されるべきカメラに関連するカメラ行列を決定するために、較正ターゲットの一連の較正画像が、異なる視点から取り込みまたは記録され得る。例えば、図1Eおよび1Fに示されるように、第1の較正画像は、較正ターゲット152に対する第1のカメラ深度162(例えば、z軸に沿って測定される深度)から取り込みまたは記録され得、次いで、較正ターゲット152に対して第2のカメラ深度164にカメラを移動させて(または対象を移動させてもよい)、第2の較正画像を取り込みまたは記録してもよい。このようにして、(例えば、カメラ行列の決定において)較正ターゲットに対する2つの異なるカメラ深度を使用してもよい。
図1Gに示されているのは、図1Aに示されている第1のパネル102を使用する較正方法の一部である。図1Bに示される第2のパネル104を使用する場合、ここに示される原理が等しく適用されることが理解される。図1Gでは、第1のパネル102の単一の較正画像が、第1の較正深度172から記録されてもよい。第1の較正深度172は、第1のパネル102が焦点距離に等しいカメラから離れた距離(例えば、物体が最も焦点が合っているカメラから離れた距離)であるように設定され得る。カメラの焦点距離が非常に大きく、そのような距離が実用的でないいくつかの実施形態(例えば、焦点距離が50メートル以上である場合)では、第1の較正深度172は、第1のパネルがカメラの焦点距離よりもカメラに近づくように設定されてもよい(例えば、カメラのレンズの焦点距離に基づいて、および/またはカメラのレンズと画像センサとの間の距離に基づいて)。しかし、このような実施形態では、較正画像において焦点が合っていない基準マーカの潜在的な影響を補償するために、第1のパネルは、より大きい基準マーカで製造されてもよい(例えば、焦点が合っていないときでも検出可能/識別可能であるように)。焦点距離を考慮に入れるためのより大きい基準マーカを備えた較正ターゲットを設計する技法は、本明細書に記載の較正ターゲットの多くの実施形態(すなわち、単一パネルの実施形態だけではない)で使用することができる。
図1Dに示されるように、第1のパネル102は、一連のパターンを含んでもよい。パターンは、様々なサイズおよび形状であってもよい。例えば、図1Dに示される第1のパターン(例えば、「1」でラベル付けされた基準マーカ110)は大きな長方形パターンであり、第2のパターン(例えば、「5」でラベル付けされた基準マーカ110)は、第1のパターンと同じ形状であってもよいが、異なるサイズであってもよい。図1Dの実施形態では、このような第2のパターンは、第1のパターンの拡大縮小版である(例えば、長方形の形状は同じであるが、長方形の周囲長および面積は両方とも縮小されている)。さらに、基準マーカ110のサイズおよび基準マーカ110の個数(例えば、12)は、2つのパターンの各々において同じである。代替の実施形態では、パターン間の基準マーカのサイズおよび基準マーカの個数を変更してもよい。
異なるスケールを有する第1のパネル102上の基準マーカ110の反復パターンがあるため、第1の較正深度172で取り込まれたまたは記録された較正画像は、複数の較正深度で取り込まれたまたは記録された複数の較正画像を模倣(すなわち、シミュレートする)するために使用することができる。例えば、第1のパネル102上のより大きなパターンを含む較正画像の一部(例えば、図1Dにおいて「1」でラベル付けされた第1のパターン)は、第1の較正深度172で取り込まれたまたは記録された較正画像として使用することができる。加えて、第1のパネル102のより小さいパターンを含む較正画像の一部(例えば、図1Dにおいて「5」でラベル付けされた第2のパターン)は、あたかもそれが第2の較正深度174で取り込まれたまたは記録された較正画像であるかのように使用することができる。これにより、第2の較正深度174から追加の較正画像を実際に取り込むまたは記録する必要がなくなる。このような現象は、図1Eおよび1Fに示されている較正方法よりも多くの利点があり得る。例えば、較正に要する時間が短縮され得(較正画像の取り込みまたは記録と計算の両方で)、較正のコストが削減され得、較正画像の格納に使用されるメモリ量が縮小され得、かつ較正に使用する物理的スペースが低減され得る。
いくつかの実施形態では、較正を行うために、較正画像の一部のみが解析され得る。例えば、図1Aおよび1Bに示されるパネルなど、4つのパネル識別基準マーカがパネルの角にある実施形態では、4つのパネル識別基準マーカは、他のすべての基準マーカを拘束し得る(例えば、パネル上の他の基準マーカは、4つのパネル識別基準マーカの間に配置される)。したがって、4つのパネル識別基準マーカの外側にある較正画像の任意の部分は、画像解析中に無視され得る。このような技法は、計算リソースを節約し、較正時間を短縮することができる。
図2Aは、正面から見た視点(例えば、X−Y平面に平行な視点)において、1つ以上のカメラ(例えば、自律走行車両のナビゲーションに使用される1つ以上のカメラ)を較正するために使用される較正ターゲットを示す。較正ターゲットは、第1のパネル102、第2のパネル104、および接続片202を含み得る。上述したように、図2Aの基準マーカ110のうちの1つのみが、図上の乱雑さを避けるためにラベル付けされている。図示されるように、図1Aおよび1Bに示されるのと同様に、第1のパネル102上の基準マーカ110の第1の配列および第2のパネル104の基準マーカ110の第2の配列は、互いに同じであり得る。これは、第2の配列内の基準マーカ110の1つ以上のパターンと一致する第1の配列内の基準マーカ110の1つ以上のパターンを含み得る。マッチングは、様々な実施形態において、類似または同一の空間的配置、サイズ、および/または向きを有するパターンおよび/または配列を含み得る。
また図1Aおよび1Bに示されるように、基準マーカ110自体は、第1のパネル102および第2のパネル104において類似しているが、同一ではない。主な違いの1つは、第1のパネル102および第2のパネル104上のパネル識別基準マーカ108である。図示のように、第1のパネル102および第2のパネル104上のパネル識別基準マーカ108は、それぞれのパネル上の一致する位置にあるが、それらは同じ基準マーカではない。特に、人間が読めるラベルは異なる(例えば、第1のパネル102上の「1」と第2のパネル104上の「2」)。さらに、2つのパネル上のパネル識別基準マーカ108の角度付きバーコードセクション114は異なる。第1のパネル102と第2のパネル104との間の別の相違点は、第2のパネル104上の第2の配列の基準マーカが、第1のパネル102上の第1の配列の基準マーカ110における対応する角度付きバーコードセクション114の180°回転である、角度付きバーコードセクション114を有することである。しかし、いくつかの実施形態では、第1のパネル102および第2のパネル104上の基準マーカは、パネル識別基準マーカ108を除いて、同一であり得る。
またさらなる実施形態において、較正ターゲットのパネルは、パネル識別基準マーカを含まないことがある。またさらに、パネル識別基準マーカがないこのような実施形態では、パネル上の基準マーカは、正確に複製され得る(例えば、複数のパネル上の基準マーカは、すべてのパネルで同じ配列、同じパターンであり得る)。較正ターゲットに対して使用される較正方法は、パネル上の基準マーカの既知の配列に基づくことがあるため、配列の残りに対する各基準マーカの位置が分かっている(例えば、その角度バーコードに基づいて)。さらに、所与の基準マーカの反復コピーが較正画像に現れる場合、較正方法では、較正画像に基準マーカの複数の配列が存在することを認識することによって、これを考慮することができる。較正画像に基準マーカの複数の配列が存在し、所与の配列内の各基準マーカの場所が分かっている場合、所与の基準マーカがいずれの配列にあるかに関する誤りを回避することができる。
他の実施形態では、所与の基準マーカの反復コピーが較正画像に現れる場合、較正方法は、較正画像内に複数の配列があると判断することを含み得る。さらに、複数の配列間の空間的関係を決定することができる(例えば、いずれのパターンが左端、右端、最下端、最上端、左から2番目、右から2番目、下から2番目、上から2番目などであるかを決定する)。空間的関係を使用して、較正方法は、重複する基準マーカのうちの1つが、その場所が分かっているパターンから来ていると判断することを含む(例えば、較正画像内に同じ基準マーカの2つのコピーがあり、1つが関連する配列間の空間的関係に基づいて、もう一方の左に位置している場合、左に位置する基準マーカが左端の配列に関連付けられており、もう一方の基準マーカが右端の配列に関連付けられている、と判断することができる)。この判断に基づいて、所与の基準マーカがいずれの配列にあるかに関する誤りを回避することができる。
図2Aに示す較正ターゲットは、製造施設でカメラを較正するのに使用され得る。例えば、画像センサおよび/またはレンズは、製造が完了した後に、較正ターゲットを使用して較正され得る(例えば、ピンホールカメラモデルを使用して較正される)。追加的にまたは代替的に、較正ターゲットを使用して、組み立てまたは設置時に1つ以上のカメラを較正することができる。例えば、画像センサおよびレンズが一緒にハウジング内に組み立てられて、デジタルカメラを形成する場合(例えば、ラップトップコンピュータまたは携帯電話において)、デジタルカメラ組立体が較正され得る。さらに他の実施形態において、較正ターゲットを使用して、使用中にカメラを較正することができる。例えば、自律型車両におけるナビゲーションにカメラが使用されている場合、自律型車両が動いている間に、較正を行うことができるように、較正ターゲットは、車庫の出口、ビルボード、または道路面そのものに位置付けられ得る。このような較正は、それまでに較正された状態に対する検証(すなわち、「チェックアップ」較正)を含み得る。カメラがこのような検証に失敗した場合、カメラおよび/または、自律型車両全体は、永続的にまたは一時的に(例えば、修理が行われるまで)非作動状態にされることがある。カメラが非作動状態にされた場合、冗長バックアップカメラが採用され得る。
第1のパネル102および第2のパネル104は、様々な材料から製造され得る。基準マーカ110は、第1のパネル102および第2のパネル104上に印刷され得る。接続片202は、第1のパネル102を第2のパネル104に取り付けるのに使用され得る。例えば、接続片202は、第1のパネル102および第2のパネル104の両方に溶接され得る。図2Bに関してさらに説明したように、接続された片202は、第1のパネル102と第2のパネル104とを互いに対してある角度で保持し得る。
代替の実施形態において、第1のパネル102および第2のパネル104は、接続片を使用せずに互いに直接接続され得る。さらに、いくつかの実施形態において、カメラを較正するのに較正ターゲット全体を使用するのではなく、第1のパネル102または第2のパネル104のみを使用して、カメラを較正することができる。
図2Bは、図2Aにおける較正ターゲットの上面図(例えば、xーz平面に平行な視点)である。図示のように、接続片202は、両方が接続片202に対して30°の角度になるように、第1のパネル102と第2のパネル104とを接続する。破線は、接続片202と同一線上にある線を示すのに使用されている。代替の実施形態において、様々な角度が使用されてもよい(例えば、約1°、約2°、約3°、約4°、約5°、約10°、約15°、約20°、約25°、約35°、約40°、約45°、約50°、約55°、約60°、約65°、約70°、約75°、約80°、約85°、または約90°)。45°の角度は、カメラ視点間での最も大きなバラツキをもたらし得る(すなわち、較正ターゲットに対して移動するときのパネルの見えの違いは、パネルが接続片202に対して45°の角度にあるときに最大となり得る)。他の実施形態において、接続片自体を曲げて、第1のパネルと第2のパネルとの間の角度を形成することができる。またさらに、いくつかの実施形態において、第1のパネルと接続片との間の角度は、第2のパネルと接続片との間の角度とは同じではない可能性がある(すなわち、θ≠θ)。
いくつかの実施形態において、較正を受けるカメラは、カメラの焦点距離に等しい較正ターゲットからの距離において(例えば、z方向において)位置付けられ得る。例えば、焦点距離が2メートルの場合、較正ターゲットの較正画像は、2メートル離れた(例えば、z方向において)較正ターゲットからの視点で取り込まれまたは記録され得る。追加的にまたは代替的に、較正を受けるカメラは、較正ターゲットに対してある距離を置いて(例えば、z方向において)位置付けられ得、かつ/または較正ターゲットは、カメラの視野全体を占めるようなサイズであり得る。
加えて、較正ターゲットは、較正システム(例えば、カメラを較正するのに使用される)の一部であり得る。較正システムは、較正ターゲットに対してカメラを並進させる(例えば、段階的に)かつ/または回転させる(例えば、段階的に)のに使用されるステージも含み得る(例えば、複数のカメラ視点から複数の較正画像を取り込むまたは記録するために)。ステージは、較正ターゲットに対して、あるカメラ視点から次のカメラ視点へとステージを進めるように、命令セットを実行するコンピューティングデバイスのプロセッサによって制御され得る。カメラは、各ステップ間でまたは各ステップの最中に、較正画像を取り込むまたは記録し得る(例えば、プロセッサによって制御される通りに)。
図2Cは、代替の較正ターゲット250を使用する較正の一部を示す。図1Eおよび図1Fを参照して説明したように、カメラに関連付けられたカメラ行列を決定するために、較正ターゲットの一連の較正画像が、様々な視点から取り込まれまたは記録され得る。例えば、図2Cに示すように、第1の較正画像は、較正ターゲット250に対して第1の角度視点262(例えば、y軸の周り)から取り込まれまたは記録され得、次に、カメラが、較正ターゲット250、および取り込まれたまたは記録された第2の較正画像に対する第2の角度視点264に動かされ得る(または、ターゲットが動かされ得る)。このようにして、較正ターゲット250に対する2つの異なるカメラ角度が使用され得る(例えば、カメラ行列の決定において)。
図2Dに示すのは、図2Aおよび図2Bに示す較正ターゲットを使用する較正方法の一部である。図2Dでは、較正ターゲットの較正画像は、単一の較正位置272から取り込まれまたは記録され得る。図示のように、較正位置272は、接続片202と位置合わせされ得る(例えば、較正位置272は、回転に関して接続片202に平行であり得、カメラの絞りは、接続片202と、例えばx方向において、ほぼ水平に位置合わせされ得る)。さらに、較正位置202は、較正ターゲットに対してある深度(例えば、z方向における)dであり得る。いくつかの実施形態において、深度は、代わりに、カメラからパネルの水平中心までの距離(例えば、z方向に沿う)d’として、またはカメラからパネルの水平縁までの距離(例えば、z方向に沿う)d”として定義され得る。追加的にまたは代替的に、較正位置202は、深度dが較正されるカメラ上のレンズの焦点距離に等しくなるように設定され得る。図示のように、第1のパネル102および第2のパネル104は、接続片202に対してある角度(例えば、30°の角度)で配置され得る。
パネルが、互いに対してある角度であるので、較正位置272で取り込まれたまたは記録された較正画像は、平面較正ターゲットの複数の較正角度で取り込まれたまたは記録された複数の較正画像を模倣する(例えば、シミュレートする)のに使用され得る(例えば、較正ターゲット250から取られた2つの較正画像、すなわち、1つは第1の角度視点262から、もう1つは第2の角度視点264から取られた2つの較正画像をシミュレートするに使用され得る)。いくつかの実施形態において、較正位置272から取り込まれたまたは記録された較正画像を使用して、2つの角度(例えば、第1の角度視点262および第2の角度視点264)からの較正画像をシミュレートするために、較正位置272から取り込まれたまたは記録された較正画像が、クロップされ得る。例えば、画像の左半分が、第2の角度視点264から取られた較正ターゲット250の較正画像を模倣するのに使用され得、画像の右半分が、第1の角度視点262から取られた較正ターゲット250の較正画像を模倣するのに使用され得る。
これにより、実際に複数の角度から較正画像を取り込むまたは記録する必要をなくすることができる。このような現象は、図2Cに示す複数場所較正方法よりも多くの利点があり得る。例えば、較正に要する時間が短縮され得(較正画像の取り込みまたは記録と計算の両方で)、較正のコストが削減され得、較正画像の格納に使用されるメモリ量が縮小され得、かつ較正に使用する物理的スペースが低減され得る。
第1のパネル102および第2のパネル104が、基準マーカ110の拡大縮小パターンを有し得ることから、単一の較正画像において、複数の深度がシミュレートされるのを可能にする較正ターゲットを有する特徴が(例えば、図1Gに示したような)、図2Dの実施形態にもあり得ることも理解される。したがって、図2Dにおける較正ターゲットおよび較正配列を使用して、少なくとも2つの角度がシミュレートされ得、少なくとも2つの深度がシミュレートされ得る。したがって、最低でも、1つの較正画像は、それぞれが、基準マーカスケーリングを採用しない平面較正ターゲットの異なる較正場所から取られた、少なくとも4つの較正画像をシミュレートすることができる。パネルの追加のスケーリングおよび/または角度が使用される代替の実施形態では、さらに多くの較正場所がシミュレートされ得る。これは、図4Aおよび図4B参照してさらに説明する。
図3Aに示すのは、較正ターゲットの第3のパネル302である。第3のパネル302は、第1のパネル102および第2のパネル104と同じ較正ターゲットの一部であり得る。第1のパネル102および第2のパネル104と同様に、第3のパネル302は、その上に配列された一連の基準マーカ110を含み得る。この場合も、図が乱雑になるのを避けるため、基準マーカ110のうちの1つだけがラベル付けされている。第1のパネル102および第2のパネル104と同じように、基準マーカ110のサブセットは、第3のパネル識別基準マーカ108として使用され得る。例えば、第3のパネル302の角に最も近い基準マーカ110は、第3のパネル302の同一性を示し得る。図示のように、第3のパネル302の角にある第3のパネル識別基準マーカ108を除いて、第3のパネル302上の基準マーカ110は、第1のパネル102の基準マーカ110と一致し得(図1Aに示すように)、第2のパネル104の基準マーカ110の180°回転であり得る(図1Bに示すように)。
第1のパネル102および第2のパネル104と同様に、第3のパネル302上の基準マーカ110の別のサブセット(例えば、第3のパネル識別基準マーカ108以外のすべての基準マーカ110)は、基準マーカの第3の配列110であり得る。基準マーカ110の第3の配列は、基準マーカ110の複数のパターンを含み得る。例えば、基準マーカ110の第3の配列は、少なくとも、基準マーカ110の第5のパターン、および基準マーカ110の第6のパターンを含み得る。基準マーカ110の第6のパターンは、基準マーカ110の第5のパターンの拡大縮小版であり得る。様々な実施形態において、第3のパネル302上に様々なパターンがあり得る。これについては、図6A〜6Eを参照してさらに説明されよう。
図3Bに示されているのは、較正ターゲットの第4のパネル304である。第4のパネル304は、第1のパネル102、第2のパネル104、および第3のパネル302と同じ較正ターゲットの一部であり得る。第1のパネル102、第2のパネル104、および第3のパネル302と同様に、第4のパネル304は、その上に配列された一連の基準マーカ110を含み得る。この場合も、図が乱雑になるのを避けるため、基準マーカ110のうちの1つだけがラベル付けされている。第1のパネル102、第2のパネル104、および第3のパネル302のように、基準マーカ110のサブセットは、第4のパネル識別基準マーカ108として使用され得る。例えば、第4のパネル304の角に最も近い基準マーカ110は、第4のパネル304の同一性を示し得る。図示のように、第4のパネル304の角の第4のパネル識別基準マーカ108を除いて、第4のパネル304上の基準マーカ110は、第2のパネル104の基準マーカ110と一致し得(図1Bに示すように)、第1のパネル102の基準マーカ110の180°回転(図1Aに示すような)、および第3のパネル302の基準マーカ110の180°回転(図3Aに示すような)であり得る。
第1のパネル102、第2のパネル104、および第3のパネル302と同様に、第4のパネル304上の基準マーカ110の別のサブセット(例えば、第4のパネル識別基準マーカ108以外のすべての基準マーカ110)は、基準マーカ110の第4の配列であり得る。基準マーカ110の第4の配列は、基準マーカ110の複数のパターンを含み得る。例えば、基準マーカ110の第4の配列は、少なくとも、基準マーカ110の第7のパターンおよび基準マーカ110の第8のパターンを含み得る。基準マーカ110の第8のパターンは、基準マーカ110の第7のパターンの拡大縮小版であり得る。様々な実施形態において、第4のパネル304上に様々なパターンがあり得る。これについては、図6A〜6Eを参照してさらに説明されよう。
図2Aと同様に、図4Aは、1つ以上のカメラ(例えば、自律車両のナビゲーションに使用される1つ以上のカメラ)を較正するのに使用される較正ターゲットを正面から見て(例えば、xーy平面に平行な視点で)示す。較正ターゲットは、第1のパネル102、第2のパネル104、第3のパネル302、第4のパネル304、および複数の接続片402を含み得る。上記と同様に、図4Aでは、図が乱雑にならないように、基準マーカ110の1つだけにラベルが付けられている。図示のように、図2Aに示されるのと同様に、第3のパネル302上の基準マーカ110の第3の配列と第2のパネル104上の基準マーカ110の第4の配列とは、互いに同じであり得る。これは、第4の配列内の基準マーカ110の1つ以上のパターンと一致する第3の配置内の基準マーカ110の1つ以上のパターンを含み得る。
図2Aに示す較正ターゲットと同様に、図4Aに示す較正ターゲットを使用して、製造施設でカメラを較正することができる。追加的にまたは代替的に、較正ターゲットを使用して、組み立てまたは設置時に1つ以上のカメラを較正することができる。
図4Bは、図4Aにおける較正ターゲットの上面図(例えば、xーz平面に平行な視点)である。図示のように、接続片402のうちの1つは、両方が接続片402に対して30°の角度になるように、第1のパネル102と第2のパネル104とを接続し得る(図2Bに示す較正ターゲットと同様)。さらに、接続片402のうちの1つは、両方が接続片402に対して20°の角度になるように、第3のパネル302と第4のパネル304とを接続し得る。またさらに、接続片402のうちの別のものは、第1のパネル102および第2のパネル104を第3のパネル302および第4のパネル304に接続し得る。破線は、少なくとも1つの接続片404と同一線上にある線を示すのに使用されている。いくつかの実施形態において、破線は、互いに平行であり得、かつ/またはx軸に平行であり得る(図4Bに示すように)。代替の実施形態において、様々な角度が使用されてもよい(例えば、約1°、約2°、約3°、約4°、約5°、約10°、約15°、約20°、約25°、約35°、約40°、約45°、約50°、約55°、約60°、約65°、約70°、約75°、約80°、約85°、または約90°)。45°の角度は、視点間での最も大きなバラツキをもたらし得る(すなわち、較正ターゲットに対して移動するときのパネルの見えの差は、パネルが接続片202に対して45°の角度にあるときに最大となり得る)。いくつかの実施形態において、接続片404自体に角度を付けて、4つのパネル間に1つ以上の角度をもたらすことができる。またさらに、いくつかの実施形態において、第1のパネルと接続片との間の角度は、第2のパネルと接続片との間の角度とは同じでなくてもよく(すなわち、θ≠θ)、かつ/または、第3のパネルと接続片との間の角度が、第4のパネルと接続片との間の角度に同じでなくてもよい(すなわち、Φ≠Φ)。いくつかの実施形態では、θ=Φ、θ=Φ、θ=Φ、または、θ=Φである。
いくつかの実施形態において、2対のパネルを接続する中間接続片402は、それらが互いにある角度になるように、このパネルの対を接続し得る。別の言い方をすると、図4Bに示す破線は、実施形態によっては、互いに平行でない可能性がある。2対のパネル間にこの追加の角度があると、単一の画像からのシミュレート較正画像の追加が可能になり得る(図1E〜1G、図2C、および図2Dに関する説明を参照)。
代替の実施形態において、一対の第1および第2のパネルを一対の第3および第4のパネルと接続する中央接続片ではなく、二対のパネルを接続せず、互いに独立して位置付けることができる。これは、二対のパネルが互いに対して様々な角度であることを可能にし得る。さらに、パネル間のこのような角度は、パネル対のうちの一方または両方を移動させることによって調整可能であり得る。またさらに、いくつかの実施形態において、二対のパネルがカメラの両側に置かれ得る。このような実施形態では、二対のパネルの各々を取り込むまたは記録するように、カメラが回転して複数の較正画像を取り込むまたは記録することができる。追加的にまたは代替的に、カメラは、単一のカメラ角度/位置から両方のパネル対のすべてまたは一部を取り込むための広角レンズまたは魚眼レンズを含み得る。このような実施形態では、広角レンズまたは魚眼レンズは、カメラの固有の構成要素であり得る(例えば、較正のためにのみ追加されるレンズではない)。
二対のパネル(すなわち、同じ較正ターゲットの2つのサブセクション)が較正対象のカメラの両側に位置付けられるいくつかの実施形態において、二対のパネルは、カメラからの距離が異なる可能性がある。較正中、カメラからの距離が異なるパネルを使用すると、カメラに対する焦点距離が制限される可能性がある(例えば、焦点距離よりも長い距離にある1つのパネルセットと、焦点距離よりも短い距離にある1つのパネルセットとを含むことにより)。他の実施形態において、較正対象のカメラに対して様々な角度および場所に配置された二対より多いパネルがあり得る。さらに他の実施形態において、パネル対ではなく、単一のパネルまたは3つ以上のパネルが、場所のうちの1つ以上で使用され得る。
図4C〜4Eに示すように、いくつかの実施形態において、二対のパネルが、カメラに対して逆ピラミッドの向きで配列され得る(例えば、その場合、逆ピラミッドの基部がカメラに向いている、すなわち、ピラミッドの点がカメラに背を向けている)。例えば、二対のパネルの一方または両方は、垂直軸(例えば、図4C〜4Eにおけるz軸)に加えて、水平軸(例えば、図4C〜4Eにおけるx軸)の上で回転され得る。このような水平軸回転は、パネル対の一方または両方を傾けることに対応し得る。図4C〜4Eに見られるように、第1のパネル対(例えば、第1のパネル102、第2のパネル104、および接続片402)は、1つ以上の接続片452を使用して、第2のパネル対(例えば、第3のパネル302、第4のパネル304、および接続片402)に結び付けられ得る。図4Cは、二対のパネルの正面図を示し得、図4Dは、二対のパネルの上面図(例えば、または正面図に対して180°回転した上面図)を示し得、図4Eは、二対のパネルの側面図を示し得る。
図4C〜4Eに示すような、較正ターゲットに対する逆ピラミッド構造では、4つの異なる角度が可能であり得る。例えば、第1のパネル102および第2のパネル104は、接続片402に対して30°の角度であり、第3のパネル302および第4のパネル304は、接続片402に対して20°の角度であり、第1の対の第1のパネル102および第2のパネル104は、10°の角度であり、第2の対の第3のパネル302および第4のパネル304は、15°の角度である。他の実施形態では、他の角度を使用することができる。さらに他の実施形態において、4つの固有の角度ではなく、8つの固有の角度を含めることができる(例えば、第1のパネル102、第2のパネル104、第3のパネル302、および第4のパネル304がすべて異なる角度である場合)。3つ以上の角度が較正ターゲットに含まれているという事実により、単一の較正画像を使用して、シミュレートされる較正画像を加えることが可能であり得る。さらに他の実施形態において、互いに対しある角度の複数のパネルではなく(例えば、図4Aに示すようなアコーディオン様式における)、パネルは、半球形に形作られ得る。これにより、カメラに対して単一のパネル上の連続した角度が可能になり得る。いくつかの実施形態において、非逆(逆転に対して)ピラミッド構造が、較正ターゲットに使用され得る。またさらに他の実施形態において、パネルは、半球またはセミシリンダ(例えば、半シリンダ)として形作られ得る。
図5は、較正ターゲットのパネル502を示す。パネル502は、図1Bに示す第1のパネル102と同様であり得る。図示のように、パネル502は、上に基準マーカ110(例えば、パネル502上のパターンおよび/または配列で位置する)基準マーカ110を有する。これまでと同様に、図が乱雑にならないように、基準マーカ110のうちの1つだけに、ラベルが付けられている。図1Bに示す第1のパネル102と図5におけるパネル502との違いは、パネル識別基準マーカ108が、角ではなくパネル502の中央部分にあることである。したがって、図5では、パネル識別基準マーカ108が、複数ではなくただ1つである。代替の実施形態において、パネルの中央部分にも、パネルの角または縁の周りにも、パネル識別基準マーカがあり得る。さらに、単一の較正ターゲットにわたって、パネル識別基準マーカが、パネルごとに異なる領域に位置し得る。例えば、あるパネルは、中央部分にパネル識別基準マーカを有し得、別のパネルは、パネルの角にパネル識別基準マーカを有し得る。
図6Aは、(例えば、図1Aに示す第1のパネル102と同様の)較正ターゲットのパネル602の図である。パネル602は、上に基準マーカの複数のパターンを有し得る。図6Aでは、第1のパターンは、「1」でラベル付けされた基準マーカを含み得、第2のパターンは、「2」でラベル付けされた基準マーカを含み得る。図示のように、第2のパターンは、第1のパターンの拡大縮小版であり得る。また、図示のように、パネル602は、パネル602の角にパネル識別基準マーカ(例えば、「0」を使用してラベル付けされた)を有し得る。図1Aに示す第1のパネル102とは異なり、パネル602は、2つの長方形パターンのみを含み得る(6つに対して)。様々な実施形態において、様々な数のパターンが、較正ターゲットの各パネルに含まれ得る。さらに、いくつかの実施形態において、同じ較正ターゲットのパネルごとに、異なる数のパターンを含み得る。追加的にまたは代替的に、様々な実施形態において、較正ターゲットのパネル上のパターンは、様々な形状(例えば、長方形以外)を有し得る。例えば、いくつかの実施形態において、パターンの形状は、円形、三角形、五角形、六角形、七角形、八角形、九角形、または十角形であり得る。
図6Bは、較正ターゲットのパネル604(例えば、図6Aに示すパネル602と同様の)の図である。しかし、図6Aに示す602とは異なり、図6Bにおけるパネル604は、パネルの角にある複数のパネル識別基準マーカではなく、パネル604の中央部分に位置する単一のパネル識別基準マーカ(例えば、「0」でラベル付けされた)を有する。さらに、基準マーカの第1のパターン(例えば、「1」でラベル付けされた)および基準マーカの第2のパターン(例えば、「2」でラベル付けされた)は、図6Aのパネル602内の基準マーカの第1および第2のパターンよりも、図6Bにおけるパネル604に対してわずかな違いの向き/形状である。
図6Cは、較正ターゲットのパネル606(例えば、図6Aに示すパネル602と同様の)の図である。但し、図6Aに示す602とは異なり、図6Cにおけるパネル606は、円形パネルである。加えて、図6Bに示すパネル604と同様に、パネル606は、パネル606の中央部分に位置する単一のパネル識別基準マーカ(例えば、「0」でラベル付けされた)を有する。さらに、基準マーカの第1のパターン(例えば「1」でラベル付けされた)および基準マーカの第2のパターン(例えば「2」でラベル付けされた)の形状は、円形である。基準マーカの円形パターンは、パネル606の形状と一致し得、したがって、パネル606上のスペースの効率的な使用を可能にし得る。
図6Dは、較正ターゲットのパネル608(例えば、図6Bに示すパネル604と同様の)の図である。但し、図6Bに示すパネル604とは異なり、図6Dにおけるパネル608は、円形ではなく長方形(例えば、正方形)の形状である基準マーカを有する。長方形の基準マーカは、パネル608の形状と一致し得、したがって、パネル608上のスペースの効率的な使用、またはパネル608上のパターンにおける基準マーカの位置合わせを可能にし得る。
図6Eは、較正ターゲットパネルの610(例えば、図6Bに示すパネル604と同様の)の図である。但し、図6Bに示すパネル604とは異なり、図6Eにおけるパネル610は、円形ではなく星形である基準マーカを有する。さらに、図6Eに示すように、星形の基準マーカは、星形の点でそれぞれのパターン内に置かれた基準マーカを有する、基準マーカの第1のパターン(例えば、「1」でラベル付けされた)、および基準マーカの第2のパターン(例えば、「0」でラベル付けされた)と一致し得る。言い換えれば、基準マーカの星形パターンは、第1および第2のパターンによってミラーリングされ得る。
III.プロセスの例
図7は、実施形態例による方法700のフローチャート図である。記載の方法700は、ブロックのうちの1つ以上によって示される1以上の動作、機能、または作用を含み得る。ブロックは、連続した順序で示されているが、これらのブロックは、場合によっては、並行して、または本明細書に記載の順序とは異なる順序で行われ得る。また、様々なブロックが、望ましい実装に基づき、それより少ないブロックに組み合わされても、さらなるブロックに分割されても、または取り除かれてもよい。本明細書において考えられている方法のいくつかの変形形態には、付加的な非必須ステップを描写する追加のブロックがさらに含まれ得る。
いくつかの実施形態において、図7のブロックのうちの1つ以上は、コンピューティングデバイスによって行われ得る。コンピューティングデバイスは、不揮発性メモリ(例えば、ハードドライブまたは読み取り専用メモリ(ROM:Read−Only Memory))、揮発性メモリ(例えば、ダイナミックランダムアクセスメモリ(DRAM:Dynamic Random−Access Memory)またはスタティックランダムアスクスメモリ(SRAM:Static Random−Access Memory)などのランダムアクセスメモリ(RAM:Random−Access Memory))、ユーザ入力デバイス(例えば、マウスまたはキーボード)、ディスプレイ(例えば、発光ダイオード(LED:light−Emitting Diode)ディスプレイまたは液晶ディスプレイ(LCD:Liquid Crystal Display))、および/またはネットワーク通信コントローラ(例えば、IEEE 802.11規格に基づくWIFI(登録商標)コントローラ、またはイーサネットコントローラー)などのコンピューティング構成要素を含み得る。コンピューティングデバイスは、例えば、非一時的コンピュータ可読媒体(例えば、ハードドライブ)に格納された命令を実行して、本明細書に記載の動作のうちの1つ以上を行うことができる。
ブロック702において、方法700は、カメラを使用してターゲットの較正画像を取り込むまたは記録することを含み得る。ターゲットは、上に基準マーカの第1の配列を有する第1のパネルを含み得る。第1の配列における基準マーカの各々は、第1の配列における基準マーカ間で一意であり得る。ターゲットは、第1のパネルに対して第1の角度で配置され、上に基準マーカの第2の配列を有する第2のパネルも含み得る。第2の配列における基準マーカの各々は、第2の配列における基準マーカ間で一意であり得る。基準マーカの第1の配列は、基準マーカの第2の配列と同じであり得る(すなわち、一致し得る)。
いくつかの実施形態において、第1のパネルは、第1のパネルを一意に特定する1つ以上の第1のパネル識別基準マーカをさらに含み得る。追加的にまたは代替的に、第1の配列は、基準マーカの第1のパターンおよび基準マーカの第2のパターンを含み得る。さらに、基準マーカの第2のパターンは、基準マーカの第1のパターンの拡大縮小版であり得る。またさらに、第2のパネルは、第2のパネルを一意に特定する1つ以上の第2のパネル識別基準マーカを含み得る。第2の配列は、基準マーカの第3のパターンおよび基準マーカの第4のパターンをさらに含み得る。基準マーカの第3のパターンは、基準マーカの第1のパターンに一致し得、基準マーカの第4のパターンは、基準マーカの第2のパターンに一致し得る。
ブロック704において、方法700は、較正画像において1つの以上の基準マーカの場所および識別を決定することを含み得る。
ブロック706において、方法700は、決定された場所および識別に基づいて、カメラを較正することを含み得る。
カメラを較正することは、較正画像における1つ以上の基準マーカの決定された場所および識別と、較正ターゲット上の1つ以上の基準マーカの場所および識別との間の相関を決定することを含み得る。これらの決定された相関に基づいて、ピンホールカメラモデルを使用して、カメラ行列のパラメータが推定され得る。ピンホールカメラモデルを使用することは、決定された相関を使用して、カメラの絞りを表すピンホールの三次元位置を決定することを含み得る。追加的にまたは代替的に、カメラを較正することは、半径方向の歪みまたは接線方向の歪みを考慮することを含み得る。
実施形態の一例において、方法700は、取り込まれたまたは記録された較正画像を複数のシミュレートされた較正画像(例えば、各パネル内の各パターンに対してシミュレートされた1つの較正画像)に分割することを含み得る。次に、複数のパターンの複数のシミュレートされた較正画像を使用して、複数の視点(例えば、複数の角度および/または複数の深度)から(静止3D位置で)単一のパターンの取り込まれたまたは記録された複数の実際の較正画像を表すことができる。複数のシミュレートされた較正画像を使用して、カメラパラメータ(例えば、ピンホールカメラモデルに対応するカメラ行列のパラメータ)を最適化することができる。この最適化は、各基準マーカの3D位置を較正画像にける基準マーカの2D位置に写像する際の最小限に抑えられた再投影誤差に対応し得る。
いくつかの実施形態において、較正ターゲット上の1つ以上の基準マーカの場所および識別(すなわち、「グランドトゥルース」)は、較正ターゲットのパネル上に基準マーカを印刷するのに使用される1つ以上の方法、互いに対して較正ターゲットのパネルを配列するのに使用される方法、または他の製造/組み立て方法に基づいて確立され得る。追加的にまたは代替的に、較正ターゲット上の1つ以上の基準マーカの場所および識別は、別の光学的手順によって確立され得る。例えば、光検出と測距(LIDAR:LIght Detection And Ranging)システムを使用して、較正ターゲット内の各基準マーカの各々の正確な場所を決定することができる。
決定された相関を使用してカメラの絞りに対応するピンホールの三次元位置を決定することは、NP困難な問題であり得る。したがって、いくつかの実施形態において、ピンホールの場所が決定されると、さらに較正を行って、較正されたカメラに関連付けられたカメラ行列がある程度の範囲内でまだ正確であるかどうかを判断することができる(例えば、その間にカメラが離調した可能性のある所定の時間が経過した後)。カメラ行列がある程度の範囲内で正確であるかどうかを判断することは、このような比較がNP困難な問題ではない可能性があるため計算が少なくて済むことがある(カメラ行列の元の判断がそうである可能性があるが)。
さらに、取り込まれたまたは記録された較正画像を使用してカメラを較正することは、カメラ内の各画素が向いている、カメラ内の画像センサに対する角度を決定することを含み得る。画素ごとに角度を決定することは、画素ごとの角度のルックアップテーブルを生成することを含み得る。代替的に、画素ごとに角度を決定することは、角度を記述するパラメータ化(例えば、2、3、4、5、6、7、8、9、10などの変数に基づくパラメータ表示)を生成することを含み得る。パラメータ表示の生成は、ルックアップテーブルの生成よりも計算量が少ない可能性がある。
いくつかの実施形態において、方法700は、ターゲットに対してカメラを回転させ、追加の較正画像を取り込むまたは記録することも含み得る。ターゲットに対してカメラを回転させることは、ピッチ軸を中心として(例えば、x軸を中心として)、ロール軸を中心として(例えば、z軸を中心として)、ヨー軸を中心として(例えば、y軸を中心として)、またはピッチ軸、ロール軸、およびヨー軸の中から選択された軸の重ね合わせを中心として、カメラを回転させることを含み得る。カメラを回転させることにより、1つ以上の追加の較正画像を、ターゲットに対する様々な視点から取り込むまたは記録することができる。追加的にまたは代替的に、カメラを回転させることにより、較正画像セットの中で、較正ターゲット全体が取り込まれるまたは記録されるような追加の較正画像を取り込むまたは記録することができる。例えば、較正を受けるカメラの視野が、較正ターゲットに対するカメラの位置に基づいて、較正ターゲットよりも狭い(1つ以上の次元で)場合、較正ターゲット全体が取り込まれるまたは記録されるような複数の較正画像が取り込まれ得るかまたは記録され得る。一実施形態において、これは、較正ターゲットの第1のパネルの較正画像を取り込むまたは記録し、較正ターゲットの第2のパネルに面するようにカメラを回転させ(または並進させ)、較正ターゲットの第2のパネルの較正画像を取り込むまたは記録し、次に、第1のパネルの較正画像および第2のパネルの較正画像の両方を使用して、カメラの較正を行うことを含み得る。代替の実施形態において、較正ターゲットの単一の較正画像または複数の較正画像が、ターゲットを並進または回転させることなく、取り込まれ得るかまたは記録され得る。
いくつかの実施形態において、方法700は、較正ターゲットに対してカメラを並進させ、追加の較正画像を取り込むまたは記録することも含み得る。較正ターゲットに対してカメラを並進させることは、較正ターゲットに平行な水平方向(例えば、x方向)で、較正ターゲットに直角な水平方向(例えば、z方向)で、較正ターゲットに平行な垂直方向(例えば、y方向)で、または水平−平行方向、水平−法線方向、および垂直−平行方向の中から選択された方向の重ね合わせで、カメラを並進させることを含み得る。カメラを並進させることにより、ターゲットに対する様々な視点から1つ以上の追加の較正画像を取り込むまたは記録することが可能になる。次に、カメラを並進させる前に取り込まれたまたは記録された較正画像と、カメラを並進させた後に様々な視点から取り込まれたまたは記録された1つ以上の追加の較正画像との両方を使用して、カメラの較正が行われ得る。
方法700は、較正画像を2つ以上の較正サブ画像(例えば、第1のパネルの少なくとも1つのサブ画像および第2のパネルの少なくとも1つのサブ画像)にクロッピングすることをさらに含み得る。このようにして、較正ターゲットの個々のパネルが、個別に隔離され、解析され得る。各較正サブ画像のこのような個別の解析では、第1のパネルと第2のパネルとが、それらを取り込むまたは記録するカメラに対して異なる角度にある可能性があることを考慮に入れることがある(例えば、2つの異なるパネルが較正ターゲットに対して頃なるカメラ位置をシミュレートしていたため)。
いくつかの実施形態において、較正ターゲットを使用して、複数の較正画像を取り込むまたは記録することができる。例えば、較正を受けるカメラが取り付けられるステージに、コンピューティングデバイスを接続することができる(例えば、ステージおよび較正ターゲットを含む較正システムの一部として)。コンピューティングデバイスは、較正ターゲットに対してステージを並進させ、回転させるように構成され得る。このような実施形態では、コンピューティングデバイスは、較正ターゲットに対してカメラを段階的に並進させ得る。追加的にまたは代替的に、コンピューティングデバイスは、較正ターゲットに対してカメラを段階的に回転させ得る。カメラが段階的に並進または回転するため、較正画像は、カメラの様々な視点から較正ターゲットが取り込まれまたは記録され得る。較正画像の各々は、較正のための追加のデータとして使用され得る。例えば、所与の角度の2つのパネルを有する較正ターゲットは、単一の較正画像において2つの角度をシミュレートすることができるが、カメラが段階的に回転して、追加の較正画像を取り込むまたは記録する場合、取り込まれたまたは記録された追加の較正画像ごとに、2つの追加の較正角度が得られ得る。
IV.結論
本開示は、本出願に記載の特定の実施形態に関して限定されるものではなく、特定の実施形態は、様々な態様の説明として意図されるものである。当業者には明らかなことであるが、多くの変形および変更を本開示の範囲から逸脱しない限り行うことができる。本明細書に記載の方法および装置に加えて、本開示の範囲内の機能的に同等の方法および装置が、当業者にはこれまでの説明から分かってくるであろう。このような変形および変更は、添付の特許請求の範囲内にあることが意図されている。
上の発明を実施するための形態は、開示されるシステム、デバイス、および方法の様々な特徴および働きを添付の図を参照しながら述べている。本明細書および図に記載の実施形態例は、限定することを意図しているものではない。本明細書に提示の発明の対象の範囲から逸脱しない限り、他の実施形態を活かすことができ、他の変更を行うことができる。本明細書に一般的に説明され、図面に示される本開示の態様が、多種多様な構成で配列、置き換え、組み合わせ、分離、かつ設計され得ることがすぐに分かるであろう。
図における、また本明細書において述べられたメッセージフロー図、シナリオ、およびフローチャートのいずれかまたはすべてに関して、各ステップ、ブロック、動作、および/または通信は、実施形態例に従った情報の処理および/または情報の送信を表し得る。代替の実施形態は、これらの実施形態例の範囲内に含まれる。これらの代替の実施形態では、例えば、ステップ、ブロック、送信、通信、要求、応答、および/またはメッセージとして説明される動作は、関わる機能性に応じて、図示または述べられたものとは異なる順序で、実質的に同時に、または逆の順序で実行され得る。さらに、それより多いまたは少ないブロックおよび/または動作を、本明細書に記述のメッセージフロー図、シナリオ、およびフローチャートのいずれかで使用することができ、これらのメッセージフロー図、シナリオ、およびフローチャートは、部分的にまたは全体として互いに組み合わせることができる。
情報の処理に相当するステップ、ブロック、または動作は、本明細書に記載の方法または技法の特定の論理機能を果たすように構成され得る回路網に対応し得る。代替的にまたは追加的に、情報の処理に相当するステップまたはブロックは、モジュール、セグメント、またはプログラムコード(関連データを含む)の一部に対応し得る。プログラムコードには、特定の論理演算または動作を方法または技法において実施するためのプロセッサにより実行可能な1つ以上の命令を含めることができる。プログラムコードおよび/または関連データは、RAM、ディスクドライブ、ソリッドステートドライブ、または別の記憶媒体を含む記憶デバイスなど、いずれのタイプのコンピュータ可読媒体にも格納され得る。
コンピュータ可読媒体には、レジスタメモリおよびプロセッサキャッシュのような短期間にデータを格納するコンピュータ可読媒体などの非一時的コンピュータ可読媒体も含めることができる。コンピュータ可読媒体には、プログラムコードおよび/またはデータを長期間格納する非一時的コンピュータ可読媒体をさらに含めることができる。したがって、コンピュータ可読媒体には、例えば、ROM、光ディスクまたは磁気ディスク、ソリッドステートドライブ、コンパクトディスク読み取り専用メモリ(CD−ROM:Compact−Disc Read Only Memory)のような二次のまたは永続的な長期記憶装置が含まれ得る。コンピュータ可読媒体はまた、他の任意の揮発性または不揮発性の記憶システムであり得る。コンピュータ可読媒体は、例えば、コンピュータ可読記憶媒体、または有形の記憶デバイスとみなすことができる。
さらに、1つ以上の情報送信に相当するステップ、ブロック、または動作は、同じ物理デバイスにおけるソフトウェアモジュールおよび/またはハードウェアモジュール間の情報送信に対応し得る。しかし、他の情報送信は、様々な物理デバイスにおけるソフトウェアモジュールおよび/またはハードウェアモジュール間の情報送信であり得る。
図に示す特定の配列は、限定としてみなされるべきではない。他の実施形態が、所与の図に示される各要素をそれより多く、またはそれより少なく含み得ることを理解されたい。さらに、図示の要素のうちのいくつかを組み合わせることも、省略することもできる。またさらに、実施形態例が、図に示されていない要素を含むこともある。
様々な態様および実装態様が本明細書において開示されているが、当業者には、その他の態様および実装態様が見えてくるであろう。本明細書において開示した様々な態様および実施形態は、説明のためのものであり、本当の範囲は、以下の特許請求の範囲により示される。
したがって、本開示の実施形態は、以下に列挙される付番実施例(EEE:Enumerated Example Embodiment)のうちの1つに関係し得る。
EEE1は、較正に使用されるターゲットであり、ターゲットは、
上に基準マーカの第1の配列を有する第1のパネルであって、
第1の配列における基準マーカの各々が、第1の配列における基準マーカ間で一意に識別可能である、第1のパネルと、
第1のパネルに対して第1の角度で配置され、上に基準マーカの第2の配列を有する第2のパネルであって、
第2の配列における基準マーカの各々が、第2の配列における基準マーカ間で一意に識別可能である、第2のパネルと、を含み、
基準マーカの第1の配列は、基準マーカの第2の配列と一致する。
EEE2は、EEE1のターゲットであり、
第1のパネルは、第1のパネルを一意に特定する1つ以上の第1のパネル識別基準マーカをさらに含み、
第2のパネルは、第2のパネルを一意に特定する1つ以上の第2のパネル識別基準マーカをさらに含む。
EEE3は、
1つ以上の第1のパネル識別基準マーカは、第1のパネルの1つ以上の角に配置され、
1つ以上の第2のパネル識別基準マーカは、第2のパネルの1つ以上の角に配置されている、EEE2のターゲットである。
EEE4は、第1の配列および第2の配列における基準マーカの形状が円形である、EEE1〜3のいずれかのターゲットである。
EEE5は、第1の配列および第2の配列における基準マーカが、各それぞれの基準マーカの中心を特定する十字線を含む、EEE1〜4のいずれかのターゲットである。
EEE6は、第1の配列および第2の配列における基準マーカがそれぞれ、それぞれの角度バーコードによって一意にラベル付けされている、EEE1〜5のいずれかのターゲットである。
EEE7は、角度バーコードが、各ビットが1または0に相当する明るいセクションまたは暗いセクションで表される、10ビットの符号化方式を含む、EEE6のターゲットである。
EEE8は、角度バーコードが、どのような角度だけ回転されたとしても、互いに一致することのないように、回転的に一意である、EEE6のターゲットである。
EEE9は、
上に基準マーカの第3の配列を有する第3のパネルであって、
第3の配列における基準マーカの各々が、第3の配列における基準マーカ間で一意に識別可能であり、
第3のパネルが、第3のパネルを一意に特定する1つ以上の第3のパネル識別基準マーカをさらに含む、第3のパネルと、
第3のパネルに対して第2の角度で配置され、上に第4の配列の基準マーカを有する第4のパネルであって、
第4の配列における基準マーカの各々が、第4の配列における基準マーカ間で一意に識別可能であり、
第4のパネルが、第4のパネルを一意に特定する1つ以上の第4のパネル識別基準マーカをさらに含む、第の4のパネルと、をさらに含み、
第2の角度は、第1の角度に等しくない、EEE1〜8のいずれかのターゲットである。
EEE10は、
第3のパネルおよび第4のパネルは、第1のパネルおよび第2のパネルに対して第3の角度で配置され、
第3の角度は、第1の角度および第2の角度とは異なる軸の周りである、EEE9のターゲットである。
EEE11は、
第1の配列が、基準マーカの第1のパターンおよび基準マーカの第2のパターンを含み、
第2の配列が、第3のパターンの基準マーカの第3のパターンおよび基準マーカの第4のパターンを含み、
基準マーカの第2のパターンは、基準マーカの第1のパターンの拡大縮小版であり、
基準マーカの第3のパターンが、基準マーカの第1のパターンと一致し、基準マーカの第4のパターンが、基準マーカの第2のパターンと一致する、EEE1〜10のいずれかのターゲットである。
EEE12は、第2の配列パターンにおける基準マーカが、第1の配列における基準マーカが対応する場所で180度回転したものである、EEE1〜11のいずれかのターゲットである。
EEE13は、
第1の配列における基準マーカが第1の色を含み、第2の配列における基準マーカが第2の色を含み、
第1の色と第2の色とは、異なる色である、EEE1〜12のいずれかのターゲットである。
EEE14は、
カメラを使用してターゲットの較正画像を記録することであって、ターゲットが、
上に基準マーカの第1の配列を有する第1のパネルであって、
第1の配列における基準マーカの各々が、第1の配列における基準マーカ間で一意に識別可能である、第1のパネルと、
第1のパネルに対して第1の角度で配置され、上に基準マーカの第2の配列を有する第2のパネルであって、
第2の配列における基準マーカの各々が、第2の配列における基準マーカ間で一意に識別可能である、第2のパネルと、を含み、
基準マーカの第1の配列が、基準マーカの第2の配置と一致する、記録することと、
較正画像において、1つ以上の基準マーカの場所および識別を決定することと、
決定された場所および識別に基づいて、カメラを較正することと、を含む、方法である。
EEE15は、カメラを較正することが、第1のパネル上の基準マーカの場所と第2のパネル上の基準マーカの場所との間の相関を使用して、ピンホールカメラモデルを用いたカメラ行列のパラメータを推定することを含む、EEE14の方法である。
EEE16は、
第1の配列が、基準マーカの第1のパターンおよび基準マーカの第2のパターンを含み、
基準マーカの第2のパターンが、基準マーカの第1のパターンの拡大縮小版である、EEE14または15の方法である。
EEE17は、
ターゲットに対してカメラを回転させ、追加の較正画像を記録することと、
追加の較正画像において、1つ以上の基準マーカの場所および識別を決定することと、をさらに含む、EEE14〜16のいずれかの方法である。
EEE18は、ターゲットに対してカメラを回転させることが、カメラのピッチ軸またはカメラのロール軸のうちの少なくとも1つの周りでカメラを回転させることを含む、EEE17の方法である。
EEE19は、
カメラを移動させて、追加の較正画像を記録することと、
追加の較正画像において、1つ以上の基準マーカの場所および識別を決定することと、をさらに含む、EEE14〜18のいずれかの方法である。
EEE20は、カメラを較正するのに使用されるシステムであり、システムは、
ターゲットであって、
上に基準マーカの第1の配列を有する第1のパネルであって、
第1の配列における基準マーカの各々が、第1の配列における基準マーカ間で一意に識別可能である、第1のパネルと、
第1のパネルに対して第1の角度で配置され、上に基準マーカの第2の配列を有する第2のパネルであって、
第2の配列における基準マーカの各々が、第2の配列における基準マーカ間で一意に識別可能である、第2のパネルと、を含み、
基準マーカの第1の配列が、基準マーカの第2の配置と一致する、記録することと、
ターゲットに対してカメラを並進または回転させるように構成されたステージと、を備える。
EEE21は、較正に使用されるターゲットであり、ターゲットは、
基準マーカの第1のパターンと、
基準マーカの第2のパターンと、を含み、
ターゲットの取り込まれた較正画像が複数の較正視点で取り込まれた単一のパターンの複数の画像をシミュレートするように、基準マーカの第1のパターンが、基準マーカの第2のパターンの拡大縮小版である。
EEE22は、第1のパターンにおける基準マーカおよび第2のパターンにおける基準マーカの形状が円形である、EEE21のターゲットである。
EEE23は、第1のパターンにおける基準マーカおよび第2のパターンにおける基準マーカが、各それぞれの基準マーカの中心を特定する十字線を含む、EEE21または22のターゲットである。
EEE24は、第1のパターンにおける基準マーカの各々および第2のパターンにおける基準マーカの各々が、ターゲットの他の基準マーカに対して一意に識別可能である、EEE21〜23のいずれかのターゲットである。
EEE25は、第1のパターンにおける基準マーカおよび第2のパターンにおける基準マーカがそれぞれ、それぞれの角度バーコードによって一意にラベル付けされている、EEE24のターゲットである。
EEE26は、角度バーコードが、各ビットが1または0に相当する明るいセクションまたは暗いセクションで表される、10ビット符号化方式を含む、EEE25のターゲットでる。
EEE27は、角度バーコードが、どのような角度だけ回転されたとしても、互いに一致することのないように、回転的に一意である、EEE25のターゲットである。
EEE28は、
カメラを使用してターゲットの較正画像を記録することであって、ターゲットが、
上に基準マーカの第1の配列を有する第1のパネルであって、
第1の配列における基準マーカの各々が、第1の配列における基準マーカ間で一意に識別可能である、第1のパネルと、
第1のパネルに対して第1の角度で配置され、上に基準マーカの第2の配列を有する第2のパネルであって、
第2の配列における基準マーカの各々が、第2の配列における基準マーカ間で一意に識別可能である、第2のパネルと、を含み、
基準マーカの第1の配列が、基準マーカの第2の配置と一致する、記録することと、
較正画像において、1つ以上の基準マーカの場所および識別を決定することと、
決定された場所および識別に基づいて、カメラを較正することと、を含む、方法である。
EEE29は、第2の配列における基準マーカが、第1の配列における基準マーカが対応する場所で180度回転したものである、EEE28の方法である。
EEE30は、
第1の配列における基準マーカが第1の色を含み、第2の配列における基準マーカが第2の色を含み、
第1の色と第2の色とは、異なる色である、EEE28または29のいずれかの方法である。
EEE31は、
第1のパネルが、第1のパネルを一意に特定する1つ以上の第1のパネル識別基準マーカを含み、
第2のパネルが、1つ以上の第2のパネル識別基準マーカを含む、EEE28〜30のいずれかの方法である。
EEE32は、
1つ以上の第1のパネル識別基準マーカは、第1のパネルの1つ以上の角に配置され、
1つ以上の第2のパネル識別基準マーカは、第2のパネルの1つ以上の角に配置されている、EEE2のターゲットである。
EEE33は、ターゲットが、
上に基準マーカの第3の配列を有する第3のパネルであって、
第3の配列における基準マーカの各々が、第3の配列における基準マーカ間で一意に識別可能である、第3のパネルと、
第3のパネルに対して第2の角度で配置され、上に第4の配列の基準マーカを有する第4のパネルであって、
第4の配列における基準マーカの各々が、第4の配列における基準マーカ間で一意に識別可能であり、
基準マーカの第3の配列と基準マーカの第4の配列とがそれぞれ、基準マーカの第1の配列と基準マーカの第2の配列とに一致し、
第2の角度は、第1の角度に等しくない、EEE28〜32のいずれかの方法である。
EEE34は、
第3のパネルおよび第4のパネルは、第1のパネルおよび第2のパネルに対して第3の角度で配置され、
第3の角度は、第1の角度および第2の角度とは異なる軸の周りである、EEE33の方法である。
EEE35は、カメラを較正することが、第1のパネル上の基準マーカの場所と第2のパネル上の基準マーカの場所との間の相関を使用して、ピンホールカメラモデルを用いたカメラ行列のパラメータを推定することを含む、EEE28〜34のいずれかの方法である。
EEE36は、
第1の配列が、基準マーカの第1のパターンおよび基準マーカの第2のパターンを含み、
基準マーカの第2のパターンが、基準マーカの第1のパターンの拡大縮小版である、EEE28または35の方法である。
EEE37は、
ターゲットに対してカメラを回転させ、追加の較正画像を記録することと、
追加の較正画像において、1つ以上の基準マーカの場所および識別を決定することと、をさらに含む、EEE28〜36のいずれかの方法である。
EEE38は、ターゲットに対してカメラを回転させることが、カメラのピッチ軸またはカメラのロール軸のうちの少なくとも1つを中心としてカメラを回転させることを含む、EEE37の方法である。
EEE39は、
カメラを移動させて、追加の較正画像を記録することと、
追加の較正画像において、1つ以上の基準マーカの場所および識別を決定することと、をさらに含む、EEE28〜38のいずれかの方法である。
EEE40は、カメラを較正するのに使用されるシステムであり、システムは、
ターゲットであって、
基準マーカの第1のパターンと、
基準マーカの第2のパターンと、を含み、
ターゲットの取り込まれた較正画像が複数の較正視点で取り込まれた単一のパターンの複数の画像をシミュレートするように、基準マーカの第1のパターンが、基準マーカの第2のパターンの拡大縮小版である、ターゲットと、
ターゲットに対してカメラを並進または回転させるように構成されたステージと、を備える。

Claims (20)

  1. 較正に使用されるターゲットであって、
    基準マーカの第1のパターンと、
    基準マーカの第2のパターンと、を含み、
    ターゲットの取り込まれた較正画像が複数の較正視点で取り込まれた単一のパターンの複数の画像をシミュレートするように、1のパターンが、2のパターンの拡大縮小版であり、
    較正に使用される前記ターゲットを一意に特定する1つ以上のパネル識別基準マーカをさらに含む、ターゲット。
  2. 前記第1のパターンにおける前記基準マーカおよび前記第の2のパターンにおける前記基準マーカの形状が、円形である、請求項1に記載のターゲット。
  3. 前記第1のパターンにおける前記基準マーカが、前記第2のパターンにおける前記基準マーカとは異なる形状を有する、請求項1に記載のターゲット。
  4. 前記第1のパターンにおける前記基準マーカの各々および前記第2のパターンにおける前記基準マーカの各々が、前記ターゲットの他の基準マーカに対して一意に識別可能である、請求項1に記載のターゲット。
  5. 前記第1のパターンにおける前記基準マーカおよび前記第2のパターンにおける前記基準マーカが各々、それぞれの角度バーコードによって一意にラベル付けされている、請求項4に記載のターゲット。
  6. 前記角度バーコードが、各ビットが1または0に相当する明るいセクションまたは暗いセクションによって表される、10ビット符号化方式を含む、請求項5に記載のターゲット。
  7. 前記角度バーコードが、どのような角度だけ回転されたとしても、互いに一致することのないように、回転的に一意である、請求項5に記載のターゲット。
  8. カメラを使用してターゲットの較正画像を記録することを含み
    前記ターゲットが、
    上に基準マーカの第1の配列を有する第1のパネルであって、
    前記第1の配列における前記基準マーカの各々が、前記第1の配列における前記基準マーカ間で一意に識別可能である、第1のパネルと、
    前記第1のパネルに対して第1の角度で配置され、上に基準マーカの第2の配列を有する第2のパネルであって、
    前記第2の配列における前記基準マーカの各々が、前記第2の配列における前記基準マーカ間で一意に識別可能である、第2のパネルと、を含み、
    記第1の配列が、記第2の配置と一致
    前記第1のパネルが、前記第1のパネルを一意に特定する1つ以上の第1のパネル識別基準マーカを含み、
    前記較正画像において、1つ以上の基準マーカの場所および識別を決定することと、
    決定された前記場所および識別に基づいて、前記カメラを較正することと、をさらに含む、方法。
  9. 前記第2の配列における前記基準マーカが、前記第1の配列における前記基準マーカが対応する場所で180度回転したものである、請求項8に記載の方法。
  10. 前記第1の配列における前記基準マーカが第1の色を含み、前記第2の配列における前記基準マーカが第2の色を含み、
    前記第1の色および前記第2の色は、異なる色である、請求項8に記載の方法。
  11. 記第2のパネルが、1つ以上の第2のパネル識別基準マーカを含む、請求項8に記載の方法。
  12. 前記1つ以上の第1のパネル識別基準マーカが、前記第1のパネルの1つ以上の角に配置され、
    前記1つ以上の第2のパネル識別基準マーカが、前記第2のパネルの1つ以上の角に配置されている、請求項11に記載の方法。
  13. 前記ターゲットが、
    上に基準マーカの第3の配列を有する第3のパネルであって、
    前記第3の配列における前記基準マーカの各々が、前記第3の配列における基準マーカ間で一意に識別可能である、第3のパネルと、
    前記第3のパネルに対して第2の角度で配置され、上に基準マーカの第4の配列を有する第4のパネルと、を更に含み、
    前記第4の配列における前記基準マーカの各々が、前記第4の配列における基準マーカ間で一意に識別可能であり、
    基準マーカの前記第3の配列と基準マーカの前記第4の配列とがそれぞれ、基準マーカの前記第1の配列と基準マーカの前記第2の配列とに一致し、
    前記第2の角度は、前記第1の角度に等しくない、請求項8に記載の方法。
  14. 前記第3のパネルおよび前記第4のパネルが、前記第1のパネルおよび前記第2のパネルに対して第3の角度で配置され、
    前記第3の角度は、前記第1の角度および前記第2の角度とは異なる軸を中心とする、請求項13に記載の方法。
  15. 前記カメラを較正することが、前記第1のパネル上の前記基準マーカの場所と、前記第2のパネル上の前記基準マーカの場所との相関を使用して、ピンホールカメラモデルを用いたカメラ行列のパラメータを推定することを含む、請求項8に記載の方法。
  16. 前記第1の配列が、基準マーカの第1のパターンおよび基準マーカの第2のパターンを含み、
    記第2のパターンが、記第1のパターンの拡大縮小版である、請求項8に記載の方法。
  17. 前記ターゲットに対して前記カメラを回転させ、追加の較正画像を記録することと、
    前記追加の較正画像において、1つ以上の基準マーカの場所および識別を決定することと、をさらに含む、請求項8に記載の方法。
  18. 前記ターゲットに対して前記カメラを回転させることが、記カメラのロール軸中心として前記カメラを回転させることを含む、請求項17に記載の方法。
  19. 前記カメラを移動させて、追加の較正画像を記録することと、
    前記追加の較正画像において、1つ以上の基準マーカの場所および識別を決定することと、をさらに含む、請求項8に記載の方法。
  20. カメラを較正するのに使用されるシステムであって、
    ターゲットであって、
    基準マーカの第1のパターンと、
    基準マーカの第2のパターンと、を含み、
    前記ターゲットの取り込まれた較正画像が複数の較正視点で取り込まれた単一のパターンの複数の画像をシミュレートするように、記第1のパターンが、記第2のパターンの拡大縮小版である、ターゲットと、
    前記ターゲットを一意に特定する1つ以上のパネル識別基準マーカと、
    前記ターゲットに対して前記カメラを並進または回転させるように構成されたステージと、を備える、システム。
JP2020516606A 2017-09-29 2018-09-19 カメラ較正のためのターゲット、方法、およびシステム Active JP6765574B1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/720,979 2017-09-29
US15/720,979 US10432912B2 (en) 2017-09-29 2017-09-29 Target, method, and system for camera calibration
PCT/US2018/051690 WO2019067283A1 (en) 2017-09-29 2018-09-19 TARGET, METHOD AND SYSTEM FOR CAMERA CALIBRATION

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020154834A Division JP7065158B2 (ja) 2017-09-29 2020-09-15 カメラ較正のためのターゲット、方法、およびシステム

Publications (2)

Publication Number Publication Date
JP6765574B1 true JP6765574B1 (ja) 2020-10-07
JP2020535511A JP2020535511A (ja) 2020-12-03

Family

ID=65898116

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020516606A Active JP6765574B1 (ja) 2017-09-29 2018-09-19 カメラ較正のためのターゲット、方法、およびシステム
JP2020154834A Active JP7065158B2 (ja) 2017-09-29 2020-09-15 カメラ較正のためのターゲット、方法、およびシステム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2020154834A Active JP7065158B2 (ja) 2017-09-29 2020-09-15 カメラ較正のためのターゲット、方法、およびシステム

Country Status (10)

Country Link
US (3) US10432912B2 (ja)
EP (1) EP3676803A4 (ja)
JP (2) JP6765574B1 (ja)
KR (2) KR102247409B1 (ja)
CN (1) CN111164649A (ja)
AU (2) AU2018341950B2 (ja)
CA (1) CA3080002C (ja)
IL (2) IL273581B (ja)
SG (2) SG11202002482PA (ja)
WO (1) WO2019067283A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10432912B2 (en) * 2017-09-29 2019-10-01 Waymo Llc Target, method, and system for camera calibration
US10852731B1 (en) * 2017-12-28 2020-12-01 Waymo Llc Method and system for calibrating a plurality of detection systems in a vehicle
US10942045B1 (en) * 2018-04-03 2021-03-09 Waymo Llc Portable sensor calibration target for autonomous vehicle
US11584368B2 (en) * 2018-09-24 2023-02-21 Intel Corporation Evaluating risk factors of proposed vehicle maneuvers using external and internal data
EP3666523A1 (en) * 2018-12-11 2020-06-17 Concept Laser GmbH Method for calibrating an irradiation device for an apparatus for additively manufacturing three-dimensional objects
DE102018222796A1 (de) * 2018-12-21 2020-06-25 Conti Temic Microelectronic Gmbh Aufbau und Vermessung des Aufbaus zur Kalibrierung einer Kamera
US11681030B2 (en) 2019-03-05 2023-06-20 Waymo Llc Range calibration of light detectors
US10623727B1 (en) * 2019-04-16 2020-04-14 Waymo Llc Calibration systems usable for distortion characterization in cameras
US11747453B1 (en) 2019-11-04 2023-09-05 Waymo Llc Calibration system for light detection and ranging (lidar) devices
EP4009092A1 (en) * 2020-12-04 2022-06-08 Hexagon Technology Center GmbH Compensation of pupil aberration of a lens objective
CN113188524B (zh) * 2020-12-23 2022-07-22 合肥工业大学 一种基于图形几何关系的平行四边形编码标志及其编码方法
CN113112550B (zh) * 2020-12-23 2022-08-02 合肥工业大学 一种用于摄像机内外参数标定的编码平面靶标及其编码方法
CN114909994B (zh) * 2022-04-29 2023-10-20 深圳市中图仪器股份有限公司 影像测量仪的校准方法
WO2023244937A1 (en) * 2022-06-14 2023-12-21 Argo AI, LLC Systems and methods for autonomous vehicle sensor calibration and validation

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6437823B1 (en) 1999-04-30 2002-08-20 Microsoft Corporation Method and system for calibrating digital cameras
FR2810830B1 (fr) 2000-06-23 2002-09-27 Symah Vision Procede et dispositif de calibration de camera
JP3735344B2 (ja) * 2002-12-27 2006-01-18 オリンパス株式会社 キャリブレーション装置、キャリブレーション方法、及びキャリブレーション用プログラム
JP4681856B2 (ja) 2004-11-24 2011-05-11 アイシン精機株式会社 カメラの校正方法及びカメラの校正装置
JP2007147522A (ja) * 2005-11-29 2007-06-14 Gazo Keisoku Kenkyusho:Kk 写真計測方法及び写真計測プログラム
CN101536013B (zh) 2006-03-30 2013-08-28 埃克特维有限公司 光学位置测量及将坚硬或半柔软的工具引导到目标的系统和方法
JP2008141229A (ja) * 2006-11-29 2008-06-19 Fujifilm Corp レンズ性能評価装置およびレンズ評価性能方法
DE102006060716A1 (de) * 2006-12-21 2008-06-26 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zur Bildmarken-unterstützten Bildauswertung
JP2008187564A (ja) 2007-01-31 2008-08-14 Sanyo Electric Co Ltd カメラ校正装置及び方法並びに車両
JP2008288869A (ja) * 2007-05-17 2008-11-27 Konica Minolta Holdings Inc キャリブレーション装置、キャリブレーション方法及びプログラム
DE102008034198B4 (de) * 2008-07-21 2014-01-23 Zoller & Fröhlich GmbH Target und Verfahren zum Auswerten von Scans
TWI408486B (zh) 2008-12-30 2013-09-11 Ind Tech Res Inst 具動態校正的攝影機及其動態校正方法
US20100235129A1 (en) 2009-03-10 2010-09-16 Honeywell International Inc. Calibration of multi-sensor system
US8261985B2 (en) 2009-04-07 2012-09-11 Avante Corporation Limited Manual recount process using digitally imaged ballots
US8676050B2 (en) 2010-12-29 2014-03-18 Gary S. Shuster Autofocus calibration for long lenses
CN103827917B (zh) 2011-07-25 2017-06-09 科英布拉大学 用于使用棋盘图案的一幅或多幅图像的自动相机校准的方法和装置
EP2587450B1 (en) 2011-10-27 2016-08-31 Nordson Corporation Method and apparatus for generating a three-dimensional model of a region of interest using an imaging system
CN103267491B (zh) * 2012-07-17 2016-01-20 深圳大学 自动获取物体表面完整三维数据的方法及系统
GB2506411B (en) 2012-09-28 2020-03-11 2D3 Ltd Determination of position from images and associated camera positions
KR101475742B1 (ko) * 2013-03-15 2014-12-24 삼성중공업(주) 사진 계측 장치 및 방법
US9641830B2 (en) 2014-04-08 2017-05-02 Lucasfilm Entertainment Company Ltd. Automated camera calibration methods and systems
US9791865B2 (en) 2014-10-29 2017-10-17 Amazon Technologies, Inc. Multi-scale fiducials
JP6121063B1 (ja) * 2014-11-04 2017-04-26 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd カメラ較正方法、デバイス及びシステム
US10420626B2 (en) 2015-06-30 2019-09-24 Canon U.S.A., Inc. Fiducial markers, systems, and methods of registration
EP3136392A1 (en) 2015-08-25 2017-03-01 Thomson Licensing Method and system for embedding and retrieving information through marker transformation
ES2561732B2 (es) 2015-09-18 2016-10-07 Universidad Rey Juan Carlos Dispositivo de calibración multirresolución para sistemas de visión artificial
US9589348B1 (en) * 2016-05-31 2017-03-07 Oculus Vr, Llc Camera calibration system
US10431007B2 (en) * 2016-05-31 2019-10-01 Augumenta Ltd. Method and system for user interaction
CN206441238U (zh) * 2017-02-09 2017-08-25 杭州零智科技有限公司 标定板和标定系统
US10432912B2 (en) 2017-09-29 2019-10-01 Waymo Llc Target, method, and system for camera calibration

Also Published As

Publication number Publication date
AU2021202531B2 (en) 2022-06-16
CN111164649A (zh) 2020-05-15
CA3080002C (en) 2024-04-09
IL273581B (en) 2021-02-28
IL277360A (en) 2020-11-30
AU2018341950A1 (en) 2020-05-07
EP3676803A4 (en) 2021-03-03
IL273581A (en) 2020-05-31
KR20200047743A (ko) 2020-05-07
SG10202112826PA (en) 2021-12-30
JP2020201516A (ja) 2020-12-17
US10432912B2 (en) 2019-10-01
SG11202002482PA (en) 2020-04-29
WO2019067283A1 (en) 2019-04-04
JP7065158B2 (ja) 2022-05-11
KR102247409B1 (ko) 2021-05-03
US11657536B2 (en) 2023-05-23
EP3676803A1 (en) 2020-07-08
JP2020535511A (ja) 2020-12-03
IL277360B (en) 2022-03-01
US20210134012A1 (en) 2021-05-06
AU2018341950B2 (en) 2021-01-28
US20190104295A1 (en) 2019-04-04
US20190378300A1 (en) 2019-12-12
KR102446163B1 (ko) 2022-09-22
CA3080002A1 (en) 2019-04-04
AU2021202531A1 (en) 2021-05-20
KR20210003318A (ko) 2021-01-11
US10930014B2 (en) 2021-02-23

Similar Documents

Publication Publication Date Title
JP6765574B1 (ja) カメラ較正のためのターゲット、方法、およびシステム
CN105654464B (zh) 图像处理装置及图像处理方法
CN111872544B (zh) 激光出光指示点的标定方法、装置和振镜同轴视觉系统
US20190096092A1 (en) Method and device for calibration
CN104408704A (zh) 一种自动化变焦镜头标定装置及标定方法
CN112562014A (zh) 相机标定方法、系统、介质及装置
WO2024011764A1 (zh) 标定参数确定方法、混合标定板、装置、设备和介质
Sajadi et al. Automatic registration of multi‐projector domes using a single uncalibrated camera
CN113711588B (zh) 可用于相机中失真表征的校准系统
CN107527323B (zh) 镜头畸变的标定方法及装置
WO2004092825A1 (en) Method for exploring optical parameters of camera
CN111179347B (zh) 基于区域性特征的定位方法、定位设备及存储介质
CN116745812A (zh) 提供校准数据以校准相机的方法、校准相机的方法、制造至少一个预定义点对称区域的方法和设备
JP2003121301A (ja) カメラのビューポイント及び焦点距離を調べる方法
CN113538588A (zh) 标定方法、标定装置及应用其的电子设备
Schillebeeckx et al. Pose hashing with microlens arrays
CN116500851B (zh) 3d成像系统及其标定方法、装置、设备和存储介质
WO2022244578A1 (ja) 情報処理システム及び情報処理方法
CN115660954A (zh) 一种基于结构光的点云数据拼接方法和系统
Corke Image Formation
CN116188579A (zh) 确定移动物体位姿的方法、系统和介质
Klette et al. Cameras, Coordinates, and Calibration

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200511

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200511

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200511

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20200806

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200821

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200915

R150 Certificate of patent or registration of utility model

Ref document number: 6765574

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250