JP6722323B2 - 撮像装置のモデリングおよび校正のためのシステムおよびその方法 - Google Patents

撮像装置のモデリングおよび校正のためのシステムおよびその方法 Download PDF

Info

Publication number
JP6722323B2
JP6722323B2 JP2019072152A JP2019072152A JP6722323B2 JP 6722323 B2 JP6722323 B2 JP 6722323B2 JP 2019072152 A JP2019072152 A JP 2019072152A JP 2019072152 A JP2019072152 A JP 2019072152A JP 6722323 B2 JP6722323 B2 JP 6722323B2
Authority
JP
Japan
Prior art keywords
axis
coordinate system
image
plane
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019072152A
Other languages
English (en)
Other versions
JP2019149809A (ja
Inventor
マーティン ガイ
マーティン ガイ
Original Assignee
マーティン ガイ
マーティン ガイ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by マーティン ガイ, マーティン ガイ filed Critical マーティン ガイ
Publication of JP2019149809A publication Critical patent/JP2019149809A/ja
Application granted granted Critical
Publication of JP6722323B2 publication Critical patent/JP6722323B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T3/02—
    • G06T5/80—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/611—Correction of chromatic aberration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Description

本発明は、撮像装置のモデリングおよび撮像装置の画像面に対する視軸線の直角度における欠陥を補償する校正を行うシステムおよび方法に関する。
デジタルカメラおよび他の撮像装置の校正は、像が、レンズを通して撮像素子の表面にどのように表示されるのかを示す数学的モデルを構築しようとする。その手順は、最初に、誤差が正確に分かっている校正ターゲットの画像を用いて、当該画像から各ターゲット要素を抽出する。最終的に、ある数学的モデルが当該画像情報をターゲットの真の三次元（3D）情報に関連づける。一旦、校正されれば、その撮像装置は、スケールファクタ、すなわち焦点距離ｆを用いて実世界オブジェクトの測量に用いることができる。市販のカメラとレンズを用いる場合にはレンズ焦点距離の誤差を補償するためにカメラを校正する必要が有り、その誤差は、１０％にもなり得る。
さらに、一旦、モデルが正確に分かった場合には、殆ど全てのハイエンド自動撮像システムに必要な、ピンホールとも称される完全なカメラ画像を再構築するために当該モデルを用いることができる。ソフトウェアによる画像の修正によって、レンズの不完全な性質により生ずる画像の誤差、すなわち、幾何学的収差と言われる魚眼像状の変形と、色収差と言われるレンズ光学系における虹色状の光の分離を補償することができる。幾つかの撮像装置は、画像面に対して、直角度の無い視線のバイアスを示す。画像の歪みを正確に測定するためには、レンズの視線に対する画像面の直角度の無さが、補償される必要が有る。既知の校正技術は、当該目的のために、傾き軸推定を用いる。しかしながら、この推定は、モデルの全てのカメラパラメータを偏らせることが判っており、系統的な測定誤差を生ずる。その結果、スケールサイズ歪み（a scale-size-distortion）のバイアスが画像に生じ、他の全てのカメラパラメータが当該バイアスを補償しようとして、これらのカメラパラメータも同様に偏る。これは、三次元スキャン若しくは遠隔測定法において、カメラで同時に測定された一対の画像から三次元対象物を再構成するときに、三次元対象物の形状および位置のバイアスに変換される。
従って、撮像装置の既存の校正技術およびモデリング技術を改良する必要がある。
Frederic Devernay. A Non-Maxima Suppression Method for Edge Detection with Sub-Pixel Accuracy. INRIA: INSTITUT NATIONAL DE RECHERCHE EN INFORMATIQUE ET EN AUTOMATIQUE. Report N° 2724, November 1995, 20 pages. Y. M. Harry Ng, C. P. Kwong. Correcting the Chromatic Aberration in Barrel Distortion of Endoscopic Images. Department of Automation and Computer Aided Engineering, Chinese University of Hong Kong. 6 pages Shawn Becker. Semiautomatic Camera Lens Calibration from Partially Known Structure. MIT: Massachusetts Institute of Technology.http://alumni.media.mit.edu/~sbeck/results/Distortion/distortion.html (c)1994, 1995 Konstantinos G. Derpanis. The Harris Corner Detector. October 2004, 2 pages. L.H. Hartley, P. Sturm. Triangulation. Proc. of the ARPA Image Understanding Workshop 1994, Monterey, CA 1994, pp. 957-966.
提案される校正およびモデリング技術は、結像面に対するレンズ軸の非直角性を生じさせるような、撮像装置またはカメラ／レンズ系の組み立てにおける公差を考慮した透視の正確な補正を導入する。
カメラ平面とレンズ組み立て部品の正確な知見は、デジタルカメラまたはステレオカメラを用いる３Ｄスキャンおよび遠隔測定システムにおいて、系統的なバイアスを取り除き、正確な焦点距離（画像スケール）を生じさせ、真の像の中心をカメラ平面上に定め、像の湾曲（幾何学的収差）およびレンズ光学系における虹状の光の分離（色収差）により生ずる歪みの測定精度を増加させる。
カメラ平面とレンズ組み立て部品の正確な知見は、コンピュータ計算の効率性と、幾何学的および色的なレンズ収差の除去の正確さとを増大させる。
レンズ収差の除去は、いかなる損失も生ずることなく画像圧縮率を増加させる。
第１の広汎な局面に従うと、ここで説明されているのは、校正と画像補正とを行う際に撮像装置をモデリングするために使用される、コンピュータによって実現される方法であって、前記方法は以下のものを備える：前記撮像装置の焦点に原点を有する第１の３Ｄ直交座標系(a first 3D orthogonal coordinate system)を定義すること、ただし、前記第１の３Ｄ直交座標系の第１軸は、前記撮像装置の視線の方向に沿って伸びている；前記焦点から単位距離(a unitary distance) である１だけ離れた原点を有する、第２の３Ｄ直交座標系を定義すること、ただし、前記単位距離である１は、前記第２の３Ｄ直交座標系のスケール単位において定義されており、前記第２の３Ｄ直交座標系の第１軸は、前記撮像装置の視線の方向に沿って伸びており、前記第２の３Ｄ直交座標系の第２軸および第３軸は、前記第１の３Ｄ直交座標系の第２軸および第３軸にそれぞれ実質的に平行であり、それによって前記第２の３Ｄ直交座標系の前記第２軸および前記第３軸は、前記視線に対して直角な実スケール面を規定しており；前記焦点から焦点距離だけ離れた原点を有する、第３の３Ｄ座標系を定義すること、ただし、前記第３の３Ｄ座標系の第１軸は、前記撮像装置の視線の方向に沿って伸びており、前記第３の３Ｄ座標系の第２軸および第３軸は、前記第２の３Ｄ直交座標系の前記第２軸および前記第３軸の方向に対して相対的に第１と第２の角度だけ傾いており、それによって前記第３の３Ｄ座標系の前記第２軸および前記第３軸は、前記視線に対して相対的に非直角な画像面を規定しており；前記撮像装置によってキャプチャされた実世界の３Ｄオブジェクトの点に関連づけられた３Ｄ座標を受け取ること；前記実スケール面への前記点の投影を計算しそれによって第１の平面座標(a first set of planar coordinates)を得るとともに、前記画像面への前記点の投影を計算しそれによって第２の平面座標を得ること；および前記３Ｄオブジェクトの前記点に対応する像点の位置を示す前記第２の平面座標を出力することである。
いくつかの実施例においては、前記実スケール面への前記点の前記投影が、外部から前記撮像装置のレンズシステムへの入射を規定するとともに、前記撮像装置の外部モデルと内部モデルとのうち外部モデルのみを用いた投影となるように前記第２の３Ｄ直交座標系が規定され、前記画像面への前記点の前記投影が前記レンズシステムからの出力を規定するとともに、前記撮像装置の内部モデルを用いた投影となるように前記第３の３Ｄ座標系が規定される。
いくつかの実施例においては、受け取った３Ｄ座標が[x y z 1]Tであり、前記３Ｄオブジェクトの前記点の前記実スケール面への投影が、
のように同次座標において計算され、ここにおいて

は等価スケール演算子であり、Ｐ1は前記第１の３Ｄ直交座標系についての前記実スケール面への投影演算子である。
いくつかの実施例においては、前記３Ｄオブジェクトの前記点の前記画像面への投影は、
のように同次座標において計算され、ここにおいてＰfは前記画像面への投影演算を定義しており、ｆは焦点距離であり、αは前記第１の角度であり、βは前記第２の角度であり、Ｒ（ｘ，α）は前記画像面の軸ｘに関するα回転行列であり、前記軸ｘは前記α回転前における前記第２の３Ｄ直交座標系の前記第２軸に実質的に平行であるように定義され、Ｒ（ｙ，β）は前記画像面の軸ｙに関するβ回転行列であり、前記軸ｙは前記β回転前における前記第２の３Ｄ直交座標系の前記第３軸に実質的に平行であるように定義され、前記角度αだけ回転した前記軸ｘに対して相対的に前記β回転が実行されるように前記α回転が右端で計算され、これらにおいて
h11 = cosβ，
h12 = sinβ sinα，
h13 = sinβ cosα，
h22 = cosα，
h23 = -sinα，
h31 = -sinβ，
h32 = cosβ sinα，および
h33 = cosβ cosα
である。
いくつかの実施例においては、当該方法が、前記実スケール面と前記画像面との間のホモグラフィーＨを、
のように決定することをさらに備え、ここにおいてｈ31およびｈ32は前記画像面のｘおよびｙスケールに透視補正を適用する非ゼロ要素であり、前記第２の平面座標(x’’，y’’)は前記実スケール面の前記点の画像が歪んだ位置(x’，y’)についてのホモグラフィック変換であり、前記ホモグラフィック変換は、
のように表現され、ここにおいて
u = f(cosβ x’+ sinβ sinα y’+ sinβ cosα)，
v = f(cosα y’- sinα)，
w = -sinβ x’+ cosβ sinα y’+ cosβ cosα，
であって 、(CX ，CY) は前記第３の３Ｄ座標系での前記原点の位置である。
いくつかの実施例においては、前記ホモグラフィＨは、
のように計算され、ここにおいて、微小角αおよびβについて、

および

の近似が使用されている。
いくつかの実施例においては、当該方法が、前記実スケール面における前記撮像装置のレンズ収差を補償することをさらに備え、当該補償は、
r' = r + k1 r3 + k2 r5 + …，
のように定義されたレンズ収差補正モデルを適用することを備え、ここにおいて、前記第１の平面座標は前記実スケール面上の前記点の画像の歪みがない位置(x，y)を極座標(r，θ)で表現したものを備え、ここにおいて r2=x2+y2 および tanθ = y/xであり、xとyのうち少なくとも１つは非零であり、 (x’，y’) は前記画像面での前記点の投影前の前記レンズの出力において歪んだ位置(x，y)を表現しており、r’は (x’，y’)に基づいて計算され歪んだラジアル距離であり、そしてk1 および k2は前記レンズの幾何学的収差パラメータである。
第２の広汎な局面に従うと、ここで説明されているのは、校正と画像補正との際に撮像装置をモデリングするために使用されるシステムであって、前記システムは、以下のものを備える：メモリ；プロセッサ；および前記メモリに格納され、前記プロセッサによって以下のことを実行可能な少なくともひとつのアプリケーション、前記撮像装置の焦点に原点を有する第１の３Ｄ直交座標系を定義すること、ただし、前記第１の３Ｄ直交座標系の第１軸は、前記撮像装置の視線の方向に沿って伸びている；前記焦点から単位距離である１だけ離れた原点を有する、第２の３Ｄ直交座標系を定義すること、ただし、前記単位距離である１は、前記第２の３Ｄ直交座標系のスケール単位において定義されており、前記第２の３Ｄ直交座標系の第１軸は、前記撮像装置の視線の方向に沿って伸びており、前記第２の３Ｄ直交座標系の第２軸および第３軸は、前記第１の３Ｄ直交座標系の第２軸および第３軸にそれぞれ実質的に平行であり、それによって前記第２の３Ｄ直交座標系の前記第２軸および前記第３軸は、前記視線に対して直角な実スケール面を規定しており；前記焦点から焦点距離だけ離れた原点を有する、第３の３Ｄ座標系を定義すること、ただし、前記第３の３Ｄ座標系の第１軸は、前記撮像装置の視線の方向に沿って伸びており、前記第３の３Ｄ座標系の第２軸および第３軸は、前記第２の３Ｄ直交座標系の前記第２軸および前記第３軸の方向に対して相対的に第１と第２の角度だけ傾いており、それによって前記第３の３Ｄ座標系の前記第２軸および前記第３軸は、前記視線に対して相対的に非直角な画像面を規定しており；前記撮像装置によってキャプチャされた実世界の３Ｄオブジェクトの点に関連づけられた３Ｄ座標を受け取ること；前記実スケール面への前記点の投影を計算しそれによって第１の平面座標を得るとともに、前記画像面への前記点の投影を計算しそれによって第２の平面座標を得ること；および前記３Ｄオブジェクトの前記点に対応する像点の位置を示す前記第２の平面座標を出力することである。
いくつかの実施例においては、前記少なくともひとつのアプリケーションが前記プロセッサによって実行されて、前記実スケール面への前記点の前記投影が外部から前記撮像装置のレンズシステムへの入射を規定するとともに、前記撮像装置の外部モデルと内部モデルとのうち外部モデルのみを用いた投影となるように前記第２の３Ｄ直交座標系を規定することと、前記画像面への前記点の前記投影が前記レンズシステムからの出力を規定するとともに、前記撮像装置の内部モデルを用いた投影となるように前記第３の３Ｄ座標系を規定すること、とが可能である。
いくつかの実施例においては、前記少なくともひとつのアプリケーションが前記プロセッサによって実行されて、前記３Ｄ座標の組[x y z 1]Tを受け取ることと、前記３Ｄオブジェクトの前記点の前記実スケール面への投影を、
のように同次座標において計算することが可能であり、ここにおいて

は等価スケール演算子であり、Ｐ1は前記第１の３Ｄ直交座標系についての前記実スケール面への投影演算子である。
いくつかの実施例においては、前記少なくともひとつのアプリケーションが前記プロセッサによって実行されて、前記３Ｄオブジェクトの前記点の前記画像面への投影が、
のように同次座標において計算され、ここにおいてＰfは前記画像面への投影演算を定義しており、ｆは焦点距離であり、αは前記第１の角度であり、βは前記第２の角度であり、Ｒ（ｘ，α）は前記画像面の軸ｘに関するα回転行列であり、前記軸ｘは前記α回転前における前記第２の３Ｄ直交座標系の前記第２軸に実質的に平行であるように定義され、Ｒ（ｙ，β）は前記画像面の軸ｙに関するβ回転行列であり、前記軸ｙは前記β回転前における前記第２の３Ｄ直交座標系の前記第３軸に実質的に平行であるように定義され、前記角度αだけ回転した前記軸ｘに対して相対的に前記β回転が実行されるように前記α回転が右端で計算され、これらにおいて
h11 = cosβ，
h12 = sinβ sinα，
h13 = sinβ cosα，
h22 = cosα，
h23 = -sinα，
h31 = -sinβ，
h32 = cosβ sinα，および
h33 = cosβ cosα
である。
いくつかの実施例においては、前記少なくともひとつのアプリケーションが前記プロセッサによって実行されて、前記実スケール面と前記画像面との間のホモグラフィーＨを、
のように決定することが可能であり、ここにおいてｈ31およびｈ32は前記画像面のｘおよびｙスケールに透視補正を適用する非ゼロ要素であり、前記第２の平面座標(x’’，y’’) は前記実スケール面の前記点の画像の歪んだ位置(x’，y’)についてのホモグラフィック変換であり、前記ホモグラフィック変換は、
のように表現され、ここにおいて
u = f(cosβ x’+ sinβ sinα y’+ sinβ cosα)，
v = f(cosα y’- sinα)，
w = -sinβ x’+ cosβ sinα y’+ cosβ cosα，
であって、(CX，CY)は前記第３の３Ｄ座標系での前記原点の位置である。
いくつかの実施例においては、前記少なくともひとつのアプリケーションが前記プロセッサによって実行されて、前記ホモグラフィＨを、
のように計算することが可能であり、ここにおいて、微小角αおよびβについて、

および

の近似が使用されている。
いくつかの実施例においては、前記少なくともひとつのアプリケーションが前記プロセッサによって実行されて、前記実スケール面における前記撮像装置のレンズの収差を補償することが可能であり、当該補償は、
r' = r + k1 r3 + k2 r5 + …，
のように定義されたレンズ収差補正モデルを適用することを備え、ここにおいて、前記第１の平面座標は前記実スケール面上の前記点の画像の歪みがない位置(x，y)を極座標(r，θ)で表現したものを備え、ここにおいて r2=x2+y2 および tanθ = y/xであり、xとyのうち少なくとも１つは非零であり、 (x’，y’) は前記画像面での前記点の投影前の前記レンズの出力において歪んだ位置(x，y)を表現しており、r’は (x’，y’)に基づいて計算され歪んだラジアル距離であり、そしてk1 および k2は前記レンズの幾何学的収差パラメータである。
いくつかの実施例においては、前記撮像装置が、ズームレンズカメラ、近赤外撮像装置、短波長赤外撮像装置、長波長赤外撮像装置、レーダ装置、光検出測距装置、パラボラミラー望遠イメージャ、外科的内視鏡カメラ、コンピュータ断層撮影走査装置、サテライト撮像装置、ソナー装置、およびマルチスペクトルセンサフュージョンシステムのうちのひとつを備える。
第３の広汎な局面に従うと、ここで説明されているのは、プロセッサによって実行されることによって、校正と画像補正との際に撮像装置をモデリングすることを可能なプログラムコードが格納されたコンピュータ読み取り可能な媒体であって、前記プログラムコードは、以下のことを可能とする：前記撮像装置の焦点に原点を有する第１の３Ｄ直交座標系を定義すること、ただし、前記第１の３Ｄ直交座標系の第１軸は、前記撮像装置の視線の方向に沿って伸びている；前記焦点から単位距離である１だけ離れた原点を有する、第２の３Ｄ直交座標系を定義すること、ただし、前記単位距離である１は、前記第２の３Ｄ直交座標系のスケール単位において定義されており、前記第２の３Ｄ直交座標系の第１軸は、前記撮像装置の視線の方向に沿って伸びており、前記第２の３Ｄ直交座標系の第２軸および第３軸は、前記第１の３Ｄ直交座標系の第２軸および第３軸にそれぞれ実質的に平行であり、それによって前記第２の３Ｄ直交座標系の前記第２軸および前記第３軸は、前記視線に対して直角な実スケール面を規定しており；前記焦点から焦点距離だけ離れた原点を有する、第３の３Ｄ座標系を定義すること、ただし、前記第３の３Ｄ座標系の第１軸は、前記撮像装置の視線の方向に沿って伸びており、前記第３の３Ｄ座標系の第２軸および第３軸は、前記第２の３Ｄ直交座標系の前記第２軸および前記第３軸の方向に対して相対的に第１と第２の角度だけ傾いており、それによって前記第３の３Ｄ座標系の前記第２軸および前記第３軸は、前記視線に対して相対的に非直角な画像面を規定しており；前記撮像装置によってキャプチャされた実世界の３Ｄオブジェクトの点に関連づけられた３Ｄ座標を受け取ること；前記実スケール面への前記点の投影を計算しそれによって第１の平面座標を得るとともに、前記画像面への前記点の投影を計算しそれによって第２の平面座標を得ること；および前記３Ｄオブジェクトの前記点に対応する像点の位置を示す前記第２の平面座標を出力することである。
レンズの収差を示す模式図である。 樽形および糸巻き形のレンズの幾何学的収差を示す模式図である。 ２つの隣接する画素の色が混じるときのエッジのディザリングを示す平面図である。 視線に対して画像面が直角の理想的なカメラのモデル表現においてカメラとレンズの組合せの挙動を定義するパラメータを示す模式図である。 図４の理想カメラに傾いた軸の補償が加えられたカメラの内部モデルの傾き軸推定を示す模式図である。 本発明の例示的な実施形態に沿うカメラの内部モデル用の新しい変数セットを示す模式図である。 本発明の例示的な実施形態に沿う径方向の収差の模式図である。 本発明の例示的な実施形態に沿う像点の位置の算出方法を示すフローチャートである。 カメラの外部モデルを用いて、ｆ＝１の平面へ投影する図８ａのステップを示すフローチャートである。 レンズ収差モデルを適用する図８ａのステップを示すフローチャートである。 カメラの内部モデルを用いて、傾いた画像面ｆ上へ投影する図８ａのステップを示すフローチャートである。 像点の位置を算出する本発明の例示的な実施形態に沿うシステムを示す模式図である。 図９ａのプロセッサにおいて実行される典型的なアプリケーションを示すブロック図である。 校正ターゲットの歪みがある写真である。 回路基板付きのテスト用マイクロレンズカメラの写真である。 ターゲットの抽出を示す複合図である。 ２つのカメラ画像を同時に用いた対象物の三次元測定用のステレオ写真を示す模式図である。 テストカメラを用いた幾何学的収差の補正を示す写真である。 焦点距離４ｍｍのCosmicar（登録商標）のＣマウントレンズの色収差を示すグラフである。 像中心（画素）からの距離に対する赤色収差の径方向の補正を示すグラフである。 像中心（画素）からの距離に対する青色収差の径方向の補正を示すグラフである。 カラーカメラ用のベイヤー配列のレイアウトを示す模式図である。
本願発明のさらなる特徴および利点は、添付された図面と組み合わされる、以下の詳細な説明から明らかとなる。添付された各図面においては、同様の対象物は、同様の参照符号によって識別されている。
１．１ レンズ収差
レンズ収差は、デジタルイメージングにおいて見受けられる最大の誤差を招来する。このことは、図１および図２に描かれている。図１に示されるように、魚眼効果は、幾何学的収差と称され、直線を湾曲させる。画像の縁における色つきの濃淡（図１おいて「青色エッジ」および「赤色エッジ」と参照される）は、色収差と称され、撮像装置（不図示）のレンズにおける光の分離によって引き起こされる。ピンホールの挙動に対するこれらの偏差は、レンズ角度に関して増加する。サブピクセルの精度を達成するためには、双方の収差は、モデル化されて、補償されねばならず、ソフトウェアを介してのみハードウェア性能を上回る補償が可能となる。図２に示されるように、幾何学的収差が画像を圧縮するときには、当該収差は樽形収差（図２(a)参照）と称され、画像が拡張するときには糸巻き形収差（図２(b)参照）と称される。
１．２ ディザリング
図３において、ディザリングは、ある画素をエッジが通り、隣り合う双方の色が混じるときに生ずる中間の画素色である。画素内の各色の各面について、画素の色は、エッジの両側において隣の色値の重み付き平均である。
低画質画像において、エッジのディザリング（対象物のエッジにおける濃淡）は、レンズの幾何学的収差および色収差に干渉する。白黒のターゲットについて、ディザリングは、幾何学的収差が生ずるにつれて灰色の影として現れる。それゆえ、エッジの色を用いてエッジのディザリング若しくは幾何学的収差からレンズの色収差を分離することが望ましい。
１．３ カメラモデル
カメラ若しくは他の撮像装置のモデリングは、カメラとレンズの特有の組合せの挙動を定義するパラメータを測定するために、数学モデルと校正手順を要する。
ここでは、カメラが参照されているが、提案するシステムおよび方法は、他の撮像装置へも適用されることが理解されるべきである。特に、ズームレンズカメラと、近赤外線（NIR）、短波長赤外線（SWIR）、および長波長赤外線（LWIR）の赤外線撮像装置と、レーダー並びに光検出及び測距（LIDAR）装置と、放物面鏡望遠撮像装置と、外科用内視鏡カメラと、コンピュータトモグラフィ（ＣＴ）スキャン装置と、衛星の撮像装置と、ソナー装置と、マルチスペクトルセンサ融合システムを含み、これらに限定されない各装置に適用される。
当該主題の公表文献によれば、理想カメラモデルは、図４に示されるように、３つの要素を有している、すなわち；
１− 外部モデル：焦点Ｏ（全ての光が一点に集中する空間中の点）におけるカメラ座標と、ワールド座標系（XW YW ZW）におけるワールド座標との関係；
２− 内部モデル：ZCがレンズ軸（すなわち、レンズの視線）であるカメラ平面座標系（XC YC ZC）；および
３− レンズモデル：レンズの幾何学的収差の式および色収差の式。
焦点Ｏは、全ての像が一点に集中する空間中の場所であり、焦点Ｏの前にはカメラの画像面(the camera image plane)（不図示）がある。レンズ軸ZCは画像面を２つの直角をなして横切る（すなわち、像面と直交する）とともに、像中心位置（CX，CY）を定義する。
１．３．１ カメラの外部モデル
カメラの外部モデルは、当該文献によって正確に分かり、２つの座標セットを定義する、
１− 原点が（０，０，０）に設定されたワールド座標(XW YW ZW)；と
２− 焦点Ｏにおけるカメラ座標（XC YC ZC）。
理想カメラモデルを示す図４から判るように、 カメラ座標セット（XC YC ZC）は、レンズ軸ZCに端を発して焦点Ｏを原点とし、XCは、水平軸（不図示）と並ぶように選択されている。幾何学的に、垂直軸YCは、右手系規則に則ってカメラ座標セットを完成させる。当該外部モデルは、行列[ R3x3 T3x1 ] (以下にさらに述べる)として記載され、原点を(0，0，0)とするワールド座標セット(XW YW ZW)を表現する。
カメラの外部モデルは、ワールド座標セット(XW YW ZW)に対してカメラ座標セット(XC YC ZC)を配置するために必要な回転(κ φ Ω)と平行移動(TX TY TZ)とを表現し、ワールド原点(0，0，0)に焦点Ｏを配置する。カメラの外部モデルは、従って、６自由度、すなわち、(κ φ Ω)回転角度と、平行移動(TX TY TZ)とを有する。
１．３．２ カメラの内部モデル
図４に加えて図５を参照しつつ、非直角度(off squareness)の補償を行う先行技術のカメラの内部モデルについて以下に述べる。仮に、画像面がレンズ軸ZCと完全に直交する場合には、ワールド測定値XW、YWと、カメラ測定値XC、YCとのスケールファクタは、ｘとｙの双方向においてｆとなる。製造誤差に起因するレンズ軸ZCと画像面との直交度の欠落を考慮するために、研究コミュニティーは、図５に示される傾き軸推定(the tilted axis assumption)を紹介している。当該傾き軸推定においては、画像面がレンズ軸と垂直であるとみなされ得るように、画像面の軸の傾きが仮定される。
本質的に、種々の定式化が存在する：
パラメータａは、カメラの画素格子配列の水平軸と完全に一直線に並ぶ、水平方向の画像スケールである；
ａとは異なる垂直方向のスケールは、ｂとして設定されている；
画像面の垂直軸のスケールと向きは、傾斜パラメータｓによって、軸YCに対して傾けられており、ｓは、画像スケールに対する傾斜のスケールメジャー（a scale measure）である。
傾き軸推定を用いる公開済みの研究によれば、レンズ軸ZCが画像面と交差する点である像中心（CX，CY）と共に、ａ、ｂ、およびｓは、カメラの５つの内部パラメータである。従って、カメラの内部モデルは、５自由度を有する。
画像面の画素格子配列の製造工程は、非常に正確であり、校正は水平方向の画像スケールを垂直方向の画像スケールに等しくする、すなわち、a = b = fであり、垂直軸の傾斜はなく、すなわちs = 0となる。広く知られている傾き軸推定は、しかしながら、透視バイアスを導入し、全てのカメラパラメータをシフトする、そして、カメラの画像面の形状を維持する画像面の完全な三次元透視モデルに置き換えられるべきである。従って、カメラ座標（焦点Ｏを起点とする）内にモデルが表現されている図６に示されるように、カメラの内部モデルに新しい変数セットの導入が提案されている。
提案されるモデルでは、像中心（CX，CY）は、レンズ軸ZCとカメラ平面（すなわち、結像）平面との交点であり続ける。外部の三次元のワールド対象物（当該対象物の点Ｐは、各軸(XC YC ZC)に対して、当該ワールドにおいて何処かの座標に配置される）を対象とする、スケールの影響を受けない２つの同時透視(simultaneous perspectives)が考慮される。
実例として、レンズ系の入射口(entry)は、視線軸ZCに沿って、ｆ＝１に位置する理論上の平面として定義され、当該理論上の平面は、図６において２つの軸により示され、ｆ＝１の単位焦点距離(unit focal distance)を伴い、レンズ軸ZCと完全に垂直である。この第１平面は、xとyにおいて無限次元を有する平面への三次元対象物の完全な１対１の実スケール投影を表わす。
f = 1への投影は、従って、行列変換[ R3x3 T3x1 ]により表現される：
同次座標を用いて、三次元ワールド座標（X Y Zは、ワールド座標系(XW YW ZW)に対して与えられ、X’ Y’ Z’はカメラ座標系(XC YC ZC)に対して与えられる）における点P = [X Y Z 1]Tは、次のように投影される：
ここで、生成される三成分ベクトルの第３成分Z’は、[X’ Y’ Z’]Tが[X’/Z’ Y’/Z’ 1 ]Tに対して等価スケール(scale equivalent)となるように１に再変倍（rescale）される。三次元の点P = (X，Y，Z)は、(X’/Z’，Y’/Z’)として２次元に投影される。方程式(2)における記号

は、同次座標における等価スケール演算子を表わす。
方程式(1)中の要素 rij，i，j=1，2，3は、モデルパラメータの関数、すなわち、上述の３つの回転角度 (κ φ Ω) であり、(TX TY TZ)は、焦点Ｏに対するワールド原点の位置である。
外部の三次元のワールド対象物の実スケール透視に加えて、第２透視は、当該画像面自体、すなわちレンズ系の出力である。図６において、画像面は、(CX，CY)で交差する２つの軸によって表現されている。焦点距離ｆの位置にある当該画像面は、レンズ軸Zcに対して垂直ではないので、５個のパラメータが必要となる。焦点Ｏの座標セット(すなわち、座標セット(XC YC ZC))において定義されるものと同じ、水平軸と垂直軸の各向きを、ｆにおける画像面上で用いて、x軸およびy軸に対する２つの回転角度αとβが、カメラ平面の傾きを考慮するために使用される。特に、図６に示されるように、画像面のx軸は、角度α回転され、画像面のy軸は、角度β回転されており、その結果、画像面は、x軸、y軸に対して角度α、β傾いている、なお、画像面のx、y軸は、当初、すなわち回転前には、原点ＯにおけるXC、YC軸に平行である。換言すれば、x、y軸は、例示的には、画像面を傾ける回転が適用される前に、原点ＯにおけるXC、YC軸に平行であり、画像面上に複製されている。その結果、画像面の傾きは空間における２つの三次元回転、すなわち、YC軸に関する角度αの回転と、XC軸に関する角度βの回転によって表現される。画像面のx軸は、カメラ平面の水平方向と一直線に並ぶように任意に設定されており、従って、ｚ軸の回転角度は不要である。 幾つかの実施例、例えば、同じ視線を共有する２つの撮像装置がワールド対象物の像を撮影(capture)するために同時に使用されている実施例、若しくは、３-CCDカメラ(３つの電荷結合素子(CCD)を備える)が使用される実施例においては、z軸の回転角度が望ましいことを理解すべきである。回転角度α、βに加えて、カメラの内部モデルの残りの３つの自由度は、焦点距離ｆ（若しくは、カメラの画像スケール）と像中心(CX，CY)の座標である。
図５の一般的な傾き軸推定に対応する内部Ｋ行列は下記の方程式（３）によって与えられる。
方程式（３）における左上の２×２行列の区画は、傾斜パラメータｓ、水平方向のスケールａ、および垂直方向のスケールｂを伴う、画像面のｘ、ｙ軸を表す。画像面のｘ軸は、各列ベクトルとして与えられ、画像面のｘ軸は、Ｋ行列の２行１列の値０を考慮すると、カメラ平面の画素配列格子（不図示）の水平方向と一列に並ぶ。画像面のｙ軸は、図５に示されるように、ｘ方向にｓ傾いている。最後の列は、像中心位置(CX，CY)を表している。
図５の傾き軸推定の誤りは、左下の１×２行列の区画に見受けられる。レンズ軸がカメラ平面に対して垂直でないときには、当該左下の１×２区画の２つの項は、０であるべきではない。それらが０でないときには、これらの項は、画像面におけるｘ，ｙスケールに対して像中心から離れるように、透視補正を適用する。
投影されたｘ、ｙ軸を、それらが透視を表しているように、計算する場合には、従って、レンズZcと完全に垂直なカメラの画像面から開始することが提案される。次に、投影されたカメラのx、ｙ軸が、それぞれ角度α、β傾くように計算され、これにより、上述のように、レンズ軸と垂直でない画像面が取得される。提案する方法では、カメラの内部モデルは、１対１の実スケールのカメラの外部モデル投影を共通の視線ZC上の焦点距離ｆにおける画像面投影に関連づける、５自由度の透視変換として定義される、そして、原点ＯにおけるXC 、YCと平行な、回転の前の画像面のｘ，ｙ軸に対して画像面が角度α、β傾けられる。図６は、視線ZCにおける(CX，CY)を示す。図６において、視線と交差する全ての平面の原点がZCに設定される。当初は、(CX，CY)は、(0，0)に設定され、投影後は、原点がシフトされて、画像面の中心が(0，0)から(CX，CY)にずれる。
同次座標においては、次のように、[x y z 1]T空間におけるどのような三次元点も１対１、f=1の実スケールの平面上に投影される：
方程式（４）における最後の演算は、第４座標を１にする再変倍である。第３座標は、点(x/z，y/z)が、Ｚ＝１の平面上にあることを示す。
ｘ，ｙに対してそれぞれα、β傾いた焦点距離がｆの画像面について、同一点が当該傾いた画像面に次のように投影される。
ここで、Pfは、４行３列目の要素が１／ｆである投影演算子であり、ｆは、焦点距離、R(y，β)は、ｙ軸に対するαβ回転行列、そして、R(x，α)は、ｘ軸に対するα回転行列である。
方程式（５）におけるα回転は、最も右端で計算される、それ故、β回転は、ｙ軸が角度α回転した画像面に対して相対的に実行される。β回転は、方程式（５）において最も右端で扱われ得ることを理解すべきである、これは、α回転がｘ軸のβ回転に対して相対的に行われることを意味する。右から左に読まれ、かけ算の順序を反転させる同次方程式は、異なる数学的な式を生ずる。幾つかのモデルが可能である。
方程式（５）の行列同士を掛け合わせると次式が得られる：
最後の演算子（方程式（８））は、再び、第４座標の１(unity)への再変倍である。
P1 [x y z 1]TとPf R(y，β) R(x，α) [x y z 1]Tとは、同一の三次元点[x y z 1]Tの２つの投影であり、簡単なホモグラフィック変換（homographic transformation）によって関連づけられている。x’= x/zおよびy’= y/zを代入し、(x’，y’)が投影P1 [x y z 1]Tであることに留意し、ここでz成分（１，ｚ＝１に位置する平面）と単位スケールファクタ(unit scale factor)とを切り捨てて、Pf R(y，β) R(x，α) [x y z 1]Tは次のように書ける。
ここで
h11 = cosβ
h12 = sinβ sinα
h13 = sinβ cosα
h22 = cosα
h23 = -sinα
h31 = -sinβ
h32 = cosβ sinα
h33 = cosβ cosα
f=1とf=fの両平面間のホモグラフィー(homography)Ｈを次のように定義する：
傾いた画像面の座標(x’’，y’’)は、(x’，y’)の１対１の実スケール平面投影の一次変換であり、二次元同次座標で表現されている。
ここで、 x’’=u/w 、 y’’=v/w
ここで、記号

は、同次座標における等価スケールの演算子を表わす。予想されるように、H (方程式 (10)) の(2，1)要素は0であり、x軸がカメラ平面の水平格子と平行であることを意味している。第３行(方程式(10)参照)における透視要素h31とh32は、像中心から遠ざかる平面透視のスケール変化(scale change)を生成する。これらの要素は、カメラ平面がレンズ軸と垂直、すなわちα = β = 0であるときに、０になる。
０でない(CX，CY)について、カメラの内部モデルは、同次座標において扱われなければならないので、像中心(CX，CY)を加える前に、透視の再変倍が必要となる。１対１の実スケールの外部モデルの点(x’，y’)と、画像面の座標(x’’，y’’)との間の、レンズ収差を仮定しない、二段階プロセスにおいて、以下が得られる：
ステップ１： [u v w]T = H [x’ y’ 1]T
u= f(cosβ x’+ sinβ sinα y’+ sinβ cosα)
v= f(cosα y’- sinα) (12)
w = - sinβ x’+ cosβ sinα y’+ cosβ cosα
ステップ２：単位のw=1への再変倍と、像点(x’’，y’’)を与える(CX，CY)の平行移動
x’’= (u/w + CX)
y’’= (v/w + CY) (13)
レンズ収差が無い場合、校正は、従って、２つの射影間の最良の一致を探索する。空間のあらゆる点は、２つの独立した投影面、すなわち実スケール面(true scale plane)と、傾いた画像面に写る。 上述のように、f = 1 (すなわち、実スケール)の平面は、 例示的に、レンズ軸と完全に垂直であり、６自由度：(κ φ Ω)と(TX TY TZ)を有し、提案する外部モデル（すなわち、カメラ座標とワールド座標との関係）を与える。ｆにおいて、カメラ（すなわち、結像）平面は、実スケール平面に対してスケールが変化しない:ｆにおける画像は、f=1の実スケール画像の単なる変倍したものではない。ｆにおいて、画像面は５自由度：面の傾き角度α、βと、像中心(CX，CY)と、焦点距離ｆ、を有し、内部モデルを与える。
f=1の実サイズ平面上の１点は、当該傾斜した画像面上の１点に対応し、ｆ＝１とｆ＝ｆとの間での全ての対応点ペアは、（レンズ収差が無い状況では）焦点Ｏに集まる各線を定義する。しかし、当該２面間でレンズ収差が発生し、当該収差は、モデルにおいて考慮されねばならない。従って、校正ターゲットの正確な三次元対象物形状を知ることによって、校正は、当該２面に投影される各座標の各ペア間の三次元の対応を見つけて、レンズ収差を補償する。
上述と全く同じ基本原理を使うことによって、カメラの内部モデルに関する交互の定式化が可能となる、例えば、回転前に原点ＯにおけるXC、YCに平行な画像面上のx、y軸に対する回転が、逆の順に幾何学的に適用され得る。上述のように、２つの画像面が同一の視線を共有する場合、両画像の水平軸ｘ同士の相対的な配置誤差を表現するために、ｚ軸回転が、それらの１つに加えられ得る。
１．３．３ レンズ収差モデル
一旦カメラ平面の傾き角度α、βが適切に考慮されれば、カメラ画像は、レンズ軸Zcと完全に垂直な平面上で計算される、当該平面は、例えば、上述のように、検討される全ての面の視線であるレンズ軸Zcに対する垂直度を補正されたf = 1の平面、若しくはf = fの平面である。ここで議論される技術は、f = 1の平面とf = fの平面への投影を使用する撮像装置（例えば、カメラ）をモデル化するが、２よりも多い平面がレンズ収差のモデル化に使用され得ることを理解すべきである。f = 1は、外部モデルにおける投影であり、ｆは、画像面を定めるので、実際には、f = 1とf の各平面は、例示的に、最小要件である。幾つかの実施例において、１以上の中間の平面が、f = 1とf の各平面の間にモデル化されてもよい。例えば、第３中間平面が、撮像素子の最小の焦点距離fminに、f = 1とfminの各平面の間で計算される第１ホモグラフィーとf = fminとfの各平面間で計算される第２ホモグラフィーとを伴って、置かれてもよい。
Zcと直角の投影面に関して、レンズ収差モデルは、純粋に、幾何学的かつ色彩的な動径関数に減少させられ得る。
多くの幾何学的レンズ収差のモデルが発表されている。幾人かの著者は、幾何学的レンズ収差の除去において１／２０画素の精度を主張している。概して、それらの基本的な基準は、大体同じであり、実際に真っ直ぐな線は、一旦、幾何学的収差が除去された画像において真っ直ぐに見えるべきであるというものである。非常に僅かな著者しか、彼らのレンズモデルにおいて色収差を考慮していない。最も普及しているレンズの幾何学的収差のモデルは、非特許文献３に示されるように、Shawn Beckerモデルである。
x' = x + x (k1 r2 + k2 r4 + k3 r6) + p1*( r2 + 2 x2) + 2 p2 xy (14)
y' = y + y (k1 r2 + k2 r4 + k3 r6) + p2*( r2 + 2 y2) + 2 p1 xy，r2=x2+y2 (15)
ここで(x'，y' )は、像中心(CX，CY)に対して計算された、点(x，y)の新たな位置を表わしており、k1，k2およびk3は、径方向の収差の３つの項であり、p1とp2は、偏心収差の２つの項である。校正は、パラメータk1、k2、k3、p1、およびp2の数値を得る。画像解析は、(x' y')を与える。歪みがない(x y)位置は、二次元探索アルゴリズムを用いて２つの方程式を解くことによって見つけられる。
たいていのレンズ収差モデルは、湾曲した線を真っ直ぐにできた。モデル化誤差は、校正されたステレオペアから三次元位置を復元する際に現れた。真っ直ぐに見える直線は、幾何学的収差の正確な補正を保証する基準としては不十分である。間違った透視は、画像全体の測定誤差を引き起こし、図５の傾き軸推定は、系統的な透視バイアスを生ずる。
提案するカメラモデルの修正は、校正の正確さを増大させ、レンズの幾何学的収差モデルの複雑さを減少させる。Shawn Beckerのレンズの幾何学的収差モデルのうちパラメータk1、k2のみが維持されるとともに、Shawn Beckerの２つの方程式(14)、(15)は、次の１つの方程式のみに減じられた。
r' = r + k1 r3 + k2 r5 + …（拡張可能） (16)
ｒが見つかると、完全径方向変位モデルからr'を知ることができ、ｒにおける奇数項を用いて拡張できる、ただし、r2=x2+y2である。図７において見受けられるように、完全径方向変位モデルは、幾何学的収差が完全に径方向変位であるとモデル化できる場合に用いることができる。外部モデルの像点(x，y)（例示的に、測定可能な量、例えば、画素よりも、インチ若しくはミリメートルで表現している）は、極座標(r，θ)によって表現できる、ただし、r2=x2+y2でありtanθ=y/xであり、xとyのうち少なくとも１つは非零であり、xとyは、像中心に対して与えられる。
ルックアップテーブル（ＬＵＴ）によっても、方程式（１６）を用いると、著しく少ないメモリを使用しつつ計算を４対１で減少させ、実時間計算に、さらに適した提案カメラモデルを作成できる。単純化されたモデルによっても、f= 4mmのマイクロレンズ(視野角約９０度)を備える640×480画素ベイヤパターン１／３インチCCDのカラーカメラから、10-10 mmの正確さで焦点距離ｆを得ることができた。
一旦、真の像中心が知られれば、色収差は、１つの像中心からモデル化できる。色収差について、幾つかの定式化が可能である：
１-緑チャンネルにおける幾何学的校正に基づく１つの中心；
２-赤、緑、及び青の各チャンネル独立の校正；
３-幾何学的校正に関する平均の赤、緑、及び青、色彩に関する赤と青の偏差。
１．３．４完全なカメラモデル
ここで、図８ａを参照すると、提案のカメラモデルを用いて上記のように像点の位置を計算するための方法１００が図示されている。画像面に位置する像点を与えるために、三次元点は、３つの変換を経る。方法１００は、ステップ１０２における、提案のカメラの外部モデルを用いるf=1の平面への投影、ステップ１０４におけるレンズ収差モデルの適用、およびステップ１０６におけるカメラの内部モデルを用いた傾いた画像面への投影を例示的に含んでいる。 ステップ１０６が実行された後に、カメラによって撮影された三次元点(X，Y，Z)に対応するカメラの像点の位置(x’’，y’’)が得られる。
ここで図８ｂを参照すると、ステップ１０２は、提案するカメラの外部モデルの変換を例示的に計算するとともに、ワールド座標系(XW YW ZW)に対して表現された三次元点Ｐの座標(X，Y，Z)のステップ１０６における受け取りを備えている。
上述のように、対象物の三次元点の姿勢、すなわちカメラが対象物を見る角度および位置を与えられると、f=1の投影は、６自由度、すなわち、ワールド座標系(XW YW ZW)と参照カメラ座標系(XC YC ZC)との間の相対的な向きおよび位置を定義する３つの角度(κ φ Ω)と位置(TX TY TZ)から、対象物の１対１の実スケール画像を与える。当該モデルパラメータ(κ φ Ω)、(TX TY TZ)を用いて、上述のように、次のものが、ステップ１０８において同次座標において計算される：
P = [X Y Z 1]T
rij，i，j=1，…，3 は、ターゲットの姿勢角度(κ φ Ω)の関数であり、
[ X’ Y’ Z’]T = [R3x3 T3x1][X Y Z 1]T
単位Z’へのスケーリングは、外部モデルの像点(x，y)を与える、ここで：
[x y 1]T = [X’/Z’ Y’/Z’ 1]T

[X’ Y’ Z’]T
次に、外部モデルの像点がステップ１１０で出力される。
ここで図８ｃを参照すると、ステップ１０４におけるレンズ収差モデルの適用は、例示的に、ステップ１１２における外部モデルの像点(x，y)の受け取りを備えている。各モデルパラメータ、すなわち、レンズの幾何学的収差パラメータk1とk2とを用いて、ステップ１１４は、例示的に、r、r’と、歪んだ像点(x’，y’)との計算を備える。例えば、撮像装置の魚眼レンズに係る幾つかの実施形態においては、パラメータk1とk2とが拡張されても良いことを理解すべきである。実際、上述のように、最も単純な形式においては、幾何学的収差は、完全に径方向の変位としてモデル化され得る。外部モデルの像点(x，y)は、極座標(r，θ)において表現され得る、ここでr2=x2+y2、tanθ=y/xであり、xとyのうち少なくとも１つは非零であり、xとyは、像中心(0，0)に対して得られる。ｒを知れば、新しい歪んだ距離r’は、次によって与えられる：
r' = r + k1 r3 + k2 r5 + …（拡張可能），
ここでk1とk2とは、レンズの幾何学的収差パラメータである。θが判るか、若しくは、同様の三角形の特性を用いることによって、歪んだ像点(x’ y’)が、計算できる：
(x’，y’) = (r’cosθ，r’sinθ)，
or (x’，y’) = (x r’/r，y r’/r)
次に、ステップ１１６において、歪んだ像点(x’，y’) が出力される。
一つの実施形態において、レンズ収差は、像中心(0，0)に対する１対１、f=1のスケールでモデル化される。しかし、以下にさらに述べるように、ｆが、カメラの内部モデルと、ｆスケールで取り扱われるレンズ収差とから、得られえることを理解すべきである。
ここで、図８ｄを参照すると、１０６のカメラの内部モデルの取得は、ステップ１１８における歪んだ像点(x’，y’)の受け取りを、例示的に、備えている。 歪んだ像点(x’，y’)と、カメラの内部モデルの５自由度、すなわち、αとβ（画像面の傾き角度）、焦点距離f、および像中心座標(CX，CY)から、ステップ１２０において以下のものが計算される：
u = f(cosβ x’+ sinβ sinα y’+ sinβ cosα)
v = f(cosα y’- sinα)
w = - sinβ x’+ cosβ sinα y’+ cosβ cosα
x’’= (u/w + CX)
y’’= (v/w + CY)
ここで、(x’’，y’’) はカメラの内部画像面上の像点であり、ステップ１２２において出力される。
上述のように、fは、カメラの内部モデルから得られる。カメラの内部モデルの近似値を生成するために、小さい角度αとβ、近似値

および

を用いることができる。サインとコサインの他の近似が可能であることを理解すべきである。方程式(12)から下記にわかるように、 代入すると、 h33は、１になり、h13= fβとh23= -fαとは像中心の修正を生じ、h11とh22とは、fとなって、x、yにおける共通のスケールを与え、h12= fαβは、像の傾きの等価物を生成する。以前に示されているように、h31= -β とh32= αとは、０になり得ない。それらは、像中心に対して測定されたxとyに対するw’=1+ yα - xβによる再変倍の際に、像中心からｘ，ｙに沿って離れる透視の修正を、像に与える。
さらに上述のように、レンズ収差は、画像面のｆスケールに対してモデル化され得る。画像面のスケールに従ってレンズ収差をモデル化するためには、レンズ軸ZCと完全に垂直で、ZCに沿ってｆに位置し、中心(0，0)を有する仮想の中間投影面がモデルに加えられる必要が有る。
当該変換は、純粋なスケーリングホモグラフィー(scaling homography)Sfによって表現される
カメラの内部モデルにおいて、HからSfを生成できる。(fx，fy)を計算するために外部モデルの最後にSfによるスケーリングを適用でき、(fx，fy)をレンズ収差モデルに使用でき、それ故、カメラの内部モデルにおいてf = 1に設定できる。次に、画像面が、修正されて、中心位置(0，0)を有して、視線ZCと直角をなすように傾斜を戻されたかのように、レンズ収差パラメータがｆスケールで計算される。
レンズ収差のモデル化における要件は、視線に対して完全に垂直な平面に関して、像中心に対する径方向の距離を計算することである。これは、固定レンズのモデリングに追加の自由度を与える、しかし、レンズ収差のf=1、１対１の実スケールのモデリングは、レンズ収差パラメータをｆから独立させる、ズームレンズに対する利点である。
ここで図９ａを参照すると、撮像素子のモデル化および校正のためのシステム２００が描かれている。システム２００は、ネットワーク２０４を経てアクセス可能な１以上のサーバー２０２を備える。例えば、ウェブサーバー、アプリケーションサーバー、およびデータベースサーバーに対応した一連のサーバーが使用される。これらのサーバーは、全て、サーバー２０２により表されている。サーバー２０２は、ネットワーク２０４を通じて通信に適合する複数の装置２０６のうち１つを使うユーザーによってアクセスされる。装置２０６は、パーソナルコンピュータ、タブレットコンピュータ、携帯情報端末、 およびスマートフォンなどの装置を備え、インターネット、公衆交換電話網、セルラーネットワークその他の当業者に知られたネットワーク２０４を通して通信可能に構成されている。サーバー２０２は、各装置２０６から遠くに別個に設けられているように描かれているが、サーバー２０２が、ダウンロードされたソフトウェア、ファームウェアアプリケーション、若しくはそれらの組合せとして各装置２０６と統合されてもよいことを理解すべきである。また、複数の装置２０６のうち幾つかの装置が同時にサーバー２０２にアクセスしてもよいと理解すべきである。
撮像データは、校正およびデータ収集に用いられる撮像装置２０７によって獲得され得る。装置２０７は、装置２０６と（描かれているように）別体でもよいし、統合されていてもよい。当該撮像データは、以降にさらに述べられる校正ターゲットのような実際のワールド三次元対象物（不図示）の１以上の画像を含んでいてもよい。次に、当該撮像データが、サーバー２０２において処理されて、撮像装置２０７のモデルが、図８ａ、図８ｂ、図８ｃ、および図８ｄと関連して上述された手法によって取得される。撮像データは、空間での動きがモニタされている移動対象物のような対象物について、例示的に、実時間（例えば、毎秒画像３０枚の速度）で取得される。次に、サーバー２０２は、撮像データを処理し、取得された各画像に関して像点を決定する。あるいは、撮像データは、画像中の１以上の注目点のそれぞれと関連づけられた像点を決定するために処理される。
サーバー２０２は、他の物のうち、メモリ２１０と組み合わされて当該メモリで動作する複数のアプリケーション２１２ａ〜２１２ｎを有するプロセッサ２０８を備えてもよい。ここで表示されてるアプリケーション２１２ａ〜２１２ｎは、別々のものとして描かれ述べられているが、結合されるか、若しくは種々の手法で分けられてもよいことを理解すべきである。
１以上のデータベース２１４が、メモリ２１０に直接統合されてもよいし、分けて、（描かれているように）サーバー２０２から遠方に設けられてもよい。データベース２１４への遠隔アクセスの場合には、上に示されたように、何れかのタイプのネットワーク２０４を介してアクセスがされる。ここで述べられた種々のデータベース２１４は、コンピュータによる高速な検索及び取得のために編成されたデータ若しくは情報の集合として与えられる。データベース２１４は、種々のデータ処理操作におけるデータの保存、取得、変更、および削除を容易にするために構成されている。データベース２１４は、各レコードに分けられる１つのファイル若しくは、ファイルの集合から成ってもよく、各レコードは、１以上のフィールドからなる。フィールドを素早く、検索し、再編成し、グループ化し、そして選択するために、データベースの情報は、キーワードと仕分けコマンドとを使用する問い合せを通じて取得される。データベース２１４は、１以上のサーバーのようなデータ格納媒体におけるデータのどのような編成物であってもよい。
１つの実施形態において、データベース２１４は、セキュア・ウェブ・サーバーと、データへのアクセスに使用されるプロトコルであるトランスポート・レイヤー・セキュリティ（TLS）をサポート可能なハイパーテキスト・トランスファー・プロトコル・セキュア（HTTPS）である。当該セキュア・ウェブ・サーバーとの間での通信は、セキュア・ソケット・レイヤー（SSL）を使用して安全にされる。ユーザーの本人確認は、全てのユーザーについて、各ユーザー名と各パスワードとを使用して行われる。種々のレベルのアクセス権が、多様なレベルのユーザーに付与される。
あるいは、コンピュータネットワーク内の装置に情報交換を可能とする既知の各通信プロトコルのどれかが使用されてもよい。各プロトコルの例として以下のものが挙げられる、ＩＰ（インターネット・プロトコル）、ＵＤＰ（ユーザー・データグラム・プロトコル）、ＴＣＰ（トランスミッション・コントロール・プロトコル）、ＤＨＣＰ（ダイナミック・ホスト・コンフィギュレーション・プロトコル）、ＨＴＴＰ（ハイパーテキスト・トランスファー・プロトコル）、ＦＴＰ（ファイル・トランスファー・プロトコル）、Ｔｅｌｎｅｔ（テルネット・リモート・プロトコル）、ＳＳＨ（セキュア・シェル・リモート・プロトコル）。
プロセッサ２０８がアクセス可能なメモリ２１０は、データを受信し、格納する。.メモリ２１０は、高速ランダム・アクセス・メモリ（ＲＡＭ）などのメインメモリ、又は、ハード・ディスク、フラッシュ・メモリ、若しくはマグネティック・テープ・ドライブなどの補助記憶装置であってもよい。メモリ２１０が、リード・オンリー・メモリ（ＲＯＭ）、イレーサブル・プログラマブル・リード・オンリー・メモリ（ＥＰＲＯＭ）などの他のタイプのメモリ、又はビデオディスク若しくはコンパクト・ディスクなどの光学記憶媒体であってもよい。
プロセッサ２０８は、メモリ２１０にアクセスし、データを取得する。プロセッサ２０８は、データの操作ができるどのようなデバイスであってもよい。例は、中央処理装置（ＣＰＵ）、フロント・エンド・プロセッサ、マイクロプロセッサ、およびネットワーク・プロセッサである。 アプリケーション２１２ａ〜２１２ｎは、プロセッサ２０８と組み合わされており、以降により詳細に説明する種々のタスクを実行するように構成されている。出力は、各装置２０６に送られる。
図９ｂは、プロセッサ２０８において実行されるアプリケーション２１２ａの典型的な実施形態である。 アプリケーション２１２ａは、撮像装置２０７から撮像データを受け取って、撮像装置２０７によって撮影された実三次元ワールド対象物の点の座標を取得する受信モジュール３０２と、図８ｂに図示され述べられた方法を可能とする外部モデル投影モジュール３０４と、図８ｃに図示され述べられた方法を可能とするレンズ収差補正モジュール３０６と、図８ｄに図示され述べられた方法を可能とする内部モデル投影モジュール３０８と、内部モデル定義モジュール３０８によって計算された、カメラの像点の座標を出力する出力モジュール３１０とを備える。
２．０ 校正
ここで、図１０、図１１、および図１２の、三次元から二次元画像を生成する処理の校正モデルを参照する。２台の校正されたカメラから、二次元から三次元へのステレオペアの逆操作が用いられてモデルの正確さが確認される。
２．１ 実験の構成
提案する実験の構成は、たとえ、低解像度の短波長赤外線（SWIR）撮像装置を用いても、現場で使用可能であることを目的としている。図１０に図示されるように、９０度をなす、２つの黒色のアルマイト処理されたアルミニウム（不図示）の平面上に、短波長赤外線スペクトルの表面放射特性を変化させるとともに、カラー校正用の白黒情報を与える、２つの円格子（不図示）が形成されている(例えば、彫られている)。
発表された幾つかのアプローチは、収差を避けて幾つかのカメラパラメータを分離するために画像の中心部分を使用する。あいにく、それは、パラメータ評価のバイアスも生ずる。提案するアプローチにおいては、画像のどこで取得されるどのような楕円の中心も、モデルに当てはまる。それ故、提案するモデルは、広角レンズに対しても、画像全体にわたって正確である。
一度、画像から各楕円の中心が測定された場合には、三次元の実ワールドのターゲット位置と、画像におけるそれらの二次元の対応する位置とを関係づけるデータセットが得られる。それらを相互に関連づけるカメラモデルを用いて、Levenberg-Marquardtの探索アルゴリズムが各モデルパラメータを計算するために使用される。Levenberg-Marquardtアルゴリズム以外のアルゴリズムが適用され得ることを理解すべきである。例えば、最急降下アルゴリズム、若しくはニュートンアルゴリズムが使用され得る。提案される技術により達成される精度の向上は、バイアス無しで、最小２乗誤差和の基準の使用を可能とした。誤差は、モデルと三次元データセットから予想されるターゲット位置から、対応する二次元の実際の像の測定値を引いたものとして定義される。
校正ターゲットは、２インチの中心間の間隔で設けられた直径１インチの複数の円を用いる。複数の円を用いることにより高画素の画像に対しても、コーナーが検出されないことが保証される。
各円は、バイアスも、エッジのいかなる優先の向きも無しで、カメラの挙動の局所評価を与える。我々は、エッジ検出の信号対雑音（S/N）比よりも、正確な楕円中心位置精度に関心を持っている。楕円のモデル化と中心バイアスの評価とに関する種々の技術の試験に多くの労力を要した。画像は、高画素であるので、エッジ検出器の測定領域は、例示的に、３×３画素の領域に限定される。
提案する技術は、低解像度のカメラでの使用を意図しているので、図１１に示されるような、ｆ＝４ｍｍのテスト用レンズを備えた６４０×４８０画素のベイヤ・パターン・ポイント・グレイ・リサーチ・ファイアフライ（商標）・カラーカメラ（Bayer Pattern Point Grey Research FireflyTM colour camera）が、例えば、選択される。
最終的に、モーメント技術は、まぶしい光と反射を扱えず、それゆえ現場での校正に使用できないと結論づけられた。 幾つかのケースで、１／４画素〜１／２画素の中心のバイアスが見られた。これらの誤差は非常に小さく、これらを形状復元処理から取り除くために、広範な数学的解析が必要であった、そして、これらは、人の眼には見えない。
一方、エッジ勾配センシング技術は、エッジの向きが水平若しくは垂直のカメラの格子画素配列と並ばないときには、サブピクセルの位置のバイアスを示した。結局、Devernay（非特許文献１）による「非マキシマ抑制（Non Maxima Suppression）」のサブピクセルへの拡張によるサブピクセルの修正が使用された。２段階処理において、ステップ１は、エッジの向きのバイアスの補正を加えて、エッジ点の初期推定値を復元した。 この初期セットにおいて、楕円形状の初期推定値が計算される。 ステップ２において、初期楕円の当てはめが局所的な湾曲の評価と、エッジ位置の修正とに用いられる。
２．２ 校正結果
下記の表１に示されるように、同一の実験データを用いて、２つのカメラモデルについてパラメータの推定値が比較されている。
一番左のカメラパラメータセットは、我々自身の実験データ用いてテストされた、発表されている最も正確なモデルから得られている。 一番右のセットは、提案するモデルから計算された、ここで、レンズモデルは、純粋に、径方向の幾何学的収差であるとされている、そして、カメラの内部モデルは、提案する実装を用いた。
上記表における最初の６行は、カメラの外部パラメータ、すなわち、[R3x3 T3x1]の計算に必要な３つの角度と、３つの位置である。次の５行は、カメラの内部パラメータであり、我々は、我々のパラメータの表現を、図５の一般的に使用されているモデルに合うように修正した。我々の自由度は、異なる数学的定式化を使用する。次に、残りの２行は、主要なレンズの幾何学的収差のパラメータk1とk2を示している。これらの２つは、多くのモデルにみられ、たいていの魚眼の幾何学的収差を説明するものである。
上で論じられたように、a、b、およびsから、カメラ画素の直角度と、焦点距離ｆにおける誤差とを表現するように、我々は、 a = b = fでs = 0を考慮した。もしも画素が正方形であれば、高さスケールは、幅スケールと等しく、双方は、完全に直角であり、a = b = fは、画像スケールを表現する。
提案されるモデルへ切り替えたことにより、ｆの誤差は、10-3 mmから10-10 mmに減少した。当初、焦点距離ｆは、０．０３％誤差があった。これは、小さく見えるが、当該モデルバイアスは、像中心(CX，CY)を主にY方向に沿って２画素近く移動させた。同時に、全ての外部パラメータも移動した。全ての角度が変化し、対象物距離TZは、０．３％間違っている。 fの誤差に対して、距離測定の誤差は、１０倍に増幅される。それは、系統的な距離測定誤差である。１ｍの距離に付き３ｍｍの誤差は、１０ｋｍの距離について３０ｍに拡大される。TXとTYの誤差率も、悪化しており、一番左のモデルがレンズ軸ZCに沿った距離を維持しようと努めることを示している。校正されたステレオペアに基づいて、三次元の復元は、画像スケールにおいて２画素に相当する誤差を示す。ステレオ三次元測定について、さらに以降において、さらに論ずる。
収差パラメータk1とk2とを考慮すると（k1の負号は、樽形収差を意味している）、双方が、過小評価されていることが判る。像中心から離れるにつれて、いくらかの除去できない湾曲がある。それは、一画素よりも小さいかもしれないが、複数の写真から地図を作るために画像をつなぎ合せようとすると、湾曲は増加する。
３．０ モデル／校正のバイアスの影響
主なモデルバイアスの影響は、三次元スキャナーのアプリケーションに使われるような、ステレオペアに基づく三次元遠隔測定法に現れる。基本的に、数学的な三角測量処理が同じであるため、移動カメラに基づく三次元抽出にも同じ結論が当てはまる。
３．１ ステレオペアに基づく三次元の復元
前もって言及したように、カメラモデルにおける提案の修正をしないと、三次元の三角測量の系統的誤差を生ずる。図１３は、カメラで同時に撮影した２つの画像を用いて、三次元対象物の測定に一般に使用されるステレオペアを示している。三角測量についての詳細な考察は、非特許文献５に与えられている。
図４に示されるように、OとO’とは２つのカメラ（不図示）の光学中心であり、双方のレンズ軸は、各像中心における各画像面に直角にそれぞれ突出している、各像中心は、それぞれ、（CX，CY，f）と（CX’，CY’，f’）（明らかにつき不図示）であり、ここで、(CX，CY)は、画像面の原点であり、fは、Oと画像面との距離である。同様に、(CX’，CY’)は、画像面の原点であり、f’は、O’と画像面との距離である。
双方のカメラは、対象物（不図示）上の共通の点Ｍを見ている。Ｍは、双方のカメラ画像に点m、m’として投影している。
空間においてＭがどこにあるかを見つけるために、O、O’をそれぞれ起点とし、それぞれのカメラの像点m、m’を通る２つの直線がそれぞれ伸ばされている。Mは、双方の直線の交点として計算される。
三次元の精度は、以下のものの正確な知見に依存する：
１． 光学中心OとO’
２． 焦点距離fとf’
３． 像中心(CX，CY)と(CX’，CY’)
４． レンズ軸の向きZC とZC’
５． 像点mとm’の正確さ
６． OMとO’Mとの交点
三次元遠隔測定の正確さに関する最初の４つの要件は、カメラの校正を通して見つけられる、５番目の要件は、サブピクセルの画像の特徴抽出によって見つけられる。最後の要件は、三角測量の三次元の復元そのものである。
最初の４つ、すなわち、光学中心OとO’、焦点距離fとf ’、像中心(CX，CY)と(CX’，CY’)、およびレンズ軸の向きZCとZC’の上述の誤差依存性は、カメラモデルの発見された上述のバイアスの影響を受ける。
傾き軸推定は、焦点距離ｆについて非常に小さい誤差を生ずる一方、像中心(CX，CY)と焦点OとO’に大きなバイアスを生ずる。OとO’の位置がずれているので、Ｍを見つけるための三角測量は、系統的な三次元誤差を与える。提案する校正の例によれば、光学中心OとO’の２画素の誤差は、像点mとm’のいかなる測定誤差をも支配する、なぜなら我々は、それらを１／４画素の精度で取得できたからである。
特徴点（mとm’）抽出は、エッジの向きのバイアスの影響を受け、コーナー検出のバイアスは、校正において処理されなければならない。
そして、最終的に、古典的な特異値分解（SVD）アプローチが、その安定性とスピードを目的に、実行された。２つの直線が空間で交差する保証は何らされない。それ故、Ｍは、双方の直線が最も近くなる空間中の点として見つけられる。
我々の研究の過程で、精度に影響する幾つかのバイアス源が、主要な原因であるカメラモデルのバイアスとともに、測定された。バイアス源は、以下のものを含んでいる：
− カメラ／レンズ モデル （像中心(CX，CY)における２画素誤差）
− サブピクセルのエッジの向きのバイアス （１／４画素のエッジシフト）
− サブピクセルのコーナー検出バイアス （１／４画素のコーナーずれ）
− 未考慮の色収差 （色に関する１／２画素のエッジシフト）
− 十分に補償されていない幾何学的収差 （容易に検出できない１／２画素の除去できない湾曲）
− サブピクセルレベルでのＪＰＥＧ画像フィルタリング （ＪＰＥＧ質パラメータによって可変）
カメラモデルのバイアスとは別に、たいていのバイアス源は、特徴点抽出の誤差を生ずる。これらのバイアス源を除去することは利点の蓄積となる。広角のマイクロレンズを備えた低解像度のベイヤ・パターンカメラからでさえ、単にカメラの内部モデルを変更することによって10-10 mm の精度でｆを得ることは、大幅な改良を示し、今まで何故正確なズームレンズモデルが不可能であったのかを説明する。
３．２ モデルのバイアス：全体とズームレンズ
上述のように、すべてのレンズパラメータは、傾き軸推定と称されるカメラの内部モデルのバイアスによって「汚染」されている。当該バイアスは、傾き推定を、カメラの三次元内部画像面の正確な透視モデルに変更することによって除去できる。
ステレオカメラ若しくは移動カメラに基づく三次元の三角測量において、影響は、画像スケールと像中心とが悪いので、三角測量がシフトされることである。
表１に描かれた例は、レンズ収差パラメータは、小さく見積もられており、樽形収差を意味する負号のk1を伴うことも示す。複数の画像をつなぎ合わせて地図を作るときには、それは画像から画像への増大する湾曲を生ずる。
カメラは変倍された寸法を与えるので、範囲と照準の測定値もまたバイアスされるとともに、焦点距離ｆの誤差の割合に関連づけられる。
それは、また、ズームレンズカメラの正確なモデル化を妨げる。ズームレンズにおいて、焦点Oは、レンズ軸ZCに沿って移動する。校正に基づいて、画像面に対して直角にｆ離れた像中心(CX，CY)を知ることによって、Ｏが見つけられる。提案の例は、これらのパラメータにおける系統的なバイアスを示す。レンズ機構における芯振れを考慮すると、芯振れはレンズ軸ZCを動かすので、バイアスがさらに悪化する。
カメラモデルに対して、提案する修正をしない場合、ズームレンズのモデル化は不可能になる。
ズームレンズカメラのモデル化は、空間における焦点Ｏの変位のプロットを要する。理想のズームレンズは、レンズ軸ZC上の直線に沿って移動するＯを有し、f=1の入射平面も移動する。メカ的な組み立て誤差が発生すると、直ちに、点Ｏの直線変位関係も崩れる。ズームレンズのメカ的な品質を評価する唯一の方法は、それ故、像中心(CX，CY)とfの正確な知見に依存する。
メカ的な上質の挙動は、また、ズームレンズの矛盾点：すなわち、レンズ機構における組み立て公差のために精度を失うという代償を払って、必要時に追加的な精度を得るためにズーム拡大することである。
３．３ 幾何学的収差の除去例
ここで図１４を参照すると、上述の予め校正されたテストカメラを用いるとともに、レンズの幾何学的収差が方程式（１６）のように表現されている提案するアルゴリズムに基づいて、どのように画像からレンズ収差が除去されるのかを図１４は示している。色収差は、白黒画像上では見ることができない。
３．４ 色収差
次に、焦点距離４ｍｍのCosmicar（登録商標）のＣマウントレンズの色収差を図示する図１５を参照する。一旦、真の像中心(CX，CY)が判ると、色収差がモデル化できる。たいていの画像において、被写体が完全な白黒でなく、カラーカメラで撮影されない場合は、色収差は殆ど見られない。非特許文献２は、各ＲＧＢカラーチャンネルがそれぞれ独立にモデル化されているモデルを提供する。
図１５において、色収差によるターゲットの変位は、５０倍に拡大されて示されている。ターゲットの各位置は、赤、緑、および青（RGB）のカメラのカラーチャンネルに対して示されていおり、３つの集合に分類されている。‘x’若しくは十字のマーカー記号は、青色でのターゲットの抽出を示し、‘+’若しくはプラス符号のマーカー記号は、赤色でのターゲットの抽出を示し、ドット若しくは点のマーカー記号は、緑色でのターゲットの抽出を示している。可視スペクトルの拡がりは、緑色ターゲットに対して赤色ターゲットの中心を外側に、青色ターゲットの中心を内側に配置する。図１５のグラフは、ほとんどが径方向の挙動を示す。各想像線は、座標(500，400)の近くに円で囲まれたプラス符号のマーカー記号により示される像中心に向けて整列するどのターゲット位置に対しても赤、緑、および青の中心をそれぞれ接続する。
図１６と図１７にそれぞれ示される次の２つのグラフは、予想されるように、縦座標の原点(0，0)から始まっており、青と赤の双方の色収差が像中心において零であることを示している。レンズの理論上の挙動から予想されるように、色収差は、像中心において零となるべきである。
青色収差と赤色収差の双方が、像中心から径方向の異なる各距離においてピーク値をそれぞれ有している。±１／２画素より大きいものから±１／８画素未満のものまで、色収差はモデル化され得る。
像中心(CX，CY)から設定される極座標において、考慮されていない色収差が±１／２画素の誤差を、対象物の色が変わるか、若しくは光源のスペクトルが変わるエッジ位置で生ずる。これは、エッジ検出が色に対してバイアスされるので、ベイヤ・パターンのカラー画像からＲＧＢを抽出する際には注意しなければならないことを強調している。
３．５ ベイヤ・パターンの復元
ここで、図１８を参照すると、ベイヤ・パターンのカラーカメラは、Ｒ、Ｇ、若しくはＢが前に付いた図１８の画素番号で示される赤、緑、若しくは青の各画素に対して１つのカラー信号を付与する。失われたカラー情報は、隣接画素の情報を用いて補間される。
最も正確なベイヤ・パターンの補間方式は、失われたＲＧＢ情報を回復させるためにエッジ検出を用いる。正確なベイヤ・パターンの復元は不連続性を避ける必要が有るので、エッジを越える補間はできない。
２段階処理において、最初に、失われたＧ画素値がＢとＲの画素において計算される。例えば、赤画素Ｒ１３において、失われたＧ１３の値は、次のように計算される：
もしもエッジが水平であれば
(G12+G14)/2 (R13 > ( R3 +R23)/2) (11)
もしもエッジが垂直であれば
(G8 +G18)/2 (R13 > (R11+R15)/2) (12)
そうでなければ
(G12+G8+G14+G18)/4 (13)
ステップ２において、ＢとＲのエッジがＧエッジと同じ画像面の場所で幾何学的に見つけられると仮定して、失われたＢ値およびＲ値が、エッジ検出のために既知のＧを用いて計算される。
レンズには色収差があるので、ベイヤ・パターンの復元は、Ｂ画素からＧ画素、Ｒ画素にスキャンする際に「色シフト」するエッジ位置を補償するように適合することを必要とする。
３．６ 光学系設計のトレードオフ
監視、三次元遠隔測定法、およびスキャナーに関して、カメラ校正のバイアスを除去する必要性が示された。当該技術の他の重要なものは、以下を含むが、これらに限定されない：
１． オープン統合アーキテクチャを構築するためのソフトウェアによるアプローチ；
２． 広角レンズの使用の許容、若しくはレンズサイズの削減；
３． ズームレンズカメラのモデル化の許容；
４． 計算速度が速く、損失のない画像圧縮の追加する画像の幾何学的収差および色収差の補正アルゴリズム；
５．色収差により生ずるベイヤ・パターンの復元誤差の除去。
ソフトウェアが、カメラのハードウェア性能を越えて精度を向上できる唯一の戦略であると思われることに留意されたい。
イネーブラとして、当該技術は、以下を許容する：
・精度を損なうことなくカメラの視野角を増加させる広角レンズの使用。１／３インチＣＣＤとf = 4mmレンズとの組合せは、９０度の視野角を与える。
・色収差のモデル化と、スペクトルにわたるサブピクセルのエッジ測定を加えることによるカメラの低解像度の補償。
・小型化：我々は、マイクロレンズを使用する校正と、略水素分子の大きさである10-10ｍｍの精度の焦点距離の評価とを成し遂げた。
・ＳＷＩＲ、カラー合成画像、レーダー、およびＬＩＤＡＲ間のセンサの融合：正確な融合を達成するために、各画像スケールと像中心が知られる必要が有り、画像の収差は除去される。
デジタル画像の遅れは、４対１の低減が望ましい提案される幾何学的収差の除去を行う観察者に吐き気を催させる。校正バイアスに基づく除去できない３Ｄ誤差もまた、頭痛、若しくはコンピュータ関連の病気などの人の不快感の原因となる。兵士用ビジョンのための視野の増幅のテストは、画像合成の実際の１／４秒の遅れは、人に吐き気をおこし得ると結論づける。
解決手段は、実装されたソフトウェアであるので、クロスプラットフォームに依存しなくなる。
低解像度画像において、サブピクセルのエッジ抽出とプロットとは、人の脳が画像を理解する助けになる。低解像度のSWIR画像は、高解像度のカラー画像と融合され得る。
拡張現実において、コンピュータ生成画像は、理想的な透視と既知の焦点距離とを有している。コンピュータ生成画像は、ｆの設定値に基づいて生成されており、完全にピンホールであるので、収差のためにカメラ画像を修正する必要も、合成画像と同じスケールに当てはめる必要もない。
衛星からの地球の観測と監視において、どのレンズも、ある程度のレベルの収差を示すであろう。地球の大気は、また、レンズ収差が正確に分かっているときにのみ、補償可能な収差を加える。画像をつなぎ合せるときに、十分に補償されていない幾何学的収差は、湾曲を増加させ、傾き軸推定により生ずるバイアスされた透視は形状の変形、すなわち、直角度の喪失、鉛直度の喪失を生ずる。
サブピクセルのエッジ抽出は、飛び抜けて、最も効果的な画像圧縮方法である。画像のレンズ収差の補正と、ＪＰＥＧの改善とによって、３０％増加された損失のない画像圧縮が示された。
提案されたアプローチは、ズームレンズの遠隔測定法に望ましいものであり、広角レンズのアプリケーションにおいて速度と精度とを増加させるとともに、２つの方法でシステムの小型化を可能とする。小型化は、第１に、より小さいレンズ系に基づいて追加の正確さを付与することにより可能とされ、第２に、光学系の簡素化を可能とする、ソフトウェアを介したフィルタリングによって可能とされる。
これは、精度、速度、コスト、大きさ、重量、メンテナンス、およびアップグレード性のための最良のトレードオフを提供する。
４．０ 結論
その機器よりも正確な自動システムは無い。知的システム（IS）において、デジタルカメラを測定器として使用するためには、当該カメラの校正が必要である。
市販のレンズは、焦点距離ｆに１０％の公差を有し得るので、追加される精度は、ソフトウェアを通してのみ達成される、そしてはソフトウェアは、サブピクセルレベルでレンズ収差を補償する唯一の手段である。
傾き軸推定は大きなバイアスを生じるので、カメラの画像面の三次元形状：すなわち、水平方向と垂直方向の画像スケールが等しく直角であること、を維持する画像面の透視モデルに置き換えられる必要が有る。像中心がずれているため、傾き軸推定は、三次元の三角測量に現れる校正バイアスを導き入れてしまう。上述の例では、２画素の像中心のバイアスが、三角測量処理における他の全ての誤差を支配する、何故なら、画像の特徴点は、１／４画素の精度で抽出されるからである。
幾つかのサブピクセルのバイアスが生じ得るため、校正のための画像の特徴点の抽出においては、注意する必要が有る。サブピクセルのバイアス源は、以下のものを含むが、限定されるわけではない：
−サブピクセルのエッジの位置と向きとのバイアス；
−サブピクセルのコーナー検出バイアス；
−考慮されていない色収差；
−十分に補償されていない幾何学的収差；
−サブピクセルレベルでのJPEGの画像フィルタリング。
ズームレンズのレンズ焦点の変位を特定するためには、カメラの内部画像面に関する透視モデルが必要である。ソフトウェアによる補正手法は、広角レンズのアプリケーションにおいて速度と精度を増大させ、２つの方法でシステムの小型化を可能にする。小型化は、第１に、より小さいレンズ系に基づいて追加の正確さを付与することにより可能とされ、第２に、光学系の簡素化を可能とする、ソフトウェアを介したフィルタリングによって可能とされる。ソフトウェアによるモデル／校正は、ハードウェアの制限を超えて、カメラの性能を向上させるための唯一の手法である。
ブロック図において、異なるデータ信号接続を介して互いに通信し、個別の各構成要素を含む各グループとして図示されているが、本実施形態はハードウェアとソフトウェア構成要素との組合せによって提供され、幾つかの構成要素は、ハードウェア若しくはソフトウェアシステムの所定の関数若しくは操作により実装され、図示されているデータ経路の多くは、コンピュータアプリケーション若しくはオペレーティングシステム内でのデータ通信によって実装されているとことが、当業者によって理解されるであろう。図示されている構成は、本実施形態の教示効率のために、このように与えられている。
本発明は、方法として実施可能であり、システムおよび／若しくはコンピュータが読取り可能な記憶媒体において具現化され得ることに留意すべきである。上述した本発明の実施形態は、例示のみを目的としている。それ故、本発明の範囲は、添付の特許請求の範囲によってのみ限定される。

Claims (8)

  1. 校正と画像補正とを行う際に撮像装置をモデリングするために使用される、コンピュータによって実現される方法であって、前記方法は以下のものを備える：
    前記撮像装置の焦点に原点を有する第１の３Ｄ直交座標系を定義すること、ただし、前記第１の３Ｄ直交座標系の第１軸は、前記撮像装置の視線の方向に沿って伸びている；
    前記焦点から単位距離である１だけ離れた原点を有する、第２の３Ｄ直交座標系を定義すること、ただし、前記単位距離である１は、前記第２の３Ｄ直交座標系のスケール単位において定義されており、前記第２の３Ｄ直交座標系の第１軸は、前記撮像装置の視線の方向に沿って伸びており、前記第２の３Ｄ直交座標系の第２軸および第３軸は、前記第１の３Ｄ直交座標系の第２軸および第３軸にそれぞれ実質的に平行であり、それによって前記第２の３Ｄ直交座標系の前記第２軸および前記第３軸は、前記視線に対して直角な実スケール面を規定しており；
    前記焦点から焦点距離だけ離れた原点を有する、第３の３Ｄ座標系を定義すること、ただし、前記第３の３Ｄ座標系の第１軸は、前記撮像装置の視線の方向に沿って伸びており、前記第３の３Ｄ座標系の第２軸および第３軸は、前記第２の３Ｄ直交座標系の前記第２軸および前記第３軸の方向に対して相対的に第１と第２の角度だけ傾いており、それによって前記第３の３Ｄ座標系の前記第２軸および前記第３軸は、前記視線に対して相対的に非直角な画像面を規定しており；
    前記撮像装置によってキャプチャされた実世界の３Ｄオブジェクトの点に関連づけられた３Ｄ座標を受け取ること；
    前記実スケール面への前記点の投影を計算しそれによって第１の平面座標を得るとともに、前記画像面への前記点の投影を計算しそれによって第２の平面座標を得ること；および
    前記３Ｄオブジェクトの前記点に対応する像点の位置を示す前記第２の平面座標を出力すること；
    ここにおいて、
    受け取った３Ｄ座標が[x y z 1] T であり、前記３Ｄオブジェクトの前記点の前記実スケール面への投影が、
    のように同次座標において計算され、ここにおいて

    は等価スケール演算子であり、Ｐ 1 は前記第１の３Ｄ直交座標系についての前記実スケール面への投影演算子であり、
    前記３Ｄオブジェクトの前記点の前記画像面への投影は、
    のように同次座標において計算され、ここにおいてＰ f は前記画像面への投影演算を定義しており、ｆは焦点距離であり、αは前記第１の角度であり、βは前記第２の角度であり、Ｒ（ｘ，α）は前記画像面の軸ｘに関するα回転行列であり、前記軸ｘは前記α回転前における前記第２の３Ｄ直交座標系の前記第２軸に実質的に平行であるように定義され、Ｒ（ｙ，β）は前記画像面の軸ｙに関するβ回転行列であり、前記軸ｙは前記β回転前における前記第２の３Ｄ直交座標系の前記第３軸に実質的に平行であるように定義され、前記角度αだけ回転した前記軸ｘに対して相対的に前記β回転が実行されるように前記α回転が右端で計算され、これらにおいて
    h 11 = cosβ，
    h 12 = sinβ sinα，
    h 13 = sinβ cosα，
    h 22 = cosα，
    h 23 = -sinα，
    h 31 = -sinβ，
    h 32 = cosβ sinα，および
    h 33 = cosβ cosα
    であり、
    前記実スケール面と前記画像面との間のホモグラフィーＨを、
    のように決定することをさらに備え、ここにおいてｈ 31 およびｈ 32 は前記画像面のｘおよびｙスケールに透視補正を適用する非ゼロ要素であり、前記第２の平面座標(x’’，y’’) は前記実スケール面の前記点の画像が歪んだ位置(x’，y’)についてのホモグラフィック変換であり、前記ホモグラフィック変換は、
    のように表現され、ここにおいて
    u = f(cosβ x’+ sinβ sinα y’+ sinβ cosα)，
    v = f(cosα y’- sinα)，
    w = -sinβ x’+ cosβ sinα y’+ cosβ cosα，
    であって 、(C X ，C Y ) は前記第３の３Ｄ座標系での前記原点の位置である。
  2. 請求項１の方法であって、前記実スケール面への前記点の前記投影が、外部から前記撮像装置のレンズシステムへの入射（entry）を規定（establish）するとともに、前記撮像装置の外部モデルと内部モデルとのうち外部モデルのみを用いた投影となるように前記第２の３Ｄ直交座標系が規定され、前記画像面への前記点の前記投影が前記レンズシステムからの出力を規定するとともに、前記撮像装置の内部モデルを用いた投影となるように前記第３の３Ｄ座標系が規定される、方法。
  3. 請求項１の方法であって、
    前記実スケール面における前記撮像装置のレンズ収差を補償することをさらに備え、当該補償は、
    r' = r + k1 r3 + k2 r5 + …，
    のように定義されたレンズ収差補正モデルを適用することを備え、ここにおいて、前記第１の平面座標は前記実スケール面上の前記点の画像の歪みがない位置(x，y)を極座標(r，θ)で表現したものを備え、ここにおいて r2=x2+y2 および tanθ = y/xであり、xとyのうち少なくとも１つは非零であり、 (x’，y’) は前記画像面での前記点の投影前の前記レンズの出力において歪んだ位置(x，y)を表現しており、r’は (x’，y’)に基づいて計算され歪んだラジアル距離であり、そしてk1 および k2は前記レンズの幾何学的収差パラメータである、方法。
  4. 校正と画像補正との際に撮像装置をモデリングするために使用されるシステムであって、前記システムは、以下のものを備える：
    メモリ；
    プロセッサ；および
    前記メモリに格納され、前記プロセッサによって以下のことを実行可能な少なくともひとつのアプリケーション、
    前記撮像装置の焦点に原点を有する第１の３Ｄ直交座標系を定義すること、ただし、前記第１の３Ｄ直交座標系の第１軸は、前記撮像装置の視線の方向に沿って伸びている；
    前記焦点から単位距離である１だけ離れた原点を有する、第２の３Ｄ直交座標系を定義すること、ただし、前記単位距離である１は、前記第２の３Ｄ直交座標系のスケール単位において定義されており、前記第２の３Ｄ直交座標系の第１軸は、前記撮像装置の視線の方向に沿って伸びており、前記第２の３Ｄ直交座標系の第２軸および第３軸は、前記第１の３Ｄ直交座標系の第２軸および第３軸にそれぞれ実質的に平行であり、それによって前記第２の３Ｄ直交座標系の前記第２軸および前記第３軸は、前記視線に対して直角な実スケール面を規定しており；
    前記焦点から焦点距離だけ離れた原点を有する、第３の３Ｄ座標系を定義すること、ただし、前記第３の３Ｄ座標系の第１軸は、前記撮像装置の視線の方向に沿って伸びており、前記第３の３Ｄ座標系の第２軸および第３軸は、前記第２の３Ｄ直交座標系の前記第２軸および前記第３軸の方向に対して相対的に第１と第２の角度だけ傾いており、それによって前記第３の３Ｄ座標系の前記第２軸および前記第３軸は、前記視線に対して相対的に非直角な画像面を規定しており；
    前記撮像装置によってキャプチャされた実世界の３Ｄオブジェクトの点に関連づけられた３Ｄ座標を受け取ること；
    前記実スケール面への前記点の投影を計算しそれによって第１の平面座標を得るとともに、前記画像面への前記点の投影を計算しそれによって第２の平面座標を得ること；および
    前記３Ｄオブジェクトの前記点に対応する像点の位置を示す前記第２の平面座標を出力すること；
    ここにおいて、前記少なくともひとつのアプリケーションが前記プロセッサによって実行されて、
    前記３Ｄ座標[x y z 1] T を受け取ることと、前記３Ｄオブジェクトの前記点の前記実スケール面への投影を、
    のように同次座標において計算することが可能であり、ここにおいて

    は等価スケール演算子であり、Ｐ 1 は前記第１の３Ｄ直交座標系についての前記実スケール面への投影演算子であり、
    前記３Ｄオブジェクトの前記点の前記画像面への投影が、
    のように同次座標において計算され、ここにおいてＰ f は前記画像面への投影演算を定義しており、ｆは焦点距離であり、αは前記第１の角度であり、βは前記第２の角度であり、Ｒ（ｘ，α）は前記画像面の軸ｘに関するα回転行列であり、前記軸ｘは前記α回転前における前記第２の３Ｄ直交座標系の前記第２軸に実質的に平行であるように定義され、Ｒ（ｙ，β）は前記画像面の軸ｙに関するβ回転行列であり、前記軸ｙは前記β回転前における前記第２の３Ｄ直交座標系の前記第３軸に実質的に平行であるように定義され、前記角度αだけ回転した前記軸ｘに対して相対的に前記β回転が実行されるように前記α回転が右端で計算され、これらにおいて
    h 11 = cosβ，
    h 12 = sinβ sinα，
    h 13 = sinβ cosα，
    h 22 = cosα，
    h 23 = -sinα，
    h 31 = -sinβ，
    h 32 = cosβ sinα，および
    h 33 = cosβ cosα
    であり、
    前記実スケール面と前記画像面との間のホモグラフィーＨを、
    のように決定することが可能であり、ここにおいてｈ 31 およびｈ 32 は前記画像面のｘおよびｙスケールに透視補正を適用する非ゼロ要素であり、前記第２の平面座標(x’’，y’’) は前記実スケール面の前記点の画像の歪んだ位置(x’，y’)についてのホモグラフィック変換であり、前記ホモグラフィック変換は、
    のように表現され、ここにおいて
    u = f(cosβ x’+ sinβ sinα y’+ sinβ cosα)，
    v = f(cosα y’- sinα)，
    w = -sinβ x’+ cosβ sinα y’+ cosβ cosα，
    であって 、(C X ，C Y ) は前記第３の３Ｄ座標系での前記原点の位置である。
  5. 請求項４のシステムであって，前記少なくともひとつのアプリケーションが前記プロセッサによって実行されて、前記実スケール面への前記点の前記投影が外部から前記撮像装置のレンズシステムへの入射（entry）を規定（establish）するとともに、前記撮像装置の外部モデルと内部モデルとのうち外部モデルのみを用いた投影となるように前記第２の３Ｄ直交座標系を規定することと、前記画像面への前記点の前記投影が前記レンズシステムからの出力を規定するとともに、前記撮像装置の内部モデルを用いた投影となるように前記第３の３Ｄ座標系を規定すること、とが可能なシステム。
  6. 請求項４のシステムであって，前記少なくともひとつのアプリケーションが前記プロセッサによって実行されて、
    前記実スケール面における前記撮像装置のレンズの収差を補償することが可能であり、当該補償は、
    r' = r + k1 r3 + k2 r5 + …，
    のように定義されたレンズ収差補正モデルを適用することを備え、ここにおいて、前記第１の平面座標は前記実スケール面上の前記点の画像の歪みがない位置(x，y)を極座標(r，θ)で表現したものを備え、ここにおいて r2=x2+y2 および tanθ = y/xであり、xとyのうち少なくとも１つは非零であり、 (x’，y’) は前記画像面での前記点の投影前の前記レンズの出力において歪んだ位置(x，y)を表現しており、r’は (x’，y’)に基づいて計算され歪んだラジアル距離であり、そしてk1 および k2は前記レンズの幾何学的収差パラメータである、システム。
  7. 請求項４のシステムであって，前記撮像装置が、ズームレンズカメラ、近赤外撮像装置、短波長赤外撮像装置、長波長赤外撮像装置、レーダ装置、光検出測距装置、パラボラミラー望遠イメージャ、外科的内視鏡カメラ、コンピュータ断層撮影走査装置、サテライト撮像装置、ソナー装置、およびマルチスペクトルセンサフュージョンシステムのうちのひとつを備える、システム。
  8. プロセッサによって実行されることによって、校正と画像補正との際に撮像装置をモデリングすることを可能なプログラムコードが格納されたコンピュータ読み取り可能な媒体であって、前記プログラムコードは、以下のことを可能とする：
    前記撮像装置の焦点に原点を有する第１の３Ｄ直交座標系を定義すること、ただし、前記第１の３Ｄ直交座標系の第１軸は、前記撮像装置の視線の方向に沿って伸びている；
    前記焦点から単位距離である１だけ離れた原点を有する、第２の３Ｄ直交座標系を定義すること、ただし、前記単位距離である１は、前記第２の３Ｄ直交座標系のスケール単位において定義されており、前記第２の３Ｄ直交座標系の第１軸は、前記撮像装置の視線の方向に沿って伸びており、前記第２の３Ｄ直交座標系の第２軸および第３軸は、前記第１の３Ｄ直交座標系の第２軸および第３軸にそれぞれ実質的に平行であり、それによって前記第２の３Ｄ直交座標系の前記第２軸および前記第３軸は、前記視線に対して直角な実スケール面を規定しており；
    前記焦点から焦点距離だけ離れた原点を有する、第３の３Ｄ座標系を定義すること、ただし、前記第３の３Ｄ座標系の第１軸は、前記撮像装置の視線の方向に沿って伸びており、前記第３の３Ｄ座標系の第２軸および第３軸は、前記第２の３Ｄ直交座標系の前記第２軸および前記第３軸の方向に対して相対的に第１と第２の角度だけ傾いており、それによって前記第３の３Ｄ座標系の前記第２軸および前記第３軸は、前記視線に対して相対的に非直角な画像面を規定しており；
    前記撮像装置によってキャプチャされた実世界の３Ｄオブジェクトの点に関連づけられた３Ｄ座標を受け取ること；
    前記実スケール面への前記点の投影を計算しそれによって第１の平面座標を得るとともに、前記画像面への前記点の投影を計算しそれによって第２の平面座標を得ること；および
    前記３Ｄオブジェクトの前記点に対応する像点の位置を示す前記第２の平面座標を出力すること；
    ここにおいて、
    受け取った３Ｄ座標が[x y z 1] T であり、前記３Ｄオブジェクトの前記点の前記実スケール面への投影が、
    のように同次座標において計算され、ここにおいて

    は等価スケール演算子であり、Ｐ 1 は前記第１の３Ｄ直交座標系についての前記実スケール面への投影演算子であり、
    前記３Ｄオブジェクトの前記点の前記画像面への投影は、
    のように同次座標において計算され、ここにおいてＰ f は前記画像面への投影演算を定義しており、ｆは焦点距離であり、αは前記第１の角度であり、βは前記第２の角度であり、Ｒ（ｘ，α）は前記画像面の軸ｘに関するα回転行列であり、前記軸ｘは前記α回転前における前記第２の３Ｄ直交座標系の前記第２軸に実質的に平行であるように定義され、Ｒ（ｙ，β）は前記画像面の軸ｙに関するβ回転行列であり、前記軸ｙは前記β回転前における前記第２の３Ｄ直交座標系の前記第３軸に実質的に平行であるように定義され、前記角度αだけ回転した前記軸ｘに対して相対的に前記β回転が実行されるように前記α回転が右端で計算され、これらにおいて
    h 11 = cosβ，
    h 12 = sinβ sinα，
    h 13 = sinβ cosα，
    h 22 = cosα，
    h 23 = -sinα，
    h 31 = -sinβ，
    h 32 = cosβ sinα，および
    h 33 = cosβ cosα
    であり、
    前記実スケール面と前記画像面との間のホモグラフィーＨを、
    のように決定することをさらに備え、ここにおいてｈ 31 およびｈ 32 は前記画像面のｘおよびｙスケールに透視補正を適用する非ゼロ要素であり、前記第２の平面座標(x’’，y’’) は前記実スケール面の前記点の画像が歪んだ位置(x’，y’)についてのホモグラフィック変換であり、前記ホモグラフィック変換は、
    のように表現され、ここにおいて
    u = f(cosβ x’+ sinβ sinα y’+ sinβ cosα)，
    v = f(cosα y’- sinα)，
    w = -sinβ x’+ cosβ sinα y’+ cosβ cosα，
    であって 、(C X ，C Y ) は前記第３の３Ｄ座標系での前記原点の位置である。
JP2019072152A 2013-07-02 2019-04-04 撮像装置のモデリングおよび校正のためのシステムおよびその方法 Active JP6722323B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CA2819956 2013-07-02
CA2819956A CA2819956C (en) 2013-07-02 2013-07-02 High accuracy camera modelling and calibration method

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2016522146A Division JP2016531281A (ja) 2013-07-02 2014-07-02 撮像装置のモデリングおよび校正のためのシステムおよびその方法

Publications (2)

Publication Number Publication Date
JP2019149809A JP2019149809A (ja) 2019-09-05
JP6722323B2 true JP6722323B2 (ja) 2020-07-15

Family

ID=52142954

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2016522146A Pending JP2016531281A (ja) 2013-07-02 2014-07-02 撮像装置のモデリングおよび校正のためのシステムおよびその方法
JP2019072152A Active JP6722323B2 (ja) 2013-07-02 2019-04-04 撮像装置のモデリングおよび校正のためのシステムおよびその方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2016522146A Pending JP2016531281A (ja) 2013-07-02 2014-07-02 撮像装置のモデリングおよび校正のためのシステムおよびその方法

Country Status (9)

Country Link
US (1) US9792684B2 (ja)
EP (1) EP3017599A4 (ja)
JP (2) JP2016531281A (ja)
KR (1) KR20160030228A (ja)
CN (1) CN105379264B (ja)
BR (1) BR112015033020A2 (ja)
CA (1) CA2819956C (ja)
RU (1) RU2677562C2 (ja)
WO (1) WO2015000056A1 (ja)

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9262801B2 (en) * 2014-04-01 2016-02-16 Gopro, Inc. Image taping in a multi-camera array
CN104469167B (zh) * 2014-12-26 2017-10-13 小米科技有限责任公司 自动对焦方法及装置
CN105678748B (zh) * 2015-12-30 2019-01-15 清华大学 三维监控系统中基于三维重构的交互式标定方法和装置
DE102016002186A1 (de) * 2016-02-24 2017-08-24 Testo SE & Co. KGaA Verfahren und Bildverarbeitungsvorrichtung zur Bestimmung einer geometrischen Messgröße eines Objektes
EP3217355A1 (en) * 2016-03-07 2017-09-13 Lateral Reality Kft. Methods and computer program products for calibrating stereo imaging systems by using a planar mirror
US10922559B2 (en) * 2016-03-25 2021-02-16 Bendix Commercial Vehicle Systems Llc Automatic surround view homography matrix adjustment, and system and method for calibration thereof
US10371512B2 (en) 2016-04-08 2019-08-06 Otis Elevator Company Method and system for multiple 3D sensor calibration
EP3236286B1 (en) * 2016-04-18 2023-01-25 Otis Elevator Company Auto commissioning system and method
DE102016217792A1 (de) 2016-09-16 2018-03-22 Xion Gmbh Justiersystem
CN106643669B (zh) * 2016-11-22 2018-10-19 北京空间机电研究所 一种多镜头多探测器航空相机单中心投影转换方法
KR101905403B1 (ko) 2017-02-15 2018-10-08 동명대학교산학협력단 벡터 콘텐츠 인증 보안을 위한 다중 스케일 곡률기반 벡터 데이터 해싱기술
JP7002007B2 (ja) * 2017-05-01 2022-01-20 パナソニックＩｐマネジメント株式会社 カメラパラメタセット算出装置、カメラパラメタセット算出方法及びプログラム
US10777018B2 (en) * 2017-05-17 2020-09-15 Bespoke, Inc. Systems and methods for determining the scale of human anatomy from images
CN110868908B (zh) * 2017-06-15 2022-04-08 富士胶片株式会社 医用图像处理装置及内窥镜系统以及医用图像处理装置的工作方法
CN107895347A (zh) * 2017-07-20 2018-04-10 吉林大学 一种视觉自适应调节显示装置及方法
WO2019039997A1 (en) * 2017-08-25 2019-02-28 Maker Trading Pte Ltd GENERAL SYSTEM FOR MONOCULAR ARTIFICIAL VISION AND METHOD FOR IDENTIFYING LOCATIONS OF TARGET ELEMENTS
CN107632407B (zh) * 2017-11-08 2020-02-04 凌云光技术集团有限责任公司 一种柱透镜成像系统的校准装置
CN108169722A (zh) * 2017-11-30 2018-06-15 河南大学 一种未知干扰影响下传感器的系统偏差配准方法
CN108038888B (zh) * 2017-12-19 2020-11-27 清华大学 混合相机系统的空间标定方法及装置
KR102066393B1 (ko) * 2018-02-08 2020-01-15 망고슬래브 주식회사 메모지 촬영 및 서버 공유 시스템, 방법 및 컴퓨터 판독가능 기록 매체
US11061132B2 (en) 2018-05-21 2021-07-13 Johnson Controls Technology Company Building radar-camera surveillance system
JP2020008434A (ja) * 2018-07-09 2020-01-16 オムロン株式会社 ３次元測定装置及び方法
CN109167992A (zh) * 2018-08-08 2019-01-08 珠海格力电器股份有限公司 一种图像处理方法及装置
CN109143207B (zh) * 2018-09-06 2020-11-10 百度在线网络技术（北京）有限公司 激光雷达内参精度验证方法、装置、设备及介质
CN111047643B (zh) * 2018-10-12 2023-06-27 深圳富联富桂精密工业有限公司 单目测距装置
CN109612384B (zh) * 2018-11-01 2020-11-06 南京理工大学 一种基于频谱亚像素平移的倾斜像差校正补偿方法
CN109506589B (zh) * 2018-12-25 2020-07-28 东南大学苏州医疗器械研究院 一种基于结构光场成像的三维轮廓测量方法
CN109901142B (zh) * 2019-02-28 2021-03-30 东软睿驰汽车技术（沈阳）有限公司 一种标定方法及装置
CN109949367B (zh) * 2019-03-11 2023-01-20 中山大学 一种基于圆形投影的可见光成像定位方法
CN111696047B (zh) * 2019-03-14 2023-08-22 四川中测辐射科技有限公司 一种医用成像设备的成像质量确定方法及系统
CN111913169B (zh) * 2019-05-10 2023-08-22 北京四维图新科技股份有限公司 激光雷达内参、点云数据的修正方法、设备及存储介质
CN110322519B (zh) * 2019-07-18 2023-03-31 天津大学 一种用于激光雷达与相机联合标定的标定装置及标定方法
CN110596720A (zh) * 2019-08-19 2019-12-20 深圳奥锐达科技有限公司 距离测量系统
CN111462245B (zh) * 2020-01-09 2023-05-26 华中科技大学 一种基于矩形结构的变焦相机姿态标定方法和系统
TWI709780B (zh) * 2020-01-21 2020-11-11 台灣骨王生技股份有限公司 紅外線鏡頭主動式成像校正裝置及方法
CN111355894B (zh) * 2020-04-14 2021-09-03 长春理工大学 一种新型自标定激光扫描投影系统
CN111507902B (zh) * 2020-04-15 2023-09-26 京东城市(北京)数字科技有限公司 一种高分辨率图像获取方法及装置
CN111514476B (zh) * 2020-04-30 2022-03-15 江苏瑞尔医疗科技有限公司 一种用于x射线图像引导系统中的校准方法
CN111627072B (zh) * 2020-04-30 2023-10-24 贝壳技术有限公司 一种对多传感器进行标定的方法、装置和存储介质
JP2023113980A (ja) * 2020-07-13 2023-08-17 パナソニックＩｐマネジメント株式会社 楕円検出方法、カメラ校正方法、楕円検出装置、及びプログラム
CN112050752B (zh) * 2020-09-02 2022-03-18 苏州东方克洛托光电技术有限公司 一种基于二次投影的投影仪标定方法
CN111986197A (zh) * 2020-09-09 2020-11-24 福州大学 基于轮廓统计特性的部分参考声纳图像应用质量评价方法
CN112230204A (zh) * 2020-10-27 2021-01-15 深兰人工智能(深圳)有限公司 激光雷达和相机的联合标定方法及装置
CN112634152A (zh) * 2020-12-16 2021-04-09 中科海微(北京)科技有限公司 基于图像深度信息的人脸样本数据增强方法及系统
CN112883000B (zh) * 2021-03-17 2022-04-15 中国有色金属长沙勘察设计研究院有限公司 一种形变监测雷达数据文件存储方法
CN113177989A (zh) * 2021-05-07 2021-07-27 深圳云甲科技有限公司 一种口内扫描仪标定方法及装置
CN113284189A (zh) * 2021-05-12 2021-08-20 深圳市格灵精睿视觉有限公司 畸变参数标定方法、装置、设备及存储介质
CN113487594B (zh) * 2021-07-22 2023-12-01 上海嘉奥信息科技发展有限公司 一种基于深度学习的亚像素角点检测方法、系统及介质
CN113706607B (zh) * 2021-08-18 2023-10-20 广东江粉高科技产业园有限公司 一种基于圆环阵列图的亚像素定位方法、计算机设备与装置
TWI789012B (zh) * 2021-09-14 2023-01-01 明俐科技有限公司 藉由抖色處理對即時影像進行校正的校正方法及校正裝置
US11927757B1 (en) * 2021-10-29 2024-03-12 Apple Inc. Electronic device display having distortion compensation
CN114167663B (zh) * 2021-12-02 2023-04-11 浙江大学 一种包含渐晕去除算法的编码光圈光学成像系统
CN114170314B (zh) * 2021-12-07 2023-05-26 群滨智造科技(苏州)有限公司 一种基于智能3d视觉处理3d眼镜工艺轨迹执行方法
CN115272471B (zh) * 2022-08-30 2023-07-28 杭州微影软件有限公司 一种光心位置的确定方法、装置及设备
CN116033733B (zh) * 2022-08-30 2023-10-20 荣耀终端有限公司 一种显示设备的装配方法及显示设备
CN116839499B (zh) * 2022-11-03 2024-04-30 上海点莘技术有限公司 一种大视野微尺寸2d及3d测量标定方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000227547A (ja) * 1999-02-05 2000-08-15 Fuji Photo Film Co Ltd 撮影レンズおよびこれを用いるカメラ
US6437823B1 (en) 1999-04-30 2002-08-20 Microsoft Corporation Method and system for calibrating digital cameras
JP4501239B2 (ja) 2000-07-13 2010-07-14 ソニー株式会社 カメラ・キャリブレーション装置及び方法、並びに、記憶媒体
RU2199150C2 (ru) * 2001-02-02 2003-02-20 Курский государственный технический университет Устройство калибровки оптикоэлектронной системы
KR100386090B1 (ko) 2001-04-02 2003-06-02 한국과학기술원 동심원 패턴을 이용한 카메라 내부변수 보정시스템 및카메라 보정방법
US6995762B1 (en) 2001-09-13 2006-02-07 Symbol Technologies, Inc. Measurement of dimensions of solid objects from two-dimensional image(s)
JP3624288B2 (ja) 2001-09-17 2005-03-02 株式会社日立製作所 店舗管理システム
US7068303B2 (en) 2002-06-03 2006-06-27 Microsoft Corporation System and method for calibrating a camera with one-dimensional objects
JP4147059B2 (ja) 2002-07-03 2008-09-10 株式会社トプコン キャリブレーション用データ測定装置、測定方法及び測定プログラム、並びにコンピュータ読取可能な記録媒体、画像データ処理装置
KR100576874B1 (ko) * 2004-10-25 2006-05-10 삼성전기주식회사 회절광학소자를 이용한 광학계
JP4681856B2 (ja) * 2004-11-24 2011-05-11 アイシン精機株式会社 カメラの校正方法及びカメラの校正装置
US8082120B2 (en) 2005-03-11 2011-12-20 Creaform Inc. Hand-held self-referenced apparatus for three-dimensional scanning
WO2006094409A1 (en) 2005-03-11 2006-09-14 Creaform Inc. Auto-referenced system and apparatus for three-dimensional scanning
DE102007045525A1 (de) * 2007-09-24 2009-04-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Bildsensor
CN101419705B (zh) 2007-10-24 2011-01-05 华为终端有限公司 摄像机标定的方法及装置
KR100966592B1 (ko) 2007-12-17 2010-06-29 한국전자통신연구원 영상에서 평행 사변형의 호모그래피를 이용한 카메라의 보정 방법
JP4751939B2 (ja) * 2009-03-31 2011-08-17 アイシン精機株式会社 車載カメラの校正装置
US8223193B2 (en) 2009-03-31 2012-07-17 Intuitive Surgical Operations, Inc. Targets, fixtures, and workflows for calibrating an endoscopic camera
ES2758734T3 (es) * 2009-05-05 2020-05-06 Kapsch Trafficcom Ag Procedimiento para calibrar la imagen de una cámara
US8223230B2 (en) * 2009-05-08 2012-07-17 Qualcomm Incorporated Systems, methods, and apparatus for camera tuning and systems, methods, and apparatus for reference pattern generation
CN101727671B (zh) * 2009-12-01 2012-05-23 湖南大学 基于路面共线三点及其平行线的单摄像机标定方法
JP4763847B1 (ja) * 2010-08-30 2011-08-31 楽天株式会社 画像変換装置、画像処理装置、ならびに、画像処理システム
CN102466857B (zh) * 2010-11-19 2014-03-26 鸿富锦精密工业（深圳）有限公司 取像镜头
US8711275B2 (en) * 2011-05-31 2014-04-29 Apple Inc. Estimating optical characteristics of a camera component using sharpness sweep data
JP5989113B2 (ja) 2011-07-25 2016-09-07 ウニベルシダデ デ コインブラ １つまたは複数のチェッカーボードパターンの画像を用いた自動カメラキャリブレーションの方法および装置

Also Published As

Publication number Publication date
JP2016531281A (ja) 2016-10-06
CN105379264B (zh) 2017-12-26
WO2015000056A1 (en) 2015-01-08
KR20160030228A (ko) 2016-03-16
EP3017599A1 (en) 2016-05-11
CA2819956C (en) 2022-07-12
JP2019149809A (ja) 2019-09-05
EP3017599A4 (en) 2017-11-22
RU2677562C2 (ru) 2019-01-17
CN105379264A (zh) 2016-03-02
BR112015033020A2 (pt) 2017-10-03
RU2016103197A3 (ja) 2018-05-17
US9792684B2 (en) 2017-10-17
RU2016103197A (ru) 2017-08-07
US20160140713A1 (en) 2016-05-19
CA2819956A1 (en) 2015-01-02

Similar Documents

Publication Publication Date Title
JP6722323B2 (ja) 撮像装置のモデリングおよび校正のためのシステムおよびその方法
CN107977997B (zh) 一种结合激光雷达三维点云数据的相机自标定方法
CN110809786B (zh) 校准装置、校准图表、图表图案生成装置和校准方法
CN107077743B (zh) 用于阵列相机的动态校准的系统和方法
JP4942221B2 (ja) 高解像度仮想焦点面画像生成方法
JP5580164B2 (ja) 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム
US20170256042A1 (en) Methods and computer program products for calibrating stereo imaging systems by using a planar mirror
KR20160116075A (ko) 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리장치 및 그 방법
JP2011243205A (ja) 映像処理システムおよびその方法
CN109325981B (zh) 基于聚焦像点的微透镜阵列型光场相机几何参数标定方法
JPH09231373A (ja) 三次元位置計測装置
TW201340035A (zh) 結合影像之方法
CN110322485A (zh) 一种异构多相机成像系统的快速图像配准方法
KR20110073386A (ko) 형태의 불변 어파인 인식을 위한 방법 및 장치
DK3189493T3 (en) PERSPECTIVE CORRECTION OF DIGITAL PHOTOS USING DEPTH MAP
Nozick Multiple view image rectification
CN111292380B (zh) 图像处理方法及装置
RU2384882C1 (ru) Способ автоматической компоновки ландшафтных панорамных изображений
JP2005275789A (ja) 三次元構造抽出方法
WO2022100668A1 (zh) 温度测量方法、装置、系统、存储介质及程序产品
KR20150119770A (ko) 카메라를 사용한 3차원 좌표 측정 장치 및 방법
Vupparaboina et al. Euclidean auto calibration of camera networks: baseline constraint removes scale ambiguity
CN111080689B (zh) 确定面部深度图的方法和装置
Li et al. Calibrating a camera focused on a long shot using a calibration plate and defocused corner points
Peng et al. 3-D reconstruction using image sequences based on projective depth and simplified iterative closest point

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190507

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190607

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190807

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200421

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200520

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200619

R150 Certificate of patent or registration of utility model

Ref document number: 6722323

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250