JP5487946B2 - カメラ画像の補正方法およびカメラ装置および座標変換パラメータ決定装置 - Google Patents

Description

この発明は、結像光学系による物体像を固体撮像素子の撮像面により受光するカメラ装置およびこのカメラ装置におけるカメラ画像の補正方法、この補正に用いる座標変換パラメータの決定を行なう座標変換パラメータ決定装置に関する。

カメラ装置が固体撮像素子を有するようになり、カメラ装置の利用範囲が著しく広くなり、様々な分野で利用されるようになった。例えば、防犯用等の監視カメラとして、現在も実用化されているし、自動車の分野では「車両の周辺環境を認識する視認カメラ」として利用され、近来は、視認する対象物体との距離を計測するステレオカメラとしての利用も意図されている。

このような固体撮像素子を用いるカメラ装置では、固体撮像素子であるＣＣＤやＣＭＯＳ等のエリアセンサにより、結像光学系が結像する像を受光するが、結像光学系とエリアセンサの撮像面（以下「センサ面」とも謂う。）との位置関係が適正でないと、良好な撮像画像を得ることができない。

この場合、特に問題になるのは、結像光学系の光軸と撮像面との関係であり、理想的には、結像光学系の光軸は、撮像面に直交していなければならない。即ち、結像光学系の光軸と撮像面に立てた法線とは、互いに平行であることが理想である。

結像光学系の光軸が撮像面に対して直交していないと、結像光学系の結像による像面に対して撮像面が傾き、撮像画像をそのまま表示すると「歪んだ画像」となる。

このような問題に対処するのに、カメラ装置の組み立ての段階において、結像光学系と固体撮像素子との位置関係を、機械的な手段で適正な関係に調整する方法が従来から行なわれている。

例えば、特許文献１には、固体撮像素子から得られる「解像度チャートの撮像データ」に基づき、撮像素子の位置を機械的に決定・調整する方法が開示されている。

しかし、機械的な調整で高精度の調整を行なおうとすると、調整機構のコストが高くなりがちであり、調整時間も長くなりカメラ装置の製造効率を上げることが難しくなりがちである。また、高精度の調整と言っても、精度的な限界があることは勿論である。

さらに、結像光学系と固体撮像素子の位置関係が高精度に調整されたとしても、これらをケーシングに接着等で固定するときに「調整された位置関係が崩れる」こともあり得、一旦ケーシングに固定した後では、両者の位置関係を適正にすることはできない。

カメラ装置の製造組み立ての段階では、結像光学系と固体撮像素子の撮像面とが「十分な精度で直交しない」状態を許容し、撮像画像の歪みを、座標変換処理により補正できれば、上記機械的な調整にともなう種々の問題を有効に解消できる。

このような画像変換処理としては、非特許文献１に記載された「透視変換処理」を挙げることができる。従来知られた透視変換処理は「カメラ装置自体の向きの補正」に用いられている。

このような透視変換処理では「投影中心」が必要になり、この投影中心の位置として、「理想像面からの焦点距離だけ離れた位置」が用いられる。
「理想像面」は、結像光学系により適正に結像が行なわれる像面である。

カメラ装置における結像光学系の焦点距離は、結像光学系の設計により定まるが、実際のカメラ装置に対して非特許文献２等で「Ｚ．Ｚｈａｎｇの手法」として知られたキャリブレーションを行うことで得ることが出来る。

これらの手法では、カメラ装置の結像光学系を単純な「ピンホールモデル」により扱い、ピンホールモデルにおけるピンホール位置を投影中心とし、ピンホール位置と理想像面の距離を「透視変換に用いる座標変換パラメータ」の算出演算に用いる。即ち、キャリブレーションで得られた焦点距離を「ピンホールモデルのピンホール位置と理想像面との光軸上の距離」として上記算出演算に用いるのである。

実際のカメラ装置における結像光学系は「複数枚のレンズで構成されるレンズ系」であり、これを単純なピンホールモデルで扱った場合、実際の結像光学系の光学機能を十分に反映できず、座標変換の精度の面でなお改良の余地がある。

この発明は上述した事情に鑑みて成されたものであり、結像光学系の光学機能をより良好に反映した透視変換処理を採用して、カメラ装置におけるカメラ画像を良好に補正することを課題とする。

この発明はまた、上記透視変換処理に用いられる変換パラメータを決定する装置の実現、この装置により決定される変換パラメータによる変換処理を行う変換画像生成部を有するカメラ装置の実現を課題とする。

この発明の「カメラ画像の補正方法」は、結像光学系による物体像を、固体撮像素子の撮像面により受光するカメラ装置における「結像光学系の光軸の、撮像面の法線との非平行を許容した１次撮像画像を、上記非平行の影響を補正した２次撮像画像に変換する補正方法」である。
上記「結像光学系」は、複数枚のレンズと開口絞りによるレンズ系として構成され、上記レンズ系内に射出瞳が位置する。
カメラ画像の補正方法は、以下の特徴を有する（請求項１）。

即ち、カメラ装置における結像光学系の光軸と「撮像面の法線」とのなす傾き角を測定し、測定された傾き角に基づき、透視変換処理のための「座標変換パラメータ」を演算算出し、得られた座標変換パラメータを用いる座標変換を行なって、１次撮像画像を２次撮像画像に透視変換処理を行う。

そして、「射出瞳距離」を用いて、座標変換パラメータの演算算出を行なう。
「射出瞳距離」は、結像光学系の射出瞳の光軸上の位置を投影中心とし、この投影中心と結像光学系による結像の理想像面との光軸上の距離：ｆを言う。

「座標変換パラメータ」の算出の演算については後述する。

若干補足すると、請求項１においては、カメラ装置には「結像光学系の光軸が、撮像面に直交しないこと」が許容されている。従って、このカメラ装置で撮影した画像（固体撮像素子が受像した画像）には、結像光学系の光軸と撮像面の法線とが非平行であることによる「歪み」が存在する。このような歪みの存在する撮像画像が上述の「１次撮像画像」である。

これに対して上記「非平行の影響」を補正した画像が「２次撮像画像」であり、２次撮像画像は、１次撮像画像に透視変換処理の座標変換を施すことによって得られる。

透視変換処理の座標変換には、座標変換パラメータが必要である。
この座標変換パラメータは、上記の如く、結像光学系の射出瞳の「光軸上の位置」を投影中心とし、この投影中心と結像光学系による結像の理想像面との光軸上の距離である射出瞳距離：ｆを用いて演算により算出される。

従来のピンホールモデルによる透視変換処理では、投影中心はピンホール位置であり、投影中心と理想像面の距離を上記「ｆ」として用いるが、請求項１記載の方法では上記距離：ｆとして「結像光学系における射出瞳の光軸上の位置と、結像光学系による結像の理想像面との光軸上の距離である射出瞳距離」を用いる。

請求項２記載の座標変換パラメータ決定装置は、所望のカメラ装置に対して上記「座標変換パラメータ」を決定する装置である。決定される座標変換パラメータは「カメラ装置ごとに固有」の値を持つ。

即ち、請求項２記載の座標変換パラメータ決定装置は「結像光学系による物体像を固体撮像素子の撮像面により受光するカメラ装置による、結像光学系の光軸の、撮像面の法線との非平行を許容した１次撮像画像を、非平行の影響を補正した２次撮像画像に変換するための座標変換パラメータを決定する装置」であって、カメラセット部と、センサ面角度検出部と、座標変換パラメータ算出部と、を有する。
上記「結像光学系」は、複数枚のレンズと開口絞りによるレンズ系として構成され、上記レンズ系内に射出瞳が位置する。

「カメラセット部」は、座標変換パラメータを決定するべきカメラ装置をセットされる部分であり、このカメラセット部にセットされたカメラ装置に対し、このカメラ装置に固有の座標変換パラメータが決定される。

「センサ面角度検出部」は、カメラセット部にセットされたカメラ装置における結像光学系の光軸と撮像面の法線とのなす傾き角を測定する部分である。センサ面角度検出部は、具体的には、例えば後述のオートコリメータを用いることができる。

「座標変換パラメータ算出部」は、センサ面角度検出部で検出された傾き角に基づき、透視変換処理のための座標変換パラメータを演算算出する部分である。

この座標変換パラメータ算出部は、結像光学系の射出瞳の光軸上の位置を投影中心とし、この投影中心と結像光学系による結像の理想像面との光軸上の距離である射出瞳距離：ｆと、センサ面角度検出部により測定された傾き角とを用いて座標変換パラメータの演算算出を行なう。

請求項２における「カメラ装置」は、完成品と言うわけではなく、ケーシングに「少なくとも結像光学系と固体撮像素子が固定的に組み付けられた状態のもの」である。

請求項３記載のカメラ装置は、結像光学系による物体像を固体撮像素子により受像するカメラ装置であって、カメラ装置の構成に必要な結像光学系・固体撮像素子や、制御部とともに、変換画像生成部を有する。
上記「結像光学系」は、複数枚のレンズと開口絞りによるレンズ系として構成され、上記レンズ系内に射出瞳が位置する。

「変換画像生成部」は、固体撮像素子が撮像した１次撮像画像に対して透視変換処理を行って２次撮像画像を生成する。
この変換画像生成部は、上記請求項２記載の座標変換パラメータ決定装置により決定された座標変換パラメータを用いて、１次撮像画像を２次撮像画像に変換する透視変換処理を行う。

座標変換パラメータは、請求項２記載の座標変換パラメータ決定装置における「座標変換パラメータ算出部」により算出されたデータとして「座標変換パラメータ記憶部」に記憶されている。

このように座標変換パラメータを記憶して、変換画像生成部に供給する「座標変換パラメータ記憶部」は、カメラ装置本体の内部に設けることができる（請求項４）。
この場合には、例えば、請求項２記載の座標変換パラメータ決定装置にセットされる状態において、カメラ装置内に「座標変換パラメータ記憶部」を設けておき、座標変換パラメータ決定装置の座標変換パラメータ算出部により演算算出された座標変換パラメータを、カメラ装置内に予め設けられた座標変換パラメータ記憶部に、座標変換パラメータ算出部からの出力により直接書き込むこともできる。

あるいはまた、座標変換パラメータ算出部により演算算出された座標変換パラメータを、カメラ装置外部において座標変換パラメータ記憶部に記憶させたのち、この座標変換パラメータ記憶部をカメラ装置内に組み込むようにしても良い。

請求項３記載のカメラ装置はまた、座標変換パラメータを記憶して、変換画像生成部に供給する「座標変換パラメータ記憶部」を供給する座標変換パラメータ記憶部が「カメラ装置外部」に設けられ、座標変換パラメータが変換画像生成部に「カメラ装置外部から与えられる」構成とすることができる（請求項５）。

この場合は、例えば、請求項２の座標変換パラメータ決定装置の「座標変換パラメータ算出部」により算出された座標変換パラメータを、座標変換パラメータ決定装置ともカメラ装置とも別体の「座標変換パラメータ記憶部（例えばＣＤロム等）」に、「このパラメータを固有の座標変換パラメータとするカメラ装置」を特定する情報(カメラ装置のＩＤ情報等)と共に記憶させ、カメラ装置の販売の際にカメラ装置とペアにして販売する。

撮像された画像は、画像表示部に出力されて表示されるが、この画像表示部は「カメラ装置の一部」をなすものとしてカメラ装置に設けられていても良いし、カメラ装置に外付けできるようにしたものでもよい。

請求項３〜５のカメラ装置は、固体撮像素子の撮像した１次撮像画像を透視変換処理した２次撮像画像を画像表示部に表示するのであるが、カメラ装置から１次撮像画像・２次撮像画像を任意に選択して出力できるようにし、画像表示部にこれら２種の撮像画像の１つを任意に選択して表示するようにできる。

ここで「透視変換処理」と、座標変換パラメータについて説明する。
この説明は、非特許文献１の９９ページ以下に記載された内容に基づいている。
図２を参照する。
図２の左右の図は、同一の３次元空間を表している。
直交座標軸：Ｘ、Ｙ、Ｚを図のようにとり、座標原点：Ｅ（０，０，０）をとり、先ず、図２の左図のように、上記原点：ＥからＺの正の方向に距離：ｆだけ離れた位置に、平面Π_０をとる。

同じく、図２右図に示すように原点：ＥからＺの正の方向に距離：ｆだけ離れた位置に、平面Π_１をとる。即ち、平面Π_０とΠ_１とは、Ｚ軸上の点を共有している。

この共有点を平面Π_０につきＰ_０、平面Π_１につきＰ_１とすると、これらの点：Ｐ_０、Ｐ_１の「ＸＹＺ空間内での座標」は図２に示すように、Ｐ_０(０，０，ｆ)、Ｐ_１(０，０，ｆ）である。

「透視変換」は、平面Π_０上の任意の座標点を、平面Π_１上の点に変換する変換方式である。例えば、平面Π_０上の点：Ａ_０を平面Π_１上に投影したときの点を点：Ａ_１とすると、点Ａ_１は、原点：Ｅと点：Ａ_０とを結ぶ直線上に位置する。

平面Π_０上の点の２次元座標を（ｓ_０,ｔ_０）とし、この座標点を透視変換した、平面Π_１上の点の２次元座標を（ｓ_１,ｔ_１）とすると、透視変換は「３行３列の行列：Ｍ」を用いて以下の数１、数２で表される。なお、以降の式では、斉次座標表現を用いる。

行列：Ｍは、以下に示す方法で求められる。

図２のように上述の座標系、投影中心：Ｅ、平面Π_０、Π_１を設定する。
投影中心：Ｅは３次元座標系の原点におく。
平面Π_０は、ＸＹ面に平行とし、平面Π_０上の座標系は、原点を３次元座標系のＺ軸上に、縦横方向はＸ、Ｙ軸と平行にとる。
平面Π_１はＺ軸上で原点から距離：ｆの位置に原点をおく。
平面Π_１の法線をｎ_１＝[ｎ_ｘ，ｎ_ｙ，ｎ_ｚ]とし、縦横方向も平面上で直交する任意のベクトル：ｕ_１＝[ｕ_ｘ，ｕ_ｙ，ｕ_ｚ]、ｖ_１＝[ｖ_ｘ，ｖ_ｙ，ｖ_ｚ]とする。

行列：Ｍは、以下に示す３段階の変換行列の積により求められる。

ステップ１
平面Π０上に設定された２次元空間：Ｒ_０の２次元座標（ｓ_０，ｔ_０）から、３次元空間内の平面Π_０上の３次元座標（ｘ_０，ｙ_０，ｚ_０）へ座標変換する。
この変換を表す行列：Ａは、平面Π_０上の参照点：ｐ_０、距離：ｆを用いて、次数３で表され、３行４列である。

ステップ２
３次元空間内の平面Π_０上の３次元座標（ｘ_０，ｙ_０，ｚ_０）を、同じ３次元空間内の平面Π_１上の３次元座標（ｘ_１，ｙ_１，ｚ_１）へ、投影中心：Ｅからの透視変換による座標変換を行う。この座標変換を表す行列：Ｂは、投影中心：Ｅと平面Π_１を用いて、次数４で表される。ｎ_ｘ，ｎ_ｙ，ｎ_ｚは、上述の通り平面Π_１の法線の成分である。

行列：Ｂは４行４列である。

ステップ３
３次元空間内の平面Π_１上の３次元座標（ｘ_１，ｙ_１，ｚ_１）から、平面Π_１上の２次元空間：Ｒ_１の２次元座標（ｓ_１，ｔ_１）へ座標変換する。この座標変換を表す行列：Ｃは、平面Π_１についての上記「ステップ１」の変換の逆変換と考えられる。
まず、平面Π_１について、行列：Ｃによる変換と「逆方向の変換」を表す行列：Ａ_１を求める。
この行列：Ａ_１は、平面Π_１上の参照点：ｐ_１、縦横単位ベクトル：ｕ_１、ｖ_１を用いて、次数５で表され、３行４列である。

求める行列：Ｃは、行列：Ａ_１の「一般化された右逆行列」である数６として求められる。

求める行列：Ｍは、上記の３つの行列：Ａ、Ｂ、Ｃの積である次数７で与えられる。

行列：Ｍが求まると、上記数１により数１の左辺の行ベクトル［Ｓ，Ｔ，Ｚ］が求まり、数２の左辺の座標（ｓ_１、ｔ_１）が求められる。即ち、求める座標変換パラメータは、行列：Ｍであり、これらは上記の如く与えられる。

マトリックス：Ａは、数３に示されたように距離：ｆが与えられれば定まる。
マトリックス：Ｂは、平面Π_１の法線(法線成分)と上記距離：ｆで定まり、マトリックス：Ａ_１は、平面Π_１上に設定された直交２軸の単位ベクトル：ｕ_１、ｖ_１(これは任意に設定できる。)と、距離：ｆとで定まる。

従って、透視変化に必要な情報は、距離：ｆと、法線：ｎ_１であるが、法線：ｎ_１に関する情報は「平面Π_１のＺ軸に対する傾き角」を測定することにより知ることができる。

図１は、図２に即して説明した透視変換による画像変換を、結像光学系の撮像画像に対して適用するときの説明図である。

図１において、符号５０は「カメラ装置の結像光学系」を示す。この例では３枚のレンズ（と図示されない開口絞り）とで構成されているが、結像光学系の構成はこれに限らない。即ち、結像光学系は、複数枚のレンズと開口絞りによるレンズ系として構成することができる。
射出瞳は、レンズ系の内部に位置する。
符号６０、６１は「固体撮像素子」を模式的に示している。符号６１で示す固体撮像素子は「理想的な状態」で組みつけられた場合を示す。即ち、固体撮像素子６１の撮像面は結像光学系５０の光軸に対して正確に直交している。換言すれば、固体撮像素子６１の撮像面は結像光学系５０による理想像面と合致している。

これに対し、固体撮像素子６０は、その撮像面が結像光学系５０の光軸に直交していない。
この発明においては、固体撮像素子６０の法線と結像光学系５０の光軸との非平行状態を許容する。
勿論「許容される非平行の程度」は任意と言うわけではなく、上述した透視変換処理により１次撮像画像を２次撮像画像に適正に変換できる程度である。しかし、通常のカメラ装置の組み付けの工程で生じる上記「非平行」の程度であれば、上記透視変換処理の有効性は何ら問題ない。

結像光学系５０による撮像対象の像は、結像光学系５０の光軸に対して傾いた固体撮像素子６０により撮像される。このように撮像された像が「１次撮像画像」である。
固体撮像素子６０の撮像面は結像光学系の光軸に対して傾いているから、１次撮像画像には「歪み」が生じることになる。

そこで、１次撮像画像に対して上述した「透視変換処理による座標変換」を行なって、「固体撮像素子６１が用いられたとすれば得られるであろう撮像画像」を得る。このようにして得られる撮像画像が「２次撮像画像」であり、１次撮像画像の歪み（固体撮像素子６０の撮像面の法線と結像光学系５０の光軸との非平行に起因する歪み）が補正され、歪みの無い適正な画像となる。

図１における「焦点距離」は、結像光学系をピンホールモデルでモデル化したときのピンホールの位置（投影中心位置)と理想像面（固体撮像素子６１の撮像面）との距離である。
これに対して、図１における「射出瞳距離」は、上記理想像面と、結像光学系５０の射出瞳の光軸上の位置（投影中心位置）との間の距離であり、この発明においては、上述の座標変換パラメータの算出に用いるマトリックス：Ｍ、Ａにおける「ｆ」として射出瞳距離が用いられる。
この図１から、透視変換処理における座標変換パラメータの算出においては「投影中心位置」としてピンホールモデルによるピンホール位置を用いるよりも「射出瞳位置」を用いるほうが、結像光学系の光学機能の特性をより忠実に反映できることが理解されるであろう。

以上に説明したように、この発明の補正方法によれば、透視変換処理に用いる座標変換パラメータとして、結像光学系の光学機能を「より忠実に反映した」ものを用いるので、良好な２次撮像画像を実現できる。

また、座標変換パラメータは、座標変換パラメータ設定装置により、結像光学系の光軸と固体撮像素子の撮像面の法線とのなす傾き角を測定し、予め設計データとして、あるいは測定により決定された射出瞳距離とを用いて、演算により容易且つ確実に算出できる。

この発明のカメラ装置は、組み立て・組み付けに際して、結像光学系の光軸と固体撮像素子の撮像面の法線との非平行状態が許容されるので、カメラ装置の組立てが容易になり、組立てコストが低減し、製造効率も向上するので、低コストでの製造が可能である。

また、座標変換パラメータの決定に際しては、パラメータの算出に画像情報を必要としないので「画像が取れない状態」でも決定可能である。また、センサノイズの影響を考慮しなくてもよい。

カメラ装置における結像光学系と固体撮像素子の位置関係を示す図である。 透視変換処理の変換パラメータの算出を説明するための図である。 座標変換パラメータ決定装置の実施の１形態を説明するための図である。 座標変換パラメータ決定装置の実施の１形態を説明するための図である。

以下、実施の形態を説明する。
図３は、請求項２の座標変換パラメータ決定装置による「カメラ装置に対する座標変換パラメータ」の決定を説明する図である。
図３において、符号１０で示す部分は「座標変換パラメータ決定装置」の主要部を示し、座標変換パラメータ決定装置は、主要部１０と図３に図示されていないカメラセット部とにより構成されている。

上記主要部１０には、センサ面角度検出部１１と、座標変換パラメータ算出部１２とが含まれている。

図３において符号２０は「画像変換パラメータを決定されるべきカメラ装置」を示している。カメラ装置２０は、ケーシング２５に「結像光学系」としてのレンズ系２１（３枚構成のものが描かれているが、レンズ枚数には特に制限はない。）、ＣＣＤやＣＭＯＳ等の固体撮像素子２２、座標変換パラメータ記憶部２３、光軸補正画像生成部２４が組み込まれて構成される。

図３は、図示されないカメラセット部に、カメラ装置２０をセットした状態を示している。図示されないカメラセット部は、画像変換パラメータ決定装置の主要部１０により、固体撮像素子２２の撮像面のレンズ系２１の光軸に対する傾き角が測定可能であるようにカメラ装置をセットできるものであればどのようなものであってもよい。

センサ面角度検出部１１はこの実施の形態においては「オートコリメータ」が用いられている。センサ面角度検出部１１は、センサ面の傾きを高精度に検出・出力可能な手段であればオートコリメータに限らず適宜のものを用いることができる。

カメラ装置２０のケーシング２５内において固体撮像素子２２は平行平板状の支持部に固定的に組み付けられているが、上記平行平板状の支持部の固体撮像素子２２を支持する面は「基準面」となっており、レンズ系２１は、ケーシング２５に組みつけられた状態で、その光軸が上記基準面に対して直交するようになっている。

また、センサ面角度検出部１１であるオートコリメータは、カメラセット部にセットされたカメラ装置の上記基準面との位置あわせを行い、オートコリメータから照射された観測ビームが、基準面に正確に直交するようにしておく。

センサ面（固体撮像素子２２の撮像面）の傾きを測定するときには、レンズ系２１をケーシング２５から取り外し、センサ面が「レンズ系２１を介することなく」直接にオートコリメータに対向するようにしておき、センサ面の傾き角が測定されたのちに、レンズ系２１をケーシング２５に組み付ける。
このとき、取り付けられたレンズ系２１の光軸が、ケーシング２５内の基準面に正確に直交するように「ケーシング２５とレンズ系２１との位置関係」が予め定められている。

このようにレンズ系２１を取り外したカメラ装置をセットした状態で、センサ面角度検出部１１により固体撮像素子２２の撮像面、即ちセンサ面の傾き角（上記基準面に対する傾き角）が測定される。
測定された「傾き角」はセンサ面角度検出部１１から出力されて座標変換パラメータ算出部１２に入力する。

座標変換パラメータ算出部１２には予め、セットされたカメラ装置２０の「射出瞳距離：ｆ」がデータとして与えられており、この射出瞳距離：ｆと入力された傾き角とを用いて、前述の変換行列：Ｍ、Ａを演算して算出する。

即ち、測定された傾き角から、傾いたセンサ面の法線：ｎ_１が分かり、射出瞳距離：ｆとともに演算を行なうことにより所望の座標変換パラメータ（固体撮像素子２２の撮像面の傾きを補正した理想上の撮像面（図１における固体撮像素子６１の撮像面へ座標変化するパラメータ）を構成できる。

座標変換パラメータ算出部１２により算出された「座標変換パラメータ」は、セットされてセンサ面の傾きを測定されたカメラ装置に固有のものであり、このカメラ装置に使用されるものであるので、当該カメラ装置２０に組み込まれている座標変換パラメータ記憶部２３に、座標変換パラメータ算出部１２からの出力を書き込んで記憶させる。
カメラ装置２０に電力が供給されない状態においても、永続的に座標変換パラメータを記憶し続けるように、座標変換パラメータ記憶部２３はＲＯＭを用いる。

この状態でレンズ系２１をケーシングに固定するとカメラ装置は完成する。

このカメラ装置２０により撮影を行なうと、固体撮像素子２２による撮影データである１次撮像画像のデータは光軸補正画像生成部２４に入力する。
光軸補正画像生成部２４には、１次撮像画像に対して座標変換を行い、補正画像である２次撮像画像を生成するために必要な演算回路が含まれている。光軸補正画像生成部２４は、請求項３における変換画像生成部であり、固体撮像素子２２が撮像した１次撮像画像に対して透視変換処理を行って２次撮像画像を生成する。

即ち、光軸補正画像生成部２４は、固体撮像素子２２からの１次撮像画像のデータを、座標変換パラメータ記憶部２３に記憶されている座標変換パラメータを用いて透視変換処理を行い２次撮像画像を生成する。

上記のように、変換画像生成部の機能は、１次撮像画像を２次撮像画像に変換する機能であるが、これは、固体撮像素子の撮像面を基準として考えれば、撮像面に対する結像光学系の光軸の傾きを補正する機能と等価であるため、上記の如く「光軸補正画像生成部」と称するのである。

補正画像出力部３０は、光軸補正画像生成部２４より計算された補正画像を出力する。この出力は、２次撮像画像に限定されない。例えば、必要に応じて、補正前の１次撮像画像と補正後の２次撮像画像を同時に出力して、補正前と補正後の撮像画像を重ねて出力するようにしてもよいし、１次撮像画像と２次撮像画像を選択的に出力して補正画像出力部３０に表示するようにすることもできる。

補正画像出力部３０は、適宜のディスプレイ装置を用いることができ、カメラ装置と一体に設けても良いし、カメラ装置を接続できるようにしてもよく、あるいはカメラ装置に外付けできるようにしてもよい。

即ち、図３に実施の形態を示された「座標変換パラメータ決定装置」は、結像光学系による物体像を固体撮像素子の撮像面により受光するカメラ装置による、結像光学系の光軸の、撮像面の法線との非平行を許容した１次撮像画像を、上記非平行の影響を補正した２次撮像画像に変換するための、透視変換処理の座標変換パラメータを決定する装置であって、座標変換パラメータを決定するべきカメラ装置２０をセットされる図示されないカメラセット部と、このカメラセット部にセットされたカメラ装置２０における、結像光学系２１の光軸と撮像面の法線とのなす傾き角を測定するセンサ面角度検出部１１と、このセンサ面角度検出部１１で検出された傾き角に基づき、透視変換処理のための座標変換パラメータを演算算出する座標変換パラメータ算出部１２と、を有し、座標変換パラメータ算出部１２は、結像光学系２１の射出瞳の光軸上の位置を投影中心とし、この投影中心と結像光学系による結像の理想像面との上記光軸上の距離：ｆと、測定された傾き角とを用いて座標変換パラメータの演算算出を行なう。

そして、カメラ装置２０は、結像光学系２１による物体像を固体撮像素子２２により受像するカメラ装置であって、固体撮像素子２２が撮像した１次撮像画像に対して透視変換処理を行って２次撮像画像を生成する「変換画像生成部」である光軸補正画像生成部２４を有し、この変換画像生成部２４は、座標変換パラメータ算出部１２により演算算出された座標変換パラメータを記憶した座標変換パラメータ記憶部２３からの座標変換パラメータによる座標変換で透視変換処理を行う。

また、図３に示すカメラ装置２０は、光軸補正画像生成部２４に座標変換パラメータを供給する座標変換パラメータ記憶部２３が、カメラ装置内部に設けられている。

カメラ装置２０は、結像光学系２１による物体像を固体撮像素子２２の撮像面により受光するカメラ装置であるが、結像光学系２１の光軸の、撮像面の法線との非平行を許容した１次撮像画像を、非平行の影響を補正した２次撮像画像に変換するカメラ画像の補正が行なわれる。

この補正に必要な座標変換パラメータは、カメラ装置２０における結像光学系２１の光軸と撮像面の法線とのなす傾き角を測定し、測定された傾き角に基づき算出され、得られた座標変換パラメータを用いる座標変換を行なって、１次撮像画像を２次撮像画像に透視変換処理を行う。

座標変換パラメータの算出に際しては、結像光学系の射出瞳の光軸上の位置を投影中心とし、この投影中心と結像光学系による結像の理想像面との上記光軸上の距離：ｆを用いて行なう。

図４は、実施の別形態を説明するための図である。繁雑を避けるため、混同の恐れが無いと思われるものについては、図３におけると同一の符号を付した。これらの符号で示した部分についての説明は、図３についての該当説明部分を援用する。

なお、図３においてもカメラセット部は図示されていない。

図４のカメラ装置２０も、図３のカメラ装置と同様に、光軸補正画像生成部（変換画像生成部）２４を有しているが、図４においては図示を省略した。また、補正画像出力部３０も図４においては図示を省略した。

図４の実施の形態においては、カメラ装置２０は座標変換パラメータ記憶部を内臓されていない。

座標変換パラメータ算出部１２で算出された座標変換パラメータは、カメラ装置２０とは別体の記憶媒体３１に記憶される。
なお、算出された座標変換パラメータはセンサ面の傾きを測定されたカメラ装置２０に固有のものであるので、カメラ装置２０が有するカメラＩＤ記憶部（カメラ装置の製品番号等、カメラ装置を固体ごとに識別できる情報が記憶されている。）２６からのＩＤ情報が座標変換パラメータ算出部１２に送られ、座標変換パラメータ算出部１２はこのＩＤ情報と座標変換パラメータとを記憶媒体に記憶させる。

座標変換パラメータを、カメラ装置外部の記憶媒体３１に保存することにより、カメラ装置自体のコスト低減が可能になる。また、出力画像の精度より処理速度を優先させたい場合に、補正処理を行わずに１次撮像画像を出力することも容易に可能である。

記憶媒体３１としては、ＣＤ−ＲＯＭを用いることができるが、これに限らず、フラッシュメモリやＷｅｂからダウンロードすることなどが挙げられる。変換パラメータを外部記憶媒体に記憶することでコスト低減が可能になる。

５０ 結像光学系
６１ 撮像面が結像光学系の光軸に対して傾いた固体撮像素子

特許第２８９９５５３号公報

出口光一郎 著「画像と空間 コンピュータビジョンの幾何学」、第９９頁以下 昭晃堂 A Flexible New Technique for Camera Calibration IEEE Transcations on Pattern Analysis and Machine Intelligence, Vol.22, No.11 pp.1330-1334, 2000

Claims (5)

1. 複数枚のレンズと開口絞りによるレンズ系として構成され、上記レンズ系内に射出瞳が位置する結像光学系による物体像を、固体撮像素子の撮像面により受光するカメラ装置における、上記結像光学系の光軸の、上記撮像面の法線との非平行を許容した１次撮像画像を、上記非平行の影響を補正した２次撮像画像に変換するカメラ画像の補正方法において、上記カメラ装置における上記結像光学系の光軸と上記撮像面の法線とのなす傾き角を測定し、測定された傾き角に基づき、透視変換処理のための座標変換パラメータを演算算出し、得られた上記座標変換パラメータを用いる座標変換を行なって、１次撮像画像を２次撮像画像に透視変換処理を行う補正方法であって、
   上記結像光学系の射出瞳の光軸上の位置を投影中心とし、この投影中心と結像光学系による結像の理想像面との上記光軸上の距離である射出瞳距離：ｆを用いて、上記座標変換パラメータの演算算出を行なうことを特徴とするカメラ画像の補正方法。
2. 複数枚のレンズと開口絞りによるレンズ系として構成され、上記レンズ系内に射出瞳が位置する結像光学系による物体像を、固体撮像素子の撮像面により受光するカメラ装置による、上記結像光学系の光軸の、上記撮像面の法線との非平行を許容した１次撮像画像を、上記非平行の影響を補正した２次撮像画像に変換するための、透視変換処理の座標変換パラメータを決定する装置であって、
   座標変換パラメータを決定するべきカメラ装置をセットされるカメラセット部と、
   このカメラセット部にセットされたカメラ装置における、上記結像光学系の光軸と上記撮像面の法線とのなす傾き角を測定するセンサ面角度検出部と、
   このセンサ面角度検出部で検出された上記傾き角に基づき、透視変換処理のための座標変換パラメータを演算算出する座標変換パラメータ算出部と、を有し、
   上記座標変換パラメータ算出部は、上記結像光学系の射出瞳の光軸上の位置を投影中心とし、この投影中心と結像光学系による結像の理想像面との上記光軸上の距離である射出瞳距離：ｆと、上記測定された傾き角とを用いて上記座標変換パラメータの演算算出を行なうことを特徴とする座標変換パラメータ決定装置。
3. 複数枚のレンズと開口絞りによるレンズ系として構成され、上記レンズ系内に射出瞳が位置する結像光学系による物体像を、固体撮像素子により受像するカメラ装置において、
   上記固体撮像素子が撮像した１次撮像画像に対して透視変換処理を行って２次撮像画像を生成する変換画像生成部を有し、
   該、変換画像生成部は、請求項２記載の座標変換パラメータ決定装置により決定された座標変換パラメータを用いて、上記１次撮像画像を２次撮像画像に変換する透視変換処理を行うものであることを特徴とするカメラ装置。
4. 請求項３記載のカメラ装置において、
   請求項２記載の座標変換パラメータ決定装置により決定された座標変換パラメータを記憶して、変換画像生成部に供給する座標変換パラメータ記憶部を、カメラ装置の内部に有することを特徴とするカメラ装置。
5. 請求項３記載のカメラ装置において、
   請求項２記載の座標変換パラメータ決定装置により決定された座標変換パラメータを記憶して、変換画像生成部に供給する座標変換パラメータ記憶部が、カメラ装置の外部に設けられ、上記座標変換パラメータが、上記変換画像生成部にカメラ装置外部から与えられることを特徴とするカメラ装置。

Images