JP2024011739A - 距離計測装置の校正方法、距離計測装置及びコンピュータプログラム - Google Patents

Abstract

【課題】透明体を介して撮像する距離計測装置の校正を大型化することなく可能な校正方法を提供する。【解決手段】移動体の内部に搭載され、透明体を介して、前記移動体の外部を撮像し、少なくとも２つの視点から撮像した画像の視差を用いて被写体の距離を算出する距離計測装置の校正方法において、前記透明体を介さずに、第１の校正用被写体と前記距離計測装置との距離が異なる第１の校正用画像及び第２の校正用画像を撮像し、前記第１の校正用画像及び前記第２の校正用画像の夫々の画像情報から算出された視差情報を距離相当情報に変換するための補正情報を算出する第１の工程と、前記透明体を介して、少なくとも１つの距離にある第２の校正用被写体から第３の校正用画像を撮像し、少なくとも撮像した前記第３の校正用画像の画像情報に基づき、前記第１の工程により算出した前記補正情報を修正する第２の工程と、を有する。【選択図】図４

Description

本発明は距離計測装置の校正方法、距離計測装置及びコンピュータプログラムに関する。

ステレオ測距方式、撮像面位相差測距方式等の深度情報を取得できるカメラ（以下、測距カメラ）を自動車等の車両に搭載し、車両前方の被写体までの距離を計測し、距離情報をもとに車両を制御する技術が実用化されている。このようなカメラを、以下、車載測距カメラと呼ぶ。

車載測距カメラを車外に設置する場合、防水及び防塵などの高い耐久性が必要となるため、一般に車載測距カメラは自動車内のフロントガラスよりも内側に設置される。従って、自動車内に設置された車載測距カメラはフロントガラスを通して車外の状況を撮影することになる。

一般にフロントガラスは複雑な曲面形状を有し、またカメラのレンズのような光学部品と比較して形状に歪みを有する。従ってフロントガラス越しに撮影された画像には歪みなどの影響が生じる。よって車両に搭載した後に、フロントガラスを含めた車載測距カメラの校正を行う必要がある。

特許文献１ではフロントガラスの補正として、カメラのレンズ歪みとフロントガラスの歪みを別々に測定してトータルの歪みを補正することで車載測距カメラの校正を行っている。

特開２０１９－６８２７２号公報

像面位相差測距方式の測距カメラでは、複数の距離に設定した校正用被写体の撮影画像に基づき視差量とデフォーカス量（測距距離に相当）の関係を補正することで測距カメラの校正を行う。このとき、校正用被写体の設定距離として、近距離から遠距離まで広い範囲で校正用画像を取得することで、より精度の高い校正が可能となる。

しかし校正用被写体を遠距離に置いた撮影では、画角内全体に校正用チャートが写るように設定すると、設置距離に応じて校正用被写体を大きくする必要があり、測距カメラの校正を行う装置が大型化してしまう課題があった。

上記の課題を鑑み本発明は、透明体を介して撮像する距離計測装置の校正について、校正を行う装置を大型化することなく可能な校正方法を提供することを１つの目的とする。

上記の目的を達成するために、本発明は、
移動体の内部に搭載され、透明体を介して、前記移動体の外部を撮像し、少なくとも２つの視点から撮像した画像の視差を用いて被写体の距離を算出する距離計測装置の校正方法において、
前記透明体を介さずに、第１の校正用被写体と前記距離計測装置との距離が異なる第１の校正用画像及び第２の校正用画像を撮像し、前記第１の校正用画像及び前記第２の校正用画像の夫々の画像情報から算出された視差情報を距離相当情報に変換するための補正情報を算出する第１の工程と、
前記透明体を介して、少なくとも１つの距離にある第２の校正用被写体から第３の校正用画像を撮像し、少なくとも撮像した前記第３の校正用画像の画像情報に基づき、前記第１の工程により算出した前記補正情報を修正する第２の工程と、を有することを特徴とする。

本発明によれば、透明体を介して撮像する距離計測装置の校正について、校正を行う装置を大型化することなく可能な校正方法を提供できる。

（Ａ）～（Ｃ）は、本発明の実施例１に係る撮像装置のシステム構成を模式的に示した機能ブロック図である。 （Ａ）、（Ｂ）は、実施例１に係る撮像素子の画像構造の模式図である。 （Ａ）～（Ｅ）は、実施例１に係る撮像面位相差測距方式の測距原理を示す図である。 実施例１に係る撮像装置の校正のフローチャートである。 実施例１に係る第１の校正のフローチャートである。 （Ａ）～（Ｃ）は、実施例１に係る第１の校正においての校正用被写体の撮影を説明する模式図である。 （Ａ）～（Ｄ）は、実施例１に係る第１の校正の原理を説明する模式図である。 実施例１に係る第２の校正のフローチャートである。 （Ａ）、（Ｂ）は第２の校正における撮影方法を説明する概略図である。 （Ａ）、（Ｂ）は、実施例１に係る第２の校正の原理を説明する模式図である。 実施例２に係る第２の校正のフローチャートである。 （Ａ）、（Ｂ）は、実施例２に係る第２の代表領域を説明する図である。 （Ａ）、（Ｂ）は、実施例２に係る第２の校正の原理を説明する模式図である。 実施例３に係る第２の校正のフローチャートである。 （Ａ）～（Ｃ）は、実施例３に係る第２の校正の原理を説明する模式図である。

以下、図面を参照して本発明の実施の形態を、実施例を用いて説明する。ただし、本発明は以下の実施例に限定されるものではない。なお、各図において、同一の部材または要素については同一の参照番号を付し、重複する説明は省略または簡略化する。

尚、以下の実施例においては、撮像装置として車載カメラ等に適用した例について説明する。しかし、撮像装置はドローンカメラ、ロボットに搭載されたカメラ、ネットワークカメラなどの透明なカバーに覆われた撮像手段を有する電子機器等を含む。

＜システム構成＞
以下、図面を参照しながら本発明の実施例１に関して詳細に説明する。図１（Ａ）～（Ｃ）は、本発明の実施例１に係る撮像装置のシステム構成を模式的に示した機能ブロック図である。

尚、図１に示される機能ブロックの一部は、撮像装置に含まれる不図示のコンピュータに、不図示の記憶媒体としてのメモリに記憶されたコンピュータプログラムを実行させることによって実現されている。しかし、それらの一部又は全部をハードウェアで実現するようにしても構わない。ハードウェアとしては、専用回路（ＡＳＩＣ）やプロセッサ（リコンフィギュラブルプロセッサ、ＤＳＰ）などを用いることができる。

又、図１に示される夫々の機能ブロックは、点線で囲まれている場合であっても、同じ筐体に内蔵されていなくても良く、互いに信号路を介して接続された別々の装置により構成しても良い。

図１（Ａ）に示されるように、撮像装置１は、撮像光学系１０、撮像素子１１、撮像制御部１２、画像処理部１３、記憶部１４、入力部１５、表示部１６、校正部１７、通信部１８等により構成される。撮像光学系１０は、撮像装置１の撮影レンズであり、被写体像を撮像素子１１の受光面に形成する機能を有する。

尚、本実施例の撮像装置１は、車両等の移動体の内部に搭載され、透明体であるフロントガラスを介して、移動体の外部を撮像し、少なくとも２つの視点から撮像した画像の視差を用いて被写体の距離を算出する距離計測装置として機能している。

撮像光学系１０は複数のレンズ（不図示）から構成され、撮像素子１１から所定距離離れた位置に射出瞳１０１を有する。尚、本明細書中では、ｚ軸を撮像光学系１０の光軸１０２と平行な軸とする。又、ｘ軸とｙ軸は互いに垂直であり、且つ光軸と垂直な軸とする。

撮像素子１１は、ＣＣＤ（電荷結合素子）やＣＭＯＳ（相補型金属酸化膜半導体）から構成され、撮像面位相差測距方式による測距機能を有する例えばＤＡＦ（Ｄｕａｌ Ｐｉｘｅｌ Ａｕｔｏ Ｆｏｃｕｓ）タイプの撮像素子である。即ち、本実施例の距離計測装置は、像面位相差測距方式の撮像素子により前記撮像を行うように構成されている。撮像光学系１０を介して撮像素子１１上に形成された被写体像は、撮像素子１１により光電変換され、被写体像に基づく画像信号を生成する。

又、撮像装置から被写体までの距離情報を生成することができる。撮像制御部１２は、コンピュータとしてのＣＰＵを含み、ＣＰＵは、記憶部１４に記憶されたコンピュータプログラムを実行することによって撮像装置１の各部の動作を制御する制御手段として機能している。即ち、撮像制御部１２は、制御手段として、例えば、画像の取り込み、記憶部１４や入力部１５、表示部１６、校正部１７、通信部１８等の制御を行う。

図１（Ｂ）に示されるように、画像処理部１３は、画像生成部１３０、深度生成部１３１、メモリ１３２を有している。画像生成部１３０は、撮像素子１１から出力される信号のノイズ除去、デモザイキング、輝度信号変換、収差補正、ホワイトバランス調整、色補正などの各種信号処理を行う。

画像生成部１３０から出力される画像データはメモリ１３３に一時的に蓄積され、表示部１６における画像表示に使用される。深度生成部１３１は、後述するように撮像素子１１に含まれる測距用画素で取得した信号を用いて、深度情報の分布を表す深度画像（距離画像）を生成する。

画像処理部１３は、論理回路を用いて構成することができる。又、別の形態として、中央演算処理装置（ＣＰＵ）と演算処理プログラムを格納するメモリとから構成しても良い。記憶部１４は、撮像装置１で取得したデータや中間データ及び画像処理部１３で利用するデータ、撮像装置１で利用されるパラメータデータ、コンピュータプログラムなどが格納される不揮発性の記憶媒体である。

記憶部１４としては、高速に読み書きでき、且つ、大容量の記憶媒体であればどのようなものを利用しても良い。例えば、フラッシュメモリなどが好ましい。入力部１５は、使用者が操作し、撮像装置１に対して、情報入力や設定変更を行うためのインターフェイスであり、例えば各種操作スイッチ、キーボード、マウス、タッチパネル等を含む。表示部１６は、撮影時の構図確認や各種設定画面やメッセージ情報の表示を行う。表示部１６は、液晶ディスプレイや有機ＥＬなどで構成される表示手段である。

校正部１７は、図１（Ｃ）に示されるように、誤差算出部１７１、補正値生成部１７２、記憶部１７３等を有している。誤差算出部１７１は、画像処理装置で生成した深度画像（距離画像）を受取り、デフォーカス誤差算出を行う。補正値生成部１７２は誤差算出部で算出された誤差量から補正値の作成を行う。

記憶部１７３は補正値生成部で生成された補正値や、誤差算出部で算出された誤差情報を蓄積する。校正部１７は、論理回路を用いて構成することができる。或いは、中央演算処理装置（ＣＰＵ）と演算処理プログラムを格納するメモリとから構成しても良い。

通信部１８は、画像処理部１３で生成された撮像画像や深度画像、被写体の寸法情報などの推定結果を他の装置へ送信する機能を有している。

次に撮像素子１１の構成について説明する。撮像素子１１は、前述のように撮像面位相差測距方式による測距機能を有するＤＡＦタイプの撮像素子である。撮像光学系１０を介して撮像素子１１上に結像した被写体像は、撮像素子１１により光電変換され、被写体像に基づく画像信号を生成する。

取得した画像信号に対して、画像生成部１３０により現像処理を施すことで、観賞用画像ならびに深度画像を生成することができる。又、生成した観賞用画像を表示部１６へ表示したり、通信部１８を介して別の装置へ送信したりすることができる。以下、本実施形態における撮像素子１１について、図２（Ａ）、（Ｂ）を用いてより詳細に説明する。

図２（Ａ）、（Ｂ）は、実施例１に係る撮像素子の画像構造の模式図であり、図２（Ａ）は、撮像素子１１の正面図である。撮像素子１１は、２行×２列の画素群１１０が２次元状に複数配列されることで構成されている。画素群１１０には、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のカラーフィルタが配置されており、Ｇのカラーフィルタは画素群１１０において、対角線上に２つ配置されている。

このような配置により、Ｒ、Ｇ、Ｂの３つの色情報を含む画像信号を分離可能に出力することができる。カラーフィルタの配列は図２（Ａ）に示す配置以外の配置でもよく、配置を限定するものではない。尚、夫々の画素は測距可能なように構成されており、画像信号と共に測距に利用する信号も出力することができる。

図２（Ｂ）は、図２（Ａ）の画素群１１０のＩ－Ｉ’断面の１画素分を模式的に示した図である。各画素は導光層１１３と受光層１１４から構成される。導光層１１３には、画素へ入射した光束を光電変換部へ効率よく導くためのマイクロレンズ１１１、所定の波長帯域の光を通過させる上述のＲ，Ｇ，Ｂのいずれか１つのカラーフィルタ１１２、画像読み出し用及び画素駆動用の配線等が配置される。

受光層１１４には、受光した光を光電変換するための１対の光電変換部（第１光電変換部１１５、第２光電変換部１１６）が例えば水平走査方向に並置され、この２つの光電変換部からの出力を測距に利用する。

このような構造により、第１光電変換部１１５の信号と第２光電変換部１１６の信号を加算して出力することで各画素から鑑賞用画像信号を出力可能である。又、第１光電変換部１１５の信号と第２光電変換部１１６の信号を分離することによって測距用信号として出力することが可能となる。尚、すべての画素が上述のような２つの光電変換部を備える必要はないが、高密度な深度画像を出力するためには全画素が上述の構成であるのが望ましい。

次に、図３（Ａ）～（Ｅ）は、実施例１に係る撮像面位相差測距方式の測距原理を示す図であり、図３を用いて、本実施例の撮像素子１１が備える第１光電変換部１１５及び第２光電変換部１１６が受光する光束について説明する。図３（Ａ）は、撮像光学系１０の射出瞳１０１と、撮像素子１１中の画素の第１光電変換部１１５に受光する光束を示した概略図である。図３（Ｂ）は同様に第２光電変換部１１６に受光する光束を示した概略図である。

図３（Ａ）及び（Ｂ）に示したマイクロレンズ１１１は、射出瞳１０１と受光層１１４とが光学的に共役関係になるように配置されている。撮像光学系１０の射出瞳１０１を通過した光束は、マイクロレンズ１１１により集光されて第１光電変換部１１５又は第２光電変換部１１６に導かれる。

このとき、第１光電変換部１１５と第２光電変換部１１６は夫々図３（Ａ）及び（Ｂ）に示す通り、異なる瞳領域を通過した光束を主に受光する。即ち、各画素の第１光電変換部１１５は第１の瞳領域２１０を通過した光束、第２光電変換部１１６は第２の瞳領域２２０を通過した光束を受光する。

撮像素子１１が備える複数の第１光電変換部１１５は、第１の瞳領域２１０を通過した光束を主に受光して第１の画像信号を出力する。又、同時に撮像素子１１が備える複数の第２光電変換部１１６は、第２の瞳領域２２０を通過した光束を主に受光して第２の画像信号を出力する。

第１の画像信号からは、第１の瞳領域２１０を通過した光束が撮像素子１１上に形成する像の強度分布を得ることができる。又、第２の画像信号からは第２の瞳領域２２０を通過した光束が、撮像素子１１上に形成する像の強度分布を得ることができる。

第１の画像信号と第２の画像信号間の相対的な位置ズレ量（いわゆる視差量）は、デフォーカス量に応じた値となる。視差量とデフォーカス量との関係について、図３（Ｃ）、（Ｄ）、（Ｅ）を用いて説明する。図３（Ｃ）、（Ｄ）、（Ｅ）は本実施例の撮像素子１１と撮像光学系１０の相対位置の変化について説明した概略図である。図中の符号２１１は、第１の瞳領域２１０を通過する第１の光束を示し、符号２２１は第２の瞳領域２２０を通過する第２の光束を示す。

図３（Ｃ）は合焦時の状態を示しており、第１の光束２１１と第２の光束２２１が撮像素子１１上で収束している。このとき、第１の光束２１１により形成される第１の画像信号と第２の光束２２１により形成される第２の画像信号間との視差量は０となる。図３（Ｄ）は像側でｚ軸の負方向にデフォーカスした状態を示している。この時、第１の光束により形成される第１の画像信号と第２の信号により形成される第２の画像信号との視差量は負の値を有する。

図３（Ｅ）は、像側でｚ軸の正方向にデフォーカスした状態を示している。この時、第１の光束により形成される第１の画像信号と第２の光束により形成される第２の画像信号との視差量は正の値を有する。図３（Ｄ）と図３（Ｅ）の比較から、デフォーカス量の正負に応じて、位置ズレの方向が入れ替わることが分かる。

又、デフォーカス量に応じて、撮像光学系の結像関係（幾何関係）に従って位置ズレが生じることが分かる。第１の画像信号と第２の画像信号との位置ズレである視差量は、領域ベースのマッチング手法により検出することができる。

視差量は、以下の方法で物面までの距離Ａに変換することができる。先ず、所定の変換係数を用いて視差量を撮像素子１１から撮像光学系１０の焦点までの距離であるデフォーカス量へ変換することができる。所定の変換係数をＢＬ、デフォーカス量をＤ、視差量をｄとしたとき以下の（式１）により、視差ｄをデフォーカス量Ｄに変換することができる。
Ｄ＝ＢＬ×ｄ・・・（式１）

更に、デフォーカス量Ｄを幾何光学におけるレンズの公式である（式２）を用いて、物体距離に変換することができる。但し、Ａは物面から撮像光学系１０の主点までの距離、Ｂは撮像光学系１０の主点から像面までの距離、Ｆは撮像光学系１０の焦点距離を表す。
１／Ａ＋１／Ｂ＝１／Ｆ・・・（式２）

（式２）において、Ｂの値がデフォーカス量Ｄから算出でき、焦点距離は光学系の情報として例えばレンズ鏡筒に内蔵されたメモリに保存されており、メモリから得られるため、物面までの距離Ａを算出することができる。

次に、図４を用いて本実施例に係る校正フローを説明する。図４は実施例１に係る撮像装置の校正のフローチャートである。尚、撮像装置内のコンピュータとしてのＣＰＵがメモリに記憶されたコンピュータプログラムを実行することによって図４のフローチャートの各ステップの動作が行われる。

本実施例ではステップＳ４１で撮像装置の前にフロントガラスがない状態で第１の校正を行う。即ち、第１の校正ではフロントガラスの影響がない状態で撮像装置１により所定のチャートの撮像を行い、校正を行う。次にステップＳ４２で撮像装置１を車両に設置することで撮像装置の前にフロントガラスがある状態にする。

次にステップＳ４３で第２の校正を行う。第２の校正においては、車両７０に撮像装置１が設置された状態で、撮像装置１により、フロントガラス８０を含んだ光学系を介した像を撮像し、校正を行う。以下、第１の校正と第２の校正について順に説明する。

次に図６を参照しながら図５のフローチャートを用いて第１の校正を説明する。図５は、実施例１に係る第１の校正のフローチャートであり、図６（Ａ）～（Ｃ）は、実施例１に係る第１の校正における校正用被写体の撮影を説明する模式図である。尚、撮像装置内のコンピュータとしてのＣＰＵがメモリに記憶されたコンピュータプログラムを実行することによって図５のフローチャートの各ステップの動作が行われる。

ステップＳ５１では第１の校正用被写体としての校正用被写体６０を異なる距離で撮影する。第１の校正では被写体距離Ｌを変更しながら複数の校正用被写体６０の画像を撮影する。図６（Ａ）は校正用被写体６０と撮像装置１の位置関係を示した図である。撮像装置１と校正用被写体６０は正対して設置されており、被写体距離Ｌは撮像装置１と校正用被写体６０の距離を示している。

このようにステップＳ５１においては、透明体としてのフロントガラスを介さずに、第１の校正用被写体としての校正用被写体６０と撮像装置との距離が異なる第１の校正用画像及び第２の校正用画像を撮像する。

図６（Ｂ）、（Ｃ）は夫々図６（Ａ）のＡ地点、Ｂ地点に設置された校正用被写体６０の撮影画像の例を示した図である。校正用被写体６０がＡ地点に設置された場合、校正用被写体６０は画角の全体に表示される。一方、より遠方のＢ地点に設置された校正用被写体６０は画角の一部のみに表示される。

このとき、Ａ地点で撮影された画像からは画角全体で視差値を得ることができる。一方、Ｂ地点の画像は画角周辺では校正用被写体６０が写っていないので領域外に関しては、第１の校正に用いることができる視差量が得られないことになる。（以下、視差が得られる領域を有効領域６１とする）

ステップＳ５２ではステップＳ５１で撮影した校正用被写体６０の画像である第１の校正用画像及び第２の校正用画像の夫々の画像情報から視差情報としての視差量を算出する。本実施例では図６（Ｂ）で示したように第１の校正用被写体としての校正用被写体６０はストライプパターンを有する縦線チャートを使用する。

縦線チャートで算出される視差量は撮影された画像の縦線が存在する位置のみ正確に算出されるため、本実施例では縦線のない領域の視差値を縦線のある領域の視差値を用いて補間することで画角全体の視差値の分布を表す視差画像として取得する。このときの、補間方法は多次元関数近似、スプライン補間等の補間法から適宜選択すれば良い。

ステップＳ５３ではステップＳ５２で算出した視差情報としての視差値と被写体距離Ｌに相当するデフォーカス量に変換した距離相当情報としての設計デフォーカスＤｄとの関係から補正情報としての補正値を算出する。ここでステップＳ５１～Ｓ５３は、距離が異なる第１、第２の校正用画像を撮像し、第１の校正用画像及び第２の校正用画像の夫々の画像情報から算出された視差情報を距離相当情報に変換するための補正情報を算出する第１の工程として機能している。

図７（Ａ）～（Ｄ）は、実施例１に係る第１の校正の原理を説明する模式図であり、図７（Ａ）は設計デフォーカスＤｄを説明するための模式図で、点線と実線は夫々図２（Ｃ）の状態と（Ｄ）の状態を模式的に図示している。Ｌｏ０は撮像装置１のピント距離を示しており、（式２）を使用して像面側の焦点の距離であるＬｉ０に変換する。

撮像装置１では、撮像素子１１の撮像面が距離Ｌｉ０に位置するように調整することが望ましい。距離Ｌｉ１は撮像装置１のピント距離Ｌｏ０とは異なる距離Ｌｏ１に被写体がある場合を示している。この時の像側の焦点は同様に（式２）を使用して距離Ｌｉ１として求められる。このとき距離Ｌｏ１にある被写体の設計デフォーカスＤｄは距離Ｌｉ０と距離Ｌｉ１の差として求めることができる。

図７（Ｂ）は理想的な視差量とデフォーカス量の関係を示す図である。これは式１を図示した場合に対応しており、視差量とデフォーカス量は正比例している。しかし、一般的に像面湾曲等のレンズの収差、組み立て誤差等があるため、校正用被写体６０の画像から算出した視差値と設計デフォーカスＤｄをプロットした場合、視差量とデフォーカス量は正比例せずに、例えば図７（Ｃ）のような関係になる。

図７（Ｃ）の点は被写体距離Ｌが異なるデータ点を示しており、点線で示すように１次の関数で近似すると、以下の（式３）のように表すことができる。
Ｄｄ＝ＢＬ１×ｄ＋ＢＰ１・・・（式３）

（式３）の１次の係数であるＢＬ１を第１の補正係数（第１の補正値）、０次の係数であるＢＰ１を第２の補正係数（第２の補正値）とする。ここで、第１の補正値、第２の補正値により補正情報が校正されており、これらの補正係数を用いることで、算出された視差量を適切なデフォーカス量に変換することができる。

第１の補正係数と第２の補正係数は、被写体距離Ｌを変化させたときのＤｄとｄを測定することで算出でき、第１の補正係数と第２の補正係数を画角内夫々の画素で求めることで、視差値を適正にデフォーカス量に変換することができる。

このように、本実施例では、距離計測装置は、１次関数により視差情報を距離相当情報へ変換し、第１の補正値は、１次関数の１次の係数、第２の補正値は、前記１次関数の０次の係数としている。

図７（Ｄ）は、図６（Ｃ）で示したように、校正用被写体６０が画角周辺部には写っていない場合の視差量に対する設計デフォーカス関係を示した図である。黒点は有効領域６１に対応した測定値であり、白抜きの点は、有効領域６１の外側の、より遠距離の結果を表している。この場合、近距離側の有効領域６１のデータのみから補正係数を求めるか、視差の誤差分布の出方が予測できる場合は中央部の視差量を用いて周辺部の視差量に外挿値を使用することもできる。

一般的に、撮像光学系１０は光学設計ツールなどを用いて設計され、設計データを使用することで誤差の出方が予測できる。一方、フロントガラスを含んだ光学系は設計することが困難で影響が予測できないため、車載した状態で第１の校正と同様な校正を実施した場合、校正精度が著しく下がってしまう可能性がある。

図８及び図９を用いて第２の校正について説明する。図８は実施例１に係る第２の校正のフローチャートである。尚、撮像装置内のコンピュータとしてのＣＰＵがメモリに記憶されたコンピュータプログラムを実行することによって図８のフローチャートの各ステップの動作が行われる。図９（Ａ）、（Ｂ）は第２の校正における撮影方法を説明する概略図である。

ステップＳ８１において、図９（Ａ）のように撮像装置９１を車両７０の車内に設置した状態で、ＣＰＵは、第２の校正用被写体としての校正用被写体９０を撮影する。即ち、撮像装置９１は車両７０の透明体としてのフロントガラス８０を介して校正用被写体９０を撮影する。即ち、ステップＳ８１では、透明体を介して、少なくとも１つの距離にある第２の校正用被写体から第３の校正用画像を撮像する。このとき被写体距離Ｌは校正用被写体９０が所定の画角内に入るように設定する。

第２の校正では第２の校正用被写体として例えば図９（Ｂ）のようなランダムパターンを有する校正用被写体９０を使用している。ランダムパターンを用いることで、視差量を密に計測でき、フロントガラス８０を介した撮影のような、フロントガラスによる影響が予測困難な場合でも詳細なデータを取得することができる。このように本実施例では、第１の校正用被写体としての校正用被写体６０と第２の校正用被写体としての校正用被写体９０は互いに異なるパターンを有する。

ステップＳ８２では第１の校正と同様に、校正用被写体９０を撮影した画像から視差ｄを算出する。ここで算出される視差量はフロントガラス８０の影響を受けて、フロントガラス８０のない場合と比較して影響度に応じて視差量が変化する。

ステップＳ８３ではデフォーカス誤差Ｄｅを算出する。デフォーカス誤差Ｄｅは視差量を第１の校正で求めた第１、第２の補正値を使用してデフォーカスに変換したときの値と設計デフォーカスとの差として求められる。

ステップＳ８４ではデフォーカス誤差Ｄｅを算出する。又、デフォーカス誤差Ｄｅを用いて、補正情報の一部である第２の補正値を修正する。ここで、ステップＳ８１～Ｓ８４は、第２の工程として機能している。そして第２の工程においては、透明体を介して、少なくとも１つの距離にある第２の校正用被写体から第３の校正用画像を撮像し、少なくとも撮像した第３の校正用画像の画像情報に基づき、第１の工程により算出した補正情報を修正している。その際、実施例１では、少なくとも第３の校正用画像の画像情報に基づき距離相当誤差値を算出し、距離相当誤差値に基づいて第２の補正値を修正している。

図１０（Ａ）、（Ｂ）は、実施例１に係る第２の校正の原理を説明する模式図であり、図１０（Ａ）、（Ｂ）を用いて第１、第２の補正値の修正について説明する。図１０（Ａ）の点ｐ０はステップＳ８３までに求めた視差量と設計デフォーカスをプロットした点である。点線は（式３）で表される第１の校正による視差量とデフォーカス値の関係を示している。尚、図１０（Ｂ）は水平方向のデフォーカス誤差を示した図である。

このとき点ｐ０と点線との差はデフォーカス誤差Ｄｅを示している。フロントガラス８０の影響で第１の補正係数ＢＬ１が変化しない、即ち視差値の変化量に対するデフォーカス量の変化量が変わらない場合が実線で示されている。図１０（Ａ）のように、点を通り、傾きがＢＬ１の直線の切片であるＢＰ２は第２の補正係数ＢＰ１とデフォーカス誤差Ｄｅの和になる。

このとき修正後の第２の補正値をＢＰ２とすると、ＢＰ２＝ＢＰ１＋Ｄｅとなる。又、第２の補正値を修正すると（式３）は以下の（式４）で表すことができる。
Ｄｄ＝ＢＬ１×ｄ＋ＢＰ１＋Ｄｅ・・・（式４）

本実施例においては、第１の校正では異なる距離に配置した校正用被写体の撮像画像を用いて、フロントガラスの影響を含まない第１の補正係数と第２の補正係数を取得している。更に、第２の校正では、フロントガラス８０を介して校正用被写体を撮像した撮像画像を用いて、第２の補正値がフロントガラス８０の影響を受ける成分を補正している。

以上のように校正を行うことで、近距離のみの画像からフロントガラス８０の影響を校正することができるので、校正環境を大型化することなく、校正することが可能となる。

本発明の実施例２に関して説明する。実施例２では、第２の校正において、被写体距離Ｌが大きい条件の画像も用いて第２の補正値を修正する。以下、実施例１との処理の相違点に関して処理の流れを説明する。

図１１は実施例２に係る第２の校正のフローチャートである。尚、撮像装置内のコンピュータとしてのＣＰＵがメモリに記憶されたコンピュータプログラムを実行することによって図１１のフローチャートの各ステップの動作が行われる。

ステップＳ１１１では実施例１と同様に校正用被写体９０を撮影する。その際、実施例１のような校正用被写体６０が校正したい画角全体に写る被写体距離（以下、近距離条件）に加えて、更に被写体距離が大きい距離（以下、遠距離条件）で校正用被写体９０を撮影する。即ち、第３の校正用画像だけでなく、第３の校正用画像とは異なる距離で第２の校正用被写体を撮像して第４の校正用画像の画像情報を取得している。

ステップＳ１１２、ステップＳ１１３において、実施例１と同様にしてデフォーカス誤差Ｄｅを算出する。次にステップＳ１１４では図１２（Ａ）、（Ｂ）に示すような方法で代表領域を設定する。

図１２（Ａ）、（Ｂ）は、実施例２に係る第２の代表領域を説明する図である。図１２（Ａ）はステップＳ１１１で撮影した校正用画像を示している。斜線の領域は有効領域６１である。有効領域６１のデフォーカス誤差Ｄｅを求める。図１２（Ａ）の点線上のデフォーカス誤差をグラフにすると、図１２（Ｂ）のようになる。

デフォーカス誤差は水平方向位置によりフロントガラス８０の影響度が異なり、図のように有効領域６１内で分布を有する。実施例２では、デフォーカス誤差分布から特定の代表領域６２を選定する。代表領域６２の選び方は、データの信頼性が高く、被写体距離Ｌが大きくなっても有効領域６１内にある中心画角付近のデータが望ましい。

より望ましくは、データの安定性の観点からデフォーカス誤差Ｄｅの変化率が少ない、分布の山部や谷部を有効領域６１として選択することで、信頼性があり、より精度の高い校正が可能となる。

ステップＳ１１５では代表領域６２のデフォーカス誤差Ｄｅから代表デフォーカス誤差を算出する。代表デフォーカス誤差は代表領域のデフォーカス誤差分布を統計処理（例えば平均値など）した値を用いる。ステップＳ１１６では近距離条件（近距離で校正用被写体６０を撮影した場合）と、遠距離条件（遠距離で校正用被写体９０を撮影した場合）の夫々の代表デフォーカス誤差の差分ΔＤを算出する。即ち、第３の校正用画像と第４の校正用画像の夫々の画像情報に基いて夫々の距離相当誤差値を算出し、夫々の距離相当誤差値の差を算出する。

ステップＳ１１７ではΔＤを用いて第２の補正係数を修正する。図１３（Ａ）、（Ｂ）は、実施例２に係る第２の校正の原理を説明する模式図である。図１３（Ａ）と図１０（Ａ）との違いは、デフォーカス値として代表デフォーカスを使用している点である。ｐ１、ｐ２は近距離条件と遠距離条件での測定値を表しており、近距離条件の代表デフォーカス誤差Ｄｅｎ、遠距離条件の代表デフォーカス誤差Ｄｅｆが図中に示されている。

ステップＳ１１６で求めたΔＤはＤｅ－Ｄｅｆであり、このΔＤを用いて以下の（式５）に基づき第２の補正係数を修正すると、
Ｄｄ＝ＢＬ１×ｄ＋（ＢＰ１＋Ｄｅ－ΔＤ）・・・（式５）
このとき、修正後の第２の補正値をＢＰ２とすると、ＢＰ２＝（ＢＰ１＋Ｄｅ－ΔＤ）となる。

（式５）は実施例１の修正後の第２の補正係数ＢＰ２からΔＤを一律に引いた値となる。このこと視覚的に表すと図１３（Ｂ）のようになる。実線は近距離条件における水平方向の誤差分布を示し、１点鎖線は遠距離条件における推定値として近距離条件の誤差分布をΔＤシフトした分布としている。

即ち、デフォーカス誤差分布は近距離条件の分布を使用し、分布のベースを近距離条件と遠距離条件の代表領域６２での差とすることにより、より遠距離側の校正精度を高くすることができる。

このようにステップＳ１１１～ステップＳ１１７は、第３、第４の校正用画像を取得し、第３、第４の校正用画像に基づき夫々距離相当誤差値を算出し、夫々の距離相当誤差値の差に基づいて、第２の補正値を修正する第２の工程として機能している。

本実施例においては、実施例１に加えて第２の校正において、遠距離側の校正用画像を取得すると共に、領域を限定した代表領域の値を用いて第２の校正値を修正している。このように校正を行うことで、第２の校正において遠距離側の校正用データを使用する際に大きな被写体を用いる必要がないので、校正環境の大型化の抑制しつつ、遠距離側の校正精度を向上することが可能となる。

次に、本発明の実施例３に関して説明する。実施例３では、実施例２と同様に、第２の校正において、近距離の画像に加えて、よりカメラと校正用チャートの距離を大きくした画像を撮影し、校正値の算出に使用する。実施例２とは第１の補正値と第２の補正値の両方を修正するところが異なる。

図１４は実施例３に係る第２の校正のフローチャートである。尚、撮像装置内のコンピュータとしてのＣＰＵがメモリに記憶されたコンピュータプログラムを実行することによって図１４のフローチャートの各ステップの動作が行われる。

ステップＳ１４１では実施例２と同様に、校正用被写体９０が校正したい画角全体に写る被写体距離（近距離条件）での撮影をすると共に、被写体距離が大きい距離（遠距離条件）で校正用被写体９０を撮影する。ステップＳ１４２からステップＳ１４５までは、実施例２と同様にして代表デフォーカス誤差を算出する。

ステップＳ１４６では代表領域６２の代表デフォーカス誤差の傾きから傾き補正係数Ｃを算出する。図１５（Ａ）～（Ｃ）は、実施例３に係る第２の校正の原理を説明する模式図であり、図１５（Ａ）を用いて傾き補正係数について説明する。ｐ１、ｐ２は夫々近距離条件、遠距離条件での代表デフォーカス示している。このとき点線は第１の補正係数ＢＬ１と傾きが異なり２点鎖線のようになっている。

このとき、ｐ１、ｐ２を通る直線の傾きを、傾き補正係数Ｃを用いてＣ×ＢＬ１と表す。但し、このときのＢＬ１の値は代表領域のＢＬ１の代表値とする。又、傾きを求める点としてｐ１、ｐ２の２条件から求めたが、被写体距離Ｌを３点以上の点を用いることでより精度よく傾きを求めても良い。

ステップＳ１４７では傾き補正係数Ｃを用いて以下の（式６）に基づき第１の補正係数を修正する。
ＢＬ２＝Ｃ×ＢＬ１・・・（式６）
ここでＢＬ２は修正後の第１の補正係数を示している。

Ｓ１４８では修正後の第１の補正係数ＢＬ２と近距離条件のデフォーカス分布から切片を算出する。図１５（Ｂ）を用いて説明する。ｐ１’は近距離条件のデフォーカス値を示している。図中のＤｓは第１の補正係数ＢＬ１を修正した場合としなかった場合の切片の差を示している。このとき、２点鎖線の切片はデフォーカス誤差Ｄｅ、Ｄｓ、第２の補正係数ＢＰ１を用いて以下の（式７）で表すことができる。
ＢＰ２＝ＢＰ１＋Ｄｅ－Ｄｓ・・・（式７）

更に、（式６）と（式７）をまとめて以下の（式８）で表すことができる。
Ｄｄ＝Ｃ×ＢＬ１×ｄ＋（ＢＰ１＋Ｄｅ－Ｄｓ）・・・（式８）

ステップＳ１４９において、（式８）を用いて第２の補正係数を修正する。このように、ステップＳ１４１～ステップＳ１４９では、第３、第４の校正用画像を取得し、第３、第４の校正用画像に基づき夫々距離相当誤差値を算出し、夫々の距離相当誤差値に基づいて、第１の補正値及び第２の補正値を修正している。従って、近距離から遠距離にかけて広い距離範囲で校正精度を向上することができる。

以上説明したように、実施例３においては、実施例１、２に加えて第２の校正において遠距離側の校正用画像を取得すると共に、領域を限定した代表領域の値を用いて第１の校正値及び第２の校正値を修正している。このように校正を行うことで、第２の校正において遠距離側の校正用データを使用しても被写体を大きくする必要がなく、しかも傾き成分が修正できるので、校正環境の大型化の抑制しつつ、より広い距離範囲で校正精度を向上することが可能となる。

尚、本実施形態の距離計測装置としての撮像装置１は、以上のような校正方法を用いて修正された上記の補正情報に基づき、通常撮影において、少なくとも２つの視点から撮像した画像の視差を用いて被写体の距離を算出する。従って、精度の高い距離計測が可能となる。

尚、上述の実施形態の説明では車両（自動車）などの移動体に撮像装置を搭載した例について説明した。しかし、本実施形態における移動体は、自動車などの車両に限らず、列車、船舶、飛行機、ロボット、ドローンなどの移動をする移動体であれば、どのようなものであってもよい。又、撮像装置の全部の機能ブロックが移動体に搭載されていなくても良く、撮像装置の一部、例えば入力部１５、表示部１６、画像処理部１３、校正部１７等を移動体とは離れたユーザ端末に配置しても良い。

以上、本発明をその好適な実施例に基づいて詳述してきたが、本発明は上記実施例に限定されるものではなく、本発明の趣旨に基づき種々の変形が可能であり、それらを本発明の範囲から除外するものではない。

尚、本発明は、前述した実施例の機能を実現するソフトウェアのプログラムコード（制御プログラム）を記録した記憶媒体を、システムあるいは装置に供給することによって実現してもよい。そして、そのシステムあるいは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたコンピュータ読取可能なプログラムコードを読み出し実行することによっても達成される。

その場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態（実施例）の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

１：撮像装置
１０：撮像光学系
１１：撮像素子
１２：撮像制御部
１３：画像処理装置
１３０：画像生成部
１３１：深度生成部
１３２：メモリ
１４：記録部
１５：入力部
１６：表示部
１７：校正装置
１７０：誤差算出部
１７２：補正値生成部
１７３：記憶部
１８：通信部
６０：校正用被写体
６１：有効領域
６２：代表領域
７０：車両
８０：フロントガラス

Claims (11)

1. 移動体の内部に搭載され、透明体を介して、前記移動体の外部を撮像し、少なくとも２つの視点から撮像した画像の視差を用いて被写体の距離を算出する距離計測装置の校正方法において、
   前記透明体を介さずに、第１の校正用被写体と前記距離計測装置との距離が異なる第１の校正用画像及び第２の校正用画像を撮像し、前記第１の校正用画像及び前記第２の校正用画像の夫々の画像情報から算出された視差情報を距離相当情報に変換するための補正情報を算出する第１の工程と、
   前記透明体を介して、少なくとも１つの距離にある第２の校正用被写体から第３の校正用画像を撮像し、少なくとも撮像した前記第３の校正用画像の画像情報に基づき、前記第１の工程により算出した前記補正情報を修正する第２の工程と、を有することを特徴とする距離計測装置の校正方法。
2. 前記第１の校正用被写体と前記第２の校正用被写体は、互いに異なるパターンを有することを特徴とする請求項１に記載の距離計測装置の校正方法。
3. 前記第１の校正用被写体は、ストライプパターンを有し、
   前記第２の校正用被写体は、ランダムパターンを有することを特徴とする請求項２に記載の距離計測装置の校正方法。
4. 前記補正情報は、第１の補正値と第２の補正値とを有することを特徴とする請求項１に記載の距離計測装置の校正方法。
5. 前記距離計測装置は、１次関数により前記視差情報を前記距離相当情報へ変換し、
   前記第１の補正値は、前記１次関数の１次の係数であり、
   前記第２の補正値は、前記１次関数の０次の係数であることを特徴とする請求項４に記載の距離計測装置の校正方法。
6. 前記第２の工程において、少なくとも前記第３の校正用画像の画像情報に基づき距離相当誤差値を算出し、少なくとも前記第３の校正用画像の画像情報に基づき算出した前記距離相当誤差値に基づいて前記第２の補正値を修正することを特徴とする請求項５に記載の距離計測装置の校正方法。
7. 前記第２の工程において、前記第３の校正用画像とは異なる距離で前記第２の校正用被写体を撮像して第４の校正用画像の画像情報を取得し、
   前記第３の校正用画像及び前記第４の校正用画像の夫々の画像情報に基づいて、夫々の前記距離相当誤差値を算出し、前記第３の校正用画像及び前記第４の校正用画像の夫々の画像情報に基づき算出した前記距離相当誤差値の差に基づいて、前記第２の補正値を修正することを特徴とする請求項６に記載の距離計測装置の校正方法。
8. 前記第２の工程において、前記第３の校正用画像とは異なる距離で前記第２の校正用被写体を撮像して第４の校正用画像の画像情報を取得し、
   前記第３の校正用画像及び前記第４の校正用画像の夫々の画像情報に基づいて、夫々の前記距離相当誤差値を算出し、前記第３の校正用画像及び前記第４の校正用画像の画像情報に基づき算出した前記距離相当誤差値に基づいて、前記第１の補正値及び前記第２の補正値を修正することを特徴とする請求項６に記載の距離計測装置の校正方法。
9. 前記距離計測装置は、像面位相差測距方式の撮像素子により撮像を行うことを特徴とする請求項１に記載の距離計測装置の校正方法。
10. 請求項１～９のいずれか１項に記載の前記距離計測装置の校正方法を用いて修正された前記補正情報に基づき、少なくとも２つの視点から撮像した画像の視差を用いて前記被写体の距離を算出する距離計測装置。
11. 請求項１～９のいずれか１項に記載の前記距離計測装置の校正方法の各工程をコンピュータにより実行させるためのコンピュータプログラム。
    
    
    

Images