JPWO2011154987A1 - カメラ距離測定装置 - Google Patents

Abstract

車両に取り付けたカメラが撮像したカメラ画像上に車両を基準に格子状に配置した複数の目盛線を重畳した画像を表示装置に表示して、目盛線の各格子辺に規定された単位距離から、車両の幅方向及びカメラの撮像方向の距離を推定する。

Description

この発明は、例えば車載カメラを利用して、カメラ画像に写る被写体までの距離を測定するカメラ距離測定装置に関するものである。

例えば、特許文献１には、被写体に光照射した画像を含む時間的に近接した静止画像を利用して、被写体までの光の到達状態による距離測定を実現した装置が開示されている。
しかしながら、特許文献１に代表される従来の技術は、時間的に異なる静止画像を利用するため、動画像の場合や車載カメラのように車両の移動が伴う場合、被写体に時間的なずれが発生する可能性がある。また、光照射する専用の機構を別途用意する必要がある。

この発明は、上記のような課題を解決するためになされたもので、カメラ画像に写る被写体までの距離を測定できるカメラ距離測定装置を得ることを目的とする。

特開２００４−３２８６５７号公報

この発明に係るカメラ距離測定装置は、車両に取り付けたカメラが撮像したカメラ画像上に車両を基準に格子状に配置した複数の目盛線を重畳した画像を表示装置に表示して、目盛線の各格子辺に規定された単位距離から、車両の幅方向及びカメラの撮像方向の距離を測定するカメラ距離測定装置であって、カメラの車両への取り付け位置及び角度を示す取り付け情報、カメラの画角を示す画角情報、カメラのレンズの射影方式を示す射影方式情報及び表示装置の画面サイズを示す画面サイズ情報を、パラメータ情報として格納するパラメータ格納部と、複数の目盛線を単位距離で格子状に配置した各格子点の実空間における各位置座標にカメラのレンズの歪みを補正する処理をそれぞれ施し、パラメータ格納部から読み出した取り付け情報、画角情報、射影方式情報及び画面サイズ情報に基づいて、レンズの歪みの補正後の各位置座標をカメラ画像における位置座標にそれぞれ変換した目盛線情報を生成する測距演算部と、目盛線情報に基づいて複数の目盛線を格子状に直交させて配置した目盛線画像を生成する線描写部と、カメラ画像におけるカメラのレンズの歪み及び射影方式による歪みを除去する補正を行う画像補正部と、線描写部に生成された目盛線画像と画像補正部で補正されたカメラ画像とを重畳して表示装置に出力する画像重畳部とを備えるものである。

また、この発明に係るカメラ距離測定装置は、車両に取り付けたカメラが撮像したカメラ画像を表示装置に表示し、当該カメラ画像内の位置から車両までの距離を測定するカメラ距離測定装置であって、カメラの車両への取り付け位置及び角度を示す取り付け情報、カメラの画角を示す画角情報、カメラのレンズの射影方式を示す射影方式情報及び表示装置の画面サイズを示す画面サイズ情報を、パラメータ情報として格納するパラメータ格納部と、表示装置に表示されたカメラ画像内の位置を特定する画面内位置特定部と、画面内位置特定部で特定されたカメラ画像空間の位置座標にカメラのレンズの歪みを補正する処理を施し、パラメータ格納部から読み出した取り付け情報、画角情報、射影方式情報及び画面サイズ情報に基づいて、レンズの歪みの補正後の位置座標を、実空間での地平面から所定の高さにおける位置座標に変換した位置情報を生成する測距演算部と、位置情報に基づいて、画面内位置特定部で特定されたカメラ画像内の位置から車両までの距離を出力する出力部とを備えるものである。

この発明によれば、目盛線の各格子辺に規定された単位距離から、車両の幅方向及びカメラの撮像方向の距離を測定することができ、また、カメラ画像に写る被写体までの距離を測定できるという効果がある。

この発明の実施の形態１によるカメラ距離測定装置の構成を示すブロック図である。 目盛線生成部で計算される実空間上における目盛線の被写体画像パターンの例を示す図である。 目盛線画像の一例を示す図である。 目盛線画像の他の例を示す図である。 この発明の実施の形態２によるカメラ距離測定装置の構成を示すブロック図である。 この発明の実施の形態３によるカメラ距離測定装置の構成を示すブロック図である。 実施の形態３による目盛線画像の一例を示す図である。 この発明の実施の形態４によるカメラ距離測定装置の構成を示すブロック図である。

以下、この発明をより詳細に説明するため、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１は、この発明の実施の形態１によるカメラ距離測定装置の構成を示すブロック図である。図１において、カメラ距離測定装置１は、測距演算部２、カメラユニット３、パラメータ格納部４、表示部５、画像補正部６、線描写部７、及び画像重畳部８を備える。
測距演算部２は、車両からの距離を示す目盛線画像を計算する構成部であり、目盛線生成部９、レンズ歪関数演算部１０、射影関数演算部１１、投影面変換関数演算部１２及び映像出力関数演算部１３を備える。

カメラユニット３は、車両周辺（例えば、車両の後部）を撮像するカメラを有し、当該カメラで撮像したカメラ画像を画像補正部６に送信する。画像補正部６は、カメラユニット３から受信したカメラ画像に対して所定の補正を施す構成部であって、補正後の画像を画像重畳部８へ出力する。表示部５には、線描写部７に生成された車両からの距離を規定する目盛線の画像を画像補正部６からのカメラ画像に重畳した画像が表示される。車両の運転者は、当該画像における目盛線を目安として、運転する車両と障害物の距離を視認することができる。

パラメータ格納部４は、測距演算部２によってデータ読み出し可能に設けられた記憶部であり、取り付け情報、画角情報、射影方式情報、及び画面サイズ情報を記憶する。
取り付け情報とは、車両に対してカメラがどのように取り付けられているか、すなわち取り付け位置及び取り付け角度を示す情報である。取り付け位置を示す情報には、車両に対するカメラの取り付け高さ、及び車両幅の中心からの偏移が含まれる。
画角情報とは、カメラユニット３のカメラで撮像される被写体の範囲を示す角度情報であり、カメラの最大水平画角Ｘａ及び最大垂直画角Ｙａ若しくは対角画角が含まれる。
射影方式情報とは、カメラユニット３のカメラに用いられるレンズの射影方式を示す情報である。実施の形態１では、カメラのレンズとして魚眼レンズを用いるので、射影方式情報としては、立体射影、等距離射影、等立体角射影及び正射影のいずれかが該当する。
なお、射影方式情報は、カメラ補正情報を構成している。
画面サイズ情報とは、映像出力における画面サイズ、すなわち表示部５の画像表示時における表示範囲を示す情報であり、表示部５の最大水平描画ピクセルサイズＸｐ及び最大垂直描画ピクセルサイズＹｐが含まれる。

次に動作について説明する。
測距演算部２の目盛線生成部９は、予め設定された目盛線サイズ情報に基づいて、表示部５に表示させる目盛線の描写位置、すなわちカメラが撮像するカメラ画像における位置である目盛線情報を計算する。以下、カメラユニット３が車両の後部に取り付けられ、車両の後方を撮像範囲とする場合について説明する。
図２は、目盛線生成部で計算される実空間上における目盛線の被写体画像パターンの例を示す図である。目盛線の被写体画像パターンとは、カメラの撮像方向（車両の後方）の地平面に仮想的に設定する格子状の目盛線である。
図２において、直線Ｌ１は車両の幅方向に垂直に並ぶ目盛線であり、直線Ｌ２〜Ｌ５は車両の幅方向に平行に並ぶ目盛線である。直線Ｌ１と直線Ｌ２〜Ｌ５のそれぞれとは交差して複数の格子を形成している。各格子は、直線Ｌ１の長さ方向の辺と直線Ｌ２〜Ｌ５の長さ方向の辺とが、それぞれ実空間における所定の長さ（例えば、０．５０メートル）を有する。

目盛線生成部９は、目盛線サイズ情報を基に、直線Ｌ１の目盛線群が並ぶ車両幅方向の長さを決定して、図２に示す格子状の目盛線群を規定し、各直線の交点の座標を求める。
この座標の値に対して、カメラで撮像されたときに受ける影響と同様の影響を与える関数が後段の各関数演算部１０〜１３にて演算され、演算された結果としての位置の座標である目盛線情報に基づいて、線描写部７で目盛線画像を生成することによって、表示部５には、カメラ画像に対してずれなく目盛線が重畳された画像が表示される。
以下では、簡単のために、図２に示す車両の後方の地平面に仮想的に設定した目盛線の交点の座標のうちの１つの座標（ｘ，ｙ）を例に挙げて説明する。なお、座標（ｘ，ｙ）は、例えば車両から所定位置離れた車両後方の地平面上の点を原点とする直交座標上の位置として定義することができる。

レンズ歪関数演算部１０は、目盛線生成部９で計算された目盛線を示す座標（ｘ，ｙ）にレンズ歪関数ｉを演算することで、レンズ歪みを受けた座標（ｉ（ｘ），ｉ（ｙ））に変換する。レンズ歪関数ｉとは、カメラユニット３のカメラで被写体を撮像する際に、レンズ形状によってカメラ画像が受ける歪みを関数で表現したものである。
レンズ歪関数ｉは、例えばレンズ歪みに関するＺｈａｎｇのモデルにより求めることができる。このモデルでは、放射歪曲でレンズ歪みをモデル化しており、（ｘ，ｙ）をレンズ歪みの影響を受けていない座標、（ｉ（ｘ），ｉ（ｙ））をレンズ歪みの影響を受けた座標、（ｕ，ｖ）をレンズ歪みの影響を受けていない正規化座標、（ｕ^〜，ｖ^〜）をレンズ歪みの影響を受けた正規化座標とするとき、下記式となる。なお、ｕ^〜はｕチルダであり、ｖ^〜はｖチルダである。
ｕ^〜＝ｕ＋ｕ（ｋ_１ｒ^２＋ｋ_２ｒ^４）
ｖ^〜＝ｖ＋ｖ（ｋ_１ｒ^２＋ｋ_２ｒ^４）
ｒ^２＝ｕ^２＋ｖ^２
ただし、ｋ_１及びｋ_２は、レンズ歪みの影響を受けていない正規化座標（ｕ，ｖ）に対するレンズ歪みの影響を受けた正規化座標（ｕ^〜，ｖ^〜）の放射歪曲によるレンズ歪みを多項式で表したときの係数であり、レンズに固有な定数である。ここで、レンズ歪みの影響を受けていない座標における放射歪曲の中心を主点（ｘｏ，ｙｏ）とすると、下記式の関係が成り立つ。
ｉ（ｘ）＝ｘ＋（ｘ−ｘｏ）（ｋ_１ｒ^２＋ｋ_２ｒ^４）
ｉ（ｙ）＝ｙ＋（ｙ−ｙｏ）（ｋ_１ｒ^２＋ｋ_２ｒ^４）
なお、ｘ_０及びｙ_０は、レンズに固有な定数である。
この関係式によって、レンズ歪みの影響を受けていない座標（ｘ，ｙ）をレンズ歪みの影響を受けた座標（ｉ（ｘ），ｉ（ｙ））に変換することができる。

射影関数演算部１１は、レンズ歪関数演算部１０から出力されるレンズ歪みを受けた座標（ｉ（ｘ），ｉ（ｙ））に対して、パラメータ格納部４から入力した射影方式情報に基づいて決められる射影方式による関数ｈを演算することにより、射影歪みを受けた座標（ｈ（ｉ（ｘ）），ｈ（ｉ（ｙ）））に変換する。
射影方式による関数ｈとは、レンズに対して角度θで入射した光が、レンズ中心からどれだけ離れた位置に集光するかを関数で示したものである。射影方式による関数ｈは、レンズの焦点距離をｆとし、入射光の入射角度、すなわち半画角をθ、カメラの撮像面における像高をＹとすると、下記関係が成り立つ。
立体射影では、Ｙ＝２ｆｔａｎ（θ／２）、等距離射影では、Ｙ＝ｆθ、等立体角射影では、Ｙ＝２ｆｓｉｎ（θ／２）となり、正射影では、Ｙ＝ｆｓｉｎθとなる。
よって、レンズ歪関数演算部１０から出力されるレンズ歪みを受けた座標（ｉ（ｘ），ｉ（ｙ））の値ｉ（ｘ）を、レンズに対する入射角度θに変換して上記射影式に代入することにより、射影歪みを受けた値ｈ（ｉ（ｘ））が得られる。同様に、レンズ歪みを受けた座標（ｉ（ｘ），ｉ（ｙ））の値ｉ（ｙ）を、レンズに対する入射角度θに変換して上記射影式に代入することにより、値ｈ（ｉ（ｙ））が得られる。以上のようにして、射影歪みを受けた座標（ｈ（ｉ（ｘ）），ｈ（ｉ（ｙ）））を得ることができる。

投影面変換関数演算部１２は、射影関数演算部１１から出力された射影歪みを受けた座標（ｈ（ｉ（ｘ）），ｈ（ｉ（ｙ）））に対して、パラメータ格納部４から入力した取り付け情報に基づいて決められる投影面変換関数ｆを演算することで、投影面変換を受けた座標（ｆ（ｈ（ｉ（ｘ））），ｆ（ｈ（ｉ（ｙ）））に変換する（撮像面変換）。
投影面変換とは、カメラで撮像される画像がカメラの取り付け位置や角度といった取り付け状態に影響することから、取り付け状態による影響を加える変換のことである。
投影面変換関数ｆは、地平面に対するカメラの取り付けの高さＬ、鉛直線に対するカメラの光軸の傾き角度である取り付け垂直角度φ、車両を前後に縦断する中心線に対する傾き角度である取り付け水平角度θ、車両幅の中心からの偏移である距離Ｈを係数に持つ幾何学関数で表される。なお、カメラは光軸を回転軸とするチルト回転の方向にはずれておらず、正しく取り付けられているものとする。

映像出力関数演算部１３は、投影面変換を受けた座標（ｆ（ｈ（ｉ（ｘ））），ｆ（ｈ（ｉ（ｙ））））に対して、パラメータ格納部４から入力した画角情報と画面サイズ情報に基づいて決められる映像出力関数ｇを演算することで、映像出力用の座標（ｇ（ｆ（ｈ（ｉ（ｘ）））），ｇ（ｆ（ｈ（ｉ（ｙ）））））に変換する。カメラで撮像されたカメラ画像のサイズと表示部５が表示可能な画像のサイズとは一般的に異なっているので、カメラ画像には、表示部５が表示可能なサイズに変更されている。
そこで、映像出力関数演算部１３において、カメラ画像の表示部５に表示可能なサイズへの変更に相当する変換を投影面変換を受けた座標（ｇ（ｆ（ｈ（ｉ（ｘ）））），ｇ（ｆ（ｈ（ｉ（ｙ）））））に対して行うことで、カメラ画像とスケールを一致させることができる。映像出力変換関数ｇは、カメラの最大水平画角Ｘａと最大垂直画角Ｙａと、映像出力における最大水平描画ピクセルサイズＸｐと最大垂直描画ピクセルサイズＹｐを係数に持つ写像関数で表される。

なお、以上の説明では、目盛線を示す各座標に対して、レンズ歪関数、射影関数、投影面変換関数、映像出力関数の順で、演算するものとしたが、各関数を演算する順番はこの順番でなくともよい。

また、投影面変換関数演算部１２における投影面変換関数ｆには、撮像されたカメラ画像のサイズを示す画面サイズ情報として、カメラ画角（カメラの最大水平画角Ｘａと最大垂直画角Ｙａ）が含まれる。このため、カメラ画像の一部を切り出して表示させる場合でも、投影面変換関数ｆにおけるカメラ画角の係数を変更することで、一部を切り出したカメラ画像に合うように目盛線を表示させることができる。

画像補正部６は、カメラユニット３のカメラのレンズ歪情報に基づいてレンズ歪関数ｉの逆関数ｉ^−１を求めて、カメラユニット３で撮像されたカメラ画像に対して演算する。カメラユニット３で撮像されたカメラ画像は、レンズ歪の影響を受けているため、レンズ歪逆関数ｉ^−１を演算することで、レンズ歪の影響を受けていないカメラ画像に補正することができる。

上述のようにして変換処理を受けた目盛線を規定する座標情報は、目盛線情報として、測距演算部２から線描写部７へ出力される。線描写部７は、当該目盛線情報に基づいて、複数の目盛線を格子状に直交させて配置した目盛線画像を生成する。

次に、画像補正部６は、射影方式情報に基づいて射影関数ｈの逆関数ｈ^−１を求めて、レンズ歪逆関数演算を施したカメラ画像に対して演算する。カメラユニット３で撮像されたカメラ画像は、レンズの射影方式による歪みを受けているため、射影逆関数ｈ^−１を演算することで、射影歪みを受けていないカメラ画像に補正することができる。

画像重畳部８は、線描写部７で描写された目盛線画像が、画像補正部６で補正されたカメラ画像に重畳されるよう、目盛線画像及び補正後のカメラ画像を別レイヤーの画像として重畳する。表示部５は、レイヤーの異なる目盛線画像及び補正後のカメラ画像のうち、補正後のカメラ画像に映像出力関数ｇを演算することで、補正後のカメラ画像のサイズを当該表示部５が表示可能なサイズに変更する。そして、目盛線画像及びサイズの変更された補正後のカメラ画像を合成して表示する。カメラ画像における被写体は、レンズ歪み、射影方式、カメラの取り付け状態の影響を受けているため、測距演算部２が、これらに対応した座標変換を行うことで、カメラ画像に合った目盛線を表示させることができる。

図３は、目盛線画像の一例を示す図である。図３において、直線Ｌ１ａは車両の幅方向に垂直に並ぶ目盛線であり、図２における直線Ｌ１に対応している。直線Ｌ２ａ〜Ｌ５ａは車両の幅方向に平行に並ぶ目盛線であり、図２における直線Ｌ２ａ〜Ｌ５ａに対応している。表示部５には、上述した測距演算部２による処理でレンズ歪み及び射影方式による歪みが取り除かれたカメラ画像と、当該カメラ画像と合うように重畳された目盛線とが表示される。

直線Ｌ１ａ〜Ｌ５ａで形成される各格子は、図３に示すように、車両幅方向及びこれに垂直な方向（奥行き方向）のそれぞれに所定の距離（例えば、０．５０メートル）を有している。このため、表示部５に表示された目盛線によって車両からの距離を視認することができる。
従来でも奥行き方向には距離を示す目盛線を表示できたが、カメラのレンズ歪みによって画像の横方向が歪むため、車両の幅方向には、距離を示す目盛線を正確に表示することができなかった。
これに対して、この実施の形態１では、測距演算部２によってレンズ歪み及び射影方式による歪みが取り除かれるため、表示部５の表示画面において、車両の幅方向での距離も正確に表示することができる。

図４は、目盛線画像の他の例を示す図である。図４において、直線Ｌ１ａ−１は、駐車場の幅を示す目盛線であり、直線Ｌ１ａ−１，Ｌ１ａ−１間の距離が駐車場の幅となる。また、直線Ｌ１ａ−２は、車両の幅を示す目盛線であり、直線Ｌ１ａ−２，Ｌ１ａ−２間の距離が車両の幅となる。直線Ｌ２ａ〜Ｌ５ａは、車両の幅方向に平行に並ぶ目盛線であり、図２における直線Ｌ２ａ〜Ｌ５ａに対応している。このように目盛線を構成することにより、車両の幅方向の距離を正確に示すことが可能であり、駐車時のガイド線としても利用することができる。

以上のように、この実施の形態１によれば、カメラの車両への取り付け位置及び角度を示す取り付け情報、カメラの画角を示す画角情報、カメラのレンズの射影方式を示す射影方式情報及び表示装置の画面サイズを示す画面サイズ情報を、パラメータ情報として格納するパラメータ格納部４と、複数の目盛線を単位距離で格子状に配置した各格子点の実空間における各位置座標にカメラのレンズの歪みを補正する処理をそれぞれ施し、パラメータ格納部４から読み出した取り付け情報、画角情報、射影方式情報及び画面サイズ情報に基づいて、レンズの歪みの補正後の各位置座標をカメラ画像における位置座標にそれぞれ変換した目盛線情報を生成する測距演算部２と、目盛線情報に基づいて複数の目盛線を格子状に直交させて配置した目盛線画像を生成する線描写部７と、カメラ画像におけるカメラのレンズの歪み及び射影方式による歪みを除去する補正を行う画像補正部６と、線描写部７に生成された目盛線画像と画像補正部６で補正されたカメラ画像とを重畳して表示部５に出力する画像重畳部８とを備える。このように構成することにより、カメラ画像に写る被写体までの距離を容易に推定できる目盛線画像を提示することができる。

実施の形態２．
図５は、この発明の実施の形態２によるカメラ距離測定装置の構成を示すブロック図である。図５において、カメラ距離測定装置１Ａは、測距演算部２Ａ、カメラユニット３、パラメータ格納部４、出力部５Ａ、及び画面内位置特定部１４を備える。
測距演算部２Ａは、画面内位置特定部１４で指定されたカメラ画像における任意の座標位置を、実空間上の地面平面の位置に変換計算して車両からの距離を計算する構成部であり、レンズ歪関数演算部１０、射影関数演算部１１、投影面変換関数演算部１２及び映像出力関数演算部１３を備える。

出力部５Ａは、測距演算部２Ａで計算された車両からの距離を出力する構成部であり、ディスプレイである表示部又は音声で報知する音声出力部で構成される。
画面内位置特定部１４は、画面に表示したカメラ画像上の任意の位置を指定する構成部であり、例えば、画面上にポインタを表示し、ポインタで任意の位置を指定する入力処理部であったり、カメラ画像を表示する画面に設けたタッチパネルで構成してもよい。

次に動作について説明する。
画面内位置特定部１４を用いて、画面に表示したカメラ画像上の任意の位置を指定すると、当該カメラ画像空間の指示位置の座標（ｕ，ｖ）は、測距演算部２Ａへ入力される。
測距演算部２Ａのレンズ歪関数演算部１０は、画面内位置特定部１４で指定されたカメラ画像の位置座標（ｕ，ｖ）にレンズ歪関数ｉを演算することで、レンズ歪みを受けた座標（ｉ（ｕ），ｉ（ｖ））に変換する。なお、レンズ歪関数ｉは、上記実施の形態１と同様に、カメラユニット３のカメラで被写体を撮像する際に、レンズ形状によってカメラ画像が受ける歪みを関数で表現したものである。
レンズ歪関数ｉは、例えばレンズ歪みに関するＺｈａｎｇのモデルにより求めることができる。このモデルでは、放射歪曲でレンズ歪みをモデル化しており、（ｕ，ｖ）^Ｔをレンズ歪みの影響を受けていない理想的な画像座標、（ｕ^〜，ｖ^〜）^Ｔをレンズ歪みの影響を受けた観測画像座標、（ｘ，ｙ）^Ｔをレンズ歪みの影響を受けていない理想的な正規化座標、（ｘ^〜，ｙ^〜）^Ｔをレンズ歪みの影響を受けた観測正規化座標とするとき、下記式となる。なお、ｘ^〜はｘチルダ、ｙ^〜はｙチルダ、ｕ^〜はｕチルダ、ｖ^〜はｖチルダである。
ｘ^〜＝ｘ＋ｘ（ｋ_１ｒ^２＋ｋ_２ｒ^４）
ｙ^〜＝ｙ＋ｙ（ｋ_１ｒ^２＋ｋ_２ｒ^４）
ｒ^２＝ｘ^２＋ｙ^２
ただし、ｋ_１及びｋ_２は、レンズ歪みの影響を受けていない正規化座標（ｘ，ｙ）^Ｔに対するレンズ歪みの影響を受けた正規化座標（ｘ^〜，ｙ^〜）^Ｔの放射歪曲によるレンズ歪みを多項式で表したときの係数であり、レンズに固有な定数である。ここで、レンズ歪みの影響を受けていない座標における放射歪曲の中心を主点（ｕｏ，ｖｏ）^Ｔとすると、下記式の関係が成り立つ。
ｕ^〜＝ｕ＋（ｕ−ｕｏ）（ｋ_１ｒ^２＋ｋ_２ｒ^４）
ｖ^〜＝ｖ＋（ｖ−ｖｏ）（ｋ_１ｒ^２＋ｋ_２ｒ^４）
なお、ｕ_Ｏ及びｖ_Ｏは、レンズに固有な定数である。
この関係式によって、カメラ画像空間の被写体の位置（ｕ，ｖ）を、実空間の被写体の位置座標（ｘ，ｙ）（＝（ｉ（ｕ），ｉ（ｖ）））に変換することができる。

射影関数演算部１１は、レンズ歪関数演算部１０から出力されるレンズ歪みを受けた座標（ｉ（ｕ），ｉ（ｖ））に対して、パラメータ格納部４から入力した射影方式情報に基づいて決められる射影方式による関数ｈを演算することにより、射影歪みを受けた座標（ｈ（ｉ（ｕ）），ｈ（ｉ（ｖ）））に変換する。
射影方式による関数ｈとは、レンズに対して角度θで入射した光が、レンズ中心からどれだけ離れた位置に集光するかを関数で示したものである。射影方式による関数ｈは、レンズの焦点距離をｆとし、入射光の入射角度、すなわち半画角をθ、カメラの撮像面における像高をＹとすると、下記関係が成り立つ。
立体射影では、Ｙ＝２ｆｔａｎ（θ／２）、等距離射影では、Ｙ＝ｆθ、等立体角射影では、Ｙ＝２ｆｓｉｎ（θ／２）となり、正射影では、Ｙ＝ｆｓｉｎθとなる。
よって、レンズ歪関数演算部１０から出力されるレンズ歪みを受けた座標（ｉ（ｕ），ｉ（ｖ））の値ｉ（ｕ）を、レンズに対する入射角度θに変換して上記射影式に代入することにより、射影歪みを受けた値ｈ（ｉ（ｕ））が得られる。同様に、レンズ歪みを受けた座標（ｉ（ｕ），ｉ（ｖ））の値ｉ（ｖ）を、レンズに対する入射角度θに変換して上記射影式に代入することにより、値ｈ（ｉ（ｖ））が得られる。以上のようにして、射影歪みを受けた座標（ｈ（ｉ（ｕ）），ｈ（ｉ（ｖ）））を得ることができる。

投影面変換関数演算部１２は、射影関数演算部１１から出力された射影歪みを受けた座標（ｈ（ｉ（ｕ）），ｈ（ｉ（ｖ）））に対して、パラメータ格納部４から入力した取り付け情報に基づいて決められる投影面変換関数ｆを演算することで、投影面変換を受けた座標（ｆ（ｈ（ｉ（ｕ））），ｆ（（ｈ（ｉ（ｖ））））に変換する（撮像面変換）。
投影面変換とは、カメラで撮像される画像がカメラの取り付け位置や角度といった取り付け状態に影響することから、取り付け状態による影響を加える変換のことである。
投影面変換関数ｆは、地平面に対するカメラの取り付けの高さＬ、鉛直線に対するカメラの光軸の傾き角度である取り付け垂直角度φ、車両を前後に縦断する中心線に対する傾き角度である取り付け水平角度θ、車両幅の中心からの偏移である距離Ｈを係数に持つ幾何学関数で表される。なお、カメラは光軸を回転軸とするチルト回転の方向にはずれておらず、正しく取り付けられているものとする。

映像出力関数演算部１３は、投影面変換を受けた座標（ｆ（ｈ（ｉ（ｕ））），ｆ（ｈ（ｉ（ｖ））））に対して、パラメータ格納部４から入力した画角情報と画面サイズ情報に基づいて決められる映像出力関数ｇを演算することで、映像出力用の座標（ｇ（ｆ（ｈ（ｉ（ｕ）））），ｇ（ｆ（ｈ（ｉ（ｖ）））））に変換する。
映像出力関数演算部１３において、カメラ画像の表示部に表示可能なサイズへの変更に相当する変換を投影面変換を受けた座標（ｇ（ｆ（ｈ（ｉ（ｕ）））），ｇ（ｆ（ｈ（ｉ（ｖ）））））に対して行うことで、カメラ画像とスケールを一致させることができる。映像出力変換関数ｇは、カメラの最大水平画角Ｘａと最大垂直画角Ｙａと、映像出力における最大水平描画ピクセルサイズＸｐと最大垂直描画ピクセルサイズＹｐを係数に持つ写像関数で表される。

なお、以上の説明では、目盛線を示す各座標に対して、レンズ歪関数、射影関数、投影面変換関数、映像出力関数の順で、演算するものとしたが、各関数を演算する順番はこの順番でなくともよい。

また、投影面変換関数演算部１２における投影面変換関数ｆには、撮像されたカメラ画像のサイズを示す画面サイズ情報として、カメラ画角（カメラの最大水平画角Ｘａと最大垂直画角Ｙａ）が含まれる。このため、カメラ画像の一部を切り出して表示させる場合でも、投影面変換関数ｆにおけるカメラ画角の係数を変更することで、一部を切り出したカメラ画像に合うように目盛線を表示させることができる。
これにより、カメラ映像の２次元空間の位置と、実空間における３次元空間の１元である高さを固定した空間との相互変換が可能になる。
このように、カメラ映像の２次元空間と、実空間の３次元空間を相互変換できるので、画面内位置特定部１４を用いて任意のカメラ画像内の位置をユーザが特定することで、カメラ画像から実空間上の位置を提示することができる。

測距演算部２Ａが画面内位置特定部１４によって指定されたカメラ画面内の位置に対応する実空間の位置（実空間での高さｚにおける座標位置）を計算すると、出力部５Ａは、この計算値を利用者に出力する。例えば、出力部５Ａを音声出力部で構成した場合は、測距演算部２Ａが算出した位置を音声出力する。また、出力部５Ａをカメラユニット３のカメラ画像を表示する表示部として構成した場合には、表示画面上で車両からの距離を文字表示したり、距離に色を対応付けて色分け表示によって、距離を視認できるようにする。

以上のように、この実施の形態２によれば、カメラの車両への取り付け位置及び角度を示す取り付け情報、カメラの画角を示す画角情報、カメラのレンズの射影方式を示す射影方式情報及び表示装置の画面サイズを示す画面サイズ情報を、パラメータ情報として格納するパラメータ格納部４と、表示装置に表示されたカメラ画像内の位置を特定する画面内位置特定部１４と、画面内位置特定部１４で特定されたカメラ画像空間の位置座標にカメラのレンズの歪みを補正する処理を施し、パラメータ格納部４から読み出した取り付け情報、画角情報、射影方式情報及び画面サイズ情報に基づいて、レンズの歪みの補正後の位置座標を、実空間での地平面から所定の高さにおける位置座標に変換した位置情報を生成する測距演算部２Ａと、位置情報に基づいて、画面内位置特定部１４で特定されたカメラ画像内の位置から車両までの距離を出力する出力部５Ａとを備える。このように構成することで、カメラ画像の任意の位置を、実空間での高さｚ（地平面からカメラまでの高さ）における座標位置に変換計算することで車両からの距離を認識することができる。

実施の形態３．
実施の形態３は、上記実施の形態１，２を組み合わせた構成である。
図６は、この発明の実施の形態３によるカメラ距離測定装置の構成を示すブロック図である。図６において、カメラ距離測定装置１Ｂは、図１と図２とを組み合わせた構成を有している。上記実施の形態１と同様にして表示部５に目盛線画像を表示しつつ、上記実施の形態２と同様に当該目盛線画像内の任意の位置を画面内位置特定部１４で特定し、実空間での高さｚ（地平面からカメラまでの高さ）における座標位置に変換計算する。

図７は、実施の形態３による目盛線画像の一例を示す図である。図７において、直線Ｌ１ａ〜Ｌ５ａで形成される各格子は、上記実施の形態１と同様に、車両幅方向及びこれに垂直な方向（奥行き方向）のそれぞれに所定の距離（例えば、０．５０メートル）を有している。
また、画面内位置特定部１４として、当該目盛線画像を表示する表示部５に設けたタッチパネルを採用し、図７に示すように目盛線画像上の任意の位置を指示することにより、当該位置の車両からの距離を求めることができる。測距演算部２によって演算された当該距離は、表示部５によって画面上に文字表示してもよい。
図７の例では、車両幅の中心に対応する直線Ｌ５ａを基準としてｘ軸方向の距離が規定され、ｙ軸方向は、格子ごとの奥行き方向の所定距離で規定されており、指示された任意の点は、車両幅の中心から、ｘ軸方向に０．５０メートルで、ｙ軸方向（奥行き方向）に１．２５メートルであることを示している。このようにすることで、車両からの距離を視認することができる。

なお、図４に示す目盛線画像を表示し、画面内位置特定部１４を用いて駐車の際に駐車場に存在する障害物を特定し、当該障害物と車両との距離を表示するようにしてもよい。

以上のように、この実施の形態３によれば、上記実施の形態１の構成に加えて、表示部５に表示されたカメラ画像内の位置を特定する画面内位置特定部１４を備え、測距演算部２が、画面内位置特定部１４で特定されたカメラ画像空間の位置座標にカメラのレンズの歪みを補正する処理を施し、パラメータ格納部４から読み出した取り付け情報、画角情報、射影方式情報及び画面サイズ情報に基づいて、レンズの歪みの補正後の位置座標を、実空間での地平面から所定の高さにおける位置座標に変換した位置情報を生成し、表示部５が、位置情報に基づいて画面内位置特定部１４で特定されたカメラ画像内の位置から車両までの距離を出力する。このように構成することで、カメラ画像に写る被写体までの距離を容易に測定できる目盛線画像を提示しつつ、目盛線画像の任意の位置を、実空間での高さｚ（地平面からカメラまでの高さ）における座標位置に変換計算することで車両からの距離を認識することができる。

実施の形態４．
図８は、この発明の実施の形態４によるカメラ距離測定装置の構成を示すブロック図である。カメラ距離測定装置１Ｃは、上記実施の形態２における画面内位置特定部１４として画像認識部１５を備える。画像認識部１５は、表示画面に写った特定の被写体（障害物）を画像認識してカメラ画像上の座標位置を特定する構成部である。例えば、駐車支援の際、駐車場の障害物を既存の画像認識技術を用いて認識し、カメラ画像上での位置座標を特定する。この位置座標を測距演算部２Ａが処理することにより、障害物と車両との距離を提示することができる。

なお、図８の例では、上記実施の形態２の画面内位置特定部１４として画像認識部１５を設ける構成を示したが、上記実施の形態３で図６を用いて説明した構成の画面内位置特定部１４として画像認識部１５を設けた構成としてもよい。

以上のように、この実施の形態４によれば、画像認識によってカメラ画像内の対象物の位置を検出する画像認識部１５を備えたので、カメラ画像の画像認識によってカメラ画像に写る任意の位置（障害物の位置）を特定することから、カメラ画像に写る障害物までの距離を容易に推定することができる。

この発明に係るカメラ距離測定装置は、カメラ画像に写った被写体との距離を測定可能であることから、車両後方を撮像範囲とするリアカメラを用いた駐車支援装置等に有効に適用できる。

この発明は、例えば車載カメラを利用して、カメラ画像に写る被写体までの距離を測定するカメラ距離測定装置に関するものである。

例えば、特許文献１には、被写体に光照射した画像を含む時間的に近接した静止画像を利用して、被写体までの光の到達状態による距離測定を実現した装置が開示されている。

特開２００４−３２８６５７号公報

しかしながら、特許文献１に代表される従来の技術は、時間的に異なる静止画像を利用するため、動画像の場合や車載カメラのように車両の移動が伴う場合、被写体に時間的なずれが発生する可能性がある。また、光照射する専用の機構を別途用意する必要がある。
この発明は、上記のような課題を解決するためになされたもので、カメラ画像に写る被写体までの距離を測定できるカメラ距離測定装置を得ることを目的とする。

この発明に係るカメラ距離測定装置は、車両に取り付けたカメラが撮像したカメラ画像上に車両を基準に格子状に配置した複数の目盛線を重畳した画像を表示装置に表示して、目盛線の各格子辺に規定された単位距離から、車両の幅方向及びカメラの撮像方向の距離を測定するカメラ距離測定装置であって、カメラの車両への取り付け位置及び角度を示す取り付け情報、カメラの画角を示す画角情報、カメラのレンズの射影方式を示す射影方式情報及び表示装置の画面サイズを示す画面サイズ情報を、パラメータ情報として格納するパラメータ格納部と、複数の目盛線を単位距離で格子状に配置した各格子点の実空間における各位置座標を、パラメータ格納部から読み出した取り付け情報、画角情報、射影方式情報及び画面サイズ情報に基づいて、レンズの歪み及び射影方式による歪みを受ける補正を行った各位置座標をカメラ画像における位置座標にそれぞれ変換した目盛線情報を生成する測距演算部と、目盛線情報に基づいて複数の目盛線を格子状に直交させて配置した目盛線画像を生成する線描写部と、カメラ画像におけるカメラのレンズの歪み及び射影方式による歪みを除去する補正を行う画像補正部と、線描写部に生成された目盛線画像とカメラ画像を重畳し、画像補正部で補正された当該カメラ画像を表示装置に出力する画像重畳部とを備えるものである。

また、この発明に係るカメラ距離測定装置は、車両に取り付けたカメラが撮像したカメラ画像を表示装置に表示し、当該カメラ画像内の位置から車両までの距離を測定するカメラ距離測定装置であって、カメラの車両への取り付け位置及び角度を示す取り付け情報、カメラの画角を示す画角情報、カメラのレンズの射影方式を示す射影方式情報及び表示装置の画面サイズを示す画面サイズ情報を、パラメータ情報として格納するパラメータ格納部と、表示装置に表示されたカメラ画像内の位置を特定する画面内位置特定部と、画面内位置特定部で特定されたカメラ画像空間の位置座標を、パラメータ格納部から読み出した取り付け情報、画角情報、射影方式情報及び画面サイズ情報に基づいて、レンズの歪み及び射影方式による歪みを除去する補正を行った位置座標を、実空間での地平面から所定の高さにおける位置座標に変換した位置情報を生成する測距演算部と、位置情報に基づいて、画面内位置特定部で特定されたカメラ画像内の位置から車両までの距離を出力する出力部とを備えるものである。

この発明によれば、目盛線の各格子辺に規定された単位距離から、車両の幅方向及びカメラの撮像方向の距離を測定することができ、また、カメラ画像に写る被写体までの距離を測定できるという効果がある。

この発明の実施の形態１によるカメラ距離測定装置の構成を示すブロック図である。 目盛線生成部で計算される実空間上における目盛線の被写体画像パターンの例を示す図である。 目盛線画像の一例を示す図である。 目盛線画像の他の例を示す図である。 この発明の実施の形態２によるカメラ距離測定装置の構成を示すブロック図である。 この発明の実施の形態３によるカメラ距離測定装置の構成を示すブロック図である。 実施の形態３による目盛線画像の一例を示す図である。 この発明の実施の形態４によるカメラ距離測定装置の構成を示すブロック図である。

以下、この発明をより詳細に説明するため、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１は、この発明の実施の形態１によるカメラ距離測定装置の構成を示すブロック図である。図１において、カメラ距離測定装置１は、測距演算部２、カメラユニット３、パラメータ格納部４、表示部５、画像補正部６、線描写部７、及び画像重畳部８を備える。
測距演算部２は、車両からの距離を示す目盛線画像を計算する構成部であり、目盛線生成部９、レンズ歪関数演算部１０、射影関数演算部１１、投影面変換関数演算部１２及び映像出力関数演算部１３を備える。

カメラユニット３は、車両周辺（例えば、車両の後部）を撮像するカメラを有し、当該カメラで撮像したカメラ画像を画像補正部６に送信する。画像補正部６は、カメラユニット３から受信したカメラ画像に対して所定の補正を施す構成部であって、補正後の画像を画像重畳部８へ出力する。表示部５には、線描写部７に生成された車両からの距離を規定する目盛線の画像を画像補正部６からのカメラ画像に重畳した画像が表示される。車両の運転者は、当該画像における目盛線を目安として、運転する車両と障害物の距離を視認することができる。

パラメータ格納部４は、測距演算部２によってデータ読み出し可能に設けられた記憶部であり、取り付け情報、画角情報、射影方式情報、及び画面サイズ情報を記憶する。
取り付け情報とは、車両に対してカメラがどのように取り付けられているか、すなわち取り付け位置及び取り付け角度を示す情報である。取り付け位置を示す情報には、車両に対するカメラの取り付け高さ、及び車両幅の中心からの偏移が含まれる。
画角情報とは、カメラユニット３のカメラで撮像される被写体の範囲を示す角度情報であり、カメラの最大水平画角Ｘａ及び最大垂直画角Ｙａ若しくは対角画角が含まれる。
射影方式情報とは、カメラユニット３のカメラに用いられるレンズの射影方式を示す情報である。実施の形態１では、カメラのレンズとして魚眼レンズを用いるので、射影方式情報としては、立体射影、等距離射影、等立体角射影及び正射影のいずれかが該当する。
なお、射影方式情報は、カメラ補正情報を構成している。
画面サイズ情報とは、映像出力における画面サイズ、すなわち表示部５の画像表示時における表示範囲を示す情報であり、表示部５の最大水平描画ピクセルサイズＸｐ及び最大垂直描画ピクセルサイズＹｐが含まれる。

次に動作について説明する。
測距演算部２の目盛線生成部９は、予め設定された目盛線サイズ情報に基づいて、表示部５に表示させる目盛線の描写位置、すなわちカメラが撮像するカメラ画像における位置である目盛線情報を計算する。以下、カメラユニット３が車両の後部に取り付けられ、車両の後方を撮像範囲とする場合について説明する。
図２は、目盛線生成部で計算される実空間上における目盛線の被写体画像パターンの例を示す図である。目盛線の被写体画像パターンとは、カメラの撮像方向（車両の後方）の地平面に仮想的に設定する格子状の目盛線である。
図２において、直線Ｌ１は車両の幅方向に垂直に並ぶ目盛線であり、直線Ｌ２〜Ｌ５は車両の幅方向に平行に並ぶ目盛線である。直線Ｌ１と直線Ｌ２〜Ｌ５のそれぞれとは交差して複数の格子を形成している。各格子は、直線Ｌ１の長さ方向の辺と直線Ｌ２〜Ｌ５の長さ方向の辺とが、それぞれ実空間における所定の長さ（例えば、０．５０メートル）を有する。

目盛線生成部９は、目盛線サイズ情報を基に、直線Ｌ１の目盛線群が並ぶ車両幅方向の長さを決定して、図２に示す格子状の目盛線群を規定し、各直線の交点の座標を求める。
この座標の値に対して、カメラで撮像されたときに受ける影響と同様の影響を与える関数が後段の各関数演算部１０〜１３にて演算され、演算された結果としての位置の座標である目盛線情報に基づいて、線描写部７で目盛線画像を生成することによって、表示部５には、カメラ画像に対してずれなく目盛線が重畳された画像が表示される。
以下では、簡単のために、図２に示す車両の後方の地平面に仮想的に設定した目盛線の交点の座標のうちの１つの座標（ｘ，ｙ）を例に挙げて説明する。なお、座標（ｘ，ｙ）は、例えば車両から所定位置離れた車両後方の地平面上の点を原点とする直交座標上の位置として定義することができる。

レンズ歪関数演算部１０は、目盛線生成部９で計算された目盛線を示す座標（ｘ，ｙ）にレンズ歪関数ｉを演算することで、レンズ歪みを受けた座標（ｉ（ｘ），ｉ（ｙ））に変換する。レンズ歪関数ｉとは、カメラユニット３のカメラで被写体を撮像する際に、レンズ形状によってカメラ画像が受ける歪みを関数で表現したものである。
レンズ歪関数ｉは、例えばレンズ歪みに関するＺｈａｎｇのモデルにより求めることができる。このモデルでは、放射歪曲でレンズ歪みをモデル化しており、（ｘ，ｙ）をレンズ歪みの影響を受けていない座標、（ｉ（ｘ），ｉ（ｙ））をレンズ歪みの影響を受けた座標、（ｕ，ｖ）をレンズ歪みの影響を受けていない正規化座標、（ｕ^~，ｖ^~）をレンズ歪みの影響を受けた正規化座標とするとき、下記式となる。なお、ｕ^~はｕチルダであり、ｖ^~はｖチルダである。
ｕ^~＝ｕ＋ｕ（ｋ₁ｒ²＋ｋ₂ｒ⁴）
ｖ^~＝ｖ＋ｖ（ｋ₁ｒ²＋ｋ₂ｒ⁴）
ｒ²＝ｕ²＋ｖ²
ただし、ｋ₁及びｋ₂は、レンズ歪みの影響を受けていない正規化座標（ｕ，ｖ）に対するレンズ歪みの影響を受けた正規化座標（ｕ^~，ｖ^~）の放射歪曲によるレンズ歪みを多項式で表したときの係数であり、レンズに固有な定数である。ここで、レンズ歪みの影響を受けていない座標における放射歪曲の中心を主点（ｘｏ，ｙｏ）とすると、下記式の関係が成り立つ。
ｉ（ｘ）＝ｘ＋（ｘ−ｘｏ）（ｋ₁ｒ²＋ｋ₂ｒ⁴）
ｉ（ｙ）＝ｙ＋（ｙ−ｙｏ）（ｋ₁ｒ²＋ｋ₂ｒ⁴）
なお、ｘ₀及びｙ₀は、レンズに固有な定数である。
この関係式によって、レンズ歪みの影響を受けていない座標（ｘ，ｙ）をレンズ歪みの影響を受けた座標（ｉ（ｘ），ｉ（ｙ））に変換することができる。

射影関数演算部１１は、レンズ歪関数演算部１０から出力されるレンズ歪みを受けた座標（ｉ（ｘ），ｉ（ｙ））に対して、パラメータ格納部４から入力した射影方式情報に基づいて決められる射影方式による関数ｈを演算することにより、射影歪みを受けた座標（ｈ（ｉ（ｘ）），ｈ（ｉ（ｙ）））に変換する。
射影方式による関数ｈとは、レンズに対して角度θで入射した光が、レンズ中心からどれだけ離れた位置に集光するかを関数で示したものである。射影方式による関数ｈは、レンズの焦点距離をｆとし、入射光の入射角度、すなわち半画角をθ、カメラの撮像面における像高をＹとすると、下記関係が成り立つ。
立体射影では、Ｙ＝２ｆｔａｎ（θ／２）、等距離射影では、Ｙ＝ｆθ、等立体角射影では、Ｙ＝２ｆｓｉｎ（θ／２）となり、正射影では、Ｙ＝ｆｓｉｎθとなる。
よって、レンズ歪関数演算部１０から出力されるレンズ歪みを受けた座標（ｉ（ｘ），ｉ（ｙ））の値ｉ（ｘ）を、レンズに対する入射角度θに変換して上記射影式に代入することにより、射影歪みを受けた値ｈ（ｉ（ｘ））が得られる。同様に、レンズ歪みを受けた座標（ｉ（ｘ），ｉ（ｙ））の値ｉ（ｙ）を、レンズに対する入射角度θに変換して上記射影式に代入することにより、値ｈ（ｉ（ｙ））が得られる。以上のようにして、射影歪みを受けた座標（ｈ（ｉ（ｘ）），ｈ（ｉ（ｙ）））を得ることができる。

投影面変換関数演算部１２は、射影関数演算部１１から出力された射影歪みを受けた座標（ｈ（ｉ（ｘ）），ｈ（ｉ（ｙ）））に対して、パラメータ格納部４から入力した取り付け情報に基づいて決められる投影面変換関数ｆを演算することで、投影面変換を受けた座標（ｆ（ｈ（ｉ（ｘ））），ｆ（ｈ（ｉ（ｙ）））に変換する（撮像面変換）。
投影面変換とは、カメラで撮像される画像がカメラの取り付け位置や角度といった取り付け状態に影響することから、取り付け状態による影響を加える変換のことである。
投影面変換関数ｆは、地平面に対するカメラの取り付けの高さＬ、鉛直線に対するカメラの光軸の傾き角度である取り付け垂直角度φ、車両を前後に縦断する中心線に対する傾き角度である取り付け水平角度θ、車両幅の中心からの偏移である距離Ｈを係数に持つ幾何学関数で表される。なお、カメラは光軸を回転軸とするチルト回転の方向にはずれておらず、正しく取り付けられているものとする。

映像出力関数演算部１３は、投影面変換を受けた座標（ｆ（ｈ（ｉ（ｘ））），ｆ（ｈ（ｉ（ｙ））））に対して、パラメータ格納部４から入力した画角情報と画面サイズ情報に基づいて決められる映像出力関数ｇを演算することで、映像出力用の座標（ｇ（ｆ（ｈ（ｉ（ｘ）））），ｇ（ｆ（ｈ（ｉ（ｙ）））））に変換する。カメラで撮像されたカメラ画像のサイズと表示部５が表示可能な画像のサイズとは一般的に異なっているので、カメラ画像には、表示部５が表示可能なサイズに変更されている。
そこで、映像出力関数演算部１３において、カメラ画像の表示部５に表示可能なサイズへの変更に相当する変換を投影面変換を受けた座標（ｇ（ｆ（ｈ（ｉ（ｘ）））），ｇ（ｆ（ｈ（ｉ（ｙ）））））に対して行うことで、カメラ画像とスケールを一致させることができる。映像出力変換関数ｇは、カメラの最大水平画角Ｘａと最大垂直画角Ｙａと、映像出力における最大水平描画ピクセルサイズＸｐと最大垂直描画ピクセルサイズＹｐを係数に持つ写像関数で表される。

なお、以上の説明では、目盛線を示す各座標に対して、レンズ歪関数、射影関数、投影面変換関数、映像出力関数の順で、演算するものとしたが、各関数を演算する順番はこの順番でなくともよい。

また、投影面変換関数演算部１２における投影面変換関数ｆには、撮像されたカメラ画像のサイズを示す画面サイズ情報として、カメラ画角（カメラの最大水平画角Ｘａと最大垂直画角Ｙａ）が含まれる。このため、カメラ画像の一部を切り出して表示させる場合でも、投影面変換関数ｆにおけるカメラ画角の係数を変更することで、一部を切り出したカメラ画像に合うように目盛線を表示させることができる。

画像補正部６は、カメラユニット３のカメラのレンズ歪情報に基づいてレンズ歪関数ｉの逆関数ｉ^-1を求めて、カメラユニット３で撮像されたカメラ画像に対して演算する。カメラユニット３で撮像されたカメラ画像は、レンズ歪の影響を受けているため、レンズ歪逆関数ｉ^-1を演算することで、レンズ歪の影響を受けていないカメラ画像に補正することができる。

上述のようにして変換処理を受けた目盛線を規定する座標情報は、目盛線情報として、測距演算部２から線描写部７へ出力される。線描写部７は、当該目盛線情報に基づいて、複数の目盛線を格子状に直交させて配置した目盛線画像を生成する。

次に、画像補正部６は、射影方式情報に基づいて射影関数ｈの逆関数ｈ^-1を求めて、レンズ歪逆関数演算を施したカメラ画像に対して演算する。カメラユニット３で撮像されたカメラ画像は、レンズの射影方式による歪みを受けているため、射影逆関数ｈ^-1を演算することで、射影歪みを受けていないカメラ画像に補正することができる。

画像重畳部８は、線描写部７で描写された目盛線画像が、カメラ画像に重畳されるよう、目盛線画像及びカメラ画像を別レイヤーの画像として重畳する。表示部５は、レイヤーの異なる目盛線画像及びカメラ画像を、画像補正部６で補正し、映像出力関数ｇを演算することで、補正後のカメラ画像のサイズを当該表示部５が表示可能なサイズに変更する。そして、目盛線画像及びサイズの変更された補正後のカメラ画像を合成して表示する。カメラ画像における被写体は、レンズ歪み、射影方式、カメラの取り付け状態の影響を受けているため、測距演算部２が、これらに対応した座標変換を行うことで、カメラ画像に合った目盛線を表示させることができる。

図３は、目盛線画像の一例を示す図である。図３において、直線Ｌ１ａは車両の幅方向に垂直に並ぶ目盛線であり、図２における直線Ｌ１に対応している。直線Ｌ２ａ〜Ｌ５ａは車両の幅方向に平行に並ぶ目盛線であり、図２における直線Ｌ２ａ〜Ｌ５ａに対応している。表示部５には、上述した測距演算部２による処理でレンズ歪み及び射影方式による歪みが取り除かれたカメラ画像と、当該カメラ画像と合うように重畳された目盛線とが表示される。

直線Ｌ１ａ〜Ｌ５ａで形成される各格子は、図３に示すように、車両幅方向及びこれに垂直な方向（奥行き方向）のそれぞれに所定の距離（例えば、０．５０メートル）を有している。このため、表示部５に表示された目盛線によって車両からの距離を視認することができる。
従来でも奥行き方向には距離を示す目盛線を表示できたが、カメラのレンズ歪みによって画像の横方向が歪むため、車両の幅方向には、距離を示す目盛線を正確に表示することができなかった。
これに対して、この実施の形態１では、測距演算部２によってレンズ歪み及び射影方式による歪みが取り除かれるため、表示部５の表示画面において、車両の幅方向での距離も正確に表示することができる。

図４は、目盛線画像の他の例を示す図である。図４において、直線Ｌ１ａ−１は、駐車場の幅を示す目盛線であり、直線Ｌ１ａ−１，Ｌ１ａ−１間の距離が駐車場の幅となる。また、直線Ｌ１ａ−２は、車両の幅を示す目盛線であり、直線Ｌ１ａ−２，Ｌ１ａ−２間の距離が車両の幅となる。直線Ｌ２ａ〜Ｌ５ａは、車両の幅方向に平行に並ぶ目盛線であり、図２における直線Ｌ２ａ〜Ｌ５ａに対応している。このように目盛線を構成することにより、車両の幅方向の距離を正確に示すことが可能であり、駐車時のガイド線としても利用することができる。

以上のように、この実施の形態１によれば、カメラの車両への取り付け位置及び角度を示す取り付け情報、カメラの画角を示す画角情報、カメラのレンズの射影方式を示す射影方式情報及び表示装置の画面サイズを示す画面サイズ情報を、パラメータ情報として格納するパラメータ格納部４と、複数の目盛線を単位距離で格子状に配置した各格子点の実空間における各位置座標にカメラのレンズの歪みを補正する処理をそれぞれ施し、パラメータ格納部４から読み出した取り付け情報、画角情報、射影方式情報及び画面サイズ情報に基づいて、レンズの歪みの補正後の各位置座標をカメラ画像における位置座標にそれぞれ変換した目盛線情報を生成する測距演算部２と、目盛線情報に基づいて複数の目盛線を格子状に直交させて配置した目盛線画像を生成する線描写部７と、カメラ画像におけるカメラのレンズの歪み及び射影方式による歪みを除去する補正を行う画像補正部６と、線描写部７に生成された目盛線画像と画像補正部６で補正されたカメラ画像とを重畳して表示部５に出力する画像重畳部８とを備える。このように構成することにより、カメラ画像に写る被写体までの距離を容易に推定できる目盛線画像を提示することができる。

実施の形態２．
図５は、この発明の実施の形態２によるカメラ距離測定装置の構成を示すブロック図である。図５において、カメラ距離測定装置１Ａは、測距演算部２Ａ、カメラユニット３、パラメータ格納部４、出力部５Ａ、及び画面内位置特定部１４を備える。
測距演算部２Ａは、画面内位置特定部１４で指定されたカメラ画像における任意の座標位置を、実空間上の地面平面の位置に変換計算して車両からの距離を計算する構成部であり、レンズ歪関数演算部１０、射影関数演算部１１、投影面変換関数演算部１２及び映像出力関数演算部１３を備える。

出力部５Ａは、測距演算部２Ａで計算された車両からの距離を出力する構成部であり、ディスプレイである表示部又は音声で報知する音声出力部で構成される。
画面内位置特定部１４は、画面に表示したカメラ画像上の任意の位置を指定する構成部であり、例えば、画面上にポインタを表示し、ポインタで任意の位置を指定する入力処理部であったり、カメラ画像を表示する画面に設けたタッチパネルで構成してもよい。

次に動作について説明する。
画面内位置特定部１４を用いて、画面に表示したカメラ画像上の任意の位置を指定すると、当該カメラ画像空間の指示位置の座標（ｕ，ｖ）は、測距演算部２Ａへ入力される。
測距演算部２Ａのレンズ歪関数演算部１０は、画面内位置特定部１４で指定されたカメラ画像の位置座標（ｕ，ｖ）にレンズ歪関数ｉを演算することで、レンズ歪みを受けた座標（ｉ（ｕ），ｉ（ｖ））に変換する。なお、レンズ歪関数ｉは、上記実施の形態１と同様に、カメラユニット３のカメラで被写体を撮像する際に、レンズ形状によってカメラ画像が受ける歪みを関数で表現したものである。
レンズ歪関数ｉは、例えばレンズ歪みに関するＺｈａｎｇのモデルにより求めることができる。このモデルでは、放射歪曲でレンズ歪みをモデル化しており、（ｕ，ｖ）^Tをレンズ歪みの影響を受けていない理想的な画像座標、（ｕ^~，ｖ^~）^Tをレンズ歪みの影響を受けた観測画像座標、（ｘ，ｙ）^Tをレンズ歪みの影響を受けていない理想的な正規化座標、（ｘ^~，ｙ^~）^Tをレンズ歪みの影響を受けた観測正規化座標とするとき、下記式となる。なお、ｘ^~はｘチルダ、ｙ^~はｙチルダ、ｕ^~はｕチルダ、ｖ^~はｖチルダである。
ｘ^~＝ｘ＋ｘ（ｋ₁ｒ²＋ｋ₂ｒ⁴）
ｙ^~＝ｙ＋ｙ（ｋ₁ｒ²＋ｋ₂ｒ⁴）
ｒ²＝ｘ²＋ｙ²
ただし、ｋ₁及びｋ₂は、レンズ歪みの影響を受けていない正規化座標（ｘ，ｙ）^Tに対するレンズ歪みの影響を受けた正規化座標（ｘ^~，ｙ^~）^Tの放射歪曲によるレンズ歪みを多項式で表したときの係数であり、レンズに固有な定数である。ここで、レンズ歪みの影響を受けていない座標における放射歪曲の中心を主点（ｕｏ，ｖｏ）^Tとすると、下記式の関係が成り立つ。
ｕ^~＝ｕ＋（ｕ−ｕｏ）（ｋ₁ｒ²＋ｋ₂ｒ⁴）
ｖ^~＝ｖ＋（ｖ−ｖｏ）（ｋ₁ｒ²＋ｋ₂ｒ⁴）
なお、ｕ_O及びｖ_Oは、レンズに固有な定数である。
この関係式によって、カメラ画像空間の被写体の位置（ｕ，ｖ）を、実空間の被写体の位置座標（ｘ，ｙ）（＝（ｉ（ｕ），ｉ（ｖ）））に変換することができる。

射影関数演算部１１は、レンズ歪関数演算部１０から出力されるレンズ歪みを受けた座標（ｉ（ｕ），ｉ（ｖ））に対して、パラメータ格納部４から入力した射影方式情報に基づいて決められる射影方式による関数ｈを演算することにより、射影歪みを受けた座標（ｈ（ｉ（ｕ）），ｈ（ｉ（ｖ）））に変換する。
射影方式による関数ｈとは、レンズに対して角度θで入射した光が、レンズ中心からどれだけ離れた位置に集光するかを関数で示したものである。射影方式による関数ｈは、レンズの焦点距離をｆとし、入射光の入射角度、すなわち半画角をθ、カメラの撮像面における像高をＹとすると、下記関係が成り立つ。
立体射影では、Ｙ＝２ｆｔａｎ（θ／２）、等距離射影では、Ｙ＝ｆθ、等立体角射影では、Ｙ＝２ｆｓｉｎ（θ／２）となり、正射影では、Ｙ＝ｆｓｉｎθとなる。
よって、レンズ歪関数演算部１０から出力されるレンズ歪みを受けた座標（ｉ（ｕ），ｉ（ｖ））の値ｉ（ｕ）を、レンズに対する入射角度θに変換して上記射影式に代入することにより、射影歪みを受けた値ｈ（ｉ（ｕ））が得られる。同様に、レンズ歪みを受けた座標（ｉ（ｕ），ｉ（ｖ））の値ｉ（ｖ）を、レンズに対する入射角度θに変換して上記射影式に代入することにより、値ｈ（ｉ（ｖ））が得られる。以上のようにして、射影歪みを受けた座標（ｈ（ｉ（ｕ）），ｈ（ｉ（ｖ）））を得ることができる。

投影面変換関数演算部１２は、射影関数演算部１１から出力された射影歪みを受けた座標（ｈ（ｉ（ｕ）），ｈ（ｉ（ｖ）））に対して、パラメータ格納部４から入力した取り付け情報に基づいて決められる投影面変換関数ｆを演算することで、投影面変換を受けた座標（ｆ（ｈ（ｉ（ｕ））），ｆ（（ｈ（ｉ（ｖ））））に変換する（撮像面変換）。
投影面変換とは、カメラで撮像される画像がカメラの取り付け位置や角度といった取り付け状態に影響することから、取り付け状態による影響を加える変換のことである。
投影面変換関数ｆは、地平面に対するカメラの取り付けの高さＬ、鉛直線に対するカメラの光軸の傾き角度である取り付け垂直角度φ、車両を前後に縦断する中心線に対する傾き角度である取り付け水平角度θ、車両幅の中心からの偏移である距離Ｈを係数に持つ幾何学関数で表される。なお、カメラは光軸を回転軸とするチルト回転の方向にはずれておらず、正しく取り付けられているものとする。

映像出力関数演算部１３は、投影面変換を受けた座標（ｆ（ｈ（ｉ（ｕ））），ｆ（ｈ（ｉ（ｖ））））に対して、パラメータ格納部４から入力した画角情報と画面サイズ情報に基づいて決められる映像出力関数ｇを演算することで、映像出力用の座標（ｇ（ｆ（ｈ（ｉ（ｕ）））），ｇ（ｆ（ｈ（ｉ（ｖ）））））に変換する。
映像出力関数演算部１３において、カメラ画像の表示部に表示可能なサイズへの変更に相当する変換を投影面変換を受けた座標（ｇ（ｆ（ｈ（ｉ（ｕ）））），ｇ（ｆ（ｈ（ｉ（ｖ）））））に対して行うことで、カメラ画像とスケールを一致させることができる。映像出力変換関数ｇは、カメラの最大水平画角Ｘａと最大垂直画角Ｙａと、映像出力における最大水平描画ピクセルサイズＸｐと最大垂直描画ピクセルサイズＹｐを係数に持つ写像関数で表される。

なお、以上の説明では、目盛線を示す各座標に対して、レンズ歪関数、射影関数、投影面変換関数、映像出力関数の順で、演算するものとしたが、各関数を演算する順番はこの順番でなくともよい。

また、投影面変換関数演算部１２における投影面変換関数ｆには、撮像されたカメラ画像のサイズを示す画面サイズ情報として、カメラ画角（カメラの最大水平画角Ｘａと最大垂直画角Ｙａ）が含まれる。このため、カメラ画像の一部を切り出して表示させる場合でも、投影面変換関数ｆにおけるカメラ画角の係数を変更することで、一部を切り出したカメラ画像に合うように目盛線を表示させることができる。
これにより、カメラ映像の２次元空間の位置と、実空間における３次元空間の１元である高さを固定した空間との相互変換が可能になる。
このように、カメラ映像の２次元空間と、実空間の３次元空間を相互変換できるので、画面内位置特定部１４を用いて任意のカメラ画像内の位置をユーザが特定することで、カメラ画像から実空間上の位置を提示することができる。

測距演算部２Ａが画面内位置特定部１４によって指定されたカメラ画面内の位置に対応する実空間の位置（実空間での高さｚにおける座標位置）を計算すると、出力部５Ａは、この計算値を利用者に出力する。例えば、出力部５Ａを音声出力部で構成した場合は、測距演算部２Ａが算出した位置を音声出力する。また、出力部５Ａをカメラユニット３のカメラ画像を表示する表示部として構成した場合には、表示画面上で車両からの距離を文字表示したり、距離に色を対応付けて色分け表示によって、距離を視認できるようにする。

以上のように、この実施の形態２によれば、カメラの車両への取り付け位置及び角度を示す取り付け情報、カメラの画角を示す画角情報、カメラのレンズの射影方式を示す射影方式情報及び表示装置の画面サイズを示す画面サイズ情報を、パラメータ情報として格納するパラメータ格納部４と、表示装置に表示されたカメラ画像内の位置を特定する画面内位置特定部１４と、画面内位置特定部１４で特定されたカメラ画像空間の位置座標にカメラのレンズの歪みを補正する処理を施し、パラメータ格納部４から読み出した取り付け情報、画角情報、射影方式情報及び画面サイズ情報に基づいて、レンズの歪みの補正後の位置座標を、実空間での地平面から所定の高さにおける位置座標に変換した位置情報を生成する測距演算部２Ａと、位置情報に基づいて、画面内位置特定部１４で特定されたカメラ画像内の位置から車両までの距離を出力する出力部５Ａとを備える。このように構成することで、カメラ画像の任意の位置を、実空間での高さｚ（地平面からカメラまでの高さ）における座標位置に変換計算することで車両からの距離を認識することができる。

実施の形態３．
実施の形態３は、上記実施の形態１，２を組み合わせた構成である。
図６は、この発明の実施の形態３によるカメラ距離測定装置の構成を示すブロック図である。図６において、カメラ距離測定装置１Ｂは、図１と図２とを組み合わせた構成を有している。上記実施の形態１と同様にして表示部５に目盛線画像を表示しつつ、上記実施の形態２と同様に当該目盛線画像内の任意の位置を画面内位置特定部１４で特定し、実空間での高さｚ（地平面からカメラまでの高さ）における座標位置に変換計算する。

図７は、実施の形態３による目盛線画像の一例を示す図である。図７において、直線Ｌ１ａ〜Ｌ５ａで形成される各格子は、上記実施の形態１と同様に、車両幅方向及びこれに垂直な方向（奥行き方向）のそれぞれに所定の距離（例えば、０．５０メートル）を有している。
また、画面内位置特定部１４として、当該目盛線画像を表示する表示部５に設けたタッチパネルを採用し、図７に示すように目盛線画像上の任意の位置を指示することにより、当該位置の車両からの距離を求めることができる。測距演算部２によって演算された当該距離は、表示部５によって画面上に文字表示してもよい。
図７の例では、車両幅の中心に対応する直線Ｌ５ａを基準としてｘ軸方向の距離が規定され、ｙ軸方向は、格子ごとの奥行き方向の所定距離で規定されており、指示された任意の点は、車両幅の中心から、ｘ軸方向に０．５０メートルで、ｙ軸方向（奥行き方向）に１．２５メートルであることを示している。このようにすることで、車両からの距離を視認することができる。

なお、図４に示す目盛線画像を表示し、画面内位置特定部１４を用いて駐車の際に駐車場に存在する障害物を特定し、当該障害物と車両との距離を表示するようにしてもよい。

以上のように、この実施の形態３によれば、上記実施の形態１の構成に加えて、表示部５に表示されたカメラ画像内の位置を特定する画面内位置特定部１４を備え、測距演算部２が、画面内位置特定部１４で特定されたカメラ画像空間の位置座標にカメラのレンズの歪みを補正する処理を施し、パラメータ格納部４から読み出した取り付け情報、画角情報、射影方式情報及び画面サイズ情報に基づいて、レンズの歪みの補正後の位置座標を、実空間での地平面から所定の高さにおける位置座標に変換した位置情報を生成し、表示部５が、位置情報に基づいて画面内位置特定部１４で特定されたカメラ画像内の位置から車両までの距離を出力する。このように構成することで、カメラ画像に写る被写体までの距離を容易に測定できる目盛線画像を提示しつつ、目盛線画像の任意の位置を、実空間での高さｚ（地平面からカメラまでの高さ）における座標位置に変換計算することで車両からの距離を認識することができる。

実施の形態４．
図８は、この発明の実施の形態４によるカメラ距離測定装置の構成を示すブロック図である。カメラ距離測定装置１Ｃは、上記実施の形態２における画面内位置特定部１４として画像認識部１５を備える。画像認識部１５は、表示画面に写った特定の被写体（障害物）を画像認識してカメラ画像上の座標位置を特定する構成部である。例えば、駐車支援の際、駐車場の障害物を既存の画像認識技術を用いて認識し、カメラ画像上での位置座標を特定する。この位置座標を測距演算部２Ａが処理することにより、障害物と車両との距離を提示することができる。

なお、図８の例では、上記実施の形態２の画面内位置特定部１４として画像認識部１５を設ける構成を示したが、上記実施の形態３で図６を用いて説明した構成の画面内位置特定部１４として画像認識部１５を設けた構成としてもよい。

以上のように、この実施の形態４によれば、画像認識によってカメラ画像内の対象物の位置を検出する画像認識部１５を備えたので、カメラ画像の画像認識によってカメラ画像に写る任意の位置（障害物の位置）を特定することから、カメラ画像に写る障害物までの距離を容易に推定することができる。

Claims (4)

1. 車両に取り付けたカメラが撮像したカメラ画像上に前記車両を基準に格子状に配置した複数の目盛線を重畳した画像を表示装置に表示して、前記目盛線の各格子辺に規定された単位距離から、前記車両の幅方向及び前記カメラの撮像方向の距離を測定するカメラ距離測定装置であって、
   前記カメラの前記車両への取り付け位置及び角度を示す取り付け情報、前記カメラの画角を示す画角情報、前記カメラのレンズの射影方式を示す射影方式情報及び前記表示装置の画面サイズを示す画面サイズ情報を、パラメータ情報として格納するパラメータ格納部と、
   前記複数の目盛線を前記単位距離で格子状に配置した各格子点の実空間における各位置座標に前記カメラのレンズの歪みを補正する処理をそれぞれ施し、前記パラメータ格納部から読み出した前記取り付け情報、前記画角情報、前記射影方式情報及び前記画面サイズ情報に基づいて、前記レンズの歪みの補正後の各位置座標を前記カメラ画像における位置座標にそれぞれ変換した目盛線情報を生成する測距演算部と、
   前記目盛線情報に基づいて前記複数の目盛線を格子状に直交させて配置した目盛線画像を生成する線描写部と、
   前記カメラ画像における前記カメラのレンズの歪み及び前記射影方式による歪みを除去する補正を行う画像補正部と、
   前記線描写部に生成された前記目盛線画像と前記画像補正部で補正された前記カメラ画像とを重畳して前記表示装置に出力する画像重畳部とを備えたカメラ距離測定装置。
2. 車両に取り付けたカメラが撮像したカメラ画像を表示装置に表示し、当該カメラ画像内の位置から前記車両までの距離を測定するカメラ距離測定装置であって、
   前記カメラの前記車両への取り付け位置及び角度を示す取り付け情報、前記カメラの画角を示す画角情報、前記カメラのレンズの射影方式を示す射影方式情報及び前記表示装置の画面サイズを示す画面サイズ情報を、パラメータ情報として格納するパラメータ格納部と、
   前記表示装置に表示された前記カメラ画像内の位置を特定する画面内位置特定部と、
   前記画面内位置特定部で特定されたカメラ画像空間の位置座標に前記カメラのレンズの歪みを補正する処理を施し、前記パラメータ格納部から読み出した前記取り付け情報、前記画角情報、前記射影方式情報及び前記画面サイズ情報に基づいて、前記レンズの歪みの補正後の位置座標を、実空間での地平面から所定の高さにおける位置座標に変換した位置情報を生成する測距演算部と、
   前記位置情報に基づいて、前記画面内位置特定部で特定された前記カメラ画像内の位置から前記車両までの距離を出力する出力部とを備えたカメラ距離測定装置。
3. 前記表示装置に表示されたカメラ画像内の位置を特定する画面内位置特定部を備え、
   前記測距演算部は、前記画面内位置特定部で特定されたカメラ画像空間の位置座標に前記カメラのレンズの歪みを補正する処理を施し、前記パラメータ格納部から読み出した前記取り付け情報、前記画角情報、前記射影方式情報及び前記画面サイズ情報に基づいて、前記レンズの歪みの補正後の位置座標を、実空間での地平面から所定の高さにおける位置座標に変換した前記位置情報を生成し、
   前記表示部は、前記位置情報に基づいて前記画面内位置特定部で特定された前記カメラ画像内の位置から前記車両までの距離を出力することを特徴とする請求項１記載のカメラ距離測定装置。
4. 前記画面内位置特定部は、画像認識によって前記カメラ画像内の対象物の位置を検出する画像認識部であることを特徴とする請求項２記載のカメラ距離測定装置。

Images