JP7308227B2 - 画像処理装置、および画像処理方法、並びにプログラム - Google Patents

Description

本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。具体的には例えば車両に取り付けたカメラの撮影画像から被写体距離を算出する処理を実行する画像処理装置、および画像処理方法、並びにプログラムに関する。

車の直前や側面、あるいは後方など、車の進行方向の様子を運転席から直接、視認できない場合、進行方向にある隠れた障害物に車をぶつけてしまう危険がある。このような危険を回避するシステムとして、車の前後や側面にカメラを装着して、カメラの撮影画像を運転席のモニタに表示するカメラシステムがある。

このようなカメラシステムにおける問題点として、車両へのカメラ取り付け時に取り付け誤差が生じるという問題がある。取り付け誤差が生じると、その取り付け誤差に応じて、カメラの実際の撮影領域と、本来の正しい撮影領域との間にズレが生じることになる。

運転席において運転者が見るモニタには、カメラ撮影画像と合わせて、目安線や進路予想線等、補助的なラインが重畳されて表示する場合がある。カメラの取り付け誤差に起因する撮影領域のズレがあると、カメラ撮影画像に対する目安線や進路予想線が実際の位置とはずれた位置に表示されてしまうことになる。

また、近年では、車載カメラは、運転者がモニタを見て監視する目的のみならず、車両システムが障害物や歩行者を検出するためにも用いられる。車両システムがカメラ撮影画像に基づいて障害物や歩行者を検出し、さらに距離を推定し、その結果を車両側のユニットに送り、車両側ではその結果をもとに、運転者に対する警告通知や、自動ブレーキを動作させるといった制御を行うものである。

このような車両システムの処理、すなわち運転者に対する警告通知や、自動ブレーキの動作を実行する場合、物体までの距離測定の精度が重要となる。
この距離測定値は、カメラの取り付け角度のズレや車両の姿勢の設計値からのズレの影響を受け、カメラが所定の設計通り、誤差なく取り付けられていない場合、正確な距離が測定できないという問題が発生する。

カメラの取り付け誤差を検出する方法として、例えば校正用チャートの撮影画像を用いる方法が知られている。
車両に取り付けたカメラによって校正用チャートを撮影して、その撮影画像と、誤差無く取り付けられたカメラによって撮影された理想画像とのズレを算出してズレを小さくするようにカメラの取り付け位置や角度を調整する方法である。

あるいは車両に取り付けた斜め下方向を向けたカメラによって、路面上に描いた平行線や直行するチャートを撮影し、この撮影画像を真上からの撮影画像に変換する俯瞰変換を行い、この俯瞰変換画像内の平行線や直行するチャートの状態を解析して、カメラ取り付け誤差を検出する方法も知られている。

なお、これらのカメラ取り付け誤差の補正方法を開示した従来技術として、例えば特許文献１（特許第５１７３５５１号公報）や、特許文献２（特許第５９２３４２２号公報）がある。

特許第５１７３５５１号公報 特許第５９２３４２２号公報

上述した従来技術では、カメラ取り付け誤差を検出するために、予め校正用のチャートを準備することが必要となる。また、俯瞰変換画像を用いて、撮影画像内の平行線や格子の平行度や直行性から取り付け誤差を求める場合には、その車両のカメラ取り付け状態に合わせた俯瞰変換の画像変換マップを予め準備することが必要となる。

このように、従来のカメラ取り付け誤差補正方法では、校正用チャートや画像変換マップ等、補正のための事前準備データが必要であるという問題がある。
本開示は、このような事前準備データを用いることなく、カメラの取り付け誤差が存在しても、被写体距離を正確に算出することを可能とした画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。

本開示の第１の側面は、
広角レンズを有するカメラの撮影画像を入力して歪み補正を行い、補正画像を生成する補正画像生成部と、
実世界上の垂直オブジェクトの前記補正画像における傾きを算出する垂直オブジェクト傾き算出部と、
前記垂直オブジェクトの傾きに基づいて、前記カメラのカメラ俯角のズレ角を算出するカメラ俯角ズレ算出部と、
前記カメラのカメラ俯角ズレ角を考慮したオブジェクト距離算出用画像を生成するオブジェクト距離算出用画像生成部と、
前記オブジェクト距離算出用画像を参照して、前記カメラの撮影画像に含まれるオブジェクトの距離を算出するオブジェクト距離算出部を有する画像処理装置にある。

さらに、本開示の第２の側面は、
画像処理装置において実行する画像処理方法であり、
補正画像生成部が、広角レンズを有するカメラの撮影画像を入力して歪み補正を行い、補正画像を生成するステップと、
垂直オブジェクト傾き算出部が、実世界上の垂直オブジェクトの前記補正画像における傾きを算出するステップと、
カメラ俯角ズレ算出部が、前記垂直オブジェクトの傾きに基づいて、前記カメラのカメラ俯角のズレ角を算出するステップと、
オブジェクト距離算出用画像生成部が、前記カメラのカメラ俯角ズレ角を考慮したオブジェクト距離算出用画像を生成するステップと、
オブジェクト距離算出部が、前記オブジェクト距離算出用画像を参照して、前記カメラの撮影画像に含まれるオブジェクトの距離を算出するステップを実行する画像処理方法にある。

さらに、本開示の第３の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
補正画像生成部に、広角レンズを有するカメラの撮影画像を入力して歪み補正を行い、補正画像を生成させるステップと、
垂直オブジェクト傾き算出部に、実世界上の垂直オブジェクトの前記補正画像における傾きを算出させるステップと、
カメラ俯角ズレ算出部に、前記垂直オブジェクトの傾きに基づいて、前記カメラのカメラ俯角のズレ角を算出させるステップと、
オブジェクト距離算出用画像生成部に、前記カメラのカメラ俯角ズレ角を考慮したオブジェクト距離算出用画像を生成させるステップと、
オブジェクト距離算出部に、前記オブジェクト距離算出用画像を参照して、前記カメラの撮影画像に含まれるオブジェクトの距離を算出させるステップを実行させるプログラムにある。

なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。

本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本開示の一実施例の構成によれば、カメラの取り付け角度にズレがある場合においても、カメラ撮影画像に基づいて正確な被写体距離を算出可能とする構成が実現される。
具体的には、例えば、広角レンズを有するカメラの撮影画像を入力して歪み補正を行い、補正画像を生成する。さらに、実世界上の垂直オブジェクトの補正画像における傾きを算出し、垂直オブジェクトの傾きに基づいて、カメラのカメラ俯角のズレ角を算出し、カメラ俯角ズレ角を考慮したオブジェクト距離算出用画像を生成して、オブジェクト距離算出用画像からカメラの撮影画像に含まれるオブジェクトの距離を算出する。カメラ俯角ズレ角が規定しきい値以下でない場合は、カメラ俯角ズレを考慮した俯瞰画像生成用マッビングデータを利用してオブジェクト距離算出用画像を生成する。
これらの構成により、カメラの取り付け角度にズレがある場合においても、カメラ撮影画像に基づいて正確な被写体距離を算出可能とする構成が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

本開示の画像処理装置を搭載した車両の構成例について説明する図である。 広角レンズを用いて撮影される画像の歪みについて説明するための撮影環境例について説明する図である。 広角レンズを用いて撮影される画像の補正によって生成される補正画像と、各画像の画素位置の対応関係について説明する図である。 正常な取り付けがなされたカメラの撮影画像の補正画像と、取り付け角度にズレがあるカメラの撮影画像の補正画像について説明する図である。 本開示の画像処理装置の実行する処理について説明する図である。 本開示の画像処理装置の実行する処理について説明する図である。 正常なカメラ俯角（θ）を持つカメラの撮影画像を用いたオブジェクト距離の算出処理例について説明する図である。 カメラ俯角ズレ（Δθ）を有して取り付けられたカメラの撮影画像を用いて誤ったオブジェクト距離を算出する例について説明する図である。 カメラ俯角ズレ（Δθ）を有して取り付けられたカメラの撮影画像を用いて正確なオブジェクト距離を算出する例について説明する図である。 本開示の画像処理装置の構成例について説明する図である。 本開示の画像処理装置の実行する処理シーケンスについて説明するフローチャートを示す図である。 画像処理装置のハードウェア構成例について説明する図である。

以下、図面を参照しながら本開示の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。
１．カメラ撮影画像の変換処理の概要について
２．本開示の画像処理装置の実行する処理について
２－（１）カメラ俯角のズレ角（Δθ）の算出処理について
２－（２）カメラ俯角のズレ角（Δθ）を考慮した被写体距離（オブジェクト距離）の算出処理について
２－（２）－（Ａ）正常なカメラ俯角（θ）を持つカメラの撮影画像を用いたオブジェクト距離の算出処理例について
２－（２）－（Ｂ１）取り付け誤差のあるカメラ俯角（θ＋Δθ）を持つカメラの撮影画像を用いたオブジェクト距離算出処理例（不正確な距離算出例）について
２－（２）－（Ｂ２）取り付け誤差のあるカメラ俯角（θ＋Δθ）を持つカメラの撮影画像を用いたオブジェクト距離算出処理例（正確な距離算出例）について
３．本開示の画像処理装置の構成と画像処理シーケンスについて
４．本開示の画像処理装置のハードウェア構成例について
５．本開示の構成のまとめ

［１．カメラ撮影画像の変換処理の概要について］
まず、図１以下を参照してカメラ撮影画像の変換処理の概要について説明する。

図１には本開示の画像処理装置を搭載した車両１０を示している。車両１０にはカメラ１１が搭載されている。
カメラ１１は、車両１０の後方を撮影するカメラである。
カメラ１１は、例えば魚眼レンズ等の広角レンズを備えた広角レンズカメラであり、車両後方の広い領域の画像を撮影することができる。

図に示す例では、カメラ１１は、車両１０の後方の路面２０上の垂直ポール３０や人４０を撮影する。この撮影画像が車両１０内の画像処理装置に入力され、画像処理装置において画像補正処理が実行され、肉眼で見たと同様の補正画像が運転席のモニタに表示される。
また、画像処理装置は、撮影画像に基づいて車両１０から垂直ポール３０や人４０までの距離（オブジェクト距離）の算出を行う。例えばオブジェクト距離が予め規定されたしきい値以下の距離になると、運転者に対する警告の通知などが行われる。

図に示すように、カメラ１１は、車両１０後部の近傍も撮影範囲とするため、やや下方向にカメラ光軸が向けられる。
運転席のモニタに表示する画像は、カメラ１１のカメラ光軸方向、すなわち、撮影方向の画像そのままではなく、カメラ１１の撮影画像を路面２０に平行な車両後方の方向の画像に変換した画像とする。このモニタ表示画像の視点方向を仮想視点方向とする。
仮想視点方向を路面２０に平行な車両後方の方向とすると、仮想視点方向とカメラ光軸のなす角がカメラの傾きを示すカメラ俯角となる。

なお、前述したように、カメラ１１は、例えば魚眼レンズ等の広角レンズを備えた広角レンズカメラであり、車両後方の広い領域の画像を撮影することができる。
ただし、広角レンズを用いて撮影される画像には歪みが発生する。

具体的な歪みの例について図２以下を参照して説明する。
図２に示すように、格子状の線が描かれた路面上の車両１０後方に多数の垂直ポール３０が林立した状態をカメラ１１が撮影するものとする。垂直ポール３０は、図１に示す垂直ポール３０と同様のポールであり、路面２０に対して垂直に立てられたポールである。
これら多数の垂直ポール３０が林立した車両１０後方の画像を、広角レンズを備えたカメラ１１が撮影する。

図３（１）が、撮影画像である。図３（１）に示すように、撮影画像上の路面の格子パターンは湾曲した歪みを有する。また、垂直ポール３０は、画像の周辺に近づくほど傾いて見える。
これは、広角レンズを用いた撮影によって発生する画像の歪みである。

図３（２）は、図３（１）の画像に対する歪み補正と、視点変換を行って生成した補正画像である。
垂直ポール３０が垂直になるように歪み補正を行い、視点方向が、路面に平行となる方向、すなわち、図１に示す仮想視点方向となるように視点変換を行なった補正画像の例である。この補正画像が運転席のモニタに表示される。

図３（１）撮影画像から、図３（２）補正画像へ変換する画像変換処理は、カメラ俯角とカメラのレンズ歪情報に基づいて、例えば円筒状に投影する歪み補正と画像変換処理によって行われる。

図３（ａ１），（ａ２）を参照して画像変換におけるマッピング処理、すなわち、図３（１）撮影画像を図３（２）補正画像に変換する際に実行する画素位置のマッピング処理例について説明する。

図３（ａ１）は画像変換前の画像であり、これはカメラ位置（Ｘ，Ｙ，Ｚ）、光軸向き（ヨー、ピッチ、ロール）、及びレンズ歪データ、センササイズ情報により、三次元空間の任意の点、例えば世界座標の任意点（ｘ，ｙ，ｚ）が、画像上のどの位置（画素位置）（Ｈ，Ｖ）になるかを一意に決定できる。

図３（ａ２）が、図３（ａ１）の画像変換後の画像例である。この図３（ａ２）に示す画像は路面に平行となる方向、すなわち、図１に示す仮想視点方向となるように視点変換を行ない、撮影画像を円筒状に投影する画像変換を行うことで生成される。

この画像変換は、変換前の画像（撮影画像）の画素位置Ｐ０（Ｈ０，Ｖ０）に対応する変換後の画像（補正画像）の画素位置Ｐ１（Ｈ１，Ｖ１）を登録した対応画素位置登録データであるマッピングデータ（補正画像生成用マッピングデータ）を利用することで実行することができる。
なお、各画像において、画像の左上端を（Ｈ，Ｖ）＝（０，０）とし、水平右方向をＨ軸、垂直下方向をＶ軸として、各画素位置は座標（Ｈ．Ｖ）によって表現される。

マッピングデータを用いれば、変換前の画像上の画素位置Ｐ０（Ｈ０，Ｖ０）から、変換後の画像上の画素位置Ｐ１（Ｈ１，Ｖ１）を算出することができる。
また、逆に変換後の画像上の画素位置Ｐ１（Ｈ１，Ｖ１）から、変換前の画像上の画素位置Ｐ０（Ｈ０，Ｖ０）を算出可能である。
さらに、後述するオブジェクト距離算出用画像（俯瞰画像）を用いることで、実世界における三次元空間の位置、すなわち世界座標における位置（ｘ，ｙ，ｚ）や、オブジェクト距離（カメラ（車両）からオブジェクト（被写体）までの距離）も算出することができる。

このように、画像の変換前と変換後の画素位置の対応データである補正画像生成用マッピングデータを用いることで、広角レンズを用いた撮影画像を所定の視点方向（図１に示す仮想視点方向）から見た通常のカメラ撮影画像（補正画像（変換画像））に変換することが可能となる。

しかし、この補正画像生成用マッピングデータを用いて、正常な補正画像が得られるのは、カメラ１１が正常な取り付け位置に正常な取り付け角度で装着されている場合に限られる。例えば、カメラ１１が正常な取り付け角度で装着されていない場合には、予め生成されたマッピングデータを利用した画素位置変換を行っても所定の視点方向（図１に示す仮想視点方向）から見た通常のカメラ撮影画像に変換することができない。

図４は、正常な取り付けがなされたカメラの撮影画像の補正画像と、取り付け角度にズレがあるカメラの撮影画像の補正画像を並べて示した図である。
（ａ）は、正常な取り付けがなされたカメラの撮影画像の補正画像であり、
（ｂ）は、取り付け角度にズレがあるカメラの撮影画像の補正画像である。

（ａ）は、カメラ１１が、予め設定された正常なカメラ俯角（仮想視点方向と光軸のなす角）で取り付けられている。すなわちカメラ俯角＝θとなるように取り付けられている。
一方、（ｂ）のカメラ１１は、カメラ俯角＝θ＋Δθであり、カメラ俯角が規定角度（θ）からΔθずれている。すなわち、カメラ光軸が正常な取り付け角度からΔθだけ下に設定されている。

このように、カメラ１１の取り付け角度にズレが発生すると、同一物体の画像上での表示位置が異なり、結果として、同一の補正画像生成用マッピングデータを用いて生成した補正画像におけるオブジェクト表示位置や表示態様が変化してしまう。

図４に示す２つの補正画像（ａ），（ｂ）を比較して理解されるように、（ａ）では垂直ポールが補正画像上で垂直に表示されているのに対して、（ｂ）では、垂直ポールが、画像中心から左右に離れるに従って傾きを持って表示される。

これは、同じ補正画像生成用マッビングデータを利用した画像変換によって生じるものである。すなわち、正常な取り付け角度のカメラの撮影画像の変換用の１つの補正画像生成用マッビングデータを利用したことに起因する。

［２．本開示の画像処理装置の実行する処理について］
次に、図５以下を参照して本開示の画像処理装置の実行する処理について説明する。
本開示の画像処理装置は、正常な取り付け角度でないカメラの撮影画像であっても、正確な被写体までの距離（オブジェクト距離）を算出することを可能としたものである。

先に図４を参照して説明したように、取り付け角度にズレがあるカメラの撮影画像の補正画像、すなわち、図４（ｂ）に示す補正画像では、垂直ポールが、画像中心から左右に離れるに従って傾きを持って表示される。

本開示の画像処理装置は、路面に垂直なオブジェクトの補正画像における傾き（α）を検出して、この傾き（α）に基づいて、カメラ俯角のズレ角（Δθ）を算出する。
さらに、算出したカメラ俯角のズレ角（Δθ）を考慮して被写体位置や被写体距離を算出するためのオブジェクト距離算出用画像（俯瞰画像）を生成し、生成したオブジェクト距離算出用画像（俯瞰画像）を用いて被写体距離（オブジェクト距離）の算出を実行する。
この処理を行うことで、規定のカメラ俯角（θ）からズレて取り付けられたカメラの撮影画像からも正しい被写体距離を算出することが可能となる。

以下、本開示の画像処理装置が実行する処理の具体例について、以下の各項目順に説明する。
（１）カメラ俯角のズレ角（Δθ）の算出処理について
（２）カメラ俯角のズレ角（Δθ）を考慮した被写体距離（オブジェクト距離）の算出処理について

［２－（１）カメラ俯角のズレ角（Δθ）の算出処理について］
まず、カメラ俯角のズレ角（Δθ）の算出処理について説明する。

図５を参照して、取り付け角度（カメラ俯角（θ））にズレがあるカメラの撮影画像の補正画像に発生する傾き、すなわち、実世界で路面に垂直に立つ垂直ポール３０等の垂直オブジェクトの傾きについて説明する。

先に図４を参照して説明したように、カメラ俯角が規定角度（θ）ではないカメラ俯角＝θ＋Δθであるカメラの撮影画像を、カメラ俯角＝θのカメラ撮影画像用のマッピングデータを利用して変換すると、その変換画像（補正画像）は、予定された視点方向（図１の仮想視点方向）から見た正しい補正画像とはならない。
例えば、実世界の垂直オブジェクトは、画像の左右中心位置から左右に離れるにつれて傾いて表示される。

例えば図５に示す例において、４つの垂直ポール３１～３４の画像の左右中心位置からの距離（ｈ１～ｈ４）と傾き（α１～α４）は以下の関係となる。
４つの垂直ポール３１～３４の画像の左右中心位置からの距離（ｈ１～ｈ４）は以下の関係である。
ｈ１＜ｈ２＜ｈ３＜ｈ４
このとき、４つの垂直ポール３１～３４の傾き（α１～α４）は以下の関係となる。
α１＜α２＜α３＜α４
このように、実世界で路面に垂直に立つ垂直オブジェクトは、補正画像の左右中心位置から左右に離れるにつれて傾きが大きくなる。

図６に示すように、補正画像の左右中心位置からの距離＝ｈａの垂直オブジェクトの傾きαとの比率（α／ｈａ）は、以下の（式１）によって示される。
α／ｈａ＝αｍａｘ／ｈｍａｘ・・・（式１）

上記（式１）において、
ｈｍａｘは、補正画像の左右中心位置から左右の画像端部までの距離、
αｍａｘは、左右の画像端部における実世界の垂直オブジェクトの傾き、
である。

このように、カメラ俯角＝θの正常な取り付け角度のカメラ対応の補正画像生成用マッピングデータを利用して、カメラ俯角＝θ＋Δθのカメラ俯角ズレ（Δθ）を有するカメラの撮影画像の変換を行うと、カメラ俯角ズレ（Δθ）に応じて、垂直オブジェクトに傾き（α）が発生する。

変換処理によって生成される補正画像のアスペクト比（垂直／水平）をＡとしたとき、
カメラ俯角ズレ（Δθ）と、補正画像のアスペクト比（垂直／水平）Ａと、補正画像の左右画像端部における実世界の垂直オブジェクトの傾きαｍａｘとの関係は、以下の（式２）によって示される。
Δθ＝Ａ×αｍａｘ・・・（式２）

上記（式２）と先に説明した（式１）に基づいて、以下の（式３）の関係式が得られる。
Δθ＝Ａ×α×ｈｍａｘ／ｈａ・・・（式３）

上記（式３）に示すように、カメラ俯角ズレ（Δθ）は、
補正画像のアスペクト比（垂直／水平）Ａと、
補正画像の左右中心位置から左右の画像端部までの距離ｈｍａｘと、
補正画像の左右中心位置から任意距離ｈａの垂直オブジェクトの傾きα、
これらの値を用いて算出することができる。

このように、カメラの撮影領域に路面に垂直に立つオブジェクト、例えばポールや、標識、あるいは人などが検出できれば、そのオブジェクトの補正画像における左右中心位置からの距離ｈａと傾きαを画像から求め、上記（式３）を用いてカメラ俯角ズレ（Δθ）を算出することができる。

なお、カメラ撮影画像中に複数（ｎ個）の垂直オブジェクトが検出され、それぞれの垂直オブジェクト（１～ｎ）について個別の傾き（α１～αｎ）が検出された場合は、個々のオブジェクト対応の傾き（α１～αｎ）に基づいて上記（式３）に従ってｎ個のカメラ俯角ズレ（Δθ１～Δθｎ）を算出し、このｎ個の算出値の平均、あるいは中間値を算出して算出値をカメラ俯角ズレ（Δθ）とするという処理を行ってもよい。

［２－（２）カメラ俯角のズレ角（Δθ）を考慮した被写体距離（オブジェクト距離）の算出処理について］
次に、カメラ俯角のズレ角（Δθ）を考慮した被写体距離（オブジェクト距離）の算出処理について説明する。

具体的な被写体距離（オブジェクト距離）の算出処理例として、以下の３種類の処理例について説明する。
（Ａ）正常なカメラ俯角（θ）を持つカメラの撮影画像を用いたオブジェクト距離の算出処理例
（Ｂ１）取り付け誤差のあるカメラ俯角（θ＋Δθ）を持つカメラの撮影画像を用いたオブジェクト距離算出処理例（不正確な距離算出例）
（Ｂ２）取り付け誤差のあるカメラ俯角（θ＋Δθ）を持つカメラの撮影画像を用いたオブジェクト距離算出処理例（正確な距離算出例）

なお、本開示の画像処理装置は、上記の（Ａ）や（Ｂ２）の処理を実行する。すなわち、カメラが、正常なカメラ俯角（θ）で取り付けられている場合でも、取り付け誤差のあるカメラ俯角（θ＋Δθ）で取り付けられている場合でも、被写体距離を正しく算出することができる。

（２－（２）－（Ａ）正常なカメラ俯角（θ）を持つカメラの撮影画像を用いたオブジェクト距離の算出処理例について）
まず、図７を参照して、正常なカメラ俯角（θ）を持つカメラの撮影画像を用いたオブジェクト距離の算出処理例について説明する。
すなわち、正常な取り付けがなされたカメラの撮影画像の変換処理によって生成した補正画像を用いたオブジェクト距離の算出処理例について説明する。

図７の（１）撮影画像は、予め設定された正常なカメラ俯角（仮想視点方向と光軸のなす角）、すなわちカメラ俯角＝θとなるように取り付けられたカメラによる撮影画像である。
（２）補正画像は、（１）の撮影画像に対して、前述した補正画像生成用マッピングデータ、すなわち、正常な取り付け角度で取り付けられたカメラの撮影画像の変換のために生成された補正画像生成用マッビングデータを利用して生成した補正画像である。
この補正画像は、所定の視点方向（図１に示す仮想視点方向）から見た通常のカメラ撮影画像（補正画像（変換画像））に変換した補正画像である。

図７（３）はオブジェクト距離算出用画像であり、図１に示す車両１０のカメラ１１の取り付け位置からさらに上の位置から車両の後方斜め下方向を観察した俯瞰画像である。この俯瞰画像は、図７（１）の撮影画像に対して、俯瞰画像生成用のマッピングデータ、すなわち、正常な取り付け角度で取り付けられたカメラの撮影画像の変換のために生成された俯瞰画像生成用マッビングデータを利用して生成することができる。

この３つの画像を用いて、オブジェクト距離を算出する。ここでは、図７（２）補正画像中の１つの垂直ポール８１までの距離を算出する例について説明する。

図７（２）補正画像中の１つの垂直ポール８１と路面の交点の画素位置、すなわち補正画像中の画素位置を（Ｈａ，Ｖａ）とする。
図７（１）に示す撮影画像と、図７（２）に示す補正画像の対応画素位置を登録したマップである補正画像生成用マッピングデータを参照して、撮影画像中の対応画素位置を示す座標（Ｈ０，Ｖ０）を求めることができる。

さらに、図７（１）に示す撮影画像と、図７（３）に示すオブジェクト距離算出用画像（俯瞰画像）の対応画素位置を登録したマップである俯瞰画像生成用マッビングデータを参照して、撮影画像中の画素位置を示す座標（Ｈ０，Ｖ０）の図７（３）に示すオブジェクト距離算出用画像（俯瞰画像）の対応画素位置（Ｈｂ，Ｖｂ）が得られる。

このオブジェクト距離算出用画像（俯瞰画像）の対応画素位置（Ｈｂ，Ｖｂ）は、図７（２）補正画像中の１つの垂直ポール８１と路面の交点の画素位置、すなわち補正画像中の画素位置を（Ｈａ，Ｖａ）の対応画素位置である。

図７（３）に示すオブジェクト距離算出用画像（俯瞰画像）は路面上を等縮尺した変換画像、すなわち、実世界の位置を反映した俯瞰画像であるので、オブジェクト距離算出用画像（俯瞰画像）の画素位置（Ｈｂ，Ｖｂ）から、実世界の位置を示す座標が求まる。この例では、カメラから左側に３ｍ、奥行側に３ｍの位置が垂直ポール８１と路面の交点の位置である。

カメラ１１が車両１０の後面中央位置にあるとすれば、垂直ポール８１は、車両の後方３ｍ、車両幅中央から左側に３ｍの位置に垂直に立っているオブジェクトであることが解析できる。

（２－（２）－（Ｂ１）取り付け誤差のあるカメラ俯角（θ＋Δθ）を持つカメラの撮影画像を用いたオブジェクト距離算出処理例（不正確な距離算出例）について］
次に、取り付け誤差のあるカメラ俯角（θ＋Δθ）を持つカメラの撮影画像を用いたオブジェクト距離算出処理例（不正確な距離算出例）について説明する。
なお、本開示の画像処理装置は、この処理は実行しない。本開示の画像処理装置の実行する処理の説明の前に、取り付け誤差のあるカメラ俯角（θ＋Δθ）を持つカメラの撮影画像を用いたオブジェクト距離算出処理において正確な距離が算出できない例を説明する。

図７を参照して説明したオブジェクト距離解析処理例は、カメラが予め規定されたカメラ俯角＝θで正しく取り付けられたカメラの撮影画像を用いた処理例である。
図８を参照して、カメラが予め規定されたカメラ俯角＝θで正しく取り付けられていない場合、すなわち、カメラ俯角ズレ（Δθ）を有して取り付けられたカメラの撮影画像を用いてオブジェクト距離を算出する場合に正しい距離算出ができない例について説明する。

図８の（１）撮影画像は、予め設定された正常なカメラ俯角（仮想視点方向と光軸のなす角）、すなわちカメラ俯角＝θと異なるカメラ俯角ズレ（Δθ）を有して取り付けられたカメラ、すなわちカメラ俯角＝θ＋Δθを有するカメラによる撮影画像である。

図８（２）補正画像は、（１）の撮影画像に対して、前述した補正画像生成用マッピングデータ、すなわち、正常な取り付け角度で取り付けられたカメラの撮影画像の変換のために生成された補正画像生成用マッビングデータを利用して生成した補正画像である。
この補正画像は、所定の視点方向（図１に示す仮想視点方向）から見た通常のカメラ撮影画像（補正画像（変換画像））に変換した補正画像である。

図８（１）の撮影画像は、正常なカメラ俯角＝θと異なるカメラ俯角ズレ（Δθ）を有し、カメラ俯角＝θ＋Δθを有するカメラによる撮影画像であるため、正常な取り付け角度のカメラ撮影画像用の補正画像生成用マッビングデータを用いると、正しい変換がなされない。結果として、図８（２）補正画像中の垂直ポールは、画像の左右中心から画像左右方向に離れるに従って傾きが大きくなるように表示される。

図８（３）はオブジェクト距離算出用画像であり、図１に示す車両１０のカメラ１１の取り付け位置からさらに上の位置から車両の後方斜め下方向を観察した俯瞰画像である。この俯瞰画像も、正常な取り付け角度（カメラ俯角＝θ）で取り付けられたカメラの撮影画像から俯瞰画像を生成する俯瞰画像生成用マッビングデータを利用して生成した画像である。
すなわち、図８（３）に示す俯瞰画像は、カメラ俯角のズレ（Δθ）が考慮されていない俯瞰画像である。

この３つの画像を用いて、オブジェクト距離を算出すると正しいオブジェクト距離の算出ができない。
図７と同様、図８（２）補正画像中の１つの垂直ポール８１までの距離を算出する例について説明する。

図８（２）補正画像中の１つの垂直ポール８１と路面の交点の画素位置、すなわち補正画像中の画素位置を（Ｈａ２，Ｖａ２）とする。
補正画像生成用マッピングデータを参照して、撮影画像中の対応画素位置を示す座標（Ｈ０２，Ｖ０２）を求めることができる。

さらに、図８（１）に示す撮影画像と、図８（３）に示すオブジェクト距離算出用画像（俯瞰画像）の対応画素位置を登録したマップである俯瞰画像生成用マッビングデータを参照して、撮影画像中の画素位置を示す座標（Ｈ０２，Ｖ０２）の図８（３）に示すオブジェクト距離算出用画像（俯瞰画像）の対応画素位置（Ｈｂ２，Ｖｂ２）が得られる。

ただし、ここで用いる俯瞰画像生成用マッビングデータは、正常な取り付け角度（カメラ俯角＝θ）で取り付けられたカメラの撮影画像から俯瞰画像を生成する俯瞰画像生成用マッビングデータである。
従って、オブジェクト距離算出用画像（俯瞰画像）の対応画素位置（Ｈｂ２，Ｖｂ２）は、実際の正しいオブジェクト距離を示すものとはならない。

図８（３）に示すオブジェクト距離算出用画像（俯瞰画像）の対応画素位置（Ｈｂ２，Ｖｂ２）は、カメラから左側に４ｍ、奥行側に４ｍの位置を示している。これは、実際の垂直ポール８１の位置とは異なる。すなわち、先に図７を参照して説明したカメラから左側に３ｍ、奥行側に３ｍの位置とは異なり、横１ｍ奥行１ｍの測距ズレが発生してしまう。

これは、カメラが予め規定されたカメラ俯角＝θで正しく取り付けられていないからである。

（２－（２）－（Ｂ２）取り付け誤差のあるカメラ俯角（θ＋Δθ）を持つカメラの撮影画像を用いたオブジェクト距離算出処理例（正確な距離算出例）について］
次に、取り付け誤差のあるカメラ俯角（θ＋Δθ）を持つカメラの撮影画像を用いたオブジェクト距離算出処理例（正確な距離算出例）について説明する。

図９を参照して、カメラが予め規定されたカメラ俯角＝θで正しく取り付けられていない場合でも距離ズレの発生しない正しいオブジェクト距離算出処理を可能とした処理例について説明する。

図９は、図８と同様、カメラが予め規定されたカメラ俯角＝θで正しく取り付けられていない場合、すなわち、カメラ俯角ズレ（Δθ）を有して取り付けられたカメラの撮影画像を用いた処理例である。

図９の（１）撮影画像は、図８（１）の撮影画像と同様、予め設定された正常なカメラ俯角（仮想視点方向と光軸のなす角）、すなわちカメラ俯角＝θと異なるカメラ俯角ズレ（Δθ）を有して取り付けられたカメラ、すなわちカメラ俯角＝θ＋Δθを有するカメラによる撮影画像である。

図９（２）補正画像は、図８（２）の補正画像と同様の補正画像である。すなわち、図９（１）の撮影画像に対して、前述した補正画像生成用マッピングデータ、すなわち、正常な取り付け角度で取り付けられたカメラの撮影画像の変換のために生成された補正画像生成用マッビングデータを利用して生成した補正画像である。
この補正画像は、所定の視点方向（図１に示す仮想視点方向）から見た通常のカメラ撮影画像（補正画像（変換画像））に変換した補正画像である。

図９（１）の撮影画像は、正常なカメラ俯角＝θと異なるカメラ俯角ズレ（Δθ）を有し、カメラ俯角＝θ＋Δθを有するカメラによる撮影画像であるため、正常な取り付け角度のカメラ撮影画像用の補正画像生成用マッビングデータを用いると、正しい変換がなされない。結果として、図９（２）補正画像中の垂直ポールは、画像の左右中心から画像左右方向に離れるに従って傾きが大きくなるように表示される。

図９（３）はオブジェクト距離算出用画像であり、図１に示す車両１０のカメラ１１の取り付け位置からさらに上の位置から車両の後方斜め下方向を観察した俯瞰画像である。この俯瞰画像も、正常な取り付け角度（カメラ俯角＝θ）で取り付けられたカメラの撮影画像から俯瞰画像を生成する俯瞰画像生成用マッビングデータを利用して生成した画像である。
すなわち、図９（３）に示す俯瞰画像は、カメラ俯角のズレ（Δθ）を考慮して生成した俯瞰画像である。

この３つの画像を用いて、オブジェクト距離を算出すると正しいオブジェクト距離の算出が可能となる。
すなわち、カメラ俯角のズレ（Δθ）を考慮して図９（３）に示すオブジェクト距離算出用画像を生成して、この画像を用いてオブジェクト距離算出を行うことで、正しいオブジェクト距離算出が可能となる。

図７、図８と同様、図９（２）補正画像中の１つの垂直ポール８１までの距離を算出する例について説明する。

図９（２）補正画像中の１つの垂直ポール８１と路面の交点の画素位置、すなわち補正画像中の画素位置を（Ｈａ３，Ｖａ３）とする。
補正画像生成用マッピングデータを参照して、撮影画像中の対応画素位置を示す座標（Ｈ０３，Ｖ０３）を求めることができる。

さらに、図９（１）に示す撮影画像と、図９（３）に示すオブジェクト距離算出用画像（俯瞰画像）の対応画素位置を登録したマップである俯瞰画像生成用マッビングデータを参照して、撮影画像中の画素位置を示す座標（Ｈ０３，Ｖ０３）の図９（３）に示すオブジェクト距離算出用画像（俯瞰画像）の対応画素位置（Ｈｂ３，Ｖｂ３）が得られる。

ここで用いる俯瞰画像生成用マッビングデータは、正常な取り付け角度（カメラ俯角＝θ）で取り付けられたカメラの撮影画像から俯瞰画像を生成する俯瞰画像生成用マッビングデータではない。図９（１）撮影画像を撮影した実際のカメラのカメラ俯角ズレ（Δθ）を考慮した俯瞰画像生成用マッビングデータである。すなわち、カメラ俯角＝θ＋Δθで取り付けられたカメラの撮影画像から俯瞰画像を生成する俯瞰画像生成用マッビングデータである。

この図９（１）撮影画像を撮影した実際のカメラのカメラ俯角ズレ（Δθ）を考慮した俯瞰画像生成用マッビングデータ用いて、図９（１）に示す撮影画像と、図９（３）に示すオブジェクト距離算出用画像（俯瞰画像）の対応画素位置を算出して、図９（３）に示すオブジェクト距離算出用画像（俯瞰画像）を生成する。

この結果、図９（３）に示すオブジェクト距離算出用画像（俯瞰画像）における図９（１）撮影画像中の座標（Ｈ０３，Ｖ０３）の対応画素位置（Ｈｂ３，Ｖｂ３）は、実際の正しいオブジェクト距離を示すものとなる。

図９（３）に示すオブジェクト距離算出用画像（俯瞰画像）の対応画素位置（Ｈｂ３，Ｖｂ３）は、カメラから左側に３ｍ、奥行側に３ｍの位置を示している。これは、実際の垂直ポール８１の位置となる。すなわち、先に図７を参照して説明したカメラから左側に３ｍ、奥行側に３ｍの位置に一致する正しいオブジェクト距離となる。

このように、カメラ俯角のズレ（Δθ）を考慮して図９（３）に示すオブジェクト距離算出用画像を生成して、この画像を用いてオブジェクト距離算出を行うことで、正しいオブジェクト距離算出が可能となる。

［３．本開示の画像処理装置の構成と画像処理シーケンスについて］
次に、本開示の画像処理装置の構成と画像処理シーケンスについて説明する。

まず、図１０を参照して本開示の画像処理装置の構成について説明する。
図１０は、本開示の画像処理装置１００の一構成例を示すブロック図である。
図１０に示すように、本開示の画像処理装置１００は、撮像部（カメラ）１０１、補正画像生成部１０２、垂直オブジェクト傾き算出部１０３、カメラ俯角ズレ算出部１０４、オブジェクト距離算出用画像生成部１０５、オブジェクト距離算出部１０６を有する。

なお、撮像部（カメラ）１０１は画像処理装置１００の構成要素であることは必須ではなく、画像処理装置１００が撮像部（カメラ）１０１を有さず、外部から入力した画像の画像処理を行う構成としてもよい。

以下、図１に示す画像処理装置１００の各構成要素の実行する処理について説明する。
撮像部（カメラ）１０１は、画像を撮影する。図１に示す車両１０に搭載されたカメラ１１に相当する。
撮像部（カメラ）１０１は、魚眼レンズ等の広角レンズを備えたカメラである。
撮像部（カメラ）１０１の撮影画像は、補正画像生成部１０２に入力される。

補正画像生成部１０２は、撮像部（カメラ）１０１の撮影画像に対する補正処理を実行して補正画像を生成する。
具体的には、撮像部（カメラ）１０１の撮影画像に対する歪み補正と、視点変換を実行した補正画像を生成する。
先に図７～図９を参照して説明した（１）撮影画像から（２）補正画像を生成する処理である。

前述したように、（１）撮影画像から、（２）補正画像へ変換する画像変換処理は、カメラ俯角とカメラのレンズ歪情報に基づいて、例えば円筒状に投影する歪み補正と画像変換処理によって行われる。具体的な処理としては、対応画素位置のマッピング処理によって補正画像が生成される。

すなわち、変換前の画像（撮影画像）の画素位置Ｐ０（Ｈ０，Ｖ０）に対応する変換後の画像（補正画像）の画素位置Ｐ１（Ｈ１，Ｖ１）を登録した対応画素位置登録データであるマッピングデータ（補正画像生成用マッピングデータ）を利用して補正画像を生成する。
なお、ここで利用する補正画像生成用マッピングデータは、正しいカメラ俯角＝θに設定された規定の正しい取り付けがなされたカメラのカメラ撮影画像用のマッピングデータであり、画像処理装置１００の記憶部に予め格納されているデータである。

補正画像生成部１０２の生成する補正画像は、視点方向が路面に平行となる方向、すなわち、図１に示す仮想視点方向となるように視点変換がなされた画像であり、この補正画像が運転席のモニタに表示される。

補正画像生成部１０２の生成した補正画像は、垂直オブジェクト傾き算出部１０３に入力される。
垂直オブジェクト傾き算出部１０３は、補正画像生成部１０２の生成した補正画像から、実世界で路面に垂直に立つ垂直オブジェクトを抽出し、この垂直オブジェクトの傾き（α）を算出する。

なお、実世界で路面に垂直に立つ垂直オブジェクトとは、例えば、道路上の標識や、信号、電柱その他のポール、あるいは人など、様々な被写体から選択可能である。

垂直オブジェクト傾き算出部１０３は、補正画像生成部１０２内の垂直オブジェクトの傾き（α）を算出する。

先に説明したように、カメラ俯角が規定角度（θ）であるカメラの撮影画像を、カメラ俯角＝θのカメラ撮影画像用の補正画像生成用マッピングデータを利用して変換すると、実世界の垂直オブジェクトは補正画像上でも垂直に表示される。
しかし、カメラ俯角が規定角度（θ）ではないカメラ俯角＝θ＋Δθであるカメラの撮影画像を、カメラ俯角＝θのカメラ撮影画像用のマッピングデータを利用して変換すると、実世界の垂直オブジェクトは、画像の左右中心位置から左右に離れるにつれて傾いて表示される。

垂直オブジェクト傾き算出部１０３は、補正画像生成部１０２の生成した補正画像から、実世界で路面に垂直に立つ垂直オブジェクトを抽出し、この垂直オブジェクトの傾き（α）を算出する。
垂直オブジェクト傾き算出部１０３の算出した垂直オブジェクトの傾き（α）は、カメラ俯角ズレ算出部１０４に入力される。

カメラ俯角ズレ算出部１０４は、垂直オブジェクト傾き算出部１０３の算出した垂直オブジェクトの傾き（α）を利用して、撮像部（カメラ）１０１の俯角の基準角度（θ）からのズレ角（Δθ）を算出する。

カメラ俯角ズレ算出部１０４は、先に説明した以下の（式３）に従って撮像部（カメラ）１０１のカメラ俯角のズレ角（Δθ）を算出する。
Δθ＝Ａ×α×ｈｍａｘ／ｈａ・・・（式３）

上記（式３）において、
Ａは、補正画像のアスペクト比（垂直／水平）、
ｈｍａｘは、補正画像の左右中心位置から左右の画像端部までの距離（画像の長さ、または画素数）、
αは、垂直オブジェクトの傾き、
ｈａは、垂直オブジェクトの補正画像の左右中心位置からの距離ｈａ（画像の長さ、または画素数）、
である。

なお、前述したように、カメラ撮影画像中に複数（ｎ個）の垂直オブジェクトが検出され、それぞれの垂直オブジェクト（１～ｎ）について個別の傾き（α１～αｎ）が検出された場合は、個々のオブジェクト対応の傾き（α１～αｎ）に基づいて上記（式３）に従ってｎ個のカメラ俯角ズレ（Δθ１～Δθｎ）を算出し、このｎ個の算出値の平均、あるいは中間値を算出して算出値をカメラ俯角ズレ（Δθ）とするという処理を行ってもよい。

なお、撮像部（カメラ）１０１が規定のカメラ俯角（θ）で正常に取り付けられている場合は、カメラ俯角ズレ算出部１０４の算出するカメラ俯角ズレ（Δθ）は０、Δθ＝０となる。

カメラ俯角ズレ算出部１０４の算出したカメラ俯角ズレ（Δθ）は、オブジェクト距離算出用画像（俯瞰画像）生成部１０５に入力される。
オブジェクト距離算出用画像（俯瞰画像）生成部１０５は、カメラ俯角ズレ算出部１０４の算出したカメラ俯角のズレ角（Δθ）を考慮して、オブジェクト距離算出用画像（俯瞰画像）を生成する。

この処理は、例えば先に図９を参照して説明した図９（３）に示すオブジェクト距離算出用画像（俯瞰画像）の生成処理である。
オブジェクト距離算出用画像（俯瞰画像）生成部１０５は、俯瞰画像生成用マッビングデータを利用してオブジェクト距離算出用画像（俯瞰画像）を生成する。
ここで用いる俯瞰画像生成用マッビングデータは、撮像部（カメラ）１０１のカメラ俯角ズレ（Δθ）を考慮した俯瞰画像生成用マッビングデータである。すなわち、カメラ俯角＝θ＋Δθで取り付けられたカメラの撮影画像から俯瞰画像を生成する俯瞰画像生成用マッビングデータである。

なお、カメラ俯角ズレ算出部１０４の算出したカメラ俯角ズレΔθ＝０の場合、すなわち撮像部（カメラ）１０１が規定のカメラ俯角（θ）で正常に取り付けられている場合は、カメラ俯角ズレ算出部１０４から入力するカメラ俯角のズレ角：Δθ＝０である。

この場合は、オブジェクト距離算出用画像（俯瞰画像）生成部１０５は、正常な取り付け角度（カメラ俯角＝θ）で取り付けられたカメラの撮影画像から俯瞰画像を生成する俯瞰画像生成用マッビングデータを利用してオブジェクト距離算出用画像（俯瞰画像）を生成する。
このオブジェクト距離算出用画像（俯瞰画像）は、先に図７（３）を参照して説明したオブジェクト距離算出用画像（俯瞰画像）である。
なお、俯瞰画像生成用マッビングデータは、画像処理装置１００の記憶部に予め格納されている。例えば、所定範囲のカメラ俯角ズレΔθに対応した複数のデータが格納されている。具体的には、例えばΔθ＝－５°＋５°の範囲の複数のマッピングデータが記憶部に格納されている。
あるいは、記憶部には１つのΔθ＝０マッピングデータのみを格納し、さらに、このマッピングデータをΔθ＝－５°＋５°の範囲のマッピングデータに変換するパラメータを併せて記憶した構成としてもよい。

このように、オブジェクト距離算出用画像（俯瞰画像）生成部１０５は、以下の２種類の処理のいずれかを選択的に実行する。
（処理１）カメラ俯角ズレ算出部１０４の算出したカメラ俯角ズレΔθ＝０の場合は、正常な取り付け角度（カメラ俯角＝θ）で取り付けられたカメラの撮影画像から俯瞰画像を生成する俯瞰画像生成用マッビングデータを利用してオブジェクト距離算出用画像（俯瞰画像）を生成する。
（処理２）カメラ俯角ズレ算出部１０４の算出したカメラ俯角ズレΔθ≠０の場合は、撮像部（カメラ）１０１のカメラ俯角ズレ（Δθ）を考慮した俯瞰画像生成用マッビングデータを利用してオブジェクト距離算出用画像（俯瞰画像）を生成する。

上記（処理１）は、先に図７を参照して説明した処理に対応し、（処理２）は、図９を参照して説明した処理に対応する。

オブジェクト距離算出用画像（俯瞰画像）生成部１０５の生成したオブジェクト距離算出用画像（俯瞰画像）は、オブジェクト距離算出部１０６に入力される。

オブジェクト距離算出部１０６は、オブジェクト距離算出用画像（俯瞰画像）生成部１０５の生成したオブジェクト距離算出用画像（俯瞰画像）を用いて、撮像部（カメラ）１０１の撮影画像に含まれる様々な被写体（オブジェクト）の距離を算出する。

先に図７等を参照して説明したように、オブジェクト距離算出用画像（俯瞰画像）は路面上を等縮尺した変換画像であるので、オブジェクト距離算出用画像（俯瞰画像）の画素位置から、実世界の位置を示す座標が求めることができる。実世界の位置を示す座標からカメラ（＝車両）からの距離、すなわち被写体距離（オブジェクト距離）を算出することができる。

次に、図１１に示すフローチャートを参照して本開示の画像処理装置１００が実行する画像処理、具体的にはカメラ撮影画像に基づく被写体距離の算出シーケンスについて説明する。
なお、図１１に示すフローチャートに従った処理は、画像処理装置の記憶部に格納されたプログラムに従って、プログラム実行機能を有するＣＰＵ等を備えたデータ処理部の制御の下で実行可能である。
以下、図１１に示すフローの各ステップの処理について、順次、説明する。

（ステップＳ１０１）
まず、ステップＳ１０１において、撮像部（カメラ）１０１が画像を撮影する。図１に示す車両１０に搭載されたカメラ１１に相当する撮像部（カメラ）１０１が画像を撮影する。

なお、撮像部（カメラ）１０１は、魚眼レンズ等の広角レンズを備えたカメラであり、例えば図７（１）や図９（１）に示す撮影画像を撮影する。

（ステップＳ１０２）
次に、ステップＳ１０２において、ステップＳ１０１で撮像部（カメラ）１０１が撮影した画像に対する画像変換処理（補正処理）を実行して補正画像を生成する。
この処理は、図１０に示す補正画像生成部１０２が実行する処理である。

補正画像生成部１０２は、撮像部（カメラ）１０１の撮影画像に対する歪み補正と、視点変換を実行した補正画像を生成する。具体的には、変換前の画像（撮影画像）の画素位置Ｐ０（Ｈ０，Ｖ０）に対応する変換後の画像（補正画像）の画素位置Ｐ１（Ｈ１，Ｖ１）を登録した対応画素位置登録データであるマッピングデータ（補正画像生成用マッピングデータ）を利用して補正画像を生成する。
なお、ここで利用する補正画像生成用マッピングデータは、正しいカメラ俯角＝θに設定された規定の正しい取り付けがなされたカメラのカメラ撮影画像用のマッピングデータである。

ステップＳ１０２で生成する補正画像は、視点方向が路面に平行となる方向、すなわち、図１に示す仮想視点方向となるように視点変換がなされた画像であり、この補正画像が運転席のモニタに表示される。

（ステップＳ１０３）
次に、ステップＳ１０３において、ステップＳ１０２で生成された補正画像から、実世界で路面に垂直に立つ垂直オブジェクトを抽出し、この垂直オブジェクトの傾き（α）を算出する。垂直オブジェクトとは、例えば、道路上の標識や、信号、電柱その他のポール、あるいは人など、様々な被写体から選択可能である。

先に説明したように、カメラ俯角が規定角度（θ）であるカメラの撮影画像を、カメラ俯角＝θのカメラ撮影画像用の補正画像生成用マッピングデータを利用して変換すると、実世界の垂直オブジェクトは補正画像上でも垂直に表示される。
しかし、カメラ俯角が規定角度（θ）ではないカメラ俯角＝θ＋Δθであるカメラの撮影画像を、カメラ俯角＝θのカメラ撮影画像用のマッピングデータを利用して変換すると、実世界の垂直オブジェクトは、画像の左右中心位置から左右に離れるにつれて傾いて表示される。

垂直オブジェクト傾き算出部１０３は、ステップＳ１０３において、補正画像生成部１０２の生成した補正画像から、実世界で路面に垂直に立つ垂直オブジェクトを抽出し、この垂直オブジェクトの傾き（α）を算出する。

（ステップＳ１０４）
次に、ステップＳ１０４において、ステップＳ１０３で検出した垂直オブジェクトの傾き（α）を利用して、撮像部（カメラ）１０１の俯角の基準角度（θ）からのズレ角（Δθ）を算出する。
この処理は、図１０に示すカメラ俯角ズレ算出部１０４が実行する処理である。

カメラ俯角ズレ算出部１０４は、先に説明した以下の（式３）に従って撮像部（カメラ）１０１のカメラ俯角のズレ角（Δθ）を算出する。
Δθ＝Ａ×α×ｈｍａｘ／ｈａ・・・（式３）

上記（式３）において、
Ａは、補正画像のアスペクト比（垂直／水平）、
ｈｍａｘは、補正画像の左右中心位置から左右の画像端部までの距離（画像の長さ、または画素数）、
αは、垂直オブジェクトの傾き、
ｈａは、垂直オブジェクトの補正画像の左右中心位置からの距離ｈａ（画像の長さ、または画素数）、
である。

なお、前述したように、カメラ撮影画像中に複数（ｎ個）の垂直オブジェクトが検出され、それぞれの垂直オブジェクト（１～ｎ）について個別の傾き（α１～αｎ）が検出された場合は、個々のオブジェクト対応の傾き（α１～αｎ）に基づいて上記（式３）に従ってｎ個のカメラ俯角ズレ（Δθ１～Δθｎ）を算出し、このｎ個の算出値の平均、あるいは中間値を算出して算出値をカメラ俯角ズレ（Δθ）とするという処理を行ってもよい。

なお、撮像部（カメラ）１０１が規定のカメラ俯角（θ）で正常に取り付けられている場合は、カメラ俯角ズレ算出部１０４の算出するカメラ俯角ズレ（Δθ）は０、Δθ＝０となる。

（ステップＳ１０５）
ステップＳ１０５～Ｓ１０７の処理は、図１０に示すオブジェクト距離算出用画像（俯瞰画像）生成部１０５が実行する処理である。

オブジェクト距離算出用画像（俯瞰画像）生成部１０５は、カメラ俯角ズレ算出部１０４の算出したカメラ俯角のズレ角（Δθ）を考慮して、オブジェクト距離算出用画像（俯瞰画像）を生成する。

オブジェクト距離算出用画像（俯瞰画像）生成部１０５は、まず、ステップＳ１０５において、ステップＳ１０４でカメラ俯角ズレ算出部１０４が算出したカメラ俯角ズレΔθが予め規定したしきい値Ｔｈ以下であるか否かを判定する。

カメラ俯角ズレΔθが予め規定したしきい値Ｔｈ以下であると判定した場合は、ステップＳ１０６に進む。
一方、カメラ俯角ズレΔθが予め規定したしきい値Ｔｈ以下でないと判定した場合は、ステップＳ１０７に進む。

（ステップＳ１０６）
ステップＳ１０５において、カメラ俯角ズレΔθが予め規定したしきい値Ｔｈ以下であると判定した場合は、ステップＳ１０６の処理を実行する。
カメラ俯角ズレΔθが予め規定したしきい値Ｔｈ以下である場合は、撮像部（カメラ）１０１が、ほぼ正常な取り付け角度（カメラ俯角＝θ）で取り付けられていることを意味する。

この場合は、ステップＳ１０６において、正常な取り付け角度（カメラ俯角＝θ）で取り付けられたカメラの撮影画像から俯瞰画像を生成する俯瞰画像生成用マッビングデータを利用してオブジェクト距離算出用画像（俯瞰画像）を生成する。
この処理は、先に図７を参照して説明した図７（３）に示すオブジェクト距離算出用画像（俯瞰画像）の生成処理である。

（ステップＳ１０７）
一方、ステップＳ１０５において、カメラ俯角ズレΔθが予め規定したしきい値Ｔｈ以下でないと判定した場合は、ステップＳ１０７の処理を実行する。
カメラ俯角ズレΔθが予め規定したしきい値Ｔｈ以下でない場合は、撮像部（カメラ）１０１が、ほぼ正常な取り付け角度（カメラ俯角＝θ）で取り付けられていないことを意味する。

撮像部（カメラ）１０１のカメラ俯角は、ズレ（Δθ）を有し、カメラ俯角＝θ＋Δθである。
この場合は、ステップＳ１０７において、撮像部（カメラ）１０１のカメラ俯角ズレ（Δθ）を考慮した俯瞰画像生成用マッビングデータを利用してオブジェクト距離算出用画像（俯瞰画像）を生成する。
この処理は、先に図９を参照して説明した図９（３）に示すオブジェクト距離算出用画像（俯瞰画像）の生成処理である。

（ステップＳ１０８）
最後に、ステップＳ１０８において、ステップＳ１０６，Ｓ１０７でオブジェクト距離算出用画像（俯瞰画像）生成部１０５が生成したオブジェクト距離算出用画像（俯瞰画像）を用いて、被写体距離（オブジェクト距離）を算出する。
この処理は、図１０に示すオブジェクト距離算出部１０６が実行する。

オブジェクト距離算出部１０６は、ステップＳ１０８において、ステップＳ１０６，Ｓ１０７でオブジェクト距離算出用画像（俯瞰画像）生成部１０５が生成したオブジェクト距離算出用画像（俯瞰画像）を用いて、撮像部（カメラ）１０１の撮影画像に含まれる様々な被写体（オブジェクト）の距離を算出する。

先に説明したように、オブジェクト距離算出用画像（俯瞰画像）は路面上を等縮尺した変換画像であるので、オブジェクト距離算出用画像（俯瞰画像）の画素位置から、実世界の位置を示す座標が求めることができる。実世界の位置を示す座標からカメラ（＝車体）からの距離、すなわち被写体距離（オブジェクト距離）を算出することができる。

このように、本開示の画像処理装置は、正常な取り付け角度であるカメラの撮影画像であっても、正常な取り付け角度でないカメラの撮影画像であっても、いずれの場合にも被写体までの距離（オブジェクト距離）を正確に算出することができる。

［４．本開示の画像処理装置のハードウェア構成例について］
次に、上述した実施例において説明した画像処理装置１００のハードウェア構成例について、図１２を参照して説明する。
図１２は、本開示の処理を実行する画像処理装置のハードウェア構成例を示す図である。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３０１は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３０２、または記憶部３０８に記憶されているプログラムに従って各種の処理を実行する制御部やデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３０３には、ＣＰＵ３０１が実行するプログラムやデータなどが記憶される。これらのＣＰＵ３０１、ＲＯＭ３０２、およびＲＡＭ３０３は、バス３０４により相互に接続されている。

ＣＰＵ３０１はバス３０４を介して入出力インタフェース３０５に接続され、入出力インタフェース３０５には、撮像部３２１の撮影画像の入力を行うとともに、ユーザ入力可能な各種スイッチ、キーボード、マウス、マイクロフォンなどよりなる入力部３０６、表示部３２２やスピーカなどに対するデータ出力を実行する出力部３０７が接続されている。ＣＰＵ３０１は、入力部３０６から入力される指令に対応して各種の処理を実行し、処理結果を例えば出力部３０７に出力する。

入出力インタフェース３０５に接続されている記憶部３０８は、例えばハードディスク等からなり、ＣＰＵ３０１が実行するプログラムや各種のデータを記憶する。通信部３０９は、Ｗｉ－Ｆｉ通信、ブルートゥース（登録商標）（ＢＴ）通信、その他インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。

入出力インタフェース３０５に接続されているドライブ３１０は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア３１１を駆動し、データの記録あるいは読み取りを実行する。

［５．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１） 広角レンズを有するカメラの撮影画像を入力して歪み補正を行い、補正画像を生成する補正画像生成部と、
実世界上の垂直オブジェクトの前記補正画像における傾きを算出する垂直オブジェクト傾き算出部と、
前記垂直オブジェクトの傾きに基づいて、前記カメラのカメラ俯角のズレ角を算出するカメラ俯角ズレ算出部と、
前記カメラのカメラ俯角ズレ角を考慮したオブジェクト距離算出用画像を生成するオブジェクト距離算出用画像生成部と、
前記オブジェクト距離算出用画像を参照して、前記カメラの撮影画像に含まれるオブジェクトの距離を算出するオブジェクト距離算出部を有する画像処理装置。

（２） 前記補正画像生成部は、
規定のカメラ俯角を有するカメラの撮影画像を、予め規定した視点方向からの画像に変換するための画素位置を対応付けた補正画像生成用マッピングデータを利用して前記補正画像を生成する（１）に記載の画像処理装置。

（３） 前記カメラ俯角ズレ算出部は、
前記カメラの光軸方向と、前記補正画像の視点方向とのなす角であるカメラ俯角の規定角度からのズレ角を算出する（１）または（２）に記載の画像処理装置。

（４） 前記カメラ俯角ズレ算出部は、
前記補正画像のアスペクト比（垂直／水平）Ａと、
前記補正画像の左右中心位置から左右の画像端部までの距離ｈｍａｘと、
前記補正画像の左右中心位置から任意距離ｈａの垂直オブジェクトの傾きα、
これらの値を用いて、前記カメラのカメラ俯角のズレ角Δθを、
Δθ＝Ａ×α×ｈｍａｘ／ｈａ
上記式に従って算出する（１）～（３）いずれかに記載の画像処理装置。

（５） 前記カメラ俯角ズレ算出部は、
前記カメラの撮影画像内の複数（ｎ個）の垂直オブジェクト各々に対応する複数の傾き（α１～αｎ）に基づいて、ｎ個のカメラ俯角ズレ（Δθ１～Δθｎ）を算出し、算出したｎ個のカメラ俯角ズレ（Δθ１～Δθｎ）の平均、あるいは中間値を最終的なカメラ俯角ズレ（Δθ）として算出する（１）～（４）いずれかに記載の画像処理装置。

（６） 前記オブジェクト距離算出用画像生成部は、
オブジェクト距離算出用画像として、実世界の位置を反映した俯瞰画像を生成する（１）～（５）いずれかに記載の画像処理装置。

（７） 前記オブジェクト距離算出用画像生成部は、
前記カメラのカメラ俯角ズレ角が規定しきい値以下である場合は、正常な取り付け角度で取り付けられたカメラの撮影画像から俯瞰画像を生成する俯瞰画像生成用マッビングデータを利用して前記オブジェクト距離算出用画像を生成する（１）～（６）いずれかに記載の画像処理装置。

（８） 前記オブジェクト距離算出用画像生成部は、
前記カメラのカメラ俯角ズレ角が規定しきい値以下でない場合は、前記カメラのカメラ俯角ズレを考慮した俯瞰画像生成用マッビングデータを利用して前記オブジェクト距離算出用画像を生成する（１）～（７）いずれかに記載の画像処理装置。

（９） 画像処理装置において実行する画像処理方法であり、
補正画像生成部が、広角レンズを有するカメラの撮影画像を入力して歪み補正を行い、補正画像を生成するステップと、
垂直オブジェクト傾き算出部が、実世界上の垂直オブジェクトの前記補正画像における傾きを算出するステップと、
カメラ俯角ズレ算出部が、前記垂直オブジェクトの傾きに基づいて、前記カメラのカメラ俯角のズレ角を算出するステップと、
オブジェクト距離算出用画像生成部が、前記カメラのカメラ俯角ズレ角を考慮したオブジェクト距離算出用画像を生成するステップと、
オブジェクト距離算出部が、前記オブジェクト距離算出用画像を参照して、前記カメラの撮影画像に含まれるオブジェクトの距離を算出するステップを実行する画像処理方法。

（１０） 画像処理装置において画像処理を実行させるプログラムであり、
補正画像生成部に、広角レンズを有するカメラの撮影画像を入力して歪み補正を行い、補正画像を生成させるステップと、
垂直オブジェクト傾き算出部に、実世界上の垂直オブジェクトの前記補正画像における傾きを算出させるステップと、
カメラ俯角ズレ算出部に、前記垂直オブジェクトの傾きに基づいて、前記カメラのカメラ俯角のズレ角を算出させるステップと、
オブジェクト距離算出用画像生成部に、前記カメラのカメラ俯角ズレ角を考慮したオブジェクト距離算出用画像を生成させるステップと、
オブジェクト距離算出部に、前記オブジェクト距離算出用画像を参照して、前記カメラの撮影画像に含まれるオブジェクトの距離を算出させるステップを実行させるプログラム。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本開示の一実施例の構成によれば、カメラの取り付け角度にズレがある場合においても、カメラ撮影画像に基づいて正確な被写体距離を算出可能とする構成が実現される。
具体的には、例えば、広角レンズを有するカメラの撮影画像を入力して歪み補正を行い、補正画像を生成する。さらに、実世界上の垂直オブジェクトの補正画像における傾きを算出し、垂直オブジェクトの傾きに基づいて、カメラのカメラ俯角のズレ角を算出し、カメラ俯角ズレ角を考慮したオブジェクト距離算出用画像を生成して、オブジェクト距離算出用画像からカメラの撮影画像に含まれるオブジェクトの距離を算出する。カメラ俯角ズレ角が規定しきい値以下でない場合は、カメラ俯角ズレを考慮した俯瞰画像生成用マッビングデータを利用してオブジェクト距離算出用画像を生成する。
これらの構成により、カメラの取り付け角度にズレがある場合においても、カメラ撮影画像に基づいて正確な被写体距離を算出可能とする構成が実現される。

１０ 車両
１１ カメラ
２０ 路面
３０ 垂直ポール
４０ 人
８１ 垂直ポール
１００ 画像処理装置
１０１ 撮像部（カメラ）
１０２ 補正画像生成部
１０３ 垂直オブジェクト傾き算出部
１０４ カメラ俯角ズレ算出部
１０５ オブジェクト距離算出用画像生成部
１０６ オブジェクト距離算出部
３０１ ＣＰＵ
３０２ ＲＯＭ
３０３ ＲＡＭ
３０４ バス
３０５ 入出力インタフェース
３０６ 入力部
３０７ 出力部
３０８ 記憶部
３０９ 通信部
３１０ ドライブ
３１１ リムーバブルメディア
３２１ 撮像部
３２２ 表示部

Claims (10)

1. 広角レンズを有するカメラの撮影画像を入力して歪み補正を行い、補正画像を生成する補正画像生成部と、
   実世界上の垂直オブジェクトの前記補正画像における傾きを算出する垂直オブジェクト傾き算出部と、
   前記垂直オブジェクトの傾きに基づいて、前記カメラのカメラ俯角のズレ角を算出するカメラ俯角ズレ算出部と、
   前記カメラのカメラ俯角ズレ角を考慮したオブジェクト距離算出用画像を生成するオブジェクト距離算出用画像生成部と、
   前記オブジェクト距離算出用画像を参照して、前記カメラの撮影画像に含まれるオブジェクトの距離を算出するオブジェクト距離算出部を有する画像処理装置。
2. 前記補正画像生成部は、
   規定のカメラ俯角を有するカメラの撮影画像を、予め規定した視点方向からの画像に変換するための画素位置を対応付けた補正画像生成用マッピングデータを利用して前記補正画像を生成する請求項１に記載の画像処理装置。
3. 前記カメラ俯角ズレ算出部は、
   前記カメラの光軸方向と、前記補正画像の視点方向とのなす角であるカメラ俯角の規定角度からのズレ角を算出する請求項１に記載の画像処理装置。
4. 前記カメラ俯角ズレ算出部は、
   前記補正画像のアスペクト比（垂直／水平）Ａと、
   前記補正画像の左右中心位置から左右の画像端部までの距離ｈｍａｘと、
   前記補正画像の左右中心位置から任意距離ｈａの垂直オブジェクトの傾きα、
   これらの値を用いて、前記カメラのカメラ俯角のズレ角Δθを、
   Δθ＝Ａ×α×ｈｍａｘ／ｈａ
   上記式に従って算出する請求項１に記載の画像処理装置。
5. 前記カメラ俯角ズレ算出部は、
   前記カメラの撮影画像内の複数（ｎ個）の垂直オブジェクト各々に対応する複数の傾き（α１～αｎ）に基づいて、ｎ個のカメラ俯角ズレ（Δθ１～Δθｎ）を算出し、算出したｎ個のカメラ俯角ズレ（Δθ１～Δθｎ）の平均、あるいは中間値を最終的なカメラ俯角ズレ（Δθ）として算出する請求項１に記載の画像処理装置。
6. 前記オブジェクト距離算出用画像生成部は、
   オブジェクト距離算出用画像として、実世界の位置を反映した俯瞰画像を生成する請求項１に記載の画像処理装置。
7. 前記オブジェクト距離算出用画像生成部は、
   前記カメラのカメラ俯角ズレ角が規定しきい値以下である場合は、正常な取り付け角度で取り付けられたカメラの撮影画像から俯瞰画像を生成する俯瞰画像生成用マッビングデータを利用して前記オブジェクト距離算出用画像を生成する請求項１に記載の画像処理装置。
8. 前記オブジェクト距離算出用画像生成部は、
   前記カメラのカメラ俯角ズレ角が規定しきい値以下でない場合は、前記カメラのカメラ俯角ズレを考慮した俯瞰画像生成用マッビングデータを利用して前記オブジェクト距離算出用画像を生成する請求項１に記載の画像処理装置。
9. 画像処理装置において実行する画像処理方法であり、
   補正画像生成部が、広角レンズを有するカメラの撮影画像を入力して歪み補正を行い、補正画像を生成するステップと、
   垂直オブジェクト傾き算出部が、実世界上の垂直オブジェクトの前記補正画像における傾きを算出するステップと、
   カメラ俯角ズレ算出部が、前記垂直オブジェクトの傾きに基づいて、前記カメラのカメラ俯角のズレ角を算出するステップと、
   オブジェクト距離算出用画像生成部が、前記カメラのカメラ俯角ズレ角を考慮したオブジェクト距離算出用画像を生成するステップと、
   オブジェクト距離算出部が、前記オブジェクト距離算出用画像を参照して、前記カメラの撮影画像に含まれるオブジェクトの距離を算出するステップを実行する画像処理方法。
10. 画像処理装置において画像処理を実行させるプログラムであり、
    補正画像生成部に、広角レンズを有するカメラの撮影画像を入力して歪み補正を行い、補正画像を生成させるステップと、
    垂直オブジェクト傾き算出部に、実世界上の垂直オブジェクトの前記補正画像における傾きを算出させるステップと、
    カメラ俯角ズレ算出部に、前記垂直オブジェクトの傾きに基づいて、前記カメラのカメラ俯角のズレ角を算出させるステップと、
    オブジェクト距離算出用画像生成部に、前記カメラのカメラ俯角ズレ角を考慮したオブジェクト距離算出用画像を生成させるステップと、
    オブジェクト距離算出部に、前記オブジェクト距離算出用画像を参照して、前記カメラの撮影画像に含まれるオブジェクトの距離を算出させるステップを実行させるプログラム。

Images