JP5442164B2 - 移動体周辺映像補正装置 - Google Patents

Description

この発明は、移動体の周辺を撮像した映像の歪みを補正する移動体周辺映像補正装置に関する。

近年、運転者のための車両周辺の視界確保を目的として、魚眼カメラを車両に取り付けることが増えている。魚眼カメラは比較的広い視界を確保できるため、車両後退時の視界確保等の目的に適している。しかし、魚眼カメラで撮像した映像は歪曲しているため、状況によっては見づらく、また、物体検知等の目的で使用する場合には歪曲成分が誤動作の原因にもなるため、歪みを補正する必要がある。

魚眼カメラで撮像した映像の歪みを補正する技術は一般的に知られており、例えば特許文献１，２がある。特許文献１に係るビデオ監視装置は、カメラに装着される魚眼レンズの歪曲特性を予めパラメータ化しておき、これらのパラメータを用いて映像の歪みを補正する。また、特許文献２に係る車両運転支援装置は、車両周辺を撮像するカメラの交換時に取り付け位置の変更に伴い生じる撮像位置のずれ量を算出し、交換前のカメラに設定された歪曲映像の歪み補正用パラメータを、撮像位置のずれ量だけ補正して、交換後のカメラに再設定する。

特表平１１−５１０３４１号公報 特開２００７−１５８６３９号公報

特許文献１のような既存の技術は、カメラの特性（歪み量、焦点距離等）が判明していることを前提として歪曲映像を補正する技術であり、装置に対して最初にカメラの特性を設定するという設定作業が必要になる。また、特許文献２の方法では、カメラ交換時に発生する手間を省くことはできるが、最初にカメラの特性を測定して設定するという設定作業自体は依然として必要であり、この設定作業を軽減することはできない。

カメラ接続機能を有するカーナビゲーション装置を例に考えると、接続するカメラおよび車両形状などに応じてカメラの特性および取り付け位置といった情報が異なるため、ユーザ自身が各種情報を測定してカーナビゲーション装置に設定するという設定作業が必要である。しかしながら、ユーザがカメラの特性等を測定することはそもそも困難であるし、また、例えカメラの特性等の情報が予め用意されていたとしても設定操作が煩雑であるとユーザは設定作業を中断してしまう可能性がある。
このように、従来はカメラ特性等の設定作業に手間がかかるという課題があった。

この発明は、上記のような課題を解決するためになされたもので、映像の歪み補正を自動で行うことにより、ユーザによるカメラ特性の設定作業が不要、または少ない操作で簡単に設定可能な移動体周辺映像補正装置を提供することを目的とする。

この発明に係る移動体周辺映像補正装置は、移動体の周辺を撮像する撮像装置から周辺映像を取得する撮像部と、撮像部が取得した周辺映像からエッジを抽出し、当該エッジから曲線状の基準線を求める基準線検出部と、基準線検出部が求めた基準線が直線状になるような、周辺映像の歪み補正用の歪みパラメータを算出する歪みパラメータ算出部と、歪みパラメータ算出部が算出した歪みパラメータを用いて、撮像部が取得する周辺映像の歪みを補正して、表示部で表示する周辺映像として出力する歪み補正部と、移動体の周辺の地形情報を取得する地形情報取得部とを備え、撮像部は、地形情報取得部が取得した地形情報を利用して、撮像装置から周辺映像を選択的に取得するものである。

この発明によれば、ユーザによるカメラ特性の設定作業が不要な移動体周辺映像補正装置を提供することができる。

この発明の実施の形態１に係る車両周辺映像補正装置の構成を示すブロック図である。 実施の形態１の基準線検出部による基準線検出方法の一例を説明する図である。 実施の形態１の歪み補正部による樽型歪み補正方法を説明する図である。 実施の形態１に係る車両周辺映像補正装置の動作を示すフローチャートである。 この発明の実施の形態２に係る車両周辺映像補正装置の構成を示すブロック図である。 実施の形態２の基準線平均化部による基準線の平均化方法の一例を説明する図である。 実施の形態２に係る車両周辺映像補正装置の動作を示すフローチャートである。 実施の形態２に係る車両周辺映像補正装置の動作を示すフローチャートであり、図７の続きである。 実施の形態２に係る車両周辺映像補正装置の変形例の構成を示すブロック図である。 この発明の実施の形態３に係る車両周辺映像補正装置の構成を示すブロック図である。 実施の形態３の歪みパラメータ評価部による評価値算出方法の一例を説明する図である。 実施の形態３に係る車両周辺映像補正装置の動作を示すフローチャートである。 この発明の実施の形態４に係る車両周辺映像補正装置の構成を示すブロック図である。 実施の形態４の基準線選択部によるタッチパネルを用いた基準線選択方法の一例を説明する図である。 実施の形態４に係る車両周辺映像補正装置の動作を示すフローチャートである。 この発明の実施の形態５に係る車両周辺映像補正装置の構成を示すブロック図である。 実施の形態５の特徴物選択部によるタッチパネルを用いた特徴物選択方法の一例を説明する図である。 実施の形態５の歪み補正部による歪み補正映像のセンタリングの一例を示す図である。 実施の形態５に係る車両周辺映像補正装置の動作を示すフローチャートである。

以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１に示す車両周辺映像補正装置１０は、撮像装置（以下、カメラ）に接続する撮像部１１と、所定の処理を行う基準線検出部１２、歪みパラメータ算出部１３および歪み補正部１４と、表示装置に接続する表示部１５とから構成される。ここでは、車両周辺映像補正装置１０が車両に搭載されるカーナビゲーション装置等に組み込まれて使用される場合を想定し、車両に取り付けられたカメラおよび車室内に設置された表示装置を利用する。

撮像部１１は映像入力用のインタフェースであり、車両に取り付けられた魚眼カメラ等の広角撮像装置と接続して撮像された車両周辺の映像を取得し、基準線検出部１２および表示部１５へ出力する。広角撮像装置の撮像した映像は極端な歪み（歪曲）が生じるため、この車両周辺映像補正装置１０により補正する。なお、広角撮像装置に限らず通常のカメラであってもレンズの歪み等に起因して映像に歪みが生じるため、本車両周辺映像補正装置１０の補正対象となり得る。
以下では、撮像部１１に接続するカメラとして広角のリアカメラを例に用いて説明する。

基準線検出部１２は、撮像部１１が取得した歪曲映像を入力とし、基準線を検出して歪みパラメータ算出部１３へ出力する。基準線とは、道路の白色ペイント、道路と塀の境界線、水平線、自車両バンパの縁等、実際の景色では水平方向にのびる直線であるが、歪曲映像では歪曲して水平方向にのびる曲線状になっている線である。後述する歪みパラメータ算出部１３および歪み補正部１４では、基準線が直線で画面表示されるように歪曲映像の歪みを補正することになる。

ここで、図２を用いて、基準線検出部１２による基準線検出方法の一例を説明する。
図２（ａ）に撮像部１１がカメラから取得した歪曲映像の一例を示す。基準線検出部１２は画像処理により、この歪曲映像からエッジを抽出する。図２（ｂ）はエッジ抽出結果を示し、この図のように基準線に関係のないエッジが映像中に多数存在する場合は、基準線検出部１２が映像に対してリサイズおよびぼかし等の画像処理を加え、基準線を検出しやすくしてもよい。
続いて基準線検出部１２は、エッジ抽出結果から、水平方向につながるエッジを抽出する。図２（ｃ）に水平方向につながるエッジ抽出結果を示す。車両後方または前方にカメラを設置した場合、映像の上端から下端までつながる垂直方向のエッジが検出されることは稀有であるため、垂直方向のつながりは無視する。ただし、カメラを車両側方に設置した場合等、状況によっては垂直方向につながるエッジを抽出してもよい。なお、基準線検出部１２は水平方向につながるエッジの抽出本数が所定本数以下の場合にその歪曲映像を破棄し、以下の処理に用いないようにしてもよい。
続いて基準線検出部１２は、予め与えられている平均的な魚眼カメラの歪み（図２（ｄ）に一例を示す）を参照し、水平方向につながるエッジ抽出結果においてエッジ間の短い切れ目を補完する。図２（ｅ）にエッジ間の補完結果を示す。図２（ｃ）の切れ目１００が図２（ｅ）では補完されている。
続いて基準線検出部１２は、エッジ間の補完結果において、一定以上の長さを持たないエッジを削除する。図２（ｆ）に短いエッジの削除結果を示す。図２（ｅ）の短いエッジ１０１が図２（ｆ）では削除されて、３本のエッジ１０２〜１０４のみ残っている。
続いて基準線検出部１２は、所定距離内に存在する近い位置のエッジ同士を１本のエッジにまとめる。図２（ｇ）に近い位置のエッジ同士をまとめた結果を示す。図２（ｆ）の近い位置のエッジ１０２，１０３が、図２（ｇ）では１本のエッジ１０５にまとめられている。

上記基準線検出方法により、最終的に得られたエッジ１０４，１０５がそれぞれ基準線である。なお、２本以上の基準線を検出した場合、基準線検出部１２は各基準線に優先度を付与し、最も高い優先度を示す基準線を最終的な出力とする。

優先度は、例えば以下に示すパラメータＰ１〜Ｐ４に重み付けして総和をとるといった方法で算出することが可能である。
（Ｐ１）エッジの長さ
エッジが長いほど優先度が高くなるよう重み付けする
（Ｐ２）エッジの歪みと平均的な魚眼カメラの歪みとの類似度
類似度が高いほど優先度が高くなるよう重み付けする
（Ｐ３）図２（ｆ）から図２（ｇ）への移行処理で１本にまとめる基となったエッジの本数
多くのエッジを１本にまとめるほど優先度が高くなるよう重み付けする
（Ｐ４）映像の上下方向の中心からの距離
中心からの距離が遠いほど優先度が高くなるよう重み付けする（映像の中心は歪みが小さいため、基準線としては不適切である）

歪みパラメータ算出部１３は、歪みのある基準線の形状を直線形状にするような、座標変換用の歪み補正式についての歪みパラメータを算出し、歪み補正部１４へ出力する。
歪み補正部１４は、歪みパラメータ算出部１３が算出した歪みパラメータを用いて、基準線が直線になるように映像中の各画素を座標変換し、歪曲映像全体の歪みを補正する。

歪み補正方法としては、公知の方法を用いればよく、特に指定はしない。ここでは歪み補正のモデルとして広く利用されている樽型歪み補正を例に挙げて説明する。
図３は、樽型歪み補正方法を説明する図である。図３（ａ）は、撮像部１１が取得した歪曲映像の一例であり、図３（ｂ）はその歪曲映像を歪み補正した歪み補正映像の一例である。また、格子は映像上に設定されたＸＹ軸の座標位置を示し、中心座標（０，０）とする。また、基準線１０６を一例として示す。

このとき、樽型歪み補正の歪み補正式は下式（１）である。
Ｘｕ＝Ｘｄ＋ｋ×（Ｘｄ^２＋Ｙｄ^２）
Ｙｕ＝Ｙｄ＋ｋ×（Ｘｄ^２＋Ｙｄ^２） （１）
ここで、（Ｘｕ，Ｙｕ）は歪み補正後の座標、（Ｘｄ，Ｙｄ）は歪み補正前の座標、ｋは歪みパラメータである。

上式（１）からわかるように、樽型歪み補正に必要な歪みパラメータはｋである。歪みパラメータ算出部１３は、式（１）のｋを増減させながら歪み補正後の基準線１０６の形状を計算し、基準線１０６が最も直線形状に近くなったときのｋを歪みパラメータとして出力する。
そして、歪み補正部１４が、歪みパラメータ算出部１３の算出した歪みパラメータｋを用いて、式（１）より、撮像部１１の取得した歪曲映像の各画素の座標（Ｘｄ，Ｙｄ）を座標（Ｘｕ，Ｙｕ）に変換した歪み補正映像を生成する。

表示部１５は、歪み補正映像をカーナビゲーションシステム等の表示装置に画面表示させる。また、表示部１５は歪み補正映像を外部へ出力してもよく、外部出力により歪み補正映像を視認目的以外の別のシステムでも使用できるようになる。

次に、図４に示すフローチャートを用いて、本実施の形態１に係る車両周辺映像補正装置１０の動作を説明する。なお、この動作を開始するタイミングは、カメラを撮像部１１に接続したとき、カメラの撮像する歪曲映像の明るさが基準値以上になったとき等、任意のタイミングでよい。

撮像部１１がカメラから歪曲映像を取得して、基準線検出部１２および歪み補正部１４に出力し（ステップＳＴ１１）、基準線検出部１２がその歪曲映像から基準線を検出して歪みパラメータ算出部１３へ出力する（ステップＳＴ１２）。歪みパラメータ算出部１３はその基準線に基づいて歪みパラメータを算出して歪み補正部１４へ出力する（ステップＳＴ１３）。歪み補正部１４は、歪みパラメータ算出部１３から歪みパラメータが入力されると、撮像部１１から入力される歪曲映像を順次その歪みパラメータを用いて歪み補正して、歪み補正映像として表示部１５へ出力し（ステップＳＴ１４）、表示部１５が画面表示する（ステップＳＴ１５）。

以上より、実施の形態１に係る車両周辺映像補正装置１０は、車両周辺を撮像するカメラから歪曲した周辺映像を取得する撮像部１１と、撮像部１１が取得した周辺映像からエッジを抽出し、当該エッジから水平方向にのびた曲線状の基準線を求める基準線検出部１２と、基準線検出部１２が求めた基準線が直線状になるような、周辺映像の歪み補正用の歪みパラメータを算出する歪みパラメータ算出部１３と、歪みパラメータ算出部１３が算出した歪みパラメータを用いて、撮像部１１が取得する周辺映像の歪みを補正する歪み補正部１４と、歪み補正部１４が歪み補正した周辺映像を表示する表示部１５とを備えるように構成した。このため、カメラの特性データを入力することなく、自動で周辺映像の歪み補正を行うことができる。よって、ユーザによるカメラ特性の設定作業が不要で、手間のかからない車両周辺映像補正装置を提供できる。

実施の形態２．
図５は、この発明の実施の形態２に係る車両周辺映像補正装置１０ａの構成を示すブロック図である。図５において図１と同一または相当の部分については同一の符号を付し説明を省略する。この車両周辺映像補正装置１０ａは、新たに、映像保存部２１、記憶媒体２２および基準線平均化部２３を備える構成である。

映像保存部２１は、撮像部１１が取得した歪曲映像を複数、記憶媒体２２に保存させる。保存する映像量、保存頻度、およびタイミング等は車両周辺映像補正装置１０ａの構成、歪み補正に求められる精度、および処理の負荷等の条件に応じて、映像保存部２１に自由に設定すればよい。また、映像保存部２１はカーナビゲーション装置から情報を受け付ける等して、自車両が直線的な道路（例えば、高速道路）を走行中にのみ映像を保存するというように、車両の状況に応じて映像を保存するようにしてもよい。さらに、映像保存部２１は歪曲映像の明るさが所定値以上の場合のみ保存するようにしてもよい。

基準線検出部１２ａは、記憶媒体２２が保存している全ての映像に対して、基準線検出処理を行い、検出した基準線を基準線平均化部２３へ出力する。後段の基準線平均化部２３で基準線を平均化するため、基準線検出部１２ａが検出する基準線は１本以上でもよい。複数の基準線を検出結果として出力する場合には、基準線に付与した優先度の高い順に複数本を出力するようにしてもよいし、優先度に応じて取捨選択することなく検出した全ての基準線を出力してもよい。
なお、基準線検出部１２ａは、処理時間等を考慮し、記憶媒体２２が保存している映像のうちのいくつかを抜き出して、上記処理を行う構成としてもよい。また、基準線検出部１２ａは、平均化に適さない基準線の画像を基準線平均化部２３へ出力しないようにすれば、処理時間を短縮すると共に、より適切な基準線を得ることができるので、より望ましい。平均化に適さない基準線の画像とは、例えば基準線平均化部２３へ出力する候補となる基準線の形状が平均的な魚眼カメラの歪み量から所定以上に大きくずれていたり、基準線の長さが所定の長さに足りなかったり、基準線が画面中央にあったり（画面中央付近は歪み量が小さいので基準線としては不適切である）する画像である。

基準線平均化部２３は、基準線検出部１２ａが出力する複数の基準線を平均化し、１本の基準線を求めて歪みパラメータ算出部１３へ出力する。１つの歪曲映像から基準線を検出する場合、撮像した状況によっては正しい基準線を検出できないことがある。そこで、複数の歪曲映像から基準線を検出して平均化することにより、基準線の信頼度を高める。
なお、基準線平均化部２３は、複数の基準線が存在する場合には、優先度が最も高い基準線、あるいはユーザが指定した基準線を選択する。

平均化の方法としては、公知の方法を用いればよく、特に指定はしない。ここでは図６を用いて平均化の一例を説明する。
基準線検出部１２ａが３つの歪曲映像から図６（ａ）〜（ｃ）に示すような基準線１０７〜１１１を検出したとする。基準線平均化部２３は、これらの基準線１０７〜１１１を白色で記した画像を合成する。具体的には、それぞれの映像の各画素が白を０、黒を１とする画素値を持つ白黒画像であるとして、複数の映像の同一画素の画素値の平均値を求め、合成した画像の各画素値とする。合成した画像の各画素値の中で、最も白が濃い部分（あるいは画素値が所定値以下の部分）をエッジと同様に考え、途切れている部分を補完して基準線を検出することで、複数本の基準線を平均化できる。例えば図６（ｄ）に示す合成画像からは図６（ｅ）の基準線１１２が選択される。
なお、基準線平均化部２３は、複数の基準線に設けられた優先度に応じて白色の濃さを調整して、重み付き平均を求めてもよい。

次に、図７および図８に示すフローチャートを用いて、本実施の形態２に係る車両周辺映像補正装置１０ａの動作を説明する。
撮像部１１がカメラから歪曲映像を取得して、映像保存部２１および歪み補正部１４に出力し（ステップＳＴ２１）、映像保存部２１が歪曲映像を記憶媒体２２に保存する（ステップＳＴ２２）。映像保存部２１は歪み補正処理に足りる十分な歪曲映像が保存できているか否か判定し（ステップＳＴ２３）、不十分なら（ステップＳＴ２３“ＮＯ”）、ステップＳＴ２１へ戻る。十分なら（ステップＳＴ２３“ＹＥＳ”）、続いて基準線検出部１２ａが、記憶媒体２２に保存されている全ての歪曲映像から基準線を検出し終えたか否かを判定する（ステップＳＴ２４）。基準線検出部１２ａは、全て検出し終えていなければ（ステップＳＴ２４“ＮＯ”）、複数の歪曲映像毎に基準線を検出する（ステップＳＴ２５）。

基準線検出部１２ａが記憶媒体２２に保存されている全ての歪曲映像から基準線を検出し終えると（ステップＳＴ２４“ＹＥＳ”）、基準線平均化部２３へそれらの基準線を出力する。基準線平均化部２３は、それらの基準線全てを平均化して１本の基準線を算出し、歪みパラメータ算出部１３へ出力する（ステップＳＴ２６）。歪みパラメータ算出部１３は、平均化した１本の基準線に基づいて歪みパラメータを算出して歪み補正部１４へ出力する（ステップＳＴ２７）。歪み補正部１４は、歪みパラメータ算出部１３から歪みパラメータが入力されると、撮像部１１から入力される歪曲映像を順次その歪みパラメータを用いて歪み補正して、歪み補正映像として表示部１５へ出力し（ステップＳＴ２８）、表示部１５が画面表示する（ステップＳＴ２９）。

以上より、実施の形態２に係る車両周辺映像補正装置１０ａは新たに、撮像部１１が取得した歪曲した周辺映像を記憶媒体２２に保存させる映像保存部２１と、複数の基準線を平均化する基準線平均化部２３とを備え、基準線検出部１２ａは記憶媒体２２に保存された複数の周辺映像それぞれから基準線を算出して基準線平均化部２３に出力し、歪みパラメータ算出部１３は基準線平均化部２３が平均化した基準線が直線状になるような歪みパラメータを算出するように構成した。このため、基準線の平均化によりノイズ成分を除去でき、信頼度が高い基準線を得ることができる。

なお、上記実施の形態２に係る車両周辺映像補正装置１０ａでは、基準線平均化部２３が複数の基準線を平均化した後で、歪みパラメータ算出部１３が平均化した基準線から歪みパラメータを算出する構成としたが、これに限定されるものではなく、処理の順番を逆にして、先に複数の基準線それぞれについて歪みパラメータを算出し、その後、複数の歪みパラメータを平均化する構成であってもよい。
図９に、変形例を示す。図９において、図１および図５と同一または相当の部分については同一の符号を付し説明を省略する。この車両周辺映像補正装置１０ａ−１は、複数の歪みパラメータから最適な歪みパラメータを算出する最適歪みパラメータ算出部である歪みパラメータ平均化部２４を備える構成である。

歪みパラメータ算出部１３ａは、基準線検出部１２ａから入力された１枚以上の歪曲映像の基準線それぞれについて歪みパラメータを算出して、歪みパラメータ平均化部２４へ出力する。
歪みパラメータ平均化部２４は、１枚以上の歪曲映像の基準線から歪みパラメータ算出部１３ａが算出した歪みパラメータを入力とし、平均化した歪みパラメータを算出し、歪み補正部１４へ出力する。
歪み補正部１４は上記実施の形態２と同様に、撮像部１１から入力される歪曲映像を順次、歪みパラメータを用いて歪み補正し、表示部１５が歪み補正映像として画面表示する。

歪みパラメータ平均化部２４による歪みパラメータの平均化処理はどのような方法でもよく、特に指定はしない。歪み補正に必要な歪みパラメータを単純に平均してもよいし、各歪み補正モデルを考慮して平均値を算出してもよい。また、歪みパラメータ平均化部２４は、歪みパラメータ算出部１３ａから入力された歪みパラメータのうち、不適切な歪みパラメータを除外して平均をとるようにしてもよい。さらに、平均化処理以外の方法によって複数の歪みパラメータから最適な歪みパラメータを算出するようにしてもよい。

このように、車両周辺映像補正装置１０ａ−１は新たに、歪みパラメータ算出部１３ａが算出した複数の歪みパラメータを用いて、最適な歪みパラメータを算出する歪みパラメータ平均化部２４を備え、歪みパラメータ平均化部２４は、複数の歪みパラメータの平均を算出して最適な歪みパラメータとし、歪み補正部１４は、歪みパラメータ平均化部２４が算出した最適な歪みパラメータを用いて周辺映像の歪みを補正するように構成した。このため、複数の歪曲映像から検出した多数の基準線を使用して平均化した歪みパラメータを決定するので、歪み補正の精度を向上させることができる。

実施の形態３．
図１０は、この発明の実施の形態３に係る車両周辺映像補正装置１０ｂの構成を示すブロック図である。図１０において図１および図５と同一または相当の部分については同一の符号を付し説明を省略する。この車両周辺映像補正装置１０ｂは、新たに、歪みパラメータ評価部３１、最適歪みパラメータ算出部３２、地形情報取得部３３および周辺物体検知部３４を備える構成である。

歪みパラメータ評価部３１は、歪み補正部１４ｂから入力された複数の歪曲映像それぞれから算出された複数の歪みパラメータに対して、その歪みパラメータを用いて歪み補正した歪み補正映像がどれくらい適切に歪み補正されたかを示す評価値を算出し、最適歪みパラメータ算出部３２へ出力する。

評価値の算出方法はどのような方法でもよく、特に指定はしない。ここでは図１１を用いて算出方法の一例を説明する。
歪みパラメータ評価部３１は、評価のためのリファレンス映像として歪曲映像を用意しておき、各歪みパラメータを用いてリファレンス映像の歪み補正を行い、歪み補正したリファレンス映像からエッジ抽出を行う。図１１（ａ）にリファレンス映像１１３と、そのリファレンス映像１１３に対して歪みパラメータｋ１〜ｋ３で歪み補正してエッジ抽出したエッジ抽出映像１１４〜１１６とを示す。
なお、歪みパラメータ評価部３１は、リファレンス映像として、記憶媒体２２に保存されている歪曲映像を使用してもよいし、撮像部１１ｂで新たに取得した歪曲映像を使用してもよい。また、歪みパラメータ評価部３１は、単にエッジ抽出をするだけでなく、基準線検出部１２ｂと同様に、歪み補正したリファレンス映像の垂直方向につながるエッジを削除したり、エッジ間の切れ目を補完したりしてもよい。

例えば撮像したカメラ映像の中からリファレンスとしての優先度（適切さ）が高い映像を抜き出し、リファレンス映像として使用する場合、優先度は、例えば以下の項目（Ａ）〜（Ｃ）についてそれぞれスコアを求め、その総和によって求めるといったことが可能である。
（Ａ）歪みパラメータを算出する歪曲映像とは異なる映像
歪みパラメータ評価部３１は、歪みパラメータ算出部１３ｂで歪みパラメータ算出に使用する歪曲映像のスコアを下げ、リファレンス映像に選ばれにくく、または完全に選ばれないようにする。なお、歪みパラメータを算出する歪曲映像をリファレンス映像に用いると、リファレンス映像から算出された歪みパラメータが最適歪みパラメータになり、後述する最適歪みパラメータ算出部３２で最適な歪みパラメータを求めることができなくなるという問題がある。

（Ｂ）基準線検出処理により検出される基準線の本数または優先度
基準線検出部１２ｂにより高い優先度が付与された基準線は、はっきりとしたエッジを有している等の特徴を持つため、リファレンス映像としても有効である。そこで歪みパラメータ評価部３１は、この優先度が高い映像ほどスコアを上げる。
また、あまりに多数の基準線が検出されるような歪曲映像は、後述する図１１（ｂ）に示すエッジ量グラフで多数の突出部を持ってしまい、正しく評価できない可能性があるので、基準線の本数が多いほどスコアを下げるか、または完全に選ばれないようにする。

（Ｃ）映像の撮像場所
車両周囲に建造物がない開けた場所または高速道路では、正しいリファレンス映像を取得できる確率が高い。そこで、車両周辺映像補正装置１０ｂが車両周辺の地形情報を取得する地形情報取得部３３を備え、撮像部１１ｂは、地形情報取得部３３が取得する車両周辺の地形情報を利用して、リファレンス映像取得に適している場所（例えば、高速道路）で撮像された映像に高いスコアを付与して出力したり、適している場所で撮像された映像のみを出力したりする。
また、車両周辺映像補正装置１０ｂが車両周辺に存在する物体を検知する周辺物体検知部３４を備え、撮像部１１ｂは、周辺物体検知部３４が検知した物体に関する情報を利用して、リファレンス映像取得に適している場所（例えば、物体が検知されなかった場所）で撮像された映像に高いスコアを付与して出力したり、適している場所で撮像された映像のみを出力したりする。
なお、当該（Ｃ）に基づくリファレンス映像を使用する場合に地形情報取得部３３および周辺物体検知部３４の一方、または両方を備える構成とすればよく、当該（Ｃ）を考慮しない場合には不要である。この地形情報取得部３３は、例えばカーナビゲーション装置の地図情報から地形情報を抽出する手段であり、また、周辺物体検知部３４は、例えば車体に設置された超音波センサを具備するかカメラ映像から物体を認識する画像処理装置を具備するかして物体を検知する手段である。

また、歪みパラメータ評価部３１は、上記（Ａ）〜（Ｃ）に基づいて求めたスコアが高い複数の映像をリファレンス映像として使用することで、後述する最適歪みパラメータ算出部３２においてより最適な歪みパラメータを求めることができる。

続いて歪みパラメータ評価部３１は、各エッジ抽出映像に対して、縦軸に映像のＹ座標、横軸に各Ｙ座標におけるエッジの量を表すグラフを作成する。なお、図１１（ａ）のエッジ抽出映像１１４〜１１６では抽出したエッジに相当する画素を白色で表現し、同一の水平ラインのうちの白色の画素数をエッジの量として計算して、図１１（ｂ）のグラフにする。よって、映像中、水平線および車両バンパ等が存在する部分では、エッジの量が突出する。特に、歪曲したリファレンス映像が適切に補正されている場合、グラフ中の突出した部分が急峻になるため、その急峻さ（幅および高さ）の度合いを歪み補正の適切さを示す評価値とする。
図１１（ｂ）の３つのグラフの突出部１１７〜１１９を比較すると、突出部１１９が最も幅が狭く高さも高いので、歪みパラメータｋ３の評価値が最も高くなる。反対に、突出部１１７は最も幅が広く高さも低いので、歪みパラメータｋ１の評価値が最も低くなる。

なお、カメラが車両に正しく取り付けられておらず傾いている可能性を考慮し、歪みパラメータ評価部３１は生成したエッジ抽出映像を左右に所定角度ずつ回転させた映像を用意し、この回転映像からエッジの量を表すグラフを作成して評価してもよい。

最適歪みパラメータ算出部３２は、歪みパラメータ評価部３１が算出した各歪みパラメータの評価値に基づいて、最適な歪みパラメータを算出し、歪み補正部１４ｂへ出力する。単純な算出方法としては、評価値が最も高い歪みパラメータをそのまま最適歪みパラメータとする方法が挙げられる。また、より精度を高めるために、評価値が一定以上である歪みパラメータを算出する基となった基準線の集合に対し、上記実施の形態２の基準線平均化部２３と同様の処理を施し平均化した基準線を算出し、この基準線から歪みパラメータを算出して最適歪みパラメータにしてもよい。

歪み補正部１４ｂは、歪み補正映像と、その歪み補正映像を生成する際に用いた歪みパラメータとをセットで歪みパラメータ評価部３１に出力する。また、歪みパラメータ評価部３１から入力された最適歪みパラメータを用いて、撮像部１１ｂから入力される歪曲映像を歪み補正して表示部１５に出力する。

次に、図１２に示すフローチャートを用いて、本実施の形態３に係る車両周辺映像補正装置１０ｂの動作を説明する。なお、ステップＳＴ３１より前の処理は、上記実施の形態２の図７に示すフローチャートと同じであるため、説明を省略する。
基準線検出部１２ｂが記憶媒体２２に保存されている全ての歪曲映像から基準線を検出し終えると（図７に示すステップＳＴ２４“ＹＥＳ”）、続いて歪みパラメータ評価部３１が、これら全ての基準線についての歪みパラメータの評価値を算出し終えたか否か判定する（図１２に示すステップＳＴ３１）。

検出された基準線全ての歪みパラメータ評価値を算出し終えていなければ（ステップＳＴ３１“ＮＯ”）、先ず、歪みパラメータ算出部１３ｂが、歪曲映像毎の基準線から歪みパラメータをそれぞれ算出し、歪み補正部１４ｂへ出力する（ステップＳＴ３２）。続いて歪み補正部１４ｂが、歪曲映像毎に、その歪曲映像から算出された歪みパラメータを用いて歪み補正する（ステップＳＴ３３）。続いて歪みパラメータ評価部３１が、上述した方法により各歪みパラメータの評価値を算出する（ステップＳＴ３４）。

検出された基準線全ての歪みパラメータ評価値を算出し終えると（ステップＳＴ３１“ＹＥＳ”）、歪みパラメータ評価部３１が最適歪みパラメータ算出部３２へそれらの歪みパラメータ評価値を出力する。最適歪みパラメータ算出部３２は、それら全ての歪みパラメータのうちから、評価値に基づいて最適な歪みパラメータを算出し、歪み補正部１４ｂへ出力する（ステップＳＴ３５）。歪み補正部１４ｂは、最適歪みパラメータ算出部３２から最適な歪みパラメータが入力されると、撮像部１１ｂから入力される歪曲映像を順次その最適歪みパラメータを用いて歪み補正して、歪み補正映像として表示部１５へ出力し（ステップＳＴ３６）、表示部１５が画面表示する（ステップＳＴ３７）。

以上より、実施の形態３に係る車両周辺映像補正装置１０ｂは新たに、歪みパラメータ算出部１３ｂが算出した複数の歪みパラメータを用いてリファレンス映像をそれぞれ歪み補正し、当該補正結果に基づいて歪み補正の適切さを表す評価値を算出する歪みパラメータ評価部３１と、歪みパラメータ評価部３１が算出した評価値に基づいて、歪みパラメータ算出部１３ｂが算出した複数の歪みパラメータのうちから最適な歪みパラメータを算出する最適歪みパラメータ算出部３２とを備え、歪み補正部１４ｂは最適歪みパラメータ算出部３２が算出した最適な歪みパラメータを用いて周辺映像の歪みを補正するように構成した。このため、複数の歪曲映像から検出した多数の基準線を使用して実際に歪み補正を行って補正の適切さを評価して最適な歪みパラメータを決定するので、歪み補正の精度を向上させることができる。

また、実施の形態３に係る車両周辺映像補正装置１０ｂは新たに、車両周辺の地形情報を取得する地形情報取得部３３および車両の周辺に存在する物体を検知する周辺物体検知部３４のいずれか一方、または両方を備え、撮像部１１ｂは、地形情報取得部３３が取得した地形情報または周辺物体検知部３４が検知した物体に関する情報を利用して、カメラから周辺映像を取得するように構成した。このため、歪みパラメータ評価部３１が適切なリファレンス映像を取得して歪みパラメータを評価できるようになり、より最適な歪みパラメータを得ることができる。

なお、上述したように、上記実施の形態２，３を組み合わせた構成にして、歪みパラメータ評価部３１の算出する評価値が一定以上になる歪みパラメータを算出する基となった基準線の集合に対し、基準線平均化部２３と同様の処理を施し平均化した基準線を算出し、最適歪みパラメータ算出部３２がこの基準線から歪みパラメータを算出して最適歪みパラメータにしてもよい。

実施の形態４．
図１３は、この発明の実施の形態４に係る車両周辺映像補正装置１０ｃの構成を示すブロック図である。図１３において図１と同一または相当の部分については同一の符号を付し説明を省略する。この車両周辺映像補正装置１０ｃは、新たに、ユーザからの入力を受け付ける入力装置としての基準線選択部４１および基準線描画部４２を備える構成である。

基準線検出部１２ｃは、撮像部１１が取得した歪曲映像に対して基準線検出処理を行い、検出した全ての基準線を基準線選択部４１に出力する。

基準線選択部４１は、タッチパネル、スティック、カーソルキーなどの入力装置であり、基準線検出部１２ｃが検出した複数の基準線をユーザに提示して歪み補正に使用する基準線を選択させ、選択された基準線を歪みパラメータ算出部１３ｃへ指示する。

選択方法の具体例としては、例えば、歪曲映像に複数の基準線を重ねて表示させ、タッチパネルを用いて基準線を直接選択させる方法、およびスティックまたはカーソルキーを用いて基準線を選択させる方法が挙げられる。図１４に、タッチパネルを用いた基準線選択の例を示す。基準線選択部４１は、タッチパネルと一体に構成された表示部１５が画面表示する歪曲映像に、基準線検出部１２ｃが検出した複数の基準線１２０，１２１を重ねて表示させる。ユーザが指１２２で基準線１２０をタッチして選択すると、基準線選択部４１がこの選択操作を受け付けて、基準線１２０の情報を歪みパラメータ算出部１３ｃに出力する。

基準線選択部４１は、ユーザに基準線を選択させる際、基準線検出部１２ｃが基準線検出に際して基準線に付与した優先度を利用して、例えば以下の（１）〜（３）のように優先度の高い基準線をユーザが選びやすいようにしてもよい。
（１）基準線に優先度を表示する
（２）優先度が高い基準線を強調表示する
（３）カーソルキー等で基準線を選択させる場合に、優先度が高い順にカーソルを移動する

これ以外にも例えば、本実施の形態４に係る車両周辺映像補正装置１０ｃに上記実施の形態２の基準線平均化部２３を具備させて、基準線検出部１２ｃの検出した複数の基準線を平均化させ、平均的な基準線の候補になり得る基準線に高い優先度を設定するようにしてもよい。また例えば、本実施の形態４に係る車両周辺映像補正装置１０ｃに上記実施の形態３の歪みパラメータ評価部３１および最適歪みパラメータ算出部３２を具備させて、基準線検出部１２ｃの検出した複数の基準線のうち、歪みパラメータの評価値が上位にあるような基準線に高い優先度を設定するようにしてもよい。さらに、これらの構成を組み合わせてもよい。

基準線描画部４２は、タッチパネルなどの入力装置であり、ユーザが基準線選択部４１で選択可能な基準線の候補に満足しない場合、または、適切な基準線を検出できなかった場合に、基準線を自由に描画させ、描画された基準線を歪みパラメータ算出部１３ｃへ指示する。
具体例としては、タッチパネルと一体に構成された表示部１５が画面表示する歪曲映像中の水平線および自車両バンパ等をユーザが指でなぞるといった操作を行うと、基準線描画部４２がその入力操作を受け付けて基準線の情報として歪みパラメータ算出部１３ｃに出力する。

歪みパラメータ算出部１３ｃは、基準線選択部４１または基準線描画部４２から入力された基準線の形状を直線形状にするような、座標変換用の歪み補正式の歪みパラメータを算出し、歪み補正部１４へ出力する。

次に、図１５に示すフローチャートを用いて、本実施の形態４に係る車両周辺映像補正装置１０ｃの動作を説明する。なお、図１５に示すステップＳＴ１１〜ＳＴ１３は、図４に示すステップＳＴ１１〜ＳＴ１３と同じ処理のため、説明を省略する。
車両周辺映像補正装置１０ｃはユーザに対して、基準線選択部４１および基準線描画部４２のどちらを使用するか選択させる（ステップＳＴ４１）。ユーザが基準線選択部４１を選択した場合（ステップＳＴ４１“基準線選択”）、基準線選択部４１が、基準線検出部１２ｃの検出した基準線の中から歪み補正に使用する基準線をユーザに選択させ、その基準線を歪みパラメータ算出部１３ｃへ出力する（ステップＳＴ４２）。
他方、ユーザが基準線描画部４２を選択した場合（ステップＳＴ４１“基準線描画”）、基準線描画部４２が、基準線をユーザに描画させ、その基準線を歪みパラメータ算出部１３ｃへ出力する（ステップＳＴ４３）。

歪みパラメータ算出部１３ｃは、基準線選択部４１または基準線描画部４２から入力された基準線から歪みパラメータを算出し、歪み補正部１４へ出力する（ステップＳＴ４４）。歪み補正部１４は、歪みパラメータ算出部１３ｃから歪みパラメータが入力されると、撮像部１１から入力される歪曲映像を順次その歪みパラメータを用いて歪み補正して、歪み補正映像として表示部１５へ出力し（ステップＳＴ４５）、表示部１５が画面表示する（ステップＳＴ４６）。

なお、車両周辺映像補正装置１０ｃは、基準線選択部４１と基準線描画部４２を両方備える構成であってもよいし、いずれか一方を備える構成であってもよい。例えば基準線選択部４１のみ備えた場合、基準線検出部１２ｃが検出した基準線が１本のみであれば、基準線選択部４１がその基準線をユーザに提示することなくそのまま歪みパラメータ算出部１３ｃへ出力するようにしてもよい。

以上より、実施の形態４に係る車両周辺映像補正装置１０ｃは新たに、基準線検出部１２ｃが検出した複数の基準線のうちからユーザに所望の基準線を選択させる基準線選択部４１を備え、歪みパラメータ算出部１３ｃは基準線選択部４１がユーザから受け付けた基準線を用いて歪みパラメータを算出するように構成した。このため、ユーザが車両周辺映像補正装置１０ｃによる自動的な歪み補正に満足できない場合に、ユーザ自身が選択した基準線に基づいた歪み補正を行うことができる。この方法によれば、カメラの特性を測定して設定する従来の設定作業に比べて、ユーザの操作が少なく、かつ簡単にできる。

また、実施の形態４に係る車両周辺映像補正装置１０ｃは新たに、ユーザの描画する基準線を受け付ける基準線描画部４２を備え、歪みパラメータ算出部１３ｃは基準線描画部４２がユーザから受け付けた基準線を用いて歪みパラメータを算出するように構成した。このため、ユーザが基準線検出部１２ｃにより検出された基準線に満足できない場合に、ユーザ自身が自由に基準線を描画入力できる。この方法によれば、カメラの特性を測定して設定する従来の設定作業に比べて、ユーザの操作が少なく、かつ簡単にできる。

実施の形態５．
図１６は、この発明の実施の形態５に係る車両周辺映像補正装置１０ｄの構成を示すブロック図である。図１６において図１と同一または相当の部分については同一の符号を付し説明を省略する。この車両周辺映像補正装置１０ｄは、新たに、特徴物検出部５１、ならびにユーザからの入力を受け付ける入力装置としての特徴物選択部５２および中央位置入力部５３を備える構成である。
本実施の形態５では、カメラが車両中央からずれた位置に設置されている場合に、このカメラが撮像した映像を用いて、表示部１５に画面表示する歪み補正映像をセンタリングする。以下では、カメラが車両中央から左右方向（水平方向）にずれた位置に設置されている場合を例に用いて説明する。

特徴物検出部５１は、歪み補正部１４ｄから入力される歪み補正映像から、自車両の中央にある可能性が高い特徴物、例えばナンバプレート、ロゴマークを検出し、特徴物選択部５２へ出力する。映像から特徴物を検出する方法については、パターン認識等の公知の方法を用いればよい。

また、特徴物検出部５１は、検出した特徴物に優先度を付与し、優先度の高い特徴物を優先的に出力するようにしてもよい。例えばナンバプレートおよびロゴマークは自車両中央に取り付けられている確率が比較的高いため、優先度を高く設定する。あるいは、ナンバプレート等に限らず、映像の中央下部に存在する特徴物の優先度を高く設定するようにしてもよい。
また、画角が広いカメラを車両後部に取り付けている場合、左右の方向指示器が歪曲映像の左右に映ることがある。この場合、特徴物検出部５１は、方向指示器の位置から大まかな車両中央位置を算出し、算出した位置付近に存在する特徴物の優先度を高く設定してもよい。

特徴物選択部５２は、タッチパネル、カーソルキーなどの入力装置であり、特徴物検出部５１が検出した特徴物の中から、車両の中央位置に存在する特徴物をユーザに選択させ、選択された特徴物の位置を中央位置として歪み補正部１４ｄへ指示する。

選択方法の具体例としては、上記実施の形態４の基準線選択部４１と同様に、歪み補正映像に特徴物検出部５１が検出した複数の特徴物を明示させ、タッチパネルおよびカーソルキーなどを用いて特徴物を選択させる方法が挙げられる。図１７に、タッチパネルを用いた特徴物選択の例を示す。特徴物選択部５２は、タッチパネルと一体に構成された表示部１５が画面表示する歪み補正映像に自車両バンパ１２３のナンバプレート１２４とロゴマーク１２５を明示する。図１７の例では特徴物を赤線で囲って明示している。ユーザが指１２６でナンバプレート１２４をタッチして選択すると、特徴物選択部５２がこの選択操作を受け付けて、ナンバプレート１２４の位置を中央位置として歪み補正部１４ｄに出力する。

また、特徴物選択部５２がユーザに特徴物を選択させる際、上記実施の形態４の基準線選択部４１と同様に、特徴物検出部５１が特徴物検出に際して特徴物に付与した優先度を利用して優先度の高い特徴物をユーザが選びやすいようにしてもよい。

中央位置入力部５３は、タッチパネルなどの入力装置であり、ユーザが特徴物選択部５２で選択可能な特徴物の候補に満足しない場合、または、適切な特徴物を検出できなかった場合に、ユーザに中央位置を指定させ、指定された位置を中央位置として歪み補正部１４ｄへ指示する。
具体例としては、タッチパネルと一体に構成された表示部１５が画面表示する歪み補正映像上でユーザが中央位置をタッチする操作を行うと、中央位置入力部５３がその入力操作を受け付けて中央位置の情報として歪み補正部１４ｄに出力する。

歪み補正部１４ｄは、歪みパラメータ算出部１３から入力される歪みパラメータを用いて、撮像部１１から入力される歪曲映像を歪み補正して表示部１５に出力すると共に、歪み補正映像を特徴物検出部５１に出力する。また、歪み補正部１４ｄは、特徴物選択部５２または特徴物選択部５２から入力された中央位置が映像の中央になるように、歪み補正映像のセンタリングを行う。

図１８に、歪み補正映像のセンタリングの例を示す。図１８（ａ）に示すセンタリング前の歪み補正映像において自車両バンパ１２３のナンバプレート１２４がユーザの指１２６でタッチされてその位置が中央位置に指定されると、歪み補正部１４ｄが、ナンバプレート１２４が映像の中央になるようにセンタリングを行って、図１８（ｂ）に示すセンタリング済みの歪み補正映像を生成する。なお、センタリングは、例えば図１８（ａ）の映像の右側の領域を縮小し、左側の領域を拡大するようにして行ってもよいし、映像の枠外にも画素があれば映像全体を右方向へずらしてもよいし、あるいはこれら以外の方法であってもよい。

次に、図１９に示すフローチャートを用いて、本実施の形態５に係る車両周辺映像補正装置１０ｄの動作を説明する。
撮像部１１、基準線検出部１２、歪みパラメータ算出部１３、および歪み補正部１４ｄが所定の処理を行って歪曲映像を歪み補正し、表示部１５が歪み補正映像を画面表示する（ステップＳＴ５１）。なお、歪曲映像を歪み補正するまででとどめ、画面表示は行わなくともよい。続いて特徴物検出部５１が、歪み補正映像からナンバプレート等の特徴物を検出する（ステップＳＴ５２）。

車両周辺映像補正装置１０ｄは、特徴物検出部５１が特徴物を検出した場合（ステップＳＴ５３“ＹＥＳ”）にステップＳＴ５４へ進み、特徴物が検出されなかった場合（ステップＳＴ５３“ＮＯ”）にステップＳＴ５５へ進む。または、ユーザに対して特徴物選択部５２および中央位置入力部５３のどちらを使用するか選択させ（ステップＳＴ５３）、ユーザが特徴物選択部５２を選択した場合（ステップＳＴ５３“ＹＥＳ”に相当する）にステップＳＴ５４へ進み、中央位置入力部５３を選択した場合（ステップＳＴ５３“ＮＯ”に相当する）にステップＳＴ５５へ進むようにしてもよい。

特徴物選択部５２は、特徴物検出部５１が検出した特徴物の中から中央位置にある特徴物をユーザに選択させ、その特徴物の位置を自車両の中央位置として歪み補正部１４ｄへ出力する（ステップＳＴ５４）。
他方、中央位置入力部５３は、自車両の中央位置をユーザに指定させ、その指定位置を中央位置として歪み補正部１４ｄへ出力する（ステップＳＴ５５）。

歪み補正部１４ｄは、特徴物選択部５２または中央位置入力部５３から入力された中央位置が映像中心になるように、これ以降の歪み補正映像に対して順次センタリングを行って表示部１５へ出力し（ステップＳＴ５６）、表示部１５が画面表示する（ステップＳＴ５７）。
なお、歪み補正部１４ｄは、歪み補正映像に対して画像処理を加えてセンタリングを行ってもよいし、歪みパラメータと中央位置を入力として歪み補正を行う方法により歪曲映像に対して歪み補正とセンタリングを一度に行ってもよい。または、歪曲映像に画像処理を加えてセンタリングを行ってから、歪み補正を行ってもよい。
また、上記説明では歪み補正部１４ｄは左右方向のみセンタリングを行ったが、これに加え、またはこれに代えて、上下方向（垂直方向）のセンタリングを行ってもよい。

また、ユーザが特徴物選択部５２と中央位置入力部５３が異なる機能であることを意識せずに使用できるように構成してもよい。例えば、特徴物選択部５２は歪み補正映像の上に特徴物を表示するだけの機能にとどめ、ユーザがタッチパネル等を用いて選択した位置に特徴物があるなしに関わらず、その位置を中央位置とするような構成にする。これにより、特徴物選択部５２と中央位置入力部５３が見かけ上同じ動作を行うようになり、特徴物のあるなしに関わらずユーザが指定した位置を中央位置としてセンタリングするようになる。

また、特徴物検出部５１が特徴物を抽出した場合に、特徴物選択部５２および中央位置入力部５３を用いてユーザから指示を受けることなく、歪み補正部１４ｄがその特徴物の位置を中央位置に用いて自動的にセンタリングを行う構成にしてもよい。この構成の場合、特徴物検出部５１が自車両の車種に応じた外観情報を取得できるようにし、この特徴物検出部５１が車両中央にどのような特徴物が存在するかを判断して特徴物の抽出を行って、歪み補正部１４ｄがセンタリングを行うようにすることが好ましい。車種の外観情報は、車両周辺映像補正装置１０ｄのいずれかの構成要素が予め保有してもよいし、別の車載機器から取得するようにしてもよいし、車両周辺映像補正装置１０ｄに書き込まれたか別の車載機器から取得した車種情報に基づいて外観情報のみをネットワークを通じて取得するようにしてもよい。

以上より、実施の形態５に係る車両周辺映像補正装置１０ｄは新たに、周辺映像から所定の特徴物を検出する特徴物検出部５１と、特徴物検出部５１が検出した複数の特徴物のうちからユーザに所望の特徴物を選択させる特徴物選択部５２とを備え、歪み補正部１４ｄは周辺映像について、特徴物選択部５２がユーザから受け付けた特徴物が表示部１５の画面中央に表示されるようセンタリングを行うと共に歪み補正を行うように構成した。このため、カメラが車両中央からずれた位置に設置されている場合に、ユーザが車両中央からのずれを測定および設定する設定作業をすることなく、容易に映像のセンタリングを行うことができる。

また、実施の形態５に係る車両周辺映像補正装置１０ｄは新たに、周辺映像の、表示部１５の画面中央に表示する位置をユーザから受け付ける中央位置入力部５３を備え、歪み補正部１４ｄは周辺映像について、中央位置入力部５３がユーザから受け付けた位置が表示部１５の画面中央になるようセンタリングを行うと共に歪み補正を行うように構成した。このため、特徴物検出部５１により検出された特徴物にユーザが満足しない場合、または特徴物検出部５１が特徴物を検出できない場合に、ユーザ自身が中央位置を指定することで容易にセンタリングを行うことができる。

なお、上記実施の形態１〜５では、自動車を対象とした車両周辺映像補正装置１０，１０ａ〜１０ｄを例に説明したが、自動車に限定されるものではなく、船、飛行機、列車等の移動体に適用可能である。

また、カメラは車両に固定して使用する以外にも、着脱自在なものであってもよい。その場合には、カメラを取り付けた都度、基準線の検出および歪みパラメータの算出を行う。さらに、カメラの取り付け角度（姿勢）を検出する手段（加速度センサ、傾斜センサ等）を具備し、カメラの姿勢に応じて周辺映像の傾きを補正した上で、基準線の検出等を実施するようにして、歪み補正の精度をより高めるようにしてもよい。

また、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

１０，１０ａ，１０ａ−１，１０ｂ〜１０ｄ 車両周辺映像補正装置、１１，１１ｂ 撮像部、１２，１２ａ，１２ｂ，１２ｃ 基準線検出部、１３，１３ａ，１３ｂ，１３ｃ 歪みパラメータ算出部、 １４，１４ｂ，１４ｄ 歪み補正部、１５ 表示部、２１ 映像保存部、２２ 記憶媒体、２３ 基準線平均化部、２４ 歪みパラメータ平均化部（最適歪みパラメータ算出部）、３１ 歪みパラメータ評価部、３２ 最適歪みパラメータ算出部、３３ 地形情報取得部、３４ 周辺物体検知部、４１ 基準線選択部、４２ 基準線描画部、５１ 特徴物検出部、５２ 特徴物選択部、５３ 中央位置入力部。

Claims (14)

1. 移動体の周辺を撮像する撮像装置から周辺映像を取得する撮像部と、
   前記撮像部が取得した周辺映像からエッジを抽出し、当該エッジから曲線状の基準線を求める基準線検出部と、
   前記基準線検出部が求めた基準線が直線状になるような、周辺映像の歪み補正用の歪みパラメータを算出する歪みパラメータ算出部と、
   前記歪みパラメータ算出部が算出した歪みパラメータを用いて、前記撮像部が取得する周辺映像の歪みを補正して、表示部で表示する周辺映像として出力する歪み補正部と、
   移動体の周辺の地形情報を取得する地形情報取得部とを備え、
   前記撮像部は、前記地形情報取得部が取得した地形情報を利用して、前記撮像装置から周辺映像を選択的に取得することを特徴とする移動体周辺映像補正装置。
2. 移動体の周辺を撮像する撮像装置から周辺映像を取得する撮像部と、
   前記撮像部が取得した周辺映像からエッジを抽出し、当該エッジから曲線状の基準線を求める基準線検出部と、
   前記基準線検出部が求めた基準線が直線状になるような、周辺映像の歪み補正用の歪みパラメータを算出する歪みパラメータ算出部と、
   前記歪みパラメータ算出部が算出した歪みパラメータを用いて、前記撮像部が取得する周辺映像の歪みを補正して、表示部で表示する周辺映像として出力する歪み補正部と、
   移動体の周辺に存在する物体を検知する周辺物体検知部とを備え、
   前記撮像部は、前記周辺物体検知部が検知した物体に関する情報を利用して、前記撮像装置から周辺映像を選択的に取得することを特徴とする移動体周辺映像補正装置。
3. 移動体の周辺を撮像する撮像装置から周辺映像を取得する撮像部と、
   前記撮像部が取得した周辺映像からエッジを抽出し、当該エッジから曲線状の基準線を求める基準線検出部と、
   前記基準線検出部が求めた基準線が直線状になるような、周辺映像の歪み補正用の歪みパラメータを算出する歪みパラメータ算出部と、
   前記歪みパラメータ算出部が算出した歪みパラメータを用いて、前記撮像部が取得する周辺映像の歪みを補正して、表示部で表示する周辺映像として出力する歪み補正部と、
   複数の基準線を平均化する基準線平均化部とを備え、
   前記基準線検出部は、前記撮像部が取得した複数の周辺映像それぞれから基準線を検出して前記基準線平均化部に出力し、
   前記歪みパラメータ算出部は、前記基準線平均化部が平均化した基準線が直線状になるような歪みパラメータを算出することを特徴とする移動体周辺映像補正装置。
4. 前記基準線検出部が複数の基準線を検出して前記歪みパラメータ算出部が当該複数の基準線それぞれについて算出した複数の歪みパラメータを用いて、最適な歪みパラメータを算出する最適歪みパラメータ算出部を備え、
   前記歪み補正部は、前記最適歪みパラメータ算出部が算出した最適な歪みパラメータを用いて周辺映像の歪みを補正することを特徴とする請求項１から請求項３のうちのいずれか１項記載の移動体周辺映像補正装置。
5. 前記最適歪みパラメータ算出部は、複数の歪みパラメータの平均を算出して最適な歪みパラメータとすることを特徴とする請求項４記載の移動体周辺映像補正装置。
6. 前記基準線検出部が複数の基準線を検出して前記歪みパラメータ算出部が当該複数の基準線それぞれについて算出した複数の歪みパラメータを用いて、リファレンス映像をそれぞれ歪み補正し当該補正結果に基づいて歪み補正の適切さを表す評価値を算出する歪みパラメータ評価部を備え、
   前記最適歪みパラメータ算出部は、前記歪みパラメータ評価部が算出した評価値に基づいて、前記歪みパラメータ算出部が算出した複数の歪みパラメータのうちから最適な歪みパラメータを算出することを特徴とする請求項４記載の移動体周辺映像補正装置。
7. 前記基準線検出部が検出した複数の基準線のうちからユーザに所望の基準線を選択させる基準線選択部を備え、
   前記歪みパラメータ算出部は、前記基準線選択部がユーザから受け付けた基準線を用いて歪みパラメータを算出することを特徴とする請求項１から請求項３のうちのいずれか１項記載の移動体周辺映像補正装置。
8. ユーザの描画する基準線を受け付ける基準線描画部を備え、
   前記歪みパラメータ算出部は、前記基準線描画部がユーザから受け付けた基準線を用いて歪みパラメータを算出することを特徴とする請求項１から請求項３のうちのいずれか１項記載の移動体周辺映像補正装置。
9. 周辺映像から所定の特徴物を検出する特徴物検出部と、
   前記特徴物検出部が検出した複数の特徴物のうちからユーザに所望の特徴物を選択させる特徴物選択部とを備え、
   前記歪み補正部は、前記周辺映像について、前記特徴物選択部がユーザから受け付けた特徴物が前記表示部の画面中央に表示されるようセンタリングを行うと共に歪み補正を行うことを特徴とする請求項１から請求項３のうちのいずれか１項記載の移動体周辺映像補正装置。
10. 周辺映像の、前記表示部の画面中央に表示する位置をユーザから受け付ける中央位置入力部を備え、
    前記歪み補正部は、前記周辺映像について、前記中央位置入力部がユーザから受け付けた位置が前記表示部の画面中央になるようセンタリングを行うと共に歪み補正を行うことを特徴とする請求項１から請求項３のうちのいずれか１項記載の移動体周辺映像補正装置。
11. 前記基準線検出部は、水平方向に伸びた曲線状の基準線を検出することを特徴とする請求項１から請求項３のうちのいずれか１項記載の移動体周辺映像補正装置。
12. 前記撮像装置は、移動体に着脱自在であることを特徴とする請求項１から請求項３のうちのいずれか１項記載の移動体周辺映像補正装置。
13. 前記撮像装置は、広角撮像装置であることを特徴とする請求項１から請求項３のうちのいずれか１項記載の移動体周辺映像補正装置。
14. 前記移動体は車両であることを特徴とする請求項１から請求項３のうちのいずれか１項記載の移動体周辺映像補正装置。

Images