JP5836774B2 - 俯瞰映像生成装置、俯瞰映像生成方法、映像表示システムおよびナビゲーション装置 - Google Patents

Description

この発明は、車両などの移動体に搭載され、移動体周辺が撮像された画像を俯瞰画像に変換して利用者に提示する俯瞰映像生成装置、俯瞰映像生成方法、これを用いた映像表示システムおよびナビゲーション装置に関する。

従来、車両に搭載したカメラの撮影画像を俯瞰変換して利用者に提示する画像処理装置が知られている。このような装置では、カメラを設定した際に、その姿勢状態を示す姿勢パラメータを記憶しておき、その姿勢状態でカメラが設置されていることを前提として、カメラ画像を姿勢パラメータを基に俯瞰変換していた。

車両にカメラを適切に設置するための従来の技術として、例えば特許文献１に開示される方法がある。この方法では、車両から離れた位置に指標となるテストパターン（基準パターン、テストチャート）を設け、カメラで撮像したテストパターンの撮像状態を基に、姿勢パターンが示す姿勢状態でカメラが設置されているかどうかを点検する。

また、特許文献２には、地面に描かれた白線などの平行線やこの平行線から求められる無限遠を基準として、カメラの取り付け状態を調整する画像処理装置が提案されている。この装置では、カメラの撮像方向を調整する調整機構を備えており、カメラを車両に取り付けた後にその撮像方向がずれても、撮像方向を調整可能である。

非特許文献１には、姿勢パラメータ自体を推定する方法が開示されている。この方法では、専用のテストパターンをカメラで撮像し、テストパターンの撮像状態から姿勢パラメータを推定する。
また、特許文献３および特許文献４には、地面に描かれた白線などの平行線やこの平行線から求められる無限遠を基準として、カメラの姿勢パラメータを推定する方法が提案されている。
さらに、特許文献５には、地面に描かれた平行線の撮像画像を適当な姿勢パラメータに基づいて俯瞰変換し、その平行線の平行度を算出することで、姿勢パラメータを推定する姿勢パラメータ推定装置が提案されている。この装置では、平行線のみで姿勢パラメータを推定することが可能である。

特開２００１−９１９８４号公報 特開２０００−１４２２２１号公報 特開平７−７７４３１号公報 特開平７−１４７０００号公報 特開２００８−１８２６５２号公報

R.Y.Tsai，"A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses"，Transactions on Pattern Analysis and Machine Intelligence 22(11)，IEEE，1987，p.323-344.

特許文献１，２に代表される従来の技術は、姿勢パラメータが示す姿勢にカメラが設置されていなかった場合、カメラ姿勢を調整する必要があるため、一時的な姿勢のずれに柔軟に対応することができないという課題があった。
例えば、車両に搭載されたカメラでは、乗員や荷物の積載により車両が傾くと、カメラ姿勢がずれた状態となる。この場合、乗員の数や荷物の重さなどが変われば、カメラ姿勢も変化する可能性があり、その都度カメラ姿勢を推定し直す必要がある。
また、上記従来の技術は、専用のテストパターンを用意する必要がある。したがって、テストパターンなどの保管場所とカメラ姿勢の調整を実施する場所が必要であり、テストパターンを用意するコストがかかる。このため、カメラの姿勢推定を簡易に実施することができないという課題があった。

また、特許文献３，４に代表される従来の技術では、カメラの姿勢推定に平行線から求められる無限遠が必要となる。このため、白線を撮像する道路がカーブしていたり、車両やビルなどの障害物が存在していたりすると、無限遠を求めることができず（または困難となり）、カメラの姿勢推定が容易でないという課題があった。

さらに、特許文献５に代表される従来の技術では、走行車線の平行線を用いてカメラの姿勢を推定していることから、車両横に取り付けるサイドカメラでは、走行車線の平行な白線の一方しか撮像することができず、サイドカメラの姿勢推定に容易に適用できない。また、特許文献５では、姿勢パラメータの推定にカメラの取り付け高さや焦点距離を用いることから、これらの値をあらかじめ測定して姿勢パラメータ推定装置に入力する必要がある。

さらに、非特許文献１および上記特許文献１〜５では、姿勢パラメータによる視点変換によってカメラ姿勢を調整することから、仮想視点などの設定やこれに基づく変換処理が複雑であり、簡易なパラメータ調整を行うことができない。

この発明は、上記のような課題を解決するためになされたもので、撮像画像を俯瞰画像に変換する変換パラメータを簡易に調整できる俯瞰映像生成装置、俯瞰映像生成方法、これを用いて俯瞰変換した映像を表示する映像表示システムおよびこれを用いて俯瞰変換した画像を表示できるナビゲーション装置を得ることを目的とする。

この発明に係る俯瞰映像生成装置は、画像を射影変換により俯瞰画像に変換する変換パラメータを記憶するパラメータ記憶部と、パラメータ記憶部から読み出した変換パラメータを用いて、撮像部により撮像された撮像画像を俯瞰画像に変換する俯瞰変換部と、俯瞰変換部によって等間隔のパターンの標示が撮像された撮像画像が変換された俯瞰画像を取得し、この俯瞰画像上で標示のパターンの間隔が揃う度合を示す間隔指標値を算出する間隔指標算出部と、間隔指標算出部によって算出された間隔指標値に基づいて、俯瞰画像上で標示のパターンの間隔が所定の範囲内で揃う変換パラメータを算出して、パラメータ記憶部に記憶するパラメータ算出部とを備える。

この発明によれば、撮像画像を俯瞰画像に変換する変換パラメータを簡易に調整できるという効果がある。

この発明の実施の形態１に係る俯瞰映像生成装置を備えた映像表示システムの構成を示すブロック図である。 実施の形態１に係る俯瞰映像生成装置を備えたナビゲーション装置の構成を示すブロック図である。 標示撮像データ取得部の構成例を示すブロック図である。 実施の形態１に係る俯瞰映像生成装置の動作を示すフローチャートである。 実施の形態１に係る俯瞰変換を示す図である。 実施の形態１に係る間隔指標に基づく俯瞰パラメータの推定処理を示す図である。 この発明の実施の形態２に係る俯瞰映像生成装置を備えた映像表示システムの構成を示すブロック図である。 実施の形態２に係る俯瞰映像生成装置を備えたナビゲーション装置の構成を示すブロック図である。 実施の形態２に係る俯瞰映像生成装置の動作を示すフローチャートである。 実施の形態２に係る間隔指標に基づく俯瞰パラメータの推定処理を示す図である。

実施の形態１．
図１は、この発明の実施の形態１に係る俯瞰映像生成装置を備えた映像表示システムの構成を示すブロック図であり、本発明に係る俯瞰映像生成装置を搭載した車両の車両周囲表示システムを示している。図１において、実施の形態１に係る車両周囲表示システム１は、カメラ１０、俯瞰映像生成装置２０、モニタ３０および操作部４０を備える。
カメラ１０は、車両の車体に設置されて車両周囲を撮像する撮像部である。俯瞰映像生成装置２０は、カメラ１０で撮像された撮像データの画像を真上から見たような俯瞰画像に変換する装置である。モニタ３０は、俯瞰映像生成装置２０が生成した俯瞰画像を表示する表示部である。車両の運転者は、モニタ３０に表示した俯瞰画像を視認することで、車両周囲を真上から眺めたような画像で障害物などを認識できる。
操作部４０は、外部からの操作入力を受け付ける操作部であって、キーボードやボタンなどのハードウェアに加えて、タッチパネルで入力を行うモニタ３０の画面上に表示したソフトウェアキーやボタンであってもよい。

また、俯瞰映像生成装置２０は、カメラ１０が撮像した画像を俯瞰変換するための俯瞰パラメータを推定する機能を有する。俯瞰パラメータは、２次元の射影変換に基づいて、カメラ１０が撮像した画像の座標系を、カメラ１０で同じ撮像対象の真上から眺めた俯瞰画像の座標系へ変換する変換パラメータである。
なお、俯瞰映像生成装置２０では、地面（道路面）を基準面として俯瞰画像を生成するため、道路に描かれた横断歩道などは、歪みなどが少なく実際に車両を真上側から眺めたように精度よく表示される。

俯瞰映像生成装置２０は、図１に示すように、その機能ブロックとして標示撮像データ取得部２１、撮像データ記憶部２２、俯瞰変換部２３、俯瞰パラメータ推定部２４および俯瞰パラメータ記憶部２５を備える。
標示撮像データ取得部２１は、カメラ１０により撮像された撮像データの中から、所定の標示が撮像されている撮像データを取得する画像取得部である。ここで、所定の標示とは、基準面（例えば、地面）に描かれた等間隔のパターンの標示であって、例えば白線のパターンが等間隔に描かれた横断歩道やゼブラパターンなどが挙げられる。

また、標示撮像データ取得部２１は、操作部４０を用いてユーザから指定されたタイミングでカメラ１０により撮像された撮像画像を、所定の標示が撮像された撮像画像として取得する。つまり、横断歩道などの所定の標示が描かれた道路を自車が走行するか、停車したときに、ユーザが、操作部４０を用いて取り込み指示を行うことにより、所定の標示が撮像された撮像画像を取得することができる。

撮像データ記憶部２２は、標示撮像データ取得部２１が取得した所定の標示が撮像された撮像データを記憶する画像記憶部である。
俯瞰変換部２３は、カメラ１０が撮像した撮像画像を２次元の射影変換により俯瞰画像に変換するための変換パラメータである俯瞰パラメータを用いて、撮像画像を俯瞰画像に変換する。また、モニタ３０は、俯瞰変換部２３で生成された俯瞰画像を取得して表示する表示部である。

俯瞰パラメータ推定部２４は、カメラ１０が撮像した撮像データの画像を俯瞰変換するための俯瞰パラメータを推定する。俯瞰パラメータ記憶部２５は、俯瞰パラメータ推定部２４により算出された俯瞰パラメータを記憶するパラメータ記憶部である。
また、俯瞰パラメータ推定部２４は、その機能ブロックとして、２値化変換部２４ａ、間隔指標算出部２４ｂおよび俯瞰パラメータ算出部２４ｃを備える。

２値化変換部２４ａは、俯瞰変換部２３が生成した俯瞰画像中の画素値と、当該画素に関する所定の閾値とを大小比較して、最大輝度（白）と最小輝度（黒）の画像に変換することにより、当該画像を２値化する。なお、２値化により間隔指標値の算出における演算量が低減されるが、本発明では、２値化変換が必須の処理ではない。すなわち、パターンマッチングなどの画像認識で俯瞰画像から直接所定の標示を抽出してもかまわない。
間隔指標算出部２４ｂは、２値化変換部２４ａが生成した２値化画像中の所定の標示に基づいて、当該画像上で標示を構成するパターンの間隔が揃っている度合を示す間隔指標を算出する。例えば、等間隔の白線パターンの標示であれば、隣り合う白線パターンの間隔の分散が間隔指標となる。

俯瞰パラメータ算出部２４ｃは、間隔指標算出部２４ｂが算出した間隔指標の値に基づいて、適切な俯瞰画像へ変換する俯瞰パラメータを算出するパラメータ算出部である。
本発明では、地面などの基準面に描かれた等間隔のパターンから構成される標示（横断歩道など）を対象としており、この標示が撮像された画像を俯瞰変換すれば、俯瞰画像においてもパターンが等間隔に表現されるべきことを前提としている。
すなわち、俯瞰パラメータが適切でない場合、これを用いて生成された俯瞰画像では、本来等しくあるべきパターンの間隔が乱れる可能性がある。
そこで、俯瞰パラメータ算出部２４ｃは、間隔指標算出部２４ｂが算出した間隔指標の値に基づいて、俯瞰画像中の標示のパターンが等間隔になるように俯瞰パラメータを算出する。

図２は、実施の形態１に係る俯瞰映像生成装置を備えたナビゲーション装置の構成を示すブロック図である。図２において、ナビゲーション装置２は、移動体（例えば、車両）に搭載される移動体用のナビゲーション装置であり、カメラ１０で撮像した画像を俯瞰画像に変換してモニタ３０に出力する俯瞰映像生成装置２０と、ナビゲーション処理部３、地図データベース（地図ＤＢ）４、位置情報取得部５および位置計算部６を備える。

ナビゲーション処理部３は、位置計算部６が算出した自車位置と、地図ＤＢ４の地図データに基づいて、経路探索、経路誘導および地図表示といったナビゲーション処理を実行する。地図ＤＢ４は、ナビゲーション処理部３が利用する地図データが登録されたデータベースである。地図データには、地形図データ、住宅地図データ、道路ネットワークなどがある。経路誘導や地図表示おける画像情報は、ナビゲーション処理部３から表示制御部２３ａに送られ、モニタ３０に表示される。

位置情報取得部５は、現在位置に関する位置情報を取得する位置情報取得部であって、例えばＧＰＳ衛星から受信したＧＰＳ信号に含まれる衛星位置および時間情報から位置情報を取得する。この位置情報は、位置情報取得部５から位置計算部６に出力される。
位置計算部６は、位置情報取得部５から取得した位置情報に基づいて自車両の現在位置を算出する。

表示制御部２３ａは、モニタ３０の表示処理を制御する制御部であって、図１で示した俯瞰変換部２３を備える。ナビゲーション処理部３からの画像情報は、表示制御部２３ａの俯瞰変換部２３により俯瞰画像に変換してモニタ３０に表示することができる。

また、標示撮像データ取得部２１は、位置計算部６が算出した自車位置と地図ＤＢ４の地図データに基づいて、所定の標示がある地点を自車が走行している、または、その地点で停車していると判別されると、当該標示をカメラ１０が撮像していると判断して、この時点でカメラ１０により撮像された撮像データを取得して、撮像データ記憶部２２に記憶する。所定の標示がある地点は、交差点やカーブなど、横断歩道やゼブラパターンが道路に描かれている地点であり、例えば道路ネットワークにあらかじめ設定しておく。

さらに、自車位置と当該地図データから自車の走行車線情報を特定できる場合は、上記地点の情報を道路の車線情報に対応付けて地図データに登録しておけば、所定の標示が撮像された画像を正確に取得することができる。
なお、図２では図示を省略したが、標示撮像データ取得部２１は、図１と同様に、操作部４０を用いてユーザが指定したタイミングでカメラ１０に撮像された撮像データを取得して撮像データ記憶部２２に記憶するようにしてもよい。

また、標示撮像データ取得部２１を下記のように構成し、自車の車両状況や画像認識を用いて、カメラ１０が撮像した撮像データの中から、所定の標示が撮像されている可能性が高い撮像データを取得してもよい。
図３は、標示撮像データ取得部の構成例を示すブロック図である。図３（ａ）に示した標示撮像データ取得部２１は、自車の車両制御部７から取得した車両データに基づいて、カメラ１０の撮像データを取得すべきか否かを判断している。
すなわち、操作部４０を用いてユーザが指定したタイミング、あるいは自車位置と地図データに基づく位置タイミングで、カメラ１０により撮像された撮像データを取り込むにあたり、車両制御部７から取得した車両データに基づいて、撮像データの取り込み可否を判断する。

車両データには、例えば車速情報、舵角情報などが挙げられる。標示撮像データ取得部２１は、カメラ１０が撮像した撮像データを取り込む際に、車速情報が示す自車の速度が所定の閾値を超える場合、自車が高速でカメラ１０が所定の標示を精度よく撮像できないと判断し、ユーザ指定タイミングや位置タイミングであってもカメラ１０から撮像データを取得しないようにする。

また、所定の標示は、自車の進行方向とカメラ１０の撮像視野との関係により撮像画像で斜めに撮像される場合がある。この場合、カメラ１０による撮像時の自車の舵角情報に基づいて、撮像画像を回転させて標示を所定の方向に変換する回転角を決定してもよい。
このように、車両データを利用することにより、所定の標示が撮像された撮像データの取得精度を向上できる。

また、図３（ｂ）に示す標示撮像データ取得部２１は画像認識部２１ａを備える。画像認識部２１ａは、カメラ１０が撮像した撮像データの画像認識処理を行って所定の標示の画像を検出する。標示撮像データ取得部２１は、画像認識部２１ａによる画像認識処理で所定の標示が検出されると、その撮像データを撮像データ記憶部２２に記憶する。
なお、画像認識部２１ａが画像認識処理を行うタイミングは、操作部４０を用いたユーザ指定タイミングや、自車位置と地図データに基づく位置タイミングであってもよい。
このように構成することにより、所定の標示が撮像された撮像データの取得精度をさらに向上できる。

また、標示撮像データ取得部２１は、自車に搭載された通信装置を介して取得した天気情報や時刻情報に基づいて、カメラ１０の撮像時の天気が雨や雪、霧であったり、撮像時が夜間であると判断した場合、ユーザ指定タイミングや位置タイミングであってもカメラ１０から撮像データを取得しないようにする。このようにすることで、間隔指標値を算出できない状態で標示が撮像されたデータが保存されることを防止できる。

次に動作について説明する。
図４は、実施の形態１に係る俯瞰映像生成装置の動作を示すフローチャートである。
通常時の俯瞰映像生成装置２０では、俯瞰変換部２３が、カメラ１０からの撮像データを取得して俯瞰画像を生成し、モニタ３０に出力している。このとき、標示撮像データ取得部２１がステップＳＴ１からステップＳＴ３までの処理を実施し、俯瞰パラメータ推定部２４が俯瞰パラメータを推定する場合に、ステップＳＴ４からステップＳＴ１２までの処理を行う。

まず、標示撮像データ取得部２１が、カメラ１０が撮像した撮像データを取得する（ステップＳＴ１）。次に、標示撮像データ取得部２１は、取得した撮像データが撮像データ記憶部２２に取り込む条件に合致するか否かを判定する（ステップＳＴ２）。このとき、カメラ１０から取得した撮像データが、例えば操作部４０を用いてユーザから指定されたタイミング、または、自車位置と地図データに基づく位置タイミング（所定の標示が存在する地点）で撮像された撮像データであるか、あるいは、画像認識処理により所定の標示が抽出された撮像データであるか、などの条件が判断される。

取り込み条件に合致する撮像データである場合（ステップＳＴ２；ＹＥＳ）、標示撮像データ取得部２１は、カメラ１０から取得した撮像データを撮像データ記憶部２２に保存する（ステップＳＴ３）。
また、取り込み条件に合致しなければ（ステップＳＴ２；ＮＯ）、標示撮像データ取得部２１は、カメラ１０から取得した撮像データを、撮像データ記憶部２２に保存しないで破棄する。この後、ステップＳＴ４の処理へ移行する。

上述したように、俯瞰パラメータの推定に使用する撮像画像を撮像データ記憶部２２に一時的に記憶することで、俯瞰映像生成装置２０を備えた車両周囲表示システム１またはナビゲーション装置２における処理の負荷が少ない合間を選んで、ステップＳＴ４以降の俯瞰パラメータの推定処理を行うことができる。例えば、車両周囲表示システム１またはナビゲーション装置２の演算処理を実施するＣＰＵの稼働率に閾値を設けておき、ＣＰＵの稼働率が閾値より低い場合に俯瞰パラメータの推定処理を開始する。

俯瞰変換部２３が、撮像データ記憶部２２にデータがあるか否かを判定する（ステップＳＴ４）。ここで、撮像データ記憶部２２にデータがなければ（ステップＳＴ４；ＮＯ）、ステップＳＴ１の処理へ戻る。撮像データ記憶部２２にデータが記憶されている場合（ステップＳＴ４；ＹＥＳ）、俯瞰変換部２３は、俯瞰パラメータ記憶部２５から現在の俯瞰パラメータを読み出し、当該俯瞰パラメータを用いて、撮像データ記憶部２２から読み出したデータの画像を俯瞰変換する（ステップＳＴ５）。具体的には、俯瞰パラメータＡ〜Ｈを用いて、下記式（１）の変換式にしたがって俯瞰画像の座標へ座標変換する。

上記式（１）の俯瞰パラメータＡ〜Ｈは画像平面内の４頂点の座標から決定される定数である。入力画像の４頂点、ａ（ｘ１，ｙ１），ｂ（ｘ２，ｙ２），ｃ（ｘ３，ｙ３），ｄ（ｘ４，ｙ４）と対応する出力画像（俯瞰画像）の４頂点をｅ（Ｘ１，Ｙ１），ｆ（Ｘ２，Ｙ２），ｇ（Ｘ３，Ｙ３），ｈ（Ｘ４，Ｙ４）とすると、俯瞰パラメータＡ〜Ｈは、下記式（２）の行列から導くことができる。

図５は、実施の形態１に係る俯瞰変換を示す図であり、自車が交差点を走行したときにサイドカメラで横断歩道を撮影した画像を上記射影変換で俯瞰画像に変換した場合を示している。図５の上段に記載した入力画像の４頂点の座標をａ（０，０），ｂ（１，０），ｃ（１，１），ｄ（０，１）として、入力画像の４頂点にそれぞれ対応する頂点の座標に対し上記式（２）の射影変換を施すと、出力画像（俯瞰画像）の４頂点の座標は、下段に示すように、ｅ（−０．５，０），ｆ（１．５，０），ｇ（１，１），ｈ（０，１）となる。

２値化変換部２４ａは、俯瞰変換部２３が生成した俯瞰画像を取得し、この俯瞰画像に対して２値化変換を行う（ステップＳＴ６）。これにより、俯瞰画像から、地面に描かれていた横断歩道などの所定の標示が抽出される。この後、間隔指標算出部２４ｂが、俯瞰画像上の標示、すなわち２値化により抽出された標示のパターン間隔が揃っている度合を示す間隔指標を算出する（ステップＳＴ７）。

図６は、実施の形態１に係る間隔指標に基づく俯瞰パラメータの推定処理を示す図である。図６に示すように、俯瞰変換部２３は、ステップＳＴ５で使用した俯瞰パラメータを所定量ごとに変化させ、変化後の俯瞰パラメータを用いた俯瞰変換をそれぞれ実行する。図６の例では、上から下へ向かって俯瞰変換量が増加するように変換している。
２値化変換部２４ａは、俯瞰変換部２３が変換した各俯瞰画像を２値化変換する。これにより、図６の（ａ）、（ｃ）、（ｅ）、（ｇ）に示す画像が得られる。なお、２値化変換には、例えばトップハットフィルタと組み合わせた単純２値化を用いる。

この後、間隔指標算出部２４ｂは、上述の２値化変換された各画像について、縦方向を基準に白画素数を、図６の（ｂ）、（ｄ）、（ｆ）、（ｈ）に示すようにヒストグラム化する。次に、間隔指標算出部２４ｂは、上述したヒストグラムに対してある一定の閾値を設けて、閾値以上の白画素数を持つ部分と、それ以外の部分とに分離する。これにより、画像上の白線の部分と、白線でない部分（隣り合う白線の間隔に相当する部分）とが判別される。間隔指標算出部２４ｂは、白線の幅と白線でない部分の幅を算出する。
なお、画像上端と画像下端の幅については、正確に幅が得られないため考慮しない。

間隔指標算出部２４ｂは、白線の幅と、白線でない部分の幅について、それぞれの分散を算出する。分散は、Ｎ本の白線の各幅ｘｉと、Ｎ本の白線の幅の平均値μとを用いて、下記式（３）により算出することができる。また、Ｎ本の白線でない部分の各幅についても同様に分散を算出する。

次に、間隔指標算出部２４ｂは、白線の幅の分散と白線でない部分の幅の分散の平均値を算出して間隔指標値とする。この場合、間隔指標値が低いほど、すなわち、全ての幅が同じ幅に近づくほど、等間隔であることを示している。

図４の説明に戻る。上述のようにして間隔指標値が算出されると、俯瞰パラメータ算出部２４ｃは、例えば俯瞰パラメータの値をインクリメントまたはデクリメントする、あるいは、各俯瞰パラメータの値に所定値を加減算するなどして、俯瞰パラメータの値を更新する。この後、俯瞰パラメータ算出部２４ｃは、現時点において、Ｎ個の俯瞰パラメータに基づいて間隔指標値を算出したか否かを判定する（ステップＳＴ８）。

現時点では、１個の俯瞰パラメータに基づいた間隔指標値を算出している。このため、俯瞰パラメータ算出部２４ｃは、Ｎ個の俯瞰パラメータに基づいた間隔指標値を算出していないと判定する（ステップＳＴ８；ＮＯ）。次いで、俯瞰パラメータ算出部２４ｃは、次の俯瞰パラメータに変更する（ステップＳＴ１２）。図５の場合、俯瞰パラメータ算出部２４ｃは、例えば出力画像の頂点ｅ，ｆのｘ座標を０．１だけ変化させ、この値に射影変換するための俯瞰パラメータに変更する。

この後、ステップＳＴ５の処理に戻り、変更後の俯瞰パラメータを用いて、上述の処理を繰り返す。この間に、例えば図６の（ｅ）に示すような俯瞰画像が得られ、２値化画像の白画素数がヒストグラム化され、図６の（ｆ）に示すようなヒストグラムが得られる。図６の（ｆ）に示すヒストグラムでは、白線と白線でない部分の全ての幅が一定となっている。このとき、間隔指標算出部２４ｂは、これらの幅の分散の平均値＝“０”を間隔指標値として算出する。

Ｎ個の俯瞰パラメータに基づいて間隔指標値を算出した場合（ステップＳＴ８；ＹＥＳ）、俯瞰パラメータ算出部２４ｃは、間隔指標値（幅の分散の平均値）が最も低いときの俯瞰パラメータを適切なパラメータであると推定して、俯瞰パラメータ記憶部２５に記憶する（ステップＳＴ９）。

次に、俯瞰変換部２３は、撮像データ記憶部２２に記憶した撮像データのうち、俯瞰パラメータ推定部２４による俯瞰パラメータの推定を終えた撮像データを削除する（ステップＳＴ１０）。この後、俯瞰変換部２３は、俯瞰パラメータ記憶部２５から適正化された俯瞰パラメータを読み出し、これに基づき俯瞰画像を生成してモニタ３０に表示する（ステップＳＴ１１）。これにより、図４の処理が終了する。

以上のように、この実施の形態１によれば、俯瞰変換部２３が、画像を射影変換により俯瞰画像に変換する俯瞰パラメータを記憶する俯瞰パラメータ記憶部２５から読み出した俯瞰パラメータを用いて、カメラ１０により撮像された撮像画像を俯瞰画像に変換し、間隔指標算出部２４ｂが、等間隔のパターンの標示が撮像された撮像画像を変換した俯瞰画像上で標示のパターンの間隔が揃う度合を示す間隔指標値を算出し、俯瞰パラメータ算出部２４ｃが、算出された間隔指標値に基づいて、俯瞰画像上で標示のパターンの間隔が所定の範囲内で揃う俯瞰パラメータを算出して俯瞰パラメータ記憶部２５に記憶する。
このように、従来のカメラ姿勢パラメータによる視点変換ではなく、射影変換を用いるために俯瞰変換を簡易な演算で実施できる。さらに等間隔のパターンの標示が撮像された俯瞰画像から標示のパターンの間隔指標値を算出して、これに基づいて俯瞰パラメータを簡易に調整できる。

地面などの基準面に描かれた等間隔のパターンの標示は、俯瞰画像においても等間隔のパターンで表現されるはずであるが、俯瞰パラメータが適正でない場合には、俯瞰画像上で標示のパターンの間隔に乱れが生じる。
そこで、本発明では、俯瞰画像に撮像されている等間隔のパターンの間隔指標値を算出し、これに基づきパターンの間隔が揃うように俯瞰パラメータを調整することで、適正な俯瞰パラメータを簡易に調整することができる。
また、俯瞰画像から俯瞰パラメータを求めるので、あらかじめテストパターン等を用意する必要がなく、かつ無限遠を求める必要がないため、適正な俯瞰パラメータを推定する困難さを軽減できる。さらに、車両左右のカメラであっても、俯瞰パラメータを推定することができる。

また、この実施の形態１によれば、等間隔のパターンの標示が撮像された撮像画像を取得する標示撮像データ取得部２１と、標示撮像データ取得部２１により取得された撮像画像を記憶する撮像データ記憶部２２とを備え、俯瞰変換部２３が、撮像データ記憶部２２から読み出した撮像画像を俯瞰画像に変換し、間隔指標算出部２４ｂが、俯瞰変換部２３によって変換された俯瞰画像を取得し、この俯瞰画像上で標示のパターンの間隔が揃う度合を示す間隔指標値を算出する。
このように構成することにより、撮像画像を撮像データ記憶部２２に一時的に記憶することが可能であり、処理負荷が少ない合間を選んで俯瞰パラメータの推定処理を行うことができる。

さらに、この実施の形態１によれば、等間隔のパターンの標示が撮像された撮像画像の俯瞰画像を２値化変換する２値化変換部２４ａを備え、間隔指標算出部２４ｂが、２値化変換部２４ａが２値化した標示のパターンを用いて、間隔指標値を算出する。このとき、間隔指標算出部２４ｂが、２値化変換された標示のパターンの画素数のヒストグラムを作成し、このヒストグラムに基づいて判別したパターンの幅と隣り合うパターンの間隔を用いて間隔指標値を算出する。このように、２値化変換などの画像処理技術を用いて、間隔指標値を簡易に演算することができる。

さらに、この実施の形態１によれば、標示撮像データ取得部２１が、カメラ１０により撮像された撮像画像に対して画像認識を行って等間隔のパターンの標示が撮像された撮像画像を取得するので、地面などの基準面に描かれた標示が撮像された画像を精度よく取得することができる。

さらに、この実施の形態１によれば、外部からの操作を受け付ける操作部４０を備え、標示撮像データ取得部２１が、操作部４０を用いて指定されたタイミングでカメラ１０により撮像された撮像画像を、等間隔のパターンの標示が撮像された撮像画像として取得するので、地面などの基準面に描かれた標示が撮像された画像を精度よく取得することができる。

さらに、この実施の形態１によれば、カメラ１０が車両に搭載されて、その周囲を撮像し、標示撮像データ取得部２１が、現在位置と地図データに基づいて、等間隔のパターンの標示が存在する地点に自車が到達したと判別されたタイミングでカメラ１０により撮像された撮像画像を、等間隔のパターンの標示が撮像された撮像画像として取得するので、地面などの基準面に描かれた標示が撮像された画像を精度よく取得することができる。

さらに、この実施の形態１によれば、ナビゲーション装置２が、上述した俯瞰映像生成装置２０を備えるので、ナビゲーション処理で生じた画像情報を、適正な俯瞰パラメータを用いて俯瞰画像に変換して提示することができる。また、撮像画像を撮像データ記憶部２２に一時的に記憶することで、ナビゲーション処理の合間を選んで俯瞰パラメータの推定処理を行うことができる。

なお、上記実施の形態１において、間隔指標算出部２４ｂが、Ｎ個の俯瞰パラメータに基づいて、白線と白線でない部分の幅の分散の平均値を間隔指標値として算出し、俯瞰パラメータ算出部２４ｃが、間隔指標値が最も低い（幅の分散の平均値が最も低い）ときの俯瞰パラメータを最も精度が高いパラメータであると推定する場合を示したが、本発明に係る俯瞰パラメータの推定は、これに限定されるものではない。
例えば、カメラ１０の撮像上の誤差を考慮して、俯瞰画像上で標示のパターンの間隔が所定の誤差範囲内で揃う、すなわち間隔指標値が所定の閾値よりも高い範囲（幅の分散の平均値が所定の閾値よりも低い範囲）である場合は、俯瞰パラメータの精度が高いと判断してもよい。
さらに、俯瞰パラメータ記憶部２５に俯瞰パラメータを上書きするのではなく、事前に算出していた俯瞰パラメータを加味して更新してもよい。

実施の形態２．
図７は、この発明の実施の形態２に係る俯瞰映像生成装置を備えた映像表示システムの構成を示すブロック図であり、図１と同様に、本発明に係る俯瞰映像生成装置を搭載した車両の車両周囲表示システムを示している。図７において、実施の形態２に係る車両周囲表示システム１Ａは、カメラ１０、俯瞰映像生成装置２０Ａおよびモニタ３０を備える。
俯瞰映像生成装置２０Ａは、図７に示すように、標示撮像データ取得部２１、撮像データ記憶部２２、俯瞰変換部２３、俯瞰パラメータ推定部２４Ａおよび俯瞰パラメータ記憶部２５を備える。

俯瞰パラメータ推定部２４Ａには、図１で示した構成にエッジ抽出処理部２４ｄが追加されている。エッジ抽出処理部２４ｄは、２値化画像上のエッジを抽出するエッジ抽出部であり、エッジ抽出処理により俯瞰画像（２値化画像）上の線を特定する。
なお、２値化によりエッジ抽出処理や間隔指標値の算出処理の演算量が低減されるが、元の俯瞰画像からエッジ抽出処理によって所定の標示が特定可能であれば、２値化変換を省略、すなわち２値化変換部２４ａを省略してもよい。

間隔指標算出部２４ｂは、俯瞰画像データが示す俯瞰画像上のパターンの間隔指標値を算出する。この俯瞰画像上のパターンは、エッジ抽出処理部２４ｄが抽出したエッジで特定される線である。すなわち、間隔指標算出部２４ｂは、エッジ抽出処理部２４ｄが抽出したエッジを、俯瞰画像上の線と判断して間隔指標値を算出する。

図８は、実施の形態２に係る俯瞰映像生成装置を備えたナビゲーション装置の構成を示すブロック図である。図８において、ナビゲーション装置２Ａは、移動体（例えば車両）に搭載される移動体用のナビゲーション装置であって、実施の形態２に係る俯瞰映像生成装置２０Ａと、ナビゲーション処理部３、地図ＤＢ４、位置情報取得部５および位置計算部６を備える。なお、ナビゲーション装置２Ａにおいて、図７で示した俯瞰映像生成装置２０Ａ以外の構成は、図２を用いて説明した構成と同様である。

次に動作について説明する。
図９は、実施の形態２に係る俯瞰映像生成装置の動作を示すフローチャートである。図９において、標示撮像データ取得部２１が実施するステップＳＴ１からステップＳＴ３までの処理、俯瞰パラメータ推定部２４が実施するステップＳＴ４からステップＳＴ５までの処理、ステップＳＴ８からステップＳＴ１２までの処理は、図４と同様である。
したがって、実施の形態１と異なる処理であるステップＳＴ６−１およびステップＳＴ７ａの処理について説明する。

ステップＳＴ６−１において、エッジ抽出処理部２４ｄは、２値化変換部２４ａが２値化変換した俯瞰画像（所定の標示が撮像されているもの）上のエッジを抽出する。
次に、間隔指標算出部２４ｂは、エッジ抽出処理部２４ｄにより抽出されたエッジを、俯瞰画像上の線として標示の間隔指標値を算出する（ステップＳＴ７ａ）。

図１０は、実施の形態２に係る間隔指標に基づく俯瞰パラメータの推定処理を示す図である。まず、エッジ抽出処理部２４ｄは、２値化変換部２４ａが２値化した画像のエッジを抽出する。これにより、図１０の（ａ）に示す画像が得られる。なお、このエッジ抽出処理には、例えば画像値の１次微分によってエッジを抽出するＳｏｂｅｌ ｆｉｌｔｅｒを用いる。

続いて、間隔指標算出部２４ｂは、エッジ抽出処理部２４ｄが抽出したエッジを対象に直線を抽出する。例えば、Ｈｏｕｇｈ変換を用いて直線を抽出する。Ｈｏｕｇｈ変換は、画像上の座標（ｘ，ｙ）を原点からの距離ρと角度θに変換する処理である。Ｈｏｕｇｈ変換を用いることで、図１０の（ｂ）に示すように、各直線の角度をヒストグラム化することができる。また、各直線の原点からの距離をρで表すことができる。

間隔指標算出部２４ｂは、角度θのヒストグラムの結果に適当な閾値を設けることで、一定の角度θの直線のみを抽出することができる。図１０の（ｃ）は、上記閾値との比較処理によって横線のみを抽出した結果である。
各直線と原点との距離はρで表されるので、距離ρを用いて各直線の幅を算出できる。間隔指標算出部２４ｂは、各直線の幅を上記実施の形態１と同様に処理して、幅の分散の平均値を間隔指標値として算出する。俯瞰パラメータ算出部２４ｃは、この間隔指標値を用いて、上記実施の形態１と同様に、適正化した俯瞰パラメータを算出する。

以上のように、この実施の形態２によれば、等間隔のパターンの標示が撮像された撮像画像の俯瞰画像上のエッジを抽出するエッジ抽出処理部２４ｄを備え、間隔指標算出部２４ｂが、エッジ抽出処理部２４ｄが抽出した標示のエッジを用いて、間隔指標値を算出する。このとき、間隔指標算出部２４ｂが、エッジ抽出処理部２４ｄにより抽出された標示のパターンのエッジと俯瞰画像上の原点との距離に基づいて、パターンの幅と隣り合うパターンの間隔を求め、パターンの幅と隣り合うパターンの間隔を用いて間隔指標値を算出する。このようにすることで、間隔指標値を簡易に演算することができる。また、等間隔のパターンの標示が撮像画像上で斜めに撮像されていても、エッジと俯瞰画像上の原点との距離から、パターンの幅と隣り合うパターンの間隔を求めることができる。

なお、本発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

１，１Ａ 車両周囲表示システム、２，２Ａ ナビゲーション装置、３ ナビゲーション処理部、４ 地図データベース（地図ＤＢ）、５ 位置情報取得部、６ 位置計算部、７ 車両制御部、１０ カメラ、２０，２０Ａ 俯瞰映像生成装置、２１ 標示撮像データ取得部、２１ａ 画像認識部、２２ 撮像データ記憶部、２３ 俯瞰変換部、２３ａ 表示制御部、２４，２４Ａ 俯瞰パラメータ推定部、２４ａ ２値化変換部、２４ｂ 間隔指標算出部、２４ｃ 俯瞰パラメータ算出部、２４ｄ エッジ抽出処理部、２５ 俯瞰パラメータ記憶部、３０ モニタ、４０ 操作部。

Claims (12)

1. 画像を射影変換により俯瞰画像に変換する変換パラメータを記憶するパラメータ記憶部と、
   前記パラメータ記憶部から読み出した前記変換パラメータを用いて、撮像部により撮像された撮像画像を俯瞰画像に変換する俯瞰変換部と、
   前記俯瞰変換部によって等間隔のパターンの標示が撮像された撮像画像が変換された俯瞰画像を取得し、この俯瞰画像上で前記標示のパターンの間隔が揃う度合を示す間隔指標値を算出する間隔指標算出部と、
   前記間隔指標算出部によって算出された間隔指標値に基づいて、前記俯瞰画像上で前記標示のパターンの間隔が所定の範囲内で揃う変換パラメータを算出して、前記パラメータ記憶部に記憶するパラメータ算出部とを備える俯瞰映像生成装置。
2. 前記等間隔のパターンの標示が撮像された撮像画像を取得する画像取得部と、
   前記画像取得部により取得された撮像画像を記憶する画像記憶部とを備え、
   前記俯瞰変換部は、前記画像記憶部から読み出した撮像画像を俯瞰画像に変換し、
   前記間隔指標算出部は、前記俯瞰変換部によって変換された俯瞰画像を取得し、この俯瞰画像上で前記標示のパターンの間隔が揃う度合を示す間隔指標値を算出することを特徴とする請求項１記載の俯瞰映像生成装置。
3. 前記等間隔のパターンの標示が撮像された撮像画像の俯瞰画像を２値化変換する２値化変換部を備え、
   前記間隔指標算出部は、前記２値化変換部が２値化した前記標示のパターンを用いて、前記間隔指標値を算出することを特徴とする請求項１または請求項２記載の俯瞰映像生成装置。
4. 前記間隔指標算出部は、２値化変換された前記標示のパターンの画素数のヒストグラムを作成し、このヒストグラムに基づいて判別した前記パターンの幅と隣り合うパターンの間隔を用いて間隔指標値を算出することを特徴とする請求項３記載の俯瞰映像生成装置。
5. 前記等間隔のパターンの標示が撮像された撮像画像の俯瞰画像上のエッジを抽出するエッジ抽出処理部を備え、
   前記間隔指標算出部は、前記エッジ抽出処理部が抽出した前記標示のエッジを用いて、前記間隔指標値を算出することを特徴とする請求項１または請求項２記載の俯瞰映像生成装置。
6. 前記間隔指標算出部は、前記エッジ抽出処理部により抽出された前記標示のパターンのエッジと前記俯瞰画像上の原点との距離に基づいて、前記パターンの幅と隣り合うパターンの間隔を求め、前記パターンの幅と隣り合うパターンの間隔を用いて間隔指標値を算出することを特徴とする請求項５記載の俯瞰映像生成装置。
7. 前記画像取得部は、前記撮像部により撮像された撮像画像に対して画像認識を行って、等間隔のパターンの標示が撮像された撮像画像を取得することを特徴とする請求項２記載の俯瞰映像生成装置。
8. 外部からの操作を受け付ける操作部を備え、
   前記画像取得部は、前記操作部を用いて指定されたタイミングで前記撮像部により撮像された撮像画像を、等間隔のパターンの標示が撮像された撮像画像として取得することを特徴とする請求項２記載の俯瞰映像生成装置。
9. 前記撮像部は、移動体に搭載されてその周囲を撮像し、
   前記画像取得部は、現在位置と地図データに基づいて、等間隔のパターンの標示が存在する地点に前記移動体が到達したと判別されたタイミングで前記撮像部により撮像された撮像画像を、等間隔のパターンの標示が撮像された撮像画像として取得することを特徴とする請求項２記載の俯瞰映像生成装置。
10. 俯瞰変換部が、画像を射影変換により俯瞰画像に変換する変換パラメータを記憶するパラメータ記憶部から読み出した前記変換パラメータを用いて、撮像部により撮像された撮像画像を俯瞰画像に変換する俯瞰変換ステップと、
    間隔指標算出部が、前記俯瞰変換ステップで等間隔のパターンの標示が撮像された撮像画像を変換した俯瞰画像を入力し、この俯瞰画像上で前記標示のパターンの間隔が揃う度合を示す間隔指標値を算出する間隔指標算出ステップと、
    パラメータ算出部が、前記間隔指標算出ステップで算出された間隔指標値に基づいて、前記俯瞰画像上で前記標示のパターンの間隔が所定の範囲内で揃う変換パラメータを算出して、前記パラメータ記憶部に記憶するパラメータ算出ステップとを備える俯瞰映像生成方法。
11. 移動体の周囲の俯瞰画像を表示する映像表示システムにおいて、
    前記移動体の周囲を撮像する撮像部と、
    請求項１から請求項９のうちのいずれか１項記載の俯瞰映像生成装置と、
    前記俯瞰映像生成装置で生成された俯瞰画像を表示する表示部とを備えることを特徴とする映像表示システム。
12. 請求項１から請求項９のうちのいずれか１項記載の俯瞰映像生成装置を備えたナビゲーション装置。

Images