JP5047915B2 - 車載用画像処理装置及びその画像処理方法 - Google Patents

Description

本発明は、車載撮像装置で撮像された路面上の車両周囲の画像を処理してモニタ表示する車載用画像処理装置及びその画像処理方法に係り、詳しく、撮像装置で得られた画像を異なれる視点からみた仮想視点画像に変換する仮想視点画像変換技術に関する。

仮想視点画像変換技術は、車両に取り付けられた撮像装置で取得した画像を、真上などから見下ろした画像に変換するような技術で、車庫入れの際などに重宝されている。

従来、仮想視点画像変換技術としては、三次元投影モデルを用いて画像変換を行う方法（特許文献１）、遠景と近景で異なる投影モデルを用いて画像変換を行う方法（特許文献２）。動画カメラを使用し動画像処理により仮想視点画像を作成する方法（特許文献３）などが知られている。

特許第３８７１６１４号公報 特開２００８−８３７８６号公報 特開２００２−３４０３５号公報

従来の仮想視点画像変換技術は、ｘおよびｙ方向に座標変換（射影変換）を実施することを基本としており、回路規模が大きくなる問題があった。特に、撮像装置により取得した撮像画像に対して歪曲収差補正を行う処理と仮想視点画像変換を同時に行う場合には複雑な多項式等を使用するのが一般的で、回路規模が更に大きくなり、コスト低減には限界があった。また、動画像処理により仮想視点画像を作成する場合は、処理が複雑になる。

本発明の目的は、簡単で小規模な回路、簡単な処理で、補正性能をあまり劣化させることなく、運転者が十分に見やすいような仮想視点画像を生成する車載用画像処理装置及びその画像処理方法を提供することにある。

本発明の車載用画像処理装置は、車両に取り付けられた撮像装置（車載撮像装置）で撮像された路面上の車両の周囲の魚眼画像を、撮像装置の視点と異なる視点（仮想視点）からみた仮想視点画像に変換する仮想視点変換手段を有し、該仮想視点変換手段は、撮像装置で撮像された魚眼画像について、そのｘ座標方向のみの座標変換を行って、無消失点状の仮想視点画像を生成するようにする。ｘ座標方向のみの座標変換であるため、回路規模を小さくできる。

生成される仮想視点画像は、路面に引かれた駐車枠が直線的かつ平行に近い状態に見える。これは見下ろし画像に近く、運転者にとって見やすい仮想視点画像となっている。

具体的には、仮想視点変換手段は、座標変換に以下の変換式を用いる。
Ｒ＝α・（ｙ−γ）・β／（ｙ−Δ）
Ｘ＝Ｒ・ｘ
Ｙ＝ｙ
ｘ，ｙ…画像中心を原点とした座標変換先の座標
Ｘ，Ｙ…画像中心を原点とした座標変換元の座標
α，β，γ，Δ…座標変換係数

座標変換係数γ，Δは、撮像装置の路面に対する相対角度から算出される消失点に基づいて決定される。すなわち、γ＝ｆ₁（ｖｐ），Δ＝ｆ₂（ｖｐ）とする（ｖｐは消失点）。これにより、歪の少ない仮想視点画像を提供できる。

また、仮想視点変換手段は、ｙ座標方向の値が所定の閾値以上または以下の場合には、撮像装置により撮像された魚眼画像に依存しない画像に変換するようにする。例えば、黒で塗り潰すなどする。これにより、人間が不自然と感じる画像領域を見えなくすることができる。

本発明の画像処理方法も同様である。ｘ座標方向のみの座標変換であるため、簡単な処理で仮想視点画像を生成できる。また、運転者にとって見やすい仮想視点画像を生成できる。

本発明では、ｘ方向だけの簡単な座標変換にもかかわらず、擬似的に仮想視点から見た仮想視点画像を生成することができる。この仮想視点画像は、路面に引かれた駐車枠が直線的かつ平行に近い状態に見えることから、運転者にとって十分に見やすい画像を提供できる。

図１に本発明に係る車載用画像処理装置の適用例のシステム構成図を示す。図１において、車両１００は、撮像装置（車載撮像装置）１１０と、該撮像装置１１０の撮像画像を処理する画像処理装置（車載用画像処理装置）１２０と、該画像処理装置１２０で処理された画像を表示するモニタ装置１３０と、撮像装置１１０に一体的に取り付けられた該撮像装置１１０と路面との傾斜角を計測する傾斜角計測装置１４０を備える。画像処理装置１２０は他に操作部などを備えているが、図１では省略してある。

撮像装置１１０は、例えば、車両後部に傾斜して取り付けられ、車両後方の路面上の車両周囲を斜め上方から撮像する。この撮像装置１１０は、被写体を広角で撮像する魚眼レンズと、その光学像を電気信号に変換する撮像素子とで構成されている。画像処理装置１２０は、撮像装置１１０の撮像画像データを入力して、必要な前処理を行った後、撮像装置１１０を異なる視点（仮想視点）からみた仮想視点画像に変換する処理（仮想視点画像変換処理）を行い、該変換された仮想視点画像をモニタ装置１３０に表示する。この仮想視点画像変換処理に、傾斜角計測装置１４０から得られた傾斜角データが利用される。傾斜角計測装置１４０としては、例えば、地磁気センサが用いられる。なお、撮像装置１１０と路面との傾斜角度は、利用者が撮像装置１１０で撮像されたモニタ画像を見ながら所定の操作を行い、該操作量から路面との傾斜角度を算出することでもよい。

図１では、撮像装置１１０は、車両後部に取り付けられているとしたが、必ずしもそれに限定されず、必要に応じて前方部、側方部に取り付けることが可能である。

図２に、画像処理装置１２０の画像処理系の一実施形態の機能ブロック図を示す。図２において、制御部２００は、装置の各部に必要な制御信号（クロック、水平／垂直同期信号、その他）を与えて、該各部の動作をパイプライン的に制御する。データ記憶部２０５は、傾斜角計測装置１４０で計測された傾斜角データを記憶しておき、制御部２００の指示により読み出される。

撮像素子２１０は、ＣＣＤやＣＭＯＳ等で構成されて、撮像装置１１０に図示しない魚眼レンズと一体的に取り付けられており、魚眼レンズで撮像された光学像を電気信号（ＲＧＢ画素データ）に変換する。このＲＧＢ画素データは、車両後方等の路面上の車両周囲を斜め上方から撮像した魚眼画像である。撮像素子２１０にはベイヤー配列の色フィルタが設けられており、ベイヤー配列のＲＧＢ画素データが、制御部２００から与えられる座標データ（ｘ，ｙ）に基づいて順次出力される。なお、制御部２００では、撮像素子２１０に与える座標データ（ｘ，ｙ）を、順次、所定の時間ずらして後段にも与えるようにする。ここで、座標データ（ｘ，ｙ）は撮像素子２１０の内部で生成し、順次、後段に与えることでもよい。

Ａ／Ｄ変換部２２０は、撮像素子２１０から出力されたアナログ信号としてのベイヤー配列のＲＧＢ画素データをデジタル信号に変換してベイヤー補完部２３０に送出する。本実施例では、デジタル信号は、ＲＧＢそれぞれ８ビットで構成されるとする。なお、一般にＡ／Ｄ変換器２２０の前段にはＡＧＣ回路が設けられるが、ここでは省略する。

ベイヤー補完部２３０は、デジタル信号に変換されたベイヤー配列のＲＧＢ画素データを入力して、ＲＧＢ各色独立に、全座標位置の画素データを線形補間によって生成し、仮想視点変換部２４０に送出する。

仮想視点変換部２４０は、ベイヤー補完部２３０でベイヤー補完されたＲＧＢ画素データを入力して、仮想視点から見た仮想視点画像のＲＧＢ画素データに変換する。具体的には、車両後方等の路面上の車両周囲を斜めから撮像して得られた魚眼画像としてのＲＧＢ画素データを、擬似見下ろしの仮想視点画像としてのＲＧＢ画素データに変換する。

図１のモニタ装置１３０は、仮想視点変換部２５０で仮想視点画像変換処理されたＲＧＢ画素データを合成して、仮想視点画像を表示する。後述するように、この仮想視点画像は、路面に引かれた駐車枠等が直線的かつ平行に近い状態に見え、運転者に見やすい表示画像を提供できる。

なお、図２の構成において、仮想視点変換部２４０後段に、更にＭＴＦ補正部、γ補正部などを備えてもよい。ＭＴＦ補正部では、仮想視点画像のＲＧＢ画素データについて、ＦＩＲフィルタを用いてＭＴＦ補正処理を施し、ＭＴＦ補正されたＲＧＢ画素データを得るようにする。また、ガンマ補正部では、ＭＴＦ補正されたＲＧＢ画素データについて、所定のガンマ補正処理を施し、ガンマ補正されたＲＧＢ画素データを出力するようにする。ＭＴＦ補正とガンマ補正の関係は逆でもよい。

以下では、本実施形態の主要構成である仮想視点変換部２４０について詳述する。
ここでは、仮想視点変換用の座標変換式に次式を使用するとする。
ｙ＜εのとき
Ｒ＝α・（ｙ−γ）・β／（ｙ−Δ） （１）
Ｘ＝Ｒ・ｘ （２）
Ｙ＝ｙ （３）
ｙ≧εのとき
Ｘ＝ｘ （４）
Ｙ＝ｙ （５）
ここで、ｘ，ｙは画面中心を原点とした場合の座標変換先の座標（本来の座標）、Ｘ、Ｙは画像変換元の座標、α，β，γ，Δは座標変換係数、εは閾値である。α，βは単純な定数である。γとΔは撮像装置と路面との角度から算出される消失点により決定される変数で、例えば、消失点より若干大きい値にするのが望ましい。εは不自然な領域を表示しないための閾値で、これも消失点より若干大きい値にすることが望ましい。

上記のような座標変換式を用いると、三角関数や高次の多項式を使用しない簡単な変換式で、Ｘ方向だけの簡単な座標変換にもかかわらず、擬似的に撮像装置を鉛直下向きの仮想視点から見た画像（擬似見下ろし画像）を生成することができる。この画像処理は、Ｘ方向のみの画素移動となるので、過去の画像データを記憶するメモリを最大でも１ライン持てばよく、必要メモリ量を大幅に削減できる。

図３に、仮想視点変換部２４０の一実施形態の構成図を示す。図３において、２４１はＲＧＢ３つの画素データを一つに合成するＲＧＢ合成部、２５２はＲＧＢ画素データに共通の仮想視点変換用座標変換メモリ（ＳＲＡＭ）、２４３は座標変換メモリ２４２から出力されるＲＧＢ画素データあるいはＲＧＢデータ保持部２４７のＲＧＢ画素データを選択するセレクタ、２４４はセレクタ２４３から出力される合成画素データを元の各色成分に分離するＲＧＢ分離部、２４５は座標変換メモリ２４２に記憶されたＲＧＢ画素データに対して、式（１），（２），（３）の座標変換式に従い仮想視点用の変換座標を計算する仮想視点用座標変換演算部、２４６は座標変換式に使用される係数α，β，γ，Δ及び閾値εを保持する座標変換係数テーブルである。

座標変換係数テーブル２４６の係数α，β，γ，Δ及び閾値εのうち、α，β，εは、例えば、人間が操作部から直接入力することで得られる。γとΔは、例えば、制御部２００がデータ記憶部２０５から傾斜角データを読出し、消失点を算出することで得られる。

ＲＧＢデータ保持部２４７には、あらかじめ黒塗りつぶし等の単一の画素データが保持される。この画素データは、ＲＧＢ合成部２４１の出力と同一フォーマットで構成されている。

以下に図３の動作を説明する。ＲＧＢ合成部２４１は、順次、魚眼画像のＲＧＢ画素データを入力し、一つの画素データに合成して出力する。例えば、ＲＧＢそれぞれ８ビットで構成されるとすると、合成後の画素データは２４ビットとなる。この合成された画素データが、座標変換メモリ２４２に、それぞれ座標データ（ｘ，ｙ）にしたがって先頭ラインから順次書き込まれる。

仮想視点変換用座標演算部２４５は、座標データ（ｘ，ｙ）、すなわち、座標変換先の座標を入力として、座標変換係数テーブル２４６を参照して、式（１），（２），（３）の座標変換式に従いＲＧＢ共通の仮想視点変換用の変換座標を計算し、座標変換元の座標データ（Ｘ，Ｙ）を出力する。具体的には、式（１）により変換率Ｒを計算した後、式（２）によりｘ方向の変換座標を計算し、式（３）によりｙ方向はそのままとして、座標変換元の座標（Ｘ，Ｙ）を得る。

同時に、仮想視点座標変換演算部２４５では、ｙの値を閾値εと比較し、フラグ（Ｆｌａｇ）を出力する。ここで、ｙ＜εのとき、Ｆｌａｇ＝０，ｙ≧εのとき、Ｆｌａｇ＝１とする。

なお、式（１）では、変換率Ｒを算出するのに除算を利用している。仮想視点座標変換演算部２４５の回路規模が気になる場合には、Ｎｅｗｔｏｎ−Ｒａｐｈｓｏｎ法を適用することにより、除算を使うことなく高速にＲの近似値を計算できるうえ、回路規模を小型化できる。また、０で除算を行うことも回避できる。

座標変換メモリ２４２は、先のＲＧＢ合成画素データの書き込み動作と平行して（正確には所定時間遅れて）、仮想視点座標変換演算部２４５から出力される座標データ（Ｘ，Ｙ）に基づいて、順次、ＲＧＢ合成画素データを読み出していく。すなわち、座標変換メモリ２４２における座標（Ｘ，Ｙ）のＲＧＢ合成画素データが、座標（ｘ，ｙ）のＲＧＢ合成画素データとして読み出される。式（１），（２），（３）を用いることにより、ｘ方向のみの画素移動となるため、座標変換メモリ２４２は最大でも１ライン分のみ持てばよく、必要メモリ量を大幅に削減できる。もちろん、メモリ量は多く持つ分には問題ない。

セレクタ２４３は、Ｆｌａｇ＝０のときは、座標変換メモリ２４２から読み出されたＲＧＢ合成画素データを選択して出力し、Ｆｌａｇ＝１のときは、ＲＧＢデータ保持部２４７のＲＧＢ合成画素データを選択して出力するようにする。ＲＧＢ分離部２４４は、セレクタ２４３から出力されたＲＧＢ合成画素データをＲＧＢ各色成分の画素データに分離する。

以上の処理により、ＲＧＢ分離部２４４からは、ｙ＜εの領域では、撮像装置で路面を斜め上方から撮像された魚眼画像のＲＧＢ画素データを、擬似的に撮像装置を鉛直下向きの仮想視点から見た仮想視点画像（擬似見下ろし画像）に変換したＲＧＢ画素データが出力される。また、ｙ≧εの領域では、撮像装置で撮像された画像に依存しない、あらかじめＲＧＢデータ保持部２４７に保持された黒塗りつぶし画像データなどのＲＧＢデータが出力される。この結果、モニタ装置１３０には、路面に引かれた駐車枠が直線的かつ平行に近い状態に見える画像が表示される。また、ｙ座標が所定以上の領域では黒で塗りつぶされた画像が表示されるため、人間が不自然と感じることを防止できる。

次に、座標変換式（１），（２）,（３）における座標変換係数α，β，γ，Δの設定例を説明する。ここでは、シミュレーション画像をもとに最適なα，β，γ，Δを設定する手法を紹介する。

まず、図４に示すように、路面に格子模様を配置し、路面に対して鉛直下向きにカメラ１０００を配置する。このときカメラ１０００の撮像面１００１の縦軸と横軸が格子模様と平行になるように配置する。その後、カメラ１０００を図５のように撮像面１００１の横軸を基準として４５度回転させる。そのときに撮影される魚眼シミュレーション画像は図６のようになる。図６において、矢印で示された、路面上の格子線が1点に集まっている箇所は消失点と呼ばれ、路面上にある平行線は、必ず消失点で交わることが知られている。消失点の位置は、路面とカメラとの角度、および路面上の格子の向きによって決定されることが知られている。

シミュレーション画像を見ながら、α，β，γ，Δの値を調整して、路面上の縦方向の平行線が直線的でかつ平行に近い状態（無消失点状態）に見える値を求める。つまり、車両方向と駐車位置を表わす駐車の枠が平行である場合、路面に引かれた駐車枠が直線的かつ平行に近い状態に見えるように、α，β，γ，Δの値を設定する。これを、例えばカメラ１０００の傾斜角を変えて繰り返す。

車載カメラで撮影される画像に対し、縦軸横軸をそれぞれＸ軸、Ｙ軸（それぞれ右方向、上方向を正）とし、画像中心を原点とする。そのとき車載カメラを車両の後部に取り付け、車両方向と駐車位置を表す駐車の枠が平行にある場合、消失の座標点は（０，Ｙｄｅｇ）になる（Ｙｄｅｇはカメラと路面との角度（ｄｅｇ）によって一意に決定する）。シミュレーション画像により、車両方向と駐車位置を表す駐車の枠が平行である場合、路面に引かれた駐車枠が直線的かつ平行に近くに見えるためには、γとΔはＹｄｅｇより若干大きい値とするのが望ましいことが分かった。また、Δ＞γとするのが望ましいことが分かった。先に述べたように、Ｙｄｅｇすなわち消失点はカメラと路面との角度によって一意に決定される。

次に、閾値εの設定例について説明する。図３の実施形態では、εの値によって、セレクタ２４３により、魚眼撮像画像のＲＧＢ画素データについて式（１），（２），（３）を用いて座標変換されたＲＧＢ画素データを表示するか、ＲＧＢデータ保持部２４７のデフォルトのＲＧＢ画素データを表示するかを選択する構成となっている。式（１），（２），（３）での画像変換を行うと、消失点Ｙｄｅｇより大きいｙの値を持つ画像範囲は、路面上でない領域を撮影した範囲となり、人間が不自然と感じる。路面上にない物体を変換するときに人間の目にとって不自然な画像が生じるのを避けるため、閾値εにより、不自然な領域は表示しないようにする。具体的には、例えば、ε＝Ｙｄｅｇ−ｍａｒｇｉｎ（ｍａｒｇｉｎ＞０）と設定する。

なお、座標変換式は必ずしも上述の式である必要はなく、ｘ座標方向のみの座標変換を行って、無消失点状の仮想視点画像を得ることができればよい。

図７に具体的処理例を示す。図７（ａ）は変換前の魚眼画像であり、これは図６と同じものである。図７（ｂ）は、図７（ａ）の魚眼画像に対して、式（１），（２），（３）の座標変換式を用いて座標変換して生成された仮想視点画像を示したものである。図７（ｂ）に示すように、本発明により、車両方向と駐車位置を表わす駐車の枠が平行である場合、路面に引かれた駐車枠が直線的かつ平行に近い状態に見えるような仮想視点画像（擬似見下ろし画像）を得ることができる。なお、図７（ｂ）において、矢印は閾値εの位置であり、ここでは、該矢印より上の画像範囲は、黒で塗りつぶして、人間に見えないようにしている。

以上、本発明の車載用画像装置の一実施形態を示したが、本発明の画像処理方法は、例えば、図１の画像処理装置１２０にコンピュータを使用し、図２及び図３の各部の処理機能をＣＰＵ上でプログラムを実行することで実現される。

本発明の車載用画像処理装置の適用例のシステム構成図。 図１中の車載用画像処理装置の一実施形態の機能ブロック図。 図２中の仮想視点変換部の一実施形態を示す構成図。 撮像装置を鉛直下向きに設置した様子を示す図。 撮像装置を４５°回転した様子を示す図。 魚眼シミュレーション画像の一例を示す図。 本発明の具体的処理例を示す図。

符号の説明

１００ 車両
１１０ 撮像装置（車載撮像装置）
１２０ 画像処理装置（車載用画像処理装置）
１３０ モニタ装置
１４０ 傾斜角計測装置
２００ 制御部
２１０ 撮像素子
２２０ Ａ／Ｄ変換部
２３０ ベイヤー補完部
２４０ 仮想視点変換部

Claims (8)

1. 車載撮像装置で撮像された路面上の車両の周囲の魚眼画像を処理し、モニタ装置に表示する車載用画像処理装置であって、
   前記撮像装置で撮像された魚眼画像を、前記撮像装置の視点と異なる仮想視点からみた仮想視点画像に変換する仮想視点変換手段を有し、
   前記仮想視点変換手段は、前記撮像装置で撮像された魚眼画像に対して、以下の式、
   Ｒ＝α・（ｙ−γ）・β／（ｙ−Δ）
   Ｘ＝Ｒ・ｘ
   Ｙ＝ｙ
   ｘ，ｙ…画像中心を原点とした座標変換先の座標
   Ｘ，Ｙ…画像中心を原点とした座標変換元の座標
   α，β，γ，Δ…座標変換係数
   を用いて、
   前記撮像装置で撮像された魚眼画像が表わされるｘｙ平面上おけるｘ座標方向のみの座標変換を行って、無消失点状の仮想視点画像を生成することを特徴とする車載用画像処理装置。
2. 請求項１記載の車載用画像処理装置において、
   前記仮想視点画像は、路面に引かれた駐車枠が直線的かつ平行に近い状態に見えることを特徴とする車載用画像処理装置。
3. 請求項１記載の車載用画像処理装置において、
   前記座標変換係数γ，Δは、前記撮像装置の路面に対する相対角度から算出される消失点に基づいて決定されることを特徴とする車載用画像処理装置。
4. 請求項１乃至３のいずれか１項に記載の車載用画像処理装置において、
   前記仮想視点変換手段は、ｙ座標方向の値が所定の閾値以上または以下の場合には、前記撮像装置により撮像された魚眼画像に依存しない画像に変換することを特徴とする車載用画像処理装置。
5. 車載撮像装置で撮像された路面上の車両の周囲の魚眼画像を処理し、モニタ装置に表示する車載用画像処理装置における画像処理方法であって、
   前記撮像装置で撮像された魚眼画像を、前記撮像装置の視点と異なる仮想視点からみた仮想視点画像に変換する仮想視点変換ステップを有し、
   前記仮想視点変換ステップは、前記撮像装置で撮像された魚眼画像に対して、以下の式、
   Ｒ＝α・（ｙ−γ）・β／（ｙ−Δ）
   Ｘ＝Ｒ・ｘ
   Ｙ＝ｙ
   ｘ，ｙ…画像中心を原点とした座標変換先の座標
   Ｘ，Ｙ…画像中心を原点とした座標変換元の座標
   α，β，γ，Δ…座標変換係数
   を用いて、
   前記撮像装置で撮像された魚眼画像が表わされるｘｙ平面上おけるｘ座標方向のみの座標変換を行って、無消失点状の仮想視点画像を生成することを特徴とする画像処理方法。
6. 請求項５記載の画像処理方法において、
   前記仮想視点画像は、路面に引かれた駐車枠が直線的かつ平行に近い状態に見えることを特徴とする画像処理方法。
7. 請求項５記載の画像処理方法において、
   前記座標変換係数γ，Δは、前記撮像装置の路面に対する相対角度から算出される消失点に基づいて決定されることを特徴とする画像処理方法。
8. 請求項５乃至７のいずれか１項に記載の画像処理方法において、
   前記仮想視点変換ステップでは、ｙ座標方向の値が所定の閾値以上又は以下の場合には、前記撮像装置により撮像された魚眼画像に依存しない画像に変換することを特徴とする画像処理方法。

Images