JP5047912B2 - 車載用画像処理装置及びその画像処理方法 - Google Patents

Description

本発明は、車載撮像装置で撮像された路面上の車両周囲の画像を処理してモニタ表示する車載用画像処理装置及びその画像処理方法に係り、詳しく、撮像装置で得られた画像を異なれる視点からみた仮想視点画像に変換する仮想視点画像変換技術に関する。

仮想視点画像変換技術は、車両に取り付けられた撮像装置で取得した画像を、真上などから見下ろした画像に変換するような技術で、車庫入れの際などに重宝されている。

従来、仮想視点画像変換技術としては、三次元投影モデルを用いて画像変換を行う方法（特許文献１）、遠景と近景で異なる投影モデルを用いて画像変換を行う方法（特許文献２）。動画カメラを使用し動画像処理により仮想視点画像を作成する方法（特許文献３）などが知られている。

特許第３８７１６１４号公報 特開２００８−８３７８６号公報 特開２００２−３４０３５号公報

従来の仮想視点画像変換技術は、ｘおよびｙ方向に座標変換（射影変換）を実施することを基本としており、回路規模が大きくなる問題があった。特に、撮像装置により取得した撮像画像に対して歪曲収差補正を行う処理と仮想視点画像変換を同時に行う場合には複雑な多項式等を使用するのが一般的で、回路規模が更に大きくなり、コスト低減には限界があった。また、動画像処理により仮想視点画像を作成する場合は、処理が複雑になる。

本発明の目的は、回路規模を少なくし、運転者が十分に見やすいような仮想視点画像を生成する車載用画像処理装置及びその画像処理方法を提供することにある。

さらに、本発明の目的は、歪曲収差を含む撮像画像についても、簡単な回路、小さな回路で、かつ、補正性能を大幅には劣化させることなく、運転者が十分に見易いような仮想視点画像を生成する車載画像処理装置及びその画像処理方法を提供することにある。

本発明の車載用画像処理装置では、車両に取り付けられた撮像装置で撮像された路面上の車両の周囲の画像を、撮像装置の視点と異なる視点（仮想視点）からみた仮想視点画像に変換する仮想視点変換手段が、撮像装置で撮像された画像について、そのＸ座標方向のみの座標変換を行って仮想視点画像を生成するようにする。座標変換は、画像のＹ座標方向の値の増加に応じて単調増加する変換式を用いる。

例えば、撮像装置により路面と所定の傾斜角度でもって、車両進行方向の路面上の車両の周囲を撮像した画像では、車両進行方向に対応する方向にＹ軸をとり、それと垂直方向にＸ軸をとるようにする。

また、本発明の車載用画像処理装置では、上記仮想視点変換手段の前段に、撮像装置で撮像された画像について、歪曲収差（レンズ歪み）を補正するための歪曲収差補正手段を備えるようにする。

本発明の画像処理方法も同様である。なお、本発明の仮想視点画像変換のための好ましい座標変換式は、以降の実施形態の説明で明らかとなる。

本発明では、Ｘ方向だけの簡単な座標変換にもかかわらず、擬似的に仮想視点から見た仮想視点画像を生成することができる。そして、この仮想視点画像変換処理は、Ｘ方向のみの画素移動であるため、処理対象の画像データを記憶するメモリは高々１ライン分のみ持てばよいので、必要なメモリ量を大幅に削減できる。また、仮想視点画像変換処理に先立って、歪曲収差補正処理を行うことで、仮想視点画像変換には複雑な多項式等を使用する必要がなく、回路規模を削減できる。

図１に本発明に係る車載用画像処理装置の適用例のシステム構成図を示す。図１において、車両１００は、撮像装置（車載撮像装置）１１０と、該撮像装置１１０の撮像画像を処理する画像処理装置（車載用画像処理装置）１２０と、該画像処理装置１２０で処理された画像を表示するモニタ装置１３０と、撮像装置１１０に一体的に取り付けられた該撮像装置１１０と路面との傾斜角を計測する傾斜角計測装置１４０を備える。

撮像装置１１０は、例えば、車両後部に傾斜して取り付けられ、車両後方の路面上の車両周囲を斜め上方から撮像する。この撮像装置１１０は、一般に被写体を広角で撮像する魚眼レンズと、その光学像を電気信号に変換する撮像素子とで構成されている。画像処理装置１２０は、撮像装置１１０の撮像画像データを入力して、必要な前処理を行った後、撮像装置１１０を鉛直下向きなどの異なる視点（仮想視点）からみた仮想視点画像に変換する処理（仮想視点画像変換処理）を行い、該変換された仮想視点画像をモニタ装置１３０に表示する。画像処理装置１２０では、傾斜角計測装置１４０から得られた傾斜角データを利用して仮想視点画像変換処理を行う。傾斜角計測装置１４０としては、例えば、地磁気センサが用いられる。なお、撮像装置１１０と路面との傾斜角度は、利用者が撮像装置１１０で撮像されたモニタ画像を見ながら所定の操作を行い、該操作量から路面との傾斜角度を算出することでもよい。

図１では、撮像装置１１０は、車両後部に取り付けられているとしたが、必ずしもそれに限定されず、必要に応じて前方部、側方部に取り付けることが可能である。

図２に、画像処理装置１２０の一実施形態の機能ブロック図を示す。図２において、制御部２００は、装置の各部に必要な制御信号（クロック、水平／垂直同期信号、その他）を与えて、該各部の動作をパイプライン的に制御する。データ記憶部２０５は、傾斜角計測装置１４０で計測された傾斜角データを記憶しておき、制御部２００の指示により読み出される。

撮像素子２１０は、ＣＣＤやＣＭＯＳ等で構成されて、撮像装置１１０に図示しない魚眼レンズと一体的に取り付けられており、魚眼レンズで撮像された光学像を電気信号（ＲＧＢ画素データ）に変換する。このＲＧＢ画素データは、車両後方等の路面上の車両周囲を斜め上方から撮像した画像そのものである。撮像素子２１０にはベイヤー配列の色フィルタが設けられており、ベイヤー配列のＲＧＢ画素データが、制御部２００から与えられる座標データ（ｘ，ｙ）に基づいて順次出力される。なお、制御部２００では、撮像素子２１０に与える座標データ（ｘ，ｙ）を、順次、所定の時間ずらして後段にも与えるようにする。ここで、座標データ（ｘ，ｙ）は撮像素子２１０の内部で生成し、順次、後段に与えることでもよい。

Ａ／Ｄ変換部２２０は、撮像素子２１０から出力されたアナログ信号としてのベイヤー配列のＲＧＢ画素データをデジタル信号に変換してベイヤー補完部２３０に送出する。本実施例では、デジタル信号は、ＲＧＢそれぞれ８ビットで構成されるとする。なお、一般にＡ／Ｄ変換器２２０の前段にはＡＧＣ回路が設けられるが、ここでは省略する。

ベイヤー補完部２３０は、デジタル信号に変換されたベイヤー配列のＲＧＢ画素データを入力して、ＲＧＢ各色独立に、全座標位置の画素データを線形補間によって生成し、歪曲収差補正部２４０に送出する。

歪曲収差補正部２４０は、ベイヤー補完されたＲＧＢ画素データを入力して、所定の式により座標変換（歪曲収差座標変換）を施して歪曲収差補正する。これについては、例えば、”An Efficient and Accurate Camera Calibration Technique for 3D Machine Vision”，Roger Y．Tsai，Proceedings of IEEE Conference on Computer Vision and Pattern Recognition，Miami Beach，FL，1986，page 364-374などに記載がある。なお、撮像装置１１０のレンズが、ゆがみの少ない設計がなされているのであれば、歪曲収差補正は行う必要はない。

仮想視点変換部２５０は、歪曲収差補正部２４０から歪曲収差補正されたＲＧＢ画素データを入力し、また、データ記憶部２０５に記録されている撮像装置１１０の路面に対する傾斜角データを制御部２００から受け取り、仮想視点から見た仮想視点画像データとてのＲＧＢ画素データに変換する。

図１のモニタ装置１３０は、仮想視点変換部２５０で仮想視点画像変換処理されたＲＧＢ画素データを合成して、仮想視点画像を表示する。

以下に、本実施形態の主要構成である仮想視点変換部２５０について詳述する。ここでは、撮像装置１１０で路面上の車両の周囲を斜め上方から撮像した画像を、撮像装置１１０を鉛直下向きの視点からみた画像に変換するとする。

図３に、撮像装置１０００（図１の撮像装置１２０に対応）を鉛直下向きに設置した様子を示す。まず、路面をＸＹ平面とし、ＸＹ平面の法線を鉛直上向きにＺ軸とし、空間座標系を設定する。そして、撮像装置１０００のレンズ中心（撮像装置１０００をピンボールカメラと捕らえた場合）が座標系の原点にあり、撮像装置１００２の光軸がＺ軸の負の方向と一致するように撮像装置１０００を配置する。さらに、撮像装置１０００の撮像面１００１のＸＹ平面と、空間座標系のＸＹ平面は一致するように配置する。

これに対し、撮像装置１０００をＹＺ平面上でθ（ｒａｄ）回転した様子を図４に示す。角度θは、前述のとおり、例えば傾斜角計測装置１４０で計測され、データ記憶部２５０に格納されているものである。

図４に対して、図５のような仮想撮像装置２０００を想定する。仮想撮像装置２０００は、撮像装置１０００の撮像面１００１を、撮像中心を中心として−θ度回転させて撮像面の大きさを変化させたものである。本実施例では、撮像面を撮像中心を中心として回転を行ったがそれに限定されるものではない。また、撮像面に対して平行移動を行った仮想撮像装置を想定することも可能である。

撮像装置１０００の撮像面１００１と仮想撮像装置２０００の撮像面２００１の関係を、以下のように定義する。

図６に図４の撮像装置１０００、図７に図５の仮想撮像装置２０００を拡大して図示する。また、図６、図７では、撮像装置１０００の光軸をＺ’軸、撮像面１００１と平行な方向をＹ’軸、原点をレンズ中心として撮像座標系を再設定した。

まず、撮像面１００１がＺ’＝Ｌ１の位置に設置されているときの、撮像面１００１に入射する光の光路を算出する。撮像面１００１上のＹ’＝ｙ０の位置に撮像する光（撮像面１００１の位置（Ｌ１，ｙ０）に入射する光）は、レンズ中心（０，０）を通って（Ｌ１，ｙ０）に入射する光である。すなわち、（Ｌ１，ｙ０）に入射した光の光路は、直線
Ｙ’＝（ｙ０／Ｌ１）・Ｚ’ （１）
と表現できる。この光路を用いて、撮像面１００１と撮像面２００１の関係を説明する。

撮像面２００１は、撮像面１００１を撮像面の中心でθ回転させた位置にある平面であるので、
Ｙ’＝−ｔａｎ（π／２−θ）・（Ｚ’−Ｌ１） （２）
と表現できる。式（２）と、式（１）の直線との交点が、撮像面１００１の撮像素子（Ｌ１，ｙ０）に対応する撮像面２００１の撮像素子（ｚ０’，ｙ０’）であると定義する。
つまり、
直線Ｙ’＝（ｙ０／Ｌ１）・Ｚ’と、
Ｙ’＝−ｔａｎ（π／２−θ）・（Ｚ’−Ｌ１）
の交点が（ｚ０’，ｙ０’）となる。

Ｐ＝ｔａｎ（π／２−θ）とすると、
ｚ０’＝Ｐ・Ｌ１・Ｌ１／（Ｐ・Ｌ１＋ｙ０） （３）
ｙ０’＝Ｐ・ｙ０・Ｌ１／（Ｐ・Ｌ１＋ｙ０） （４）
と計算できる。

以上により、撮像面１００１の撮像素子（Ｌ１，ｙ０）と、撮像面２００１の撮像素子（ｚ０’，ｙ０’）の関係が説明できた。この関係は、撮像面１００１と撮像面２００１は大きさ・形状が一般には等しくならないことを表している。

次に、撮像面１００１に撮像された画像を撮像面２００１に撮像する仮想画像に変換する方法を説明する。ここで、Ｙ軸方向の画像変換は行わず、Ｘ軸方向のみ行うとする。すなわち、図６の撮像面１００１の各画素（Ｘ１，Ｙ１）を、Ｙ軸方向の画像変換は行わずに、図７の撮像面２００１の各画素（Ｘ１’，Ｙ１’）に対応させるものとする。

はじめに、画像を図６、図７で説明した物理的な撮像面の大きさと対応するように、撮像面１００１における撮像素子の画素ピッチαを用いて、撮像面１００１上の座標（Ｘ１，Ｙ１）を撮像面２００１の物理座標（Ｘａ，Ｙａ）に変換する。例えば、撮像面１００１が画素数６４０×４８０，大きさ２ｍｍ×１．５ｍｍのＣＣＤの場合、画素ピッチα＝２／６４０であるので、画像中心を原点にとると、Ｘａ＝α・Ｘ１の関係が成り立つ。また、Ｙ軸方向の画像変換は行わないことより、Ｙ１’＝Ｙ１となる。

次に、図６の撮像面１００１と、図７の撮像面２００１のレンズ中心からの距離を考える。撮像面１００１とレンズ中心との距離は、図６よりＬ１と表現できる。一方、撮像面２００１とレンズ中心との距離Ｌ２は、
Ｌ２＝ｚ０’＝Ｐ・Ｌ１・Ｌ１／（Ｐ・Ｌ１＋α・Ｙ１） （５）
で表現できる。

よって、撮像面１００１に対して撮像面２００１の関係は、撮像面からレンズ中心の距離がＹ１に応じて、
Ｒ＝Ｐ・Ｌ１／（Ｐ・Ｌ１＋α・Ｙ１） （６）
と変化する。すなわち、撮像画像の大きさはＲに比例した像となる。つまり、Ｘ１＝Ｒ・Ｘ１’となる。

以上をまとめると、
Ｒ＝Ｐ・Ｌ１／（Ｐ・Ｌ１＋α・Ｙ１） （７）
Ｘ１＝Ｒ・Ｘ１’ （８）
Ｙ１＝Ｙ１’ （９）
ここで、
Ｘ１，Ｙ１は画像中心を原点とした場合の画像変換元の座標、
Ｘ１’，Ｙ１’は画像中心を原点とした場合の画像変換先の座標、
Ｐは撮像装置の取り付け角度θから算出される値で、Ｐ＝ｔａｎ（π／２−θ）
Ｌ１は、撮像装置のレンズ中心から撮像面までの距離
αは、撮像面画素ピッチ
となる。

この画像変換式を用いると、三角関数や高次の多項式を使用しない簡単な変換式で、Ｘ方向だけの簡単な座標変換にもかかわらず、擬似的に仮想視点から見た画像（仮想視点画像）を生成することができる。この画像処理は、Ｘ方向のみの画素移動となるので（Ｙ方向の増加に応じて単調増加）、過去の画像データを記憶するメモリを最大でも１ライン持てばよく、必要メモリ量を大幅に削減できる。

図８に仮想視点変換部２５０の一実施形態の構成図を示す。図８において、２５１はＲＧＢ３つの画素データを一つに合成するＲＧＢ合成部、２５２はＲＧＢ画素データに共通の仮想視点変換用座標変換メモリ（ＳＲＡＭ）、２５３は合成されたＲＧＢ画素データを元の各色成分に分離するＲＧＢ分離部、２５４は合成されたＲＧＢ画素データに対して、先の式（７），（８），（９）の座標変換式に従い仮想視点変換用の変換座標を計算する仮想視点座標変換演算部、２５５は式（７），（８）の演算に使用される係数Ｐ，Ｌ１，αを保持する座標変換係数テーブルである。係数Ｐは、あらかじめ仮想視点座標演算部２５４が制御部２００から傾斜角データ（θ）を受け取り、Ｐ＝tan（π／２−θ）を計算して座標変換係数デーブル２５５に保持しておくようにする。なお、制御部２００がＰを計算して座標変換係数テーブル２５５に保持することでもよい。

ＲＧＢ合成部２５１は、順次ＲＧＢ画素データを入力し、一つの画素データに合成して出力する。例えば、ＲＧＢそれぞれ８ビットで構成されるとすると、合成後の画素データは２４ビットとなる。この合成された画素データが、座標変換メモリ２５２に、それぞれ座標データ（ｘ，ｙ）にしたがって先頭ラインから順次書き込まれる。ここで、ｘ＝Ｘ１’，ｙ＝Ｙ１’に対応する。

なお、歪曲収差補正部２４０において、ＲＧＢ画素データを合成してＲＧＢ各色分共通に座標変換（歪曲収差座標変換）を行う場合には、歪曲収差補正部２４０から出力される合成済みＲＧＢ画素データを、そのまま座標変換メモリ２５２に書き込めばよく、この場合はＲＧＢ合成部２５１を省略できる。

仮想視点座標変換演算部２５４は、座標データ（ｘ，ｙ）、すなわち、座標変換先の座標（Ｘ１’，Ｙ’）を入力とし、座標変換係数テーブル２５５を参照して、式（７），（８），（９）に従いＲＧＢ共通の仮想視点変換用の変換座標を計算し,座標変換元の座標データ（Ｘ１，Ｙ１）を出力する。具体的には、式（７）によりＲを計算した後、式（８）によりＸ方向の変換座標を計算し、式（９）によりＹ方向はそのままとして、座標変換元の座標データ（Ｘ１，Ｙ１）を出力する。

座標変換メモリ２５２は、先のＲＧＢ合成画素データの書き込み動作と並行して（正確には所定時間遅れて）、仮想視点座標変換演算部２５４から出力される座標データ（Ｘ１，Ｙ１）に基づいて、ＲＧＢ合成画素データを順次読み出していく。すなわち、座標変換メモリ２５２における座標（Ｘ１，Ｙ１）のＲＧＢ合成画素データが、座標（ｘ，ｙ）＝（Ｘ１’，Ｙ１’）のＲＧＢ合成画素データとして読み出される。座標変換メモリ２５２は、Ｘ方向のみの画素移動となるため、最大でも１ライン分のみ持てばよく、必要メモリ量を大幅に削減できる。もちろん、メモリ量は多くもつ分には問題ない。

ＲＧＢ分離部２５３は、座標変換メモリ２５２からに読み出されたＲＧＢ合成画素データを元のＲＧＢ各色成分の画素データに分離する。すなわち、ＲＧＢ分離部２５３からは、仮想視点画像に変換された、各ＲＧＢ画素データが出力される。

図９に具体的処理例を示す。画像は格子模様の引かれた路面の撮像画像とする。図９（ａ）は、仮想視点変換前の画像で、歪曲収差は補正済みの画像を示している。図９（ａ）の画像に対して、式（７），（８），（９）の画像変換式を用いて座標変換すると、図９（ｂ）に示す仮想視点画像が得られる。ここで、（Ｘ１，Ｙ１）＝（ＲＸ１’，Ｙ１’），Ｙ１＝Ｙ１である。図９（ｂ）に示すよう、Ｘ方向のみの画素移動で、かつ、移動量はＹ方向の座標値の増加に対応して単調増加にもかかわらず、擬似的に仮想視点から見た画像（仮想視点画像）が得られる。

以上、本発明の車載用画像装置の一実施形態を示したが、本発明の画像処理方法は、例えば、図１の画像処理装置１２０にコンピュータを使用し、図２及び図８の各部の処理機能をＣＰＵ上でプログラムを実行することで実現される。

本発明の車載用画像処理装置の適用例のシステム構成図。 図１中の車載用画像処理装置の一実施形態の機能ブロック図。 撮像装置を鉛直下向きに設置した様子を示す図。 撮像装置をθ回転した様子を示す図。 図４に対して仮想撮像装置を想定した図。 図４の撮像装置を拡大して示した図。 図５の仮想撮像装置を拡大して示した図。 図２中の仮想視点変換部の一実施形態を示す構成図。 仮想視点画像の具体例を示す図。

符号の説明

１００ 車両
１１０ 撮像装置（車載撮像装置）
１２０ 画像処理装置（車載用画像処理装置）
１３０ モニタ装置
１４０ 傾斜角計測装置
２００ 制御部
２１０ 撮像素子
２２０ Ａ／Ｄ変換部
２３０ ベイヤー補完部
２４０ 歪曲収差補正部
２５０ 仮想視点変換部

Claims (8)

1. 車載撮像装置で撮像された路面上の車両の周囲の画像を処理し、モニタ装置に表示する車載用画像処理装置であって、
   前記撮像装置で撮像された画像を、前記撮像装置の視点と異なる仮想視点からみた仮想視点画像に変換する仮想視点変換手段を有し、
   前記仮想視点変換手段は、前記撮像装置で撮像された画像に対して、以下の式、
   Ｒ＝Ｐ・Ｌ１／（Ｐ・Ｌ１＋α・Ｙ１）
   Ｘ１＝Ｒ・Ｘ１’
   Ｙ１＝Ｙ１’
   Ｘ１，Ｙ１；画像中心を原点とした場合の画像変換元の座標
   Ｘ１’，Ｙ１’；画像中心を原点とした場合の画像変換先の座標
   Ｐ；撮像装置の路面に対する相対角度θから算出される値で、Ｐ＝ｔａｎ（π／２−θ）
   Ｌ１；撮像装置のレンズ中心から撮像面までの距離
   α；撮像面画素ピッチ
   を用いて、
   前記撮像装置で撮像された画像が表示されるＸＹ平面上におけるＸ座標方向のみの座標変換を行って仮想視点画像を生成することを特徴とする車載用画像処理装置。
2. 請求項１記載の車載用画像処理装置において、
   前記撮像装置の路面に対する相対角度θは、前記撮像装置に一体的に取り付けられた傾斜角計測手段で計測されることを特徴とする車載用画像処理装置。
3. 請求項１又は２に記載の車載用画像処理装置において、
   前記仮想視点変換手段は、前記撮像装置により路面と所定の傾斜角度でもって、車両進行方向の路面上の車両の周囲を撮像した画像について、車両進行方向に対応する方向にＹ座標をとり、それと垂直方向にＸ座標をとることを特徴とする車載用画像処理装置。
4. 請求項１乃至３のいずれか１項に記載の車載用画像処理装置において、
   前記仮想視点変換手段の前段に、前記撮像装置で撮像された画像について、歪曲収差を補正する歪曲収差補正手段を有することを特徴とする車載用画像処理装置。
5. 車載撮像装置で撮像された路面上の車両の周囲の画像を処理し、モニタ装置に表示する車載用画像処理装置における画像処理方法であって、
   前記撮像装置で撮像された画像を、前記撮像装置の視点と異なる仮想視点からみた仮想視点画像に変換する仮想視点変換ステップを有し、
   前記仮想視点変換ステップは、前記撮像装置で撮像された画像に対して、以下の式、
   Ｒ＝Ｐ・Ｌ１／（Ｐ・Ｌ１＋α・Ｙ１）
   Ｘ１＝Ｒ・Ｘ１’
   Ｙ１＝Ｙ１’
   Ｘ１，Ｙ１；画像中心を原点とした場合の画像変換元の座標
   Ｘ１’，Ｙ１’；画像中心を原点とした場合の画像変換先の座標
   Ｐ；撮像装置の路面に対する相対角度θから算出される値で、Ｐ＝ｔａｎ（π／２−θ）
   Ｌ１；撮像装置のレンズ中心から撮像面までの距離
   α；撮像面画素ピッチ
   を用いて、
   前記撮像装置で撮像された画像が表示されるＸＹ平面上におけるＸ座標方向のみの座標変換を行って仮想視点画像を生成することを特徴とする画像処理方法。
6. 請求項５記載の画像処理方法において、
   前記撮像装置の路面に対する相対角度θは、前記撮像装置に一体的に取り付けられた傾斜角計測手段で計測されることを特徴とする画像処理方法。
7. 請求項５又は６に記載の画像処理方法において、
   前記仮想視点変換ステップは、前記撮像装置により路面と所定の傾斜角度でもって、車両進行方向の路面上の車両の周囲を撮像した画像について、車両進行方向に対応する方向にＹ座標をとり、それと垂直方向にＸ座標をとることを特徴とする画像処理方法。
8. 請求項５乃至７のいずれか１項に記載の画像処理方法において、
   前記仮想視点変換ステップの前段に、前記撮像装置で撮像された画像について、歪曲収差を補正する歪曲収差補正ステップを有することを特徴とする画像処理方法。
   

Images