JP4258539B2 - 複数画角カメラ - Google Patents

Description

本発明は、異なる画角を必要とする車載カメラアプリケーションの実現方法及び装置に関する。

車輌に搭載されているカメラには、バックモニタ用カメラ、前方の車線を検知する車線検知用カメラ等がある。これらの用途は、それぞれ車輌後方をモニタすること、前方の車線を撮像し検知することであることから必要とする画角は一つであり、固定焦点レンズを使用しているのが一般的である。

一方、車輌の安全技術として車線検知の他に障害物検知など複数のアプリケーションが搭載されることが予想されている。これらのアプリケーションは、その目的ごとに異なる画角の画像が必要となるため、車載カメラには複数の画角を撮像できることが要求されている。例えば、車線検知では自車輌近傍の車線を検知する必要があるので、より広角の画角が必要となるのに対し、障害物検知では自車輌から離れた障害物を検知する必要があるので、車線検知よりも狭角の画角が必要となる。

一台のカメラで複数の画角を撮像する先行技術として、カメラにズーム機構を設け、車輌停止時は車輌周辺状況の検出精度を高めるために撮像範囲を狭め、車輌走行時は死角を減らすために停止時より撮像範囲を広める技術がある（特開２００４−４８２９５号公報）。

特開２００４−４８２９５号公報

上記従来技術ではズーム機構を用いるため、カメラのサイズが大きくなり、コストも高くなるという問題がある。更に、複数のアプリケーションを同時に実行することを想定していないため、車線検知と障害物検知を同時に行う場合、ズーム機構を広角にして映像を取り込み車線検知を行った後に、ズーム機構を狭角に切り替えて映像を取り込み障害物検知を行うという処理を繰り返すことになり、処理周期が長くなる恐れがある。これはリアルタイム性が要求される車輌制御においては特に問題となる。

本発明は上記課題を鑑みなされたものであり、必要とする画角が異なる車載カメラのアプリケーションを、同時に処理する装置及び方法を提供することを目的とする。

上記目的を達成するために、同一の画像データに対し、第一のアプリケーションのための画像処理を第一の画角で行い、第二のアプリケーションのための画像処理を第一の画角とは異なる第二の画角で行い、第一、第二の画像処理を同一周期に行う。

更に、上記目的を達成するために、同一の画面に対し、複数の画角の画面に区分をし、複数のアプリケーションは区分けされた画角の画面のいずれかを使用して画像処理を行い、複数のアプリケーションの処理は同一周期に行う。

必要とする画角が異なる複数のアプリケーションを、同時に処理することができるようになる。また、装置のコストダウン及び処理時間の短縮にもつながる。

以下、図面を用いて、本発明の実施形態について詳細に説明する。

図１は本実施例の基本構成を示すブロック図である。車輌室内の天井部に車輌前方を映し出すようにカメラ２００が備えられている。カメラ２００は画像を撮像する撮像部２０８と画像を処理し認識処理を行う処理部２０９から成る。撮像部２０８では、車輌前方の車線や前方車輌を撮像素子２０１で撮影し、撮像素子出力信号変換部２０２で撮像素子２０１から送られてきたアナログデータをデジタルデータ（以下、画像データと呼ぶ）に変換し、画像データを処理部２０９へ送信する。

ここで、画像処理部２０４について説明する。画像処理部２０４は撮像素子出力信号変換部２０２から送られてくる画像データを画像メモリ２０６に格納する機能や、画像認識部２０５の指示に従って画像データに対し画像処理（例えばソーベルフィルタ処理）を行い、その結果を再度画像メモリ２０６に格納する機能を有している。

処理部２０９では、撮像素子出力信号変換部２０２から送られてくる画像データを画像メモリ２０６に格納する。画像認識部２０５では必要に応じて画像処理部２０４へ画像処理を指示し、画像処理部２０４は指示された処理を行うため、画像メモリ２０６に格納されている画像データに対し画像処理を行い、再度画像メモリ２０６に画像処理結果を格納する。画像認識部２０５では画像メモリ２０６に格納されている画像処理結果から、車線検知等の認識処理を行う。そして、認識結果を通信Ｉ／Ｆ２０７を通して、図示しない他のユニットに送信する。

図２は本実施例に用いる撮像素子２０１の一例を示している。撮像素子２０１は正方画素で構成され、有効画素は水平６００画素、垂直６００画素である。撮像素子２０１の有効画素には、画角が５６°の映像が映し出されている。車線検知処理は自車輌遠方より近傍の方が車線を安定して検知できることから画角が５６°の広角画像を使用し、車輌検知処理は自車輌から遠方の先行車輌を検知する必要があるため、画角が３０°の狭角画像を使用する。画角が約３０°となるのは３００画素である。よって、車輌検知処理には画面中央の水平方向３００画素、垂直方向３００画素の領域を使用する。

図３に露光から画像認識処理に至るまでのタイミングチャートを示す。フィールド１では撮像素子２０１においてシャッタＡによる露光を行い、フィールド２において、画像処理部２０４は、撮像素子出力信号変換部２０２から送信されるフィールド１で露光された画像データ（以下、「画像データＡ」という）を画像メモリ２０６へ格納する。そしてフィールド３では、画像処理部２０４は画像メモリ２０６に格納されているデータを使用して次のシャッタＢを決め、画像データＡに対して必要とする画角の違う車線検知処理と車輌検知処理を行う。同様にフィールド４では、撮像素子２０１においてシャッタＢによる露光を行い、フィールド５で画像処理部２０４は、撮像素子出力信号変換部２０２から送信されるフィールド４で露光された画像データ（以下、「画像データＢ」という）を画像メモリ２０６へ格納する。フィールド５では、画像メモリ２０６に格納されているデータを使用して次のシャッタＣを決め、画像データＢに対して必要とする画角の違う車線検知処理と車輌検知処理を行う。以後、フィールド３からフィールド５を一周期とする処理を繰り返す。

図４に画像認識部２０５のジェネラルフローチャートを示す。Ｓ３０１では画像メモリ２０６に格納されている画像データの明るさを判断し、次に取り込む画像が適切な明るさになるようなシャッタ値を決め、撮像素子制御信号生成部２０３に指示を行う。撮像素子制御信号生成部２０３は指示を受けたシャッタ値を撮像素子２０１に対し、次のフィールドから反映させる。画像メモリ２０６には画角が５６°で６００×６００の画素数の画像データが格納されているので、Ｓ３０２では、画角５６°の画像を使用して車線検知処理を行う。次にＳ３０３では、画像メモリに保存された画像データのうち、画角３０°の画像である中心３００×３００の画像データを使用して車輌検知処理を行う。このように、一つの画像データからそれぞれのアプリケーションに適した画角の画像データを切り出して処理するので、同じタイミングで取得した画像データについて複数画角を用いた対象物（車線検知であれば車線、車輌検知ならば車輌）の検出が可能となる。従って、従来技術のように画角に応じて撮像条件を変える必要がないので、複数の撮像周期（フィールド）に亘る時分割処理を行わなくても、アプリケーション側で必要であれば、全ての撮像周期に対して複数画角による対象物検知を行うことができる。

図５に車線検知処理のフローチャートを示す。画像メモリ２０６には６００×６００画素の画像が格納されている。Ｓ４０１では画像認識部２０５の処理負荷を下げるため、画像処理部２０４の機能を使用して、水平、垂直とも１画素置きに画像データを間引き、新たな間引き画像を画像メモリ２０６に格納する。画像認識部２０５の処理能力に応じて、さらに間引き間隔を広げてもよい。Ｓ４０２では車線は縦方向のエッジ成分が大きいため、間引き画像に対し、画像処理部２０４の機能を使用して縦方向のエッジを取得するためのソーベルフィルタ処理行い、縦エッジ画像を生成し、画像メモリ２０６に格納する。Ｓ４０３では縦エッジ画像に対し、ハフ変換を行い、直線候補を算出する。図６に直線候補算出結果の一例を示す。この例では左側のラインが２候補、右側のラインも２候補挙がっている。そして、Ｓ４０４において直線候補より、車線を推定し、車線中央からの自車輌中心のずれ量を車線検知処理の出力結果として算出する。なお、間引きによって作成される画像の画素数を他の画角の画像処理と合わせることにより、周辺回路や処理プログラムの共通化を図ることができる。

図７に車輌検知処理のフローチャートを示す。画像メモリ２０６には６００×６００画素の画像が格納されているので、Ｓ６０１では画角が３０°に相当する３００×３００の画像を６００×６００画素の画像の中心から切り出し、画角３０°画像を生成し、画像メモリ２０６に格納する。次に、画角３０°画像に対し、Ｓ６０２では横方向のエッジ画像を取得するためのソーベルフィルタ処理を画像処理部２０４の機能を使用して行い、Ｓ６０３では縦方向のエッジ画像を取得するためのソーベルフィルタ処理を画像処理部２０４の機能を使用して行う。Ｓ６０４では、横方向のエッジ画像に対して水平投影と、縦方向のエッジ画像に対して垂直投影を行う。図８にその結果を示す。前方車輌があるところは水平投影値が大きくなる。次に縦方向のエッジ画像に対して垂直投影を行う。ここで、処理時間短縮と先行車輌データ（信号成分）とそれ以外のデータ（ノイズ成分）のＳ／Ｎを向上させるために、水平投影値が大きいところに領域を絞り込み、垂直投影を行う。この結果を用いて、Ｓ６０５では前方車輌を推定し、前方車輌の距離と方向、車輌幅Ｗを車輌検知処理の出力結果として算出する。

以上の実施例では、必要とする画角の違う車線検知処理と車輌検知処理を同一画像に対して同時に処理を行うことが出来る効果がある。

本発明の他の実施例について説明する。前述の実施例では車線検知処理と車輌検知処理を例にとり、車線検知処理は広角画像を必要とするため有効画素全体を使用し、車輌検知処理では狭角画像を必要とするため有効画素の中央部分を使用したが、これに限ったものではない。アプリケーションの組み合わせに応じて、切り出す画角を決定することができる。なお、特に説明しない構成及び処理については前述の実施例と同様である。図９に車輌検知処理と歩行者検知処理をする場合の例を示す。車輌検知処理は自車輌から遠方の先行車輌を識別する必要があるため画面中央の画像を使用し、歩行者検知処理は自車近傍の左右の歩行者を検知する必要があるため、自車輌近傍の左右端の画像を使用する。

図１０は車線検知処理と車輌検知処理をする場合の前述とは別の実施を例示する。なお、特に説明しない構成及び処理については前述の実施例と同様である。車輌検知は自車輌から遠方の先行車輌を識別する必要があるため画面中央の画像を使用し、車線検知はＳ／Ｎが良い自車輌近傍の画像を使用する。本実施例によれば、車線検知に使用する画像の情報量を減らすことができ、画像処理部２０４の処理負荷を減らせる効果がある。

前述までは、アプリケーションによらず撮像素子２０１のシャッタスピードが同一の画像を使用した例を示した。しかし、車輌検知は自車から遠方を、車線検知は自車から近傍の情報が重要であるため、必要とする撮像素子２０１のシャッタスピードは車輌検知と車線検知とで異なる場合がある。アプリケーション毎に異なるシャッタスピードの画像を取得すると、アプリケーションの数が増えると画像を取得する時間が増加し、処理周期に影響を及ぼす。図１１では車輌検知領域を画面中央に車線検知領域を画面下部に、お互い領域を共有しないように設けた例である。車輌検知領域を含む画像部分を領域Ａ、車線検知領域を含む画像部分を領域Ｂとすると、領域Ａ、領域Ｂに対し、異なる電子シャッタパルスを撮像素子制御信号生成部２０３から与えることができる構成になっている。本実施例に拠れば、同一画面の中で領域Ａと領域Ｂとで異なるシャッタ値のデータを所得できるようになることで、車線と背景、前方車輌と背景のコントラストを大きくでき、検知精度を良くする効果があり、更に処理周期の短縮の効果がある。

このように、お互い重ならない画角に対し、異なる電子シャッタパルスを生成できるようにすることで、画面毎にシャッタ値を変更することができるようになり、アプリケーション毎に異なる検知ターゲットと背景とのコントラストを大きくすることができる。そして、アプリケーション毎に異なる検知ターゲットを精度良く検知できるようになり、画面毎にシャッタ値を変更できない場合に比べ、処理周期短縮を行うことが出来る。

なお、上記では、シャッタパルスを領域ごとに変更できる構成としたが、最も高い撮像周期を要する画角に合わせて画像を取得し、その撮像周期よりも低い撮像周期で十分な画角については、必要なタイミングで画像処理を行う構成としてもよい。このようにすることで、撮像素子２０１がシャッタパルスを領域ごとに変化できるものでなくても同等の処理を行うことが可能となる。

更にシャッタ値と同様にガンマ補正もアプリケーション毎に異なる特性を使用した方が良い場合がある。図１２に一例を示す。図１１の例と同様に車輌検知処理を含む画像領域を画像Ａとし、車線検知領域を含む画像を領域Ｂとする。特に説明しない構成及び処理は図１１に示す実施例と同様である。先行車輌の色が濃く周囲が暗い場合は、輝度値が小さい（暗い）部分を強調する特性のガンマ補正を使用すると、先行車輌と周囲とのコントラストを大きくすることが出来る。更に、車線検知処理の領域の道路部分が白に近い状態の場合、輝度値が大きい（明るい）部分を強調する特性のガンマ補正を使用すると、車線と道路とのコントラストを大きくすることが出来る。この処理を撮像素子出力信号変換部２０２で行う。撮像素子２０１から出力されるアナログデータを１０Ｂｉｔのデジタルデータ変換し、更に１０Ｂｉｔデータを８Ｂｉｔデータに変換を行ためのガンマ補正を行う。この際、撮像素子出力信号変換部２０２はガンマ補正をしている領域を判断し、領域Ａの場合は領域Ａのガンマ補正を行い、領域Ｂの場合は領域Ｂのガンマ補正を行う。

このようにお互い重ならない画面に対し、異なるガンマ補正を行えるようにすることで、アプリケーション毎に異なる検出対象に対し、背景とのコントラストを大きくすることができる効果がある。

更にシャッタ値、ガンマ補正と同様に光学フィルタもアプリケーション毎に異なる特性のものを使用した方が良い場合がある。図１３に一例を示す。車輌検知処理でテールライト部分を認識した場合、赤色部分を強調した画像を取得すると、テールライトを検知し易くなるため、６５０ｎｍ〜７００ｎｍの波長帯の光を多く透過する特性を持つ光学フィルタを撮像素子２０１の領域Ａに取り付ける。車線検知処理で、黄線を白線と同様に検知したい場合、黄線と道路のコントラストを大きくし、白線のコントラストと同様にする必要がある。そのために、５８０ｎｍの波長以下の光をマスクするフィルタを撮像素子２０１の領域Ｂに取り付ける。車輌検知処理にはテールライトを強調した画像を、車線検知には黄線と白線が同等のコントラストになる画像を使用できるようになる効果がある。

このように、お互い重ならない画面に相当する撮像素子上の位置に、異なる特性の光学フィルタを使用できるようにすることで、アプリケーション毎に異なる検知ターゲットと背景とのコントラストを大きくすることができる。そして、アプリケーション毎に異なる検知ターゲットを精度良く検知できるようになる。

なお以上の実施例では領域を上下２分割したが、これは一例であり、それ以上の分割数にしても良いし、左右に分割しても良いし、上下左右に分割しても良い。

本発明の画像処理カメラの一実施形態である基本的なブロック図。 本発明の画像処理カメラの第一の画角と第二の画角を示す一実施形態。 露光から画像処理に至るまでのタイミングチャートの一例。 画像認識部のジェネラルフローチャート。 車線検知処理のフローチャート。 ハフ変換による直線候補算出結果の一例。 車輌検知処理のフローチャート。 エッジ投影処理を用いた車輌検知処理の一例。 車輌検知処理と歩行者検知処理の画角の一例。 車輌検知処理と車線検知処理の画角の一例。 電子シャッタパルスを領域毎に変更する例を示す図。 ガンマ補正を領域毎に変更する例を示す図。 領域毎に光学フィルタ特性を変更する例を示す図。

符号の説明

２００…カメラ、２０１…撮像素子、２０２…撮像素子出力信号変換部、２０３…撮像素子制御信号生成部、２０４…画像処理部、２０５…画像認識部、２０６…画像メモリ、２０７…通信Ｉ／Ｆ、２０８…撮像部、２０９…処理部。

Claims (5)

1. 一つの撮像素子と一つのレンズを備えた車載カメラであって、あるシャッタで撮像した画像に対し、車線認識のための画像処理を第一の画角で行い、障害物認識のための画像処理を上記画面の上記第一の画角とは異なる第二の画角で行い、一の画像に対して前記車線認識の処理と前記障害物認識の双方の処理を行い、当該車線認識の処理と当該障害物認識の処理を同一周期で行う画像処理カメラ。
2. 請求項１記載の画像処理カメラであって、
   前記第一の画角と前記第二の画角はお互い重ならない領域である画像処理カメラ。
3. 請求項２記載の画像処理カメラであって、
   前記第一の画角と前記第二の画角の電子シャッタパルスを変更することができる画像処理カメラ。
4. 請求項２または３記載の画像処理カメラであって、
   前記第一の画角と前記第二の画角のガンマ補正を変更することができる画像処理カメラ。
5. 請求項２乃至４のいずれかに記載の画像処理カメラであって、
   前記撮像素子上の光学フィルタは、前記第一の画角と前記第二の画角とで特性を変更することができる画像処理カメラ。

Images