WO2006123754A1

WO2006123754A1 - 車両用画像処理装置

Info

Publication number: WO2006123754A1
Application number: PCT/JP2006/309965
Authority: WO
Inventors: Masayuki Usami; Tomoyasu Tamaoki
Original assignee: Toyota Jidosha Kabushiki Kaisha
Priority date: 2005-05-20
Filing date: 2006-05-18
Publication date: 2006-11-23
Also published as: US20080094471A1; CN102074007A; CN102074007B; EP2109061A2; EP2109061B1; EP1883242A4; EP1883242B1; EP1883242A1; EP2109061A3

Abstract

　カメラ１７は、白線の検出に適するように算出されたカメラ制御値をフレーム毎に適用して撮像するとともに、立体物の検出に適するように算出されたカメラ制御値をフレーム毎に適用して撮像する。撮像したフレームは、フレームカウンタと撮像する際に適用したカメラ制御値が付与された上でステレオＥＣＵ２０に送信され、ステレオＥＣＵ２０はその付与されたフレームカウンタに応じて白線用フレームと立体物用フレームを区別する。ステレオＥＣＵ２０は、区別がされたフレームに基づいて、白線用検出若しくは立体物用検出を行うとともに、白線用カメラ制御値若しくは立体物用カメラ制御値を算出して、その算出されたカメラ制御値をカメラ１７に送信する。

Description

明細書

車両用画像処理装置

技術分野

[0001] 本発明は、撮像画像に基づいて路面上の白線及び立体物を検出する車両用画像処理装置に関する。

背景技術

[0002] 従来から、カメラにより撮像された画像の輝度分布に基づいて作成された輝度のヒストグラムを用いてカメラのシャツタスピードを制御する制御装置が知られて、る（例えば、特許文献 1参照)。特許文献 1記載の制御装置は、輝度分布ヒストグラムの度数を輝度の低、側から順に加算した積算値と輝度の高、側力も順に加算した積算値がそれぞれの設定値を超えるときの低、側と高!、側での区間長さが互いに等しくなるようにシャツタスピードを調節するものである。

[0003] 車両ではこのようにシャツタスピードが制御されたカメラにより車両の周辺を撮影し撮影された画像に基づき運転者を支援する。例えば、撮像された車両周囲の画像から走行車線、障害物等を検出して運転者の車両操作を支援する車両用画像処理装置が知られている（例えば、特許文献 2参照)。特許文献 2の車両用画像処理装置は、 1対のステレオカメラのうち、一方のカメラで得られた画像から白線を検出すると共に、双方のカメラで得られた画像を矩形領域毎に比較してその相関から立体物を検出する。

特許文献 1：特開平 11― 258654号公報

特許文献 2：特開平 11― 14346号公報

発明の開示

発明が解決しょうとする課題

[0004] しカゝしながら、路面上の白線を検出する場合と立体物を検出する場合とは、それぞれに好適なシャツタスピードが異なる。このため、特許文献 1に記載されたように白線検出と立体物検出を区別せずに撮像された画像全体の輝度分布に基づいてシャツタスピードを制御すると、白線と立体物のそれぞれの検出に適した画像を撮像することができない。また、特許文献 2に記載されたように、単に 1対のステレオカメラを白線検出用と立体物検出用に共用しても、白線と立体物のそれぞれを精度よく検出することが困難である。

[0005] そこで、本発明は、カメラを共用して立体物検出と白線検出のそれぞれの処理に適した画像を得ることができる車両用画像処理装置を提供することを目的とする。課題を解決するための手段

[0006] 上記課題を解決するため、本発明は、フレームの露出を調節するためのカメラ制御値を算出処理する算出処理手段と、算出処理手段により算出されたカメラ制御値を適用して撮像する撮像手段と、撮像手段により撮像されたフレームに対して白線検出処理と立体物検出処理を行う検出処理手段とを備える車両用画像処理装置であつて、撮像手段は、算出処理手段により白線と立体物のそれぞれの検出に適するように算出処理されたカメラ制御値をフレーム毎に適用して撮像し、検出処理手段は、白線用カメラ制御値が適用されて撮像されたフレームに対して白線検出処理を行い、立体物用カメラ制御値が適用されて撮像されたフレームに対して立体物検出処理を行うことを特徴とする。

[0007] また、上記課題を解決するため、本発明は、平面物検出用のシャツタ制御及び立体物検出用のシャツタ制御との双方を実行可能な第 1の撮像手段と、立体物検出用のシャツタ制御を行う第 2の撮像手段と、第 1及び第 2の撮像手段の少なくとも一方により撮像された画像から平面物検出又は立体物検出する画像処理部と、を有することを特徴とする車両用画像処理装置を提供する。

発明の効果

[0008] 本発明によれば、カメラを共用して立体物検出と白線検出のそれぞれの処理に適した画像を得ることができる車両用画像処理装置を提供することを目的とする。図面の簡単な説明

[0009] [図 1]本発明の車両用画像処理装置を用いたシステムの構成の一例を示した図である。

[図 2]カメラ ECUとステレオ ECU間で行われる画像処理シーケンスの一部を切り出した図である。 [図 3]立体物検出処理のフローチャートである。

[図1—

〇 4]白線検出処理のフローチャートである。

圆 5]カメラ制御値を一定周期で送信するタイマルーチンである。

[図 6]カメラ ECUがカメラ制御する際のフローチャートである。

圆 7]路面に明るさ基準ウィンドウが設定されたことを示す図である。

圆 8]立体物の周囲に明るさ基準ウィンドウが設定されたことを示す図である。

[図 9]本実施の形態の車両用画像処理装置のシステム構成図の一例である。

[図 10]画像取得部とステレオ ECU間で行われる画像処理シーケンスの一部を切り出した図である。

[図 11]このようなシーケンス処理により左右のカメラが制御される制御手順を示すフロ一チャート図である。

[図 12]ステレオ ECUがフレームナンパに応じて白線検出又は立体物検出する画像処理手順を示すフローチャート図である。

符号の説明

カメラ ECU

11, 12 撮像素子

13 カメラ CPU

14 画像出力部

15, 16 レンズ

17 カメラモジュール

18, 25, 26 メモリ

20 ステレオ ECU

21 画像入力部

22 画像変換処理部

23 SV-CPU

24 画像認識処理部

発明を実施するための最良の形態

以下、本発明を実施するための最良の形態を、図面を参照しながら実施例を挙げて説明する。

実施例 1

[0012] 図 1は本発明の車両用画像処理装置を用いたシステムの構成の一例を示した図である。本画像処理システムは、カメラ ECU (Electric Control Unit) 10とステレオ EC U20を備える。それぞれの ECUは、中央処理演算装置 (CPU)、プログラムを記憶する ROM、データを一時的に記憶する RAM、入力インターフェース、出力インターフェースなどの複数の回路要素が一ユニットとして構成されたものである。コンビユータとも呼ばれる。

[0013] カメラ ECU10は、撮像手段として、撮像素子 11, 12やレンズ 15, 16といったステレオカメラを構成するカメラモジュール 17、カメラ CPU13、画像出力部 14等を有する。撮像素子 11, 12は、例えば、 CCD (Charge Coupled Device)や CMOS (Comp lementary Metal Oxide

Semiconductor)等の光電変換素子によりで構成されている。カメラモジュール 17に車両前方から入射した光は撮像素子 11、 12により光電変換され、蓄積した電荷を電圧として読み出し増幅して AZD変換された後、所定の輝度階調 (例えば、 256階調 )のデジタル画像に変換される。

[0014] カメラ CPU13は、ステレオ ECU20からの後述するカメラ制御値に基づいてカメラ側のフレームの露出を調節するカメラ制御を行う。カメラ CPU13は、出力インターフエースである画像出力部 14を介して、カメラモジュール 17の撮像したフレーム、撮像する際に適用したカメラ制御値、フレームカウンタ等を画像信号としてステレオ ECU2 0に送信する。なお、撮像素子は 2個に限らず、それ以上の数を有してもよい。

[0015] ステレオ ECU20は、入力インターフェースである画像入力部 21、幾何変換 LSI等を有する幾何変換処理部 22、画像処理 LSI等を有する画像認識処理部 24及び各処理部を監督する SV— CPU23を有する。

[0016] カメラ ECU10の画像出力部 14から出力された画像信号は、ステレオ ECU20の入力インターフェースである画像入力部 21に送られる。画像出力部 14と画像入力部 2 1は、所定のデジタル伝送方式のインターフェースである。

[0017] 画像信号を受けた画像入力部 21は、画像信号の画像データを幾何変換処理部 2 2に送る。幾何変換処理部 22は、キャリブレーションデータを用いて、ステレオ演算処理に使用されるカメラモジュール 17の撮像したフレームから、撮像素子 11, 12やレンズ 15, 16等によるハード的な内部誤差要因（レンズ歪み、光軸ずれ、焦点距離ずれ及び撮像素子歪み等）の影響を取り除き、ェピポーラ線を画像水平線にあわせる周知の処理を行う。幾何変換処理部 22は、メモリ 25に記憶された幾何変換用の L UT(Look Up Table)に基づき入力画像を変換する。

[0018] 画像認識処理部 24は、幾何変換処理部 22からの幾何変換された画像データに基づ、て立体物検出処理や白線検出処理やシャツタ制御を行う。それらの処理や制御のための画像処理プログラムや処理すべき画像データはメモリ 26に記録され、画像認識処理部 24は、それらを読み込んでそれらの処理 ·制御を行う。

[0019] 画像認識処理部 24が実行する立体物検出処理は、例えばステレオ視の技術によつて撮像したフレームから立体物を検出する画像処理プログラムによる処理である。立体物検出処理は、例えば左右に配置された撮像素子 11, 12により撮像された一対の画像の相関を求め、同一物体に対する視差に基づいて三角測量の要領でその物体までの距離を算出するものである。

[0020] つまり、画像認識処理部 24は、撮像素子 11, 12により撮像された一組のステレオ画像から同一の撮像対象物が写っている部分を抽出し、一組のステレオ画像同士でその撮像対象物の同一点を対応づけ、対応づけられた点 (対応点)のずれ量 (視差）を求めることによって撮像対象物までの距離を算出する。撮像対象物が前方にある場合、撮像素子 11による画像と撮像素子 12による画像とを重ね合わせると、撮像対象物が左右横方向にずれる。そして、片方の画像を 1画素ずつシフトしながら最も重なり合う位置を求める。このときシフトした画素数を nとする。レンズの焦点距離を f、光軸間の距離を m、画素ピッチを dとすると、撮像対象物までの距離 Lは、『L= (f -m) Z (n · d)』と、う関係式が成立する。この (n · d)が視差である。

[0021] また、画像認識処理部 24が実行する白線検出処理は、撮像したフレームカゝら路面上の白線を検出する画像処理プログラムによる処理である。白線検出処理では、まず、輝度によって 2値ィ匕された撮像したフレームの中から路面上の白線に該当すると考えられる画素（白線候補点）が選出される。そして、白線候補点が直線的に並んでいれば、選出された白線候補点は路面上の白線であると判断される。

[0022] なお、白線検出処理は次のように行ってもよい。撮像されたフレームの例えば輝度に基づき、所定の閾値以上の輝度を有する領域をフレーム底部力も上方に向けて探索する。白線は両端に高周波成分たるエッジを有するので、車両前方のフレームを水平方向に微分すると白線の両端にピークが得られ、そのピークは白線の線内に、白線外から白線と白線力白線外とで正負逆に得られるため、白線部分が推定できる。このような処理を行う白線強調フィルタをフレームに施すことで白線部分を強調でき、白線が強調されたフレームから、白線の特徴である、輝度が高い、線状の形状である等の特徴のある領域を、マッチングなどの手法により白線を検出できる。

[0023] また、画像認識処理部 24が実行するシャツタ制御は、適切なカメラ制御値 (シャツタスピード Sや制御ゲイン K)を算出処理'調節する。フレームの露出はシャツタスピード Sに応じて変化し、シャツタスピード Sを遅くすれば通る光が保持されるため暗い場所での撮影も可能になる。画像認識処理部 24は、撮像したフレームにおける目標明るさ Dと撮像したフレームにおける実明るさ D力所定の関数 Fに基づいて適切な力

R A

メラ制御値を算出する。例えば、シャツタスピード Sの今回値を S 、シャツタスピード S

N

の前回値を S 、制御ゲイン Kとして、所定関数 F『S =S +K' (D — D )』に基

N- l N N- l R A づいて、カメラ制御値が算出される。

[0024] SV—CPU23は、各処理部を監督 (supervisor)する CPUである。画像認識処理部

24が兼ねても可である。 SV— CPU23は、画像認識処理部 24によるシャツタ制御の結果であるカメラ制御値をカメラ ECU10内のカメラ CPU13に送信'指示する。

[0025] このようなカメラ ECU10やステレオ ECU20を車両に搭載することによって、路上の障害物等の画像認識情報を利用する制御に使用することが可能である。例えば、 S

V— CPU23が、車内 LANを介して、画像認識処理結果を必要とする他の ECUにその結果を送信すればよい。他の ECUとは、例えば、衝突回避'衝突軽減システムを制御する ECU、車線維持支援システムや車線逸脱警報システムを制御する ECU、車間 ECU、ブレーキ ECU等である。

[0026] それでは、本実施例の車両用画像処理装置の動作について図を参照しながら説明する。 [0027] ある対象物を画像処理により検出する場合、その対象物が最適な明るさとなるように、シャツタスピード等のカメラ制御値を調節することによって、カメラの露出を制御することが好ましい。その一つの手法として、カメラ制御値の決定の基準となるウィンドウを撮像画像上に設定するものがある。図 7で示されるように、白線検出処理において検出された白線 30を適切に検出できるようにするためには、路面に明るさ基準ウィンドウ 33を設定すればよい。一方、図 8で示されるように、立体物検出処理において検出された先行車や障害物をはじめとする立体物 32を適切に検出できるようにするためには、立体物 32の周囲に明るさ基準ウィンドウ 34を設定すればよい。しかしながら、白線検出と立体物検出の両方を行う場合には、明るさの基準をどのように設定するのかという点が重要になってくる。

[0028] また、立体物を検出するときに白線用のカメラ制御値を用いると、映像がサチユレ一シヨンを起こしてしまい、立体物の情報を収集できなくなってしまうことがある。さらに、カメラ ECU10側が、白線用カメラ制御値を適正に適用した白線用映像と立体物用力メラ制御値を適正に適用した立体物用映像を単純に切り替えることができたとしても、カメラ ECU10とステレオ ECU20間で撮像したフレームに関する整合がとれていなければ、ステレオ ECU20側力画像処理のタイミングをずらしてしまったり、画像処理すべき画像を取り込み間違いしてしまったりするおそれがある。

[0029] そこで、本発明の車両用画像処理装置は、立体物検出と白線検出のそれぞれの処理に適した画像を得るために、以下のように動作する。

[0030] 図 2は、カメラ ECU10とステレオ ECU20間で行われる画像処理シーケンスの一部を切り出した図である。

[0031] ステレオ ECU20内の SV—CPU23は、カメラ ECU10内のカメラ CPU13とシリアル通信を行う。 SV— CPU23は、シリアル通信で、画像認識処理部 24のシャツタ制御で算出された白線用カメラ制御値（図 2上方にある符号 al, a2, a3の実線矢印）と立体物用カメラ制御値（図 2上方にある符号 bl, b2, b3の点線矢印）を必ず交互にカメラ CPU13に送信する。例えば 50msの送信周期で、白線用カメラ制御値と立体物用カメラ制御値が送信される（図 5参照)。また、白線用カメラ制御値と立体物用力メラ制御値の送信順序が定められ、通信カウンタが、奇数の場合（図 2中の符号 (i) , (iii) , (v) )には白線用カメラ制御値が送信され、偶数の場合（図 2中の符号 (ii) , (iv) , (vi) )には立体物用カメラ制御値が送信される。

[0032] なお、 SV— CPU23は、カメラ制御値を送信する場合、画像認識処理部 24のカメラ制御値の算出タイミングにかかわらず、その送信タイミングにおける最新の算出結果であるカメラ制御値を送信する。すなわち、画像認識処理部 24によるカメラ制御値の算出処理が高負荷等の理由により送信タイミングに間に合わなければ、前回算出されたカメラ制御値が送信される。

[0033] 一方、カメラ ECU10は、 2フレームを最小単位に白線用カメラ制御を行い、 1フレームを最小単位に立体物用カメラ制御を行う。つまり、 SV— CPU23からの白線用カメラ制御値は 2フレーム毎に適用され、 SV— CPU23からの立体物用カメラ制御値は 1 フレーム毎に適用される。

[0034] ここで、カメラの 1フレームは 2つのフィールドという要素から成り立つている。つまり、走査線の奇数本目に走査が行われる「奇数 (ODD)フィールド」と、走査線の偶数本目に走査が行われる「偶数 (EVEN)フィールド」である。カメラ ECU10は、撮像した 1フレーム毎にフレームカウンタ N (N= 1, 2, 3, · · ·)を順番に付与する。フィールドもさらに区別できるように「lo, lej , Γ2ο, 2ej , · · ·と付与してもよい。

[0035] このような条件の下、カメラ ECU10によるカメラ制御は、以下のように行われる。図 6は、カメラ ECU10がカメラ制御する際のフローチャートである。カメラ ECU10は、フレームカウンタ Nに応じて白線用カメラ制御を行うか立体物用カメラ制御を行うかを決定している（ステップ 70)。フレームカウンタ Nを 3で割った余りが 0であるカウンタを付与したフレームに対しては白線用カメラ制御値を適用して白線用カメラ制御を実行する（ステップ 72)。一方、フレームカウンタ Nを 3で割った余りが 1であるカウンタを付与したフレームに対しては立体物用カメラ制御値を適用して立体物用カメラ制御を実行する（ステップ 74)。

[0036] したがって、図 2の場合、カメラ ECU10は、「フレームカウンタ 3」，「6」，「9」毎に白線用カメラ制御値を適用して撮像し、「フレームカウンタ 1」，「4」，「7」，「10」毎に立体物用カメラ制御値を適用して撮像する。

[0037] なお、カメラ ECU10は、受信している最新の立体物用カメラ制御値若しくは白線用カメラ制御値をそれぞれの最小単位毎に適用して撮像する。つまり、カメラ制御値の受信タイミングと撮像のタイミングとの同期はとれていなくてもよい。

[0038] したがって、カメラ ECU10が、上述のように、フレームカウンタが 3のフレームに対してカメラ制御を行う場合には白線用カメラ制御値 alが適用され、フレームカウンタが 7 のフレームに対してカメラ制御を行う場合には立体物用カメラ制御値 blが適用される。これに対し、フレームカウンタが 5のフレームに対してカメラ制御が行われる場合には、白線用カメラ制御値 a2はまだ受信していないため、そのとき最新のカメラ制御値である白線用カメラ制御値 alが適用される。フレームカウンタが 2や 8のフレームについても、同様である。

[0039] 次に、上述のようなカメラ制御を行ったカメラ ECU10は、撮像したフレームの画像データとともに、当該フレームのカメラ制御値とフレームカウンタをステレオ ECU20に送信する。このとき、「1.フレームカウンタ Nを 3で割った余りが 0 (N mod 3 = 0)であるフレームは白線用カメラ制御により撮像した白線用フレームである」、「2.フレームカウンタ Nを 3で割った余りが 1又は 2 (N mod 3 = 1, 2)であるフレームは立体物用カメラ制御により撮像した立体物用フレームである」といった通信定義を予め設定しておく。カメラ ECU10はそれらのデータをこの通信定義に従ってステレオ ECU20 に送信する。

[0040] カメラ ECU10から画像データを受けたステレオ ECU20は、フレームに付与されたフレームカウンタに応じて白線用フレームと立体物フレームを区別する。ステレオ EC U20は、上記の通信定義に従い、処理すべきフレームのフレームカウンタ Nが「N mod 3 = 0」を満たすとき白線用カメラ制御により撮像した白線用フレームであるとして白線検出処理を行う。一方、処理すべきフレームのフレームカウンタ Nが「N mod 3 = 1, 2」を満たすとき立体物用カメラ制御により撮像した立体物用フレームであるとして立体物検出処理を行う。そして、白線検出処理の後に白線用カメラ制御値算出等の白線検出後処理が行われ、立体物検出処理の後に立体物用カメラ制御値算出等の立体物検出後処理が行われる。

[0041] ここで、図 3及び図 4は、カメラ ECU10から画像データを受けたステレオ ECU20が処理するフローチャートである。図 3において、ステレオ ECU20は、上記の通信定義に従い、処理すべきフレームのフレームカウンタ Nの確認を行う（ステップ 10, 12)。「 N mod 3 = 1」ならば、ステレオ ECU20内の画像認識処理部 24は立体物検出処理を行う（ステップ 14)。そして、画像認識処理部 24は、立体物検出処理がなされたフレームを基に立体物用カメラ制御値を算出する (ステップ 16)。一方、ステップ 12において「N mod 3 = 1」でなければ、フェール処理が行われる（ステップ 18)。

[0042] また、図 4においても同様に、ステレオ ECU20は、上記の通信定義に従い、処理すべきフレームのフレームカウンタ Nの確認を行う（ステップ 30, 32)。「N mod 3 = 0」ならば、ステレオ ECU20内の画像認識処理部 24は白線検出処理を行う（ステツプ 34)。そして、画像認識処理部 24は、白線検出処理がなされたフレームを基に白線用カメラ制御値を算出する (ステップ 36)。一方、ステップ 32において「N mod 3 =0」でなければ、フェール処理が行われる（ステップ 38)。

[0043] ここで、ステップ 12とステップ 32のように、ステレオ ECU20は、フレームカウンタに従って制御を切り替えている。処理負荷増大等の理由により、白線検出処理若しくは立体物検出処理の時間が増えてタイミングがずれた場合には、その回のメイン周回をあきらめ（ステップ 18, 38のフェール処理）、タイミングを取り直して再スタートする。処理時間の制限として、例えば、白線検出処理は 16. 7ms以内、立体物検出処理は 83. 3ms以内に設定しておく。また、ステレオ ECU20内の画像認識処理部 24の起動タイミングは、白線検出は EVEN起動、立体物検出は ODD起動であるため、初期起動時にフレームカウンタと ODDZEVEN起動のタイミングを合わせるために、空回しをする必要がある。例えば、立体物の画像を EVEN起動で受けたり、白線の画像を ODD起動で受けたりすることがある。その場合には、その回の処理を廃棄して、 SV— CPU23による白線用カメラ制御値と立体物用カメラ制御値のカメラ ECU10への送信タイミングに合わせる必要がある。

[0044] 以上のように、ステレオ ECU20は、付与されたフレームカウンタに応じて白線検出処理すべきフレームと立体物検出処理すべきフレームを区別することによって、検出処理すべきフレームを白線用と立体物用で間違えて取り込むことを防止することができる。そして、フレームの区別を行ったステレオ ECU20は、白線検出処理用と区別がなされたフレームを基に白線検出処理と白線用カメラ制御値の算出処理を行い、立体物検出処理用と区別がなされたフレームを基に立体物検出処理と立体物用カメラ制御値の算出処理を行っている。

[0045] そして、このように算出処理された白線用カメラ制御値と立体物用カメラ制御値に関して、「通信カウンタが奇数の場合には白線用カメラ制御値を送信し、偶数の場合には立体物用カメラ制御値を送信する」ヽつた送信順序の決め事を設定し、それに従つてステレオ ECU20がカメラ ECU10への送信を行っている。したがって、カメラ EC U10は、その送信順序でカメラ制御値の送信があることに従うことによって、白線用力メラ制御値と立体物用カメラ制御値を間違えてフレームに適用することを防止することができる。

[0046] さらに、このような送信順序によるステレオ ECU20からの各カメラ制御値に関して、カメラ ECU10は、フレームカウンタ Nを 3で割った余りが 0であるカウンタを付与したフレームに対しては白線用カメラ制御値を適用して白線用カメラ制御を実行する。一方、フレームカウンタ Nを 3で割った余りが 1であるカウンタを付与したフレームに対しては立体物用カメラ制御値を適用して立体物用カメラ制御を実行する。各カメラ制御を実行したカメラ ECU10は、撮像したフレームの画像データを、当該フレームのカメラ制御値とフレームカウンタとを付与した上で、ステレオ ECU20に送信する。このような流れが、カメラ ECU10とステレオ ECU20間で繰り返されることとなり、立体物検出と白線検出のそれぞれの処理に適した画像を得ることができるようになる。

[0047] 以上、本発明の好ましい実施例について詳説した力本発明は、上述した実施例に制限されることはなぐ本発明の範囲を逸脱することなぐ上述した実施例に種々の変形及び置換を加えることができる。例えば、本実施例の走査方式は特に限定せず、インターレース方式でもノンインターレース方式でもよい。

実施例 2

[0048] 本実施例では、 1対のステレオカメラの一方のシャツタ制御を白線検出用と立体物検出用とに交互に切り替えて、白線と立体物のそれぞれを精度よく検出する車両用画像処理装置について説明する。また、ステレオカメラのうち一方により撮影された画像を常に表示装置に表示することで、車載カメラを増やさずに運転支援を可能にする。 [0049] 図 9 (a)は本実施の形態の車両用画像処理装置のシステム構成図の一例である。なお、図 9 (a)において図 1と同一構成には同一の符号を付しその説明は省略する。

[0050] カメラモジュール 17は、右カメラ 17R及び左カメラ 17Lによりステレオカメラとして構成されると共に、一方のカメラ (本実施の形態では右カメラ 17R)は暗視用（ナイトビュ一）のカメラとして併用される。ナイトビュー用のフレームは、ステレオ ECU20による画像処理なしにそのまま表示装置に表示することができるので、ナイトビュー装置が作動している間（以下、単に NV装置作動時という）、画像出力部 14は右カメラ 17L のフレームを例えば HUD (Head Up Display)へ出力すると共に、左右のカメラ 1 7R、 17Lに撮像されたフレームを画像入力部 21へ出力する。

[0051] 続、て、本実施例のシャツタ制御にっ、て説明する。実施例 1で説明したように撮影の対象物に最適なシャツタスピード、ゲイン値等のカメラ制御値を調節する。また、夜間の場合、十分な光量が得られな!/、のでシャツタスピードを遅めにゲイン値を高めに設定することでナイトビューに適切なカメラ制御値とする必要がある。

[0052] このように車両は、立体物検出のための画像、白線検出のための画像、ナイトビュ一用の画像と、目的によって多くの画像を利用するが、目的に応じてそれぞれカメラを車載することはコスト的にも車両スペースにも困難である。そこで、本実施例では、立体物検出のカメラの一方をナイトビューに、他方を白線検出に使用することで、立体物検出、白線検出及びナイトビュー用の画像撮像を一対のステレオカメラにより実現する。

[0053] 図 9 (b)はステレオカメラの共用システムの概略図を示す。なお、図 9 (b)において図 9 (a)と同一部分には同一の符号を付した。カメラ 17Rは常にナイトビュー用のカメラ制御値 (以下、単に NV用カメラ制御値という）により撮像し、カメラ 17Lは NV用カメラ制御値と白線を検出するためのカメラ制御値 (以下、単に白線用カメラ制御値という )を交互に切り替えて撮像する。したがって、カメラ 17Lが NV用カメラ制御値で撮像した場合、ステレオ ECU20は一対のフレームを使用して立体物検出することができ、カメラ 17Lが白線用カメラ制御値で撮像した場合、ステレオ ECU20は白線検出することがでさる。

[0054] また、画像取得部 10が、白線用のカメラ制御値を適用した白線用検出用のフレームとナイトビュー用のカメラ制御値を適正に適用した立体物検出用のフレームを単純に切り替えることができたとしても、画像取得部 10とステレオ ECU20間で撮像したフレームに関する整合がとれていなければ、ステレオ ECU20側力画像処理のタイミングをずらしてしまったり、画像処理すべき画像を取り込み間違いしてしまったりするおそれがある。

[0055] そこで、本実施例の車両用画像処理装置 1は、立体物検出と白線検出のそれぞれの処理に適した画像を得るために、以下のように動作する。

[0056] 図 10は、画像取得部 10とステレオ ECU20間で行われる画像処理シーケンスの一部を切り出した図である。

[0057] ステレオ ECU20の SV—CPU23は、画像取得部 10内のカメラ CPU13とシリアル通信を行う。 SV— CPU23は、シリアル通信により、画像認識処理部 24のシャツタ制御で算出されたカメラ制御値をカメラ 17Rと 17Lにそれぞれ送信する。 SV - CPU23 は、カメラ 17Rには常に NV用カメラ制御値を送信し、カメラ 17Lには NV用カメラ制御値と白線用カメラ制御値を必ず交互に送信する。

[0058] したがって、カメラ 17Lには、所定間隔 T (例えば 50ms)の送信周期で、白線用カメラ制御値と NV用カメラ制御値が送信される。なお、白線用カメラ制御値と NV用カメラ制御値の送信順序は、通信カウンタ（図 10の（i)〜 (vi) )が奇数の場合には白線用カメラ制御値が送信され、偶数の場合には NV用カメラ制御値が送信される。

[0059] NV用カメラ制御値によりカメラ 17R、 17Lが制御されるサイクルでは、 1対のフレームを使用して画像認識処理部 24により立体物検出処理が行われる。また、白線用力メラ制御値によりカメラ 17Lが制御されるサイクルでは、カメラ 17Lにより撮像されたフレームを使用して画像認識処理部 24〖こより白線検出処理が行われる。

[0060] SV— CPU23は、カメラ制御値を送信する場合、その送信タイミングにお！/ヽて画像認識処理部 24が最後に算出したカメラ制御値を送信する。すなわち、画像認識処理部 24によるカメラ制御値の算出処理が高負荷等の理由により、カメラ制御値の送信タイミングに間に合わない場合、前回算出されたカメラ制御値が送信される。

[0061] 一方、画像取得部 10は、所定フレーム数を最小単位に白線検出及び NV用カメラ制御を行う。図 10では、 SV— CPU23からの白線用カメラ制御値及び NV用カメラ制御値は 1フレーム毎に適用されるものとした。なお、白線用カメラ制御値の適用フレーム数と NV用カメラ制御値の適用フレーム数は同じでなくてもよい。

[0062] 図 11はこのようなシーケンス処理によりカメラ 17Lとカメラ 17Rが制御される制御手順を示すフローチャート図である。図 11 (a)はカメラ 17Lのカメラ制御を、図 11 (b)はカメラ 17Rのカメラ制御値をそれぞれ示す。

[0063] カメラ CPU13は、フレームナンパに応じてカメラ 17Lのカメラ制御を NV用とするか白線用とするかを判定する（Sl)。フレームナンパが偶数の場合 (SIの Yes)、カメラ CPU13は NV用カメラ制御値によりカメラ 17Lを制御する（S2)。

[0064] 図 10では、フレームナンパ「Oo、 2o、 4o、 6o、 · ··」力相当し、カメラ 17Lのこれらのフレームは NV用カメラ制御値により撮像される。

[0065] NV用カメラ制御値は、シャツタスピードに下限及びゲイン値に上限を設けており、これにより先行車や街灯などの光源が撮像されてもハレーションを防ぐことができる。なお、 NV装置作動時は対向車を眩惑しないように近赤外領域の波長の光を照明し立体物からの反射光を撮像するが、近赤外の光を効率よく入射するためカメラ 17R には可視光カットフィルタが装着される。また、一対のフレームに視差以外の差異があると立体物検出できないので、カメラ 17Lにも可視光カットフィルタが装着される。したがって、少なくとも NV装置作動時は、近赤外線が照射されると共に左右のカメラに可視光カットフィルタが装着される。

[0066] そしてフレームナンパが奇数の場合は（S3の Yes)、カメラ CPU13は白線用カメラ制御値によりカメラ 17Lを制御する（S4)。

[0067] 図 10では、フレームナンパ「lole、 3o3e、 5o5e、 · ··」カ湘当し、カメラ 17Lのこれらのフレームは白線用カメラ制御値により撮像される。

[0068] 白線用カメラ制御値は、白線が明るく（輝度が大きく）検出されることが好ましいので、シャツタスピードに下限及びゲイン値に上限を設けない。白線は光源を有さないのでこのような制限を設けなくてもハレーションを起こすことがなぐまた、前照灯 (近赤外を若干含む)及び近赤外の光が白線で反射するので、可視光カットフィルタが装着されていてもカメラ 17Lは輝度の十分な白線を撮像できる。

[0069] なお、上述のように、画像取得部 10がステレオ ECU20からカメラ制御値を受信していないサイクルでは、その時点で最新のカメラ制御値を適用してカメラ 17L、 17R を制御する。

[0070] また、ナイトビュー用に、 HUDに継続して画像を投影する右側のカメラ 17Rは、常に NV用のカメラ制御値により制御されるので、フレームナンパに関わらす NV用カメラ制御値により制御される (S5)。

[0071] 図 10では、フレームナンパ「0o〜6e"'」が相当し、カメラ 17Rのこれらのフレームは

NV用カメラ制御値により撮像される。

[0072] 図 10に示すように、カメラ 17Lは白線用カメラ制御値と NV用カメラ制御値とを交互に切り替えてシャツタ制御され、カメラ 17Rは NV用カメラ制御値でのみシャツタ制御されている。

[0073] このよう流れ力カメラ ECU10とステレオ ECU20間で繰り返されることとなり、カメラ 17Rでは立体物検出の処理及びナイトビューに適した画像を得ることができ、カメラ 1 7Lでは立体物検出と白線検出のそれぞれの処理に適した画像を交互に得ることができる。

[0074] なお、画像取得部 10は、すでに受信して、る最後の白線用カメラ制御値又は NV 用カメラ制御値をそれぞれの最小フレーム単位毎に適用して撮像するので、カメラ制御値の受信タイミングと撮像のタイミングとの同期はとれていなくてもよい。

[0075] 図 12は、ステレオ ECU20がフレームナンパに応じて白線検出又は立体物検出する画像処理手順を示すフローチャート図である。

[0076] 撮像されたフレームは、当該フレームのカメラ制御値及びフレームナンパと共にステレオ ECU20に送信される。

[0077] ステレオ ECU20はフレームナンパに応じて立体物検出の画像処理を行うか、白線検出の画像処理を行うかを判定する（S 10)。

[0078] 画像取得部 10からフレームを受信したステレオ ECU20は、フレームに付与されたフレームナンパに応じて白線用フレームと立体物フレームを区別する。ステレオ ECU 20は、処理すべきフレームのフレームナンパが偶数の場合（S10の Yes)、立体物用カメラ制御により撮像した立体物用フレームであるとして立体物検出処理を行う（S20

) o [0079] 一方、処理すべきフレームのフレームナンパが奇数の場合（S30の Yes)、ステレオ ECU20は、白線用カメラ制御により撮像した白線用フレームであるとして白線検出処理を行う（S40)。

[0080] 処理すべきフレームのフレームナンパが奇数の場合であっても、カメラ 17Rが撮像したフレームは画像出力部 14が常に HUDに出力している。なお、ステレオ ECU20 が白線検出処理を行う場合、このフレーム (フレームナンパが奇数のフレーム）に基づく立体物検出は行わない。この場合、カメラ 17Rが撮像してステレオ ECU20に入力されたフレームは使用されないか又は破棄される。

[0081] そして、白線検出処理の後に白線用カメラ制御値算出等の白線検出後処理が行われ、立体物検出処理の後に立体物用カメラ制御値算出等の立体物検出後処理が行われる。

[0082] なお、処理負荷増大等の理由により、白線検出処理若しくは立体物検出処理の時間が増えてタイミングがずれた場合には、タイミングを取り直して再スタートする。処理時間の制限として、例えば、白線検出処理は 16. 7ms以内、立体物検出処理は 83. 3ms以内に設定しておく。

[0083] また、ステレオ ECU20内の画像認識処理部 24の初期起動時にフレームナンパと ODD/EVEN起動のタイミングを合わせるために空回しをする必要があるのは実施例 1と同様である。

[0084] 以上のように、ステレオ ECU20は、付与されたフレームナンパに応じて白線検出処理すべきフレームと立体物検出処理すべきフレームを区別することによって、検出処理すべきフレームを白線検出用と立体物検出用とで間違えて取り込むことを防止することができる。そして、フレームの区別を行ったステレオ ECU20は、白線検出処理用として区別がなされたフレームを基に白線検出処理と白線用カメラ制御値の算出処理を行い、立体物検出処理用として区別がなされたフレームを基に立体物検出処理と立体物検出用（NV用）カメラ制御値の算出処理を行って、る。

[0085] そして、このように算出処理された白線用カメラ制御値と NV用カメラ制御値に関して、「通信カウンタが奇数の場合には白線用カメラ制御値を送信し、偶数の場合には NV用カメラ制御値を送信する」 t ヽつた送信順序の決め事をカメラ CPU13と SV— CPU23との間で設定し、ステレオ ECU20は力かる決め事に従!、カメラ ECU10へ送信する。したがって、カメラ ECU10は、その送信順序でカメラ制御値を受信して力メラ 17Lのカメラ制御値に適用することができる。

[0086] 各カメラ制御を実行したカメラ ECU10は、撮像したフレームを、当該フレームのカメラ制御値とフレームナンパとを付与した上でステレオ ECU20に送信する。このよう処理のサイクル力カメラ ECU10とステレオ ECU20間で繰り返されることとなり、立体物検出と白線検出のそれぞれの処理に適した画像を得ることができるようになる。

[0087] 以上、本発明の好ましい実施例について詳説した力本発明は、上述した実施例に制限されることはなぐ本発明の範囲を逸脱することなぐ上述した実施例に種々の変形及び置換を加えることができる。例えば、本実施例の走査方式は特に限定せず、インターレース方式でもノンインターレース方式でもよい。

[0088] 本国際出願は、 2005年 5月 20日に出願した日本国特許出願第 2005— 148097 号及び 2006年 5月 11日に出願した日本国特許出願第 2006— 132205号に基づく優先権を主張するものであり、第 2005— 148097号及び第 2006— 132205号の全内容を本国際出願に援用する。

Claims

請求の範囲

[1] フレームの露出を調節するためのカメラ制御値を算出処理する算出処理手段と、前記算出処理手段により算出されたカメラ制御値を適用して撮像する撮像手段と、前記撮像手段により撮像されたフレームに対して白線検出処理と立体物検出処理を行う検出処理手段とを備える車両用画像処理装置であって、

前記撮像手段は、前記算出処理手段により白線と立体物のそれぞれの検出に適するように算出処理されたカメラ制御値をフレーム毎に適用して撮像し、

前記検出処理手段は、白線用カメラ制御値が適用されて撮像されたフレームに対して白線検出処理を行い、立体物用カメラ制御値が適用されて撮像されたフレームに対して立体物検出処理を行うことを特徴とする車両用画像処理装置。

[2] 前記撮像手段は、撮像したフレームを、フレームカウンタと撮像する際に適用した力メラ制御値とを付与した上で前記検出処理手段に送信し、

前記検出処理手段は、その付与されたフレームカウンタに応じて、白線検出処理すべきフレームと立体物検出処理すべきフレームを区別する請求項 1記載の車両用画像処理装置。

[3] 前記算出処理手段は、白線検出処理用と区別がなされたフレームを基に白線用力メラ制御値を算出処理し、立体物検出処理用と区別がなされたフレームを基に立体物用カメラ制御値を算出処理し、それらの算出処理されたカメラ制御値を所定の送信順序で前記撮像手段に送信する請求項 2記載の車両用画像処理装置。

[4] 前記算出処理手段は、前記撮像手段への所定の送信タイミングにカメラ制御値の算出処理が間に合わない場合には前回算出処理されたカメラ制御値を送信する請求項 3記載の車両用画像処理装置。

[5] 前記撮像手段は、受信して、るうちで最新の白線用カメラ制御値と最新の立体物用カメラ制御値を適用して撮像する請求項 4記載の車両用画像処理装置。

[6] 平面物検出用のシャツタ制御及び立体物検出用のシャツタ制御との双方を実行可能な第 1の撮像手段と、

立体物検出用のシャツタ制御を行う第 2の撮像手段と、

第 1及び第 2の撮像手段の少なくとも一方により撮像された画像力平面物検出又は立体物検出する画像処理部と、

を有することを特徴とする車両用画像処理装置。

[7] 第 1の撮像手段は、平面物検出用のシャツタ制御と立体物検出用のシャツタ制御とをフレーム毎に切り替える、

ことを特徴とする請求項 6記載の車両用画像処理装置。

[8] 第 2の撮像手段が撮像した画像を表示装置に出力する画像出力部を有する、ことを特徴とする請求項 6又は 7記載の車両用画像処理装置。

[9] 第 1の撮像手段が平面物検出用のシャツタ制御により撮像した場合であっても、前記画像出力部は第 2の撮像手段が立体物検出用のシャツタ制御により撮像した画像を前記表示装置に出力する、

ことを特徴とする請求項 8記載の車両用画像処理装置。

[10] 第 1の撮像手段が平面物検出用のシャツタ制御により撮像し、かつ、第 2の撮像手段が立体物検出用のシャツタ制御により撮像した場合、前記画像出力部は第 2の撮像手段が撮像した画像を前記表示装置に出力すると共に、前記画像処理部は平面物検出を行う、

ことを特徴とする請求項 8記載の車両用画像処理装置。

[11] 立体物検出用のシャツタ制御はシャツタ速度に下限及びゲイン値に上限を有し、平面物検出用のシャツタ制御は前記下限よりも小さいシャツタ速度及び前記上限よりも大き、ゲイン値が設定可能である、

ことを特徴とする請求項 6又は 7記載の車両用画像処理装置。