WO2010137563A1

WO2010137563A1 - 画像処理装置

Info

Publication number: WO2010137563A1
Application number: PCT/JP2010/058757
Authority: WO
Inventors: 裕史大塚; 門司　竜彦
Original assignee: 日立オートモティブシステムズ株式会社
Priority date: 2009-05-25
Filing date: 2010-05-24
Publication date: 2010-12-02
Also published as: JP2010272067A; US20120062746A1; EP2437233A1

Abstract

　夜間における対向車のヘッドライト、先行車のテールライト、歩行者を同時に精度高く検出できる画像処理装置であって、第１のシャッタ速度で第１の露光データを取得する手段と、前記シャッタ速度よりも低速な第２のシャッタ速度で第２の露光データを取得する手段と、第１のシャッタ速度よりも低速な第３のシャッタ速度で第３の露光データを取得する手段と、第１の露光データを可視濃淡画像に変換する手段と、該可視濃淡画像を出力する手段と、第２の露光データをカラー画像に変換する手段と、該カラー画像を出力する手段と、第３の露光データを赤外濃淡画像に変換する手段と、該赤外濃淡映像を出力する手段と、可視濃淡画像に基づいてヘッドライトを検知する手段と、カラー画像に基づいてテールライトを検知する手段と、赤外濃淡画像と前記カラー画像を演算して得られる画像に基づいて歩行者を検知する手段と、を備えた画像処理装置。

Description

画像処理装置

　本発明は、自動車用ヘッドライトの配光制御等を行うためのセンサとして用いられる画像処理装置に関する。

　従来から、夜間にヘッドライトのハイビーム／ロービームの配光制御を行うために、カメラで対向車のヘッドライトや先行車のテールライトを検知する手法が提案されている。例えば、特許文献１は、カラーカメラを用いて撮像した画像中の光点の色彩情報を用いて、ヘッドライト及びテールライトを効率良く検知する装置を開示している。夜間にカメラに写る光源は、検出したいヘッドライトやテールライトのみではなく、街灯、信号機、リフレクタ（反射板）等の排除したいノイズ光源も存在する。このようなノイズ光源は、検出したい遠方のテールライトの光よりも明るいため、カラーカメラで得られるカラー情報を用いることで効率良くヘッドライトとテールライトのみを抽出することが可能となる。カラーカメラは、撮像素子の上のＲＧＢのベイヤ（Bayer）パターンのカラーフィルタで覆われ、更にその上に、ノイズとなる赤外光をカットするためのローパスフィルタが用いられており、色の分解性能を向上している。

　一方、夜間に視認しづらい歩行者の認知を補助する目的で、カメラにより夜間の歩行者を検知する手法も提案されている。特許文献２は、赤外線カメラで撮像した画像の画素中で輝度値が閾値以上の画素群（歩行者）と閾値未満の画素群（背景等）とを輝度分離し、輝度分離された２種の画素群についてそれぞれ異なる処理を施し、これらと赤外線カメラの原画像とを加算した結果を表示する装置を開示している。

　また、特許文献３は、赤外線画像に基づいて明部が集中している領域を探し、これを検出対象者の頭部と決定する装置を開示している。歩行者を検知するための撮像手段としては、近赤外線投光器と近赤外線カメラの組合せ、又は遠赤外線カメラを用いることが一般的である。

　上記配光制御機能と歩行者検知機能を同時に実現する場合、カラーカメラは可視光の波長帯を使用し、歩行者検知は赤外光の波長帯を使用するため、通常、撮像素子一つでは実現困難である。そこで、特許文献４は、可視光用の受光素子と赤外光用の受光素子を混在配置し、可視画像と赤外画像をそれぞれ同時に出力する撮像装置を開示している。

特開昭６２－１３１８３７号公報特開平１１－２４３５３８号公報特開平１１－３２８３６４号公報特開２００１－１８９９２６号公報

　しかし、従来技術では、ヘッドライトとテールライトといった光量差があるものを検出しつつ、歩行者も精度良く検出することが難しく、撮像方式を更に工夫することが課題となっていた。

　本発明では、夜間における対向車のヘッドライト、先行車のテールライト及び歩行者を、同時に誤りなく検出できる画像処理装置を提供することを目的としている。

　上記の目的を達成するため、本発明の画像処理装置は、第１のシャッタ速度で第１の露光データを取得する手段と、前記シャッタ速度よりも低速な第２のシャッタ速度で第２の露光データを取得する手段と、第１のシャッタ速度よりも低速な第３のシャッタ速度で第３の露光データを取得する手段と、前記第１の露光データを可視濃淡画像又はカラー画像に変換する手段と、該可視濃淡画像を出力する手段と、前記第２の露光データをカラー画像に変換する手段と、該カラー画像を出力する手段と、前記第３の露光データを赤外濃淡画像に変換する手段と、該赤外濃淡映像を出力する手段と、を備えることを特徴とする。

　更に、本発明の画像処理装置は、上記の特徴に加えて、前記第１の露光データの前記可視濃淡画像又はカラー画像に基づいてヘッドライトを検知する手段と、前記第２の露光データの前記カラー画像に基づいてテールライトを検知する手段と、前記赤外濃淡画像と前記第２の露光データの前記カラー画像を演算して得られる画像に基づいて歩行者を検知する手段と、を備えることを特徴とする。

　さらに、本発明は、前記第２のシャッタ速度及び前記第３のシャッタ速度を同じとして、前記第２の露光データと前記第３の露光データを共通化することを特徴とする。

　本発明によれば、夜間における対向車のヘッドライト、先行車のテールライト及び歩行者を、同時に高い精度で検出することができる。小型のカメラ１台を用いることで足りるので、コストを低下することができる。また、検出結果を利用して、ヘッドライトのビームの方向や照度の制御、運転者に対する警報、更に走行制御等に広く適用する可能性が開かれ、安全運転に寄与することができる。

本発明の実施例１の全体構成の概要である。カメラ101と画像解析ユニット102の内部構成の概要を示す。カメラ101の内部構成の概要を示す。撮像素子中の受光素子の配列を示す。本発明の実施例１における処理の手順を示すフローチャートである。 (a)は想定される一つのシーン、(b)は高速シャッタで露光した映像、(c)は低速シャッタで露光した映像である。 (a)は想定される別の一つのシーン、(b)は低速シャッタで露光した映像である。画像処理を行った結果の画像であり、(a)はシーン601を高速シャッタで露光した映像から画像処理を行なった結果の画像、(b)は同じシーン601を低速シャッタで露光した映像からの処理結果の画像、(c)はシーン601を低速シャッタで露光した赤外濃淡画像と可視カラー画像からの処理結果の画像である。本発明の実施例２における処理のフローチャートである。本発明の実施例３における処理のフローチャートである。

　以下、本発明を実施するための最良の形態を図面に基づいて説明する。ただし、本発明は、多くの異なる態様で実施することが可能であり、本実施の形態の記載内容に限定して解釈すべきではない。

　図１は、本発明の実施例１の全体構成の概要を示す。カメラ101は、車両の前方を捕らえるようにルームミラー付近に設置され、カメラ101で撮像された車両前方画像は、画像解析ユニット102に入力される。画像解析ユニット102は、画像処理を行い、例えば前方に車両が存在する場合、その車両までの距離を解析する。ヘッドライト制御ユニット103は、前方の車両までの距離情報からヘッドライト104のハイビームおよびロービームに負荷する電圧量を算出し、算出された電圧をヘッドライト104に供給する。以上により、前方の車両までの距離からヘッドライトの照射距離を制御している。

　以上、ここではヘッドライトの照射距離を制御することが目的であるから、ヘッドライト制御ユニット103は、上記の電圧量に替えて、ハイビームとロービームの電流量を算出して供給するようにしてもよい。また、ヘッドライト104のフィラメントまたはリフレクタ部分を稼動する構造にしておき、ヘッドライト制御ユニット103から光軸の角度制御信号をヘッドライト104に送信することにより、ヘッドライト104の光軸を変化させてヘッドライト照射距離を制御するようにしてもよい。

　夜間の歩行者をカメラ101で検知できるようにするため、車両には近赤外投光器105が設置されて、ヘッドライトと同様に前方を照射する。前方に歩行者がいる場合、近赤外投光器105によって照らされ、その像をカメラ101が受光する。

　画像解析ユニット102は、輝度値の高い領域を探し、そのうち歩行者らしいパターンをもった領域を歩行者として検出する。入力した映像に対して、検出した歩行者の候補位置を囲むような矩形を重畳描画して、その映像をモニタ106に出力することにより、ドライバーに注意を促す。

　検知結果の出力先としては、モニタ106ではなく、ヘッドライト104として、歩行者を検出した場合の配光領域を変化させることでドライバーに注意を促すようにしてもよい。また、スピーカ等の音声を鳴らすことにより、ドライバーに注意を促すようにしてもよい。

　図２は、カメラ101と画像解析ユニット102の内部構成の概要を示す。図３は、カメラ101の内部構成の概要を示す。

　ＣＣＤ201は光を電荷に変換する撮像素子であり、車両前方の映像をアナログ画像信号に変換し、カメラＤＳＰ202に転送する。カメラＤＳＰ202の内部には、図３に示すように、ＡＤＣ303（Analog Digital Converter）を備えており、アナログの画像信号をデジタル信号に変換して、色変換ユニット304において、色信号をYUVの信号に変換する。その後変換された信号を画像解析ユニット102の画像入力Ｉ／Ｆ205に送信する。

　画像信号は連続的に送信されるがその先頭には同期信号が含まれており、画像入力Ｉ／Ｆ205では、必要なタイミングの画像のみを取り込むことができる。画像入力Ｉ／Ｆ205に取り込まれた画像は、メモリ206に書き込まれ、画像処理ユニット204によって処理や解析が行われる。この処理の詳細は後述する。一連の処理は、フラッシュメモリに書き込まれたプログラム207に従って行われ、画像入力Ｉ／Ｆ205で画像を取り込むことや画像処理ユニット204で画像処理を行なうことの制御および必要な計算は、ＣＰＵ203が行う。

　ここで、カメラＤＳＰ202は、露光制御を行うための露光制御ユニット301と露光時間を設定するレジスタ302を内蔵しており、ＣＣＤ201は、カメラＤＳＰ202のレジスタ302に設定された露光時間で撮像する。レジスタ302は、ＣＰＵ203から書き換え可能であり、書き換えられた露光時間は、次フレームまたは次フィールド以降の撮像時に反映される。

　露光時間は、カメラＤＳＰ202がＣＣＤ201の電源をオンオフすることによって制御可能であり、オンしている時間によってＣＣＤ201にあたる光の量が制限される。露光時間制御は、上記のような電子シャッタ方式によって実現するが、メカニカルシャッタを開閉させる方式を用いることも可能である。また、絞りを調整することにより、露光量を変化させるようにしてもよい。また、インターレースのように１ラインおきに操作する場合、奇数ラインと偶数ラインで露光量を変化させるようにしてもよい。

　図４は、撮像素子中の受光素子の配列を示す。受光素子には４種類の透過波長の異なるフィルタがそれぞれ付加され配置されている。図４において、IR：赤外光の受光素子、R：可視光(赤)の受光素子、G：可視光(緑)の受光素子、B：可視光(青)の受光素子を意味している。これらの色情報の抽出および変換方法については後述する。

　図５は、本発明の実施例１における処理の手順を示すフローチャートである。このフローチャートでは、図示されているように、三つのフローがあり、これらのフローは、前記１台のカメラを使用して、時間差をもって個別に処理が進められる。ここでは、一例として、最初にステップS501から始まるフローを行い、次にステップS502から始まるフローに飛び、最後にステップS503から始まるフローを実施するが、特にこの順序に制限されるものではない。

　まず、ステップS501において高速シャッタで露光する。この高速シャッタ値は、例えば500m遠方の対向車のヘッドライトの光が写るぎりぎりまで、短い露光時間を設定する。それよりも露光時間を長くすると、街灯や信号機等のノイズとなる光が写りこんでしまうためである。次にステップS504において、可視濃淡画像を生成する。可視濃淡画像は、ＲＧＢのフィルタを用いて、輝度信号Yと色差信号U、Vの信号に変換される。この変換は、カメラDSP内の色変換ユニット304で、次式１から３の変換式を用いて行われる。

式１　　　　Y＝ 0.299R + 0.587G + 0.114B　　
式２　　　　U＝０　　　　　　　　　　　　　
式３　　　　V＝０　　　　　　　　　　　　　
　YUVは、それぞれ８ビットで、Yは0～255、U、Vは、-128～127の値をとる。YUVに変換された信号は、ステップS507でデジタル画像信号として、画像解析ユニット102に伝送され、ステップS510でメモリ206に格納される。

　ステップS513では、メモリ206に格納された映像データから、高輝度光点の領域を検出する。これは、輝度値が閾値以上の領域を切り出すことにより、実現することができる。

　例えば図６(a)のようなシーンを想定すると、高速シャッタで露光した映像は、図６(b)の画像602のようになり、切り出した領域は、図８(a)の画像801のようになる。次にステップS516において、ヘッドライト解析を行う。通常、自動車のヘッドライト、テールライトは、左右で合計二つの光が写りこむため、この図からラベリング処理を行い、光点のペアリングを行う。ペアリングを行うと、画像中での左右の幅が計測できるので、三角測量の原理で対向車までの距離を、大まかに求めることが可能となる。

　次に、図５に示されたフローチャートの次のフローに飛ぶ。ステップS502において、低速シャッタで露光する。このシャッタ値は、例えば500m遠方の先行車のテールライトの光が写るまでの十分に長い露光時間とする。そのため、ステップS501で用いられるシャッタスピードよりも長くなる。ステップS505では、露光されたデータは、ＲＧＢのフィルタを用いて、輝度信号Y、色差信号U、Vの信号に変換されるが、この場合の変換式は、上記（１）～（３）式と同じである。ここで、YUVに変換された信号は、ステップS508において、デジタル画像信号として画像解析ユニット102に伝送され、ステップS511においてメモリ206に格納される。

　ステップS514において、メモリ206に格納された映像データから赤色光点の領域を検出する。まず、U、Vの２次元空間の彩度Sと色相Hを、次式４及び５を用いて表すことができる。

　ここで、ある値以上の彩度Ｓがあり、色相空間Ｈの中で紫からオレンジ色の間である部分を赤であると定義し、定数α，β、γを用いて、赤色領域を次式６及び７で表すことができる。

　図６(a)に示すシーンの場合、低速シャッタで露光した映像は、図６(c)の画像603のようになり、赤色領域は、画像802のようになる。低速シャッタで露光すると、ヘッドライトのような強い光が多く入ってくるために、その部分でブルーミングを起こすが、カラー情報を使うことによって、テールライトの光のみを効率良く残すことができる。

　赤色光点を抽出したら、ヘッドライトのときと同様に、ステップS517でテールライト解析を行う。図８(b)の画像802上でラベリング処理を行い、光点のペアリングを行って、三角測量の原理により先行車までの距離を大まかに求める。ヘッドライトとテールライトの位置を解析して対向車と先行車の大まかな距離を求めたら、ステップS519において、得られた結果を統合し、例えば CAN (Control Area Network) 信号として、ヘッドライト制御ユニット103に送る。

　次に、ステップS503において、低速シャッタで露光する。このシャッタ値は、例えば近赤外投光器105により、100m遠方の歩行者の反射光が写る程に十分長い露光時間が設定される。このシャッタスピードは、ステップS502で設定したものと同様に十分長いため、一度だけ露光し、その結果を可視カラー画像生成と赤外濃淡画像生成の両方に利用することが可能である。

　図５に示すフローチャートにおいて、ステップS506では赤外光の濃淡画像を生成する。そのための変換は、IR濃度値を直接輝度信号に設定する次式８から１０で行う。

式８　　　　Y = IR
式９　　　　U = ０
式１０　　　V = ０
　YUVに変換された信号は、ステップS509において、デジタル画像信号として画像解析ユニット102に伝送され、ステップS512において、メモリ206に格納される。

　図７(a)に示すようなシーンの場合、低速シャッタで露光した赤外濃淡映像は、図７(b)の画像701のようになる。また、低速シャッタで露光した可視カラー画像603を利用して、画像701から画像603の光点を差し引くと、図８(c)の画像803のようになり、近赤外投光器に反射した物体以外のヘッドライト、テールライト、信号機等の自発光体の影響を軽減することができる。

　次に、ステップS515において、画像701又は画像803に対して、歩行者パターンマッチングをかけて歩行者らしいパターンを抽出する。このパターンマッチングは、ニューラルネットワークやＳＶＭ（サポートベクタマシン）のような強識別器を用いたり、Adaboost等の弱識別器を用いたりして検出する方法が数多く提案されている。例えば、特許文献２や特許文献３に記載された方式を用いてもよい。

　画像中から歩行者領域を抽出したら、ステップS518において、歩行者の解析を行う。歩行者のパターンは複雑であり動いたりするので、一般に誤検出も多く発生する。そこで、歩行者の移動ベクトルや自車両の移動ベクトルから、歩行者の動きをトラッキングして、歩行者らしくない動作をしていた場合に排除を行うことで、誤検出レベルを下げる効果がある。最後にステップS520において、歩行者の候補領域をまとめ、CANを通じてモニタ106やヘッドライト制御ユニット103に情報を転送する。

　図９は、実施例２の処理のフローチャートを示す。実施例２では、実施例１の可視濃淡画像に替えてカラー画像を生成し転送するものである。実施例２では、ヘッドライト以外のもの、例えば信号機から強い光を受けた際に、色がついている光を排除することにより、誤ってヘッドライトと識別することを完全に排除することが可能となる。カラーの場合、YUV信号への変換は、次式１１から１３の変換式を用いて行われる。

式１１　　　　Y =　0.299R + 0.587G + 0.114B　　
式１２　　　　U = -0.169R - 0.331G + 0.500B　　
式１３　　　　V =　0.500R - 0.419G - 0.081B　　
　実施例２における、上記の点を除く残りの構成は、実施例１と同じであるので、説明を省略する。

　実施例３は、実施例１又は実施例２における低速シャッタで露光するのを１回とし、その結果を可視カラー画像生成と赤外濃淡画像生成の両方に利用するものである。図１０は、実施例３の処理のフローチャートを示す。ここでは、ステップ1001で一度だけ露光されるが、そうすることにより、画像データの転送量を軽減したり、処理周期を短くしたりすることができる。

　実施例３における、上記の点を除く残りの構成は、実施例１又は２と同じであるので、説明を省略する。

101：カメラ、102：画像解析ユニット、103：ヘッドライト制御ユニット、104：ヘッドライト、105：近赤外投光器、106：モニタ、201：CCD (Charge Coupled Device Image Sensor)、202：カメラDSP （Digital Signal Processor）、203：CPU (Central Processing Unit)、204：画像処理ユニット、205：画像入力インターフェース、206：メモリ、207：プログラム、301：露光制御ユニット、302：レジスタ、303：ADC (Analog to Digital Converter)、304：色変換ユニット、401：撮像素子、601：実際のシーンの一例、602：（可視光）高速シャッタ露光画像、603：（可視光）低速シャッタ露光画像、604：実際のシーンの別の一例、604：対向車両、605：先行車両、606：歩行者、701：近赤外光低速シャッタ露光画像、801：ヘッドライト検出用処理画像、802：テールライト検出用処理画像、803：歩行者検出用処理画像。

Claims

　第１のシャッタ速度で第１の露光データを取得する手段と、
　前記シャッタ速度よりも低速な第２のシャッタ速度で第２の露光データを取得する手段と、
　第１のシャッタ速度よりも低速な第３のシャッタ速度で第３の露光データを取得する手段と、
　前記第１の露光データを可視濃淡画像に変換する手段と、該可視濃淡画像を出力する手段と、
　前記第２の露光データをカラー画像に変換する手段と、該カラー画像を出力する手段と、
　前記第３の露光データを赤外濃淡画像に変換する手段と、該赤外濃淡映像を出力する手段と、
を備えた画像処理装置。
　請求項１に記載された装置において、
　前記可視濃淡画像に基づいてヘッドライトを検知する手段と、
　前記カラー画像に基づいてテールライトを検知する手段と、
　前記赤外濃淡画像と前記カラー画像を演算して得られる画像に基づいて歩行者を検知する手段と、
を備えた画像処理装置。
　第１のシャッタ速度で第１の露光データを取得する手段と、
　前記シャッタ速度よりも低速な第２のシャッタ速度で第２の露光データを取得する手段と、
　第１のシャッタ速度よりも低速な第３のシャッタ速度で第３の露光データを取得する手段と、
　前記第１の露光データをカラー画像に変換する手段と、該カラー画像を出力する手段と、
　前記第２の露光データをカラー画像に変換する手段と、該カラー画像を出力する手段と、
　前記第３の露光データを赤外濃淡画像に変換する手段と、該赤外濃淡映像を出力する手段と、
を備えた画像処理装置。
　請求項３に記載された装置において、
　前記第１の露光データの前記カラー画像に基づいてヘッドライトを検知する手段と、
　前記第２の露光データの前記カラー画像に基づいてテールライトを検知する手段と、
　前記近赤外光濃淡画像と前記第２の露光データの前記カラー画像を演算して得られる画像に基づいて歩行者を検知する手段と、
を備えた画像処理装置。
　第１のシャッタ速度で第１の露光データを取得する手段と、
　前記シャッタ速度よりも低速な第２のシャッタ速度で第２の露光データを取得する手段と、
　前記第１の露光データを可視濃淡画像又はカラー画像に変換する手段と、該可視濃淡画像又はカラー画像を出力する手段と、
　前記第２の露光データをカラー画像に変換する手段と、該カラー画像を出力する手段と、
　前記第２の露光データを赤外濃淡画像に変換する手段と、該赤外濃淡映像を出力する手段と、
を備えた画像処理装置。
　請求項５に記載された装置において、
　前記第１の露光データの前記可視濃淡画像又はカラー画像に基づいてヘッドライトを検知する手段と、
　前記第２の露光データの前記カラー画像に基づいてテールライトを検知する手段と、
　前記赤外濃淡画像と前記第２の露光データの前記カラー画像を演算して得られる画像に基づいて歩行者を検知する手段と、
を備えた画像処理装置。