JPWO2019159764A1 - 車載カメラシステム、車両用灯具 - Google Patents

Abstract

車載カメラシステム１００は、車両前方を撮影するカメラ１１０と、カメラ１１０の画像を処理するプロセッサ１２０を備える。プロセッサ１２０は、車両前方の物標検出処理を、期限の遅いタスクと、期限の早いタスクに分類して実行する。

Description

本発明は、車載カメラシステムに関する。

近年、車両の周囲の状態にもとづいて、ハイビームの配光パターンを動的、適応的に制御するＡＤＢ（Adaptive Driving Beam）技術の導入が進められている。ＡＤＢ技術は、車両の前方の先行車、対向車（以下、前方車という）や歩行者の有無を検出し、車両あるいは歩行者に対応する領域を減光するなどして、車両あるいは歩行者に与えるグレアを低減するものである。

ＡＤＢ機能を実現するためには、車両前方の状況を測定するセンサと、センサの出力を処理して配光パターンを生成するプロセッサ、配光パターンに応じて車両前方を照射する光源が必要である。

自動車に利用されるセンサとしては、カメラ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ミリ波レーダ、超音波ソナーなどが候補として挙げられる。このなかで、カメラは最も安価であることから、現状では最も広く採用されており、カメラにより車両前方を撮影した画像に含まれる光点を、車両のヘッドランプあるいはテールランプ（以下、光源と総称する）とパターンマッチングをとることで、前方車を検出する手法が採用される。

特開２００９−０３２０３０号公報

しかしながら夜間に撮影された画像には、前方車の光源のみならず、その他の光源（たとえば街灯、反射板、建物の照明）が含まれるが、それらを区別することは容易ではなく、プロセッサにおいて複雑な信号処理が必要となる。前方車の検出が遅れると、前方車にグレアを与えることとなるため、高速な検出が要求される。このことから、プロセッサには、高速な演算、専用の画像処理エンジンが必要となり、システムが高コスト化するという問題がある。

本発明は係る状況においてなされたものであり、そのある態様の例示的な目的のひとつは、車載カメラシステムの低コスト化にある。

本発明のある態様は車載カメラシステムに関する。車載カメラシステムは、車両前方を撮像するカメラと、カメラの画像を処理するプロセッサと、を備える。プロセッサは、車両前方の物標検出処理を、期限の遅いタスクと、期限の早いタスクに分類して実行する。

物標とは、車両、歩行者などの交通参加者のほか、標識、道路形状などを含む。たとえば先方車の種類（先行車、対向車）、その走行位置、そのほか走行状況などによって、その検出に要求される時間（許容される遅延）は異なる。この態様によれば、車両前方の物標検出処理を、期限の遅い、すなわち処理時間の長いタスクと、期限の早い、すなわち処理時間の短いタスクに分類して実行することで、処理速度の遅い安価なプロセッサを用いた場合でも、短時間で検出すべき物標を高速に検出できる。

期限の早いタスクは、期限の遅いタスクよりも高い頻度でスケジューリングされてもよい。

期限の遅いタスクは、遠方の車両の検出プロセスを含んでもよい。期限の遅いタスクは、（i）直線／カーブの判定プロセス、（ii）遠方領域の検出プロセス、（iii）遠方光点の検出プロセス、（iv）遠方光点の追跡プロセス、の少なくとも一つを含んでもよい。

期限の早いタスクは、近い車両の検出プロセスを含んでもよい。期限の早いタスクは、（i）高輝度領域の抽出プロセス、（ii）高輝度領域の特徴量の生成プロセス、（iii）特徴量にもとづく車両の検出プロセス、を含んでもよい。

本発明の別の態様も、車載カメラシステムに関する。車載カメラシステムは、車両前方を撮像するカメラと、カメラの画像を処理するプロセッサと、を備える。プロセッサは、カメラの画像を、すべてのフレームについて処理する高速タスクと、カメラの画像を、複数のフレームに１回の割合で処理する低速タスクと、を実行する。

低速タスクは、相対的に遠い前方車を検出する処理を含み、高速タスクは、相対的に近い前方車を検出する処理を含んでもよい。

本発明の別の態様は車両用灯具に関する。車両用灯具は、上述の車載カメラシステムを備えてもよい。

本発明によれば、車載カメラシステムを低コスト化できる。

実施の形態に係る車載カメラシステムのブロック図である。 図２（ａ）〜（ｄ）は、期限の遅いタスクと期限の早いタスクの一例を説明する図である。 図３（ａ）〜（ｃ）は、期限の遅いタスクと期限の早いタスクの別の例を説明する図である。 実施の形態に係る車載カメラシステムの処理を示すフローチャートである。 車載カメラシステムの動作を説明するタイムチャートである。 実施の形態に係る車両用灯具のブロック図である。

以下、本発明を好適な実施の形態をもとに図面を参照しながら説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、実施の形態は、発明を限定するものではなく例示であって、実施の形態に記述されるすべての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。

図１は、実施の形態に係る車載カメラシステム１００のブロック図である。車載カメラシステム１００は、カメラ１１０およびプロセッサ１２０を備える。車載カメラシステム１００は、「前方車」を検出する。検出対象となる「前方車」は典型的には先行車および対向車の位置である。

カメラ１１０は、車両前方を撮影する。プロセッサ１２０は、カメラ１１０の画像ＩＭＧを受け、車両前方の物標検出を行う。

プロセッサ１２０は、ＣＰＵ（Central Processing Unit）やＧＰＧＰＵ（General Purpose Graphic Processor Unit）などを含んでいて、プログラムによりソフトウェア制御可能な汎用的なマイコンであってもよいし、ＡＩ（Artificial Intelligence）チップのような専用のハードウェアであってもよい。

プロセッサ１２０は、車両前方の物標検出処理を、期限の遅いタスクと、期限の早いタスクに分類して実行する。

プロセッサ１２０は、前処理部１２２、タスク分配部１２４、高速タスク実行部１２６、低速タスク実行部１２８を備える。なおこれらのブロックは、プロセッサ１２０の機能を表すものであり、区別可能なハードウェアとして存在するわけではない。

前処理部１２２は、カメラ１１０の画像ＩＭＧに前処理を施す。前処理には、ノイズ除去、２値化およびラベリングによる光点の検出などが含まれる。

タスク分配部１２４は、車両前方の物標検出に含まれる複数のサブプロセスを、期限の遅いタスクと期限の早いタスクに分類し、高速タスク実行部１２６、低速タスク実行部１２８に受け渡す。高速タスク実行部１２６は、期限の早いタスクを実行し、低速タスク実行部１２８は期限の遅いタスクを実行する。出力部１３０は、高速タスク実行部１２６および低速タスク実行部１２８の処理結果にもとづいて、前方車の情報を出力する。

典型的には、変化速度の遅い対象・情報の検出に関わるサブプロセスには、遅い期限を設定することができ、反対に、変化速度の速い対象・情報の検出に関わるサブプロセスには、早い期限を設定する必要がある。たとえば、カメラの画像のフレームごと（あるいはそれに準ずる速度）に変化する対象や情報は、期限が早く設定される。反対に、複数のフレームにわたり、緩やかに変化する対象や情報は、期限を遅く設定することができる。

期限の遅いタスクについて、いくつかの例を説明する。

１．消失点（遠方領域）の検出
画像に含まれる光点は、消失点（遠方領域）から発生して放射状に移動していき、あるいは消失点に消えていく。したがって消失点の検出処理（サブプロセス）は、前方車の検出に重要である。ここで、消失点は、直線路では、自車の正面前方（０°方向、１２時方向）に位置するが、カーブでは、消失点は、正面前方から右または左に移動する。直線路が突然にカーブに変わったり、カーブが突然に直線路に変わることはなく、それらは連続的に緩やかに変化し、したがって消失点が移動する速度も、カメラのフレームレート（３０ｆｐｓの場合、３３ｍｓ）よりも遅いといえる。したがって、消失点（遠方領域）の検出に関わるサブプロセスは、期限を遅く設定することができる。

２． 直進・カーブの検出や判定
上述のように、直進・カーブも、複数のフレームにわたり徐々に変化するものであるから、それらの検出に関わるサブプロセスも、期限を遅くすることができる。

３． 遠方領域の車両検出
先方車の位置情報を、ＡＤＢランプに使用する場合、グレアを与えないことが目的となる。先方車が、自車よりも十分に遠ければ（たとえば３００ｍ以上前方）、その検出が遅れて、すなわち遮光が遅れたとしても、グレアの影響は小さい。したがって、遠方領域に含まれる光点に関わるサブプロセスは、期限を遅くすることができる。たとえば、消失点を中心とする所定の角度範囲を遠方領域としてもよい。

期限の早いタスクについて説明する。

４． 自車に近い領域（近接領域）の車両検出
先方車が自車に近ければ近いほど、検出遅れによりグレアを与えるおそれが高くなる。言い換えれば、近い車両ほど、高速に検出することが求められる。したがって、近接領域の光点に関わるサブプロセスは、期限を遅くすることができる。たとえば、消失点を中心とする所定の角度範囲の外側を遠方領域としてもよい。

図２（ａ）〜（ｄ）は、期限の遅いタスクと期限の早いタスクの一例を説明する図である。この例では、直線路における対向車とのすれ違いを説明する。図２（ａ）は、直線路を上から見た図である。自車２００は、図中において右から左に進行する。自車２００の前方４００ｍ先には、先行車２０２が自車２００と同じ速度で走行している。

対向車２０４は、位置Ａ、Ｂ、Ｃと順に近づいてくる。位置Ａ，Ｂ，Ｃにおける対向車２０４を、２０４Ａ，２０４Ｂ，２０４Ｃとして区別する。なお、ここでは説明の簡潔化のため、自車２００と先行車２０２の位置を固定している。図２（ｂ）〜（ｄ）には、対向車２０４が位置Ａ，Ｂ，Ｃに存在するときのカメラの画像を示す。

たとえば、自車２００と対向車２０４の速度が６０ｋｍ／ｈの場合、相対速度は１２０ｋｍ／ｈであり、位置Ａから位置Ｂまでは９秒の時間を要する。また、位置Ｂから位置Ｃまでは約３秒かかる。中心からの角度は、位置Ａでは約０．６°、位置Ｂでは約２．５°、位置Ｃでは約２０°となる。

直進の場合、遠方は画面中心となる。そこで画面中心から左右に所定の角度に境界２１０を設定し、境界２１０の内側の領域に含まれる光点については、期限を遅く設定し、その境界２１０の外側の光点については、期限を早く設定してもよい。所定の角度を±２．５°に設定した場合、図２（ａ）における位置Ｂ、Ｃの対向車２０６Ｂ，２０６Ｃの検出に関連するサブプロセスは、早い期限が設定される。期限を早く設定すべき光点に関するサブプロセスについては、全フレームを対象として、３３ｍｓを期限としてもよい。

反対に、図２（ａ）における位置Ａの対向車２０４Ａの検出に関連するサブプロセスは、遅い期限が設定される。また、先行車２０２は、常に境界２１０の内側に含まれるため、遅い期限が設定される。期限を遅く設定すべき光点に関するサブプロセスについては、数百ｍｓを期限としてもよい。たとえば、２００ｍｓを期限とする場合、６フレームに１枚を処理対象としてもよい。

図３（ａ）〜（ｃ）は、期限の遅いタスクと期限の早いタスクの別の例を説明する図である。この例では、カーブにおける対向車とのすれ違いを説明する。右カーブでは、遠方（消失点）が、画面中央から右側にシフトし、左カーブでは、遠方（消失点）が、画面中央から左側にシフトする。直進、右カーブ、左カーブの判定および遠方の位置は、センサ情報にもとづいて検出してもよいし、過去のフレームと現在のフレームの比較から検出してもよい。上述のように、遠方検出に関するサブプロセスは、遅い期限を設定することができる。

カーブ走行時には、遠方の位置を中心として、左右に所定の角度に境界２１０が設定され、境界２１０の内側に、遅い期限を設定し、外側に早い期限を設定すればよい。

図４は、実施の形態に係る車載カメラシステム１００の処理を示すフローチャートである。ここでは、遅い期限のタスク（低速タスクという）は、複数のフレームに１回を対象として実行し、早い期限のタスク（高速タスクという）は、すべてのフレームを対象として実行するものとする。

高速タスクＳ１００は、入力処理Ｓ１０２を含む。入力処理Ｓ１００では、カメラ１１０の画像を取り込むとともに、その他のセンサの出力や、情報を取り込む。

続いて、取り込んだ画像の前処理を実行する（Ｓ１０４）。前処理は、二値化、ラベリング等を含み、光点が抽出される。

低速タスクの周期か否かが判定され（Ｓ１０６）、低速タスクの周期であれば（Ｓ１０６のＹ）、低速タスクＳ２００が実行される。たとえば６フレームに１回の割合で、低速タスクが実行される。低速タスクの周期でない場合（Ｓ１０６のＮ）、残りの高速タスクが実行される。

低速タスクＳ２００では、期限が遅いタスクが処理される。具体的には、直進・カーブの判定（Ｓ２０２）が実行される。具体的には、センサ情報や、過去と現在のフレームの比較から、直進、右カーブ、左カーブの判定が行われ、またカーブである場合には、曲率等が計算される。

続いて、直進、カーブ判定（Ｓ２０２）の結果にもとづいて、遠方領域（上述の境界）が決定される（Ｓ２０４）。この境界は、上述したように、光点を、期限の遅いタスクと、早いタスクのいずれで処理するかを振り分けるために使用される。

続いて、遠方領域に含まれる遠方光点が抽出され、位置、形、色、明るさ等を含む特徴データが算出される（Ｓ２０６）。そして、遠方光点を所定のアルゴリズム（Ｓ２０８）で処理することにより、遠方車両が判定される（Ｓ２１０）。

たとえば処理Ｓ２０８は、遠方光点を追跡し、その軌跡を取得する処理を含んでもよい。具体的には複数のフレームにわたり、特徴データが同一である光点のリンクを張ることで、軌跡が取得される。

そして、処理Ｓ２１０において、軌跡が遠方車両のそれと一致した場合に、遠方車両と判定してもよい。なお、遠方光点の軌跡は、６フレーム毎に追跡されることとなる。

低速タスクＳ２００が完了すると、高速タスクＳ１００の残りの処理（Ｓ１０８〜Ｓ１１４）が実行される。残りの処理は、遠方領域外の光点に関する車両判定に関する。

はじめに、遠方領域外の高輝度領域を抽出する（Ｓ１０８）。そして、抽出した高輝度領域について特徴量（位置、面積、重心、明度、色等）を算出する（Ｓ１１０）。そして、高輝度領域の有無やその特徴量にもとづいて、車両の有無を判定する（Ｓ１１２）。最後に、処理Ｓ２１０あるいはＳ１１２で検出された車両の情報を出力する。

なお、図４のフローチャートに含まれる各処理の実行順序は、処理に支障のない範囲で入れ替えることができる。たとえば処理Ｓ１０６およびＳ２００は、処理Ｓ１００の最後に実行してもよい。

図５は、車載カメラシステム１００の動作を説明するタイムチャートである。この例では、高速タスクの実行周期は、フレーム周期と等しく３３ｍｓである。また低速タスクの実行周期は２００ｍｓであり、連続する６フレームのひとつが処理対象となる。図５では、先頭のフレーム番号をｎとしており、ｎ＋ｋ×６番目のフレーム（ｋ＝０，１，…）が、低速タスクの処理対象となる。一般化すると、低速タスクは、ｎ＋ｋ×ｍ番目のフレームを対象とすることができる。

ｉ番目のフレームを対象とする高速タスクは、その次のｉ＋１番目のフレーム期間内の一部にスケジューリングされる。

また、ｎ＋ｋ×ｍ番目のフレームを対象とする低速タスクは、それに続くｍ個のフレーム期間ｎ＋ｋ×ｍ＋１〜ｎ＋（ｋ＋１）×ｍのうち、高速タスクがスケジューリングされずに空いている時間スロットにスケジューリングされる。図５の例では、ｍ＝６であり、ｎ＋ｋ×６番目のフレームに関する低速タスクは、ｎ＋ｋ×６＋１〜ｎ＋ｋ×６＋５番目のフレーム期間の間に実行される。

上述の車載カメラシステム１００は、特に車両用灯具に好適に用いることができる。図６は、実施の形態に係る車両用灯具３００のブロック図である。車両用灯具３００は、上述の車載カメラシステム１００に加えて、配光パターン生成部３１０および配光可変ランプ３２０を備える。

配光可変ランプ３２０は、公知技術あるいは将来利用可能な技術を用いればよい。たとえば、配光可変ランプ３２０はアレイ方式やスキャン方式などが提案されている。アレイ方式のランプは、アレイ状に配置された複数の半導体光源を備え、複数の半導体光源それぞれのオン、オフあるいは輝度を制御する。スキャン方式のランプは、半導体光源と、半導体光源の出射光を車両前方で走査するスキャン光学系を備え、スキャンの動作と同期して、半導体光源のオン、オフや輝度を制御する。

配光パターン生成部３１０には、車載カメラシステム１００によって検出された先方車の情報が供給される。配光パターン生成部３１０は、先方車の位置情報にもとづいて、遮光領域（あるいは減光領域）と照射領域の組み合わせからなる配光パターンＰＡＴを生成する。

配光パターン生成部３１０は、車載カメラシステム１００のプロセッサ１２０と別のプロセッサに実装してもよいし、同一のプロセッサに実装してもよい。

以上、本発明について、実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。以下、こうした変形例について説明する。

期限の早いタスク（高速タスク）と、期限の遅いタスク（低速タスク）の分類は例示であり、限定されない。たとえばプロセッサの処理能力に余裕がある場合には、直進・カーブ判定（図４のＳ２０２）、遠方領域の検出（Ｓ２０４）に関するサブプロセスを低速タスクに割り当て、遠方の光点を対象とした処理（Ｓ２０６，Ｓ２０８，Ｓ２１０）に関するサブプロセスを、高速タスクに割り当ててもよい。

実施の形態にもとづき、具体的な語句を用いて本発明を説明したが、実施の形態は、本発明の原理、応用の一側面を示しているにすぎず、実施の形態には、請求の範囲に規定された本発明の思想を逸脱しない範囲において、多くの変形例や配置の変更が認められる。

１００ 車載カメラシステム
１１０ カメラ
１２０ プロセッサ
１２２ 前処理部
１２４ タスク分配部
１２６ 高速タスク実行部
１２８ 低速タスク実行部
１３０ 出力部
３００ 車両用灯具
３１０ 配光パターン生成部
３２０ 配光可変ランプ

本発明は、車載カメラシステムに関する。

Claims (8)

1. 車両前方を撮像するカメラと、
   前記カメラの画像を処理するプロセッサと、
   を備え、
   前記プロセッサは、車両前方の物標検出処理を、期限の遅いタスクと、期限の早いタスクに分類して実行することを特徴とする車載カメラシステム。
2. 前記期限の遅いタスクは、遠方の車両の検出プロセスを含むことを特徴とする請求項１に記載の車載カメラシステム。
3. 前記期限の遅いタスクは、
   （i）直線／カーブの判定プロセス、
   （ii）遠方領域の検出プロセス、
   （iii）遠方光点の検出プロセス、
   （iv）遠方光点の追跡プロセス、
   の少なくとも一つを含むことを特徴とする請求項１または２に記載の車載カメラシステム。
4. 前記期限の早いタスクは、近い車両の検出プロセスを含むことを特徴とする請求項１から３のいずれかに記載の車載カメラシステム。
5. 前記期限の早いタスクは、
   （i）高輝度領域の抽出プロセス、
   （ii）高輝度領域の特徴量の生成プロセス、
   （iii）前記特徴量にもとづく車両の検出プロセス、
   を含むことを特徴とする請求項１から４のいずれかに記載の車載カメラシステム。
6. 車両前方を撮像するカメラと、
   前記カメラの画像を処理するプロセッサと、
   を備え、
   前記プロセッサは、
   前記カメラの画像のすべてのフレームを処理する高速タスクと、
   前記カメラの画像を、複数のフレームに１回の割合で処理する低速タスクと、
   を実行することを特徴とする車載カメラシステム。
7. 前記低速タスクは、相対的に遠い前方車を検出する処理を含み、前記高速タスクは、相対的に近い前方車を検出する処理を含むことを特徴とする請求項６に記載の車載カメラシステム。
8. 請求項１から７のいずれかに記載の車載カメラシステムを備えることを特徴とする車両用灯具。

Images