JP6687886B2

JP6687886B2 - 画像処理システム、移動体制御システム、移動体装置、物体検出方法、物体検出プログラム

Info

Publication number: JP6687886B2
Application number: JP2016009433A
Authority: JP
Inventors: 洋義関口; 栄太渡邊
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2015-03-11
Filing date: 2016-01-21
Publication date: 2020-04-28
Anticipated expiration: 2036-01-21
Also published as: JP2016170163A

Description

本発明は、画像処理システム、移動体制御システム、移動体装置、物体検出方法及び物体検出プログラムに係り、更に詳しくは、投光装置と撮像装置を備える画像処理システム、該画像処理システムを備える移動体制御システム、該移動体制御システムを備える移動体装置、投光する工程を含む物体検出方法、投光する手順を含む物体検出プログラムに関する。

近年、物体の有無、該物体までの距離等の物体情報を検出するための技術の開発が盛んに行われている。

例えば、特許文献１には、パターン照明装置からパターン光を投光し、該パターン光が照射された物体を複眼撮像装置で撮像して、物体情報の検出に有効な画像を得る技術が開示されている。

しかしながら、特許文献１に開示されている技術では、移動体に搭載された場合に、視認性の低下を抑制しつつ物体情報の検出に有効な画像を得ることができなかった。

本発明は、移動体に搭載される画像処理システムであって、均一な輝度分布を持つ第１のパターン光及び不均一な輝度分布を持つ第２のパターン光を交互に投光する投光装置と、前記投光装置の投光範囲を撮像する、複数の撮像部を含む撮像装置と、前記撮像装置で撮像された画像を処理する処理装置と、を備え、前記処理装置は、前記第２のパターン光が投光された時間帯において前記複数の撮像部それぞれで撮像された複数の画像に基づいて視差計算を行い、その結果を用いて物体検出を行う画像処理システムである。

本発明によれば、視認性の低下を抑制しつつ物体情報の検出に有効な画像を得ることができる。

本発明の一実施形態の移動体制御システムを備える車両の平面図である。図２（Ａ）は移動体制御システムを備える車両の側面図であり、図２（Ｂ）は移動体制御システムを備える車両の正面図である。移動体制御システムのステレオカメラの斜視図である。ランダムパターン光の一例を示す図である。移動体制御システムのハードウェアの構成を示すブロック図である。画像処理部の視差画像生成手段について説明するための図である。伝播８方向の場合について説明するための図である。サブピクセル推定による少数視差について説明するための図である。ステレオカメラから物体までの距離を導き出す原理の説明図である。図１０（Ａ）は基準画像を示す図であり、図１０（Ｂ）は図１０（Ａ）に対する高密度視差画像を示す図であり、図１０（Ｃ）は図１０（Ａ）に対するエッジ視差画像を示す概念図である。図１１（Ａ）は基準画像における基準画素を示す概念図であり、図１１（Ｂ）は図１１（Ａ）の基準画素に対して比較画像における対応画素の候補を順次シフトしながらシフト量を算出する際の概念図である。シフト量毎のコスト値を示すグラフである。合成コスト値を導き出すための概念図である。視差値毎の合成コスト値を示すグラフである。一実施形態の物体検出装置における投光制御処理１を説明するためのフローチャートである。視差画像生成処理を説明するためのフローチャートである。点灯時視差画像生成処理１を説明するためのフローチャートである。点灯時視差画像生成処理１を説明するためのタイミングチャートである。変形例１の移動体制御システムのハードウェアの構成を示す図である。変形例１の物体検出装置における投光制御処理２を説明するためのフローチャートである。点灯時視差画像生成処理２を説明するためのフローチャートである。点灯時視差画像生成処理２を説明するためのタイミングチャートである。図２３（Ａ）及び図２３（Ｂ）は、点灯時視差画像生成処理の他の例を説明するためのタイミングチャートである。図２４（Ａ）及び図２４（Ｂ）は、点灯時視差画像生成処理の他の例を説明するためのタイミングチャートである。

以下、本発明の一実施形態を、図面を参照して説明する。

［概要］
一実施形態の移動体制御システム１００は、図１〜図２（Ｂ）に示されるように、移動体装置としての車両１の車両本体（移動体）に搭載され、ヘッドライト装置１０、撮像装置としてのステレオカメラ２０（図３参照）、処理装置３０（図５参照）、電子制御装置としてのＥＣＵ５０（図５参照）などを備えている。ここでは、移動体制御システム１００は、車両１の電気系用のバッテリーから電力の供給を受ける。

なお、移動体である車両本体としては、例えば自動車、電車、バイク、自転車、車椅子、農業用の耕運機等が挙げられる。また、移動体制御システム１００と、該移動体制御システム１００が搭載される移動体とを備える移動体装置としては、車両に限らず、例えば航空機、船舶等であっても良い。

ヘッドライト装置１０は、車両本体の前部に設けられる左右一組のヘッドライト１０ａ、１０ｂを含む。ヘッドライト１０ａ、１０ｂは、同時に、点灯もしくは消灯される。ここでは、ヘッドライト１０ａ、１０ｂは、車両１に標準装備されるものである。以下では、ヘッドライト１０ａ、１０ｂを区別する必要がない場合、「ヘッドライト」と総称する。

各ヘッドライトは、光源としての、複数のＬＥＤがアレイ状に配列されたＬＥＤアレイと該ＬＥＤアレイを駆動する駆動回路とを含み、ＥＣＵ５０によって点灯／消灯が制御される。また、ヘッドライトは、車両１のハンドル付近に設けられたヘッドライトスイッチを手動操作することでも点灯／消灯が可能となっている。なお、ヘッドライトは、光源として、ＬＥＤに代えて、例えば白色光源などを含んでいても良い。

ヘッドライトから車両前方に投光された光は、ヘッドライト装置１０の投光範囲に物体がある場合に、該物体に照射される。ここで、「投光範囲」は、ヘッドライト装置１０の各ヘッドライトによる投光可能な範囲を併せた範囲（図１参照）を意味する。

ステレオカメラ２０は、一例として、図２（Ａ）及び図２（Ｂ）に示されるように、車両内部の運転席上方におけるバックミラー近傍に取り付けられており、両眼（左右の撮像部２０ａ、２０ｂ）で車両前方を撮像できるように設置されている。すなわち、ステレオカメラ２０は、ヘッドライト装置１０の投光範囲を撮像可能となっている。ステレオカメラ２０の両眼で撮像された左右の画像（輝度画像）は、フレーム毎に処理装置３０に送られる。処理装置３０は、ステレオカメラ２０からの左右の画像を用いて視差計算を行う。

ヘッドライト装置１０が投光中には、投光範囲にある物体（例えば人、他車両、構造物、道路、樹木等）にパターン光が照射されるため、ステレオカメラ２０の両眼で撮像された左右の画像における物体上にパターン光のパターンが重畳される（テクスチャが付く）ことになる。

処理装置３０は、図５に示されるように、ＣＰＵ３１、メモリ２９、ステレオカメラ制御用ＣＰＵＩ／Ｆ３２、画像処理部３３、画像認識処理部３４、明るさ情報ＣＰＵＩ／Ｆ３５、画像認識結果ＣＰＵＩ／Ｆ３７、開始終了信号転送用Ｉ／Ｆ３８、画像認識結果転送用Ｉ／Ｆ４０を含む。

ステレオカメラ制御用ＣＰＵＩ／Ｆ３２は、ＣＰＵ３１とステレオカメラ２０との送受信用のインターフェースである。ＣＰＵ３１は、ステレオカメラ制御用ＣＰＵＩ／Ｆ３２を介してステレオカメラ２０の撮像制御を行う。

ＣＰＵ３１とＥＣＵ５０は、開始終了信号転送用Ｉ／Ｆ３８を介して送受信可能となっている。

画像処理部３３は、ステレオカメラ２０からの左右の画像（輝度画像）から、明るさ情報を算出し、明るさ情報ＣＰＵＩ／Ｆ３５を介してＣＰＵ３１に送信する。ＣＰＵ３１は、受信した明るさ情報を明るさデータ転送用Ｉ／Ｆ３８を介してＥＣＵ５０に送信する。

また、画像処理部３３は、ステレオカメラ２０で撮像された左右の画像に対して、ガンマ補正や歪み補正などを実施した後、該左右の画像（輝度画像）を用いて視差計算を行い、視差画像と輝度画像を画像認識処理部３４に送る。

画像認識処理部３４は、画像処理部３３からの視差画像と輝度画像に基づいて、例えば物体の有無、該物体の種別（種類）、該物体までの距離等の物体情報を認識（検出）し、その認識結果である画像認識結果を画像認識結果ＣＰＵＩ／Ｆ３７を介してＣＰＵ３１に送信する。ＣＰＵ３１は、受信した画像認識結果を画像認識結果転送用Ｉ／Ｆ４０を介してＥＣＵ５０に送信する。

すなわち、画像処理部３３、画像認識処理部３４での処理結果は、処理装置３０のＣＰＵ３１に送られ、ＥＣＵ５０が受け取れるデータフォーマットに修正された後、ＥＣＵ５０に転送される。ＥＣＵ５０に転送するデータフォーマットとしては、主に、ＣＡＮＩ／Ｆ、ＬＩＮＩ／Ｆなどが挙げられる。

ＥＣＵ５０は、運転者等のヘッドライトスイッチの操作（ＯＮ／ＯＦＦ）に応じてヘッドライトを制御し、処理装置３０からの処理情報に基づいて、ヘッドライト装置１０に加えて、車両１の制動装置、操舵装置を制御する。

ＥＣＵ５０は、ＣＰＵ５１、メモリ５２、ＣＰＵＩ／Ｆ５３、ＣＰＵＩ／Ｆ５５、発光制御用Ｉ／Ｆ５６、制動制御用Ｉ／Ｆ５７、操舵制御用Ｉ／Ｆ５８を含む。

ＣＰＵ５１は、ヘッドライト装置１０を制御する投光制御部５１ａ、制動装置を制御する制動制御部５１ｂ、操舵装置を制御する操舵制御部５１ｃを含む。

ＣＰＵ５１は、ＣＰＵ３１からの明るさ情報を、開始終了信号転送用Ｉ／Ｆ３８、ＣＰＵＩ／Ｆ５３を介して取得する。

また、ＣＰＵ５１は、ＣＰＵ３１からの画像認識結果を、画像認識結果転送用Ｉ／Ｆ４０、ＣＰＵＩ／Ｆ５５を介して取得する。

制動制御部５１ｂ、操舵制御部５１ｃは、ＣＰＵ３１からの画像認識結果を、画像認識結果転送用Ｉ／Ｆ４０、ＣＰＵＩ／Ｆ５５を介して取得する。

制動制御部５１ｂは、取得した画像認識結果に基づいて、制動装置の制御（例えば危険回避のためのオートブレーキ）を行う。

操舵制御部５１ｃは、取得した画像認識結果に基づいて、操舵装置の制御（例えば危険回避のためのオートステアリング）を行う。

次に、ステレオカメラ２０により撮像された画像を用いる視差計算アルゴリズムについて図６〜図８を参照して説明する。

ステレオカメラ２０の左右の撮像部により撮像された画像データは、画像処理部３３の前処理部にて、それぞれガンマ補正や歪み補正などの処理が施される。前処理が施された左右の画像データは、画像処理部３３の後処理部である視差画像生成手段（図６参照）にて視差算出アルゴリズムが実行され、画素ごとに視差値が算出される。

ところで、視差画像を生成する演算手法は、ＥＢＭ（エッジベース）のようにテクスチャの強い部分（エッジの強い部分）についてのみ視差を演算する手法でも良い。または、ＳＧＭ（セミグローバルマッチング）のように各ピクセル周囲からマッチングの非類似度を漸化式により伝播させ、最小の非類似度を与える整数視差とそれに隣接する視差の非類似度とから小数視差を算出するサブピクセル推定手法（等角直線、パラボラ、高次多項式等によるフィッティング）を用いることで画像全体の各ピクセルの視差を演算することも可能である。

ＳＧＭの方が、ＥＢＭに比べると、視差データの画素抜けを抑えることができるため好ましい。

そこで、本実施形態の視差画像生成手段は、ＳＧＭ法を採用しており、一例として、図７に示されるように、基準画像に対する高域強調フィルタ部、比較画像に対する高域強調フィルタ部、一致度算出部、伝播類似度算出部、整数視差算出部、少数視差算出部を含む。なお、ＳＧＭ法に関しては、非特許文献(Accurate and Efficient Stereo Processing by Semi-Global Matching and Mutual Information)に開示されている。

以下に、本実施形態の視差画像生成手段について説明する。ＳＧＭ視差計算では、図７に示されるように、視差を算出させたい注目画素の各方向から非類似度を伝播させ（（１）式又は（２）式参照）、それらの和であるエネルギーＳ（（３）式参照）を算出し、エネルギーＳの最小値を与える整数視差Ｄ［ピクセル］を、注目画素の整数視差として導出する。ここで（１）式および（２）式で表現されているＣとは、基準画像の注目画素の比較画像の視差探索による一致度を表している。Ｃの例としては、ＳＡＤやＳＳＤやＮＣＣ等、他のステレオマッチング指標を用いても良い。Ｃの算出の後に、（１）式または（２）式からＬｒを算出し、最後に（３）式によりＳを算出する。伝播方向数を増やすと視差計算精度が向上するが、計算処理回路規模が大きくなる（視差計算精度と処理回路規模がトレードオフの関係）。

さらに視差精度を追求する場合には、図８に示されるようにサブピクセル推定手法を使って小数視差を算出する。例えば等角直線法では、視差Ｄ−１、Ｄ、Ｄ＋１に対応する３つのＳを使って小数視差Ｄ’を計算する。またはパラボラフィット手法では、視差Ｄ−２、Ｄ−１、Ｄ、Ｄ＋１、Ｄ＋２に対応する５つのＳを使って小数視差Ｄ’を計算する。

なお、算出された視差値は、信頼度判定によって信頼できるか否かの判断が行なわれる。信頼できない視差値であると判断された場合には、その画素の視差は無効視差とされる。

＜測距の原理＞
図９を用いて、ステレオ画像法により、ステレオカメラから物体に対する視差を導き出し、この視差を示す視差値によって、ステレオカメラから物体までの距離を測定する原理について説明する。なお、図９は、ステレオカメラ２０から物体までの距離を導き出す原理の説明図である。また、以下では、説明を簡略化するため、複数の画素からなる所定領域ではなく、一画素単位で説明する。
なお、一画素単位ではなく、複数の画素からなる所定領域単位で処理される場合、基準画素を含む所定領域は基準領域として示され、対応画素を含む所定領域は対応領域として示される。また、この基準領域には基準画素のみの場合も含まれ、対応領域には対応画素のみの場合も含まれる。

（視差値算出）
まず、図９に示される撮像部２０ａおよび撮像部２０ｂによって撮像された各画像を、それぞれ基準画像Ｉａおよび比較画像Ｉｂとする。なお、図９では、撮像部２０ａおよび撮像部２０ｂが平行等位に設置されているものとする。図９において、３次元空間内の物体Ｅ上のＳ点は、撮像部２０ａおよび撮像部２０ｂの同一水平線上の位置に写像される。すなわち、各画像中のＳ点は、基準画像Ｉａ中の点Ｓａ（ｘ，ｙ）および比較画像Ｉｂ中の点Ｓｂ（Ｘ，ｙ）において撮像される。このとき、視差値Δは、撮像部２０ａ上の座標におけるＳａ（ｘ，ｙ）と撮像部２０ｂ上の座標におけるＳｂ（Ｘ，ｙ）とを用いて、次の（４）式のように表される。
Δ＝Ｘ−ｘ …（４）

ここで、図９のような場合には、基準画像Ｉａ中の点Ｓａ（ｘ，ｙ）と撮像レンズ１１ａから撮像面上におろした垂線の交点との距離をΔａにし、比較画像Ｉｂ中の点Ｓｂ（Ｘ，ｙ）と撮像レンズ１１ｂから撮像面上におろした垂線の交点との距離をΔｂにすると、視差値Δ＝Δａ＋Δｂとなる。

（距離算出）
また、視差値Δを用いることで、撮像部２０ａ，２０ｂと物体Ｅとの間の距離Ｚを導き出すことができる。具体的には、距離Ｚは、撮像レンズ１１ａの焦点位置と撮像レンズ１１ｂの焦点位置とを含む面から物体Ｅ上の特定点Ｓまでの距離である。図９に示されるように、撮像レンズ１１ａ及び撮像レンズ１１ｂの焦点距離ｆ、撮像レンズ１１ａと撮像レンズ１１ｂとの間の長さである基線長Ｂ、及び視差値Δを用いて、次の（５）式により、距離Ｚを算出することができる。
Ｚ＝（Ｂ×ｆ）／Δ …（５）
この（５）式により、視差値Δが大きいほど距離Ｚは小さく、視差値Δが小さいほど距離Ｚは大きくなる。

＜ＳＧＭ法＞
続いて、図１０（Ａ）〜図１４を用いて、ＳＧＭ法を用いた測距方法について説明する。なお、図１０（Ａ）は基準画像、図１０（Ｂ）は図１０（Ａ）に対する高密度視差画像、図１０（Ｃ）は図１０（Ａ）に対するエッジ視差画像を示す概念図である。

ここで、基準画像は、物体が輝度によって示された画像である。高密度視差画像は、ＳＧＭ法によって、基準画像から導き出された画像であり、基準画像の各座標における視差値を示した画像である。エッジ視差画像は、従来から用いられているブロックマッチング法によって導き出された画像であり、基準画像のエッジ部のような比較的テクスチャの強い部分のみの視差値を示した画像である。

ＳＧＭ法は、テクスチャが弱い物体に対しても適切に上記視差値を導き出す方法であり、図１０（Ａ）に示されている基準画像に基づいて、図１０（Ｂ）に示されている高密度視差画像を導き出す方法である。なお、ブロックマッチング法を用いた場合には、図１０（Ａ）に示されている基準画像に基づいて、図１０（Ｃ）に示されているエッジ視差画像が導き出される。図１０（Ｂ）及び図１０（Ｃ）における破線の楕円内を比べると分かるように、高密度視差画像は、エッジ視差画像に比べてテクスチャが弱い道路等の詳細な情報を表すことができるため、より詳細な測距を行うことができる。

このＳＧＭ法は、非類似度であるコスト値を算出して直ちに視差値を導出せず、コスト値を算出後、更に、合成非類似度である合成コスト値 (Synthesis Cost)を算出することで視差値を導出し、最終的にほぼ全ての画素における視差値を示す視差画像（ここでは、高密度視差画像）を導き出す方法である。
なお、ブロックマッチング法の場合は、コスト値を算出する点はＳＧＭ法と同じであるが、ＳＧＭ法のように、合成コスト値を算出せずに、エッジ部のような比較的テクスチャの強い部分の視差値のみを導出する。

（コスト値の算出）
まず、図１１（Ａ）〜図１２を用いて、コスト値Ｃ（ｐ，ｄ）の算出方法について説明する。図１１（Ａ）は基準画像における基準画素を示す概念図、図１１（Ｂ）は図１１（Ａ）の基準画素に対して比較画像における対応画素の候補を順次シフトしながら（ずらしながら）シフト量（ずれ量）を算出する際の概念図である。図１２は、シフト量毎のコスト値を示すグラフである。ここで、対応画素は、基準画像内の基準画素に最も類似する比較画像内の画素である。なお、以降、Ｃ（ｐ，ｄ）は、Ｃ（ｘ，ｙ，ｄ）を表すものとして説明する。

図１１（Ａ）及び図１１（Ｂ）に示されているように、基準画像内の所定の基準画素ｐ（ｘ，ｙ）と、この基準画素ｐ（ｘ，ｙ）に対する比較画像内におけるエピポーラ線(Epipolar Line)上の複数の対応画素の候補ｑ（ｘ＋ｄ，ｙ）との各輝度値に基づいて、基準画素ｐ（ｘ，ｙ）に対する各対応画素の候補ｑ（ｘ＋ｄ，ｙ）のコスト値Ｃ（ｐ，ｄ）が算出される。ｄは、基準画素ｐと対応画素の候補ｑのシフト量（ずれ量）であり、本実施形態では、画素単位のシフト量が表されている。即ち、図１１（Ａ）及び図１１（Ｂ）では、対応画素の候補ｑ（ｘ＋ｄ，ｙ）を予め指定された範囲（例えば、０＜ｄ＜２５）において順次一画素分シフトしながら、対応画素の候補ｑ（ｘ＋ｄ，ｙ）と基準画素ｐ（ｘ，ｙ）との輝度値の非類似度であるコスト値Ｃ（ｐ，ｄ）が算出される。コスト値Ｃの算出方法としては、コスト値Ｃが非類似度を示す場合、ＳＡＤ(Sum of Absolute Difference)等の公知の方法が適用される。

このようにして算出されたコスト値Ｃ（ｐ，ｄ）は、図１２に示されているように、シフト量ｄ毎のコスト値Ｃの集まりであるコスト曲線のグラフによって表すことができる。図１２では、コスト値Ｃは、シフト量ｄ＝５，１２，１９の場合が０（ゼロ）となるため、最小値を求めることができない。このように、テクスチャが弱い物体の場合には、コスト値Ｃの最小値を求めることは困難になる。
（合成コスト値の算出）
次に、図１３及び図１４を用いて、合成コスト値Ｌｓ（ｐ，ｄ）の算出方法について説明する。図１３は、合成コスト値を導き出すための概念図である。図１４は、視差値毎の合成コスト値を示す合成コスト曲線のグラフである。本実施形態における合成コスト値の算出方法は、コスト値Ｃ（ｐ，ｄ）の算出だけでなく、所定の基準画素ｐ（ｘ，ｙ）の周辺の画素を基準画素とした場合のコスト値を、基準画素ｐ（ｘ，ｙ）におけるコスト値Ｃ（ｐ，ｄ）に集約させて、合成コスト値Ｌｓ（ｐ，ｄ）を算出する。

次に、合成コスト値の算出方法について、より詳細に説明する。合成コスト値Ｌｓ（ｐ，ｄ）を算出するためには、まず、経路コスト値Ｌｒ（ｐ，ｄ）を算出する必要がある。次の（６）式は、経路コスト値Ｌｒ（ｐ，ｄ）を算出するための式であって上記（１）式と実質的に同じ式であり、（７）式は、合成コスト値Ｌｓを算出するための式であって上記（３）式と実質的に同じ式である。
Ｌｒ（ｐ，ｄ）＝Ｃ（ｐ，ｄ）＋ｍｉｎ｛（Ｌｒ（ｐ−ｒ，ｄ），Ｌｒ（ｐ−ｒ，ｄ−１）＋Ｐ１，Ｌｒ（ｐ−ｒ，ｄ＋１）＋Ｐ１，Ｌｒｍｉｎ（ｐ−ｒ）＋ｐ２｝…（６）

ここで、（６）式において、ｒは、集約方向の方向ベクトルを示し、ｘ方向およびｙ方向の２成分を有する。ｍｉｎ｛｝は、最小値を求める関数である。Ｌｒｍｉｎ（ｐ−ｒ）は、ｐをｒ方向に１画素シフトした座標において、シフト量ｄを変化させた際のＬｒ（ｐ−ｒ，ｄ）の最小値を示す。なお、Ｌｒは、（６）式に示されているように再帰的に適用される。また、Ｐ１及びＰ２は、予め実験により定められた固定パラメータであり、経路上で隣接する基準画素の視差値Δが連続になりやすいようなパラメータになっている。例えば、Ｐ１＝４８、Ｐ２＝９６である。

また、（６）式に示されているように、Ｌｒ（ｐ，ｄ）は、基準画素ｐ（ｘ，ｙ）におけるコスト値Ｃに、図１３に示されているｒ方向の各画素における各画素の経路コスト値Ｌｒの最小値を加算することで求められる。このように、ｒ方向の各画素におけるＬｒを求めるため、最初は、基準画像ｐ（ｘ，ｙ）のｒ方向の一番端の画素からＬｒが求められ、ｒ方向に沿ってＬｒが求められる。
そして、図１３に示されているように、８方向のＬｒ_０，Ｌｒ_４５，Ｌｒ_９０，Ｌｒ_１３５，Ｌｒ_１８０，Ｌｒ_２２５，Ｌｒ_２７０，Ｌｒ_３１５求められ、最終的に（７）式に基づいて、合成コスト値Ｌｓが求められる。

このようにして算出された合成コスト値Ｌｓ（ｐ，ｄ）は、図１４に示されているように、シフト量ｄ毎に合成コスト値Ｌｓ（ｐ，ｄ）が示される合成コスト曲線のグラフによって表すことができる。図１４では、合成コスト値Ｌｓは、シフト量ｄ＝３の場合が最小値となるため、視差値Δ＝３として算出される。
なお、上記説明ではｒの数を８として説明しているが、これに限られることはない。例えば、８方向を更に２つに分割して１６方向、３つに分割して２４方向等にしてもよい。
また、コスト値Ｃは「非類似度」として示されているが、非類似度の逆数としての「類似度」として表されてもよい。この場合、コスト値Ｃの算出方法としては、ＮＣＣ(Normalized Cross Correlation)等の公知の方法が適用される。また、この場合、合成コスト値Ｌｓが最小ではなく「最大」となる視差値Δが導出される。なお、非類似度と類似度の両者を含めて、「一致度」として表してもよい。

なお、処理装置の処理の一部をＥＣＵが実行しても良いし、ＥＣＵの処理の一部を処理装置が実行しても良い。また、処理装置及びＥＣＵ双方の機能を併有する１つの制御系を構成しても良い。この場合、物体検出プログラム、移動体制御プログラムを１つのメモリに格納しても良い。

また、メモリに代えて、例えばハードディスク等の他の記憶媒体を用いても良い。

また、移動体制御システムの制御対象が車両の制動装置、操舵装置であるが、これに限られない。例えば、制動装置及び操舵装置の一方のみを制御対象としても良いし、車両の駆動源（例えばエンジンやモータ）を制御対象の少なくとも１つとしても良い。

また、移動体制御システムは、車両本体を制御する制動制御部、操舵制御部を有しているが、これに代えて又は加えて、後述する物体検出装置の検出情報に基づいて、運転者等に注意を促すための警報音や警報表示を出力する警報装置を有していても良い。

また、光量分布が不規則な発光パターンによってＬＥＤアレイを点灯させてランダムパターン光を投光しているが、これに代えて、例えば、プロジェクションマッピング映像で代表される「模様」を自車両前方に投影させても良い。すなわち、投光装置は、光により画像を形成し、該画像を形成した光をランダムパターン光として射出する画像形成部を有していても良い。また、不規則なパターン分布を持つマスクパターンに光を照射することにより、ランダムパターン光を生成し、投光しても良い。

また、投光装置の光源部としてヘッドライト装置が用いられているが、ヘッドライト装置とは、別の専用の光源部を別途設けても良い。また、ヘッドライト装置は、車両本体に標準装備されるものに限らず、特注品やオプション品であっても良い。

また、撮像装置として、２つの撮像部（２眼）を有するステレオカメラ２０が採用されているが、３つ以上の撮像部を有する撮像装置を採用しても良い。

［詳細］
上記投光制御部５１ａは、ヘッドライトスイッチがＯＦＦからＯＮになったときに、メモリ５２に格納された均一発光パターンとランダム発光パターンをヘッドライトに交互に送信し、ヘッドライトから均一パターン光及びランダムパターン光を交互に投光させる。

一方、投光制御部５１ａは、ヘッドライトスイッチがＯＮからＯＦＦになったときに、消灯トリガ信号をヘッドライトに送信し、ヘッドライトからの投光を終了させる。

また、投光制御部５１ａは、ランダム発光パターンをヘッドライトに送信するとき、ランダム発光開始信号を、ＣＰＵＩ／Ｆ５３、開始終了信号転送用Ｉ／Ｆ３８を介してＣＰＵ３１に送信する。

ＣＰＵ３１は、ランダム発光開始信号を受信すると、該ランダム発光開始信号をステレオカメラ制御用Ｉ／Ｆ３２を介してステレオカメラ２０に転送する。

ステレオカメラ２０は、ランダム発光開始信号を受信すると、両眼で所定フレーム数の撮像を行い、撮像された左右の画像をフレーム毎に画像処理部３３に出力する。そして、ステレオカメラ２０は、所定フレーム数を撮像したとき、撮像終了信号をステレオカメラ制御用ＣＰＵＩ／Ｆ３２を介してＣＰＵ３１に送信する。

ＣＰＵ３１は、撮像終了信号を受信すると、開始終了信号転送用Ｉ／Ｆ３８、ＣＰＵＩ／Ｆ５３を介して投光制御部５１ａに転送する。

投光制御部５１ａは、撮像終了信号を受信すると、点灯トリガ信号と均一発光パターンをヘッドライトに送信する。

また、投光制御部５１ａは、均一発光パターンをヘッドライトに送信するとき、均一発光開始信号を、ＣＰＵＩ／Ｆ５３、開始終了信号転送用Ｉ／Ｆ３８を介してＣＰＵ３１に送信する。

そこで、ヘッドライト装置１０及び投光制御部５１ａを含んで、均一パターン光とランダムパターン光を交互に投光する「投光装置」が構成される。さらに、投光装置及びステレオカメラ２０を含んで、投光装置の投光範囲の画像を得る「撮像システム」が構成される。また、撮像システム及び画像処理部３３を備える画像処理システムを含んで、撮像システムで得られた画像から物体情報を検出する物体検出装置が構成される。

ところで、一般に、車両の運転の際には、昼間のトンネル内、夜間などの暗部においては、ヘッドライトから前方に光を投光することにより暗部を明るくするが、もともと暗部にある物体のコントラストは低いため、単にヘッドライトを点灯して均一な光を照射しても、画像コントラストが得られにくい。このため、暗部では、ステレオカメラで車両前方の視差画像を取得する際に、視差計算時に左右画像のマッチング（相関）が取りづらくなる。この結果、車両前方の被写体（人、他車両、障害物、路面、背景など）の無効視差画素数が多くなり、出力視差の精度が低下してしまう。

そこで、本実施形態では、以下に詳細に説明するように「ヘッドライトからの投光」に関して工夫を凝らしている。

ヘッドライトは、例えば、車両１のハンドル付近に設けられたヘッドライトスイッチを手動操作することで点灯／消灯するようにしても良いし（モード１）、ＥＣＵ５０によって点灯／消灯を制御、すなわち自動制御するようにしても良い（モード２）。なお、移動体制御システム１００は、一例として、モード１に対応している。

モード１の場合、車両の運転者や同乗者（以下では「運転者等」と呼ぶ）等は、ヘッドライト消灯中に、車両外部が「暗い」と感じたときにヘッドライトスイッチをＯＮ操作（ＯＦＦからＯＮへの切り換え）してヘッドライトを点灯させる。詳述すると、ＥＣＵ５０は、ヘッドライトスイッチのＯＮ操作による点灯要求信号をＵＳＥＲＩ／Ｆ８０（図５参照）を介して受信すると、メモリ５２（図５参照）に格納された光量分布（電流値分布）が互いに異なる第１及び第２の発光パターンデータをヘッドライトに交互に送信する。

モード２の場合、ＥＣＵ５０は、ヘッドライト消灯中に、車両外部が「暗い」と判断したときにヘッドライトを点灯させる。詳述すると、ＥＣＵ５０は、車両外部の明るさ情報を検出する明るさ情報検出手段からの検出結果に基づいて車両外部が「暗い」と判断したときに、上記第１及び第２の発光パターンデータをヘッドライトに交互に送信する。

なお、「明るさ情報検出手段」としては、ステレオカメラ２０と該ステレオカメラ２０で撮像された画像を処理する後述する画像処理部３３とを含んで構成することができるが、例えば単眼カメラと画像処理部の組み合わせや、照度センサなどを用いても良い。すなわち、明るさ情報検出手段がステレオカメラ２０と画像処理部３３で構成される場合には、画像処理部３３が画像中の全画素の輝度の合計値が閾値より小さいときに「暗い」と判断する。また、明るさ情報検出手段が照度センサである場合には、センサの取得値が閾値より小さいときに「暗い」と判断する。もちろん、明るさ情報検出手段による明るさの検出は、車両外部の明るさを取得できれば種々の態様をとり得る。明るさ情報検出手段での検出結果は、ＥＣＵ５０に送信される。

モード１、２のいずれの場合においても、第１の発光パターンデータがヘッドライトに送信されている間、第１の発光パターンデータに対応する第１のパターン光がヘッドライトから車両前方に投光され、第２の発光パターンデータがヘッドライトに送信されている間、第２の発光パターンデータに対応する第２のパターン光がヘッドライトから車両前方に投光される。すなわち、ヘッドライトが点灯されると、ヘッドライトから輝度分布が互いに異なる第１及び第２のパターン光が車両前方に交互に投光される。なお、ヘッドライトの駆動回路は、各発光パターンデータを受信すると、ＬＥＤアレイの各ＬＥＤを該発光パターンデータにおいて該ＬＥＤ毎に設定された電流値で駆動する。

また、第１及び第２のパターン光を交互に投光するとき、いずれを最初（先頭）に投光しても良いが、いずれが最初の場合であっても、最初となるパターン光に対応する発光パターンデータがヘッドライトに送信されるときには、点灯トリガ信号が併せて送信される。

また、モード１の場合、運転者等は、ヘッドライト点灯中に、車両外部が「明るい」と感じたときにヘッドライトスイッチをＯＦＦ操作（ＯＮからＯＦＦへの切り換え）してヘッドライトを消灯させる。詳述すると、ＥＣＵ５０は、ヘッドライトスイッチのＯＦＦ操作による消灯要求信号をＵＳＥＲＩ／Ｆ８０を介して受信すると、ヘッドライトに消灯トリガ信号を送信し、ヘッドライトを消灯させる。

モード２の場合、ＥＣＵ５０は、ヘッドライトを点灯中に、明るさ情報検出手段からの検出結果に基づいて車両外部が「明るい」と判断したときにヘッドライトに消灯トリガ信号を送信し、ヘッドライトを消灯させる。

ここで、「第１の発光パターンデータ」は均一な光量分布（電流値分布）を持つデータであり、対応する「第１のパターン光」は均一な輝度分布を持つ。そこで、以下では、「第１の発光パターンデータ」を「均一発光パターン」とも呼び、「第１のパターン光」を「均一パターン光」とも呼ぶ。ここで、「均一な輝度分布」は「コントラストがない」と言い換えることもできる。

また、「第２の発光パターンデータ」は不規則な光量分布（電流値分布）を持つデータであり、対応する「第２のパターン光」は不規則な輝度分布（不均一な輝度分布）を持つ。そこで、以下では、「第２の発光パターンデータ」を「ランダム発光パターン」とも呼び、「第２のパターン光」を「ランダムパターン光」とも呼ぶ。

ランダムパターン光では、２値又は多値（３値以上）の輝度部が不規則に分布している（図４参照）。

例えば、ランダム発光パターンの光量分布が２値の光量部が不規則に分布したものである場合には、これに対応して、ランダムパターン光も２値の輝度部が不規則に分布したものとなる。

例えば、ランダム発光パターンの光量分布が、多値の光量部が不規則に分布したものである場合には、これに対応して、ランダムパターン光も多値の輝度部が不規則に分布したものとなる。

ここで、ランダム発光パターンがヘッドライトに送信される時間帯、すなわちランダムパターン光の投光時間Ｔｒは、均一発光パターンがヘッドライトに送信される時間帯Ｔｃ、すなわち均一パターン光の投光時間Ｔｃよりも短く設定されている（図１８参照）。これは、運転者の視認性の観点から、ランダムパターン光の投光時間は均一パターン光の投光時間よりも短い方が好ましいと考えられるからである。また、Ｔｒ、Ｔｃは、それぞれ一定とされている。Ｔｒ：Ｔｃは、１：（２〜１０）程度が好適である。なお、Ｔｒ：Ｔｃは、整数比であっても良いし、整数比でなくても良い。なお、Ｔｃは、後述する画像処理部３３による視差画像の生成に要する時間に応じて設定されることが好ましい。

そこで、ヘッドライトが点灯されると、投光時間Ｔｃの均一パターン光と投光時間Ｔｒのランダムパターン光が投光範囲に交互に（より詳細には、それぞれ周期的に、かつ互いに異なる時間帯に）投光される（図１８参照）。

なお、例えば車両外部の明るさに応じて、ランダムパターン光の輝度分布（例えばコントラストや模様）を、運転者等により手動で調整、もしくは自動制御（例えばＥＣＵ５０が明るさ情報検出手段からの検出結果に基づいて制御）するようにしても良い。具体的には、車両外部が暗いほど物体のコントラストが低くなるので、車両外部が暗いほどランダムパターン光のコントラストを高くするようにしても良い。例えば、メモリ５２に光量分布が異なる複数のランダム発光パターンを格納しておけば、必要に応じて、輝度分布が異なる複数のランダムパターン光のうち一のランダムパターン光を選択的に投光することができる。

例えば、輝度分布が異なる複数のランダムパターン光としては、コントラストと模様が異なる複数のランダムパターン光であっても良いし、模様が異なりコントラストが同一の複数のランダムパターン光であっても良いし、模様が同一でコントラストが異なる複数のランダムパターン光であっても良い。

均一パターン光及びランラムパターン光が投光範囲に交互に投光されているときに、該投光範囲にある物体（例えば人、他車両、構造物、道路、樹木等）をステレオカメラ２０で撮像することができる。この場合、均一パターン光の投光時間Ｔｃにステレオカメラ２０の両眼で撮像された左右の画像の物体上には均一パターン光のパターンが重畳し、ランダムパターン光の投光時間Ｔｒにステレオカメラ２０の両眼で撮像された左右の画像の物体上にはランダムパターン光のパターンが重畳する。

ここで、物体にランダムパターン光が照射されると、テクスチャ量が多くなり、コントラストが高くなる。一方、物体に均一パターン光が照射されても、テクスチャ量がほとんど変わらず、コントラストもほとんど変わらない。

そこで、ランダムパターン光の投光時間Ｔｒにステレオカメラ２０の両眼で撮像された左右の画像を用いて視差計算を行えば、左右の画像のマッチングが取り易くなり、視差計算精度を向上させることができる。

以下に、本実施形態の物体検出装置における投光制御処理１を、図１５のフローチャートを参照して説明する。物体検出装置の制御に用いられる物体検出プログラムのうちヘッドライト装置１０を含む投光装置を動作させるためのサブプログラムがＥＣＵ５０のメモリ５２に格納されている。投光制御処理１は、投光制御部５１ａによってこのサブプログラムに従って実行される。

ここでの制御は、運転者等により車両１の操作部においてセーフティモード（危険回避モード）が選択されている（ＯＮ）ときに行われる。

なお、セーフティモードがＯＦＦのときは、投光制御部５１ａは、運転者等によるヘッドライトスイッチのＯＮ操作に応じてヘッドライトを均一発光パターンで点灯し、ヘッドライトスイッチのＯＦＦ操作に応じてヘッドライトを消灯させる。

最初のステップＳ１では、ヘッドライトスイッチがＯＮか否かを判断する。ここでの判断は、投光制御部５１ａがヘッドライトスイッチのＯＮ操作による点灯要求信号を受信した場合に肯定され、該点灯要求信号を受信しない場合に否定される。ステップＳ１での判断が肯定されるとステップＳ２に移行し、ステップＳ１での判断が否定されるとステップＳ５に移行する。

ステップＳ２では、点灯トリガ信号と均一発光パターンをヘッドライト装置１０へ送信するとともに、均一発光開始信号を処理装置３０へ送信する。この結果、ヘッドライトから均一パターン光が車両前方に投光されるとともに、ＣＰＵ３１が均一発光開始信号を受信する。

次のステップＳ３では、ランダム発光パターンをヘッドライト装置１０へ送信するとともに、ランダム発光開始信号を処理装置３０へ送信する。この結果、ヘッドライトからランダムパターン光が車両前方に投光されるとともに、ＣＰＵ３１がランダム発光開始信号を受信する。

次のステップＳ４では、撮像終了信号を受信したか否かを判断する。すなわち、ステレオカメラ２０からの撮像終了信号を、処理装置３０を介して受信したか否かを判断する。ステップＳ４での判断が否定されると、同じ判断を再び行う。すなわち、「撮像終了待ち」の状態となる。一方、ここでの判断が肯定されると、ステップＳ５に移行する。

ステップＳ５では、セーフティモードがＯＮか否かを判断する。ステップＳ５での判断が肯定されると、ステップＳ１に戻る。一方、ステップＳ５での判断が否定されると、フローは、終了する。

以下に、本実施形態の物体検出装置における視差画像生成処理を、図１６のフローチャートを参照して説明する。物体検出装置の制御に用いられる物体検出プログラムのうちステレオカメラ２０及び処理装置３０を動作させるためのサブプログラムが処理装置３０のメモリ２９に格納されている。視差画像生成処理は、処理装置３０によってこのサブプログラムに従って実行される。なお、図１６における各判断は、ＣＰＵ３１が行う。

ここでの制御は、運転者等により車両１の操作部においてセーフティモード（危険回避モード）が選択されている（ＯＮ）のときに行われる。

最初のステップＳ１１では、均一発光開始信号を受信したか否かを判断する。ステップＳ１１での判断が否定されると、ステップＳ１２に移行する。一方、ステップＳ１１での判断が肯定されると、ステップＳ１４に移行する。

ステップＳ１２では、ステレオカメラ２０で所定フレーム数撮像し、撮像された左右の画像をフレーム毎に取得する。すなわち、ここでは、ヘッドライト消灯時にステレオカメラ２０で撮像された左右の画像をフレーム毎に取得する。

次のステップＳ１３では、取得した左右のフレーム毎の画像から視差画像を生成する。具体的には、画像処理部３３がガンマ補正や歪み補正などの前処理を実施した後、視差計算を行い、前処理された輝度画像、視差計算によって得られた視差画像を画像認識処理部３４に送る。ステップＳ１３が実行されると、ステップＳ１５に移行する。

ステップＳ１４では、後述する「点灯時視差画像生成処理１」が行われる。ステップＳ１４が実行されると、ステップＳ１５に移行する。

次のステップＳ１５では、セーフティモードがＯＮか否かを判断する。ステップＳ１５での判断が否定されるとフローは終了し、ステップＳ１５での判断が肯定されるとステップＳ１１に戻る。

画像認識処理部３４は、視差画像生成処理で生成された視差画像を用いて画像認識を実施する。具体的には、均一発光開始信号を受信しなかった場合には通常の視差画像生成処理の視差計算結果に基づいた物体検出を行い、均一発光開始信号を受信した場合には後述のランダムパターン光が投光された時間帯での視差計算の結果を用いて物体検出を行う。そして、画像認識処理部３４が投光範囲の物体に関する情報を認識（検出）し、その結果（画像認識結果）をＥＣＵ５０に送信する。なお、「物体に関する情報」は、例えば物体の有無、物体までの距離、物体の種類（例えば人、構造物、道路等）などである。なお、物体の種類の検出は、複数種類の物体の大きさ、形状等のパラメータを予めメモリ２９に格納し、該パラメータに基づいて検出することが可能である。

続いて、ＥＣＵ５０が、受信した画像認識結果に基づいて、各種制御（危険回避のための制御）を実行する。具体的には、画像認識結果に基づいて、制動制御部５１ｂが制動装置を制御し、操舵制御部５１ｃが操舵装置を制御する。

以下に、「視差画像生成処理」におけるステップＳ１４の「点灯時視差画像生成処理１」について、図１７のフローチャート、図１８のタイミングチャートを参照して説明する。

最初のステップＳ２１では、ランダム発光開始信号を受信したか否かを判断する。ここでの判断が肯定されると、ステップＳ２２に移行する。一方、ここでの判断が否定されると、同じ判断を再び行う。すなわち、「受信待ち」の状態となる。

ステップＳ２２では、ステレオカメラ２０で所定フレーム数撮像し、撮像された左右の画像をフレーム毎に取得する。すなわち、ここでは、ヘッドライトからランダムパターン光が投光されているときにステレオカメラ２０で所定フレーム数撮像し、撮像された左右の画像をフレーム毎に取得する（図１８参照）。

次のステップＳ２３では、取得した左右のフレーム毎の画像から視差画像を生成する。具体的には、画像処理部３３がガンマ補正や歪み補正などの前処理を実施した後、視差計算を行い、前処理された輝度画像、視差計算によって得られた視差画像を画像認識処理部３４に出力する（図１８参照）。ステップＳ２３が実行されると、ステップＳ２４に移行する。

ステップＳ２４では、撮像終了信号をＥＣＵ５０に転送する。具体的には、ステレオカメラ２０からの撮像終了信号を投光制御部５１ａに転送する（図１８参照）。ステップＳ２４が実行されると、フローは、終了する。

ところで、暗部に対してランダムパターン光を車両前方に投光し、投光された範囲をステレオカメラで撮像することで視差計算に有利なコントラストが付与された画像が得られる。しかしながら、ランダムパターン光のみを投光し続けると、ランダムパターン光における明るい部分と暗い部分が常に混在するため、視認性が低下し、運転者等のストレスや事故を誘発することが懸念される。

以上説明した本実施形態の撮像システムは、車両本体に搭載される撮像システムであって、輝度分布が異なる第１及び第２のパターン光を異なる時間帯に投光する、ヘッドライト装置１０及び投光制御部５１ａを含む投光装置と、該投光装置の投光範囲を撮像する、２つの撮像部を含むステレオカメラ２０と、を備えている。

この場合、投光装置の全投光時間に占めるランダムパターン光の投光時間の割合を１００％未満にしつつ、左右の画像のマッチング精度を向上可能な視差計算に有利な画像を取得することができる。

結果として、本実施形態の撮像システムでは、視認性の低下を抑制しつつ物体情報の検出に有効な画像を得ることができる。

また、投光装置は、車両本体に搭載されるヘッドライトを光源部として含むため、均一パターン光とランダムパターン光が暗部を照らす照明光になるとともに、ランダムパターン光が視差計算に有効な光になる。すなわち、ヘッドライトに加えて専用の光源部を設ける必要がない。

また、ランダムパターン光の投光時間Ｔｒは、均一パターン光の投光時間Ｔｃよりも短いため、視認性の低下を更に抑制することができる。

また、投光装置は、均一パターン光及びランダムパターン光を交互に投光するため、均一パターン光の投光の合間に視差計算に有利な画像を得ることができる。

また、投光装置は、均一パターン光及びランダムパターン光それぞれを周期的に投光するため、視差計算に有利な画像を定期的に安定して得ることができる。

また、本実施形態の撮像システムは、投光装置による投光のＯＮ／ＯＦＦを切り替えるための操作部を更に含むため、運転者等が「暗い」と感じたときに、均一パターン光とランダムパターン光を交互に投光することができる。

また、本実施形態の物体検出装置は、車両本体に搭載される物体検出装置であって、撮像システムと、該撮像システムで撮像された画像を処理する処理装置３０と、を備えている。

この場合、視認性の低下を抑制しつつ、撮像システムで得られた物体情報の検出に有効な画像から該物体情報を高精度に検出することができる。

また、本実施形態の移動体制御システム１００は、物体検出装置と、車両本体（移動体）に搭載され、物体検出装置の処理装置３０の処理結果に基づいて車両本体を制御するＥＣＵ５０（制御装置）と、を備えるため、走行中の車両本体が物体に衝突するのを未然に防止することができる。

また、車両１（移動体装置）は、移動体制御システム１００と、該移動体制御システム１００が搭載される車両本体（移動体）とを備えるため、安全性に優れる。

また、本実施形態の投光装置は、車両本体に搭載される投光装置であって、車両本体に搭載される、２つの撮像部を含むステレオカメラ２０の撮像範囲（左眼撮像範囲と右眼撮像範囲を併せた範囲、図１参照）に均一パターン光とランダムパターン光を異なる時間帯に投光する。

この場合、全投光時間に占めるランダムパターン光の投光時間の割合を１００％未満にしつつ、左右の画像のマッチング精度を向上可能な視差計算に有利な画像を取得可能とすることができる。

結果として、本実施形態の投光装置では、視認性の低下を抑制しつつ物体情報の検出精度を向上させることができる。

なお、以上の説明からも分かるように、本発明の投光装置、撮像システム、物体検出装置は、暗い環境において使用される場合に特に効果的であり、必ずしも車両本体等の移動体に搭載されなくても良く、様々な分野で使用されることが期待される。この場合には、ヘッドライト装置１０の代わりの光源部を用いることになる。

また、本実施形態の物体検出装置を用いる物体検出方法は、車両本体の前方に均一パターン光を投光する工程と、車両本体の前方にランダムパターン光を投光する工程と、車両本体上の複数位置からランダムパターン光が投光された範囲を撮像する工程と、該撮像する工程で複数位置から個別に撮像された複数の画像を用いて視差計算を行う工程と、を含む。

この場合、全投光時間に占めるランダムパターン光の投光時間の割合を１００％未満にしつつ、左右の画像のマッチング精度を向上できる視差計算に有利な画像を用いて視差画像を生成することができる。

結果として、視認性の低下を抑制しつつ物体情報の検出精度を向上させることができる。

また、本実施形態の物体検出装置の制御に用いられる物体制御プログラムは、上記物体検出方法をコンピュータに実行させる物体検出プログラムであって、車両本体の前方に均一パターン光を投光する手順と、車両本体の前方にランダムパターン光を投光する手順と、車両本体上の複数位置からランダムパターン光が投光された範囲を撮像する手順と、を含む。

また、本実施形態の物体検出プログラムが２つのメモリ２９、３１に分割して格納されているため、物体検出装置を、適宜、物体検出プログラムに従って動作させることができる。

以下に、上記実施形態の変形例について説明する。

図１９に示される変形例の移動体制御システム２００は、処理装置、ＥＣＵの構成が上記実施形態の移動体制御システム２００と若干異なる。移動体制御システム２００は、モード２に対応している。

具体的には、移動体制御システム２００の処理装置６０では、上記実施形態の処理装置３０に対して、明るさ情報ＣＰＵＩ／Ｆ３５、明るさ情報転送用Ｉ／Ｆ３８が追加されている。また、移動体制御システム２００のＥＣＵ７０では、上記実施形態のＥＣＵ５０に対して、ＣＰＵＩ／Ｆ５３が追加されている。

処理装置６０の画像処理部３３は、ステレオカメラ２０で撮像された画像（輝度画像）から、明るさ情報を算出し、明るさ情報ＣＰＵＩ／Ｆ３５を介してＣＰＵ３１に送信する。ＣＰＵ３１は、受信した明るさ情報を、明るさ情報転送用Ｉ／Ｆ３８を介してＥＣＵ７０に送信する。

ＥＣＵ７０のＣＰＵ５１は、ＣＰＵ３１からの明るさ情報を、明るさ情報転送用Ｉ／Ｆ３８、ＣＰＵＩ／Ｆ５３を介して取得する。

変形例の移動体制御システム２００では、「投光制御処理」、「視差画像生成処理」における「点灯時視差画像生成処理」が上記実施形態と異なり、その他の処理、制御は、上記実施形態と同様に行われる。

以下に、変形例の物体検出装置における投光制御処理２を、図２０のフローチャートを参照して説明する。物体検出装置の制御に用いられる物体検出プログラムのうちヘッドライト装置１０を含む投光装置を動作させるためのサブプログラムがＥＣＵ７０のメモリ５２に格納されている。投光制御処理２は、投光制御部５１ａによってこのサブプログラムに従って実行される。

ここでの制御は、運転者等により車両１の操作部においてセーフティモード（危険回避モード）が選択されている（ＯＮ）のときに行われる。セーフティモードがＯＮのときには、ＣＰＵ３１がステレオカメラ２０でリアルタイムに撮像を行う（図２２参照）。そして、ステレオカメラ２０で撮像された車両前方の画像（輝度画像）から画像処理部３３で明るさ情報が算出され、該明るさ情報がＣＰＵ３１を介して投光制御部５１ａにリアルタイムで送られる。

最初のステップＳ３１では、明るさ情報が、予め設定された基準値未満か否かが判断される。ここでは、基準値は、明るさ情報が基準値未満であれば、一般に「薄暗い」もしくは「暗い」と感じるレベルであり、明るさ情報が基準値以上であれば、一般に「明るい」と感じるレベルである。ステップＳ３１での判断が否定されると、ステップＳ３５に移行する。一方、ステップＳ３１での判断が肯定されると、ステップＳ３２に移行する。

ステップＳ３２では、点灯トリガ信号と均一発光パターンをヘッドライト装置１０へ送信するとともに、均一発光開始信号を処理装置６０へ送信する。この結果、ヘッドライトから均一パターン光が車両前方に投光されるとともに、ＣＰＵ３１が均一発光開始信号を受信する。

次のステップＳ３３では、ランダム発光パターンをヘッドライト装置１０へ送信するとともに、ランダム発光開始信号を処理装置６０へ送信する。この結果、ヘッドライトからランダムパターン光が車両前方に投光されるとともに、ＣＰＵ３１がランダム発光開始信号を受信する。

次のステップＳ３４では、画像出力終了信号を受信したか否かを判断する。すなわち、ステレオカメラ２０からの画像出力終了信号を、処理装置６０を介して受信したか否かを判断する。ステップＳ３４での判断が否定されると、同じ判断を再び行う。すなわち、「画像出力終了待ち」の状態となる。一方、ここでの判断が肯定されると、ステップＳ３５に移行する。

ステップＳ３５では、セーフティモードがＯＮか否かを判断する。ステップＳ３５での判断が肯定されると、ステップＳ３１に戻る。一方、ステップＳ３５での判断が否定されると、フローは、終了する。

以下に、変形例１の「点灯時視差画像生成処理２」について、図２１のフローチャート、図２２のタイミングチャートを参照して説明する。点灯時視差画像生成処理２も、処理装置６０によりメモリ２９に格納されたサブプログラムの手順に従って実行される。なお、図２１における各判断は、ＣＰＵ３１が行う。

最初のステップＳ４１では、ランダム発光開始信号を受信したか否かを判断する。ここでの判断が肯定されると、ステップＳ４２に移行する。一方、ここでの判断が否定されると、同じ判断を再び行う。すなわち、「受信待ち」の状態となる。

ステップＳ４２では、ステレオカメラ２０で撮像された左右の画像をフレーム毎に取得する。すなわち、ここでは、ヘッドライトからランダムパターン光が投光されているときにステレオカメラ２０で撮像された所定フレーム数の左右の画像をフレーム毎に取得する（図２２参照）。

次のステップＳ４３では、取得した左右のフレーム毎の画像から視差画像を生成する。具体的には、画像処理部３３がガンマ補正や歪み補正などの前処理を実施した後、視差計算を行い、前処理された輝度画像、視差計算によって得られた視差画像を画像認識処理部３４に出力する（図２２参照）。ステップＳ４３が実行されると、ステップＳ４４に移行する。

ステップＳ４４では、画像出力終了信号をＥＣＵ５０に転送する。具体的には、ステレオカメラ２０からの画像出力終了信号を投光制御部５１ａに転送する。ステップＳ４４が実行されると、フローは、終了する。なお、ステレオカメラ２０は、ランダム発光開始信号を受信すると、両眼で撮像した左右の画像をフレーム毎に画像処理部３３に出力する。ステレオカメラ２０は、所定フレーム数の左右の画像を画像処理部３３に出力したとき、画像出力終了信号をステレオカメラ制御用ＣＰＵＩ／Ｆ３２を介してＣＰＵ３１に送信する。

以上説明した変形例の物体検出装置は、車両本体の外部の明るさ情報が予め設定された基準値（所定値）未満のときに均一パターン光とランダムパターン光を交互に投光し、ランダムパターン光が投光されたときに撮像した画像を用いて視差計算を行うため、視認性の低下を抑制しつつ視差画像を安定して精度よく生成することができる。なお、元々明部にある物体のコントラストはすでに高いため、車両外部が基準値以上の場合（明るい場合）には、ランダムパターン光を投光する必要性は低い。

また、投光装置は、ステレオカメラ２０で撮像された画像の輝度情報から明るさ情報を取得するため、明るさ情報を検出するための専用の検出手段を別途設ける場合に比べて、部品点数の増加及びコストアップを抑制できる。

以下に、本発明の実施例１、２（用いた視差計算方法：ＳＧＭアルゴリズム）を示す（表１参照）。

〈実施例１〉（上記実施形態に対応）
走行中、運転者等が暗いことを判断して手動でヘッドライトを点灯させ、ヘッドライトから均一なパターン光と不均一なコントラストを付けたパターン光を車両前方に時分割照射（交互に照射）した。運転手は煩わしさやストレスを感じずにいた。また、車両前方の無効視差画素数が減少した。

〈実施例２〉（上記変形例に対応）
明るさ情報検出手段を用いた。自動的に暗いことを判断して自動でヘッドライトを点灯させ、ヘッドライトから均一なパターン光と不均一なコントラストを付けたパターンを車両前方に時分割照射した。運転手は煩わしさやストレスを感じずにいた。また、車両前方の無効視差画素数が減少した。

なお、実施例２ではステレオカメラを明るさ情報検出手段として使用したが、これに限定されない。例えば、単眼カメラや偏光カメラやレーザレーダ等を使用することもできる。

本発明は、上記実施形態、変形例に限定されず、適宜変更可能である。例えば、上記実施形態及び変形例では、ＥＣＵから処理装置にランダム発光開始信号を送信しているが、これに代えて、図２３（Ａ）及び図２３（Ｂ）に示されるように、ＥＣＵから処理装置にランダムパターン光の投光時間Ｔｒをパルス幅とするランダム発光信号を送信し、このランダム発光信号がハイレベルの間だけ、ステレオカメラ２０が撮像もしくは画像出力するようにしても良い。そして、ランダム発光信号の立下りに同期して、ＥＣＵから均一発光開始信号を処理装置に送信するとともに点灯トリガ信号と均一発光パターンをヘッドライト装置に送信するようにしても良い。この場合、ステレオカメラ２０から撮像終了信号もしくは画像出力終了信号を出力する必要がない。

また、上記変形例では、ランダムパターン光が投光されているときにステレオカメラ２０で撮像された画像（以下、前者の画像と呼ぶ）から視差画像を生成しているが、これに加えて、図２４（Ａ）及び図２４（Ｂ）に示されるように、均一パターン光が投光されているときにステレオカメラで撮像された画像（以下、後者の画像と呼ぶ）からも視差画像を生成しても良い。この場合、前者の画像から生成した視差画像を用いて画像認識処理部３４で画像認識を行えば良い。この場合、ステレオカメラ２０から撮像終了信号もしくは画像出力終了信号を出力する必要がない。なお、前者の画像から生成した視差画像は、ランダム発光開始信号もしくはランダム発光信号の立ち上がりと、次の均一発光開始信号との間に時間帯に生成された視差画像である。

また、上記実施形態、変形例では、第１のパターン光が均一パターン光とされ、第２のパターン光がランダムパターン光とされているが、これに限られず、要は、第１及び第２のパターン光の輝度分布が異なれば良い。

また、上記実施形態、変形例では、第２のパターン光として、輝度分布が不規則なランダムパターン光を用いているが、これに限らず、要は、輝度分布が不均一なパターン光であることが好ましい。

また、上記実施形態、変形例では、第１のパターン光として、輝度分布が均一な均一パターン光を用いているが、多少不均一なパターン光を用いても良い。この場合であっても、第１のパターン光の輝度分布は、第２のパターン光よりも均一性が高いことが好ましい。

また、上記実施形態、変形例では、Ｔｒ＜Ｔｃとされているが、Ｔｒ≧Ｔｃであっても良い。また、Ｔｒ、Ｔｃそれぞれは、可変であっても良い。

１０…ヘッドライト装置（投光装置の一部）、２０…ステレオカメラ（撮像装置）、３０…処理装置、５０…ＥＣＵ（制御装置）、５１ａ…投光制御部（投光装置の一部）、８０…ＵＳＥＲＩ／Ｆ８０（操作部の一部）、１００、２００…移動体制御システム。

特開２０１３‐１９０３９４号公報

Claims

移動体に搭載される画像処理システムであって、
均一な輝度分布を持つ第１のパターン光及び不均一な輝度分布を持つ第２のパターン光を交互に投光する投光装置と、
前記投光装置の投光範囲を撮像する、複数の撮像部を含む撮像装置と、
前記撮像装置で撮像された画像を処理する処理装置と、を備え、
前記処理装置は、前記第２のパターン光が投光された時間帯において前記複数の撮像部それぞれで撮像された複数の画像に基づいて視差計算を行い、その結果を用いて物体検出を行う画像処理システム。
前記投光装置は、前記移動体に搭載されるヘッドライトを光源部として含むことを特徴とする請求項１に記載の画像処理システム。
前記第２のパターン光は、不規則な輝度分布を持つことを特徴とする請求項１又は２に記載の画像処理システム。
前記第２のパターン光の投光時間は、前記第１のパターン光の投光時間よりも短いことを特徴とする請求項１〜３のいずれか一項に記載の画像処理システム。
前記投光装置は、前記第１及び第２のパターン光それぞれを周期的に投光することを特徴とする請求項１〜４のいずれか一項に記載の画像処理システム。
前記投光装置による投光のＯＮ／ＯＦＦを切り替えるための操作部を更に含むことを特徴とする請求項１〜５のいずれか一項に記載の画像処理システム。
前記投光装置は、前記移動体の外部の明るさが所定値未満のときに投光することを特徴とする請求項１〜６のいずれか一項に記載の画像処理システム。
請求項１〜７のいずれか一項に記載の画像処理システムと、
前記移動体に搭載され、前記処理装置の処理結果に基づいて前記移動体を制御する制御装置と、を備える移動体制御システム。
請求項８に記載の移動体制御システムと、
前記移動体制御システムが搭載される前記移動体と、を備える移動体装置。
移動体の前方に輝度分布が均一な第１のパターン光と輝度分布が不均一な第２のパターン光を交互に投光する工程と、
前記移動体上の複数位置から前記第２のパターン光が投光された範囲を撮像する工程と、
前記第２のパターン光が投光された時間帯において前記撮像する工程で前記複数位置から個別に撮像された複数の画像を用いて視差計算を行う工程と、
前記視差計算の結果を用いて物体検出を行う工程と、を含む物体検出方法。
物体検出方法をコンピュータに実行させる物体検出プログラムであって、
移動体の前方に輝度分布が均一な第１のパターン光と輝度分布が不均一な第２のパターン光を交互に投光する手順と、
前記移動体上の複数位置から前記第２のパターン光が投光された範囲を撮像する手順と、
前記第２のパターン光が投光された時間帯において前記撮像する手順で前記複数位置から個別に撮像された複数の画像を用いて視差計算を行う手順と、
前記視差計算の結果を用いて物体検出を行う手順と、を前記コンピュータに実行させる物体検出プログラム。