WO2018235304A1

WO2018235304A1 - 障害物検知装置、車両、および、障害物検知システム

Info

Publication number: WO2018235304A1
Application number: PCT/JP2017/024524
Authority: WO
Inventors: 寛和藤本
Original assignee: 株式会社ショーワ
Priority date: 2017-06-22
Filing date: 2017-07-04
Publication date: 2018-12-27
Also published as: JP2019008485A; JP6271068B1; DE112017007672T5; CN110622229A; US20200079367A1

Abstract

ＥＣＵ（６００）は、カーブミラーに映ったミラー内画像を取得するミラー内画像取得部（６１２）と、前記ミラー内画像を参照して、障害物の位置を推定する障害物推定部（６１３）とを備えている。

Description

障害物検知装置、車両、および、障害物検知システム

　本発明は、障害物検知装置、車両、および、障害物検知システムに関する。

　車両の周囲に存在する障害物を検知する技術が知られている。このような技術は、例えば、自走運転技術に適用される。また、特許文献１には、カーブミラーに映った近接物体を自動的に認識する技術が開示されている。

日本国公開特許公報「特開２０１０－１２２８２１号公報（２０１０年６月３日公開）」

　ところで、障害物を検知する技術において、カーブミラーに映った障害物であっても精度よく推定できることが好ましい。

　かかる目的のもと、本発明に係る障害物検知装置は、カーブミラーに映ったミラー内画像を取得する取得部と、前記ミラー内画像を参照して、障害物の位置を推定する推定部とを備えている。

　本発明によれば、カーブミラーに映った障害物を精度よく推定することができる。

本発明の実施形態１に係る車両の概略構成を示す図である。本発明の実施形態１に係るＥＣＵの概略構成を示すブロック図である。本発明の実施形態１に係る障害物検知部の概略構成を示すブロック図である。本発明の実施形態１に係るカーブミラーに映ったミラー内画像の一例を示す図である。本発明の実施形態１に係るマッチング処理を説明するための模式図である。本発明の実施形態１に係る障害物検知処理の流れを示すフローチャートである。本発明の実施形態２に係る車両システムの概略構成を示す図である。本発明の実施形態２に係る障害物検知処理の流れを示すシーケンス図である。本発明の実施形態３に係る車両システムの概略構成を示す図である。本発明の実施形態３に係る障害物検知処理の流れを示すシーケンス図である。

　〔実施形態１〕
　以下、本発明の実施形態１について、詳細に説明する。
　（車両９００の構成）
　図１は、本実施形態に係る車両９００の概略構成を示す図である。図１に示すように、車両９００は、懸架装置（サスペンション）１００、車体２００、車輪３００、タイヤ３１０、操舵部材４１０、ステアリングシャフト４２０、トルクセンサ４３０、舵角センサ４４０、トルク印加部４６０、ラックピニオン機構４７０、ラック軸４８０、エンジン５００、ＥＣＵ（Electronic Control Unit）（制御部）６００、発電装置７００およびバッテリ８００を備えている。

　タイヤ３１０が装着された車輪３００は、懸架装置１００によって車体２００に懸架されている。車両９００は、四輪車であるため、懸架装置１００、車輪３００およびタイヤ３１０については、それぞれ４つ設けられている。

　なお、左側の前輪、右側の前輪、左側の後輪および右側の後輪のタイヤ及び車輪をそれぞれ、タイヤ３１０Ａ及び車輪３００Ａ、タイヤ３１０Ｂ及び車輪３００Ｂ、タイヤ３１０Ｃ及び車輪３００Ｃ、並びに、タイヤ３１０Ｄ及び車輪３００Ｄとも称する。以下、同様に、左側の前輪、右側の前輪、左側の後輪および右側の後輪にそれぞれ付随した構成を、符号「Ａ」「Ｂ」「Ｃ」及び「Ｄ」を付して表現することがある。

　懸架装置１００は、油圧緩衝装置、アッパーアーム及びロアーアームを備えている。また、油圧緩衝装置は、当該油圧緩衝装置が発生させる減衰力を調整する電磁弁であるソレノイドバルブを備えている。ただし、これは本実施形態を限定するものではなく、油圧緩衝装置は、減衰力を調整する電磁弁として、ソレノイドバルブ以外の電磁弁を用いてもよい。例えば、上記電磁弁として、電磁流体（磁性流体）を利用した電磁弁を備える構成としてもよい。

　エンジン５００には、発電装置７００が付設されており、発電装置７００によって生成された電力がバッテリ８００に蓄積される。また、エンジン５００は、ＥＣＵ６００から供給される車速制御量に応じて回転数を制御可能に構成されている。

　運転者の操作する操舵部材４１０は、ステアリングシャフト４２０の一端に対してトルク伝達可能に接続されており、ステアリングシャフト４２０の他端は、ラックピニオン機構４７０に接続されている。

　ラックピニオン機構４７０は、ステアリングシャフト４２０の軸周りの回転を、ラック軸４８０の軸方向に沿った変位に変換するための機構である。ラック軸４８０が軸方向に変位すると、タイロッド及びナックルアームを介して車輪３００Ａ及び車輪３００Ｂが転舵される。

　トルクセンサ４３０は、ステアリングシャフト４２０に印加される操舵トルク、換言すれば、操舵部材４１０に印加される操舵トルクを検出し、検出結果を示すトルクセンサ信号をＥＣＵ６００に提供する。より具体的には、トルクセンサ４３０は、ステアリングシャフト４２０に内設されたトーションバーの捩れを検出し、検出結果をトルクセンサ信号として出力する。なお、トルクセンサ４３０として、ホールＩＣ，ＭＲ素子、磁歪式トルクセンサなどの周知のセンサを用いてもよい。

　舵角センサ４４０は、操舵部材４１０の舵角を検出し、検出結果をＥＣＵ６００に提供する。

　トルク印加部４６０は、ＥＣＵ６００から供給されるステアリング制御量に応じたアシストトルク又は反力トルクを、ステアリングシャフト４２０に印加する。トルク印加部４６０は、ステアリング制御量に応じたアシストトルク又は反力トルクを発生させるモータと、当該モータが発生させたトルクをステアリングシャフト４２０に伝達するトルク伝達機構とを備えている。

　なお、本明細書における「制御量」の具体例として、電流値、デューティー比、減衰率、減衰比等が挙げられる。

　操舵部材４１０、ステアリングシャフト４２０、トルクセンサ４３０、舵角センサ４４０、トルク印加部４６０、ラックピニオン機構４７０、ラック軸４８０、及びＥＣＵ６００は、本実施形態に係るステアリング装置を構成する。

　なお、上述の説明において「トルク伝達可能に接続」とは、一方の部材の回転に伴い他方の部材の回転が生じるように接続されていることを指し、例えば、一方の部材と他方の部材とが一体的に成形されている場合、一方の部材に対して他方の部材が直接的又は間接的に固定されている場合、及び、一方の部材と他方の部材とが継手部材等を介して連動するよう接続されている場合を少なくとも含む。

　また、上記の例では、操舵部材４１０からラック軸４８０までが常時機械的に接続されたステアリング装置を例に挙げたが、これは本実施形態を限定するものではなく、本実施形態に係るステアリング装置は、例えばステア・バイ・ワイヤ方式のステアリング装置であってもよい。ステア・バイ・ワイヤ方式のステアリング装置に対しても本明細書において以下に説明する事項を適用することができる。

　また、車両９００は、車輪３００毎に設けられ各車輪３００の車輪速を検出する車輪速センサ３２０、車両９００の横方向の加速度を検出する横Ｇセンサ３３０、車両９００の前後方向の加速度を検出する前後Ｇセンサ３４０、車両９００のヨーレートを検出するヨーレートセンサ３５０、エンジン５００が発生させるトルクを検出するエンジントルクセンサ５１０、エンジン５００の回転数を検出するエンジン回転数センサ５２０、及びブレーキ装置が有するブレーキ液に印加される圧力を検出するブレーキ圧センサ５３０を備えている。これらの各種センサから出力される情報は、ＣＡＮ（Controller Area Network）３７０を介してＥＣＵ６００に供給される。

　また、車両９００は、車両９００の現在位置を特定し、当該現在位置を示す現在位置情報を出力するＧＰＳ（Global Positioning System）センサ５５０と、目的地に関するユーザ入力を受け付け、当該目的地を示す目的地情報を出力するユーザ入力受付部５６０とを備えており、現在位置情報及び目的地情報も、ＣＡＮ３７０を介してＥＣＵ６００に供給される。また、車両９００は、後述する障害物検知部６１０が生成した経路情報の示す経路をユーザに対して視覚的又は聴覚的に提示する経路情報提示部を更に備える構成としてもよい。

　また、車両９００は、前方を含む車両９００の周囲を所定の時間間隔毎に撮像するためのカメラ５７０を備えている。当該所定の時間間隔は本実施形態を限定するものではないが、一例として、カメラ５７０は１秒間に１５回の撮像を行う。カメラ５７０によって撮像された撮像画像は、ＣＡＮ３７０を介してＥＣＵ６００に供給される。

　また、図示は省略するが、車両９００は、ブレーキ時の車輪ロックを防ぐためのシステムであるＡＢＳ（Antilock Brake System）、加速時等における車輪の空転を抑制するＴＣＳ（Traction Control System）、及び、旋回時のヨーモーメント制御やブレーキアシスト機能等のための自動ブレーキ機能を備えた車両挙動安定化制御システムであるＶＳＡ（Vehicle Stability Assist）制御可能なブレーキ装置を備えている。

　ここで、ＡＢＳ、ＴＣＳ、及びＶＳＡは、推定した車体速に応じて定まる車輪速と、車輪速センサ３２０によって検出された車輪速とを比較し、これら２つの車輪速の値が、所定の値以上相違している場合にスリップ状態であると判定する。ＡＢＳ、ＴＣＳ、及びＶＳＡは、このような処理を通じて、車両９００の走行状態に応じて最適なブレーキ制御やトラクション制御を行うことにより、車両９００の挙動の安定化を図るものである。

　車両９００が備えるブレーキ装置は、ＥＣＵ６００から供給される車速制御量に応じて、ブレーキ動作を行うことができるよう構成されている。

　ＥＣＵ６００は、車両９００が備える各種の電子機器を統括制御する。例えば、ＥＣＵ６００は、トルク印加部４６０に供給するステアリング制御量を調整することにより、ステアリングシャフト４２０に印加するアシストトルク又は反力トルクの大きさを制御する。

　また、ＥＣＵ６００は、懸架装置１００に含まれる油圧緩衝装置が備えるソレノイドバルブに対して、サスペンション制御量を供給することによって当該ソレノイドバルブの開閉を制御する。この制御を可能とするために、ＥＣＵ６００からソレノイドバルブへ駆動電力を供給する電力線が配されている。
　（ＥＣＵ６００）
　以下では、参照する図面を替えて、ＥＣＵ６００について具体的に説明する。図２は、ＥＣＵ６００の概略構成を示す図である。

　図２に示すように、ＥＣＵ６００は、障害物検知部（障害物検知装置）６１０、ステアリング制御部６３０、サスペンション制御部６５０、及び車速制御部６７０を備えている。

　障害物検知部６１０は、カメラ５７０による撮像画像を参照して、障害物の有無及び位置に関する推定を行う。障害物検知部６１０による障害物に関する推定結果は、ステアリング制御部６３０、サスペンション制御部６５０、及び車速制御部６７０の少なくとも何れかに供給される。

　ステアリング制御部６３０は、ＣＡＮ３７０に含まれる各種のセンサ検出結果、及び、障害物検知部６１０から供給される推定結果の少なくとも何れかを参照し、トルク印加部４６０に供給するステアリング制御量の大きさを決定する。

　なお、本明細書において「～を参照して」との表現には、「～を用いて」「～を考慮して」「～に依存して」などの意味が含まれ得る。

　サスペンション制御部６５０は、ＣＡＮ３７０に含まれる各種のセンサ検出結果、及び障害物検知部６１０から供給される推定結果の少なくとも何れかを参照し、懸架装置１００に含まれる油圧緩衝装置が備えるソレノイドバルブに対して供給するサスペンション制御量の大きさを決定する。

　車速制御部６７０は、ＣＡＮ３７０に含まれる各種のセンサ検出結果、及び障害物検知部６１０から供給される推定結果の少なくとも何れかを参照し、エンジン５００及びブレーキ装置に供給する車速制御量の大きさを決定する。

　なお、障害物検知部６１０、ステアリング制御部６３０、サスペンション制御部６５０、及び車速制御部６７０は、それぞれ別々のＥＣＵとして実現される構成であってもよい。このような構成の場合、障害物検知部６１０と、ステアリング制御部６３０、サスペンション制御部６５０、及び車速制御部６７０とが通信手段を用いて相互に通信を行うことにより、本明細書に記載の制御が実現される。

　（障害物検知部）
　続いて、図３を参照して、障害物検知部６１０についてより具体的に説明する。図３は、障害物検知部６１０の構成を示すブロック図である。図３に示すように、障害物検知部６１０は、ミラー内画像抽出部６１１、ミラー内画像取得部（取得部）６１２、障害物推定部（推定部）６１３、及び地図データ格納部６２０を備えている。地図データ格納部６２０には、障害物の有無及び位置を推定するために参照される地図データ４２００が格納されている。

　ミラー内画像抽出部６１１は、ＣＡＮ３７０を介して取得したカメラ５７０による撮像画像から、ミラー内画像を抽出する。ミラー内画像抽出部６１１によるミラー内画像の具体的抽出処理については、後述する。

　ミラー内画像取得部６１２は、ミラー内画像抽出部６１１が抽出したミラー内画像を取得し、取得したミラー内画像を、特徴点抽出部６１４に供給する。

　障害物推定部６１３は、ミラー内画像取得部６１２が取得したミラー内画像を参照して、障害物の有無及び位置を推定する。障害物推定部６１３は、特徴点抽出部６１４、及びマッチング部６１５を備えている。
　特徴点抽出部６１４は、ミラー内画像取得部６１２が供給したミラー内画像から、特徴点を抽出し、マッチング部６１５に供給する。特徴点抽出部６１４によるミラー内画像の特徴点の具体的抽出処理については、後述する。

　マッチング部６１５は、特徴点抽出部６１４が抽出したミラー内画像に含まれる特徴点を、地図データ格納部６２０から取得した地図データに含まれる特徴点と比較し、ミラー内画像に含まれる特徴点と地図データに含まれる特徴点との対応付け処理（マッチング処理）を行う。また、マッチング部６１５は、マッチング処理の結果を含む障害物に関する推定結果を出力する。なお、マッチング部６１５による具体的なマッチング処理については、後述する。

　障害物推定部６１３は、特徴点抽出部６１４が抽出した１又は複数の特徴点と、地図データ４２００とを比較することによって、障害物の位置を補正する。
　（ミラー内画像抽出処理）
　続いて、図４を参照して、ミラー内画像抽出部６１１によるミラー内画像の抽出処理について具体的に説明する。

　図４は、カメラ５７０による撮像画像４０００の一例を示している。撮像画像４０００内には、カーブミラー４０１０が映っている。

　ミラー内画像抽出部６１１は、例えば、以下の処理１～４を行うことによってカーブミラー４０１０のミラー内画像４０１２を抽出する。

　（処理１）
　撮像画像４０００に対して色相フィルタによる色相制限処理を適用することにより、撮像画像４０００から不要な背景を削除する。

　（処理２）
　撮像画像４０００に対してエッジ検出処理及びハフ変換処理を適用することにより、カーブミラーの外縁を検出し、カーブミラーの候補を検出する。

　（処理３）
　検出したカーブミラーの候補が複数存在する場合には、各候補の彩度、明度、形状等に関するスコアを算出し、当該スコアに応じて、カーブミラー４０１０を特定する。

　（処理４）
　特定したカーブミラー４０１０の外縁４０１１によって囲まれる画像を、ミラー内画像４０１２として抽出する。
　（特徴点抽出処理）
　次に、図５の（ａ）～（ｄ）を参照して、特徴点抽出部６１４による特徴点抽出処理について具体的に説明する。まず、図５の（ａ）に示す例では、ミラー内画像４０１２内に、障害物４００１（図５の（ａ）の例では車両）、道路標識４００２、車線境界線（センターライン）４００３、車道外側線（サイドライン）４００４～４００５が映り込んでいる。

　特徴点抽出部６１４は、まず、ミラー内画像４０１２に対して、前処理を適用することによって前処理済ミラー内画像４１００を生成する。この前処理は、本実施形態を限定するものではないが、例えば、色相フィルタを適用することによる不要な背景を削除する処理、及びエッジ強調フィルタを適用することによるエッジを明確化する処理などを含み得る。なお、上述の前処理は必須ではなく、ミラー内画像４０１２をそのまま前処理済ミラー内画像４１００として用いてもよい。

　図５の（ｂ）に示すように、前処理済ミラー内画像４１００には、障害物４００１、道路標識４００２、車線境界線４００３、及び車道外側線４００４～４００５に対応する障害物４１０１、道路標識４１０２、車線境界線４１０３、及び車道外側線４１０４～４１０５が含まれている。

　続いて、特徴点抽出部６１４は、前処理済ミラー内画像４１００に対して、フィルタ処理を施すことによって前処理済ミラー内画像４１００から１又は複数の特徴点を抽出する。ここで、特徴点を抽出するためのフィルタ処理の具体的な形式は本実施形態を特定するものではないが、例えば、ソーベルフィルタ、ガウシアンフィルタ、及びラプラシアンフィルタなどの各種のフィルタを組み合わせて用いることができる。また、特徴点抽出部６１４は、抽出した特徴点を参照して、特徴量を算出する構成としてもよい。
　特徴点抽出部６１４による具体的な特徴点抽出処理及び特徴量算出処理として例えば以下の手法が挙げられる。ただし、これらは本実施形態を限定するものではない。

　・ＭＳＥＲ（Maximally Stable Extermal Regions）
　・ＦＡＳＴ（Features from Accelerated Segment Test）
　・Ｈａｒｒｉｓｐｏｉｎｔ、ＯＲＢ（Oriented-BRIEF）
　・ＳＩＦＴ（Scale-Invariant Feature Transform）
　・ＳＵＲＦ（Speed-Up Robust Features）
　なお、ＯＲＢ、ＳＩＦＴ、およびＳＵＲＦでは、特徴点の抽出に加えて、特徴量の算出まで行うことができる。一方、ＭＳＥＲ、ＦＡＳＴ、およびＨａｒｒｉｓｐｏｉｎｔを用いる場合は、例えば、特徴点の抽出を行った後、ＯＲＢ、ＳＩＦＴ、およびＳＵＲＦなどを用いて特徴量の算出を行えばよい。

　一例として、ＳＩＦＴを用いて特徴点抽出処理を行う場合、特徴点抽出部６１４は、まず、前処理済ミラー内画像４１００にガウシアンフィルタを適用して、平均化処理を行う。続いて特徴点抽出部６１４は、平均化処理後の画像データに対して二次微分を適用することにより特徴点を抽出する。

　また、一例としてＳＩＦＴを用いて特徴量算出処理を行う場合、特徴点抽出部６１４は、抽出した特徴点の周囲の輝度変化から、最も輝度変化が大きい向き（輝度勾配が最大となる向き）を検出し、検出した向きを示す情報を当該特徴点に関連付ける。次に、特徴点抽出部６１４は、当該特徴点の向きを参照して特徴量を算出する。
　なお、特徴点抽出部６１４が抽出する特徴点の数は、複数であることが好ましい。特徴点抽出部６１４が複数の特徴点を抽出することにより、後述するマッチング処理の精度を向上させることができるので、障害物の位置をより精度よく補正することができる。
　図５の（ｄ）には、特徴点抽出部６１４が、前処理済ミラー内画像４１００に含まれる道路標識４１０２、車線境界線４１０３、及び車道外側線４１０４から、それぞれ、特徴点４３０２、特徴点４３０３、及び特徴点４３０４を抽出した場合の例が示されている。

　また、特徴点抽出部６１４は、前処理済ミラー内画像４１００における障害物４１０１を検出し、検出した障害物４１０１の位置を特定する。障害物４１０１の検出は、上述した特徴点抽出処理により行うことができる。また、障害物４１０１の位置の特定は、例えば、前処理済ミラー内画像４１００における障害物４１０１の座標を特定することにより、又は、抽出した１又は複数の特徴点のそれぞれからの相対座標を特定することにより行われる。

　特徴点抽出部６１４は、図５の（ｃ）に例示した地図データ４２００に対しても同様に特徴点抽出処理を適用し、地図データ４２００から１又は複数の特徴点を抽出し、抽出した特徴点を参照して特徴量を算出する。

　図５の（ｃ）～（ｄ）には、特徴点抽出部６１４が、地図データ４２００に含まれる道路標識４２０２、車線境界線４２０３、及び車道外側線４２０４から、それぞれ、特徴点４３１２、特徴点４３１３、及び特徴点４３１４を抽出した場合の例が示されている。

　（マッチング処理）
　マッチング部６１５は、前処理済ミラー内画像４１００から抽出した１又は複数の特徴点を参照して算出した特徴量と、地図データ４２００から抽出した１又は複数の特徴点を参照して算出した特徴量とを用いてマッチング処理を行う。
　なお、マッチング部６１５は、１又は複数の特徴点を含む前処理済ミラー内画像４１００に対して、回転処理、拡大処理、縮小処理、及び平行移動処理の少なくとも何れかを適用することによって、前処理済ミラー内画像４１００に含まれる１又は複数の特徴点を参照して算出した特徴量と、地図データ４２００に含まれる１又は複数の特徴点を参照して算出した特徴量との一致度を最大化させることによりマッチング処理を行う構成としてもよい。この処理は、例えば、前処理済ミラー内画像４１００に含まれる１又は複数の特徴点のそれぞれの位置と、地図データ４２００に含まれる１又は複数の特徴点のそれぞれの位置とのずれを表す指標を最小化することによって行われる。ここで、前処理済ミラー内画像に含まれる特徴点の一部が過剰にずれている場合には、その過剰にずれている点を無視してずれを表す指標を最小化してもよい。

　マッチング部６１５は、上述のマッチング処理を行うことによって、前処理済ミラー内画像４１００に含まれる各物体の位置と、地図データ４２００に含まれる各物体の位置とを対応付ける。また、上述のマッチング処理において、特徴点同士を対応付けるために用いたパラメータであるマッチングパラメータが特定される。ここで、マッチングパラメータは、一例として、上述した回転処理、拡大処理、縮小処理、及び平行移動処理の少なくとも何れかに関するパラメータを含み得る。

　図５の（ｄ）には、前処理済ミラー内画像４１００に含まれる特徴点４３０２、特徴点４３０３、及び特徴点４３０４と、地図データ４２００に含まれる特徴点４３１２、特徴点４３１３、及び特徴点４３１４とをそれぞれマッチングする場合が模式的に示されている。図５の（ｄ）に示すように、特徴点４３０２が特徴点４３１２に対応付けられ、特徴点４３０３が特徴点４３１３に対応付けられ、特徴点４３０４が特徴点４３１４に対応付けられる。

　また、マッチング部６１５は、前処理済ミラー内画像４１００に含まれる障害物４１０１の、地図データ４２００内における位置を推定する。地図データ４２００内における障害物の位置の推定は、障害物４１０１の前処理済ミラー内画像４１００における位置を、上述したマッチングパラメータを用いて変換することによって行われる。

　また、マッチング部６１５は、前処理済ミラー内画像４１００から抽出した特徴点のうち、所定の割合以上の特徴点（例えば９５％以上）が、地図データ４２００に含まれる特徴点に対応付けられる場合、前処理済ミラー内画像４１００には障害物が存在しないと推定する。
　マッチング部６１５は、地図データ４２００内における障害物の有無及び位置に関する情報を、障害物に関する推定結果として出力する。

　図５の（ａ）～（ｄ）に示す例では、マッチング部６１５は、前処理済ミラー内画像４１００に含まれる障害物４１０１の位置を、地図データ４２００内において障害物４３０１として示した位置に特定しており、マッチング部６１５は、地図データ４２００内における障害物４３０１の位置を含む情報を、当該障害物に関する推定結果として出力する。

　なお、上述のマッチング処理により、ミラー内画像４０１２の歪みも解消される。換言すれば、上述のマッチング処理により、ミラー内画像４０１２の歪みに起因した障害物の位置のずれも補正される。ここで、当該ミラー内画像４０１２の歪みには、カーブミラー４０１０の鏡面が平面ではないことに起因した歪み、カーブミラー４０１０の鏡面のサイズに起因した歪み、及び、ミラー内画像４０１２がカーブミラー４０１０を正面視した画像ではないことに起因する歪み（換言すればカーブミラー４０１０の取り付け角に起因した歪み）等が含まれ得る。

　したがって、マッチング部６１５によるマッチング処理は、ミラー内画像４０１２から抽出された１又は複数の特徴点と、地図データ４２００とを比較することによって、前記障害物の位置を補正する処理であると表現することもできる。
　（障害物検知処理の流れ）
　続いて、図６を参照して、障害物検知部６１０による障害物の有無及び位置の推定処理の流れについて説明する。図６は、障害物検知部６１０による障害物の有無及び位置の推定処理の流れを示すフローチャートである。

　（ステップＳ１００）
　まず、ステップＳ１００において、車両９００に備えられたカメラ５７０が、前方を含む車両９００の周囲を撮像する。撮像画像を示すデータはＣＡＮ３７０を介して障害物検知部６１０に供給される。

　（ステップＳ１０１）
　続いて、ステップＳ１０１において、ミラー内画像抽出部６１１が、撮像画像から、ミラー内画像を抽出する。ミラー内画像の抽出処理については上述したためここでは説明を省略する。

　（ステップＳ１０２）
　続いて、ステップＳ１０２において、ミラー内画像取得部６１２が、ステップＳ１０１において抽出されたミラー内画像を取得する。そして取得したミラー内画像を特徴点抽出部６１４に供給する。

　（ステップＳ１０３）
　続いて、ステップＳ１０３において、特徴点抽出部６１４が、ミラー内画像および地図データから、それぞれ１又は複数の特徴点を抽出する。特徴点の抽出処理については上述したためここでは説明を省略する。

　（ステップＳ１０４）
　続いて、ステップＳ１０４において、マッチング部６１５が、ミラー内画像から抽出した特徴点と、地図データの特徴点とをマッチングする。特徴点のマッチング処理については上述したためここでは説明を省略する。

　（ステップＳ１０５）
　続いて、ステップＳ１０５において、マッチング部６１５は、地図データ４２００内における障害物の有無及び位置を推定する。具体的な障害物の有無及び位置の推定処理については上述したためここでは説明を省略する。

　（ステップＳ１０６）
　続いて、ステップＳ１０６において、マッチング部６１５は、ステップＳ１０６にて推定した障害物の有無及び位置に関する推定結果を、ステアリング制御部６３０、サスペンション制御部６５０、及び車速制御部６７０に供給する。

　障害物検知部６１０は、上述したステップＳ１００～Ｓ１０５の各処理を複数回実行したうえで、推定結果を出力する構成としてもよい。換言すれば、障害物推定部６１３は、撮像時刻が互いに異なる複数のミラー内画像を参照して、前記障害物の位置を推定する構成としてもよいし、撮像位置が互いに異なる複数のミラー内画像を参照して、前記障害物の有無及び位置を推定する構成としてもよい。

　ステップＳ１００～Ｓ１０５の各処理を複数回実行することにより、撮像場所が互いに異なる複数のミラー内画像を参照して障害物の位置を推定するので、障害物の位置の推定精度を高めることができる。

　また、ステップＳ１００～Ｓ１０５の各処理を複数回実行することにより、撮像時刻が互いに異なる複数のミラー内画像を参照することができるので、障害物が移動中の物体である場合、当該障害物の移動方向、及び当該障害物の移動の速さを推定することもできる。障害物検知部６１０は、このようにして推定した障害物の移動方向、及び移動の速さも上記推定結果に含めて出力する。
　なお、上述の説明において、一枚のミラー内画像に、特徴点と障害物とが同時に映っている必要はない。車両９００及び障害物の少なくとも何れかが移動している間、複数の撮像画像を撮像し、これら複数の撮像画像を参照した障害物の推定処理を行うことにより、カーブミラーに映り込み得るより広い範囲における特徴点をより多く抽出し、障害物についての推定処理に用いることができるので、推定精度の向上を図ることができる。

　また、障害物検知部６１０は、障害物の位置、障害物の移動方向、障害物の移動の速さを推定する処理において、操舵部材４１０の操舵に関する情報である操舵情報を更に参照して、障害物の位置、障害物の移動方向、障害物の移動の速さを推定する構成としてもよい。このような構成とすることにより、推定精度を更に向上させることができる。

　＜推定結果に応じた車両制御＞
　以下では、障害物検知部６１０による推定結果を参照したＥＣＵ６００による車両９００の制御例１～２について説明する。ＥＣＵ６００は制御例１と制御例２とを組み合わせた制御を行ってもよい。

　（制御例１）
　ＥＣＵ６００は、障害物検知部６１０による推定結果が示す障害物の位置が危険な位置であると判定した場合、車両９００を停車させる。より具体的には、車速制御部６７０は、障害物検知部６１０による推定結果を参照し、当該推定結果が示す障害物の位置が危険な位置であるか否かを判定する。危険な位置であると判定した場合、車速制御部６７０は、車速制御量を変更することにより車両９００を停車させる。また、サスペンション制御部６５０は、車両９００がより安定的に停車できるようサスペンション制御量を調整する。

　なお、車速制御部６７０は、車両９００の現在位置を示す現在位置情報を更に参照して、車速制御量を変更してもよい。これにより、車両制御の精度を向上させることができる。

　（制御例２）
　ＥＣＵ６００は、障害物検知部６１０による推定結果が示す障害物の位置が危険な位置であると判定した場合、当該障害物を回避するよう車両９００を制御する。より具体的には、ステアリング制御部６３０は、障害物検知部６１０による推定結果を参照し、当該推定結果が示す障害物の位置が危険な位置であるか否かを判定する。危険な位置であると判定した場合、ステアリング制御部６３０は、ステアリング制御量を変更することにより車両９００が障害物を回避するよう制御する。また、また、サスペンション制御部６５０は、車両９００がより安定的に障害物を回避できるようサスペンション制御量を調整する。

　なお、ステアリング制御部６３０は、車両９００の現在位置を示す現在位置情報を更に参照して、ステアリング制御量を変更してもよい。これにより、車両制御の精度を向上させることができる。

　〔実施形態２〕
　以下、参照する図面を替えて、本発明の実施形態２について、詳細に説明する。以下の説明では、上記実施形態において既に説明した部材については同じ参照符号を付して説明を省略し、上記実施形態とは異なる点について説明を行う。

　図７は、本実施形態に係る車両システム（障害物検知システム）２０００の要部構成を示す図である。車両システム２０００は、車両９００とサーバ１０００とを有する。車両９００は、車両９００を制御するＥＣＵ６００ａと、サーバ１０００と車両９００との間のデータのやり取りを行う送受信部９１０とを備えている。

　サーバ１０００は、障害物検知部６１０を備えた制御部１２００と、サーバ１０００と車両９００との間のデータのやり取りを行う送受信部１１００とを備えている。本実施形態においては、サーバ１０００が障害物検知部６１０を備え、実施形態１において説明したミラー内画像抽出処理、特徴点抽出処理、マッチング処理、並びに、障害物の有無及び位置の推定処理を行い、推定結果がサーバ１０００から車両９００に送信される構成である。

　図８は、本実施形態に係る車両システム２０００による障害物検知のシーケンス図である。

　（ステップＳ１１０）
　実施形態１のステップＳ１００と同様、ステップＳ１１０において、車両９００に備えられたカメラ５７０が、前方を含む車両９００の周囲を撮像する。撮像画像を示すデータはＣＡＮ３７０を介して送受信部９１０に供給される。

　（ステップＳ１１１）
　続いて、ステップＳ１１１において、送受信部９１０が、撮像画像を、サーバ１０００の送受信部１１００に送る。

　（ステップＳ１１２）
　続いて、ステップＳ１１２において、送受信部１１００が、ステップＳ１１１において、送受信部９１０が送った撮像画像を受け取る。そして取得した撮像画像を障害物検知部６１０に供給する。

　（ステップＳ１１３）
　続いて、ステップＳ１１３において、障害物検知部６１０がミラー内画像抽出処理を行う。ミラー内画像抽出処理の具体的な内容は実施形態１と同様である。

　（ステップＳ１１４）
　続いて、ステップＳ１１４において、障害物検知部６１０がミラー内画像取得処理を行う。ミラー内画像取得処理の具体的な内容は実施形態１と同様である。

　（ステップＳ１１５）
　続いて、ステップＳ１１５において、障害物検知部６１０が特徴点抽出処理を行う。特徴点抽出処理の具体的な内容は実施形態１と同様である。

　（ステップＳ１１６）
　続いて、ステップＳ１１６において、障害物検知部６１０がマッチング処理を行う。マッチング処理の具体的な内容は実施形態１と同様である。

　（ステップＳ１１７）
　続いて、ステップＳ１１７において、障害物検知部６１０が障害物の有無及び位置の推定処理を行う。具体的な障害物の有無及び位置の推定処理は実施形態１と同様である。

　（ステップＳ１１８）
　続いて、ステップＳ１１８において、障害物検知部６１０のマッチング部６１５は、ステップＳ１１７にて推定した障害物の有無及び位置に関する推定結果を、送受信部１１００に供給する。

　（ステップＳ１１９）
　続いて、ステップＳ１１９において、送受信部１１００が、推定結果を車両９００の送受信部９１０に送る。

　（ステップＳ１２０）
　続いて、ステップＳ１２０において、車両９００の送受信部９１０が、推定結果を送受信部１１００から受け取る。送受信部９１０は、推定結果をＥＣＵ６００ａに供給する。

　（ステップＳ１２１）
　続いて、ステップＳ１２１において、ＥＣＵ６００ａは、推定結果を参照して、実施形態１において説明したように推定結果に応じた車両制御を行う。

　本実施形態では、ミラー内画像抽出処理、特徴点抽出処理、マッチング処理、並びに、障害物の有無及び位置の推定処理がサーバ１０００において行われるため、ＥＣＵ６００ａを比較的簡易な構成によって実現できる。また、ＥＣＵ６００ａが地図データを保持しなくてもよいのでＥＣＵ６００ａにおけるメモリ負荷が低減される。

　〔実施形態３〕
　以下、参照する図面を替えて、本発明の実施形態３について、詳細に説明する。以下の説明では、上記実施形態において既に説明した部材については同じ参照符号を付して説明を省略し、上記実施形態とは異なる点について説明を行う。

　図９は、本実施形態に係る車両システム（障害物検知システム）３０００の要部構成を示す図である。車両システム３０００は、車両９００とサーバ１０００とを有する。車両９００は、車両９００を制御するＥＣＵ６００ｂ及び送受信部９１０を備えており、ＥＣＵ６００ｂは、障害物検知部６１０ａ、ステアリング制御部６３０、サスペンション制御部６５０、及び車速制御部６７０を備えている。

　サーバ１０００は、障害物検知部６１０ｂを備えた制御部１２００ｂと、送受信部１１００とを備えている。

　本実施形態においては、車両９００及びサーバ１０００が、それぞれ障害物検知部６１０ａ及び６１０ｂを備えており、実施形態１において説明した障害物検知部６１０による各処理が、本実施形態では、障害物検知部６１０ａ及び６１０ｂによって分散処理される。

　一例として、以下では、車両９００が、実施形態１において説明したミラー内画像抽出処理、及び特徴点抽出処理を行い、特徴点のデータをサーバ１０００に送信し、サーバ１０００が、受け取った特徴点のデータを用いて、実施形態１において説明したマッチング処理、及び障害物の有無及び位置の推定処理を行い、推定結果を車両９００に送信する構成について説明する。

　図１０は、本実施形態に係る車両システム３０００による障害物検知のシーケンス図である。

　（ステップＳ１３０）
　まず、ステップＳ１３０において、車両９００に備えられたカメラ５７０が、前方を含む車両９００の周囲を撮像する。撮像画像を示すデータはＣＡＮ３７０を介して障害物検知部６１０ａに供給される。

　（ステップＳ１３１）
　続いて、ステップＳ１３１において、障害物検知部６１０ａがミラー内画像抽出処理を行う。ミラー内画像抽出処理の具体的な内容は実施形態１と同様である。

　（ステップＳ１３２）
　続いて、ステップＳ１３２において、障害物検知部６１０ａがミラー内画像取得処理を行う。ミラー内画像取得処理の具体的な内容は実施形態１と同様である。

　（ステップＳ１３３）
　続いて、ステップＳ１３３において、障害物検知部６１０ａが、ミラー内画像から１又は複数の特徴点を抽出する。特徴点の抽出処理については上述したためここでは説明を省略する。障害物検知部６１０ａは、抽出した特徴点を示すデータを、送受信部９１０に供給する。

　（ステップＳ１３４）
　続いて、ステップＳ１３４において、送受信部９１０は、サーバ１０００の送受信部１１００に、ステップ１３３にて抽出した特徴点を示すデータを送る。

　（ステップＳ１３５）
　続いて、ステップＳ１３５において、送受信部１１００は、送受信部９１０から供給された特徴点を示すデータを受け取る。送受信部１１００は、特徴点を示すデータを、障害物検知部６１０ｂに供給する。

　（ステップＳ１３６）
　続いて、ステップＳ１３６において、障害物検知部６１０ｂがマッチング処理を行う。ここで、マッチング処理に用いられる地図データの特徴点は、障害物検知部６１０ａによって抽出されたものでもよいし、障害物検知部６１０ｂによって抽出されたものでもよい。また、マッチング処理の具体的な内容は実施形態１と同様である。

　（ステップＳ１３７）
　続いて、ステップＳ１３７において、障害物検知部６１０ｂが障害物の有無及び位置の推定処理を行う。障害物の有無及び位置の推定処理の具体的な内容は実施形態１と同様である。

　（ステップＳ１３８）
　続いて、ステップＳ１３８において、障害物検知部６１０ｂは、ステップＳ１３７にて推定した障害物の有無及び位置に関する推定結果を、送受信部１１００に供給する。

　（ステップＳ１３９）
　続いて、ステップＳ１３９において、送受信部１１００は、推定結果を車両９００が備える送受信部９１０に送る。

　（ステップＳ１４０）
　続いて、ステップＳ１４０において、送受信部９１０は、送受信部１１００から、推定結果を受け取る。送受信部９１０は、推定結果をＥＣＵ６００ｂに供給する。

　（ステップＳ１４１）
　続いて、ステップＳ１４１において、ＥＣＵ６００ｂは、推定結果を参照して、実施形態１において説明したように推定結果に応じた車両制御を行う。

　本実施形態では、マッチング処理、並びに、障害物の有無及び位置の推定処理がサーバ１０００において行われるため、ＥＣＵ６００ｂを比較的簡易な構成によって実現できる。また、ＥＣＵ６００ｂが地図データを保持することは必須ではないのでＥＣＵ６００ｂにおけるメモリ負荷を図ることもできる。

　なお、本実施形態において説明した分散処理はあくまで一例であり、本明細書に記載の発明を限定するものではない。例えば、ミラー内画像取得部６１２、障害物推定部６１３、及び特徴点抽出部６１４の何れか又はそれらの組み合わせを、車両９００側に設ける構成とし、ミラー内画像取得処理、障害物検知処理、及び特徴点抽出処理の何れか又はそれらの組み合わせを車両９００側で行う構成としてもよい。

　〔実施形態４〕
　上述の実施形態１～３では、車両９００において撮像された撮像画像を参照した障害物に関する推定結果を、車両９００で用いる構成を例に挙げたが、これは本明細書に記載の発明を限定するものではない。

　例えば、実施形態１～３は、車両９００において撮像された撮像画像を参照した障害物に関する推定結果を、他の車両に供給する構成としてもよい。このような構成は、例えば、複数の車両と通信可能に構成されているサーバを用いることによって可能となる。より具体的な例を挙げれば、実施形態２において説明したサーバ１０００を、車両９００以外の１又は複数の車両とも通信可能に構成しておき、車両９００にて撮像された撮像画像を参照してＥＣＵ６００にて推定した障害物に関する推定結果（障害物の位置に関する情報）を記録し、記録した推定結果を車両９００以外の１又は複数の車両に送信する構成としてもよい。また、推定結果を受信した車両は、当該推定結果に応じた車両制御を行うように構成されていてもよいし、推定結果を受信した車両が、当該推定結果を参照して当該障害物の位置を推定し、当該推定結果に応じて車両制御を行うように構成されていてもよい。

　このように、推定結果を複数の車両で共有することにより、推定結果をより有効に活用することができる。

　〔ソフトウェアによる実現例〕
　ＥＣＵ６００、６００ａ、６００ｂ、制御部１２００、１２００ｂとして記載した制御ブロック（特に、障害物検知部６１０、６１０ａ、６１０ｂ、ステアリング制御部６３０、サスペンション制御部６５０、車速制御部６７０）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。

　後者の場合、ＥＣＵ６００、６００ａ、６００ｂ、制御部１２００、１２００ｂは、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

　本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

　６００　ＥＣＵ（制御部）
　６１０　障害物検知部
　６１２　ミラー内画像取得部（取得部）
　６１３　障害物推定部（推定部）
　６３０　ステアリング制御部
　６５０　サスペンション制御部
　６７０　車速制御部
　９００　車両

Claims

　カーブミラーに映ったミラー内画像を取得する取得部と、
　前記ミラー内画像を参照して、障害物の位置を推定する推定部と、
を備えていることを特徴とする障害物検知装置。
　前記推定部は、前記ミラー内画像から抽出された１又は複数の特徴点と、地図データとを比較することによって、前記障害物の位置を補正する請求項１に記載の障害物検知装置。
　前記推定部は、複数の前記特徴点を用いて、前記障害物の位置を補正する請求項２に記載の障害物検知装置。
　前記推定部は、撮像時刻が互いに異なる、複数の前記ミラー内画像を参照して、前記障害物の位置を推定する請求項１から３の何れか１項に記載の障害物検知装置。
　前記推定部は、前記障害物の移動速度及び移動方向の少なくとも何れかをも推定する請求項４に記載の障害物検知装置。
　前記推定部は、撮像位置が互いに異なる、複数の前記ミラー内画像を参照して、前記障害物の位置を推定する請求項１から５の何れか１項に記載の障害物検知装置。
　前記推定部は、他の車両が備える障害物検知装置から取得した前記障害物の位置に関する情報を参照して、前記障害物の位置を推定する請求項１から６の何れか１項に記載の障害物検知装置。
　請求項１から７の何れか１項に記載の障害物検知装置を備えた車両。
　制御部を備え、
　前記制御部は、前記障害物が危険な位置にあると判定した場合には、当該車両を停車させる請求項８に記載の車両。
　制御部を備え、
　前記制御部は、前記障害物が危険な位置にあると判定した場合には、前記障害物を回避するように当該車両を制御する請求項８に記載の車両。
　カーブミラーに映ったミラー内画像を取得する取得部と、
　前記ミラー内画像から１又は複数の特徴点を抽出する抽出部と、
　前記抽出部によって抽出された１又は複数の特徴点と、地図データとを比較することによって、障害物の位置を推定する推定部と、
を備えている障害物検知システム。
　複数の車両と通信可能なサーバを備え、
　前記サーバは、複数の車両から得られた前記障害物の位置に関する情報を記録し、複数の車両に対して、前記障害物の位置に関する情報を送信する請求項１１に記載の障害物検知システム。