JP7460282B2

JP7460282B2 - 障害物検出装置、障害物検出方法および障害物検出プログラム

Info

Publication number: JP7460282B2
Application number: JP2020141703A
Authority: JP
Inventors: 竜也松井; 知基中川; 薫増子
Original assignee: Alps Electric Co Ltd; Alps Alpine Co Ltd
Current assignee: Alps Alpine Co Ltd
Priority date: 2020-07-02
Filing date: 2020-08-25
Publication date: 2024-04-02
Anticipated expiration: 2040-08-25
Also published as: JP2022013536A

Description

本発明は、障害物検出装置に関し、特にステレオカメラを利用した障害物の検出に関する。

障害物等の物体の距離を検出するセンサとして赤外線センサやミリ波レーダーが知られている。ステレオカメラは、このような距離センサの一種であり、２つのカメラで撮像した画像の視差を利用して物体までの距離を検出する。例えば、特許文献１の車両用障害物検出装置は、車両前方を撮像する赤外線カメラと、車両前方を撮像するステレオカメラとを備え、赤外線カメラで撮像された赤外線画像から走路を特定し、ステレオカメラで撮像されたステレオ画像から特定された走路上の障害物を検出する技術を開示している。

特開２０１３－２０５４３号公報

従来の障害物検出システムには、赤外線（ＩＲ）カメラをステレオカメラに利用するものがある。赤外線カメラで撮像した赤外線（ＩＲ）画像では、赤外線を反射する領域が白く写され、赤外線を吸収する領域が黒く写される。白い領域は輝度が高く、黒い領域は輝度が低い。

障害物検出システムは、ステレオカメラで撮像された左右のＩＲ画像を合成し、撮像対象の３次元位置（または座標）を表すことができる点群データを生成する。撮像対象の深度（奥行）は、左右のＩＲ画像の視差を利用して計算される。障害物検出システムは、生成された点群データに基づき、障害物（地面上の障害物、穴や溝も含む）の有無を判定し、障害物がある場合には、障害物の向き、障害物までの距離、障害物の大きさ検出し、その検出結果を出力する。例えば、障害物検出システムが自動車等の輸送機器に搭載される場合、搭乗者に障害物の情報を警報したり、輸送機器が自動的に減速、停止したりする用途に使用される。

しかしながら、従来の障害物検出システムには、ＩＲカメラの輝度に対するダイナミックレンジが撮像対象の輝度の分布に対して充分ではない場合に、次のような課題がある。ＩＲ画像において、輝度が最大値／最小値、またはそれに近いエリアがあると、そのエリアは撮像対象の特徴を表すには十分なデータではないため、結果として左右の画像を合成しても点群データに深度情報がない無効なエリアが生じてしまう。

例えば、道路上にマンホールが存在するとき、マンホールが太陽光によって強く反射されると、図１に示すように、ＩＲ画像の中央部においてマンホールが円形状に真っ白に写ってしまい、左右の画像において特徴のある部分をマッチングしてマンホール部分の深度計算を行うことができなくなってしまう。その結果、点群データは、図２に示すように、マンホールのエリアに対応するエリアにおいて点群が欠落した無効エリア（図中、真っ黒な部分）が発生してしまう。なお、同図の点群データは、マンホールを斜め上方から見下ろした状態を示している。

点群の無効エリアは距離情報がないため、点群の無効エリアが障害物であるか否かを判定することはできない。しかし、実装上は、安全のために点群の無効エリアが生じた場合には障害物ありと判定している。このため、実際に点群の無効エリアに障害物が無かった場合には、障害物の誤検出になってしまう。例えば、障害物検出システムが輸送機器に搭載される場合には、搭乗者に不要な警報が発せられ、あるいは不必要な減速や停止が発生することになる。

本発明は、このような従来の課題を解決し、誤検出防止機能を備えた障害物検出装置、障害物検出方法および障害物検出プログラムを提供することを目的とする。

本発明に係る障害物検出装置は、ステレオカメラと、前記ステレオカメラにより撮影されたステレオ画像に基づき点群データを生成する生成手段と、生成された点群データに基づき障害物を検出する障害物検出手段と、画像認識により特定の対象物を認識する認識手段とを備え、前記障害物検出手段は、前記認識手段により特定の対象物であると認識された領域を除いた点群データを用いて障害物を検出する。

ある実施態様では、前記認識手段は、前記点群データに含まれる点群の無効エリアに相当するエリアにおいて特定の対象物を認識する。ある実施態様では、前記認識手段は、前記点群データに含まれる点群の無効エリアを識別する識別手段を含む。ある実施態様では、前記障害物検出手段は、前記認識手段により特定の対象物が認識されたとき、前記無効エリアを障害物と判定しない。ある実施態様では、前記特定の対象物は、障害物とならない対象物であり、前記特定の対象物は予め決定される。ある実施態様では、前記点群データは、ステレオカメラの撮像画像を合成して得られた距離情報を含む３次元情報であり、点群の無効エリアは、距離情報が欠落したエリアである。ある実施態様では、前記認識手段は、点群データの生成前の撮像画像に基づき特定の対象物を認識する。ある実施態様では、前記認識手段は、前記ステレオカメラとは別のカメラで撮像された画像であって、前記ステレオカメラの画像と同期した画像に基づき特定の対象物を認識する。ある実施態様では、前記ステレオカメラは、赤外線カメラである。ある実施態様では、前記ステレオカメラは、移動体の前方を撮像する。

さらに本発明に係る障害物検出装置は、ステレオカメラと、前記ステレオカメラにより撮影されたステレオ画像に基づき点群データを生成する生成手段と、生成された点群データに基づき障害物を検出する障害物検出手段と、画像認識により特定の対象物を認識する認識手段とを備え、前記障害物検出手段は、前記認識手段で用いた画像の輝度情報に基づき前記認識手段の認識結果を使用して障害物を検出するか否かを判定する。ある実施態様では、前記障害物検出手段は、前記輝度情報が閾値以下であるとき、前記点群データのみを用いて障害物を検出し、前記輝度情報が閾値を超えるとき、前記点群データおよび前記認識手段の認識結果を用いて障害物を検出する。ある実施態様では、前記障害物検出手段はさらに、前記輝度情報と前記認識手段による画像認識の確信度に基づき前記認識手段の認識結果を使用して障害物を検出するか否かを判定する。ある実施態様では、前記障害物検出手段は、前記輝度情報が閾値以下であり、かつ前記確信度が閾値以下であるとき、前記点群データのみを用いて障害物を検出し、前記輝度情報および前記確信度の少なくとも一方が閾値を超えるとき、前記点群データおよび前記認識手段の認識結果を用いて障害物を検出する。ある実施態様では、前記輝度情報の閾値は、特定の対象物毎にそれぞれ設定される。

本発明に係る移動体は、上記記載の障害物検出装置と、前記障害物検出装置による検出結果を利用して移動体の移動を制御する制御手段とを含む。

本発明に係る障害物検出方法は、ステレオカメラにより撮像されたステレオ画像を用いて障害物の検出を行うものであって、前記ステレオカメラにより撮影されたステレオ画像に基づき撮像対象の距離情報を含む点群データを生成するステップと、前記点群データに含まれる点群の無効エリアの有無を識別するステップと、点群の無効エリアにおいて特定の対象物の有無を認識するステップと、前記特定の対象物が認識された場合、前記点群の無効エリアを除いた点群データを用いて障害物を検出するステップとを含む。

さらに本発明に係る障害物検出方法は、ステレオカメラにより撮像されたステレオ画像を用いて障害物の検出を行うものであって、前記ステレオカメラにより撮影されたステレオ画像に基づき撮像対象の距離情報を含む点群データを生成するステップと、前記点群データに含まれる点群の無効エリアの有無を識別するステップと、点群の無効エリアにおいて特定の対象物の有無を認識するステップと、前記認識するステップで用いた画像の輝度情報に基づき前記認識するステップの認識結果を使用して障害物を検出するか否かを判定するステップとを含む。

本発明に係る障害物検出プログラムは、電子装置によって実行されるものであって、前記ステレオカメラにより撮影されたステレオ画像に基づき撮像対象の距離情報を含む点群データを生成するステップと、前記点群データに含まれる点群の無効エリアの有無を識別するステップと、点群の無効エリアにおいて特定の対象物の有無を認識するステップと、前記特定の対象物が認識された場合、前記点群の無効エリアを除いた点群データを用いて障害物を検出するステップとを含む。

さらに本発明に係る障害物検出プログラムは、電子装置によって実行されるものであって、前記ステレオカメラにより撮影されたステレオ画像に基づき撮像対象の距離情報を含む点群データを生成するステップと、前記点群データに含まれる点群の無効エリアの有無を識別するステップと、点群の無効エリアにおいて特定の対象物の有無を認識するステップと、前記認識するステップで用いた画像の輝度情報に基づき前記認識するステップの認識結果を使用して障害物を検出するか否かを判定するステップとを含む。

本発明によれば、認識手段により特定の対象物が認識された領域を除いた点群データを用いて障害物を検出するようにしたので、点群の無効エリアに起因する誤検出を防止することができる。

さらに本発明によれば、認識手段に用いられる画像の輝度情報に基づき認識結果を使用して障害物を検出するか否かを判定するようにしたので、画像認識による誤認識を防止しつつ障害物を検出することができる。

ＩＲ画像に高輝度の部分が撮像されたときの例を示す図である。図１に示すＩＲステレオ画像を合成して得られた点群データを示す図である。本発明の実施例に係る障害物検出装置の構成を示すブロック図である。ステレオカメラの取付け例を示す図である。無効エリア識別部による無効エリアの識別方法の一例を示す図である。本発明の実施例に係る障害物検出装置の動作を説明するフローチャートである。本発明の第２の実施例に係る障害物検出装置の構成を示す図である。パレット（疑似横断歩道）とその点群データを示す図である。画像認識の確信度と正常検出率（精度）との関係を示す棒グラフである。閾値を変化させたときの画像認識における感度と精度との関係を示す図である。本発明の第３の実施例に係る障害物検出装置の構成を示す図である。本発明の第３の実施例に係る障害物検出装置の動作を説明するフローチャートである。横断歩道のＩＲ画像の例である。図１３の点群データを示す図である。本発明の第３の実施例の変形例に係る障害物検出装置の動作を説明するフローチャートである。橙色のラインがあるマンホールのＩＲ画像の例である。図１６の点群データを示す図である。橙色のラインのないマンホールのＩＲ画像の例である。図１７の点群データを示す図である。本発明の実施例に係る障害物検出装置を適用した運転支援システムの構成を示すブロック図である。

本発明に係る障害物検出装置は、ステレオカメラで撮像されたステレオ画像を利用して障害物を検出する。ある実施態様では、障害物検出装置は、自動車等の移動体または輸送機器に搭載され、障害物検出装置の検出結果は、移動体の移動制御等に利用される。

次に、本発明の実施例について図面を参照して詳細に説明する。図３は、本発明の実施例に係る障害物検出装置の構成を示すブロック図である。本実施例の障害物検出装置１００は、左右のＩＲ画像を撮像するＩＲカメラ１１０Ｌ、１１０Ｒ（総称するときはステレオカメラ１１０）と、ステレオカメラ１１０で撮像されたステレオ画像を合成し、深度計算された点群データを生成する点群データ生成部１２０と、点群データに基づき障害物を検出する障害物検出部１３０と、点群データに点群の無効エリアが存在するか否かを識別する無効エリア識別部１４０と、ＩＲ画像に基づき点群の無効エリアにおける特定の対象物を認識する対象物認識部１５０とを含む。

点群データ生成部１２０、無効エリア識別部１４０、対象物認識部１５０および障害物検出部１３０の構成は、コンピュータ装置あるいは電子装置におけるハードウエアおよび／またはソフトウエアにより実施される。ハードウエアは、具体的には、ＧＰＵ（グラフィックプロセッサユニット）、ＣＰＵ、メモリ等の記憶媒体を含み、ソフトウエアは、記憶媒体等に格納されたプログラムやアプリケーションあるいはネットワークを介してサーバ等からダウンロードされたプログラムやアプリケーションを含む。

ステレオカメラ１１０の取り付け位置は特に限定されないが、例えば、図４に示すように、車両Ｍの前方に取り付けら、車両Ｍの前方を撮像する。ＩＲカメラ１１０Ｌ、１１０Ｒは、赤外線を利用するため、夜間であっても物体の撮影が可能である。また、ＩＲカメラ１１０Ｌ、１１０Ｒは、赤外線のパターンまたは模様を照射することもあるが、それらの赤外光は人間の目には見えない光であるため不快を感じさせない利点がある。ＩＲカメラ１１０Ｌ、１１０Ｒは、１秒間に複数のフレームを生成し、１つのフレームを構成する画素は、例えば、２５６階調の輝度で撮像対象を表す。ＩＲカメラで撮像されたＩＲ画像は、赤外線を反射する領域を白く写し、赤外線を吸収する領域を黒く写す、白黒の階調画像である。２つのＩＲカメラ１１０Ｌ、１１０Ｒの画素数および光学特性は同一であり、ＩＲカメラ１１０Ｌ、１１０Ｒの座標位置は既知である。例えば、２つのＩＲカメラ１１０Ｌ、１１０Ｒは、同一の高さ（水平）に一定の距離だけ離間して配置される。

点群データ生成部１２０は、ＩＲカメラ１１０Ｌ、１１０Ｒで撮像されたＩＲ画像を受け取る。点群データ生成部１２０は、左右のＩＲ画像をマッチングし、視差から撮像対象までの深度（距離）を計算し、最終的に図２に示すような、左右のＩＲ画像を合成した撮像対象の３次元位置を表す点群データを生成する。

無効エリア識別部１４０は、点群データに点群の無効エリアが存在するか否か、つまり距離情報が欠落したエリアが存在するか否かを判定し、無効エリアが存在する場合には、無効エリアの位置またはサイズを識別する。無効エリア識別部１４０は、走行上の危険な障害物になり得る大きさか否かを基準に、一定以上の大きさの点群の無効エリアを識別する。例えば、図５に示すように、Ｙ方向（奥行方向）の走査線（Ｙ１，Ｙ２，・・・Ｙｎ）の間隔内にしきい値以上の数の点群が存在しない走査線を識別する。図の例では、点群の無効エリアＰを走査する走査線Ｙ３からＹ６が識別される。次に、識別されたＹ方向の走査線のエリアにおいて、Ｘ方向（水平方向）の走査線の間隔内にしきい値以上の数の点群が存在しない走査線を識別する。図の例では、走査線Ｘ２からＸ４が識別される。こうして、Ｙ方向の走査線Ｙ３からＹ６とＸ方向の走査線Ｘ２からＸ４によって囲まれたエリアが無効エリアと識別される。無効エリア識別部１４０は、これら４つの走査線の各コーナーの座標情報を対象物認識部１５０へ提供する。なお、無効エリアＰの識別方法は、上記に限らず別の方法で行うようにしてもよい。

対象物認識部１５０は、点群の無効エリアを表す座標情報を受け取ると、ＩＲカメラ１１０Ｌまたは１１０Ｒで撮像されたＩＲ画像に基づき、点群の無効エリアに相当するエリアとその周辺の特徴から、画像認識により当該エリアおよびその周辺が特定の対象物か否かを判定する。特定の対象物とは、車両の走行において障害物にならない対象物（例えば、マンホール、白線、水たまり、レール、グレーチング（蓋））であり、これらの特定の対象物は、太陽光の照射度合によって赤外線を強く反射したり、あるいは強く吸収する可能性があり、ＩＲカメラ１１０Ｌ、１１０Ｒの輝度に対するダイナミックレンジを超える可能性がある。特定の対象物としてどのような対象物を選択するのかは予め決定される。

画像認識に用いられるＩＲ画像は、点群データのために合成される前のステレオ画像の一方の画像である。ステレオ画像を用いて画像認識をすることで、対象物認識部１５０は、点群の無効エリアを表す座標情報をそのまま利用して当該無効エリアおよびその周辺の特定の対象物の有無を認識することができる。

ある実施態様では、対象物認識部１５０は、ＡＩ（人工知能）を利用して特定の対象物の有無を判定する。特定の対象物は、上記したように、マンホール、白線、水たまり、レール、グレーチング（蓋）などであり、これらの特徴は教師データとして画像データベースに与えられ、画像データベースは特徴を学習する。対象物認識部１５０は、学習された画像データベースを利用して点群の無効エリアに相当するエリアにおいて特定の対象物の認識を行う。特定の対象物が認識された場合には、点群の無効エリアは、走行上の危険なエリア（例えば、陥没した穴、あるいは道路から突出した段差など）ではないということがわかる。対象物認識部１５０の認識結果は、障害物検出部１３０へ提供される。

障害物検出部１３０は、点群データ生成部１２０で生成された点群データ、無効エリア識別部１４０の識別結果、対象物認識部１５０で認識された認識結果に基づき障害物の有無を判定する。障害物がある場合には、当該障害物の向き、障害物までの距離、障害物の大きさを検出する。

障害物検出部１３０は、点群データに点群の無効エリアが存在する場合であっても、対象物認識部１５０によって点群の無効エリアおよびその近傍に特定の対象物が認識された場合には、点群の無効エリアは障害物ではないと判定する。この場合、障害物検出部１３０は、無効エリアを除いた点群データを参照して障害物の有無を判定することになる。

一方、点群データに点群の無効エリアが存在する場合であって、対象物認識部１５０によって無効エリアに特定の対象物が認識されない場合には、障害物検出部１３０は、点群の無効エリアを障害物と判定する。障害物検出部１３０の検出結果は、車両Ｍの搭乗者への警報や車両Ｍの運転支援あるいは自動運転に利用される。

次に、本実施例の障害物検出装置の動作について図６のフローを参照して説明する。先ず、ステレオカメラ１１０により車両の前方が撮像され（Ｓ１００）、撮像された左右のＩＲ画像が点群データ生成部１２０へ提供される。点群データ生成部１２０は、ステレオ画像を合成し、撮像対象の３次元位置情報である点群データを生成する（Ｓ１１０）。次に、無効エリア識別部１４０は、生成された点群データに点群の無効エリアが存在するか否かを判定する（Ｓ１２０）。点群の無効エリアが存在すると判定された場合、無効エリアを表す座標情報が対象物認識部１５０に提供され、対象物認証部１５０は、点群データの生成に使用されたＩＲカメラ１１０ＬのＩＲ画像に基づき無効エリアに相当するエリアにおいて特定の対象物の認識を行う（Ｓ１３０）。

対象物認識部１５０により特定の対象物が認識された場合（Ｓ１４０）、障害物検出部１３０は、点群の無効エリアを障害物と判定せず、点群の無効エリアを除く点群データに基づき障害物の検出を行う（Ｓ１６０）。一方、対象物認識部１５０により特定の対象物が認識されなかった場合には、障害物検出部１３０は、点群の無効エリアを障害物と判定する（Ｓ１７０）。

このように本実施例によれば、点群の無効エリアが存在する場合、点群データを合成する前の撮像画像に基づいて点群の無効エリアおよびその近傍に相当するエリアに特定の対象物を認識することができたときには、点群の無効エリアを障害物と判定しないようにしたので、点群の無効エリアを自動的に障害物と判定する場合と比較して障害物の誤検出を減らすことができる。また、本実施例によれば、撮像カメラの性能（ダイナミックレンジやＩＲ出力）を上げたり、他のセンサを追加することなく、安価に障害物検出装置の性能を向上させることができる。

なお、本実施例では、点群データの合成前のＩＲ画像を用いて特定の対象物の画像認識を行う例を示したが、ＩＲ画像を用いた画像認識は、あくまでも障害物の誤検出を回避するためのものであり、障害物検出装置の機能を補完するものである。つまり、ＩＲ画像を用いた画像認識だけでは、障害物検出装置の機能を実現することは困難である。画像認識は、障害物の有無や障害物の向きを精度よく判定することができるが、障害物の大きさや障害物までの距離を精度よく判定することは困難だからである

次に、本発明の第２の実施例について説明する。図７は、第２の実施例に係る障害物検出装置の構成を示す図であり、図３と同一構成については同一参照番号を附す。本実施例では、新たにＲＧＢカメラ１６０を含む。ＲＧＢカメラ１６０は、ステレオカメラ１１０と同様に車両Ｍの前方を撮像し、撮像したＲＧＢカラー画像を対象物認識部１５０へ提供する。先の実施例では、対象物認識部１５０は、ＩＲ画像を用いて特定の対象物の画像認識を行ったが、本実施例では、対象物認識部１５０は、ＲＧＢカメラ１６０で撮像されたカラー画像を用いて特定の対象物の画像認識を行う。

ＲＧＢカメラ１６０は、撮像したＲＧＢ画像がステレオカメラ１１０のＩＲ画像と同一の座標空間を表す画像となるように、取付け位置の調整あるいは撮像したＲＧＢ画像の座標変換が行われる。また、対象物認識部１５０によって用いられるＲＧＢ画像は、点群の無効エリアを生じさせたＩＲ画像と同期するものである。

ＩＲ画像は、白黒の濃淡を表す階調画像であるため、ＲＧＢカラー画像と比べて対象物の特徴が限定され、それ故、ＩＲ画像よりもＲＧＢカラー画像を用いた方が対象物の画像認識の精度は向上する。また、ステレオカメラ１１０と別個にＲＧＢカメラ１６０を用いるため、ＲＧＢカメラ１６０の画素数や光学特性は、ステレオカメラ１１０の制約を受けず、ＲＧＢカメラ１６０は、ステレオカメラ１１０よりも高画質のカラー画像を撮像することも可能である。

このように本実施例によれば、点群の無効エリアが識別された場合には、ＲＧＢ画像を用いて特定の対象物の画像認識を行うようにしたので、特定の対象物の画像認識精度が向上し、点群の無効エリアが生じたときの障害物の誤検出を減らすことができる。

なお、上記実施例ではステレオカメラとしてＩＲカメラを用いる例を示したが、本発明はこれに限らず、可視光によりカラー画像を撮像するカメラをステレオカメラに用いるものであってもよい。また、上記実施例では、点群の無効エリアを矩形状としたが、これに限らず、点群の無効エリアは円形状、多角形状で識別するようにしてもよい。また、点群の無効エリアと、認識される特定の対象物との位置関係は、両者が完全に重複する場合のみならず、両者が概ね重複する関係にあれば、無効エリアおよびその近傍のエリアに特定の対象物が画像認識されたとみなしてもよい。

次に、本発明の第３の実施例について説明する。上記した第１および第２の実施例は、撮像対象の輝度に対してカメラのダイナミックレンジが不十分なときに生じる深度欠落エリア（点群の無効エリア）を補うために画像認識を行うが、ＡＩによる画像認識では、認識過程で算出される認識の確信度を使用し、その確信度が予め設定された閾値より高ければ、認識結果を正しいものとして採用することができる。しかし、そのようなＡＩによる画像認識においても、見かけが似ていると、非障害物を障害物にあるいは障害物を非障害物に誤認してしまうことがある。

点群の無効エリアは、白線や横断歩道のように一様に高輝度な対象で発生し易く、例えば、図８に示すような白線と白線との間に段差が形成されたパレット(パレットは、疑似横断歩道の障害物)を、ＩＲ画像上の見た目から横断歩道と誤認識し、パレットの溝を障害物として検出することができない場合がある。パレットは、白線部分が路面とほぼ同じ高さであり、白線と白線との間の溝部分が路面から低い部分である。パレットが高輝度であるとき、白線部分の高輝度により点群データに無効エリアが発生するが、溝部分は高輝度ではないため点群が生成され、つまり溝部分の段差を測位することが可能である。

上記の事象は、画像認識の精度を向上させることで解決できると考えられるが、その反面、感度が低下する懸念がある。精度の向上には、一般に以下の２通りの方法が考えられる。
（１）ＡＩの画像認識において、データ(例えば、図８に示すパレット（疑似横断歩道）が横断歩道ではない」というラベル)を増やして再度学習させる。
（２）画像認識の確信度の閾値を高くして判断基準を厳しくする。

しかし、図８のような疑似横断歩道を学習させると、どのような特徴に着目し、これを非横断歩道と判断をするか分からないため、他の対象の認識結果への影響を予想しづらく、横断歩道を一部認識しなくなるという懸念がある。

図９は、各確信度帯と横断歩道の認識精度との関係を示した棒グラフ、図１０は、確信度閾値を変化させた際の感度と精度との関係を示したグラフである。図９に示すように、画像認識の確信度が低くても横断歩道の認識精度は殆ど変わらないので、言い換えれば、確信度の閾値を高くしても横断歩道の認識精度に大きな影響を及ぼさない。その反面、図１０に示すように、確信度の閾値を高くするほど精度が上がりグラフの右方向に遷移し、感度が大きく下がってしまう。この場合、感度の低下により暗くなった横断歩道が認識対象から外れてしまう方が却って問題になってしまう。

このように、画像認識の精度向上には技術的課題も多いため、第３の実施例では、（１）や（２）で説明したような画像認識の精度を向上させるのではなく、図８に示すパレット(疑似横断歩道)のような、測距はできるが画像認識上誤認識されやすい障害物を正しく検出することを可能にする。

図１１は、本発明の第３の実施例に係る障害物検出装置の構成を示すブロック図であり、図中、図３に示す第１の実施例と同一構成については同一参照番号を附す。第３の実施例において、対象物認識部１５０Ａは、ＩＲ画像を用いて無効エリアにおける特定の対象物の画像認識を行う画像認識部１５２と、画像認識部１５２による画像認識の確信度を提供する確信度提供部１５４と、画像認識に用いられたＩＲ画像の輝度を提供する輝度提供部１５６とを含む。

画像認識部１５２は、特定の対象物の特徴を学習したデータベースを利用し、ＩＲカメラ１１０Ｌで撮像されたＩＲ画像が特定の対象物に該当するか否かの認識を行う。特定の対象物は、例えば、横断歩道、マンホール、白線、レール、グレーチング（蓋）などである。データベースは、それぞれ特定の対象物について、画像データの特徴とその画像データが特定の対象物であることの関係を示す教師ラベルを学習した学習データを格納する。データベースは、例えば、横断歩道に関する学習データ、マンホールに関する学習データ、白線に関する学習データ、レールに関する学習データ、グレーチングに関する学習データをそれぞれ包含する。画像認識部１５２は、第１の実施例のときと同様に、点群の無効エリアが識別されたとき、ＩＲカメラ１１０ＬのＩＲ画像とデータベースとを利用して特定の対象部の画像認識を行う。

確信度提供部１５４は、画像認識部１５２により特定の対象物の画像認識が行われたとき、その画像認識の確信度を障害物検出部１３０Ａに提供する。例えば、画像認識部１５２によりマンホールの画像認識が行われたとき、確信度提供部１５４は、マンホールの画像認識の確信度を取得する。ＩＲ画像から得られたマンホールの特徴がデータベース上のマンホールの特徴と一致する割合が高ければ、それに比例して確信度も高くなる。

輝度提供部１５６は、画像認識部１５２で用いられたＩＲ画像の平均輝度を算出し、算出した平均輝度を障害物検出部１３０Ａに提供する。ＩＲ画像の平均輝度は、ＩＲ画像の全体の平均輝度であってもよいし、画像認識のために用いられたＩＲ画像の一部のエリアの平均輝度であってもよい。また、輝度提供部１５６は、ＩＲ画像または一部のエリアの全ての画素の平均輝度を算出する以外にも、例えば、間引きした画素の平均輝度を算出するようにしてもよい。なお、ＩＲ画像は、白黒の濃淡を表すグレースケールであり、輝度は、グレースケールの値である。さらに輝度提供部１５６は、ＩＲ画像の最大輝度と最小輝度との中間付近に分布する輝度の平均を算出するようにしてもよい。

障害物検出部１３０Ａは、確信度提供部１５４からの確信度や輝度提供部１５６からの輝度に基づき対象物認識部１５０Ａによる認識結果を、障害物の判断に利用するか否かを決定する。

図１２は、本実施例の障害物検出装置の動作を説明するフローチャートである。障害物検出部１３０Ａは、対象物認識部１５０Ａからの認識結果を受け取ると（Ｓ２００）、確信度提供部１５４から提供された確信度が閾値以下か否かを判定する（Ｓ２１０）。閾値は、特定の対象物毎に予め規定され、例えば、０．６（６０％）である。また、障害物検出部１３０Ａは、画像認識部１５２から画像認識結果を受け取る毎に閾値以下か否かを判断する。

確信度が閾値以下である場合にはさらに、輝度提供部１５６から提供されたＩＲ画像の平均輝度が閾値以下か否かを判定する（Ｓ２２０）。閾値は、特定の対象物毎に予め規定され、例えば、１画素が８ビットデータ（最大輝度が２５６）であるとき、閾値は、６０である。障害物検出部１３０Ａは、確信度および平均輝度がそれぞれ閾値以下であれば、対象物認識部１５０Ａの認識結果を使用することなく、測距結果（点群データ）のみで障害物を判断する（Ｓ２３０）。つまり、確信度が低いということは、確信度が高い場合に比べて画像認識の結果が誤りである可能性が大きいということであり、平均輝度が低いということは、点群無効エリアがない可能性が大きいということであり、画像認識部１５２の認識結果を用いると、却って特定の対象物の誤認識を招くおそれがある。

他方、確信度が閾値よりも大きいかあるいは平均輝度が閾値よりも大きい場合には、障害物検出部１３０Ａは、対象物認識部１５０Ａの認識結果を使用して障害物を判断する（Ｓ２４０）。つまり、確信度が高いということは、画像認識の結果が正しい可能性が大きいということであり、平均輝度が高いということは、点群無効エリアがある可能性が大きいということであり、この場合、点群データの無効エリアを補償するために画像認識部１５２の認識結果を利用した方が障害物の検出精度が向上する。

図１３は、横断歩道のＩＲ画像の例であり、図１４は、図１３のＩＲ画像を用いて生成された点群データの例である。図１３のＩＲ画像の平均輝度は５４であり、横断歩道が暗く写っているが白線ははっきりとしており、横断歩道の認識結果の確信度は９９％である。点群データは、図１４に示すように、その一部に測距の乱れが生じ、一部の点群が欠落する。このような場合、輝度が低くても確信度が高いので、対象物認識部１５０Ａの認識結果を用いて障害物の判断が行われる。

次に、本発明の第３の実施例の変形例のフローチャートを図１５に示す。本例では、障害物検出部１３０Ａは、確信度を使用せずにＩＲ画像の平均輝度のみを用いて認識結果の使用の有無を判定する。それ以外は、図１２のフローチャートと同じである。

図１６は、マンホールのＩＲ画像の例であり、マンホールの周囲に橙色の円形状のラインが形成されており、ラインを含むエリアの平均輝度は１２８である。この点群データは、図１７に示すように、ラインに対応する位置に円形状の深度欠落が生じている。一方、図１８は、図１６に示すようなラインが存在しないマンホールのＩＲ画像の例であり、平均輝度は７２であり、その点群データは、図１９に示すように深度欠落は生じていない。

平均輝度の閾値を横断歩道のときと同様に６０に設定すると、道路上の暗い穴を、図１８のようなマンホールとして誤認識することがあり得る。このため、認識結果がマンホールの場合には、平均輝度の閾値を８０に設定し、平均輝度が８０以上のときの認識結果を使用して障害物を判断する。これにより、図１６のようなマンホールが撮影された場合には、平均輝度が閾値より高いためマンホールの画像認識結果を用いて障害物が判断される。一方、図１８のような平均輝度が閾値より低いマンホールが撮影された場合には、図１９に示す点群データを用いて障害物が判断され、これにより、マンホールの誤認識を防止することができる。

本実施例によれば、図８に示した疑似横断歩道の認識精度を、従来と比較して約９６％向上させることができた。また、疑似横断歩道が写っていない通常の実走行においても、横断歩道の認識感度の変化率が２％以内に留まり、ほとんど変わらなかった。感度を変えずに疑似横断歩道を障害物として検出することができるため、従来と同様に、図１３のように暗く映る横断歩道の誤検出を防止しながら障害物の検知感度を向上できている。

上記第３の実施例は、第２の実施例にも適用することができる。この場合、ＲＧＢカメラで撮像されたＲＧＢ画像から算出された輝度情報に基づき画像認識部１５２の認識結果を障害物の検出に使用するか否かが判断される。

次に、本実施例の障害物検出装置を適用した運転支援システムを図２０に示す。運転支援システム２００は、先の第１ないし第３の実施例で説明した障害物検出装置１００／１００Ａ／１００Ｂと、搭乗者に警告を発する警告部２１０と、車両Ｍの運転を支援する運転支援モジュール２２０とを含む。警告部２１０は、例えば、表示部や音声出力部を含み、車両Ｍの前方に障害物が検出されたとき、画像情報や音声情報により障害物が存在することを知らせる。また、運転支援モジュール２２０は、車両Ｍの運転制御と協働して障害物への衝突を未然に防ぐために車両Ｍを減速させたり、あるいは障害物を回避するように車両Ｍの進行方向を変更させる。

また、本実施例の障害物検出装置は、車両以外の輸送機器や移動体にも適用することができることは言うまでもない。

以上、本発明の好ましい実施の形態について詳述したが、本発明は、特定の実施形態に限定されるものではなく、特許請求の範囲に記載された発明の要旨の範囲において、種々の変形、変更が可能である。

１００：障害物検出装置１１０Ｌ、１１０Ｒ：ステレオカメラ
１２０：点群データ生成部１３０：障害物検出部
１４０：無効エリア識別部１５０：対象物認識部
１６０：ＲＧＢカメラ

Claims

ステレオカメラと、
前記ステレオカメラにより撮影されたステレオ画像に基づき点群データを生成する生成手段と、
前記点群データに点群の無効エリアが存在するか否かを判定し、無効エリアが存在する場合には、無効エリアを表す座標情報を提供する無効エリア識別手段と、
生成された点群データに基づき障害物を検出する障害物検出手段と、
前記無効エリア識別手段から提供された座標情報に基づく無効エリアに相当するエリアにおいて、画像認識により特定の対象物が認識されるか否かを判定する認識手段とを備え、
前記障害物検出手段は、前記認識手段により特定の対象物が認識されると判定された場合、無効エリアを障害物と判定せず、特定の対象物が認識されないと判定された場合、無効エリアを障害物と判定し、さらに無効エリアを除いた点群データを用いて障害物を検出する、障害物検出装置。
前記認識手段は、特定の対象物の特徴を学習した画像データベースを利用して無効エリアに相当するエリアにおいて特定の対象物が認識されるか否かを判定する、請求項１に記載の障害物検出装置。
前記認識手段は、点群データの生成のために合成される前の一方のステレオ画像の前記座標情報に基づくエリアにおいて、特定の対象物が認識されるか否かを判定する、請求項１に記載の障害物検出装置。
前記ステレオカメラは赤外線カメラであり、
前記認識手段は、ステレオ画像と同一の座標空間を表すＲＧＢ画像を用いて特定の対象物が認識されるか否かを判定する、請求項１に記載の障害物検出装置。
ステレオカメラと、
前記ステレオカメラにより撮影されたステレオ画像に基づき点群データを生成する生成手段と、
生成された点群データに基づき障害物を検出する障害物検出手段と、
画像認識により特定の対象物を認識する認識手段とを備え、
前記障害物検出手段は、前記認識手段で用いた画像の輝度情報が閾値以下であるとき、前記点群データのみを用いて障害物を検出し、前記輝度情報が閾値を超えるとき、前記点群データおよび前記認識手段の認識結果を用いて障害物を検出する、障害物検出装置。
ステレオカメラと、
前記ステレオカメラにより撮影されたステレオ画像に基づき点群データを生成する生成手段と、
生成された点群データに基づき障害物を検出する障害物検出手段と、
画像認識により特定の対象物を認識する認識手段とを備え、
前記障害物検出手段は、前記認識手段で用いた画像の輝度情報と前記認識手段による画像認識の確信度に基づき前記認識手段の認識結果を使用して障害物を検出するか否かを判定する、障害物検出装置。
前記障害物検出手段は、前記輝度情報が閾値以下であり、かつ前記確信度が閾値以下であるとき、前記点群データのみを用いて障害物を検出し、前記輝度情報および前記確信度の少なくとも一方が閾値を超えるとき、前記点群データおよび前記認識手段の認識結果を用いて障害物を検出する、請求項６に記載の障害物検出装置。
前記輝度情報の閾値は、特定の対象物毎にそれぞれ設定される、請求項５または７に記載の障害物検出装置。
前記特定の対象物は、障害物とならない対象物であり、前記特定の対象物は予め決定される、請求項１または５に記載の障害物検出装置。
前記点群データは、ステレオカメラの撮像画像を合成して得られた距離情報を含む３次元情報であり、点群の無効エリアは、距離情報が欠落したエリアである、請求項２、３または５に記載の障害物検出装置。
前記認識手段は、前記ステレオカメラとは別のカメラで撮像された画像であって、前記ステレオカメラの画像と同期した画像に基づき特定の対象物を認識する、請求項１ないし５いずれか１つに記載の障害物検出装置。
前記ステレオカメラは、赤外線カメラである、請求項１または５に記載の障害物検出装置。
前記ステレオカメラは、移動体の前方を撮像する、請求項１または５に記載の障害物検出装置。
請求項１ないし１３いずれか１つに記載の障害物検出装置と、
前記障害物検出装置による検出結果を利用して移動体の移動を制御する制御手段と、
を含む移動体。
ステレオカメラにより撮像されたステレオ画像を用いて障害物の検出を行う障害物検出方法であって、
前記ステレオカメラにより撮影されたステレオ画像に基づき撮像対象の距離情報を含む点群データを生成するステップと、
前記点群データに含まれる点群の無効エリアの有無を識別し、無効エリアが識別された場合には、無効エリアを表す座標情報を提供するステップと、
提供された座標情報に基づく無効エリアに相当するエリアにおいて、画像認識により特定の対象物が認識されるか否かを判定するステップと、
特定の対象物が認識されると判定された場合、無効エリアを障害物と判定せず、特定の対象物が認識されないと判定された場合、無効エリアを障害物と判定し、さらに無効エリアを除いた点群データを用いて障害物を検出するステップと、
を含む障害物検出方法。
ステレオカメラにより撮像されたステレオ画像を用いて障害物の検出を行う障害物検出方法であって、
前記ステレオカメラにより撮影されたステレオ画像に基づき撮像対象の距離情報を含む点群データを生成するステップと、
前記点群データに含まれる点群の無効エリアの有無を識別するステップと、
点群の無効エリアにおいて特定の対象物の有無を認識するステップと、
前記認識するステップで用いた画像の輝度情報に基づき前記認識するステップの認識結果を使用して障害物を検出するか否かを判定するステップとを含み、
前記判定するステップは、前記輝度情報が閾値以下であるとき、前記点群データのみを用いて障害物を検出し、前記輝度情報が閾値を超えるとき、前記点群データおよび前記認識するステップの認識結果を用いて障害物を検出する、障害物検出方法。
ステレオカメラにより撮像されたステレオ画像を用いて障害物の検出を行う障害物検出方法であって、
前記ステレオカメラにより撮影されたステレオ画像に基づき撮像対象の距離情報を含む点群データを生成するステップと、
前記点群データに含まれる点群の無効エリアの有無を識別するステップと、
点群の無効エリアにおいて特定の対象物の有無を認識するステップと、
前記認識するステップで用いた画像の輝度情報と前記認識するステップによる画像認識の確信度に基づき前記認識するステップの認識結果を使用して障害物を検出するか否かを判定ステップと、
を含む障害物検出方法。
電子装置によって実行される障害物検出プログラムであって、
ステレオカメラにより撮影されたステレオ画像に基づき撮像対象の距離情報を含む点群データを生成するステップと、
前記点群データに含まれる点群の無効エリアの有無を識別し、無効エリアが識別された場合には、無効エリアを表す座標情報を提供するステップと、
提供された座標情報に基づく無効エリアに相当するエリアにおいて、画像認識により特定の対象物が認識されるか否かを判定するステップと、
特定の対象物が認識されると判定された場合、無効エリアを障害物と判定せず、特定の対象物が認識されないと判定された場合、無効エリアを障害物と判定し、さらに無効エリアを除いた点群データを用いて障害物を検出するステップと、
を含む障害物検出プログラム。
電子装置によって実行される障害物検出プログラムであって、
ステレオカメラにより撮影されたステレオ画像に基づき撮像対象の距離情報を含む点群データを生成するステップと、
前記点群データに含まれる点群の無効エリアの有無を識別するステップと、
点群の無効エリアにおいて特定の対象物の有無を認識するステップと、
前記認識するステップで用いた画像の輝度情報に基づき前記認識するステップの認識結果を使用して障害物を検出するか否かを判定するステップとを含み、
前記判定するステップは、前記輝度情報が閾値以下であるとき、前記点群データのみを用いて障害物を検出し、前記輝度情報が閾値を超えるとき、前記点群データおよび前記認識するステップの認識結果を用いて障害物を検出する、障害物検出プログラム。
電子装置によって実行される障害物検出プログラムであって、
前記ステレオカメラにより撮影されたステレオ画像に基づき撮像対象の距離情報を含む点群データを生成するステップと、
前記点群データに含まれる点群の無効エリアの有無を識別するステップと、
点群の無効エリアにおいて特定の対象物の有無を認識するステップと、
前記認識するステップで用いた画像の輝度情報と前記認識するステップによる画像認識の確信度に基づき前記認識するステップの認識結果を使用して障害物を検出するか否かを判定ステップと、
を含む障害物検出プログラム。