JP5395373B2 - 周辺監視装置 - Google Patents

Description

本発明は、自動車周辺の障害物等を監視する技術に関するものである。

自動車周辺の障害物等を監視する技術としては、自動車の走行中に異なる時点において異なる位置から撮影した複数の自動車周辺の画像に写り込んだ被写体の、撮影位置の相違に寄らない形状の変化に基づいて、自動車周辺の立体物を検出する技術が知られている（たとえば、特許文献１）。

また、被写領域が重複するように複数のカメラによって自動車周辺を撮影した複数の画像の各々に視点変換を施して、自動車周辺を俯瞰した画像である俯瞰画像を複数生成し、生成した複数の俯瞰画像の同一の被写領域を表す部分間の差分に基づいて自動車周辺の立体物を検出する技術も知られている（たとえば、特許文献２）。
特開平10-22267号公報 特開2006-339960号公報

前記特許文献２記載の技術によれば、自動車周辺の立体物を検出するために複数のカメラが必要となる。
一方、前記特許文献２記載の技術に前記特許文献１記載の技術を適用し、単一のカメラを用いて異なる時点において異なる位置から撮影した自動車周辺の複数の画像の各々に視点変換を施して生成した複数の俯瞰画像の同一の被写領域を表す部分間の差分に基づいて自動車周辺の立体物を検出するようにすれば、単一のカメラを用いて自動車周辺の立体物を検出することができるようになる。

しかしながら、視点変換により作成される俯瞰画像の周辺部や遠方の被写体が写り込む部分は、視点変換における変換誤差や画素補間の影響により写実性についての信頼性が低く、当該周辺部を用いて立体物等の障害物の検出を行うと精度の良い障害物の検出が行えなくなる。一方、このような俯瞰画像の周辺部を用いずに障害物の検出を行うようにすると、障害物の検出範囲が狭く限定されてしまうという問題が生じることになる。

そこで、本発明は、自動車周辺のできるだけ広い範囲について、精度良く障害物を、単一のカメラを用いて検出することのできる周辺監視装置を提供することを課題とする。

前記課題達成のために、本発明は、自動車に搭載される周辺監視装置に、前記自動車の周辺を撮影するカメラと、前記自動車が走行中であるか否かを検出する走行中検出手段と、前記カメラが撮影した画像に基づいて前記自動車の周辺の障害物を検出する障害物検出手段とを備え、前記障害物検出手段において、前記走行中検出手段が、前記自動車が走行中であることを検出している期間は、前記カメラが異なる複数の時点で撮影した複数の撮影画像各々の一部分を視点変換して生成した、前記自動車の周辺を上方より観察したようすを表す複数の俯瞰画像の、同一の被写領域に対応する画像部分間の差分に基づいて障害物を検出し、前記走行中検出手段が、前記自動車が走行していないことを検出している期間は、前記カメラが異なる複数の時点で撮影した複数の撮影画像全体間の差分に基づいて障害物を検出するようにしたものである。

このように周辺監視システムを構成することにより、自動車の走行中に、単一のカメラを用いて異なる複数の時点に撮影した撮影画像を視点変換した複数の俯瞰画像に基づいて自動車周辺の立体物や移動する物体を検出する周辺監視システムにおいて、自動車が走行していないときに、単一のカメラを用いて異なる複数の時点に撮影した撮影画像の全体を用いて、自動車周辺の広い範囲について精度よく移動する物体を検出することができるようになる。

ここで、このような周辺監視システムは、前記障害物検出手段において、前記走行中検出手段が前記自動車が走行中であることを検出している期間に、前記複数の俯瞰画像を、前記カメラが異なる複数の時点で撮影した複数の撮影画像各々の一部分を視点変換して生成するように構成してもよい。
このようにすることにより、撮影画像の当該撮影画像から生成する俯瞰画像の写実性を確保できる部分を前記一部分として設定して、自動車の走行中に、単一のカメラを用いて自動車周辺の立体物や移動する物体を、より精度良く検出することができるようになる。

以上のように、本発明によれば、自動車周辺のできるだけ広い範囲について、精度良く障害物を、単一のカメラを用いて検出することができる。

以下、本発明の実施形態を説明する。
図１ａに、本実施形態に係る周辺監視システムの構成を示す。
図示するように、周辺監視システムは、リアカメラ１、カレント画像バッファ２、視点変換画像生成部３、セレクタ４、参照画像バッファ５、射影変換部６、差分画像生成部７、障害物領域抽出部８、障害物表示画像生成部９、表示装置１０、制御部１１、車両状態センサ１２とを備えている。

ここで、リアカメラ１は、図１ｂに示すように自動車の後部に配置され、自動車後方を撮影する広角のカメラである。但し、リアカメラ１は、被写体の左右を反転した鏡像画像を撮影画像として出力するものとする。また、車両状態センサ１２は、自動車の車速やパーキングブレーキの制動状態や舵角や角速度などの、自動車の各種状態を検出するセンサである。
なお、周辺監視システムは、ハードウエアとしては、マイクロプロセッサやメモリやその他の周辺装置を備えたコンピュータを用いて構成することもでき、この場合、リアカメラ１と表示装置１０を除く周辺監視システムの各部は、マイクロプロセッサが所定のプログラムを実行することにより実現されるものであってよい。

以下、このような車載監視システムの動作について説明する。
まず、制御部１１が行う障害物検出方式切替処理について説明する。
図２に、この障害物検出方式切替処理の手順を示す。
図示するように、この処理において制御部１１は、車両状態センサ１２で検出している車速やパーキングブレーキの制動状態等に基づいて、自動車が停止しているかどうかを調べ（ステップ２０２）、停止していない場合には、視点変換画像基準障害物検出モードを、セレクタ４、射影変換部６、障害物表示画像生成部９の各部に設定し（ステップ２０４）、停止している場合には、撮影画像基準障害物検出モードを、セレクタ４、射影変換部６、障害物表示画像生成部９の各部に設定する（ステップ２０６）処理を繰り返し行う。

以下、このようにして、制御部１１によって、視点変換画像基準障害物検出モードが設定されているときの動作と、制御部１１によって、撮影画像基準障害物検出モードが設定されているときの動作について説明する。
まず、視点変換画像基準障害物検出モードが設定されているときの動作について説明する。
この場合、リアカメラ１は、画像撮影周期毎に、自動車後方を撮影した画像をカレント撮影画像としてカレント画像バッファ２に格納する。
カレント画像バッファ２は、画像撮影周期毎に、格納しているカレント撮影画像を、視点変換画像生成部３とセレクタ４と障害物表示画像生成部９に出力する。
そして、視点変換画像生成部３は、カレント画像バッファ２から入力するカレント撮影画像に視点変換処理を施して自動車後方を上方より俯瞰した俯瞰画像をカレント俯瞰画像として生成し、セレクタ４に出力する。
セレクタ４は、視点変換画像基準障害物検出モードが設定されているときには、視点変換画像生成部３から入力するカレント俯瞰画像を差分画像生成部７に出力すると共に、視点変換画像生成部３から入力するカレント俯瞰画像を参照俯瞰画像として参照画像バッファ５に格納する。なお、参照画像バッファ５は、新たな参照俯瞰画像の書き込みと、前回書き込んだ参照俯瞰画像の読み出しを並行して行えるように構成されている。このような機能は、たとえば、参照画像バッファ５として、デュアルポートメモリを用いたり、参照画像バッファ５を、ダブルバッファやFIFOとして構成することにより実現できる。

ここで、制御部１１は、画像撮影周期毎に、車両状態センサ１２で検出した車速や舵角や角速度より、前記画像撮影周期以後の自動車の位置と向きの変化量を測定し、射影変換部６に出力する。
そして、射影変換部６は、視点変換画像基準障害物検出モードが設定されているときには、画像撮影周期毎に、参照画像バッファ５から、前回参照画像バッファ５に書き込まれた参照俯瞰画像（前回の画像撮影周期のカレント俯瞰画像であるところの参照俯瞰画像）を読み出して射影変換し、差分画像生成部７に出力する。ここで、この参照俯瞰画像の射影変換は、自動車後方の地面が平坦であった場合に自動車後方の地面上の同じ位置が写り込む、参照俯瞰画像の画素と、セレクタ４から出力される今回のカレント俯瞰画像の画素とが、同じ画素座標を有するように、制御部１１から入力する自動車の位置と向きの変化量に基づいて、参照俯瞰画像を射影変換することにより行う。但しこの参照俯瞰画像の射影変換は、参照俯瞰画像上の特徴パターンと、今回のカレント俯瞰画像上の、前記参照俯瞰画像上の特徴パターンに対応する特徴パターンとが同じ座標を有するように、カレント俯瞰画像を参照して、参照俯瞰画像を射影変換するようにしてもよい。

次に、差分画像生成部７は、セレクタ４から入力するカレント俯瞰画像の検出領域と、射影変換部６から出力される射影変換後の参照俯瞰画像の検出領域との重複部分について、両画像の差分を求め、差分画像として、障害物領域抽出部８に出力する。なお、検出領域としては、各俯瞰画像中の、撮影画像の周縁部に対応する領域や、撮影画像の自動車から遠隔地点が写り込む領域を除く、写実性の信頼度の高い領域を検出領域として設定する。

但し、射影変換後の参照俯瞰画像の前記重複部分の画像と、カレント俯瞰画像の前記重複部分の画像とについて、各画像に含まれるエッジを抽出したエッジ画像を生成し、生成した両エッジ画像の差分を差分画像とするようにしてもよい。
次に、障害物領域抽出部８は、差分画像生成部７から出力された差分画像より、カレント俯瞰画像の検出領域中において、射影変換後の参照俯瞰画像と差分が存在する領域を求め、求めた領域を障害物が写り込んでいる領域として抽出し、障害物表示画像生成部９に出力する。

そして、障害物表示画像生成部９は、視点変換画像基準障害物検出モードが設定されているときには、障害物領域抽出部８が抽出した障害物が写り込んでいる領域に対応する、カレント画像バッファ２から入力するカレント撮影画像上の領域を障害物検知領域として逆視点変換などにより求め、求めた障害物検知領域をカレント撮影画像上で表した障害物表示画像を生成し、表示装置１０に表示する。但し、リアカメラ１の広角レンズの歪み補正をカレント撮影画像に施した上で、カレント撮影画像上に求めた障害物検知領域を表した画像を障害物表示画像として生成して表示するようにしてもよい。

ここで、このような視点変換画像基準障害物検出モードが設定されているときの動作の動作例を図３に示す。
いま、現在時刻をＴ、Ｔの一つ画像撮影周期前の時刻を前撮影時刻Ｔ-１とし、このＴ-１、Ｔを含む期間において自動車は走行しているものとする。また、前撮影時刻Ｔ-１から現在時刻Ｔに進む間に、現自動車が、ａ２からａ１に示すように移動したものとする。
また、このＴ-１、Ｔを含む期間において、自動車の後方には立体物である障害物３０１が存在しているものとする。
この場合、現在時刻Ｔにおいて撮影された撮影画像はｂ１に示す画像となり、前撮影時刻Ｔ-１において撮影された撮影画像はｂ２に示す画像となる。
すると、その後、現在時刻Ｔにおいて撮影された撮影画像ｂ１がカレント画像としてカレント画像バッファ２から出力され、視点変換画像生成部３によってｃ１に示すようにカレント俯瞰画像に変換された時点では、参照俯瞰画像は前撮影時刻Ｔ-１において撮影されたｂ２に示す画像を視点変換したｃ２に示すものとなる。また、カレント俯瞰画像と、参照俯瞰画像との、視点変換による写実性の低下の度合いの小さい領域に検出領域３０２が設定されることになる。

そして、この場合、射影変換部６によって、ｃ２に示す参照俯瞰画像が、ｄ１に示すように射影変換され、射影変換後の参照俯瞰画像の検出領域３０２とｃ１のカレント俯瞰画像の検出領域３０２との重複部分３０２０の差分が差分画像生成部７において求められ、ｄ２に示す差分画像が生成される。そして、このｄ２の差分画像より、障害物領域抽出部８によって障害物検知領域３０３が求められる。

そして、障害物表示画像生成部９によって、ｅに示すように、カレント撮影画像上に、障害物検知領域３０３を示す矩形３０４を配置した画像が、障害物表示画像として表示装置１０に表示されることになる。
ここで、立体物である障害物３０１は、異なる位置で撮影した撮影画像を視点変換した俯瞰画像ｃ１、ｃ２において、異なる形状で写り込むので、以上の処理により、ｅの障害物表示画像の矩形３０４で示したように、障害物表示画像上の、障害物３０１が写り込んでいる位置やその周辺に正しく障害物を検知し、ユーザに提示することができることになる。

なお、移動する障害物についても、立体物である障害物３０１と同様に以上の処理によって検出、提示することができる。
次に、撮影画像基準障害物検出モードが設定されているときの動作について説明する。
この場合にも、リアカメラ１は、画像撮影周期毎に、自動車後方を撮影した画像をカレント撮影画像としてカレント画像バッファ２に格納する。
また、カレント画像バッファ２は、画像撮影周期毎に、格納しているカレント撮影画像を、視点変換画像生成部３とセレクタ４と障害物表示画像生成部９に出力する。
そして、セレクタ４は、撮影画像基準障害物検出モードが設定されているときには、画像撮影周期毎に、カレント画像バッファ２から入力するカレント撮影画像を差分画像生成部７に出力すると共に、当該カレント撮影画像を参照撮影画像として参照画像バッファ５に格納する。なお、撮影画像基準障害物検出モードが設定されているときには、視点変換画像生成部３は、視点変換画像の生成を行わないようにしてよい。

そして、射影変換部６は、撮影画像基準障害物検出モードが設定されているときには、画像撮影周期毎に、参照画像バッファ５から、前回のカレント撮影画像であるところの参照撮影画像を読み出して、射影変換を施すことなく、そのまま差分画像生成部７に出力する。
次に、差分画像生成部７は、セレクタ４から入力するカレント撮影画像と、射影変換部６から出力される参照撮影画像との被写領域が重複する部分について、両画像の差分を求め、差分画像として、障害物領域抽出部８に出力する。但し、参照撮影画像とカレント撮影画像の、相互に被写領域が重複する部分の画像について、各画像に含まれるエッジを抽出したエッジ画像を生成し、生成した両エッジ画像の差分を差分画像とするようにしてもよい。

次に、障害物領域抽出部８は、差分画像生成部７から出力された差分画像より、カレント撮影画像中において、射影変換後の参照撮影画像と差分が存在する領域を求め、求めた領域を障害物が写り込んでいる領域として抽出し、障害物表示画像生成部９に出力する。
そして、障害物表示画像生成部９は、撮影画像基準障害物検出モードが設定されているときには、障害物領域抽出部８が抽出した障害物が写り込んでいる領域を障害物検知領域とし、障害物検知領域をカレント撮影画像上で表した障害物表示画像を生成し、表示装置１０に表示する。但し、リアカメラ１の広角レンズの歪み補正をカレント撮影画像に施した上で、カレント撮影画像上に求めた障害物検知領域を表した画像を障害物表示画像として生成して表示するようにしてもよい。

ここで、このような撮影画像基準障害物検出モードが設定されているときの動作の動作例を図４に示す。
いま、現在時刻をＴ、Ｔの一つ画像撮影周期前の時刻を前撮影時刻Ｔ-１とし、このＴ-１、Ｔを含む期間において自動車は停止しているものとする。また、現在時刻Ｔにおいて自動車がａ１に示す位置にあり、この位置は、ａ２に示す前撮影時刻Ｔ-１における自動車の位置と等しいものとする。

そして、前画像撮影周期Ｔ-１から現在時刻Ｔに進む間に、自動車後方の障害物４０１は、ａ２からａ１に示すように移動したものとする。
この場合、現在時刻Ｔにおいて撮影された撮影画像はｂ１に示す画像となり、前撮影時刻Ｔ-１において撮影された撮影画像はｂ２に示す画像となる。
すると、その後、現在時刻Ｔにおいて撮影された撮影画像ｂ１がカレント画像としてカレント画像バッファ２から出力された時点では、参照撮影画像は前撮影時刻Ｔ-１において撮影されたｂ２に示す画像となる。
そして、この場合、差分画像生成部７において、ｂ１のカレント撮影画像とｂ２の参照撮影画像の差分がｃ１に示すように求められ、ｃ２に示す差分画像が生成される。そして、このｃ２の差分画像より、障害物領域抽出部８によって障害物検知領域４０２が求められる。

そして、障害物表示画像生成部９によって、ｄに示すように、カレント撮影画像上に、障害物検知領域４０２を示す矩形４０３を配置した画像が、障害物表示画像として表示装置１０に表示されることになる。
ここで、移動する障害物４０１は、異なる時点で撮影した撮影画像にｂ１、ｂ２に示すように異なる位置、形状で写り込むので、以上の処理により、ｄの矩形４０３で示したように、カレント撮影画像上の、障害物４０１が写り込んでいる位置やその周辺に正しく障害物を検知し、ユーザに提示することができることになる。

以上、本発明の実施形態について説明した。
このように本実施形態によれば、自動車の走行中は、単一のリアカメラ１を用いて異なる複数の時点に撮影した撮影画像の、生成する俯瞰画像の写実性を確保できる一部分を視点変換した複数の俯瞰画像に基づいて自動車周辺の立体物や移動する物体を良好に検出しつつ、自動車が走行していないときには、単一のリアカメラ１を用いて異なる複数の時点に撮影した撮影画像の全体を用いて、自動車周辺の広い範囲について移動する物体を検出することができるようになる。

なお、自動車が停止していないときに俯瞰画像を用いて障害物の検出を行うのは、俯瞰画像では、撮影位置の相違による立体物の形状変化が大きくなるために、より効果的に立体物の検出を行えるようになるからである。
また、以上では、リアカメラ１を備えて自動車後方の障害物を検出する場合について説明したが、フロントカメラを備えて自動車前方の障害物を検出する場合など、本実施形態は、任意方向の障害物を検出する場合に、同様に適用することができる。

本発明の実施形態に係る周辺監視システムの構成を示すブロック図である。 本発明の実施形態に係る障害物検出方式切替処理を示すフローチャートである。 本発明の実施形態に係る周辺監視システムの動作例を示す図である。 本発明の実施形態に係る周辺監視システムの動作例を示す図である。

符号の説明

１…リアカメラ、２…カレント画像バッファ、３…視点変換画像生成部、４…セレクタ、５…参照画像バッファ、６…射影変換部、７…差分画像生成部、８…障害物領域抽出部、９…障害物表示画像生成部、１０…表示装置、１１…制御部、１２…車両状態センサ。

Claims (2)

1. 自動車に搭載される周辺監視装置であって、
   前記自動車の周辺を撮影するカメラと、
   前記自動車が走行中であるか否かを検出する走行中検出手段と、
   前記カメラが撮影した画像に基づいて前記自動車の周辺の障害物を検出する障害物検出手段とを有し、
   前記障害物検出手段は、
   前記走行中検出手段が前記自動車が走行中であることを検出している期間は、前記カメラが異なる複数の時点で撮影した複数の撮影画像各々を視点変換して生成した、前記自動車の周辺を上方より観察したようすを表す複数の俯瞰画像の、当該俯瞰画像の周縁部を除く領域中の、同一の被写領域に対応する画像部分間の差分に基づいて障害物を検出し、
   前記走行中検出手段が、前記自動車が走行していないことを検出している期間は、前記カメラが異なる複数の時点で撮影した複数の撮影画像全体間の差分に基づいて障害物を検出することを特徴とする周辺監視装置。
2. 自動車に搭載される、自動車の周辺を撮影するカメラを備えた周辺監視装置において、障害物を検出する障害物検出方法であって、
   前記周辺監視装置が、前記自動車が走行中であるか否かを検出する走行中検出ステップと、
   前記周辺監視装置が、前記カメラが撮影した画像に基づいて前記自動車の周辺の障害物を検出する障害物検出ステップとを有し、
   前記障害物検出ステップは、
   前記自動車が走行中であることが検出されている期間は、前記カメラが異なる複数の時点で撮影した複数の撮影画像各々を視点変換して生成した、前記自動車の周辺を上方より観察したようすを表す複数の俯瞰画像の、当該俯瞰画像の周縁部を除く領域中の、同一の被写領域に対応する画像部分間の差分に基づいて障害物を検出し、
   前記自動車が走行していないことが検出されている期間は、前記カメラが異なる複数の時点で撮影した複数の撮影画像全体間の差分に基づいて障害物を検出するステップであることを特徴とする障害物検出方法。