JP4315117B2 - 車両周辺監視システム - Google Patents

Description

本発明は、車両周辺における障害物の存在を検出する障害物検出手段と、前記障害物検出手段により障害物の存在が検出された場合に障害物の存在を報知手段により報知可能な制御手段とを備えた車両周辺監視システムに関する。

従来より、車両周辺の障害物を検出して運転手に報知するものとして、音波を利用するものや（例えば特許文献１参照）、撮影画像のコントラスト差を利用するものがある（例えば特許文献２参照）。
特開２００２−５９７９８号公報 特開平９−２８７９１５号公報

ところで、音波を利用して障害物を検出する方法では、ある程度の検出範囲を実現するためにある程度の検出距離を確保する必要がある。しかしながら、音波が上下方向にある程度の拡がりをもって送出されるという事情から、検出距離が所定距離以上になってしまうと、地面にある小石や輪止めなどの危険な障害物とはなり得ない障害物をも検出して報知することになるので、運転中の安心感を運転手に適切に与えることができないという問題がある。また、撮影画像のコントラスト差を利用して障害物を検出する方法では、撮影画像の領域全体を画像処理する必要があるので、処理能力の高いＣＰＵが必要になるという問題もある。

本発明は、上記した事情に鑑みてなされたものであり、その目的は、検出された障害物が危険な障害物であるか安全な障害物であるかを運転手に適切に報知することにより、運転中の安心感を運転手に適切に与えることができ、しかも、処理能力の高いＣＰＵを必要とすることなく実現することができる車両周辺監視システムを提供することにある。

請求項１に記載した発明によれば、制御手段は、車両周辺における障害物の存在が障害物検出手段により検出され、その検出された障害物の検出距離が所定距離（例えば検出された全ての障害物を危険な障害物して報知する必要がある最大の距離）以上であると、当該障害物の検出距離から当該障害物検出手段の検出誤差を減算した地点から撮影手段の高さおよび障害物の仮の高さに基づいて算出した検出完了地点までの範囲を画像処理を施す領域として限定し、撮影手段により撮影された撮影画像が視点変換された視点変換画像のうち当該限定した領域に対して画像処理を施して障害物の高さを取得し、その取得された障害物の高さが所定高さ（例えば車両の走行に支障がないと許容される最大の高さ（例えばバンパーの高さなど））未満であれば、検出された障害物を安全な障害物として報知手段により報知させるかまたは検出された障害物の報知を禁止し、これに対して、その取得された障害物の高さが所定高さ以上であれば、検出された障害物を危険な障害物として報知手段により報知させる。

これにより、例えば人物が検出距離以上で検出されれば、その検出された人物を危険な障害物として報知し、これに対して、例えば地面にある小石や輪止めなどが検出距離以上で検出されれば、その検出された小石や輪止めなどを安全な障害物として報知するかまたは報知しないことになるので、検出された障害物が危険な障害物であるか安全な障害物であるかを運転手に適切に報知することができ、運転中の安心感を運転手に適切に与えることができる。しかも、この場合、視点変換画像に対して画像処理を施して障害物の高さを取得するので、撮影画像の領域全体を画像処理する必要がなく、処理能力の高いＣＰＵを必要とすることなく実現することができる。

請求項２に記載した発明によれば、制御手段は、障害物の高さが所定高さ未満であれば、検出された障害物を安全な障害物として撮影画像に重ねて表示手段に表示させる。これにより、検出された障害物が安全な障害物である旨を運転手に視覚的に報知することができる。

請求項３に記載した発明によれば、制御手段は、障害物の高さが所定高さ未満であれば、検出された障害物を安全な障害物として鳥瞰画像に重ねて表示手段に表示させる。これにより、この場合も、検出された障害物が安全な障害物である旨を運転手に視覚的に報知することができる。また、この場合は、障害物を鳥瞰画像に重ねて表示するので、運転手に距離感を与えることもできる。

請求項４に記載した発明によれば、制御手段は、障害物の高さが所定高さ未満であれば、検出された障害物を車両端部からの距離を示す距離表示ラインや距離表示マークと共に鳥瞰画像に重ねて表示手段に表示させる。これにより、車両端部から障害物までの距離をも運転手に視覚的に報知することができる。

請求項５に記載した発明によれば、制御手段は、撮影手段により撮影された撮影画像が視点変換された視点変換画像の一部に対して画像処理を施して障害物の高さを取得する。これにより、視点変換画像の全体に対して画像処理を施すのではなく、視点変換画像の（限定された）一部に対して画像処理を施すことにより、障害物の高さを取得するのに要するシステム全体の負荷を軽減することができる。

請求項７に記載した発明によれば、制御手段は、車両周辺における障害物の存在が障害物検出手段により検出されると、当該障害物の検出距離から当該障害物検出手段の検出誤差を減算した地点から撮影手段の高さおよび障害物の仮の高さに基づいて算出した検出完了地点までの範囲を画像処理を施す領域として限定し、撮影手段により撮影された撮影画像が視点変換された視点変換画像のうち当該限定した領域に対して画像処理を施して障害物の高さを取得し、その取得された障害物の高さが所定高さ（例えば車両の走行に支障がないと許容される最大の高さ（例えばバンパーの高さなど））未満であれば、検出された障害物を安全な障害物として報知手段により報知させるかまたは検出された障害物の報知を禁止し、これに対して、その取得された障害物の高さが所定高さ以上であれば、検出された障害物を危険な障害物として報知手段により報知させる。

これにより、例えば人物が検出距離に関係なく検出されれば、その検出された人物を危険な障害物として報知し、これに対して、例えば地面にある小石や輪止めなどが検出距離に関係なく検出されれば、その検出された小石や輪止めなどを安全な障害物として報知するかまたは報知しないことになるので、検出された障害物が危険な障害物であるか安全な障害物であるかを運転手に適切に報知することができ、運転中の安心感を運転手に適切に与えることができる。しかも、この場合、視点変換画像に対して画像処理を施して障害物の高さを取得するので、撮影画像の領域全体を画像処理する必要がなく、処理能力の高いＣＰＵを必要とすることなく実現することができる。

以下、本発明の一実施形態について、図面を参照して説明する。まず、図１は、システムの全体構成を概略的に示している。車両周辺監視システム１は、車両２に搭載され、御装置３（本発明でいう制御手段）、車載カメラ４（本発明でいう撮影手段）、音波ソナー５（本発明でいう障害物検出手段）および表示装置６（本発明でいう報知手段、表示手段）を備えて構成されている。

制御装置３は、ＣＰＵ、ＲＡＭ、ＲＯＭ、Ｉ／Ｏバスなどを備えて構成され、制御プログラムを実行することによりシステムの動作全般を制御する。車載カメラ４は、車両２の後側（図１では右側）上部に取付けられており、車両２の後側下方を撮影し、撮影された撮影画像を制御装置３に出力する。音波ソナー５は、車両２の後側下部に取付けられており、車両２の後方へ水平方向（図１中「Ｐ」参照）を中心として上下方向にある程度の拡がりをもって音波を送出するようになっており、音波を送出してから反射波が受けられたか否かに基づいて障害物が存在するか否かを検出し、その検出結果を制御装置３に出力する。この場合、音波ソナー５は、障害物を検出した場合には、音波を送出してから反射波が受けられるまでの時間に応じて検出距離を算出して制御装置３に出力する。表示装置６は、車室内にあって運転手が見易い位置に配置されており、画像を表示する表示機能を有すると共に運転手の操作をタッチパネルにより受付ける操作受付機能を有して構成されている。

尚、上記した構成では、音波ソナー５が音波を送出する領域（図１中「Ｐ１」，「Ｐ２」にて示す領域）と車載カメラ４が撮影する領域（図１中「Ｑ１」，「Ｑ２」にて示す領域）とは重複するようになっており、つまり、車載カメラ４は、音波ソナー５が障害物の存在を検出する領域を撮影するようになっている。また、この場合、車両周辺監視システム１の一部がカーナビゲーション装置により構成されていても良く、例えば表示装置６がカーナビゲーション装置のモニタから構成されていても良い。

次に、上記した構成の作用について、図２ないし図５を参照して説明する。ここで、図２および図３は、制御装置３が行う処理をフローチャートとして示している。制御装置３は、システムの起動状態では、音波ソナー５により障害物の存在が検出されたか否かを監視しており（ステップＳ１）、音波ソナー５により障害物の存在が検出されると（ステップＳ１にて「ＹＥＳ」）、その障害物の検出距離が所定距離以上であるか否かを判定する（ステップＳ２）。この場合、所定距離とは、検出された全ての障害物を危険な障害物として報知する必要がある最大の距離であり、例えば「５０センチメートル」である。

ここで、制御装置３は、その障害物の検出距離が所定距離未満であれば（ステップＳ２にて「ＮＯ」）、検出された障害物を危険な障害物として車載カメラ４により撮影された撮影画像に重ねて表示装置６に表示させる（ステップＳ３）。これにより、運転手は、障害物が検出され、その検出された障害物の検出距離が所定距離未満であると、その検出された障害物が危険な障害物として撮影画像に重ねられて表示装置６に表示されることにより、車両２から所定距離未満のエリアに危険な障害物が存在することを確認することができる（図１では、障害物「Ｚ１」の存在を確認することができる）。

これに対して、制御装置３は、その障害物の検出距離が所定距離以上であれば（ステップＳ２にて「ＹＥＳ」）、車載カメラ４により撮影された撮影画像が視点変換された視点変換画像に対して画像処理を施して障害物の高さを算出する（ステップＳ４）。ここで、画像処理について、図３および図４を参照して説明する。

制御装置３は、画像処理へ移行すると、車載カメラ４により撮影された時間差を存する２つの撮影画像の各々を真上からの視点で視点変換して２つの視点変換画像を生成する。このとき、車両２が図４中「Ａ」にて示す地点に位置している時点で車載カメラ４により撮影された撮影画像が視点変換された視点変換画像を視点変換画像ａとすると共に、車両２が「Ａ」にて示す地点から図４中「Ｂ」にて示す地点に移動し、車両２が「Ｂ」にて示す地点に位置している時点で車載カメラ４により撮影された撮影画像が視点変換された視点変換画像を視点変換画像ｂとすると、視点変換画像ａおよび視点変換画像ｂには、それぞれ障害物の２箇所の端部（エッジ）（図４では左下端部と左上端部）に対応する２つの特徴点（図４中「ａ１」，「ａ２」，「ｂ１」，「ｂ２」参照）が表れる。

さて、制御装置３は、音波ソナー５による障害物の検出距離を「Ｌ」、音波ソナー５による検出誤差を「Ｌａ」とすると、視点変換画像ｂにおいて「Ｌ−Ｌａ」の地点から車両２から遠ざかる方向へ向かって画像処理を施して音波ソナー５に近い方の特徴点（「ｂ１」）の位置を検索する（ステップＳ１１）。そして、制御装置３は、検索に成功すると（ステップＳ１２にて「ＹＥＳ」）、その検索された位置を画像処理による障害物の検出距離「Ｌ´」として算出する（ステップＳ１３）。

次いで、制御装置３は、車載カメラ４の高さを「Ｈ」、障害物の仮の高さを「Ｘ´」とし、検索完了地点「Ｌ３」を次に示す（１）式から算出する（ステップＳ１４）。つまり、制御装置３は、画像処理を施す領域を限定する。尚、ここでいう障害物の仮の高さ「Ｘ´」は、車両２の走行に支障がないと許容される最大の高さであり、例えばバンパーの高さなどである。

Ｌ３＝（Ｘ´／（Ｈ−Ｘ´））×Ｌ´＋Ｌａ … （１）
次いで、制御装置３は、これよりも先に特定された音波ソナー５に近い方の特徴点（「ｂ１」）の位置から「Ｌ３」の地点まで車両２から遠ざかる方向へ向かって画像処理を施して音波ソナー５に遠い方の特徴点（「ｂ２」）の位置を検索する（ステップＳ１５）。そして、制御装置３は、検索に成功すると（ステップＳ１６にて「ＹＥＳ」）、音波ソナー５に近い方の特徴点（「ｂ１」）の位置から音波ソナー５に遠い方の特徴点（「ｂ２」）の位置までの特徴点同士の距離を「Ｌ２」として算出する（ステップＳ１７）。そして、制御装置３は、障害物の高さ「Ｘ」を次に示す（２）式から算出する（ステップＳ１８）。

Ｘ＝（Ｌ２／（Ｌ´＋Ｌ２））×Ｈ … （２）
尚、制御装置３は、音波ソナー５に遠い方の特徴点（「ｂ２」）の位置の検索に失敗した場合には（ステップＳ１６にて「ＮＯ」）、検出された障害物を危険な障害物として判定する（ステップＳ１９）。

制御装置３は、このようにして障害物の高さ「Ｘ」を算出すると、その算出された障害物の高さ「Ｘ」が所定高さ以上であるか否かを判定する（ステップＳ５）。この場合、所定高さとは、上記した障害物の仮の高さ「Ｘ´」と同一であり、つまり、車両２の走行に支障がないと許容される最大の高さであり、例えばバンパーの高さなどである。

ここで、制御装置３は、障害物の高さ「Ｘ」が所定高さ以上であれば（ステップＳ５にて「ＹＥＳ」）、検出された障害物を危険な障害物として撮影画像に重ねて表示装置６に表示させる（ステップＳ３）。これにより、運転手は、障害物が検出され、その検出された障害物の検出距離が所定距離以上であり、且つ、その検出された障害物の高さ「Ｘ」が所定高さ以上であると、その検出された障害物が危険な障害物として撮影画像に重ねられて表示装置６に表示されることにより、車両２から所定距離以上のエリアに危険な障害物が存在することを確認することができる（図１では、障害物「Ｚ３」の存在を確認することができる）。

これに対して、制御装置３は、障害物の高さ「Ｘ」が所定高さ未満であれば（ステップＳ５にて「ＮＯ」）、図５（ａ）に示すように、検出された障害物を安全な障害物として撮影画像に重ねて表示装置６に表示させる（ステップＳ６）。これにより、運転手は、障害物が検出され、その検出された障害物の検出距離が所定距離以上であり、且つ、その検出された障害物の高さ（Ｘ）が所定高さ未満であると、その検出された障害物が安全な障害物として撮影画像に重ねられて表示装置６に表示されることにより、車両２から所定距離以上のエリアに安全な障害物が存在することを確認することができる（図１では、障害物「Ｚ４」の存在を確認することができる）。尚、本実施形態では、安全な障害物として輪止め（図５（ａ）中「Ｍ１」，「Ｍ２」参照）が検出されて表示される場合を説明しているが、他の物体（小石や縁石など）が検出されて表示される場合も同様である。

ところで、以上は、障害物を撮影画像に重ねて表示する場合を説明したものであるが、撮影画像を鳥瞰変換して鳥瞰画像を生成することにより、図５（ｂ）に示すように、障害物を鳥瞰画像に重ねて表示しても良い。また、その場合に、障害物を車両２の後側端部からの距離を示す距離表示ライン（図５（ｂ）中「Ｓａ」，「Ｓｂ」，「Ｓｃ」参照）や例えばメートル表示形式の距離表示マーク（図５（ｂ）中「Ｔａ」，「Ｔｂ」，「Ｔｃ」参照）と共に鳥瞰画像に重ねて表示しても良い。また、以上は、障害物の高さ「Ｘ」が所定高さ未満である場合に、検出された障害物を安全な障害物として撮影画像に重ねて表示する場合を説明したものであるが、障害物を表示しない（表示を禁止する）ようにしても良い。

以上に説明したように本実施形態によれば、車両周辺監視システム１において、検出された障害物の検出距離が所定距離以上であると、視点変換画像に対して画像処理を施して障害物の高さ（Ｘ）を取得し、その取得された障害物の高さ（Ｘ）が所定高さ未満であれば、検出された障害物を安全な障害物として表示し、これに対して、その取得された障害物の高さが所定高さ以上であれば、検出された障害物を危険な障害物として表示するように構成したので、検出された障害物が危険な障害物であるか安全な障害物であるかを運転手に適切に報知することができ、運転中の安心感を運転手に適切に与えることができる。しかも、この場合、視点変換画像に対して画像処理を施して障害物の高さ（Ｘ）を取得するので、撮影画像の領域全体を画像処理する必要がなく、処理能力の高いＣＰＵを必要とすることなく実現することができる。

また、検出された障害物を安全な障害物として撮影画像や鳥瞰画像に重ねて表示するように構成したので、検出された障害物が安全な障害物である旨を運転手に視覚的に報知することができる。この場合、検出された障害物を車両２の後側端部からの距離を示す距離表示ライン（「Ｓａ」，「Ｓｂ」，「Ｓｃ」参照）や距離表示マーク（「Ｔａ」，「Ｔｂ」，「Ｔｃ」）と共に鳥瞰画像に重ねて表示するように構成すれば、車両２の後側端部から障害物までの距離をも運転手に視覚的に報知することができる。

本発明は、上記した実施形態にのみ限定されるものではなく、以下のように変形または拡張することができる。
障害物の存在を表示により運転手に視覚的に報知する構成に限らず、障害物の存在を鳴動により運転手に聴覚的に報知する構成であっても良く、また、それら表示による報知と鳴動による報知とを併用する構成であっても良い。また、障害物の存在を鳴動により報知する場合には、音の大小、周波数および鳴動パターンなどを区別することにより、危険な障害物であるか安全な障害物であるかを区別して報知する構成であっても良い。

音波ソナーを採用する構成に限らず、超音波ソナーやレーダーソナーを採用する構成であっても良い。
障害物の検出距離が所定距離以上である場合に、車載カメラにより撮影された撮影画像が視点変換された視点変換画像に対して画像処理を施して障害物の高さを算出する構成に限らず、障害物の検出距離に関係なく、車載カメラにより撮影された撮影画像が視点変換された視点変換画像に対して画像処理を施して障害物の高さを算出する構成であっても良い。
画像処理の方法として、移動ステレオによる方法を併用する構成であっても良い。

本発明の一実施形態の構成を概略的に示す図 フローチャート 図２相当図 画像処理を概略的に示す図 表示の一例を示す図

符号の説明

図面中、１は車両周辺監視システム、３は制御装置（制御手段）、４は車載カメラ（撮影手段）、５は音波ソナー（障害物検出手段）、６は表示装置（報知手段、表示手段）である。

Claims (8)

1. 車両周辺における障害物の存在を検出する障害物検出手段と、
   前記障害物検出手段により障害物の存在が検出された場合に障害物の存在を報知手段により報知可能な制御手段とを備えた車両周辺監視システムであって、
   車両周辺を撮影する撮影手段を備え、
   前記制御手段は、前記障害物検出手段により検出された障害物の検出距離が所定距離以上である場合に、当該障害物の検出距離から当該障害物検出手段の検出誤差を減算した地点から前記撮影手段の高さおよび障害物の仮の高さに基づいて算出した検出完了地点までの範囲を画像処理を施す領域として限定し、前記撮影手段により撮影された撮影画像が視点変換された視点変換画像のうち当該限定した領域に対して画像処理を施して障害物の高さを取得し、その取得された障害物の高さが所定高さ未満であれば、検出された障害物を安全な障害物として前記報知手段により報知させるかまたは検出された障害物の報知を禁止し、その取得された障害物の高さが所定高さ以上であれば、検出された障害物を危険な障害物として前記報知手段により報知させることを特徴とする車両周辺監視システム。
2. 請求項１に記載した車両周辺監視システムにおいて、
   前記報知手段は、前記撮影手段により撮影された撮影画像を表示する表示手段から構成され、
   前記制御手段は、障害物の高さが所定高さ未満であれば、検出された障害物を安全な障害物として撮影画像に重ねて前記表示手段に表示させることを特徴とする車両周辺監視システム。
3. 請求項１に記載した車両周辺監視システムにおいて、
   前記報知手段は、前記撮影手段により撮影された撮影画像が鳥瞰変換された鳥瞰画像を表示する表示手段から構成され、
   前記制御手段は、障害物の高さが所定高さ未満であれば、検出された障害物を安全な障害物として鳥瞰画像に重ねて前記表示手段に表示させることを特徴とする車両周辺監視システム。
4. 請求項３に記載した車両周辺監視システムにおいて、
   前記制御手段は、障害物の高さが所定高さ未満であれば、検出された障害物を車両端部からの距離を示す距離表示ラインや距離表示マークと共に鳥瞰画像に重ねて前記表示手段に表示させることを特徴とする車両周辺監視システム。
5. 請求項１ないし４のいずれかに記載した車両周辺監視システムにおいて、
   前記制御手段は、前記撮影手段により撮影された撮影画像が視点変換された視点変換画像の一部に対して画像処理を施して障害物の高さを取得することを特徴とする車両周辺監視システム。
6. 請求項１ないし５のいずれかに記載した車両周辺監視システムにおいて、
   前記障害物検出手段は、音波または超音波を送出して車両周辺における障害物の存在を検出する音波ソナーまたは超音波ソナーから構成されていることを特徴とする車両周辺監視システム。
7. 車両周辺における障害物の存在を検出する障害物検出手段と、
   前記障害物検出手段により障害物の存在が検出された場合に障害物の存在を報知手段により報知可能な制御手段とを備えた車両周辺監視システムであって、
   車両周辺を撮影する撮影手段を備え、
   前記制御手段は、当該障害物の検出距離から当該障害物検出手段の検出誤差を減算した地点から前記撮影手段の高さおよび障害物の仮の高さに基づいて算出した検出完了地点までの範囲を画像処理を施す領域として限定し、前記撮影手段により撮影された撮影画像が視点変換された視点変換画像のうち当該限定した領域に対して画像処理を施して障害物の高さを取得し、その取得された障害物の高さが所定高さ未満であれば、検出された障害物を安全な障害物として前記報知手段により報知させるかまたは検出された障害物の報知を禁止し、その取得された障害物の高さが所定高さ以上であれば、検出された障害物を危険な障害物として前記報知手段により報知させることを特徴とする車両周辺監視システム。
8. 請求項１ないし７のいずれかに記載した車両周辺監視システムにおいて、
   前記障害物検出手段よる障害物の検出距離をＬ、前記障害物検出手段による検出誤差をＬａ、前記撮影手段の高さをＨ、障害物の仮の高さをＸ´、検索完了地点をＬ３とした場合に、次式にしたがって検索完了地点を算出することを特徴とする車両周辺監視システム。
   Ｌ３＝（Ｘ´／（Ｈ−Ｘ´））×Ｌ´＋Ｌａ

Images