JP4857974B2 - 車両周辺監視装置 - Google Patents

Description

本発明は、車両の周辺を撮像し、周辺における人物などの検出対象を監視する車両周辺監視装置に関する。

従来、車両に設けられた撮像手段によって撮像された赤外線画像に画像処理を施し、車両の周囲における人物などの検出対象を監視する車両周辺監視装置として、たとえば特開２００５−１５９３９２号公報（特許文献１）に開示されたものがある。この車両周辺監視装置は、対象物の形状に基づいて、歩行者候補の画像を抽出し、歩行者候補の画像の濃度に基づいて、構造物であるか否かを判定するものである。また、歩行者候補を明確に表示するために、歩行者候補の画像に対しては強調表示を行うというものである。

また、撮像した画像における障害物を強調するものとして、特開平５−４２８７３号公報（特許文献２）に開示された障害物監視装置がある。この障害物監視装置は、障害物が撮像された画像から障害物が存在するエリアと存在しないエリアとを分けて濃度変換を行うことにより、障害物の周辺エリアのコントラストを強調して、障害物を見やすく表示するというものである。
特開２００５−１５９３９２号公報 特開平５−４２８７３号公報

上記特許文献１に開示されたような車両周辺監視装置において、障害物として歩行者候補を設定し、上記特許文献２に開示された障害物監視装置のように、歩行者候補が存在するエリアのコントラストを強調して、歩行者候補を見やすくすることが考えられる。ところが、歩行者候補が存在するエリアのコントラストを強調すると、歩行者候補の周囲に存在する物体のコントラストも強調される場合がある。この場合、歩行者候補の周囲の物体における一部のみが急激に明るく表示されてしまい、その物体がなんであるかが認識し難くなることがある。その結果、周囲の物体を目印にして歩行者候補（検出対象）の位置を把握しようとしても、その把握が困難となることがあるという問題があった。また、この問題は、夜間に顕著に生じるものであった。

そこで、本発明の課題は、検出対象を明確に表示するとともに、検出対象の周囲の物体を認識しやすくすることができる車両周辺監視装置を提供することにある。

上記課題を解決した本発明に係る車両周辺監視装置は、車両の周辺を撮像する撮像手段と、撮像手段で撮像した画像を調整して、提供画像を生成する画像生成手段と、画像生成手段で生成された提供画像を映写する映写手段と、を備え、画像生成手段が、撮像手段で撮像した画像中における検出対象である物体を検出する検出対象検出部と、検出対象を含む所定領域を強調表示する強調表示部と、を有する車両周辺監視装置であって、所定領域は、検出対象となる物体が収まる第一領域と、第一領域を所定範囲拡大して設定した第二領域とを備えており、画像生成手段は、強調表示部によって、所定領域の内側に向けて強調表示の強調量を段階的に変化させて所定領域を強調した提供画像を生成し、強調表示部は、第一領域を強調表示するとともに、第一領域と第二領域との間における領域の強調表示の強調量を段階的に変化させ、撮像手段で撮像した画像中に検出対象が複数撮像され、撮像された複数の検出対象における第二領域同士が重複する重複部分が生じる場合、重複部分における第二領域の強調量のうちのもっとも大きい強調量で重複部分を強調表示するものである。

本発明に係る車両周辺監視装置においては、撮像手段で撮像した画像中における検出対象である物体を含む所定領域を強調表示して強調するにあたり、強調表示部によって、所定領域の内側に向けて強調表示の強調量を段階的に変化させて所定領域を強調している。このため、所定領域の内側と外側との境界で急激に強調表示の強調量が変化しないようにすることができる。その結果、所定領域内の検出対象を強調するにあたり、違和感を少なくすることができ、検出対象を明確に表示することができるとともに、検出対象の周囲の物体を認識しやすくすることができる。さらには、特に夜間においても検出対象を明確に表示することができるとともに、検出対象の周囲の物体を認識しやすくすることができる。なお、本発明における強調表示とは、明暗の差であるコントラストを高くする態様のほか、明度、輝度、濃度、色等を変化させることによる強調表示を意味するものである。

ここで、所定領域は、検出対象となる物体が納まる第一領域と、第一領域を所定範囲拡大して設定した第二領域とを備えており、強調表示部は、第一領域を強調表示するとともに、第一領域と第二領域との間における領域の強調表示の強調量を段階的に変化させる態様とすることができる。

このように、第一領域と第一領域を拡大した第二領域を設定し、第一領域を強調表示するとともに、第二領域の強調表示の強調量を段階的に変化させることにより、第一領域内の検出対象をより明確に表示することができるとともに、検出対象の周囲の物体を認識しやすくすることができる。ここで、「検出対象物体が納まる」とは、検出対象の全体が納まる態様のほか、検出対象の大部分が納まる態様も含むものである。

また、強調表示部は、所定領域の強調表示の強調量を段階的に変化させる際、外側から内側に向けて強調量が増大するように段階的に変化させる態様とすることもできる。

このように、外側から内側に向けて強調量が増大するように段階的に変化させることにより、所定領域内の検出対象をより明確に表示することができるとともに、検出対象の周囲の物体を認識しやすくすることができる。

さらに、強調表示部は、撮像手段で撮像した画像中に検出対象が複数撮像され、第一領域と第二領域とが重複する重複部分が生じる場合、重複部分における強調表示の強調量を、第一領域の強調表示の強調量とする態様とすることもできる。

このように、撮像手段で撮像した画像中に検出対象が複数撮像されている第一領域と第二領域とが重複する重複部分が生じる場合には、重複部分における強調表示の強調量を、第一領域の強調表示の強調量とすることにより、検出対象をより明確に表示することができる。

本発明に係る車両周辺監視装置によれば、検出対象を明確に表示するとともに、検出対象の周囲の物体を認識しやすくすることができる。

以下、図面を参照して本発明に係る車両周辺監視装置の実施形態を説明する。なお、同一の部材、要素については、その説明を省略することがある。図１は本発明の実施形態に係る車両周辺監視装置のブロック構成図である。

図１に示すように、本実施形態に係る車両周辺監視装置は、画像生成装置１、撮像装置２、および画像表示装置３を備えている。また、画像生成装置１は、検出対象検出部１１、データベース１２、および強調表示部１３を有している。

撮像装置２は、たとえば車両の前方位置に取り付けられた赤外線カメラからなり、車両の前方や側方を撮像して赤外線画像を取得する。撮像装置２は、取得した赤外線画像を画像生成装置１における検出対象検出部１１に出力する。

画像生成装置１における検出対象検出部１１では、撮像装置２から出力された赤外線画像およびデータベース１２から出力される検出対象データを参照して、赤外線画像中における検出対象を検出する。データベース１２には、検出対象となるものの形状等の特徴からなる検出対象データが記憶されており、この検出対象データを検出対象検出部１１に出力する。検出対象となるものとしては、歩行者や周囲の車両、建築物などを上げることができる。

また、データベース１２に記憶される検出対象データとしては、たとえば検出対象が歩行者である場合には、歩行者の形状である矩形や楕円形、あるいは三角形などとされている。検出対象検出部１１では、撮像装置２から出力される赤外線画像中と、これらの検出対象データとを照合し、赤外線画像中に検出対象データと同一または近似する形状が検出された場合に、歩行者が撮像されていることを検出する。検出対象検出部１１では、赤外線画像中に検出対象である歩行者が検出された場合に、歩行者が検出された画像を強調表示部１３に出力する。

強調表示部１３では、検出対象検出部１１から出力された赤外線画像を調整して、提供画像を生成する。強調表示部１３では、赤外線画像中に検出された歩行者を強調する処理を施し、歩行者を強調した提供画像を生成する。強調表示部１３は、生成した提供画像を画像表示装置３に出力する。

画像表示装置３は、たとえば車両のインストルメントパネルに設けられるモニタからなり、強調表示部１３で生成された提供画像を表示する。車両を運転するドライバは、画像表示装置３に表示される提供画像を見て、車両の周囲における歩行者等の検出対象の存在を認識する。

以上の構成を有する本実施形態に係る車両周辺監視装置における車両周辺の監視手順について説明する。図２は、車両周辺監視装置における車両周辺の監視手順を示すフローチャートである。

図２に示すように、本実施形態に係る車両周辺監視装置においては、まず、撮像装置２を用いて、車両周辺の赤外線画像を取得する（Ｓ１）。撮像装置２は、取得した赤外線画像を画像生成装置１における検出対象検出部１１に出力する。また、検出対象検出部１１には、検出対象となる歩行者の検出対象データがデータベース１２から出力される。

検出対象検出部１１においては、撮像装置２から出力された赤外線画像とデータベース１２から出力された検出対象データとを照合し、赤外線画像中における歩行者等の検出対象を検出する（Ｓ２）。検出対象検出部１１は、赤外線画像中に歩行者等を検出した場合には、歩行者が撮像された赤外線画像を強調表示部１３に出力する。強調表示部１３では、赤外線画像中における歩行者を強調するように画像の加工を行う（Ｓ３）。画像の加工は、次のようにして行われる。

画像を加工する際には、画像中における検出対象を含む所定領域となる検出対象含有領域を設定する。ここでの検出対象含有領域は、適宜の形状、たとえば矩形や楕円形、長円形などとすることができる。こうして、検出対象含有領域を設定したら、この検出対象含有領域の内側の強調表示の強調量を増大させ、具体的にはコントラストを高くするように画像を加工する。このとき、検出対象含有領域の内側であって、検出対象含有領域の側縁部近傍においては、外側から内側に向けてコントラストを段階的に変化させて検出対象領域を強調する。

たとえば、図３（ａ）に示す画像Ｐにおいて、検出対象が納まる矩形の第一領域となる検出対象収容領域Ｘ１が設定されるとともに、検出対象収容領域Ｘ１を所定範囲拡大することによって第二領域となる検出対象含有領域Ｘ２が設定され、この検出対象含有領域Ｘ２中に歩行者Ｗおよび標識Ｓの一部が含まれていたとする。なお、図３（ａ）においては、説明の便宜上、検出対象収容領域Ｘ１および検出対象含有領域Ｘ２の外縁部に沿って外枠を表示しているが、この外枠は表示してもよく、表示しなくともよい。また、外枠を表示するにあたり、検出対象収容領域Ｘ１または検出対象含有領域Ｘ２のいずれか一方の外枠のみを表示してもよい。

ここで、検出対象収容領域Ｘ１と、検出対象含有領域Ｘ２との間における領域のコントラストを、内側に向けて徐々に明るくなるように段階的に変化させる。具体的に、図３（ｂ）に拡大して示す検出対象含有領域Ｘ２の上部近傍位置において、図３（ｃ）に示すように、検出対象含有領域Ｘ２の上部境界線の近傍位置では、高さ方向に見て、高い位置から低い位置に向けて徐々にコントラストが高くなるようにコントラストの強調量を変化させて、コントラストを段階的に変化させる。

また、同様に検出対象含有領域Ｘ２の下部境界線の近傍位置では、高さ方向に見て、低い位置から高い位置に向けて徐々に（一次的に）コントラストが高くなるようにコントラストを段階的に変化させる。さらには、検出対象含有領域Ｘ２の右側境界線の近傍位置では、横方向に見て、右から左に向けて徐々にコントラストが明るくなるようにコントラストを段階的に変化させ、検出対象含有領域Ｘ２の左側境界線の近傍位置では、横方向に見て、左から右に向けて徐々にコントラストが高くなるようにコントラストを段階的に変化させる。なお、ここではコントラストを徐々に明るくなるように段階的に変化させるにあたって、一次的な変化としているが、三次的な変化や五次的な変化など、他の態様による段階的な変化とすることもできる。

ここで、たとえば検出対象含有領域Ｘ２の内側をその外側よりも明るいコントラストとなるように一律に変化させると、検出対象含有領域Ｘ２の内側に位置する標識Ｓの一部が、検出対象含有領域Ｘ２の外側に位置する標識Ｓの他の部分よりも急激に明るくなってしまう。その結果、検出対象含有領域Ｘ２内の内側における標識Ｓの一部が目立ちすぎ、歩行者が見にくくなってしまうという弊害が生じる。

この点、検出対象含有領域Ｘ２の境界線近傍において、検出対象含有領域Ｘ２の内側に向けて徐々にコントラストが高くなるように加工することにより、検出対象含有領域Ｘ２の内側と外側とにまたがって位置する標識Ｓを違和感なく表示することができる。その結果、標識Ｓを目立たないようにすることができ、歩行者を明確に表示することができる。また、標識Ｓは目立たないながらもその位置は認識できることから、歩行者の周囲の物体についても、歩行者とは区別した状態で認識しやすくすることができる。

こうして、画像を加工して提供画像を生成したら、強調表示部１３は、提供画像を画像表示装置３に出力する。画像表示装置３においては、出力された提供画像を表示する（Ｓ４）。画像表示装置３に表示された画像をドライバが見ることにより、車両の周囲における歩行者等の障害物をドライバが明確に認識することができる。

このように、本実施形態に係る車両周囲監視装置においては、車両の周囲を撮像した画像中における歩行者等の検出対象物を強調するにあたり、検出対象収容領域Ｘ１と、検出対象含有領域Ｘ２との間における領域のコントラストが、内側に向けて徐々に高くなるように段階的に変化させている。このため、検出対象収容領域Ｘ１内における歩行者を明確に表示することができるとともに、歩行者の周囲における標識などの物体を認識しやすくすることができる。

また、図４に示すように、画像Ｐの中に複数の検出対象である歩行者が検出された場合には、各検出対象のそれぞれについて検出対象収容領域Ｘ１および検出対象含有領域Ｘ２（図３参照）を設定する。それから、各検出対象のそれぞれについて、検出対象が単一である場合と同様の手順によって、検出対象収容領域Ｘ１と、検出対象含有領域Ｘ２との間における領域のコントラストが、内側に向けて徐々に高くなるように段階的に変化させる。

その後、複数の検出対象について設定された検出対象含有領域Ｘ２が重複する重複部分についての処理を行う。この検出対象含有領域Ｘ２が重複する重複部分については、各検出対象含有領域Ｘ２において変化させられたコントラストの強調量のうち、もっとも大きいコントラストの強調量をその領域におけるコントラストの強調量とする。そのため、検出対象収容領域Ｘ１同士が重複する場合には、重複した検出対象収容領域Ｘ１同士を結合し、結合された検出対象収容領域Ｘ１に対して検出対象含有領域Ｘ２を設定する。

また、検出対象収容領域Ｘ１同士が重複することなく検出対象収容領域Ｘ１と検出対象含有領域Ｘ２とが重複する重複部分が生じる場合には、検出対象収容領域Ｘ１と同等のコントラストの強調量を設定する。さらに、検出対象含有領域Ｘ２同士が重複する場合、コントラストの強調量が高い検出対象収容領域Ｘ１に近い位置のコントラストの強調量を設定する。その結果、検出対象収容領域Ｘ１を一回り大きくした検出対象収容領域Ｘ１と相似形の検出対象含有領域Ｘ２が設定され、この検出対象含有領域Ｘ２と検出対象収容領域Ｘ１との間の領域において、内側に向けて徐々に明るくなるようにコントラストが段階的に変化する。

たとえば、図５（ａ）に示すように、２つの検出対象収容領域が重複し、右側が高く左側が低い検出対象収容領域Ｘ１が設定され、その周囲の検出対象含有領域Ｘ２が設定されている場合を想定する。この場合、図５（ａ）のｂ−ｂ線で切った高さ方向におけるコントラスト強調曲線は、図５（ｂ）に示すようになる。図５（ｂ）に示すコントラスト強調曲線Ｃ１では、検出対象含有領域Ｘ２における右側の上辺の高さＨ１の位置までコントラストが変化せず、高さＨ１から検出対象収容領域Ｘ１の右側の上辺の高さＨ２の位置までコントラストの強調量が増加する。また、高さＨ２より下方位置ではコントラストが強調された状態で強調量は一定となる。

その後、検出対象含有領域Ｘ２の右側に対応するコントラストの強調量が、検出対象含有領域Ｘ２の左側に対応するコントラストの強調量と同一となる高さ位置に到達する。この高さ位置よりも低い位置では、検出対象収容領域Ｘ１の左側の上辺に対応する高さ位置Ｈ３まで、検出対象含有領域Ｘ２の左側に対応するコントラストの強調量の増加量をもってコントラストの強調量が増加する。高さＨ３より下方位置ではコントラストが強調された状態で強調量は一定となる。

このように、検出対象が複数表示される場合には、各検出対象含有領域Ｘ２が重複する重複部分について、それぞれの検出対象含有領域Ｘ２で強調されたコントラストの強調量をもっとも大きい強調量とすることにより、検出対象となる歩行者をより明確に表示することができる。なお、ここで説明した例では、説明の便宜のために検出対象含有領域Ｘ２の外枠を提供画像に表示させるようにしているが、検出対象含有領域Ｘ２が複数ある場合に外枠が表示されると画像が渾然とする傾向となってしまう。このため、検出対象含有領域Ｘ２が複数ある場合には、検出対象含有領域Ｘ２や検出対象収容領域Ｘ１の外枠を表示しない態様とすることが好ましくなる。

以上、本発明の好適な実施形態について説明したが、本発明は上記実施形態に限定されるものではない。たとえば、上記実施形態では、検出対象収容領域Ｘ１および検出対象含有領域Ｘ２を矩形としているが、矩形ではなく、この矩形状の各角部を面取した面取矩形（角丸矩形）状とすることもできる。この面取矩形状とすることにより、画像表示装置３に検出対象収容領域Ｘ１や検出対象含有領域Ｘ２を表示した場合に、画像を視認するドライバなどに対して柔らかい印象を与えることができる。このため、検出対象収容領域Ｘ１や検出対象含有領域Ｘ２を視認し易いようにすることができる。また、検出対象収容領域Ｘ１や検出対象含有領域Ｘ２が重複する場合には、図６に示すように、各角部を曲線状に面取した形状とする。このように、各角部を曲線状に面取することにより、やはり画像を視認するドライバなどに対して柔らかい印象を与えることができ、検出対象収容領域Ｘ１や検出対象含有領域Ｘ２を視認し易いようにすることができる。

また、上記実施形態では、検出対象を歩行者としているが、たとえば検出対象を車両や周囲の建物、ガードレールなどとすることができる。また、上記実施形態では検出対象収容領域Ｘ１の周囲に検出対象含有領域Ｘ２を設定しているが、検出対象含有領域のみを設定して、その内側の適宜の範囲について、コントラストを徐々に変化させる態様とすることもできる。さらに、上記実施形態では、検出対象含有領域Ｘ２の上下左右の全位置において、コントラストを徐々に変化させるようにしているが、これらのうちの一部において、コントラストを徐々に変化させる態様とすることもできる。

また、上記実施形態においては強調量を変化させるにあたり、コントラストを変化させるようにしているが、明度、輝度、濃度、色等などを変化させる態様とすることもできる。たとえば、輝度を変化させる際には、輝度を大きくすることによって強調表示を行い、輝度を段階的に大きくすることによって強調量を変化させることができる。また、濃度を変化させる際には、濃度を低く（薄く）することによって強調表示を行い、濃度を段階的に低くすることによって強調量を変化させることができる。さらに、色を変化させる際には、強調表示以外の色と異なる色、たとえば強調表示以外の色が黒である場合に、白や青などの色を用いて強調表示を行い、周囲の色が段階的に強調表示の色となるグラデーションを表示することにより、強調量を変化させることができる。

本発明の実施形態に係る車両周辺監視装置のブロック構成図である。 車両周辺監視装置における車両周辺の監視手順を示すフローチャートである。 （ａ）は撮像装置で撮像した画像を示す図、（ｂ）は（ａ）の一部を拡大した図、（ｃ）は（ｂ）に対応する位置のコントラストの強調量を示すグラフである。 撮像装置で撮像した画像に複数の歩行者が撮像されている状態を示す図である。 （ａ）は図４の一部を拡大した図、ｂ−ｂ線で切った高さ方向におけるコントラストの強調量を示すグラフである。 撮像装置で撮像した画像に複数の歩行者が撮像されており、検出対象収容領域Ｘ１および検出対象含有領域Ｘ２の各角部を面取して表示した状態を示す図である。

符号の説明

１…画像生成装置、２…撮像装置、３…画像表示部、１１…検出対象検出部、１２…データベース、１３…強調表示部。

Claims (1)

1. 車両の周辺を撮像する撮像手段と、
   前記撮像手段で撮像した画像を調整して、提供画像を生成する画像生成手段と、
   前記画像生成手段で生成された提供画像を映写する映写手段と、を備え、
   前記画像生成手段が、前記撮像手段で撮像した画像中における検出対象である物体を検出する検出対象検出部と、前記検出対象を含む所定領域を強調表示する強調表示部と、を有する車両周辺監視装置であって、
   前記所定領域は、前記検出対象となる物体が収まる第一領域と、前記第一領域を所定範囲拡大して設定した第二領域とを備えており、
   前記画像生成手段は、前記強調表示部によって、前記所定領域の内側に向けて強調表示の強調量を段階的に変化させて前記所定領域を強調した前記提供画像を生成し、
   前記強調表示部は、前記第一領域を強調表示するとともに、前記第一領域と前記第二領域との間における領域の強調表示の強調量を段階的に変化させ、
   前記撮像手段で撮像した画像中に前記検出対象が複数撮像され、撮像された複数の検出対象における第二領域同士が重複する重複部分が生じる場合、前記重複部分における第二領域の強調量のうちのもっとも大きい強調量で前記重複部分を強調表示することを特徴とする車両周辺監視装置。

Images