JP3606853B2

JP3606853B2 - 車両周囲状況表示装置

Info

Publication number: JP3606853B2
Application number: JP2002241144A
Authority: JP
Inventors: 智佐藤; 雅通中川; 修作岡本; 森村　　淳; 善彦松川; 一生登
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2001-09-07
Filing date: 2002-08-21
Publication date: 2005-01-05
Anticipated expiration: 2022-08-21
Also published as: JP2003189293A

Description

【０００１】
【発明の属する技術分野】
本発明は、車両の周囲状況を画像で表示する車両周囲状況表示装置に関するものであり、特に、利用者が車両の周囲状況を容易にかつ的確に把握でき、より安全な運転操作を可能にする技術に属する。
【０００２】
【従来の技術】
従来の一般的な車両周囲状況表示装置では、車両の周囲を１台または数台のカメラで撮影し、その画像を変換して、車両周囲の状況を１枚の画像にして表示する。例えば第１の従来例（特許１４０５４６２号公報）では、自動車に複数台のカメラを設置し、その映像出力を平面座標に変換し、前記自動車を中心とする座標に変換し、１つの映像として合成することによって、運転者が車体周辺の状況を一目で分かるようにする。
【０００３】
さらに、第２の従来例（特開平７−２２３４８８号公報）では、車両周囲の状況を利用者に提示する際に、周囲の対象物を予め検出し、車両の周囲状況を示す基本画像の遠近表示レベルを設定するとともに、対象物毎に、データベースに蓄えられた図３７に示すような模式的な絵表示を、危険度強調情報を付加して表示する。これにより、利用者は車両の周囲状況を簡単に把握することができる。
【０００４】
【発明が解決しようとする課題】
このような車両周囲状況表示装置において、カメラなどで取得された画像データから透視変換を用いて視点変換画像を生成する際には、透視変換を行うための平面を与えなければならない。第１の従来例では、車両周辺には高さ成分を持った立体物は存在しないという仮定を用いて、路面を透視投影面として用いている。このような路面を仮定した透視変換のことを、路面投影と呼ぶ。しかしながら、車両周辺に障害物など高さ成分を持った立体物が存在すると、この仮定との矛盾が生じ、路面投影の結果、画像に歪みが生じる。
【０００５】
図３８は自車１に設置された８台のカメラ（カメラ０〜７）の配置の例と、各カメラ０〜７から取得された画像の例を示す図である。また、図３９は図３８の場合における車両周辺状況を示す画像、図４０は図３８に示す８枚のカメラ画像を用いて路面投影を行なった結果の画像である。なお、自車１の映像自体は図３８のカメラ画像からはほとんど求まらないので、図４０では便宜上、自車１のイラストを張り込んでいる。
【０００６】
図４０を図３９と比較すると分かるように、高さ成分を持った物体（例えば他の車両２）の画像は自車１と反対方向に大きく歪み、あたかも、実際には何も存在しない路面上に何かが存在しているように見えてしまう。このような実際の周辺状況と合成画像とのミスマッチは、利用者の誤解を招くおそれがあり、安全な運転に支障をきたす可能性がある。
【０００７】
このような画像の歪みをなくすために、レーザレーダ等の測距センサを利用する方法が考えられる。これは、周辺車両のように高さ成分がある立体物について、その距離データを予め測距センサによって求め、求めた距離データから得られた立体形状を投影面として透視変換を行うものである。
【０００８】
この方法では、路面投影のような画像の歪みは生じない。しかしながら、この場合でも、カメラの手前にある物体に隠蔽される領域（オクルージョン領域）が生じてしまうという問題が生じる。
【０００９】
例えば図３８において、カメラ１，２の画像から自車１の右側方に乗用車が停まっていることは分かるものの、その乗用車の右半分は左半分の画像に隠蔽されてしまい、いずれのカメラにも映っていない。この部分は、周囲状況画像において、カメラによって画像データが得られていない画像欠落領域に相当する。このため、仮に周辺の距離データがすべて得られたとしても、この乗用車については、画像欠落領域にある右半分の画像は合成できず、カメラに映っている右側面しか合成画像に表示されない。このようなシステムでは、通常、カメラは車両に搭載されており、また、カメラの個数もコストなどの制約から限られるため、同様のことが車両周辺のほぼすべての立体物について生じる。
【００１０】
図４１は車両周辺の物体の距離データが全て既知の場合の合成画像である。図４１から分かるように、自車１の周辺に存在する各車両について、自車側の距離データは全てわかっているものの、自車１からみて反対側の領域は画像欠落領域となっている。このため、各車両については、自車側の画像しか生成することができない。
【００１１】
また第２の従来例では、対象物毎に模式的な絵表示を行うため、画像の一部のみが表示されることはないものの、利用者が直接目で見た物と異なる画像が表示されるので、違和感を与えてしまう。さらに、模式的な絵表示では、対象物の正確な位置を示すことはほとんど不可能である。
【００１２】
図４２は自車１の左後方に他の車両３が存在する状況を上方から見た様子を示す図である。図４２において、安全な駐車動作のためには、他の車両３の自車１側の領域ＡＲ１の位置を正確に認識することが重要になる。
【００１３】
図４３は図４２の状況において、実際の車両３よりも小さな絵３Ａを表示した例である。この場合、実際には車両３が存在するにも拘わらず、利用者には表示されない領域ＡＲ２〜ＡＲ４が生じてしまう。特に領域ＡＲ２は、駐車の際に重要な自車１側の縁の領域であり、好ましくない。
【００１４】
一方、図４４は図４２の状況において、実際の車両３よりも大きな絵３Ｂを表示した例である。この場合、実際には車両３が存在しないにも拘わらず、利用者には車両３があるように表示される領域ＡＲ５〜ＡＲ７が生じてしまう。特に領域ＡＲ５，ＡＲ７は、駐車の際に重要な自車１側の縁の領域であり、好ましくない。
【００１５】
前記の問題に鑑み、本発明は、車両周囲状況表示装置において、運転操作において重要となる周辺障害物の位置を利用者が正確に認識でき、かつ、オクルージョン領域の画像が表示できないことによる利用者の違和感をなくすことを課題とする。
【００１６】
【課題を解決するための手段】
上述のオクルージョン領域は、カメラから見えない領域である。しかしながら、駐車などの運転操作の場合、重要なのは、周辺障害物の自車側の縁位置である。そこで、オクルージョン領域については、正しい画像を正確な位置に表示する必要は必ずしもなく、利用者が違和感をいだかない程度に表示するだけで十分であると考えられる。すなわち、図４２において、自車１から見えるのは自車側の領域ＡＲ１だけであり、それ以外の領域は、カメラ同様、目視によっても見ることができないが、運転操作に特に支障は生じない。
【００１７】
これに対して、隠蔽されない領域は、正確な位置に提示する必要がある。また利用者は、画像と目視の両方を併用しながら運転操作を行うため、実際とあまり相違しない画像を表示する方が好ましい。
【００１８】
そこで、本発明は、「隠蔽されない領域」は、その画像を用いて正確な位置に提示する一方、「オクルージョン領域」に関しては、利用者に違和感を与えないような画像を提示するものである。
【００１９】
具体的には、本発明は、車両周囲状況表示装置として、車両の周囲を映すカメラと、前記車両の周囲の障害物を検出する障害物検出手段と、前記カメラの撮影画像から前記車両の周囲の状況を表す周囲状況画像を生成する画像処理部と、前記障害物検出手段によって障害物が検出されたとき、前記周囲状況画像上で、この障害物の存在に起因して前記カメラによる画像データが得られない画像欠落領域を検出する画像欠落領域検出手段とを備え、前記画像欠落領域検出手段は、前記障害物の前記車両側の縁の位置を検出する障害物位置検出手段を備え、検出された縁位置を用いて前記画像欠落領域を特定するものであり、前記画像処理部は、前記画像欠落領域が検出されたとき、この画像欠落領域の少なくとも一部について、前記障害物の、前記車両側の縁部分を少なくとも含む画像である縁画像を利用して生成した代替画像データを埋めるものである。
【００２０】
本発明によると、車両周囲の障害物が障害物検出手段によって検出されると、この障害物の存在に起因してカメラによる画像データが得られない画像欠落領域が、画像欠落領域検出手段によって検出される。そして、画像処理部によって、この画像欠落領域の少なくとも一部について、代替画像データが埋められる。このため、画像処理部によって生成された周囲状況画像は、例えば上述の「オクルージョン領域」に対応する画像欠落領域については、代替画像データによって利用者に対する違和感が軽減され、かつ、「隠蔽されない領域」に対応する，画像欠落領域以外の部分については、カメラ画像データが用いられる。これにより、利用者は、周囲状況画像にさほど違和感を感じることなく、かつ、車両周辺の障害物の位置を正確に認識することができ、従来よりも確実かつ快適に、安全な運転操作を行うことができる。
【００２１】
さらに、障害物の自車側の縁部分を含む縁画像が、画像欠落領域を埋める代替画像データの生成のために利用されるので、運転操作にとって重要な、障害物の自車側の縁位置の正確な画像を、利用者に提示することが可能になる。
【００２２】
さらに、前記画像処理部は、前記周囲状況画像において、前記障害物位置検出手段によって検出された縁位置に合わせて前記縁画像を配置し、前記周囲状況画像において、前記縁位置に合わせて前記障害物が占める領域を推定し、推定した障害物領域内の前記縁画像以外の部分について、前記縁画像の画素データを用いた画素補間によって、前記代替画像データを生成するのが好ましい。これにより、縁画像が、正確な縁位置に配置され、かつ、縁画像の画素データを用いた画素補間によって、縁画像以外の障害物の画像が生成されるので、利用者にとって重要な、障害物の自車側の縁位置は正確であり、かつ、利用者に違和感を与えないような周囲状況画像を生成することが可能となる。
【００２３】
さらに、前記画像処理部は、前記障害物が線対称の物体であるとき、前記周辺状況画像において、前記障害物の対称軸を仮定し、前記縁画像を前記対称軸について反転し、反転縁画像として配置し、前記障害物領域内の前記縁画像と前記反転縁画像との間の画像を、前記縁画像の画素データを用いた画素補間によって生成するのが好ましい。これにより、車両などの障害物の線対称性を利用して、オクルージョン領域の合成画像を違和感なく生成することが可能となる。
【００２４】
また、前記本発明に係る車両周囲状況表示装置における障害物位置検出手段は、前記障害物が他の車両であるとき、前記カメラ画像から前記他の車両のタイヤと路面との接点を前記縁位置として検出するのが好ましい。
【００２５】
この発明によると、障害物が車両の場合、タイヤの存在を利用することによって、正確な縁位置を検出することが可能となる。
【００２６】
また、前記本発明に係る車両周囲状況表示装置における障害物位置検出手段は、前記障害物が他の車両であるとき、前記カメラ画像から、前記他の車両のナンバープレートが存在する平面と路面との接線を前記縁位置として検出するのが好ましい。
【００２７】
また、前記本発明に係る車両周囲状況表示装置における画像処理部は、前記障害物が他の車両であるとき、前記他の車両のタイヤおよびナンバープレートの検出状態に基づき、代替画像データを埋める処理を切り替えるのが好ましい。
【００２８】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して説明する。
【００２９】
まず最初に、本発明におけるオクルージョン領域と画像欠落領域との関係について、説明する。
【００３０】
図４５は自車両１の後方に他の車両２が停まっている様子を示す図である。自車両１には後方を撮影するカメラ１１が設けられており、このカメラ１１の撮影画像を用いて、仮想カメラＶＣからみた合成画像を生成するものとする。（ａ）は側方から見た図、（ｂ）は上方から見た図、ＲＳは路面である。図４５から分かるように、他の車両２の存在によって、その前端部の陰に隠れたオクルージョン領域が生じている。
【００３１】
仮想カメラＶＣから見た合成画像では、このオクルージョン領域に対応する部分（他の車両２のボンネット、フロントガラス、屋根の部分）についても画像を表示する必要がある。ところが、この部分についてはカメラ１１によって画像データが得られておらず、したがって、画像欠落領域となる。このように、表示すべき画像上で、例えば他の車両２のような物体または障害物の存在に起因して、カメラによる画像データが得られていない領域が、画像欠落領域になる。なお、カメラの視野範囲に元々入っていない部分については、当然、カメラによる画像データが得られておらず、これも画像欠落領域となり得る。
【００３２】
（第１の実施形態）
図１は本発明の第１の実施形態に係る車両周囲状況表示装置の基本構成を概念的に示すブロック図である。図１の車両周囲状況表示装置は、基本構成として、車両の周囲を映すカメラ１１と、車両の周囲の障害物を検出する障害物検出手段１２と、障害物の車両側の縁の位置を検出する障害物位置検出手段１３と、カメラ１１の撮影画像を入力とし、このカメラ画像から車両の周囲の状況を表す画像を生成する画像処理部１４とを備えている。
【００３３】
カメラ１１は、典型的には車両に取り付けられており、車両周囲の状況を撮影する。また、道路上や信号機、建物などのインフラに取り付けられたカメラを利用してもよいし、自車の周辺に他の車両がある場合は、この他の車両に取り付けられたカメラの画像を受信し、自車のカメラ画像と併せて、または単独で、用いてもよい。
【００３４】
障害物検出手段１２は、車両の周辺の障害物を検出する。障害物検出の手法としては、カメラ１１によって得られた画像から路面色抽出を行う方法や、複数の画像から視差を求めて利用するモーションステレオや空間ステレオ等の手法によって高さ成分がある領域を抽出し、この領域を障害物領域として検出する手法などがある。また、レーザ、超音波、赤外線、ミリ波などの各種障害物検出アクティブセンサを用いることも可能である。
【００３５】
路面色抽出を用いた障害物領域の抽出について説明する。カメラが水平方向よりも下向きに配置されているものとすると、カメラ画像において最も広い領域を占めるのは、路面であると考えられる。そこで、画像の色のヒストグラムを求め、最も頻度が高い色を抽出することによって、路面の代表色を求める。一般に、舗装された路面では、路面の色はアスファルトの色である灰色であり、舗装されていない道路では、路面の色は茶色である。カメラ画像において、この抽出された代表色から大きく外れた色の領域を求めることによって、路面以外の領域すなわち障害物領域を抽出することができる。
【００３６】
また、複数画像から視差を求めて利用する方法としては、例えば文献１（“Performance Analysis of a Low-Cost Solution to Vision-Based Obstacle Detection”，Massimo他，International Conference on Intelligent Transportation Systems，pp.350-355 ）に示されたものがある。
【００３７】
障害物位置検出手段１３は、障害物検出手段１２によって検出された障害物領域の自車両側の縁、すなわち障害物の自車に最も近い境界領域の位置を検出する。この検出は例えば、アクティブセンサを、自車側面に対して水平方向にラスタスキャンさせることで実現できる。または、レンジファインダを用いて、次のように行う。まず、レンジファインダを路面に対して垂直方向にスキャンさせる。垂直方向スキャンにより求められた距離の中で、最も自車に近い位置を求める。検出された障害物に対して、この垂直方向スキャンを水平方向扇状に行い、自車に最も近い位置を水平方向に結んだ線を障害物の自車両側の縁とする。
【００３８】
図２は自車両１の側方に他の車両２が停まっている様子を示す図である。障害物位置検出手段１３としてのアクティブセンサをスキャンさせることによって、他の車両２の自車両１側の縁となる側面形状Ｅ１を求めることができる。
【００３９】
ここで、課題の項で述べたように、いわゆるオクルージョン領域の問題が生じる。すなわち、カメラが車両のみに配置されている場合はもちろんのこと、インフラに取り付けられたカメラを併せて用いたとしても、車両周辺の障害物の画像を、隠蔽される領域なしに撮影することは、きわめて困難である。なぜなら、障害物の形状は多岐にわたり、かつ、その存在位置は時と場合によって様々であるので、その画像を常に隠蔽される領域なしに確実に撮影するためには、膨大な数のカメラが必要になるからである。これは、経済的な面からみて好ましくない。もちろん駐車場などの場合には、車両上方の建物にカメラを取り付けて、その画像を利用者に提示することは可能であるが、この場合でも、カメラが常時車両の真上に位置するようにはできないので、やはり、オクルージョン領域が存在してしまう。
【００４０】
このため、障害物検出手段１２を用いて障害物領域を求めたとしても、オクルージョン領域が存在するために、利用者に提示される周囲状況画像では、画像欠落領域が存在することになり、全体として非常に違和感のある画像となってしまう。
【００４１】
本実施形態では、このような問題を解決するために、障害物検出手段１２によって障害物が検出されたとき、障害物位置検出手段１３によって当該障害物の車両側の縁位置を検出する。そして、画像処理部１４が、検出された縁位置を用いて画像欠落領域を特定し、この画像欠落領域の少なくとも一部について、代替画像データを埋めることによって、利用者に違和感を与えないような周辺状況画像を生成する。障害物位置検出手段１３と、縁位置を用いて画像欠落領域を特定する手段とによって、画像欠落領域検出手段が構成されている。
【００４２】
まず、障害物検出手段１２によって検出された障害物領域以外の領域に、路面投影や透視投影変換を行った車両周囲状況画像を生成する。次に、障害物検出手段１２によって検出された障害物領域の画像を処理して、違和感がないようにその領域の画像を合成し直し、障害物位置検出手段１３によって検出された縁位置が正確に表示されるように画像上に配置し、車両周囲状況画像を生成する。そして、この車両周囲状況画像を液晶ディスプレイやヘッドマウントディスプレイ等の表示装置に表示して、利用者に提示する。
【００４３】
ここで重要なのは、車両周囲状況画像に障害物領域の画像を配置する際、その自車側の縁を正確な位置に配置することである。これは、車両周囲状況画像において、例えば障害物が自車両からみて実際の位置よりも遠くに表示されると、場合によっては、自車との接触を引き起こすおそれがあるからである。そこで、重要な働きをするのが、障害物位置検出手段１３である。
【００４４】
＜第１の例＞
画像の一部に何もない領域が表示された場合の大きな問題の１つは、利用者が、その領域に注意を惹かれてしまい、本来運転に必要である路面領域への注意がおろそかになってしまうことである。そこでこの例では、画像処理部１４は、障害物領域については画像を表示するのではなく、黒などの背景色で塗りつぶすことにする。すなわち、利用者には、路面領域だけが表示された車両周囲状況画像を提示する。
【００４５】
ただしこの場合、障害物の自車側の縁の位置を、障害物位置検出手段１３で求めた位置に正確に合成する。これにより、自車と障害物との接触の可能性を未然に回避することができる。一方、障害物の自車と反対側の縁はオクルージョン領域となるが、上述したようにこの領域は運転操作にはさほど重要ではないので、塗りつぶしても問題はない。
【００４６】
図３は図４１の合成画像に対してこのような処理を行った例である。図３の合成画像では、自車両１の周囲の各障害物領域ＯＢ１〜ＯＢ５がそれぞれ黒色で塗りつぶされている。図３では、障害物領域ＯＢ１〜ＯＢ５の画像が表示されていないので、利用者に対して目視確認を促すことにもなり、歪みによる合成画像と実際の周辺状況とのミスマッチに起因する問題を回避できる。なお、検出に誤差が生じる場合を考慮して、検出された障害物領域よりも少し広めに塗りつぶしてもかまわない。また、背景色で塗りつぶす代わりに、路面外であると検出された検出精度に応じて、精度を落す、またはマスキングするなどの処理によって、利用者の注意を惹かないようにしてもかまわない。
【００４７】
なお、図３において、自車１の映像は図３８のカメラ画像からはほとんど求まらない。しかしながら、自車１の位置は、周辺障害物との位置関係を把握するためには非常に重要である。そこで、自車１の位置にイラストを貼り付けている。もちろん、実際の自車１の画像を蓄えておき、これを貼り付けてもかまわない。
【００４８】
＜第２の例＞
また、障害物検出手段１２において障害物の大きさを検出し、この大きさに応じた単純な矩形や箱型の立体物を障害物領域に合成してもよい。これにより、利用者に対して「何かがある」という注意を喚起し、目視確認を促すことも可能である。
【００４９】
図４は図４１における自車１付近の画像を拡大したものである。図４に示す車両周辺障害物の自車に面した縁ＥＤＧの長さＬは、障害物検出手段１２によって求めることができる。そこで、長さＬを一辺とする矩形ＲＴＧを生成し、その一辺が縁ＥＤＧに一致するように、重畳表示する。この際、矩形ＲＴＧの他の辺の長さＷは任意に決定できるが、ここではＬの半分の長さとした。これは、上述したように、自車からみて反対側の領域ＯＡＲは、利用者にとってあまり重要でない領域であり、実際の周辺状況と合成画像の間にずれが生じたとしても影響が少ないと考えられるためである。もちろん、長さＷは、障害物位置検出手段１３によって求められた障害物側面形状の傾きによって決定することも可能である。これは、障害物側面形状の傾きが長さＬに対してなだらかであれば、ＷはＬに対して長いと考えられるためである。
【００５０】
図５は図４１に示す合成画像にこの処理を行った例である。図５では、各障害物領域に、矩形ＲＴＧ１，ＲＴＧ２が生成されている。
【００５１】
なお、生成する矩形の色は、障害物の代表色を用いればよいが、利用者の注意を引く配色にしてもかまわない。また、矩形の代わりに、立体的形状例えば直方体を表示してもよい。さらに、例えば、縁ＥＤＧが曲線であるときは、その曲線に接する楕円形状のものを重畳させてもかまわない。さらには、その領域に、イラストや文字を注意を喚起させるように重畳させてもよい。
【００５２】
＜第３の例＞
図６は障害物領域ＲＴＧ１を矩形で示し、かつ、記号を重畳表示させた例である。図６では、利用者を注意を促すべく、記号として「！」を表示している。各矩形の自車に面した縁は、障害物位置検出手段１３によって求められた周辺障害物の正確な位置に合成されている。このため、単純にイラストを張り込む第２の従来例と異なり、自車と周辺障害物との接触を未然に防ぐことができる。もちろん、「！」の代わりに、利用者の注意を喚起するような他の文字やイラストを表示してもよい。
【００５３】
（第２の実施形態）
本発明の第２の実施形態に係る車両周囲状況表示装置は、第１の実施形態と同様に、図１に示すような基本構成を有する。すなわち、カメラ１１、障害物検出手段１２、障害物位置検出手段１３および画像処理部１４を主たる構成要素とする。
【００５４】
第１の実施形態との相違は、画像処理部１４の機能にある。本実施形態では、障害物検出手段１２によって障害物が検出されたとき、画像処理部１４は、障害物位置検出手段１３によって検出された車両側の縁部分を少なくとも含む画像である縁画像を、画像欠落領域を埋めるための代替画像データの生成のために利用し、利用者に違和感なく、正確な位置に提示する。
【００５５】
ここで、車両周辺の障害物は、自動車のようにほぼ線対称の物体であることが多い。そこで、この線対称性を利用して、代替画像データとしての障害物領域画像の合成を行う一例を説明する。
【００５６】
図７（ａ）は自車１の右側方に他の車両２が存在しているとき、自車両１の上方から見た画像を模式的に示す図である。また図７（ｂ）は図７（ａ）の場合において、自車１に搭載されたカメラ１１によって撮影された他の車両２の画像２Ａと自車両１との位置関係を模式的に示す図である。
【００５７】
図８は図７に示す状況において、特願２０００−６１３１８８に示された路面投影によって作成した合成画像である。図８では、障害物位置検出手段１３によって求めた他の車両２の自車側の縁ＥＤＧが示されている。課題の項で述べたように、路面投影は、画像中の物体がすべて路面上にあるものと仮定して投影を行うので、高さ成分を持つ周辺車両２の画像は、図８に示すように歪みが生じ、また投影される位置も実際とは大きく異なってしまう。そこで、この周辺車両２の画像を、縁ＥＤＧに合わせていかに合成するかが問題となる。
【００５８】
＜第１の例＞
図９は本実施形態の第１の例に係る画像処理部１４の動作を示すフローチャートである。
【００５９】
まずステップＳ１１において、障害物検出手段１２および障害物位置検出手段１３によって、障害物の自車側の縁位置とその長さＬを求める。ここでは、障害物の自車側の縁が直線となる場合、すなわち、自車側方に存在する他の車両を真横から眺めたような場合を想定する。
【００６０】
次にステップＳ１２において、障害物の奥行方向（自車側の縁と直交方向）の長さＷを任意に決定するが、ここでは自車側の縁の長さＬの半分とするものとする。これは、上述したように障害物にとって重要なのは自車側の縁の位置であるため、奥行方向の長さは利用者にとってあまり重要ではなく、実際の周辺状況と合成画像との間にずれがあっても、影響が少ないと考えられるためである。
【００６１】
次にステップＳ１３において、障害物位置検出手段１３によって、検出された障害物の障害物側面形状（例えば図２におけるＥ１）を求め、これを周辺障害物の投影面とする。
【００６２】
そしてステップＳ１４において、カメラ１１で得た障害物画像をこの周辺障害物投影面に投影し、その後、視点変換を行うことによって、障害物の一部の投影画像、すなわち縁画像を得る。
【００６３】
図１０を用いて、縁画像生成処理Ｓ１４を詳述する。図１０において、２Ａはカメラ１１によって撮影されたカメラ画像、Ｅ１は障害物位置検出手段１３によって求められた障害物側面形状である。カメラ画像２Ａ中の障害物画像を障害物側面形状Ｅ１に透視投影変換し、さらに上方から見下ろす視点に視点変換することによって、障害物縁画像ＥＤＩを得ることができる。ただし、この障害物縁画像ＥＤＩは、オクルージョン領域である，屋根や前方側面、後方側面、および自車と反対側の側面の情報を有しないので、図１０に示すように、障害物の一部分のみを含み、側面が壁のように立っている幅の薄い画像となる。
【００６４】
次にステップＳ１５において、周辺障害物の反転縁画像の生成・合成を行う。図１１（ａ）は周囲状況画像の障害物領域に配置された縁画像ＥＤＩを模式的に示す図である。ここで、図１１（ｂ）に示すように、周辺障害物がほぼ線対称であると仮定して、対象障害物の幅がステップＳ１２で求めた幅Ｗと等しくなるように、幅Ｗ／２の位置に対称軸ＡＸを仮定する。その仮定した対称軸ＡＸに対して縁画像ＥＤＩを反転して得た反転縁画像ＯＥＤＩを、障害物領域における自車側からみて反対側の縁位置（幅Ｗの位置）に合わせて配置する。
【００６５】
図１１（ｂ）を見ると、縁画像ＥＤＩと反転縁画像ＯＥＤＩとの間に空白の領域ＶＡＲがあるため、まだ違和感がある。そこでステップＳ１６において、空白領域ＶＡＲを、縁画像ＥＤＩと反転縁画像ＯＥＤＩの画素を用いて補間することによって埋め、周辺障害物の合成画像を生成する。
【００６６】
図１２を用いて、画素補間処理Ｓ１６を説明する。図１２は図１１（ｂ）を拡大した図である。図１２では、障害物の自車側の縁方向にｘ軸を、これに直交する奥行方向にｙ軸を設定している。空白領域ＶＡＲ内の最左端と最右端のｘ座標をそれぞれＸ０，Ｘ１、縁画像ＥＤＩと反転縁画像ＯＥＤＩの中で最も空白領域ＶＡＲに近いｙ座標をそれぞれＹ１，Ｙ２とすると、空白領域ＶＡＲ内の画素Ｇ（ｘ，ｙ）（Ｘ０＜ｘ＜Ｘ１，Ｙ１＜ｙ＜Ｙ２）は、次の式によって求まる。
【数１】

【００６７】
図１３はこのようにして生成された周囲状況画像を模式的に示す図であり、２Ｂは合成された周辺障害物としての他の車両の画像である。なお、空白領域ＶＡＲの画素の補間には、縁画像ＥＤＩのテクスチャや、平均輝度、代表色などを用いることも可能である。
【００６８】
また、障害物の自車側の縁が、直線ではなく、Ｌ字状に求まる場合がある。このような場合の処理を、図１４を用いて詳述する。
【００６９】
図１４（ａ）に示すように、車両のような矩形の障害物がカメラ視線方向に対して斜めに位置していると、縁画像ＥＤＩＬはＬ字状に求まる。この場合、まず、短辺の中央を通り、長辺と平行になる対称軸ＡＸを仮定し、図１４（ｂ）に示すように、対称軸ＡＸに対して縁画像ＥＤＩＬを１８０度回転させ、反転縁画像ＯＥＤＩＬとして配置する。この際、縁画像ＥＤＩＬと反転縁画像ＯＥＤＩＬとが重なる領域については、縁画像ＥＤＩＬの方を優先する。これは、縁画像ＥＤＩＬの方が、実際の周辺状況に対して正確な画像であるからである。また対称軸ＡＸは、上述した例と同様に、長軸の長さを基にして決定してもよい。
【００７０】
次に、Ｌ字型の長辺方向にｘ軸を、短辺方向にｙ軸を設定して、上述した例と同様に画素の補間処理を行う。もちろん、ｘ軸およびｙ軸の設定は、例えば、短辺方向にｘ軸を、長辺方向にｙ軸を設定してもよいし、カメラ視線方向に近い辺の方向をｙ軸としてもよく、カメラ画像に応じて適応的に切り替えてもかまわない。
【００７１】
図１５はこのようにして生成された周囲状況画像を模式的に示す図であり、２Ｃは周辺障害物としての他の車両２の合成画像である。
【００７２】
また、縁位置が曲線として求まった場合は、最小自乗法などを用いて直線近似し、その直線方向にｘ軸を設定し、このｘ軸を平行移動した位置に仮想の対称軸を仮定し、同様の処理を行うことも可能である。もちろん、曲線をＬ字状に近似して、それぞれの辺方向にｘ軸およびｙ軸を設定して同様の処理を行ってもかまわない。
【００７３】
図１６は図４１の合成画像に対して本例に係る処理を行った図である。図１６では、各障害物領域に、反転縁画像と補間を用いて生成した障害物画像ＯＩＭ１が合成されている。
【００７４】
＜第２の例＞
第１の例では、周辺障害物をほぼ線対称の物体と仮定して反転縁画像を用いたが、反転縁画像を用いないで、単純に障害物の自車側の縁画像から画素の補間処理のみを行い、画像欠落領域を埋める代替画像データとしての障害物画像を合成することも可能である。これは、例えば自車が周辺車両と縦列に並んでおり、カメラに周辺車両の前部や後部のみが映っている場合など、線対称性が利用できない場合に効果的である。
【００７５】
図１７は本実施形態の第２の例に係る画像処理部１４の動作を示すフローチャートである。ステップＳ２１〜Ｓ２４の処理は、図９に示す第１の例のフローにおけるステップＳ１１〜Ｓ１４と同様である。そこで、ステップＳ２５の画素の補間処理を、図面を参照して説明する。
【００７６】
図１８は自車の後方に他の車両が縦列に並んでいる場合の合成画像を、模式的に示す図である。図１８では、自車１の後方に、他の車両の縁画像ＥＤＩ２が合成されている。
【００７７】
図１９は図１８を拡大した図である。図１９では、合成画像上の自車に対して、横方向にｘ軸を、奥行方向にｙ軸を設定している。前述のように、周辺障害物の奥行方向の長さＷは任意に決めても問題がないと考えられるので、障害物領域（ｘ,ｙ）は、Ｘ０＜ｘ＜Ｘ１，Ｙ０＜ｙ＜Ｙ１として、推定することができる。
【００７８】
障害物領域中で合成画像が求まっていない領域ＶＡＲ１と縁画像ＥＤＩ２との接線ｆを、ｘの関数としてｆ＝Ｙ２（ｘ）とする。領域ＶＡＲ１内の画素Ｇ（ｘ，ｙ）（Ｘ０＜ｘ＜Ｘ１，Ｙ２（ｘ）＜ｙ＜Ｙ１）は、先の式（１）において、Ｇ（ｘ，Ｙ２（ｘ））として求まる。
【００７９】
図２０はこのようにして生成された周囲状況画像を模式的に示す図であり、２Ｄは合成された周辺障害物としての他の車両２の画像である。
【００８０】
図２１は図４１に示す合成画像に対して本例に係る処理を行った図である。図２１では、各障害物領域に、縁画像の補間を用いて生成した障害物画像ＯＩＭ２が合成されている。
【００８１】
＜補間処理の切り替え＞
また、画像処理部１４に、第１の例に係る縁画像、反転縁画像および補間処理を用いる手法と、第２の例に係る縁画像と補間処理を用いる手法とを切り替える処理を組み込み、両者の処理を障害物毎に切り替えて実行することも可能である。
【００８２】
例えば、周辺障害物が車両であると仮定すると、車両の向きを求めることによって、処理を切り替えることができる。すなわち、周辺車両が自車に対して横列にあるときは、第１の例に係る処理を行い、縦列にあるときは、第２の例に係る処理を行う。
【００８３】
車両の向きは、障害物検出手段１２によって検出された障害物領域内のナンバープレートとタイヤを検出することによって、求めることができる。カメラ画像からナンバープレートの位置を検出する手法としては、ナンバープレートの大きさが一定であることを利用する方法や、特開平１０−３０２０７４のような手法が知られている。これは、画像から小領域を切り出し、エッジ強調、サイズの拡縮をした後、ニューラルネットワークへ入力し、その出力が最大となる小領域をナンバープレート位置と判定するものである。また、タイヤを検出する手法としては、テンプレートマッチングやＨｏｕｇｈ変換を用いる方法が知られている。
【００８４】
そして、ナンバープレートは検出されるがタイヤが検出されない場合は、周辺車両は縦列に位置し、タイヤは検出されるがナンバープレートが検出されない場合は、横列に位置し、両者がともに検出される場合は、周辺車両は自車に対してある角度をもって位置していると判定する。また、ナンバープレートとタイヤがともに検出される場合は、縁位置のタイヤを含む直線をｘ軸、縁位置のナンバープレートを含む直線をｙ軸として設定して、第２の例に係る処理を行うことが可能である。
【００８５】
図２２は補間処理の切り替えを用いた合成画像の例である。図２２では、第１の例に係る反転縁画像を用いた手法によって得られた障害物画像ＯＩＭＡと、第２の例に係る縁画像の補間を用いた手法によって得られた障害物画像ＯＩＭＢとが、それぞれ、合成されている。
【００８６】
本実施形態では、障害物の例として、線対称の形状を有する車両を用いて説明を行ったが、障害物が線対称の物体でない場合であっても、本実施形態は有効である。なぜなら、本実施形態に係る処理では、障害物の縁画像は必ず正確な位置に合成されるため、線対称でない障害物について、オクルージョン領域の正確な画像は必ずしも提示できないものの、運転の際に重要となる自車側の縁位置は必ず正確な位置に提示されるからである。
【００８７】
（第３の実施形態）
図２３は本発明の第３の実施形態に係る車両周囲状況表示装置の基本構成例を示すブロック図である。図２３に示すように、本実施形態に係る車両周囲表示装置は、カメラ１１、障害物検出手段１２、障害物位置検出手段１３および画像処理部１４Ａに加え、障害物となり得る物の画像データを格納する障害物画像データベース３１を備えている。
【００８８】
画像処理部１４Ａの動作は、第１または第２の実施形態とは異なる。すなわち、障害物検出手段１２で検出された障害物の種類を判別し、判別した種類の画像データを障害物画像データベース３１から読み出し、読み出した画像データを、画像欠落領域を埋める代替画像データとして、周囲状況画像において、障害物位置検出手段１３によって検出された縁位置に合わせて配置する。
【００８９】
以下、障害物の種類の判別処理について、詳細に説明する。
【００９０】
障害物画像データベース３１には、例えば車両に関しては、車両のアスペクト比、車両側面形状、車種データなどのデータが格納されている。
【００９１】
図２４において、（ａ）は車両を上方から見下ろした図、（ｂ）は車両を正面から見た図である。「車両のアスペクト比」とは、図２４（ａ）における長さＬと幅Ｗとの比である。車両左右のタイヤ間の距離は、車両の幅Ｗにほぼ等しいので、これを求めることによって、車両の幅Ｗを求めることができる。また、「車両側面形状」とは、図２４（ｂ）における車両のシルエット立体形状ＣＳＦのことであり、縁画像になりうる領域である。
【００９２】
また図２５は車種データの一例を示す図である。図２５に示すように、車種データは、車種判別のために用いる車種判別用データ、その車種の販売された色を表す色データ、および、画像表示の際に用いる表示用データを有する。
【００９３】
「車種判別データ」は、例えば車種判別をカメラ画像のエッジや特徴点から行う場合は、エッジまたは特徴点が存在する画素は“１”、存在しない画素は“０”というような２値化画像である。このとき、各２値化画像のサイズは、同一になるように正規化されている。
【００９４】
また「色データ」として、市場に出回っているその車種のすべての色を蓄えておくことによって、輝度を用いた車種判別や、後述する障害物画像の配置処理に利用することができる。ここでは、色データはＲＧＢ各２５６階調で表現されている。すなわち、赤は（２５５，０，０）、緑は（０，２５５，０）、青は（０，０，２５５）と表現される。また「表示用データ」は、後述する障害物画像の配置処理において利用される。
【００９５】
なお、自車周辺に存在する車両はどの方向を向いているかわからないので、車種判別用データや表示用データは、いかなる視点からのデータにも変換可能なように保持することが望ましい。これは、車両の３次元形状データを蓄えることによって、実現できる。
【００９６】
次に、画像処理部１４Ａの動作について詳述する。画像処理部１４Ａは、障害物検出手段１２によって検出された障害物について、これが自動車か、または２輪車かといった大まかな種類判別を行い、この判別結果に基づいて、例えば車両であれば、さらにその車種の判別を行う。
【００９７】
図２６は本実施形態における画像処理部１４Ａの動作を示すフローチャートである。まず、障害物検出手段１２によって障害物が検出されると（ステップＳ３１）、その障害物について、自動車であるか否か（ステップＳ３２）、２輪車であるか否か（ステップＳ３３）などの大まかな種類の判別を行う。ステップＳ３２において障害物が自動車であると判別されると、ステップＳ３４においてその車種の判別が行われる。一方、障害物は自動車でないと判別されると（Ｓ３２でＮＯ）ステップＳ３３にすすみ、障害物が２輪車であるか否かの判別を行う。ステップＳ３３において２輪車であると判別されると、ステップＳ３５においてその２輪車の車種の判別が行われる。一方、２輪車でないと判別されると（Ｓ３３でＮＯ）、例えばその障害物は人物であるか否かの判別処理などへ進む。
【００９８】
障害物の種類判別ステップＳ３２，Ｓ３３は、ニューラルネットワーク等を用いて実現できる。ニューラルネットワークは、予め学習させておいたパターンのうち、入力されたものに最も近いものを出力することが可能である。そこで、様々な自動車の大量のデータを「自動車パターン」、様々な２輪車の大量のデータを「２輪車パターン」として学習させることによって、検出された障害物のデータが自動車か２輪車かを判別することができる。もちろん、障害物画像データベース３１に蓄えられた車種判別用データや表示用データを学習パターンとして用いることも可能である。すなわち、判別ステップＳ３２，Ｓ３３は、単一の処理として行うことも可能である。
【００９９】
ステップＳ３４，Ｓ３５において車種が判別されると、判別した車種の画像データを障害物画像データベース３１から読み出し、読み出した画像データを、周囲状況画像において、障害物位置検出手段１３によって検出された縁位置に合わせて配置する（Ｓ３６）。
【０１００】
次に、車種判別の方法について説明する。図２７は本実施形態に係る車種判別処理を示すフローチャートである。
【０１０１】
まずステップＳ４０１において、２個の変数Ｍ０，Ｍ１に０を与え、初期化する。次にステップＳ４０２において、障害物検出手段１２によって検出された障害物領域について、代表色、エッジおよび特徴点を抽出する。代表色は、障害物領域内の全ての画素に対してヒストグラムを求めることによって抽出することができる。また、エッジや特徴点は、Ｓｏｂｅｌ演算子との畳み込みを用いることによって抽出可能である。そして、エッジまたは特徴点が検出された画素は“１”とし、検出されなかった画素は“０”として、エッジ・特徴点２値化画像を生成する。
【０１０２】
そしてステップＳ４０３において、障害物画像データベース３１に格納された車種データの中から、ある車種を一つ選択し、その車種の車種判別用データと色データとを取り出す。そしてステップＳ４０４以降によって、ステップＳ４０３で選択した車種と、検出された障害物との整合性を調べる。
【０１０３】
まずステップＳ４０４において、検出された障害物の代表色に近い色が、その車種の色データに含まれるか否かを調べる。色の近さは、代表色とその車種の色データとのＲＧＢ３次元における距離を測ることによって、判定可能である。そして、代表色に十分近い色が色データに存在する場合はステップＳ４０５にすすみ、エッジ、特徴点の比較を行う。一方、代表色に十分近い色が存在しない場合は、検出された障害物はステップＳ４０３で選択した車種とは異なるものと判断し、ステップＳ４０８にすすみ、他の車種の車種データとの比較を行う（Ｓ４０３）。
【０１０４】
そしてステップＳ４０５では、障害物のエッジ・特徴点と、ステップＳ４０３で選択した車種の車種判別用データとの整合度Ｍ１を求める。これは、すでに求められた障害物のエッジ・特徴点２値化画像と、選択した車種のエッジ・特徴点２値化画像とを比較することによって求められる。
【０１０５】
すなわち、障害物のエッジ・特徴点２値化画像を車種データのエッジ・特徴点２値化画像の大きさに正規化した画像をｆ（ｕ，ｖ）とし、選択した車種データのエッジ・特徴点２値化画像をｇ（ｕ，ｖ）とすると、整合度Ｍ１は次式で求められる。ただし、ｕ，ｖは、車種データのエッジ・特徴点２値化画像の大きさを表している。
【数２】

上式の分子は、障害物と車種データとにおいて同一位置にあるエッジ、特徴点の総数であり、分母は、障害物と車種データ中に存在するエッジ、特徴点の総数である。すなわち、Ｍ１の値が大きいほど、２つのエッジ・特徴点２値化画像は類似しており、Ｍ１の値が小さいほど、２つの画像は異なっていることになる。
【０１０６】
次にステップＳ４０６において、この整合度Ｍ１が変数Ｍ０の値よりも大きいか否かを比較する。もしＭ１の方が小さいときは、障害物と選択された車種とは異なるものと判断し、ステップＳ４０８にすすみ、他の車種の車種データとの比較を行う（Ｓ４０３）。
【０１０７】
一方、Ｍ１の方が大きいときは、ステップＳ４０７において、変数Ｍ０の値をＭ１に置き換えるとともに、選択された車種の車種番号を変数Ｍ２に与え、車種候補として保持する。そしてステップＳ４０８にすすみ、他の車種の車種データとの比較を行う（Ｓ４０３）。すなわち、変数Ｍ０には、これまで比較された車種の中で最も確からしい車種候補の整合度の値が保持される。このため、障害物画像データベース３１に格納された全ての車種について比較処理を行うことによって、検出された障害物と最も類似した車種を判別することができる。
【０１０８】
全ての車種について比較が終わったとき（Ｓ４０８でＹｅｓ）、ステップＳ４０９にすすみ、車種判別候補が障害物と十分に類似しているか否かを判定する。これは、最も類似していると判断された車種Ｍ２の整合度Ｍ０が、所定値よりも大きいか否かによって判定することができる。Ｍ０が所定値よりも大きいときは、障害物は車種Ｍ２と十分に類似していると判断し、「検出された障害物の車種はＭ２」として処理を終了する（Ｓ４１０）。一方、Ｍ０が所定値よりも小さいときは、十分には類似していないと判定し、「検出された障害物の車種は判別できず」として処理を終了する（Ｓ４１１）。
【０１０９】
もちろん、各車種データとの整合度を求める処理は、上述したような逐次処理を行わないで、各車種データとの整合度を並列に求めて、処理時間を短縮することも可能である。
【０１１０】
また、２輪車の車種判別についても、障害物画像データベース３１に格納された２輪車の車種データを用いて、図２７と同様の処理を行えばよい。
【０１１１】
もちろん、大まかな種類判別を行わないで、障害物画像データベース３１に格納された自動車車種データおよび２輪車車種データをすべて障害物データとして用いることによって、障害物の判別を一括して行うことも可能である。
【０１１２】
また、自動車車種データとして、乗用車、バン、軽トラック、トラックといった大まかなデータを用いて処理を行うことも可能である。
【０１１３】
また、障害物画像データベース３１は、車種データを更新する手段を備えているのが好ましい。例えば、本車両周囲状況表示装置が、常に最新の車種データを蓄えたデータベースに定期的にアクセスし、障害物画像データベース３１の車種データを更新するようにすればよい。また車種データの更新は、ＣＤやＤＶＤなどの記憶媒体を介して行ってもよいし、最新の車種データを有する他の車両周囲状況表示装置に車車間通信によってアクセスし、その車種データを受け取るようにしてもよい。
【０１１４】
また、画像を用いた障害物識別の方法としては、文献２（「一般道路映像中の対象物のオンライン識別」，長谷川修他，第７回画像センシングシンポジウム講演論文集，ｐｐ．２２１−２２６）に示されたものがある。また、画像を用いた車種判別の方法としては、この文献の他にも例えば特開２００１−１０１４０５号公報に示されたものがある。この方法では、各車種データを大量に集めてグループ化し、これを学習画像として用いることによって、車種判別を実現可能にしている。
【０１１５】
また、障害物として認識した他の車両と、車車間通信を行うことによって、車種情報を直接得ることも可能である。さらに、障害物として認識した他の車両のナンバープレート認識を用いて、車種情報を得ることも可能である。
【０１１６】
次に、障害物画像の配置処理Ｓ３６について説明する。このステップＳ３６は、障害物検出手段１２で検出された障害物を、利用者に違和感なく、正確な位置に提示するためのデータを周囲状況画像に配置するものである。
【０１１７】
図２８は障害物画像の配置処理Ｓ３６を示すフローチャートである。ここでは図２６のフローにおいて、障害物が自動車であると判定され、ステップＳ３４で車種が判別されたものとする。
【０１１８】
まず、判別された車種の画像データを障害物画像データベース３１から読み出し、利用者に提示する周辺障害物画像を決定する（ステップＳ５１）。ここで得られた画像は、障害物位置検出手段１３で検出された縁位置に合うように、視点変換がなされたものである。周囲状況画像として、車両上方に視点がある画像を利用者に提示する場合には、周辺障害物画像は図７（ａ）に示すような上方から眺めた画像となる。この周辺障害物画像は、イラストを用いても、実際の車両の画像データを用いてもかまわない。
【０１１９】
次に、周囲状況画像に、読み出した周辺障害物画像を、障害物位置検出手段１３で検出された自車側の縁位置に合うように配置する（ステップＳ５２）。このとき、障害物が車両であることはすでに分かっているので、障害物の自車側の縁位置は、後述するように、画像から車両のタイヤと路面との接点を求めることによっても検出可能である。
【０１２０】
図２９は図７（ｂ）の画像から、特願２０００−６１３１８８に示された路面投影によって作成した合成画像である。課題の項で述べたように、路面投影は、画像中の物体がすべて路面上にあるものと仮定して投影を行うので、高さ成分を持つ周辺車両の画像は、図２９に示すように歪みが生じ、また投影される位置も実際とは大きく異なってしまう。しかしながら、路面に接しているタイヤの領域ＴＡＲ１，ＴＡＲ２は、高さ成分を持たないため正確な位置に投影される。
【０１２１】
そこで、このタイヤと路面との接点の位置を基準に用いることによって、位置関係が正確な合成画像を生成することが可能である。タイヤと路面との接点の位置を求める処理を、図面を用いて説明する。
【０１２２】
図３０は障害物検出手段１２によって障害物として検出された領域の画像である。障害物位置検出手段１３は、この画像から、上述のＳｏｂｅｌ演算子を用いてエッジを抽出し、そのエッジ抽出結果から、図３１に示すようなタイヤの下端と同様の円弧パターンＣＰ１に一致するエッジ部分を求める。この処理は、テンプレートマッチングやＨｏｕｇｈ変換などを用いて行うことも可能である。
【０１２３】
図３２は図３０の画像に対するエッジ抽出の結果を示す図である。図３２において、ＭＡＲ１，ＭＡＲ２は円弧パターンＣＰ１に一致するエッジ部分である整合領域である。車両の場合、タイヤは前後２個ずつが必ずペアになって存在する。そこで、この整合領域が２つ並んで求められたとき、これを、タイヤと路面との接点の位置とする。すなわち、図３２の例では、整合領域ＭＡＲ１，ＭＡＲ２がタイヤと路面との接点位置として求められる。また、例えば、タイヤは必ず非障害物領域と接している、ということを検出の条件として用いてもよい。
【０１２４】
その後、画像処理部１４Ａは、求められたタイヤと路面との接点の位置ＭＡＲ１，ＭＡＲ２に、障害物画像データベース３１から読み出した画像データを合成することによって、周辺車両合成画像を生成する。すなわち、読み出した画像データを、２つの接点ＭＡＲ１，ＭＡＲ２を結ぶ直線に前後２つのタイヤが乗るように回転させる。そして、回転させた画像データを、前後２つのタイヤの位置が接点位置ＭＡＲ１，ＭＡＲ２に合うように拡大縮小し、合成する。図３３はこのようにして得られた合成画像である。
【０１２５】
また図２９において、自車１の後方にある車両３のように、周辺車両が自車に対して縦列に並んでいるとき、周辺車両のタイヤはバンパーに隠蔽されてしまい、自車１のカメラには映らない。このため、上述したようなタイヤを用いた縁位置の検出手法が利用できない場合がある。このような場合には、例えば、ナンバープレートを用いて、縁位置を検出することができる。この処理を図３４を用いて説明する。
【０１２６】
図３４において、４１は自車両、４２は路面、４３は自車４１に配置された車載カメラ、４５はカメラ４３に映った周辺車両、４５ａは周辺車両４５のナンバープレートである。図３４に示すように、実世界における任意の点の座標を（Ｘｗ，Ｙｗ，Ｚｗ）と定める。すなわち、平面Ｘｗ−Ｚｗは路面と平行な平面であり、Ｚｗ方向は自車両の前後方向、Ｘｗ方向は自車両の左右方向、Ｙｗは路面に対して垂直方向とする。また、カメラの光軸方向をＺｅ軸としたカメラ座標系（Ｘｅ，Ｙｅ，Ｚｅ）、カメラに撮影された画像座標系（Ｘｉ，Ｙｉ）を図３４のように定める。これらの座標系は、下式のような関係を有する。
【数３】

【数４】

ただし、ｆ，ｒはカメラ４３の内部パラメータと設置位置によって決まる定数であり、既知である。
【０１２７】
次に、カメラ画像中のナンバープレート４５ａの位置を検出する。カメラ画像からナンバープレートの位置を検出する手法としては、例えば特開平１０−３０２０７４号公報に開示されたものがある。これは、画像から小領域を切り出し、エッジ強調やサイズの拡縮を行った後にニューラルネットワークに入力し、その出力が最大となる小領域をナンバープレート位置と判定するものである。
【０１２８】
カメラ画像において検出されたナンバープレート４５ａの４隅の座標を、それぞれ、
Ｐｉ（Ｘｉ０，Ｙｉ０），Ｑｉ（Ｘｉ１，Ｙｉ１），Ｒｉ（Ｘｉ２，Ｙｉ２），Ｓｉ（Ｘｉ３，Ｙｉ３）
とし、その実世界における座標を、それぞれ、
Ｐｗ（Ｘｗ０，Ｙｗ０，Ｚｗ０），Ｑｗ（Ｘｗ１，Ｙｗ１，Ｚｗ１），Ｒｗ（Ｘｗ２，Ｙｗ２，Ｚｗ２），Ｓｗ（Ｘｗ３，Ｙｗ３，Ｚｗ３）
とする。ナンバープレートの大きさが規格化されていること、および、ナンバープレートは路面に対して垂直であるという仮定を用いることによって、４隅の実世界での座標は、下式の関係を持つ。
【数５】

ただし、ａ，ｂはそれぞれナンバープレート４５ａの幅および高さであり、既知である。カメラ画像を用いたナンバープレートの位置検出処理を行うことによって、Ｐｉ，Ｑｉ，Ｒｉ，Ｓｉは既知となるので、この値を（数３）、（数４）に代入し、（数５）を拘束条件として最小自乗法などで解くことによって、実世界におけるナンバープレート４５ａの位置Ｐｗ，Ｑｗ，Ｒｗ，Ｓｗを求めることができる。
【０１２９】
そして、ナンバープレート４５ａは、周辺車両の自車側の縁の位置にあると考えられるので、ナンバープレート４５ａの実世界における位置から、自車側の縁位置を推定することが可能である。
【０１３０】
また、ステップＳ３４において車種まで判別できなかった場合には、ステップＳ３６における障害物画像の配置は次のように行う。この場合、障害物画像データは得られないが、障害物は車両であることは分かっている。そこで、自車側の縁位置をアクティブセンサやタイヤ、ナンバープレートの認識などから求め、その位置に合うように、車であることを示すイラストや文字、記号を第１の実施形態のように表示する。また、第２の実施形態のように、反転縁画像や縁画像と画素の補間処理を行うようにしてもよい。
【０１３１】
また、車車間通信などによって直接的に周辺車両の判別を行っている場合、通信の際に、同時に、画像データ自体も受信することも可能である。
【０１３２】
図３５は本実施形態に係る合成画像の例を示す図である。図３５の画像は、図３８のように得られたカメラ画像を基にして、本実施形態で説明したような画像合成手法を行ったものである。
【０１３３】
また、図３６は図４１の合成画像に、車両がある領域を矩形で示し、かつ、文字を重畳させた例である。図３６では、利用者の注意を喚起するように「車」の文字を提示している。矩形領域の自車側の縁は、障害物位置検出手段１３によって検出された周辺障害物の縁位置に合わされている。このため、単純にイラストを張り込む第２の従来例と異なり、他の車両との接触を未然に回避することができる。もちろん、「車」の文字の代わりに、車両があることの注意を促す他の文字や記号、イラストを合成してもかまわない。
【０１３４】
また、ここでは障害物として自動車と２輪車を例にとって説明したが、本実施形態の手法は、他の種類の障害物についても有効である。
【０１３５】
例えば、対象物が人である場合、足元と路面との接点を求めることによって、対象人物の正確な位置を求めることができる。また、人物側面形状を予め求めておくことによって、対象人物領域を頭部、上半身部、下半身部などに分割することができる。すなわち、障害物画像データベースに、頭部データ、上半身データおよび下半身データを含む人物データを蓄えておく。頭部データは様々な髪型データを、上半身データは半袖、長袖などの上半身服装データを、下半身データはジーンズ、スカートなどの下半身服装データを有しており、検出されたそれぞれの領域ごとに、それぞれのデータを用いて、対象人物を作画することが可能である。
【０１３６】
また、画像を用いた人物部位の検出の方法には、例えば文献３（“W4: Who, When, Where, What: A Real Time System for Detecting and Tracking People”，Haritaoglu他，Third Face and Gesture Recognition Conference，ｐｐ．２２２−２２７）に示されるものがある。この手法によると、ステレオ法を用いて、人物の頭、手、足、胴といった部位を別々に識別することが可能である。
【０１３７】
（第４の実施形態）
図４６は本発明の第４の実施形態に係る車両周囲状況表示装置の基本構成を概念的に示すブロック図である。図４６の車両周囲表示装置は、基本構成として、車両の周囲を映すカメラ１１と、車両の周囲の障害物の有無を検出する障害物検出手段１２と、カメラ１１の撮影画像を入力とし、このカメラ画像から車両の周囲の状況を表す画像を生成する画像処理部１４と、障害物検出手段１２によって障害物が検出されたとき、周囲状況画像上で、この障害物の存在に起因してカメラ１１による画像データが得られていない画像欠落領域を検出する画像欠落領域検出手段４１を備えている。
【０１３８】
第１の実施形態との相違は、画像欠落領域検出手段４１である。障害物検出手段１２によって障害物が検出されたとき、画像欠落領域検出手段４１は、カメラ１１では画像データを取得できていない画像欠落領域を検出し、画像処理部１４は、画像欠落領域の少なくとも一部について、上述の各実施形態と同様に、補間や合成処理を行い、代替画像データを埋めることによって、車両周囲状況画像を生成する。
【０１３９】
画像欠落領域検出手段４１は、障害物の大まかな形状を近似した仮想障害物形状という任意の３次元形状モデルを保持している。図４７は仮想障害物形状の一例である。もちろん、仮想障害物形状は図４７に示すものに限られることはなく、立方体や任意の多面体であっても、または実際の障害物をモデル化したものであってもかまわない。また、仮想障害物形状の大きさは任意に定めてよいが、例えば障害物が車両と仮定できる場合、通常の車両の大きさに合わせて、例えば短軸Ｗ１．７ｍｘ長軸Ｌ４．２ｍｘ高さＨ１．４ｍにすればよい。また、複数の仮想障害物形状を保持しておき、第３の実施形態で説明した障害物の種類判別処理を行い、その結果に基づいて、仮想障害物形状を選択してもよい。
【０１４０】
そして、障害物として認識された領域に、この仮想障害物形状をフィッティングし、その形状にカメラ画像を投影する。その際、仮想障害物形状において画像が投影されなかった領域は画像欠落領域であると考えられるので、画像処理部１４はこの画像欠落領域を埋めるべく、上述の補間・合成処理を用いて画像合成することによって、周囲状況画像を生成する。すなわち、仮想障害物形状を用いることによって、画像投影面と画像欠落領域を同時に推定することが可能である。
【０１４１】
図４８は本実施形態における処理の流れを示すフローチャートである。まず第１の実施形態と同様に、図４９に示すように、障害物検出手段１２によって障害物領域を検出し、その長さＬ１を計測する（Ｓ６１）。障害物領域は、面として求まる。
【０１４２】
次に、求めた障害物領域と仮想障害物形状とのフィッティングを行う（Ｓ６２）。仮想障害物形状としては、車両の形状、大きさをもとにモデル化した図４７に示すものを用いる。そして、計測された障害物領域の長さＬ１が、長軸Ｌに近く、短軸Ｗよりも十分に長いときは、図５０のように、仮想障害物形状の長軸が障害物領域と合うように配置する。一方、障害物領域の長さＬ１が、短軸Ｗに近く、長軸Ｌよりも十分に短いときは、仮想障害物形状の短軸が障害物領域と合うように配置する。
【０１４３】
そして、フィッティングした仮想障害物形状において、図５１に示したように、自車に接した領域を画像投影面とし、カメラから得られた障害物画像をこの画像投影面に投影する（Ｓ６３）。すると、フィッティングした仮想障害物形状において、画像投影面以外の領域は画像欠落領域と考えられるので（Ｓ６４）、この画像欠落領域について上述の補間・合成処理を行うことによって、合成画像を生成する（Ｓ６５）。
【０１４４】
図５２および図５３は仮想障害物形状のフィッティング結果を概念的に示す図であり、図４５に示すような自車１の後方に他の車両２が存在する状況におけるものである。図５２は側方から見た図、図５３は上方から見た図である。
【０１４５】
＜車両以外への適用例＞
なお、本発明の適用領域は車両に限定したものではない。例えば、室内や屋外の監視システムや移動ロボットの視覚システムにおいても適用できる。
【０１４６】
一例として、室内監視システムへの適用例を説明する。映像提示システムとしての室内監視システムにおいて、監視領域を広げるために複数のカメラを設置し、仮想視点合成の技術を応用して、複数のカメラ画像を１枚の画像としてモニタする方法が考えられる。図５４は２台のカメラ１１Ａ，１１Ｂが室内を撮影している監視システムの概念図である。図５４において、室内には、テーブルＴＢと２脚の椅子ＣＨ１，ＣＨ２が置かれている。ここで、２台のカメラ１１Ａ，１１Ｂの撮影画像を合成して、仮想カメラＶＣから見た仮想視点画像を合成するものとする。
【０１４７】
この場合、テーブルＴＢ中央の領域は、いわゆるオクルージョン領域ではないが、カメラ１１Ａ，１１Ｂのどちらにも撮影されないために、画像データを取得することができない。そのため、この領域は仮想視点画像上で画像欠落領域となってしまう。もし、テーブルＴＢが室内に置かれていない場合には、このような画像データの欠落は生じない。言い換えると、この場合の画像欠落領域はオクルージョンによるものではないが、物体としてのテーブルＴＢの存在に起因して画像データが得られない領域ということになる。
【０１４８】
そこで、監視範囲（映像提示範囲）における物体を検出する検出手段と、検出手段によって物体が検出されたとき、監視画像（提示画像）上で、画像欠落領域を検出する画像欠落領域検出手段を設ける。そして、画像欠落領域が検出されたとき、画像処理部が、この画像欠落領域について、上述した補間処理やデータベース画像を用いた方法などを利用して、代替画像データを埋めるようにする。これにより、監視画像は、画像欠落領域については、代替画像データによって利用者に対する違和感が軽減され、かつ、画像欠落領域以外の部分については、カメラ画像データが用いられる。これにより、利用者は、監視画像にさほど違和感を感じることなく、かつ、監視範囲の状況を正確に認識することができる。
【０１４９】
また、最近、多視点映像を用いて共通の実空間を記録し、新しい映像として提示する研究が盛んに行なわれている（例えば、文献“多視点映像による現実シーンの仮想化 −カメラ間の射影的関係の利用による中間視点映像生成―”，斎藤英雄他，情報処理学会研究報告会２００２−ＣＶＩＭ−１３１，pp.53-60）が、このような、例えばサッカー・野球・アメフトなどのスポーツのＴＶ中継のようなアミューズメントの分野にも、本発明は適用できる。このような研究は、カメラが存在しない視点からの画像を複数のカメラ画像の補間画像として生成するものである。しかし、視点が実際のカメラ位置から大きくずれてしまう場合、上述したようなオクルージョン領域が生じ、画像欠落領域が存在してしまう。このような画像欠落領域の画像を生成するためにも、本発明は有効である。
【０１５０】
なお、各実施形態において、画像合成の際の仮想視点の位置は、車両の上方にあるものとしたが、これ以外の位置の仮想視点を用いた場合でも、本発明は適用可能である。また、仮想視点変換以外の手法によって、車両周囲状況画像を生成する場合でも、本発明の技術的思想は、有効である。
【０１５１】
以上のように本発明によると、車両周囲状況表示装置において、運転操作のために重要となる自車両に面した領域を正確に表示し、かつ、さほど正確さを必要としない領域については、精度はあまりないがそれらしい画像を表示する。これにより、利用者に違和感を与えることを回避しつつ、相対的な位置関係が正確な画像を提示することができる。
【０１５２】
【発明の効果】
以上のように、本発明に係る車両周囲状況表示装置によると、利用者は、周囲状況画像にさほど違和感を感じることなく、かつ、車両周辺の障害物の位置を正確に認識することができ、従来よりも確実かつ快適に、安全な運転操作を行うことができる。
【図面の簡単な説明】
【図１】本発明の第１および第２の実施形態に係る車両周囲状況表示装置の基本構成を示すブロック図である。
【図２】障害物の自車両側の縁について説明するための図である。
【図３】本発明の第１の実施形態に係る合成画像の第１の例である。
【図４】透視投影変換における合成画像の拡大図であり、第１の実施形態における第２の例を説明するための図である。
【図５】本発明の第１の実施形態に係る合成画像の第２の例である。
【図６】本発明の第１の実施形態に係る合成画像の第３の例である。
【図７】自車両の側方に障害物としての他の車両が存在する状況を示す図である。
【図８】図７の状況で路面投影によって作成した画像である。
【図９】本発明の第２の実施形態における画像処理部の、反転縁画像を用いた画像合成の流れを示すフローチャートである。
【図１０】縁画像の生成処理を説明するための図である。
【図１１】反転縁画像の生成・合成処理を説明するための図である。
【図１２】画素補間処理を説明するための図である。
【図１３】本発明の第２の実施形態において生成された周囲状況画像を模式的に示す図である。
【図１４】障害物の自車側の縁がＬ字状に求まったときの処理を説明するための図である。
【図１５】本発明の第２の実施形態において生成された周囲状況画像を模式的に示す図である。
【図１６】本発明の第２の実施形態に係る合成画像の第１の例である。
【図１７】本発明の第２の実施形態における画像処理部の、縁画像と画素の補間処理を用いた画像合成の流れを示すフローチャートである。
【図１８】自車の後方に周辺車両が縦列に並んでいる場合に得られる合成画像を模式的に示す図である。
【図１９】図１８を拡大した図である。
【図２０】本発明の第２の実施形態において生成された周囲状況画像を模式的に示す図である。
【図２１】本発明の第２の実施形態に係る合成画像の第２の例である。
【図２２】本発明の第２の実施形態に係る合成画像の第３の例である。
【図２３】本発明の第３の実施形態に係る車両周囲状況表示装置の基本構成例を示すブロック図である。
【図２４】車両のアスペクト比と、車両側面形状を説明するための図である。
【図２５】障害物画像データベースに格納された車種データの例を示す図である。
【図２６】本発明の第３の実施形態における画像処理部の動作を示すフローチャートである。
【図２７】車種判別処理の詳細を示すフローチャートである。
【図２８】障害物画像の配置処理の詳細を示すフローチャートである。
【図２９】路面投影によって作成した合成画像である。
【図３０】図２９の画像の中の、障害物領域の画像である。
【図３１】タイヤの下端に一致する円弧パターンである。
【図３２】図３０の画像に対するエッジ抽出の結果を示す図である。
【図３３】本発明の第３の実施形態において得られた合成画像の第１の例である。
【図３４】ナンバープレートを用いた障害物の縁位置検出を説明するための図である。
【図３５】本発明の第３の実施形態において得られた合成画像の第２の例である。
【図３６】本発明の第３の実施形態において得られた合成画像の第３の例である。
【図３７】第２の従来例における模式的な絵表示の例である。
【図３８】本発明の実施例におけるカメラ配置と各カメラの撮像画像の例を示す図である。
【図３９】図３８における車両周辺状況を示す図である。
【図４０】路面投影による合成画像の一例である。
【図４１】距離データを用いた透視投影変換による合成画像の一例である。
【図４２】自車の右後方に他の車両が存在する状況を上方から見た図である。
【図４３】図４２の状況において、実際の車両よりも小さな絵を表示した例である。
【図４４】図４２の状況において、実際の車両よりも大きな絵を表示した例である。
【図４５】画像欠落領域を説明するための図であり、自車両の後方に他の車両が停まっている様子を示す図である。
【図４６】本発明の第４の実施形態に係る車両周囲状況表示装置の基本構成を概念的に示すブロック図である。
【図４７】仮想障害物形状の一例である。
【図４８】本発明の第４の実施形態における処理の流れを示すフローチャートである。
【図４９】検出された障害物領域である。
【図５０】仮想障害物形状のフィッティングの例である。
【図５１】仮想障害物形状への画像投影の例である。
【図５２】仮想障害物形状のフィッティング結果を概念的に示す図である。
【図５３】仮想障害物形状のフィッティング結果を概念的に示す図である。
【図５４】室内の監視システムの概念図である。
【符号の説明】
１１，１１Ａ，１１Ｂカメラ
１２障害物検出手段
１３障害物位置検出手段
１４，１４Ａ画像処理部
３１障害物画像データベース
４１画像欠落領域検出手段

Claims

車両の周囲を映すカメラと、
前記車両の周囲の障害物を検出する障害物検出手段と、
前記カメラの撮影画像から、前記車両の周囲の状況を表す周囲状況画像を生成する画像処理部と、
前記障害物検出手段によって障害物が検出されたとき、前記周囲状況画像上で、この障害物の存在に起因して前記カメラによる画像データが得られない画像欠落領域を、検出する画像欠落領域検出手段とを備え、
前記画像欠落領域検出手段は、
前記障害物の、前記車両側の縁の位置を検出する障害物位置検出手段を備え、検出された縁位置を用いて、前記画像欠落領域を特定するものであり、
前記画像処理部は、
前記画像欠落領域が検出されたとき、この画像欠落領域の少なくとも一部について、前記障害物の、前記車両側の縁部分を少なくとも含む画像である縁画像を利用して生成した代替画像データを埋めるものである
ことを特徴とする車両周囲状況表示装置。
請求項１記載の車両周辺状況表示装置において、
前記画像処理部は、
前記周囲状況画像において、前記障害物位置検出手段によって検出された縁位置に合わせて、前記縁画像を配置し、
前記周囲状況画像において、前記縁位置に合わせて、前記障害物が占める領域を推定し、
推定した障害物領域内の前記縁画像以外の部分について、前記縁画像の画素データを用いた画素補間によって、前記代替画像データを生成するものである
ことを特徴とする車両周囲状況装置。
請求項２記載の車両周辺状況表示装置において、
前記画像処理部は、前記障害物が線対称の物体であるとき、
前記周辺状況画像において、前記障害物の対称軸を仮定し、
前記縁画像を前記対称軸について反転し、反転縁画像として配置し、
前記障害物領域内の前記縁画像と前記反転縁画像との間の画像を、前記縁画像の画素データを用いた画素補間によって、生成するものである
ことを特徴とする車両周囲状況表示装置。
請求項１記載の車両周囲状況表示装置において、
前記障害物位置検出手段は、前記障害物が他の車両であるとき、
前記カメラ画像から、前記他の車両のタイヤと路面との接点を、前記縁位置として検出するものである
ことを特徴とする車両周囲状況表示装置。
請求項１記載の車両周囲状況表示装置において、
前記障害物位置検出手段は、前記障害物が他の車両であるとき、
前記カメラ画像から、前記他の車両のナンバープレートが存在する平面と路面との接線を、前記縁位置として検出するものである
ことを特徴とする車両周囲状況表示装置。
請求項１記載の車両周囲状況表示装置において、
前記画像処理部は、前記障害物が他の車両であるとき、
前記他の車両のタイヤおよびナンバープレートの検出状態に基づき、代替画像データを埋める処理を切り替えるものである
ことを特徴とする車両周囲状況表示装置。