JP5099451B2 - 車両周辺確認装置 - Google Patents

Description

本発明は、撮影部によって取得された車両周辺の撮影画像を利用して車両周辺における障害物を確認する装置に関する。

車両に設置され、車両の周辺を広視野に撮影するための広視野レンズを有するカメラと、カメラにより広視野レンズを介して撮影された撮影画像から所定範囲の画像を抽出する画像抽出手段と、画像抽出手段により抽出された抽出画像を表示する表示手段と、車両の周辺の障害物を検出する障害物検出手段とを備え、障害物検出手段が検出した障害物の存在する方向に対応する画像を撮影画像から抽出して表示部に拡大して表示する車両用モニタ装置が知られている（例えば、特許文献１参照）。より詳しく説明すると、通常時には、カメラの撮影画像全体、撮影画像の中央下部抽出画像、撮影画像の右下部抽出画像、撮影画像の左下部抽出画が所定時間ずつ順次繰り返し表示される。そこで、右側のバックソナーで障害物が検出されると、画像メモリに記憶されている撮影画像の内、左側の予め設定されている範囲の画像が抽出され（カメラが車両の後方に向けて設置されているので、車両の後方右側に位置する障害物は撮影画像の左側に撮影されている）、表示画面一杯に拡大して表示される。左側のバックソナーで障害物が検出されると、撮影画像の内、右側の予め設定されている範囲の画像が抽出され、表示画面一杯に拡大して表示される。なお、その際、表示画面の所定位置（例えば、画面右上）に小さな補助画面を設けて、車両位置と抽出画像に対応する撮影範囲を表示することも提案されている。しかしながら、この車両用モニタ装置では、モニタ表示用撮影画像から検出された障害物が映っている部分の画像を抽出してその部分を拡大表示する方法を採用しているので、障害物がモニタ表示されている撮影画像内に入っていないと障害物画像を表示することができない。この問題を避けるため、撮影視野を広くすると、通常時においては重要となる撮影中央付近の画像領域がモニタ表示面積に比べて相対的に小さくなってしまってモニタ表示画像を通じての周囲状態の確認が難しくなるという不都合が生じる。

また、車輌後方低位置に広角カメラを備え、高位置に狭角カメラを備え、後方駐車において、車輌状態検出装置が車輌の移動量、車速、ブレーキ踏み込み量等から車輌状態を検出し、表示切替装置がそれに応じて必要な画像に切り替えることで、例えば、後方駐車プロセスの前半では、広角カメラを作動し車輌後方の広域画像を表示し、後方駐車プロセスの後半では、狭角カメラを作動し車輌後方の狭域画像を表示する車両後方表示装置も知られている（例えば、特許文献２参照）。この装置では、広域画像の撮影視野と狭域画像の撮影視野は個別に設定することができるが、２つのカメラが必要となるので高価となる。さらに、各カメラの撮影中心線が全く異なっているので、広域画像と狭域画像とでその撮影方向感が異質なものとなり、広域画像から狭域画像に切り換えられた際に運転者が視覚的な違和感から戸惑ってしまう可能性がある。

特開２００３−１４３５９６号公報（段落番号０００５−００２６、図４、図５） 特開２００３−２１２０４１号公報（要約、図２、図４）

上記実状に鑑み、本発明の目的は、通常時にモニタ表示される画像及び障害物の検出時にモニタ表示される障害物画像の両方が適切な撮影視野に基づいて生成されることで、障害物の存在を運転者が効果的に理解でき、かつ低コストで実現できる車両周辺確認装置を提供することである。

上記目的を達成するため、本発明に係る車両周辺確認装置の特徴構成は、撮影部によって取得された車両周辺の撮影画像から前記車両周辺の一部を示す狭視野画像を生成する狭視野画像生成部と、車両周辺の障害物を認識する障害物認識部と、前記障害物認識部によって認識された障害物が前記狭視野画像内に含まれているかを判定する判定部と、前記判定部の判定結果に基づき前記狭視野画像内に前記障害物認識部によって認識された障害物が含まれていないとみなされるときに前記障害物の撮影領域を障害物画像として前記撮影画像から切り出す障害物画像切り出し部と、前記狭視野画像又は前記障害物画像あるいはその両方をモニタに出力する表示画像生成部が備えられていることである。

この構成によれば、通常、車両周辺の確認のために狭視野画像がモニタに表示されているときに、障害物認識部による障害物の認識プロセスが実行されている。障害物認識部によって認識された障害物が狭視野画像領域に含まれていないとみなされると、その障害物を映し出している画像領域が障害物画像として撮影画像から切り出される。この切り出された障害物画像は、狭視野画像とともに、あるいは障害物画像単独でモニタに表示される。これにより、運転者は、通常確認している狭視野領域の外側の領域で障害物が存在していることに気づき、その領域を直接目で確かめるなどの予備的な危険回避行為を行うことができる。しかも、通常時は、最も重要な狭視野領域だけを集中的にモニタで確認しているので、常に広視野領域を確認しているやり方に比べてその視認性は良好である。

また、本発明に係る車両周辺確認装置における特徴構成として、前記障害物認識部を、前記撮影画像に対する画像処理によって障害物を認識するように構成することも好適である。時間経過とともに送られてくる車載撮影部からの撮影画像から、例えば、オプティカルフロー法や背景差分法や動きベクトル法などの物体検知アルゴリズムを用いて、物体つまり障害物を認識することが可能である。モニタ表示のために取得される撮影画像を用いて障害物の認識ができるので、障害物認識のために撮影画像を用意する必要がない。また、撮影画像から障害物の認識を行い、その障害物の位置を特定するので、その位置はモニタ表示される撮影画像における障害物の位置として直接利用することができる。さらに、車両の移動ベクトルを取得できる場合、障害物の移動方位も算定可能となる。

認識された障害物を映し出している障害物画像が前記狭視野画像上に重畳表示されるような構成を採用するならば、車両周辺の確認のためにモニタに表示されている狭視野画像を注視している運転者はそのモニタを通じて障害物画像を見ることができ、その結果、適時に予備的危険回避措置を講じることができる。さらにその際、好適な実施形態の１つとして、前記狭視野画像の位置を基準とした前記障害物の方位が求められ、当該方位に対応するモニタ画面の位置に前記障害物画像が表示されるならば、障害物がそれまで注視している領域のどちら側に存在しているかが直感的に理解することができる。

狭視野領域の外側、一般的には車両の走行予定路の外側に存在する障害物は、車両から離れていく方向に動いている場合は危険性が低く、車両に近づいている場合は危険性が高い。従って、このことを運転者に直感的に理解させることは重要である。これを実現するため、本発明の好適な実施形態の１つでは、前記障害物画像とともに前記障害物の車両への接近方向を示す指標が前記表示画像に組み込まれる構成を採用している。このような障害物の動き方向は、障害物認識のための物体検知アルゴリズムとして前述したオプティカルフロー法や背景差分法や動きベクトル法などを採用している場合には簡単に得られるので、好都合である。

以下、本発明の実施形態を図面に基づいて説明する。
本発明の車両周辺確認装置は、図１に示すように、ここでは乗用車である車両１に設置され、車両１の周辺を撮像する撮像部としてのカメラ２によって取得された撮影画像を利用して、運転者が車両周辺の状況を確認するのを支援するものである。この実施の形態では、カメラ２は、車両１の後部に設置されており、車両後方を撮影視野としている。カメラ２によって取得された撮影画像は、後で詳しく説明される、車両周辺確認コントローラ３によって画像処理を施され、車両１の運転者にとって見易い形態で液晶ディスプレイ等によって構成されるモニタ４に表示される。

カメラ２は、ＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）などの撮像素子を内蔵し、この撮像素子に撮像された情報を動画情報または静止画情報としてリアルタイムに出力するデジタルカメラである。カメラ２の撮影中心線は、やや下向きに延びている。図２に示すように、従来から車両１には、運転者が車両後方の状況を確認するものとして、車両１には後方中央領域を確認するためのバックミラー５及び左側後方領域を確認する左ドアミラー６ａと右側後方領域を確認する右ドアミラー６ｂからなるドアミラー６が備えられている。この実施形態では、カメラ２には９０度以上、例えば１４０度程度の広視野角レンズが装着されているので、図３から模式的に理解できるように、このカメラ２は１４０度程度の広視野の撮影画像を取得する。このカメラによって取得される撮影画像の視野は、運転席に座った運転者がバックミラー５とドアミラー６によって確認できる後方視野と同等かもしくはそれ以上となるように設定されている。もちろん、水平１８０度以上を視野とする魚眼レンズを採用すれば、車両後方全域をカバーすることができる。さらには、ズームレンズを用いて視野角を変更できるようにしてもよいし、複数のレンズを備えて切換式で利用できるようにしてもよい。

車両周辺確認コントローラ３は、一般にＥＣＵ（electronic control unit）と呼ばれるＣＰＵを中核要素とするコンピュータユニットであり、プログラムの起動によって種々の機能を実現することができる。この車両周辺確認コントローラ３では、カメラ２から送られてきてメモリ３１に展開、格納された広視野の撮影画像を処理し、運転者が見易い後方確認画像としての表示画像を出力するために必要な種々の機能部がプログラムやハードウエアによって作り出される。本発明に特に関係する機能部として、図４に示されているように、狭視野画像生成部３２と、障害物認識部３３と、判定部３４と、障害物画像切り出し部３５と、表示画像生成部３６とが挙げられる。

図５は、図３で示された状況下で、カメラ２によって取得され、メモリ３１に展開された広視野の撮影画像を模式的に示している。狭視野画像生成部３２は、この車両後方（車両周辺の一例）の広視野の撮影画像から、予め設定された座標位置をもつ切り出し枠９１（図５で一転鎖線で示されている）を用いてその部分的な画像を狭視野画像として切り出す。この部分的な画像は、図５から理解できるように、広視野の撮影画像における中央領域の画像であり、カメラ２を視点として広視野の撮影画像に比べて狭視野画像となっている。カメラ２によって取得された広視野の撮影画像をそのまま比較的小サイズの車載用のモニタ４に表示すると細部が見づらく、かえって後方状況が把握しづらくなる。しかしながら、本発明では、予め、カメラの撮影視野やモニタ４の表示サイズに基づいて最適に設定された切り出し枠９１で規定された狭視野画像をモニタ４に表示することで、そのような問題が解消される。また、狭視野画像生成部３２によって生成される狭視野画像は、広視野の撮影画像における中央領域の画像であるが、例えば車両１が後進していても特に問題となる車両幅の走行先領域を明確に視認することができるので、通常の後進時では好都合である。

障害物認識部３３は、車両周辺の歩行者や別な車両など車両走行の障害となる物体としての障害物を認識する機能を有する。障害物の認識に関しては種々の方法が知られており、この発明においては障害物認識部３３で採用される障害物認識方法は特定のものに限定されない。しかしながら、ここでは、特に好適な方法の１つとして、カメラ２によって取得される撮影画像を画像処理して障害物を認識する方法が採用されている。撮影画像は所定の時間レートで順次取得されメモリ３１に格納されているので、この微小時間間隔で取得された複数の撮影画像を比較することにより、例えば、オプティカルフロー法や背景差分法や動きベクトル法などの物体検知アルゴリズムを用いて、静止している、あるいは動いている物体を認識することができる。これにより、障害物認識部３３は、撮影画像上での障害物の外形輪郭と位置（結果的には車両１に対する方位）、障害物の動きの方向（結果的には車両１に対する接近方向）を含む障害物情報を生成して、出力することができる。

車両１と障害物との間には相対的な移動が生じるので、車両１に対する絶対的な障害物の移動情報（移動ベクトル）を算定するためには、車両走行状態検知コントローラ７から車両の移動情報を受け取ることになる。この車両走行状態検知コントローラ７は、ステアリング角センサ、シフト位置センサ、アクセル位置センサ、ブレーキ位置センサ、ホイール回転センサ、方位センサ等のセンサ群からの検出信号を受け、車両１の移動量や位置などの移動情報を演算する。

また、夜間や悪天候などで撮影条件が悪く、撮影画像から障害物の認識が困難となることが考えられる。このため、レーザレーダなどを用いた障害物検知コントローラ８が装備されている場合、障害物検知コントローラ７からの障害物検知情報に基づいて障害物を認識する機能を障害物認識部３３に持たせるとよい。

判定部３４は、障害物認識部３３によって認識された障害物が狭視野画像内に含まれているかを判定する機能を有する。つまり、判定部３４は、障害物認識部３３から受け取った障害物情報に基づいて撮影画像上での障害物の外形輪郭の少なくとも一部が切り出し枠９１の外側に位置しているかどうかをチェックする。図５で模式的に示されているように、障害物の外形輪郭の少なくとも一部が切り出し枠９１の外側に位置している場合、障害物の少なくとも1部は狭視野画像生成部３２によって生成されて最終的にモニタ４に表示される狭視野画像には含まれないという問題が生じる。

この問題を解消するため、判定部３４の判定結果に基づき狭視野画像内に障害物が含まれていないときには、障害物画像切り出し部３３が当該障害物の撮影領域を障害物画像としてメモリ３１に展開されている撮影画像から切り出す。図５において、障害物切り出し枠９２によって囲まれた領域の画像が障害物画像である。障害物画像切り出し部３３によって切り出された障害物画像は、表示画像生成部３６によって制御される形態でモニタ４に表示される。上記したように、この判定部３４は障害物が狭視野画像内に含まれているかどうかを判定する役割を受け持っているが、例えば、障害物認識部３３を狭視野画像の外側の領域における障害物だけを認識するように構成することで、この判定部３４の機能を障害物認識部３３に含ませることも可能である。本発明において、判定部３４や障害物認識部３３といった名称は車両周辺確認コントローラ３において作り出される機能を表現するために用いられているものであり、物理的な構成要素を限定しているのではない。

表示画像生成部３６は、障害物が認識されている場合、狭視野画像生成部３２によって生成された狭視野画像をそのまま表示画像として生成し、表示制御部４０に出力する。表示制御部４０が、その表示画像のビデオ信号をモニタ４に送ることにより、図６に示すようなモニタ画面がモニタ４に表示される。広視野の撮影画像には捉えられているが狭視野画像には完全に捉えられていない障害物が認識された場合、表示画像生成部３６は、その障害物画像切り出し部３３によって切り出された障害物画像を狭視野画像上に重畳させた表示画像を生成する。そのような表示画像に基づくモニタ画面が図７に示されている。表示画像生成部３６は、モニタ４に表示される撮影画像とバックミラー５に映される像との左右位置関係を一致させるため、表示画像の生成時に、画像の左右反転を行っている。

なお、狭視野画像上に障害物画像を重畳させる際、障害物画像は、撮影画像において狭視野画像の左側に障害物が存在する場合にはモニタ画面の左側に、狭視野画像の右側に障害物が存在する場合にはモニタ画面の右側に、狭視野画像の上側に障害物画存在する場合にはモニタ画面の上側に配置される。これにより、運転者は障害物が自分を基準としてどの方位に存在しているかを即座に把握することができる。

図７に示すように障害物画像がモニタ４に表示されることで、運転者は通常のモニタ視界、つまり狭視野画像の外側に走行障害となりうる物体が存在していることに気づかされる。それにより、運転者は、車両１の周囲、この場合では車両後方を振り返り、直接障害物を視認しようとする。その際、障害物認識部３３から受け取った障害物情報に当該障害物の車両への接近方向を示す指標もモニタ４に表示することが可能である。指標としては、図８に示すように、大きな矢印を採用すると、視認しやすく好都合である。

上述のように構成された車両周辺確認装置における後方確認のための制御であるバックモニタルーチンの一例を図９のフローチャートを用いて説明する。
まず、バックモニタルーチンが開始されるとカメラ２による撮影画像（広視野画像）の取得が行われる（＃０１）。取得された撮影画像が順次メモリ３１に展開され、所定時間分だけ一時的に格納される（＃０２）。この格納された撮影画像は、同時に実行される障害物認識ルーチンによっても利用される。時間的に連続して取得された撮影画像から相対的な動きをもつ物体(車両進路近傍に位置すると障害物となる)の認識アルゴリズムは広く知られているので、ここでの説明は省略される。

メモリ３１に展開された撮影画像から狭視野画像生成部３２が予め設定された切り出し枠９１を用いて画像を切り出し、その切り出された画像を狭視野画像とする（＃０３）。その際、歪補正、解像度変換、レベル調整など必要な画像処理が行われる。次いで、障害物認識部３３によって障害物情報が出力されているかどうかがチェックされる（＃０４）。障害物情報が出力されている場合、障害物情報から障害物の撮影画像上での座標位置を読み取る（＃０５）。なお、障害物情報に、異なる座標系、例えばワールド座標系での座標位置しか記述されていない場合には、座標変換を通じて障害物認識部３３によって障害物が占める領域の撮影画像上での座標位置を算出する。続いて、撮影画像上で特定された障害物領域が狭視野画像領域内に含まれているかどうか、つまり、認識された障害物が狭視野画像によって視認されるかどうかがチェックされる（＃０６）。より確実な視認可能性を実現するためには、撮影画像上で特定された障害物領域の一部または全てが狭視野画像領域外に位置している場合には、障害物領域が狭視野画像領域内に含まれていないとみなすと好都合である。このチェックで、障害物領域が狭視野画像領域内に含まれていないと判定されると（＃０６No分岐）、障害物画像切り出し部３５が撮影画像から障害物領域を障害物画像として切り出す（＃０７）。切り出された障害物画像のモニタ4での表示位置が当該障害物の車両１に対する位置に基づいて決定され（＃０８）、次いで表示画像生成部３６によって表示画像が生成される（＃０９）。例えば、障害物が車両１の右側後方に位置する場合にはモニタ画面上において狭視野画像の右側にくるように、障害物画像を狭視野画像上に重畳させた表示画像が生成される。

上記ステップ＃０４のチェックで障害物情報が出力されていない場合（＃０４No分岐）、表示画像生成部３６によって狭視野画像のみから表示画像が生成される（＃１０）。また、＃０６のチェックで障害物領域が狭視野画像領域内に含まれていると判定された場合も（＃０６Yes分岐）、撮影画像から障害物画像を切り出す必要がないので、表示画像生成部３６によって狭視野画像のみから表示画像が生成される（＃１０）。

表示画像生成部３６によって生成された表示画像は表示制御部４０に送られることにより、当該表示画像に対応する画面がモニタ４に表示される（＃１１）。このバックモニタルーチンに対する中止指令が入っているかどうかがチェックされ（＃１２）、このバックモニタが続行される限り（＃１２No分岐）、ステップ＃０３に戻り、最新の撮影画像から狭視野画像を生成し、上記プロセスを繰り返す。

〔別実施形態〕
（１）広視野の撮影画像から狭視野画像を切り出すための切り出し枠９１は運転者の好みによって任意に設定可能とし、バックミラー５の代わりに、あるいはバックミラー５の補助として利用されるモニタ画面上での後方映像の視野を変更できるようにしてもよい。
（２）狭視野画像の障害物画像の表示形態として、上述したような障害物画像の前記狭視野画像上への重畳表示ではなく、それぞれの画像の並列配置でもよいし、所定時間毎の交互表示でもよい。さらには、障害物画像と狭視野画像とをアルファブレンディング（半透明合成）して、両方の画像が観察できるような形態を採用してもよい。
（３）障害物領域が狭視野画像領域内に含まれていると判定されても、障害物画像を切り出し、障害物の拡大画像としての障害物画像を狭視野画像とともに表示する表示モードを備えるようにしてもよい。
（４）上記実施の形態の説明では、撮像部２として車両後方を撮影するバックカメラを採用していたのでその撮影画像は車両後方の確認のためのものであった。しかしながら、もちろん、撮像部２として車両側方や車両前方を撮影するカメラを選択的にあるいは付加的に採用して、車両１の任意の周辺を確認するために本発明を適用してもよい。
（５）
上記実施の形態の説明では、狭視野画像の外側に存在している障害物の画像を全て障害物画像としてモニタに表示していたが、障害物認識部３３が障害物の動きの方向、結果的には車両１に対する接近方向を認識できる場合には、自車両に接近してくる障害物のみ、その障害物画像をモニタに表示するようにしてもよい。

本発明による車両周辺確認装置の一例を組み込んだ乗用車の外観模式図 車両周辺確認装置を組み込んだ乗用車の運転席領域を示す模式図 車両周辺確認装置による車両周辺確認を説明するための説明用鳥瞰図 車両周辺確認装置の一例を示す機能ブロック図 広視野の撮影画像を示す模式図 広視野の撮影画像から切り出された狭視野画像を示す模式図 狭視野画像と障害物画像とが表示されたモニタ画面を示す模式図 狭視野画像と障害物画像とが方位標識としての矢印とともに表示されたモニタ画面を示す模式図 車両周辺確認装置によるバックモニタルーチンの一例を示すフローチャート

符号の説明

１：車両
２：撮像部（カメラ）
３：車両周辺確認コントローラ
４：モニタ
５：バックミラー
３１：メモリ
３２：狭視野画像生成部
３３：障害物認識部
３４：判定部
３５：障害物画像切り出し部
３６：表示画像生成部

Claims (5)

1. 撮影部によって取得された車両周辺の撮影画像から前記車両周辺の一部を示す狭視野画像を生成する狭視野画像生成部と、
   車両周辺の障害物を認識する障害物認識部と、
   前記障害物認識部によって認識された障害物が前記狭視野画像内に含まれているかを判定する判定部と、
   前記判定部の判定結果に基づき前記狭視野画像内に前記障害物認識部によって認識された障害物が含まれていないとみなされるときに前記障害物の撮影領域を障害物画像として前記撮影画像から切り出す障害物画像切り出し部と、
   前記狭視野画像又は前記障害物画像あるいはその両方をモニタに出力する表示画像生成部と、
   からなる車両周辺確認装置。
2. 前記障害物認識部は前記撮影画像に対する画像処理によって障害物を認識する請求項１に記載の車両周辺確認装置。
3. 前記障害物画像が前記狭視野画像上に重畳表示される請求項１又は２に記載の車両周辺確認装置。
4. 前記狭視野画像の位置を基準とした前記障害物の方位が求められ、当該方位に対応するモニタ画面の位置に前記障害物画像が表示される請求項１から３のいずれか一項に記載の車両周辺確認装置。
5. 前記障害物画像とともに前記障害物の車両への接近方向を示す指標が前記表示画像に組み込まれる請求項１から４のいずれか一項に記載の車両周辺確認装置。

Images