JP4765649B2

JP4765649B2 - 車両用映像処理装置、車両周囲監視システム並びに映像処理方法

Info

Publication number: JP4765649B2
Application number: JP2006031008A
Authority: JP
Inventors: 聡知野見
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 2006-02-08
Filing date: 2006-02-08
Publication date: 2011-09-07
Anticipated expiration: 2026-02-08
Also published as: JP2007214769A

Description

本発明は、車両に搭載された複数の車載カメラにより撮影された複数の撮影映像を合成して単一の出力映像を生成する車両用映像処理装置、この映像処理装置を用いて車両周囲の状況を運転者に認識させるための出力映像を表示装置に表示する車両周囲監視システム、並びに映像処理方法に関する。

従来、車両に搭載された複数の車載カメラで車両周囲の映像を撮影し、これら複数の車載カメラで撮影された映像を映像処理装置で加工して車室内に設置された表示装置に表示することで、車両周囲の状況を運転者に認識させる車両周囲監視システムが提案されている。

この種の車両周囲監視システムとしては、一般に、各車載カメラによって撮影された複数の撮影映像をそれぞれ縮小して、これら縮小した撮影映像を１つの画面内に収まるように並べて表示装置に表示するものや、複数の車載カメラによって撮影された複数の撮影映像を、映像切替信号などに応じて切り替えながら表示装置に表示するものが知られている。

また、近年では、複数の車載カメラにより撮影された撮影映像をそれぞれ車両上方の仮想視点から見下ろした映像に視点変換するとともに合成して、車両周囲の状況を運転者に認識させるための単一の出力映像として表示装置に表示するものも提案されている（例えば、特許文献１等を参照。）。この車両周囲監視システムでは、あたかも車両周囲の様子を上空から撮影したような映像が表示装置に表示され、地面上の白線や縁石などと自車両との位置関係を運転者が一目で把握できるので、例えば、目標とする駐車スペースに合わせて車両を駐車させる場合や縁石に幅寄せをするようなシーンにおいて、運転者の運転操作を支援するシステムとして非常に有効である。
特開２００１−３３９７１６号公報

ところで、上述した各種の車両周囲監視システムにおいて、各車載カメラで撮影された映像を加工する映像処理装置は、各車載カメラから入力される複数の撮影映像を保持するための入力フレームバッファと、表示装置に出力する出力映像を一時保持する出力フレームバッファとを備えており、入力フレームバッファに保持された撮影映像の画素情報を出力フレームバッファに再配置することで、表示装置に表示する出力映像を生成する構成となっている。そして、車両周囲の状況を運転者に的確に把握させるためには、映像処理装置が生成する出力映像の解像度やフレームレートをできるだけ高くすることが望まれる。

しかしながら、出力映像の解像度を過度に向上させようとすると、入力フレームバッファから出力フレームバッファへと画素情報を再配置する際の映像処理装置の処理負荷が大きくなり、映像処理装置に極めて高い演算能力が必要とされることになる。また、出力映像のフレームレートを向上させようとすると、入力フレームバッファから出力フレームバッファへの画素情報の再配置する際の処理を高速で行う必要があり、映像処理装置に高い演算能力が必要となる。したがって、いずれの場合にも、システムの高コスト化を招いてしまうという問題がある。

本発明は、以上のような従来の実情に鑑みて創案されたものであって、車両の運転状況に応じて出力映像を生成する際の映像処理を制御することにより、処理負荷の増大を招くことなく、必要な情報を運転者に的確に把握させることが可能な映像処理装置、車両周囲監視システム、並びに映像処理方法を提供することを目的とする。

本発明は、前記目的を達成するために、車両に搭載された複数の車載カメラによってそれぞれ撮影された複数の撮影映像を合成して単一の出力映像を生成し、車室内に設置された表示装置に出力するに際して、車両の走行状態を示す車両情報に基づいて、出力映像のうちの少なくとも一部の領域の解像度又はフレームレートを動的に可変制御し、車両情報には車両の走行速度を示す車速情報が含まれ、車速情報によって示される車両の走行速度が予め設定された所定値以上である場合に、出力映像のうちの少なくとも一部の領域の解像度を下げる制御を行い、車両の走行速度が前記所定値未満である場合に、出力映像のうちの少なくとも一部の領域のフレームレートを下げる制御を行うようにした。

本発明によれば、車両の運転状況に応じて、限られた演算能力を有効に利用した映像処理を行うことにより、処理負荷の増大を招くことなく、現在の車両の運転状況などに合わせた最適な出力映像を表示装置に表示して、必要な情報を運転者に的確に把握させることができる。

以下、本発明の具体的な実施形態について、図面を参照しながら詳細に説明する。なお、ここでは、車両前方、後方、左右両側方の各領域を４つの車載カメラでそれぞれ撮影し、これら４つの車載カメラで撮影された撮影映像を用いて車両周囲全域を表す１つの連続した俯瞰映像（以下、車両周囲俯瞰映像という。）を生成して表示する車両周囲監視システムに本発明を適用した例について説明するが、本発明は、ここで挙げる例に限らず、複数の車載カメラの撮影映像を合成して車両周囲の状況を運転者に認識させるための単一の出力映像を生成して表示する機能を持った各種の車両周囲監視システムに対して広く適用可能である。

本発明を適用した車両周囲監視システムの概略構成を図１に示す。この車両周囲監視システム１００は、図１に示すように、フロントカメラ１、リアカメラ２、右サイドカメラ３、左サイドカメラ４の４つの車載カメラが映像処理装置１０の入力側に接続され、この映像処理装置１０の出力側に、車両の車室内に設置された液晶ディスプレイ等の表示装置５が接続された構成とされる。また、映像処理装置１０には、車両の乗員に各種ナビゲーション情報を提供するための車載ナビゲーション装置６や、車両の現在の走行状態を示す車両情報を取得する車両情報取得装置７、車両周囲に存在する障害物を検出するソナーやレーザレーダなどの障害物検出装置８がそれぞれ接続されている。そして、車載ナビゲーション装置６からは車両の現在位置を示す現在位置情報、車両情報取得装置７からは車両の走行速度を示す車速情報や車両のシフトポジションを示すシフトポジション情報、車両の舵角を示す舵角情報、障害物検出装置８からは車両周囲に存在する障害物の有無を示す障害物検知情報が、それぞれ映像処理装置１０に入力されるようになっている。さらに、映像処理装置１０には、車両の乗員による各種操作入力を受け付ける操作入力デバイス９が接続されており、この操作入力デバイス９を用いた車両乗員による操作内容が、映像処理装置１０に随時入力されるようになっている。

フロントカメラ１、リアカメラ２、右サイドカメラ３、左サイドカメラ４の４つの車載カメラは、例えば１８０度程度の画角を有する広角カメラよりなり、これら４つの車載カメラで車両周囲を囲む全ての領域の映像を撮影できるように、車両の適所に搭載されている。具体的には、フロントカメラ１は、図２に示すように、車両前方のフロントバンパーなどに設置され、車両前方の所定の被撮影領域Ａ１の映像を地面に対して斜めに見下ろす方向で撮影する。また、リアカメラ２は、車両後方のリアバンパーなどに設置され、車両後方の所定の被撮影領域Ａ２の映像を地面に対して斜めに見下ろす方向で撮影する。また、右サイドカメラ３は、車両右側のサイドミラーなどに設置され、車両右側方の所定の被撮影領域Ａ３の映像を地面に対して斜めに見下ろす方向で撮影する。さらに、左サイドカメラ４は、車両左側のサイドミラーなどに設置され、車両左側方の所定の被撮影領域Ａ４の映像を地面に対して斜めに見下ろす方向で撮影する。そして、これら４つの車載カメラ１，２，３，４は、それぞれ撮影した映像を電気信号に変換し、例えば、コンポジット信号（アナログ形式の映像信号）として、所定のアナログ通信線を介して映像処理装置１０に出力する。

映像処理装置１０は、フロントカメラ１、リアカメラ２、右サイドカメラ３、左サイドカメラ４の４つの車載カメラの撮影映像を用いて、車両周囲全域を車両上方の仮想視点から見下ろした様子を表す車両周囲俯瞰映像を作成し、この車両周囲俯瞰映像を出力映像として表示装置５に出力するものであり、例えば、各種の電気・電子素子によって構成された映像処理回路や、半導体チップによって構成されたデジタル画像処理回路などによって構成されている。

特に、この映像処理装置１０は、本発明に関わる部分として、図３に示すように、４つの車載カメラ１，２，３，４に対応した４つの入力フレームバッファ１１，１２，１３，１４と、出力映像としての車両周囲俯瞰映像を生成する出力映像生成部１５と、この出力映像生成部１５により生成された車両周囲俯瞰映像の映像データを一時的に保持する出力フレームバッファ１６と、出力映像生成部１５による処理を制御する制御部１７とを備える。

フロントカメラ１、リアカメラ２、右サイドカメラ３、左サイドカメラ４の４つの車載カメラから出力されたコンポジット信号は、それぞれＡ/Ｄ変換され、ＲＧＢ信号にデコードされた上で、各車載カメラの撮影映像のフレームを構成するフレームデータとして、映像処理装置１０の４つの入力フレームバッファ１１，１２，１３，１４にそれぞれ格納される。そして、映像処理装置１０の出力映像生成部１５が、内蔵する所定の変換アルゴリズムに従い、これら各入力フレームバッファ１１，１２，１３，１４に格納された車載カメラの撮影映像を用いて、車両周囲全域を車両上方の仮想視点から見下ろした様子を表す車両周囲俯瞰映像を生成し、この車両周囲俯瞰映像の映像データ（ＲＧＢ信号）を、出力フレームバッファ１６に格納する。なお、この車両周囲俯瞰映像の生成に用いる変換アルゴリズムは、例えば、各入力フレームバッファ１１，１２，１３，１４の画素のアドレスと、出力フレームバッファ１６の画素のアドレスとの対応関係を記載した映像変換テーブルとして出力映像生成部１５に内蔵されていてもよいし、各車載カメラの撮影映像を車両周囲俯瞰映像に変換するための変換式として出力映像生成部１５に内蔵されていてもよい。

出力フレームバッファ１６に格納された車両周囲俯瞰映像のデータ（ＲＧＢ信号）は、コンポジット信号にエンコードされ、Ｄ／Ａ変換された上で映像処理装置１０から出力され、所定のアナログ通信線を介して表示装置５に出力される。そして、表示装置５が、この映像処理装置１０からの映像信号に基づいて表示動作を行うことで、表示装置５の表示画面に、例えば図４に示すような車両周囲俯瞰映像が表示される。なお、図４に例示した車両周囲俯瞰映像において、映像領域Ｂ１がフロントカメラ１の撮影映像の一部を切り出して視点変換した映像であり、映像領域Ｂ２がリアカメラ２の撮影映像の一部を切り出して視点変換した映像であり、映像領域Ｂ３が右サイドカメラ３の撮影映像の一部を切り出して視点変換した映像であり、映像領域Ｂ４が左サイドカメラ４の撮影映像の一部を切り出して視点変換した映像である。また、中央部に表示される画像は車両の位置を示す画像であり、コンピュータグラフィックス等で作成されて車両周囲俯瞰映像上に重畳されている。また、図４の車両周囲俯瞰映像では、各映像領域の境界にマスク線Ｍを描画し、その部分が映像の繋ぎ目であることを車両の乗員に認識させるようにしている。

ここで、以上のような本実施形態の車両周囲監視システム１００において、車載カメラ１，２，３，４によって撮影された複数の撮影映像を用いて映像処理装置１０で車両周囲俯瞰映像を生成する処理について、変換アルゴリズムとして上述した映像変換テーブルを用いる場合を例に挙げて、更に詳しく説明する。

本実施形態の車両周囲監視システム１００では、４つの車載カメラ１，２，３，４の撮影映像が映像処理装置１０に入力され、各撮影映像の映像データが入力フレームバッファ１１，１２，１３，１４に格納されると、出力映像生成部１５が、例えば内部メモリなどに予め記憶されている映像変換テーブルに従って、各入力フレームバッファ１１，１２，１３，１４に保持された撮影映像の画素を、順次出力フレームバッファ１６に再配置してゆく。

このとき、出力フレームバッファ１６が十分なメモリサイズを持たないものであると仮定すると、図５に模式的に示すように、出力映像生成部１５が入力フレームバッファ１１，１２，１３，１４に保持された撮影映像の画素（図中Ａ，Ｂ，Ｃ，Ｄや１，２，３で示している）を出力フレームバッファ１６に再配置する際に、全ての画素を出力用フレームバッファ１６に再配置することができない。このため、出力フレームバッファ１６のメモリサイズが小さい場合には、例えば、入力用フレームバッファ１１，１２，１３，１４に保持された撮影映像に含まれる一部の画素（図中の画素Ａ，Ｄや画素１，３）のみを出力用フレームバッファ１６に再配置して、一部の画素（図中の画素Ｂ，Ｃや画素２）を欠落させるといった画素の間引き処理を常に行うことが必要となり、その結果、出力映像である車両周囲俯瞰映像は、常に画質が低いものとなる。

このような車両周囲俯瞰映像の恒常的な画質劣化を抑制するために、本実施形態の車両周囲監視システム１００では、映像処理装置１０の出力フレームバッファ１６として、十分に大きなメモリサイズを有するものを用いることを前提としている。出力フレームバッファ１６として十分なメモリサイズのものを用いることにより、図６に模式的に示すように、出力映像生成部１５が入力フレームバッファ１１，１２，１３，１４に保持された撮影映像の画素（図中Ａ，Ｂ，Ｃ，Ｄや１，２，３で示している）を出力フレームバッファ１６に再配置する際に、全ての画素を出力フレームバッファ１６に再配置することが可能となり、高画質の車両周囲俯瞰映像を生成することが可能となる。

しかしながら、この場合には、出力フレームバッファ１６のメモリサイズが大きいことにより、車両周囲俯瞰映像を生成する際に出力映像生成部１５に必要とされる単位時間あたりの演算量が増加することになる。例えば、出力フレームバッファ１６をＳＶＧＡサイズ（８００×６００ドット）とした場合には、ＶＧＡサイズ（６４０×４８０ドット）とした場合と比較して、出力フレームレートが同一であると仮定すると、出力映像生成部１５で必要となる演算量は、およそ１．５倍程度に増加する。このため、出力映像生成部１５で常に高画質の車両周囲俯瞰映像を生成しようとすると、出力映像生成部１５として高い処理能力の演算回路を有する高価な演算装置を用いる必要が生じ、システム全体としての高コスト化を招いてしまう虞がある。

ここで、例えば、ＶＧＡサイズの出力フレームバッファで出力映像を構成するために用いられていた演算回路と同程度の規模の演算回路を有する出力映像生成部１５を用いて、ＶＧＡサイズより大きいサイズの出力フレームバッファ１６に出力映像を構成するためには、単位時間あたりの処理フレーム数を減らしてフレームレートを低減する処理を行うか、或いは出力フレームバッファ１６に構成する出力映像における画素の一部を他の画素を用いて補完することで解像度を低減する処理を行い、入力フレームバッファ１１，１２，１３，１４から転送するデータ量を減らすことで演算量を低減するといった方法が考えられる。

フレームレートを低減する処理を行なった場合には、映像にコマ落ちが生じるため、例えば、高速で移動する物体を捉えることを目的とする場合には不利な映像となるが、ゆっくり移動している物体や静止物体を観察することを目的とする場合には、ほとんど問題とならないと考えられる。一方、解像度を低減する処理を行なった場合には、画質が荒くなるため、ゆっくり移動している物体や静止物体を観察することを目的とする場合には不利な映像となるが、高速で移動する物体を捉えることを目的とする場合には、ほとんど問題とならないと考えられる。このように、出力映像生成部１５の演算量を低減するための上述した２つの手法は、それぞれ映像上で問題が生じるシーンが異なるので、様々なシーンに応じてこれらの手法を使い分けることで、出力映像生成部１５の演算量を効率よく低減することが可能となる。

また、表示装置５に映像を表示して車両の運転者に車両周囲の状況を把握させる上では、必ずしも映像全体にわたって高い視認性が要求されるわけではなく、車両の走行状況などに応じて、映像の一部の領域で特に高い視認性が要求されるのが一般的である。例えば、上述した車両周囲俯瞰映像を表示する場合、車両を後退させるシーンでは、車両後方の領域に対応した映像領域では高い視認性が求められるが、その他の映像領域については、解像度やフレームレートが低くてもほとんど問題とならないと考えられる。したがって、様々なシーンに応じて、映像内で部分的に解像度を低減する処理やフレームレートを低減する処理を行なうことによっても、出力映像生成部１５の演算量を効率よく低減することが可能となる。

そこで、本実施形態の車両周囲監視システム１００では、映像処理装置１０に、車載ナビゲーション装置６からの現在位置情報や、車両情報取得装置７からの車速情報やシフトポジション情報、舵角情報などの車両情報、障害物検出装置８からの障害物検知情報などが入力されるようにし、映像処理装置１０の制御部１７が、これら外部から入力される各種の情報に基づいて、出力映像生成部１５により出力映像として生成される車両周囲俯瞰映像のうちの少なくとも一部の領域の解像度又はフレームレートを動的に可変制御することにより、出力映像生成部１５の処理負荷の増大を招くことなく、現在の車両の運転状況に合わせた最適な車両周囲俯瞰映像を表示装置５に表示して、必要な情報を運転者に的確に把握させることができるようにしている。

以下、本実施形態の車両周囲監視システム１００において、映像処理装置１０の制御部１７が、出力映像生成部１５で生成される車両周囲俯瞰映像のうちの少なくとも一部の領域の解像度又はフレームレートを動的に可変制御する処理について、更に詳しく説明する。

まず、車両周囲俯瞰映像のフレームレートを低減する処理について説明する。映像処理装置１０の制御部１５は、外部から入力される上述した各種の情報に基づいて、フレームレートの低減処理を行うことを決定すると、出力映像生成部１５が入力フレームバッファ１１，１２，１３，１４に保持された画素情報を出力フレームバッファ１６に再配置するに際して、単位時間あたりの処理フレーム数を低減させる処理を行う。このとき、制御部１７は、出力映像生成部１５が入力フレームバッファ１１，１２，１３，１４から出力フレームバッファ１６へと画素情報を再配置する全ての処理について、一律に処理フレーム数を低減させるようにしてもよいし、一部の車載カメラ（例えばフロントカメラ１）によって撮像された撮像映像に関する画素情報（例えば入力フレームバッファ１１に保持された画素情報）を再配置する処理のみについて、処理フレーム数を低減させるようにしてもよい。

なお、出力映像生成部１５が例えば毎秒３０フレームのフレームレートで画素情報の再配置処理を行うものとすると、ＶＧＡサイズより大きいＳＶＧＡサイズの出力フレームバッファ１６を用いて車両周囲俯瞰映像を生成する場合、１秒あたりの処理フレーム数を２／３程度の２０フレーム程度とすることにより、出力映像生成部１５の演算量を、ＶＧＡサイズの出力フレームバッファを用いて車両周囲俯瞰映像を生成する場合と同程度の演算量に抑えることができる。

次に、車両周囲俯瞰映像の解像度を低減する処理について説明する。映像処理装置１０の制御部１７は、外部から入力される上述した各種の情報に基づいて、解像度の低減処理を行うことを決定すると、出力映像生成部１５が入力フレームバッファ１１，１２，１３，１４に保持された画素情報を出力フレームバッファ１６に再配置するに際して、再配置する画素を所定の基準で間引くことで解像度を低減させる処理を行なう。このとき、制御部１７は、出力映像生成部１５が入力フレームバッファ１１，１２，１３，１４から出力フレームバッファ１６へと再配置する全ての画素情報について、一律に解像度を低減させる処理を行なうようにしてもよいし、一部の車載カメラ（例えばフロントカメラ１）によって撮像された撮像映像に関する画素情報（例えば入力フレームバッファ１１に保持された画素情報）のみについて、処理フレーム数を低減させる処理を行うようにしてもよい。

なお、出力映像生成部１５が例えば毎秒３０フレームのフレームレートを維持したままで車両周囲俯瞰映像を生成する場合、出力映像生成部１５の演算能力がＶＧＡサイズの出力フレームバッファで映像を構成するために用いられていた演算回路と同程度である場合には、ＶＧＡサイズより大きいＳＶＧＡサイズを有する出力フレームバッファ１６に含まれる全ての画素について処理することができない。そこで、出力フレームバッファ１６に配置する画素のうちの一部を他の画素から補完して生成することにより解像度を低減し、入力用フレームバッファ１１，１２，１３，１４から転送するデータ量を減らすことで、出力映像生成部１５に要求される演算量の増大を抑制する。

ここで、車両周囲俯瞰映像の解像度を低減する処理の具体例について、図７及び図８を参照しながら説明する。図７及び図８は出力フレームバッファ１６に配置する画素のイメージを模式的に示す図である。

解像度の低減処理を行うに際して、映像処理装置１０の制御部１７は、例えば図７に示すように、出力映像生成部１５が出力フレームバッファ１６に１画素飛ばしで画素を再配置するように、出力映像生成部１５の動作を制御する。すなわち、この場合、出力映像生成部１５は、例えば入力フレームバッファ１１，１２，１３，１４から１番目の画素を取得して、出力フレームバッファ１６の１番目のアドレスに配置するとともに、同一の画素を出力フレームバッファ１６の２番目のアドレスにも配置する。また、入力フレームバッファ１１，１２，１３，１４から３番目の画素を取得して、出力フレームバッファ１６の３番目のアドレスに配置するとともに、同一の画素を４番目のアドレスにも配置する。このようにして、出力映像生成部１５が入力フレームバッファ１１，１２，１３，１４から出力フレームバッファ１６に転送する画素を間引いて再配置することによって、出力映像生成部１５に要求される演算量が抑制されることとなる。

また、映像処理装置１０の制御部１７は、例えば図８に示すように、出力映像生成部１５が出力フレームバッファ１６に１ライン飛ばしで画素を再配置するように、出力映像生成部１５の動作を制御することで、車両周囲俯瞰映像の解像度を低減させるようにしてもよい。この場合、出力映像生成部１５は、例えば入力フレームバッファ１１，１２，１３，１４から１ライン目の画素を取得して、出力フレームバッファ１６の１ライン目のアドレスに配置するとともに、同一の画素を２ライン目のアドレスにも配置する。また、入力フレームバッファ１１，１２，１３，１４から３ライン目の画素を取得して、出力フレームバッファ１６の３ライン目のアドレスに配置するとともに、同一の画素を４ライン目のアドレスにも配置する。このようにして、出力映像生成部１５が入力フレームバッファ１１，１２，１３，１４から出力フレームバッファ１６に転送する画素を間引いて再配置することによって、出力映像生成部１５に要求される演算量が抑制されることとなる。

なお、図７及び図８にそれぞれ示す解像度の低減処理の結果得られる車両周囲俯瞰映像は、互いに見え方が異なる映像となり、運転者に与える印象が異なるが、映像処理装置１０の制御部１７は、外部から入力される上述した各種の情報に応じて、以上のような解像度の低減処理手法を使い分けるようにしてもよい。また、図７及び図８に示す手法で画素を補完して車両周囲俯瞰映像を生成する際には、直前の画素のみを用いて補完するだけでなく、補完対象とする画素周辺の複数の画素を用いて平均化処理や重み付け処理を行うことによって画素を補完するようにしてもよい。

以上のようにして解像度の低減処理を行うことにより、画素の再配置処理に際して出力映像生成部１５に必要とされる演算量を適切に調整することで、例えばＳＶＧＡサイズの出力フレームバッファ１６を用いて車両周囲俯瞰映像を生成する場合であっても、ＶＧＡサイズの出力フレームバッファを用いて車両周囲俯瞰映像を生成する場合と同程度の演算量に抑えつつ、１秒あたり３０フレーム程度のフレームレートを確保することができる。

本実施形態の車両周囲監視システム１００において、映像処理装置１０の制御部１７は、外部から入力される各種の情報、具体的には、車載ナビゲーション装置６からの現在位置情報や、車両情報取得装置７からの車速情報やシフトポジション情報、舵角情報などの車両情報、障害物検出装置８からの障害物検知情報などから、現在の車両の運転状況を判定する。そして、制御部１７は、これらの情報から判定した現在の車両の運転状況に応じて、上述したフレームレートの低減処理と解像度の低減処理との切り替えや、各車載カメラ１，２，３，４によって撮影された撮影映像のうちのいずれに対してフレームレート或いは解像度の低減処理を施すかを決定するようにしている。

これにより、本実施形態の車両周囲監視システム１００では、現在の車両の運転状況に応じて、表示装置５に表示する車両周囲俯瞰映像の全体のフレームレートや解像度を動的に制御することが可能とされ、また、例えば図４に例示した車両周囲俯瞰映像の中で、映像領域Ｂ１，Ｂ２，Ｂ３，Ｂ４のフレームレートや解像度を独立して動的に制御することが可能とされている。そして、映像処理装置１０の出力映像生成部１５に備えられた演算能力を超えない範囲で、車両周囲俯瞰映像の中の映像領域Ｂ１，Ｂ２，Ｂ３，Ｂ４のそれぞれについて、フレームレートを低減させた解像度の高い画像とするか、或いは解像度を低減させたフレームレートの高い画像とするかを切り替え、限られた演算能力を有効に利用した映像処理を行うことにより、出力映像生成部１５の処理負荷の増大を招くことなく、現在の車両の運転状況に合わせた最適な車両周囲俯瞰映像を表示装置５に表示して、必要な情報を運転者に的確に把握させることが可能となる。

具体的には、映像処理装置１０の制御部１７は、例えば車両情報取得装置７から入力される車速情報に基づいて現在の車両の走行速度を判定する。そして、映像処理装置１０の制御部１７は、現在の車両の走行速度が予め設定された所定の閾値以上である場合は、車両周囲俯瞰映像の全体或いは一部の映像領域の解像度を低減させる処理を行い、現在の車両の走行速度が所定の閾値未満である場合は、車両周囲俯瞰映像の全体或いは一部の映像領域のフレームレートの低減処理を行う。これにより、車両の停車中や低速での走行中であって、車両の運転者が表示装置５に表示される車両周囲俯瞰映像を参照して、ゆっくり移動している物体や静止物体を確認しようとするようなシーンでは、車両周囲俯瞰映像の解像度を高く保って高画質の車両周囲俯瞰映像を表示装置５に表示することができる。また、車両が所定の速度以上で走行中の場合であって、車両の運転者が表示装置５に表示される車両周囲俯瞰映像を参照して、高速で移動する物体を確認しようとするようなシーンでは、解像度よりもフレームレートを優先して向上させた車両周囲俯瞰映像を表示装置５に表示することができ、車両周囲の環境変化に対する画面追従性を高い状態で維持して、安全性を確保する上で極めて有効な映像表示が可能となる。

また、映像処理装置１０の制御部１７は、車両周囲俯瞰映像の一部の映像領域の解像度又はフレームレートを低減させる処理を行なう場合には、現在の車両の運転状況（車両の現在位置や車両の進行方向、車両周囲の障害物の有無など）に応じて、車両周囲俯瞰映像の中で解像度又はフレームレートを低減させる処理の対象とする映像領域を決定する。

具体的には、映像処理装置１０の制御部１７は、例えば、車両情報取得装置７から入力されたシフトポジション情報によって、車両が前進中であると判定される場合には、車両の前方側の映像領域、すなわち図４に例示した車両周囲俯瞰映像の中の映像領域Ｂ１、或いは映像領域Ｂ１，Ｂ３，Ｂ４の各領域については、解像度又はフレームレートを低減させる処理を行わない、或いは最小限の処理とし、車両の後方側の映像領域、すなわち図４に例示した車両周囲俯瞰映像の中の映像領域Ｂ２については、解像度又はフレームレートを大幅に低減させる処理を行う。また、逆に車両が後退中であると判定される場合には、車両の後方側の映像領域、すなわち図４に例示した車両周囲俯瞰映像の中の映像領域Ｂ２、或いは映像領域Ｂ２，Ｂ３，Ｂ４の各領域については、解像度又はフレームレートを低減させる処理を行わない、或いは最小限の処理とし、車両の前方側の映像領域、すなわち図４に例示した車両周囲俯瞰映像の中の映像領域Ｂ１については、解像度又はフレームレートを大幅に低減させる処理を行う。

また、映像処理装置１０の制御部１７は、例えば、車両情報取得装置７から入力された舵角情報によって、車両が右折していると判定される場合には、車両の右側の映像領域、すなわち図４に例示した車両周囲俯瞰映像の中の映像領域Ｂ３、或いは映像領域Ｂ３，Ｂ１，Ｂ２の各領域については、解像度又はフレームレートを低減させる処理を行わない、或いは最小限の処理とし、車両の左側の映像領域、すなわち図４に例示した車両周囲俯瞰映像の中の映像領域Ｂ４については、解像度又はフレームレートを大幅に低減させる処理を行う。また、逆に車両が左折していると判定される場合には、車両の左側の映像領域、すなわち図４に例示した車両周囲俯瞰映像の中の映像領域Ｂ４、或いは映像領域Ｂ４，Ｂ１，Ｂ２の各領域については、解像度又はフレームレートを低減させる処理を行わない、或いは最小限の処理とし、車両の右側の映像領域、すなわち図４に例示した車両周囲俯瞰映像の中の映像領域Ｂ３については、解像度又はフレームレートを大幅に低減させる処理を行う。

さらに、映像処理装置１０の制御部１７は、例えば、障害物検出装置８から入力された障害物検知情報によって、車両周囲の何れかの領域に障害物が存在していると判定される場合には、その障害物が存在する領域に対応した映像領域については、解像度又はフレームレートを低減させる処理を行わない、或いは最小限の処理とし、それ以外の映像領域については、解像度又はフレームレートを大幅に低減させる処理を行う。

さらに、映像処理装置１０の制御部１７は、例えば、車載ナビゲーション装置６から入力された現在位置情報によって、車両周囲の領域のうちで運転者が詳細に確認したいと考える領域が特定される場合には、その領域に対応した映像領域については、解像度又はフレームレートを低減させる処理を行わない、或いは最小限の処理とし、それ以外の映像領域については、解像度又はフレームレートを大幅に低減させる処理を行う。

本実施形態の車両周囲監視システム１００では、以上のように、映像処理装置１０の制御部１７が外部から入力される各種の情報に基づいて現在の車両の運転状況を判定し、その判定結果に応じて、車両周囲俯瞰映像の中で解像度又はフレームレートを低減させる処理の対象とする映像領域を決定することにより、高い視認性が求められる映像領域についての映像品質を劣化させることなく、出力映像生成部１５の演算量を効率よく低減することが可能となる。

以上、具体的な例を挙げながら詳細に説明したように、本実施形態の車両周囲監視システム１００によれば、映像処理装置１０の制御部１７が、外部から入力される各種の情報に基づいて現在の車両の運転状況を判定し、その判定結果に応じて、出力映像生成部１５により出力映像として生成される車両周囲俯瞰映像のうちの少なくとも一部の領域の解像度又はフレームレートを動的に可変制御するようにしているので、出力映像生成部１５の処理負荷の増大を招くことなく、現在の車両の運転状況に合わせた最適な車両周囲俯瞰映像を表示装置５に表示して、必要な情報を運転者に的確に把握させることができる。

なお、以上説明した車両周囲監視システムは、本発明の一適用例を例示したものであり、本発明の技術的範囲は、以上の実施形態の説明で開示した内容に限定されるものではなく、これらの開示から容易に導き得る様々な代替技術も含まれることは勿論である。例えば、上述した車両周囲監視システムでは、映像処理装置１０の制御部１７が、現在の車両の運転状況に応じて車両周囲俯瞰映像のうちの少なくとも一部の領域の解像度又はフレームレートを動的に可変制御するようにしているが、映像処理装置１０の制御部１７は、例えば操作入力デバイス９を用いた車両乗員の指示入力に応じて、車両周囲俯瞰映像のうちの少なくとも一部の領域の解像度又はフレームレートを動的に可変制御するようにしてもよい。この場合は、出力映像生成部１５の処理負荷の増大を招くことなく、表示装置５に表示される車両周囲俯瞰映像を車両乗員の好みに応じて最適な映像とすることができる。

本発明を適用した車両周囲監視システムの概略構成を示すブロック図である。各車載カメラの設置位置及び各車載カメラにより撮影される被撮影領域を説明する図である。映像処理装置の詳細な内部構成を示すブロック図である。表示装置に表示される車両周囲俯瞰映像の一表示例を示す図である。映像処理装置の出力映像生成部による処理の概要を説明するための図であり、出力フレームバッファが十分なメモリサイズを持たないと仮定した場合の処理を説明する模式図である。映像処理装置の出力映像生成部による処理の概要を説明するための図であり、高画質の車両周囲俯瞰映像を生成する場合の処理を説明する模式図である。車両周囲俯瞰映像の解像度を低減させる処理の一例を説明する模式図である。車両周囲俯瞰映像の解像度を低減させる処理の他の例を説明する模式図である。

符号の説明

１フロントカメラ
２リアカメラ
３右サイドカメラ
４左サイドカメラ
５表示装置
６車載ナビゲーション装置
７車両情報取得装置
８障害物検出装置
１０映像処理装置
１１，１２，１３，１４入力フレームバッファ
１５出力映像生成部
１６出力フレームバッファ

Claims

車両に搭載された複数の車載カメラによってそれぞれ撮影された複数の撮影映像を合成して単一の出力映像を生成し、車室内に設置された表示装置に出力する車両用映像処理装置において、
前記出力映像のうちの少なくとも一部の領域の解像度又はフレームレートを動的に可変制御する制御手段を備え、
前記制御手段は、前記車両の走行状態を示す車両情報に基づいて、前記出力映像のうちの少なくとも一部の領域の解像度又はフレームレートを可変制御し、前記車両情報には前記車両の走行速度を示す車速情報が含まれ、前記制御手段は、前記車速情報によって示される前記車両の走行速度が予め設定された所定値以上である場合に、前記出力映像のうちの少なくとも一部の領域の解像度を下げる制御を行い、前記車両の走行速度が前記所定値未満である場合に、前記出力映像のうちの少なくとも一部の領域のフレームレートを下げる制御を行うことを特徴とする車両用映像処理装置。
前記車両情報には前記車両の進行方向を示す進行方向情報が含まれ、
前記制御手段は、前記進行方向情報によって示される前記車両の進行方向に応じて、前記出力映像における前記解像度又はフレームレートを制御する領域を決定することを特徴とする請求項１に記載の車両用映像処理装置。
前記進行方向情報には前記車両のシフトポジションを示すシフトポジション情報が含まれ、
前記制御手段は、前記シフトポジション情報によって示される前記車両のシフトポジションに応じて、前記出力映像における解像度又はフレームレートを制御する領域を決定することを特徴とする請求項２に記載の車両用映像処理装置。
前記進行方向情報には前記車両の舵角を示す舵角情報が含まれ、
前記制御手段は、前記舵角情報によって示される前記車両の舵角に応じて、前記出力映像における解像度又はフレームレートを制御する領域を決定することを特徴とする請求項２に記載の車両用映像処理装置。
前記制御手段は、前記車両の周囲に存在する障害物の有無を示す障害物検知情報に基づいて、前記出力映像における解像度又はフレームレートを制御する領域を決定することを特徴とする請求項１に記載の車両用映像処理装置。
前記制御手段は、前記車両の現在位置を示す現在位置情報に基づいて、前記出力映像における解像度又は前記フレームレートを制御する領域を決定することを特徴とする請求項１に記載の車両用映像処理装置。
車両に搭載された複数の車載カメラと、
前記複数の車載カメラによってそれぞれ撮影された複数の撮影映像を合成して、前記車両の周囲の状況を運転者に認識させるための単一の出力映像を生成する映像処理装置と、
前記車両の車室内に設置され、前記映像処理装置により作成された出力映像を表示する表示装置とを備え、
前記映像処理装置が、前記出力映像のうちの少なくとも一部の領域の解像度又はフレームレートを動的に可変制御する制御手段を備え、
前記制御手段は、前記車両の走行状態を示す車両情報に基づいて、前記出力映像のうちの少なくとも一部の領域の解像度又はフレームレートを可変制御し、前記車両情報には前記車両の走行速度を示す車速情報が含まれ、前記制御手段は、前記車速情報によって示される前記車両の走行速度が予め設定された所定値以上である場合に、前記出力映像のうちの少なくとも一部の領域の解像度を下げる制御を行い、前記車両の走行速度が前記所定値未満である場合に、前記出力映像のうちの少なくとも一部の領域のフレームレートを下げる制御を行うことを特徴とする車両周囲監視システム。
車両に搭載された複数の車載カメラによってそれぞれ撮影された複数の撮影映像を合成して単一の出力映像を生成し、車室内に設置された表示装置に出力する映像処理方法において、
前記車両の走行状態を示す車両情報に基づいて、前記出力映像のうちの少なくとも一部の領域の解像度又はフレームレートを動的に可変制御し、前記車両情報には前記車両の走行速度を示す車速情報が含まれ、前記車速情報によって示される前記車両の走行速度が予め設定された所定値以上である場合に、前記出力映像のうちの少なくとも一部の領域の解像度を下げる制御を行い、前記車両の走行速度が前記所定値未満である場合に、前記出力映像のうちの少なくとも一部の領域のフレームレートを下げる制御を行うことを特徴とする映像処理方法。