JP4772409B2 - 画像表示システム - Google Patents

Description

本発明は画像表示システムに関するものであり、特に、車両の後方及び後側方を視野範囲に含むカメラで撮像された画像を表示する画像表示システムに関する。

従来より、カメラで車両の後方を撮像して車内の表示装置に表示する画像表示システムが知られている。このような画像表示システムとしては、後向き駐車などの作業において運転者を支援するために、車両の後方を映し出す画像に、ステアリング舵角等に応じて予測された移動軌跡を重畳するものが知られている。

また、ステアリング舵角やヘッドランプのオン・オフ等で示される車両状態に基づいて、広角カメラによる画像と狭角カメラによる画像とを切り替えて表示することで、車両後方を詳細に把握できるようにした画像表示システムが知られている（特許文献１参照）。
特開２００３−２１２０４１号公報

しかしながら、従来の画像表示システムでは、後向き駐車のような後進時かつ低速時において車両の周囲にある駐車車両、駐車枠や縁石のような静止体との位置関係を運転手が把握できるようにすることに主眼が置かれている。したがって、この画像表示システムによって提供される画像からは、後側方の状況（例えば、自車両の周辺を走行する他車のような動体との位置関係）を把握することが困難である。

そこで、本発明は、後側方の状況の把握が容易な画像を表示する画像表示システムの提供を目的とする。

本発明の画像表示システムは、車両に取付けられており、該車両の後方と後側方とを視野範囲に含むカメラと、上記カメラの出力に基づく画像上の領域であって、上記車両の上記後方の路面に対応する該領域にマスクを重畳することによって表示対象画像を生成する画像処理手段と、上記表示対象画像を表示する表示装置と、を備える。

本発明に係る画像表示システムによれば、後側方の状況の把握のためには不要な情報である後方の路面領域がマスクで覆われた表示対象画像が表示される。したがって、この表示対象画像によれば、後側方の状況の把握が容易になる。例えば、運転者は、この表示対象画像から、車両の直後を走行する後続車両の存在に惑わされることなく、隣接車線を走行する後続車両の有無や後続車両との位置関係といった情報を把握することができる。

また、上記画像処理手段によって上記マスクが重畳される領域は、上記カメラの出力に基づく画像における無限遠点に対応する画素を含む所定幅の領域であって縦方向に延びる該領域を更に含むようにしてもよい。

さらに、上記マスクは、上記車両の一部を模擬したパターンを含むマスクとしてもよい。また、上記車両の車内を視野範囲に含む車内カメラを更に備え、上記画像処理手段が、上記車内カメラの出力画像を上記マスクとして上記表示対象画像に重畳するようにしてもよい。

さらに、上記マスクは、上記車両からの距離に応じて異なる表示態様に変化するマスクとしてもよい。また、上記画像処理手段が、上記マスクが重畳された領域と異なる領域に、上記車両からの距離に対応する複数の線を重畳するようにしてもよい。

本発明の画像表示システムによれば、後側方の状況の把握には不要な情報である部分がマスクで覆われた画像が表示されるので、後側方の状況の把握が容易になる。

以下、図面を参照しつつ本発明の実施の形態を説明する。なお、同一要素又は同一機能を有する要素は同一符号を用いるものとし、重複する説明は省略する。

本発明の実施形態に係る画像表示システムの構成について、図１を参照しながら説明する。図１に示す画像表示システム１は、車両の後方及び後側方の画像を車内で表示することができる車載装置であり、カメラ１０と、車内カメラ２０と、画像処理ユニット（画像処理手段）３０と、表示装置４０とを備える。また、画像表示システム１の画像処理ユニット３０は、車両状態信号出力手段である車輪速センサ６０、方向指示器７０及びナビゲーションシステム８０から出力されるデータや信号によって車両の挙動、動作、位置等に関する情報を受信することができる。

図２は、カメラの視野範囲を示す図である。図２に示すように、カメラ１０は、車両１００に取付けられている。カメラ１０は、例えば、車両１００の後部ナンバープレート設置部の上隅部１１０に取り付けられる。なお、カメラ１０は、ルームミラー、リアトランク、天井や左右ドアミラー（いずれも図示せず）に取付けられていてもよい。

図２に示すように、カメラ１０の視野範囲には、車両１００の後方の路面に対応する領域であって車両１００と略同一の幅を有する領域２００Ｒ（以下、後方２００Ｒとする）と、後方２００Ｒに隣接する領域であって後方２００Ｒの車幅方向に対して外方（図２において後方２００Ｒの左右）の領域３００Ｒ（以下、後側方３００Ｒとする）とが含まれている。かかる視野を有するカメラとしては、広角カメラが例示される。なお、図２は、後方２００Ｒに車両２００が、後側方３００Ｒに車両３００がそれぞれ位置している状況を例示している。

図１に戻り、このカメラ１０は画像処理ユニット３０に接続されており、カメラ１０によって撮像された画像は画像処理ユニット３０へ出力される。

車内カメラ２０は、車両１００の車内（例えば、ルームミラー）に取付けられている。車内カメラ２０としては、例えば車両１００の車内を視野範囲に含む広角カメラが用いられる。車内カメラ２０は、カメラ１０と同様に、画像処理ユニット３０に接続されており、車内カメラ２０が撮像した画像は画像処理ユニット３０へ出力される。なお、車内カメラ２０は、カメラ１０と異なり、車両１００の後方ではなく、主に運転席、助手席、後部座席の乗員の様子を撮像するために用いられる。

画像処理ユニット３０は、カメラ１０が撮像した画像を処理することによって表示対象画像を生成し、当該表示対象画像を表示装置４０へ出力する。この画像処理ユニット３０は、画像入力部３１と、判定部３２と、記憶部３３と、画像処理部３４と、画像出力部３５と、フレームメモリ３６とを有している。

画像入力部３１は、入力画像を画像処理部３４に出力するインターフェイスである。具体的に、画像入力部３１の入力は、カメラ１０、車内カメラ２０、及びナビゲーションシステム８０に接続されている。また、画像入力部３１の出力は、画像処理部３４に接続されている。画像入力部３１は、カメラ１０の出力に基づく原画像、及び車内カメラ２０の出力に基づく室内画像を画像処理部３４へ出力する。また、画像入力部３１は、ナビゲーションシステム８０からの地図画像を画像処理部３３へ出力する。

判定部３２は、車両状態信号出力手段である車輪速センサ６０、方向指示器７０及びナビゲーションシステム８０と接続されている。車輪速センサ６０は、車両１００の車輪（図示せず）に取り付けられており、検出した車輪速（車速）データを判定部３２へ出力する。方向指示器７０は、運転者がハンドルに取付けられたレバーを操作することで動作し、当該動作の有無に基づく信号を判定部３２へ出力する。また、ナビゲーションシステム８０は、図示しないＧＰＳ（Global Positioning System）を利用して位置情報を取得し、内蔵の地図データ等を用いて、車両１００の走行位置や走行道路の種別（例えば、一般道路と高速道路の区別）に関するデータを判定部３２へ出力する。

判定部３２は、各車両状態信号出力手段から入力された情報が後述する所定条件を満たしているか否かを判定する。判定部３２は、所定条件が満たされていると判定した場合には、画像処理部３４に対して画像処理要求を出力する。なお、判定部３２は、専用プログラムの命令に従って動作するＣＰＵによって構成されている。

記憶部３３は、画像処理部３４と接続されている。この記憶部３３は、後述するマスク重畳処理のためのマスクパターンを記憶している。記憶部３３は、画像処理部３４の要求に応じて、マスクパターンを画像処理部３４に出力する。

また、記憶部３３は、カメラ１０及び車内カメラ２０が撮像した広角画像に基づく原画像の歪補正処理のための補正テーブルを記憶している。記憶部３３は、画像処理部３４からの要求に応じて、補正テーブルのデータを画像処理部３３に出力する。この歪補処理正とは、広角のカメラ１０によって撮影された画像に含まれている歪を補正する処理であり、所謂樽型歪といった歪を補正する処理である。そのために、記憶部３３によって記憶されている補正テーブルには、補正前の画像上の位置と補正後の画像上の位置との対応関係が登録されている。後述する画像処理部３４は、この対応関係を参照して原画像に歪補正処理を適用することによって、歪補正画像を生成することができる。なお、記憶部３３としては、上述のマスクパターン及び補正テーブルを記憶している不揮発性メモリが例示される。

画像処理部３４は、判定部３２からの画像処理要求の入力を受けた場合に、画像入力部３１から入力された原画像を処理することによって、表示対象画像を生成する。具体的に、画像処理部３４は、記憶部３３に記憶されている補正テーブルを参照することによって、カメラ１０からの画像に基づく上述の原画像に、歪補正処理を施す。これによって、画像処理部３４は、歪補正画像を生成する。

そして、画像処理部３４は、記憶部３３に記憶されたマスクのパターンを用いて、歪補正画像にマスクを重畳する（マスク重畳処理）。画像処理部３４は、マスク重畳処理後の画像を表示対象画像として、画像出力部３５へ出力する。なお、画像処理部３４としては、上述の歪補正処理及びマスク重畳処理のための専用ロジックによって構成された画像処理ＡＳＩＣ（Application Specific Integrated Circuit）が例示される。また、画像処理部３４は、画像入力部３１からの画像の一時記憶、及び画像出力部３５へ出力する表示対象画像の一時記憶のために、フレームメモリ３６を利用することができる。

画像出力部３５は、画像処理部３４と表示装置４０との間のインターフェイスであり、その入力は画像処理部３４に接続されており、出力は表示装置４０に接続されている。この画像処理部３５は、入力された表示対象画像を表示装置４０に出力する。

表示装置４０は、例えばＬＣＤやＣＲＴといった表示装置であって、画像出力部３５から出力された表示対象画像を表示する。

以下、画像処理ユニット３０の動作について説明する。

画像入力部３１からのデータ入力を受けて、画像処理部３４は、判定部３２の判定結果に基づく画像処理要求に応じた処理を、記憶部３３のデータを参照しつつ実行する。判定部３２が判定する所定条件としては、次のような条件を単独でもしくは複数を組み合わせたものを用いることができる。
条件１）車輪速センサ６０の出力に基づく車輪速データが、所定の車輪速以上である。
条件２）方向指示器７０の出力に基づく信号が、方向指示器のスイッチがオンであることを示している。
条件３）ナビゲーションシステム８０の出力に基づく走行位置データが、車両が高速道路や自動車専用道路などを走行していることを示している。

このような条件を用いることで、判定部３２は、車両１００が車線変更や追い越しのように後側方３００ＲＳの状況を的確に把握する必要性が高い状態にあることを判定することができる。そして、判定部３２は、所定条件が満たされていると判定した場合には、画像処理部３４に対して画像処理要求を出力する。

判定部３２からの画像処理要求を受けた画像処理部３４は、カメラ１０からの画像に基づく原画像に、上述の歪補正処理及びマスク重畳処理を施すことによって、表示対象画像を生成する。この表示対象画像が、表示装置４０に表示されることによって、運転者は後側方３００Ｒの状況を容易に把握することができる。

以下、表示対象画像の例を説明することによって、画像処理部３４によるマスク重畳処理に採用可能な処理例を説明する。図３〜図９は、画像処理部によって生成された表示対象画像の例を示す図である。図３〜図９に示す表示対象画像は、後方３００Ｒの道路形状（カーブ、坂など）や車線数に関わらず、所定形状のマスクを重畳することによって生成されたものである。

図３に示す表示対象画像は、歪補正画像における領域４００Ａにマスク重畳処理によるマスクＭ１が重畳されて成るものである。この領域４００Ａは、車両１００の後方２００Ｒの路面に対応する歪補正画像上の領域（後方３００Ｒにおける路面の一部に相当）である。マスクＭ１は、領域４００Ａを他の領域と区別するためのものであり、図３に示すマスクＭ１は、車両の一部（図３では車内のハンドル、シート及び天井）を模擬したパターンＰを含んでいる。なお、図３に示すマスクＭ１は、歪補正後の画像上の上部にも重畳されたパターンも含んでおり、このパターンは車両１００の屋根を模擬したものである。

図４に示す表示対象画像は、歪補正画像上の領域であってマスクＭ１が重畳された領域と同じ領域、及び領域４００Ｂにマスク重畳処理によるマスクＭ２が重畳されて成るものである。この領域４００Ｂは、原画像における無限遠点に対応する画素を含む所定幅の領域であって縦方向に延びる領域である。具体的に、図４では、領域４００Ｂの幅は、車両１００の後続車両である車両２００を隠すことが可能なように設定されている（図３を参照）。このマスクＭ２によれば、車両１００の直後を走行する後続車両や路面だけでなく、遠方かつ後方にある後続車両や景色も隠されるので、運転者は遠方かつ後方にある後続車両や景色に惑わされることなく、後側方の状況を容易に把握することができる。

図５に示す表示対象画像は、マスクＭ１が重畳された領域と同じ歪補正画像上の領域にマスク重畳処理によるマスクＭ３が重畳されてなるものである。このマスクＭ３のうち領域４００Ａに重畳されたパターンは、車両１００からの距離（例えば、２５ｍおき）に応じて異なる表示態様に変化するパターンである。このパターンとしては、例えば、領域４００Ａを車両１００からの後方への距離に応じて複数の領域に区画し、当該複数の領域に異なる色を割り当てたパターンを用いることができる。これらの色の例としては、車両１００からの距離が増すにつれて、暖色系（例えば、赤色）から寒色系（例えば、青色）に変化する複数の色を用いることができる。このマスクＭ３によれば、運転者は後側方の車両と車両１００との距離をより容易に把握することができる。

図６に示す表示対象画像は、マスクＭ１が重畳された領域と同じ歪補正画像上の領域にマスク重畳処理によるマスクＭ４が重畳されてなるものである。このマスクＭ４のうち領域４００Ａに重畳されたパターンには、車内カメラ２０の出力画像である室内画像Ｑが採用されている。このマスクＭ４によれば、運転者は後側方の状況をより自然に把握することができる。

図７に示す表示対象画像は、図３と同様のマスクＭ１が歪補正画像に重畳されることによって生成されている。また、図７に示す表示対象画像では、マスクが重畳された領域４００Ａと異なる領域４００Ｅ（後方２００Ｒと後側方３００Ｒとの境界に相当する領域）に、車両１００からの距離に対応する複数の線４００Ｌ（図７では、表示対象画像における鉛直線）が重畳されている。複数の線４００Ｌには、車両１００からの後方への距離に応じて、異なる色が割り当てられていることが好ましい。これらの色の例としては、車両１００からの距離が増すにつれて、暖色系（例えば、赤色）から寒色系（例えば、青色）に変化する複数の色を用いることができる。この表示対象画像によれば、運転者は車両の後側方を走行する後続車両に対する位置関係を具体的に把握することができる。

図８に示す表示対象画像は、歪補正画像にマスク重畳処理によるマスクＭ５が重畳されて成るものである。このマスクＭ５は、歪補正画像上における後方２００Ｒに対応の領域のうち車両１００側の一部の領域に重畳されるパターンＳ１を含んでいる。このパターンＳ１は車両１００のトランクを模擬したパターンである。また、マスクＭ５は、リアピラーを模擬したパターンＳ２を含んでいる。

図９に示す表示対象画像は、歪補正画像にマスク重畳処理によるマスクＭ６が重畳されてなるものである。このマスクＭ６は、歪補正画像上における後方２００Ｒに対応の領域のうち車両１００側の一部の領域に重畳されており、車両のルーフを模擬したパターンＴを含んでいる。

以上説明したように、画像表示システム１によれば、歪補正画像における領域のうち、車両１００後方の路面に対応の領域がマスクで覆われてなる表示対象画像が表示される。すなわち、運転者が後側方の状況を把握するためには不要な領域にマスクが重畳された画像が表示される。したがって、例えば車両が走行車線を変更するような場合に、車両の直後を走行する後続車両の存在に惑わされることなく、隣接車線を走行する後続車両の有無や後続車両との位置関係といった後側方の状況を運転者は容易に把握することができる。

なお、本発明は、上記した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。

例えば、上記の実施の形態では、後方２００Ｒの道路形状や車線数に関わらず、所定の領域に所定形状のマスクを重畳することで表示対象画像が生成されているが、画像からの白線抽出結果を用いて当該画像における自車線に対応の領域にマスクを重畳してもよい。

また、原画像、即ちカメラ１０によって撮影されて画像処理部３４に入力された原画像に、歪補正処理を適用することなく、マスクを重畳することによって表示対象画像が生成されてもよい。また、原画像に歪補正処理を施し、更にカメラ１０の俯角を水平に補正する視点変換処理を施した後に、上述のマスク重畳処理が施されてもよい。

本発明の実施形態にかかる画像表示システムの構成図である。 カメラの視野範囲を示す図である。 画像処理部によって生成された表示対象画像の一例を示す図である。 画像処理部によって生成された表示対象画像の他の例を示す図である。 画像処理部によって生成された表示対象画像の他の例を示す図である。 画像処理部によって生成された表示対象画像の他の例を示す図である。 画像処理部によって生成された表示対象画像の他の例を示す図である。 画像処理部によって生成された表示対象画像の他の例を示す図である。 画像処理部によって生成された表示対象画像の他の例を示す図である。

符号の説明

１…画像表示システム、１０…カメラ、２０…車内カメラ、３０…画像処理ユニット、３１…画像入力部、３２…判定部、３３…記憶部、３４…画像処理部、３５…画像出力部３６…フレームメモリ、４０…表示装置、６０…車輪速センサ、７０…方向指示器、８０…ナビゲーションシステム、Ｍ１〜Ｍ６…マスク、４００Ａ，４００Ｅ…領域、４００Ｌ…線、Ｐ，Ｓ１，Ｓ２…パターン、Ｑ…室内画像。

Claims (5)

1. 車両に取付けられており、該車両の後方と後側方とを視野範囲に含むカメラと、
   前記カメラの出力に基づく画像上の領域であって、前記車両の前記後方の路面に対応する該領域にマスクを重畳することによって表示対象画像を生成する画像処理手段と、
   前記表示対象画像を表示する表示装置と、
   を備え、
   前記画像処理手段によって前記マスクが重畳される領域は、前記カメラの出力に基づく前記画像における無限遠点に対応する画素を含む所定幅の領域であって縦方向に延びる該領域を更に含む、画像表示システム。
2. 前記マスクは、前記車両の一部を模擬したパターンを含むマスクである、請求項１に記載の画像表示システム。
3. 前記マスクは、前記車両からの距離に応じて異なる表示態様に変化するマスクである、請求項１又は２に記載の画像表示システム。
4. 前記車両の車内を視野範囲に含む車内カメラを更に備え、
   前記画像処理手段が、前記車内カメラの出力画像を前記マスクとして前記表示対象画像に重畳する、請求項１又は２に記載の画像表示システム。
5. 前記画像処理手段が、前記マスクが重畳された領域と異なる領域に、前記車両からの距離に対応する複数の線を重畳する、請求項１〜４の何れか一項に記載の画像表示システム。

Images