JP5991648B2 - 車両用表示制御装置 - Google Patents

Description

本発明は、車両用表示制御装置に関する。

赤外線カメラにより捉えられた車両周辺の画像から、車両との衝突の可能性がある歩行者等の対象物を抽出し、その情報を車両の運転者に提供するナイトビジョンシステム（車両用表示制御装置、車両用監視システムともいう）が考案されている。このシステムでは、歩行者等の対象物における車両との衝突の可能性は、車両と対象物との相対距離や相対速度に基づいて判定する。

障害物検知用途のデバイスは、ミリ波レーダ、レーザレーダなどの距離センサがあるが、これらのセンサでは障害物の有無は検知できても、検知した障害物が何かまでは判定できないため、歩行者を検知することはできない。一方、赤外線カメラのうち、遠赤外線カメラは、物体の熱を映像化するため歩行者検知用途に適している。

遠赤外線は水分による散乱が少ないため、悪天候時（雨、霧など）でも比較的歩行者を視認可能である、また、対向車のヘッドライト等の外乱光の影響を受けにくいという長所がある一方、昼間は太陽の影響で歩行者以外の背景物体（建物、道路など）の温度が上昇するため、歩行者と背景物体との温度差が得られにくくなる短所がある。さらに、遠赤外線カメラで撮影した画像は、物体の熱を映像化したものであるため、実際視認する画像と見た目の上で大きな隔たりがあり、何が映っているのか認識しづらい問題もある。

そこで、可視光カメラおよび赤外線カメラを備え、赤外線カメラの撮像画像から対象物を検出し、その検出結果に基づき、可視光カメラの撮像画像上に対象物を強調表示することで、乗員が夜間でも走行方向の障害物確認を容易に行うことのできる車載監視カメラ装置が考案されている（特許文献１参照）。

特開２００５−１８４５２３号公報

特許文献１の構成では、可視光カメラおよび赤外線カメラが必須構成である。可視光カメラは、取り付け位置に応じて形状を合わせる必要があるため、コスト高となる。

可視光カメラ機能は、スマートフォン（高機能携帯電話機）に代表される携帯型情報端末にも備えられ、これら端末の普及率は高い。また、近年、ナビゲーション装置のような車両用機器と携帯型情報端末とを連係動作させるシステムが実用化されている。しかし、上述の車両用表示制御装置では、携帯型情報端末との連携について言及している例はない。

上記問題点を背景として、本発明の課題は、低コストでユーザの利便性を向上させる車両用表示制御装置を提供することにある。

課題を解決するための手段および発明の効果

上記課題を解決するための車両用表示制御装置は、可視光カメラ（２１）を着脱可能な可視光カメラ接続部（２０）と、車両（４０）の外部を撮影する赤外線カメラ（２２）と、車室内に配置された表示部（１７，３０）とを備える車両に適用される表示制御装置であって、赤外線カメラによって撮影された赤外線画像に基づいて車両の外部の対象物を検出する対象物検出部（１８）と、可視光カメラが可視光カメラ接続部に接続されているとき、可視光カメラが撮像した車両の外部の可視光画像の範囲に基づいて、赤外線画像から重複領域を検出する重複領域検出部（１８）と、可視光画像の少なくとも一部を表示画像として表示部に送信する表示画像決定部（１１）とを備え、表示画像決定部は、対象物が重複領域の範囲内に存在するとき、可視光画像に対象物の情報を重畳表示させて表示画像として表示部に送信する。

上記構成によって、専用の可視光カメラを備える必要はなくなり、装置のコストを低減できる。また、赤外線カメラのみの構成に比べて視認性が向上する。さらに、ユーザが使い慣れた可視光カメラを接続することで、操作負荷を低減できる。可視光カメラの性能向上にも追従できる。このように車両用表示制御装置と連携動作できるようにすることで、携帯型情報端末の用途が広がり、車両用装置との連携が強化される。その結果、ユーザの利便性が向上するとともに、さらなるコストの低減につながる。

本発明の車両用表示制御装置の構成例を示す図。 赤外線カメラ、端末装置、表示器の、車両への取り付け例を示す図。 表示制御処理を説明するフロー図。 第１表示画像生成処理を説明するフロー図。 第２表示画像生成処理を説明するフロー図。 第１表示画像生成処理における表示例を示す図。 図６に続く、第１表示画像生成処理における表示例を示す図。 重複画像および表示画像の判定例を示す図。 重複画像の拡大表示の例を示す図。 重複画像の拡大表示の別例を示す図。 重複画像の拡大表示の別例を示す図。

以下、本発明の車両用表示制御装置について、図面を用いて説明する。図１に、車両用表示制御装置１の全体構成を示す。車両用表示制御装置１は、制御ユニット１０、および制御ユニット１０に接続された赤外線カメラ２２、操作部２４、表示器３０（本発明の表示部）を含む。

制御ユニット１０は、周知のＣＰＵ１２、制御プログラムが格納されたＲＯＭ１３、データを一時保存するＲＡＭ１４、不揮発性記憶媒体で構成されて車両用表示制御装置１の動作に必要な情報を記憶するメモリ１５、を含む演算処理部１１（本発明の表示画像決定部、推奨情報出力部）と、演算処理部１１に接続された信号入出力回路（図１では、Ｉ／Ｏと略記）１６、表示制御部１７（本発明の表示部）、画像処理部１８（本発明の重複領域検出部、対象物検出部）、および接続部２０（本発明の可視光カメラ接続部）を含むコンピュータとして構成される。そして、ＣＰＵ１２が制御プログラムを実行することで、車両用表示制御装置１の各種機能を実現する。また、制御ユニット１０を、１つあるいは複数のＩＣあるいはＡＳＩＣ等としてハードウエア的に構成してもよいし、その一部および全部をソフトウエア的にメモリ上に構築してもよい。

信号入出力回路１６は、例えば、操作部２４からの出力を、演算処理部１１で処理可能なデータに変換する。

表示制御部１７は、いわゆる、ディスプレイドライバに相当し、演算処理部１１から制御指令および表示用データを取得して、表示器３０の表示制御を行う。

画像処理部１８は、演算処理部１１からの制御指令に基づき、端末装置２１、赤外線カメラ２２が撮像した撮像画像に対して、例えばフィルタリングや二値化処理等の所定の画像処理を行い、二次元配列の画素からなる画像データを生成する。また、生成した画像から重複領域および対象物を検出する（詳細は後述）。

接続部２０は、端末装置２１（本発明の可視光カメラ）と制御ユニット１０との接続インターフェースで、以下のうちの少なくとも一つを含む。
・ＵＳＢ規格を用いた有線接続。この場合、接続部２０は、接続用のコネクタやケーブルを含み、信号線２０ａから端末装置２１の接続の有無に応じたレベルの信号を出力する。ＵＳＢ規格では、制御ユニット１０から端末装置２１へ電源を供給可能であり、端末装置２１に充電回路を設けることで、端末装置２１のバッテリ消費を抑制できる。
・周知の無線ＬＡＮ規格に基づく無線接続。この場合、接続部２０は、無線送受信回路を含み、信号線２０ａから、端末装置２１からの電波の受信強度を示す信号を出力する。

端末装置２１は、乗員が車両に持ち込むもので、ＣＣＤまたはＣＭＯＳ等の固体撮像素子を含む可視光カメラを備える。可視光カメラは、乗員の操作に基づいて、撮像方向および撮像範囲が定められる。端末装置２１として、周知のスマートフォンに代表されるタブレット型端末（液晶ディスプレイなどの表示部分にタッチパネルを搭載し、指で操作する携帯情報端末の総称）、デジタルカメラが挙げられる。図２のように、端末装置２１は、ブラケット等の取り付け具（図示せず）を用いて、車両４０のダッシュパネル上部のような、車両４０の前方を撮影可能な位置に取り付けられる。

赤外線カメラ２２は、赤外線ライトの反射を映す近赤外線カメラ、物体から放射される遠赤外線を映す遠赤外線カメラのいずれを用いてもよい。図２のように、赤外線カメラ２２は、ルームミラー近傍や天井の前部のような、車両４０の前方を撮影可能な位置に取り付けられる。

操作部２４は、周知のメカニカルスイッチあるいは表示器３０の画面上に形成されたタッチパネルとして構成される。

表示器３０は、周知のＬＣＤとして構成され、図２のように、例えば、車両４０のメータパネル内に取り付けられる。あるいは、メータ表示器の一部に含まれる。端末装置２１としてタブレット型端末を用いるときは、タブレット型端末の表示器を、本発明の表示部としてもよい。

図３を用いて、ＣＰＵ１２が実行する制御プログラムに含まれる表示制御処理について説明する。まず、イグニッションスイッチをオン状態にする、あるいは、操作部２４に含まれる起動スイッチを操作して、車両用表示制御装置１を起動する（Ｓ１１）。

次に、以下のうちのいずれかを用いて、端末装置２１が接続済か否かを判定する。
・端末装置２１を有線接続する構成のときは、信号線２０ａの出力レベルに基づいて判定する。
・端末装置２１を無線接続する構成のときは、信号線２０ａからの電波の受信強度に基づいて判定する。

端末装置２１が接続済のとき（Ｓ１２：Ｙｅｓ）、第１表示画像生成処理を実行する（Ｓ１３、後述）。一方、端末装置２１が未接続のとき（Ｓ１２：Ｎｏ）、第２表示画像生成処理を実行する（Ｓ１５、後述）。そして、これらの表示画像生成処理で生成した表示画像を、表示制御部１７を介して、表示器３０に表示させる（Ｓ１４）。

図４を用いて、図３のステップＳ１３に相当する、第１表示画像生成処理について説明する。まず、演算処理部１１からの制御指令に基づき、端末装置２１および赤外線カメラ２２で撮像を行い、それらの画像（可視光画像および赤外線画像）を画像処理部１８が取得する（Ｓ３１）。端末装置２１では、乗員が撮像範囲の設定および撮像操作（例えば、静止画撮影モードの移行）を行う。

次に、画像処理部１８にて、可視光画像と赤外線画像との重複領域を検出する（Ｓ３２）。検出方法は、例えば、特開２００７−１３１１７８号公報に一例が開示されている。また、二つの画像の解像度を合わせ（解像度の高い画像に合わせて解像度の低い画像を拡大、あるいは解像度の低い画像に合わせて解像度の高い画像を縮小）、赤外線画像を固定し、可視光画像を赤外線画像の左上から右下に向けて、ピクセルを単位とする行あるいは列を重ね合わせつつ、列方向あるいは行方向にシフトして類似度を算出し、その類似度の最も高いとき二つの画像に重複領域があると判定する（いわゆる、テンプレートマッチング）。

重複領域がないとき（Ｓ３３：Ｎｏ）、その旨を含むメッセージを表示器３０に出力し、乗員に端末装置２１の撮像範囲の変更を推奨する推奨情報を出力する（Ｓ３９）。例えば、表示器３０に、「撮像範囲を変更して下さい」といったようなメッセージを表示する。その後、ステップＳ３１に戻る。

上述の構成が、「重複領域を検出しないとき、可視光カメラの撮像範囲の変更を推奨する推奨情報を出力する推奨情報出力部（１１）を備える」ものである。本構成によって、乗員に可視光カメラの向きが適切でない等の注意喚起を行うことができる。

なお、本実施形態では、以下のような場合には可視光画像と赤外線画像とが重複していても、重複領域が存在するとは見なさない。
・重複領域の赤外線画像４２に占める割合が所定値を下回る場合、あるいは重複領域の大きさ（面積）が所定値を下回る場合（例：図８の領域４５）。

・重複領域が、車両４０の進行方向前方のような、予め定められた基準領域４７の全てを含まないとき（例：図８の領域４５、領域４６）。
これらにより、乗員にとって有用ではないと思われる画像を表示することを防止できる。

図４に戻り、一方、重複領域があるとき（Ｓ３３：Ｙｅｓ）、表示器３０において、例えば、重複部分の外縁を枠で囲む等して強調表示を行うとともに、乗員に以下のうちのいずれかを選択するようガイダンスメッセージを表示する。この表示を基に、乗員が表示形態を決定し、これを表示器３０に表示するための表示画像とする（Ｓ３４）。
・現状のまま表示する。
・重複領域を拡大表示する。
・端末装置２１の撮像範囲を変更して再度撮像を行う。

上述の構成が、「車両の乗員が操作入力を行う操作部（２４）を備え、表示画像決定部は、乗員の操作入力に基づいて、表示画像の範囲を決定する」ものである。本構成によって、一律に表示画像を決定するのではなく、乗員の意向を優先することができる。

また、乗員が重複領域の一部を選択して表示するようにしてもよい。この構成が、「乗員の操作部の操作により、重複領域から表示希望領域を選択し、表示画像決定部は、表示希望領域を表示画像として決定する」ものである。本構成によって、乗員が希望する領域を表示画像として表示することができる。

図６に、重複領域を検出したときの、表示器３０における表示例を示す。可視光画像４１と赤外線画像４２との重複領域４３を、可視光画像を用いて表示している。なお、可視光画像４１および赤外線画像４２が重複しない領域の画像の表示は省略してある。画面下部に、乗員の選択用ボタンが表示される。「このまま表示」ボタンを押下すると、現在の表示形態を継続する。「拡大表示」ボタンを押下すると、可視光画像４１の重複領域４３を拡大表示する。

拡大方法は、図９Ａに示すように、重複領域４３の縦横比を維持して表示器３０の画面一杯まで拡大してもよいし、図９Ｂに示すように、縦方向あるいは横方向を表示器３０の画面のサイズに合わせて拡大してもよいし、さらには、図９Ｃに示すように、選択枠４９によって重複領域４３の一部分を選択して表示器３０の画面に合わせて拡大してもよい。

また、図９Ｃの選択枠４９は、予め表示器３０の画面の縦横比に合わせた枠を用いるようにしてもよいし、選択枠４９を任意の縦横比で設定するようにしてもよい。任意の縦横比を設定可能とする場合は、図９Ａと同様に縦横比を維持したまま拡大してもよいし、図９Ｂと同様に縦方向あるいは横方向を画面のサイズに合わせるように拡大してもよい。また、乗員が端末装置２１の撮像範囲を変更するなどして、図６に示す「再度撮影」ボタンを押下すると、ステップＳ３１に戻り、撮像を行う。

上述の拡大に関する構成が、「表示部は、表示部の大きさに応じて、表示画像を拡大表示する」ものである。本構成によって、表示画像（すなわち、重複領域）を、より分かり易く表示できる。

図４に戻り、画像処理部１８にて、赤外線画像の全領域において、対象物（歩行者、動物等）の存在の有無およびその位置を検知する。対象物を検知したとき（Ｓ３５：Ｙｅｓ）、その対象物が、上述で決定した表示画像内に含まれるか否かを判定する。

対象物を検知しないとき（Ｓ３５：Ｎｏ）、あるいは、対象物が表示画像内に含まれないとき（Ｓ３６：Ｎｏ）、ステップＳ３４で決定した表示形態を表示画像とする（Ｓ３８）。なお、ここでいう対象物が表示画像内に含まれないときとは、例えば図８に示すように、基準領域４７と一致した重複領域が検知されたときに、歩行者４８が重複領域に存在しない場合をいう。

対象物が表示画像内に含まれないとき、上述のステップＳ３９に移り推奨情報を出力してもよい。この構成が、「対象物が表示画像の範囲外に存在するとき、可視光カメラの撮像範囲の変更を推奨する推奨情報を出力する推奨情報出力部（１１）を備える」ものである。本構成によって、本構成によって、乗員にとって有用な情報を表示することを可能とし、乗員に可視光カメラの向きが適切でない等の注意喚起を行うことができる。

図４に戻り、一方、対象物が表示画像内に含まれるとき（Ｓ３６：Ｙｅｓ）、表示画像に対象物の存在を反映した対象物情報を重畳し、これを表示画像とする（Ｓ３７）。対象物情報は、対象物を囲む枠の画像、対象物の種別を表すシンボル画像を挙げることができる。

上述の構成が、「赤外線画像から予め定められた対象物を認識する対象物検出部（１８）を備え、表示部は、対象物が表示画像の範囲内に存在するとき、該表示画像に該対象物の存在を反映した対象物情報を重畳表示する」ものである。本構成によって、従来技術の構成と同様に、乗員は、対象物の存在を認識することができる。

図７に、対象物を検出したときの、表示器３０における表示例を示す。図７の例では、表示器３０において重複領域４３（可視光画像）を全画面表示している。対象物として２名の歩行者を検知したため、それぞれの画像を略矩形の枠５１で囲んで強調表示し、さらに、対象物の画像を拡大した吹出し５２を表示している。

図５を用いて、図３のステップＳ１５に相当する、第２表示画像生成処理について説明する。本処理が、「可視光カメラが可視光カメラ接続部に接続されていないとき、表示部は、赤外線カメラによって撮影された赤外線画像を表示する」ものである。本構成によって、可視光カメラが可視光カメラ接続部に接続されていない場合でも、対象物の検知および表示を行うことができる。

まず、演算処理部１１からの指令に基づいて、赤外線カメラ２２で撮像を行い、その画像を画像処理部１８が取得する（Ｓ５１）。次に、画像処理部１８にて、赤外線画像を用い、対象物の存在の有無およびその位置を検知する。対象物を検知したとき（Ｓ５２：Ｙｅｓ）、赤外線画像に対象物の存在を反映した対象物情報を重畳し、これを表示画像とする（Ｓ５３）。一方、対象物を検知しないとき（Ｓ５２：Ｎｏ）、赤外線画像を表示画像とする（Ｓ５４）。

以上、本発明の実施の形態を説明したが、これらはあくまで例示にすぎず、本発明はこれらに限定されるものではなく、特許請求の範囲の趣旨を逸脱しない限りにおいて、当業者の知識に基づく種々の変更が可能である。

１ 車両用表示制御装置
１１ 演算処理部（表示画像決定部、推奨情報出力部）
１６ 信号入出力回路（Ｉ／Ｏ）
１７ 表示制御部（表示部）
１８ 画像処理部（重複領域検出部、対象物検出部）
２０ 接続部（可視光カメラ接続部）
２１ 端末装置（可視光カメラ）
２２ 赤外線カメラ
２４ 操作部
３０ 表示器（表示部）
４０ 車両

Claims (5)

1. 可視光カメラ（２１）を着脱可能な可視光カメラ接続部（２０）と、車両（４０）の外部を撮影する赤外線カメラ（２２）と、車室内に配置された表示部（１７，３０）とを備える車両に適用される表示制御装置であって、
   前記赤外線カメラによって撮影された赤外線画像に基づいて前記車両の外部の対象物を検出する対象物検出部（１８）と、
   前記可視光カメラが前記可視光カメラ接続部に接続されているとき、前記可視光カメラが撮像した前記車両の外部の可視光画像の範囲に基づいて、前記赤外線画像から、前記赤外線画像と前記可視光画像とが重複する領域である重複領域を検出する重複領域検出部（１８）と、
   前記可視光画像の少なくとも一部を表示画像として前記表示部に送信する表示画像決定部（１１）とを備え、
   前記表示画像決定部は、前記対象物が前記重複領域の範囲内に存在するとき、前記可視光画像に前記対象物の情報を重畳表示させて前記表示画像として前記表示部に送信し、
   前記重複領域を検出しないとき、前記可視光カメラの撮像範囲の変更を推奨する推奨情報を出力する推奨情報出力部（１１）をさらに備えることを特徴とする車両用表示制御装置。
2. 前記車両の乗員が操作入力を行う操作部（２４）を備え、
   前記表示画像決定部は、前記乗員の操作入力に基づいて、前記表示画像の範囲を決定する請求項１に記載の車両用表示制御装置。
3. 前記重複領域検出部は、前記重複領域が予め定められた大きさを上回るとき、前記重複領域を検出したとする請求項１または請求項２に記載の車両用表示制御装置。
4. 前記重複領域検出部は、前記重複領域が前記赤外線画像の予め定められた基準領域を含むとき、前記重複領域を検出したとする請求項１ないし請求項３のいずれか１項に記載の車両用表示制御装置。
5. 前記可視光カメラが前記可視光カメラ接続部に接続されていないとき、前記表示部は、前記赤外線カメラによって撮影された赤外線画像を表示する請求項１ないし請求項４のいずれか１項に記載の車両用表示制御装置。