JP5105880B2 - 車両状況監視装置及び画像処理装置 - Google Patents

Description

本発明は、車両状況監視装置及び画像処理装置に関する。

従来から、車内又は車外撮影用の監視カメラを設けて、監視カメラの画像をサイクリックに記録する技術が開示されている（例えば、特許文献１等参照）。
特開平１１−２９８８５３号公報

しかし、上記技術では、車内と車外の画像を、共通の表示手段に同時に表示することはできない。従って、車内の状況と車外の状況とを同時に確認することはできなかった。

本発明は、上記の事情に鑑みて成されたものであり、その目的とするところは、車内及び車外の状況を同時に確認することはできる車両状況監視装置及び画像処理装置を提供することにある。

上記目的は、車内画像を撮影する車内用カメラと、車両周辺の車外画像を撮影する車外用カメラと、前記車内用及び車外用カメラにより撮影された前記車内画像及び車外画像を合成して車内外合成画像を生成する画像制御手段と、前記車内外合成画像を表示する表示手段と、を備え、前記画像制御手段は、前記車内画像及び車外画像を同一方向から見えるように合成して前記車内外合成画像を生成する、ことを特徴とする車両状況監視装置によって達成できる。
この構成により、車内画像及び車外画像を合成して車内外合成画像を生成し、表示手段に車内外合成画像が表示されるので、搭乗者は車内の状況と車外の状況とを同時に把握することができる。また、車内画像及び車外画像を同一方向から見えるように合成して車内外合成画像を生成するので、車内の状況と車外の状況とが違和感のない様子で表示される。

上記構成において、前記画像制御手段は、車内と車外の位置関係が一致するように前記車内画像及び車外画像を合成して前記車内外合成画像を生成する、構成を採用できる。
この構成によっても、車内の状況と車外の状況とが違和感のない様子で表示される。

上記構成において、前記画像制御手段は、前記車両の状態に応じて前記車内外合成画像を前記表示手段に表示させる、構成を採用できる。
例えば、車両の速度が所定値よりも速い場合には、表示手段に車内外合成画像を表示させ、遅い場合には、表示手段に車内画像を表示させることができる。この構成により、車両の状態に適した表示を行うことができる。

上記構成において、前記画像制御手段は、前記車両の状態に応じて前記車内外合成画像を記憶手段に記憶させる、構成を採用できる。
この構成により、例えば車両に事故が発生した場合には、車内外合成画像を記憶することにより、事故原因の解析などに使用することができる。

上記構成において、前記画像制御手段は、前記車両の状態に応じて前記車内外合成画像を送信手段により外部装置に送信させる、構成を採用できる。
この構成により、例えば駐車中に車両への不正行為がなされた場合には、ユーザの携帯電話などに車内外合成画像を送信することにより、車両の現状を把握することができる。

上記構成において、前記画像制御手段は、前記車両の状態に応じて前記車内外合成画像に表示された車内領域を中心に前記車内外合成画像を拡大表示して前記表示手段に表示させる、構成を採用できる。
この構成により、例えば車両の速度が所定値よりも遅い場合には、車内領域を中心に車内外合成画像を拡大表示することにより、より車両の状態に適した表示を行うことができる。

上記構成において、前記画像制御手段は、前記同一方向から見える前記車両の外観画像を前記車内外合成画像にオーバレイ表示して前記表示手段に表示させる、構成を採用できる。
この構成により、見やすい車内外合成画像を表示することができる。

上記構成において、前記車外用カメラは、前記車両の横側周辺を撮影すると共に前記車両の横側の窓よりも高い位置に設置されている車外用カメラを含む、構成を採用できる。
この構成により、搭乗者が窓から手を出した場合であっても、車外用カメラの撮影範囲を妨げることなく、車両の横側周辺を撮影することができる。

上記構成において、前記車外用カメラは、前記車両の横側周辺を撮影すると共に前記車両の横側の窓の位置を車両の前後方向から挟むように配置された複数の車外用カメラを含む、構成を採用できる。
この構成によっても、搭乗者が窓から手を出した場合であっても、車外用カメラの撮影範囲を妨げることなく、車両の横側周辺を撮影することができる。

上記構成において、前記車内用カメラは、前部座席側を撮影する前部座席側用カメラと後部座席側を撮影する後部座席側用カメラとを含む、構成を採用できる。
この構成により、車内の状況を詳細に表示することができ、特に運転者は後部座席の様子を詳細に把握することができる。

また、上記目的は、複数のカメラにより撮影された車内画像及び車外画像を合成した車内外合成画像を生成する画像制御手段とを備え、前記画像制御手段は、前記車内画像及び車外画像を同一方向から見えるように合成して前記車内外合成画像を生成する、ことを特徴とする画像処理装置によっても達成できる。
この構成により、車内画像及び車外画像を合成して車内外合成画像を生成し、表示手段に車内外合成画像が表示されるので、搭乗者は車内の状況と車外の状況とを同時に把握することができる。また、前記車内画像及び車外画像を同一方向から見えるように合成して車内外合成画像を生成するので、車内の状況と車外の状況とが違和感のない様子で表示される。

本発明によれば、車内及び車外の状況を同時に確認することはできる車両状況監視装置及び画像処理装置を提供できる。

以下に、本発明に係る複数の実施例について説明する。

以下、本発明の最良の実施形態について、添付図面を参照しつつ説明する。
図１は、本発明の一実施形態に係る車両状況監視装置の構成図である。
本発明に係る車両状況監視装置は、制御部１０、車外カメラ群３０、車内カメラ群４０、表示部５０、操作部５１、記憶部５２、送信部５３、車速センサ５４、加速度センサ５５、盗難防止装置６０などから構成される。

制御部１０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などから構成され、車外カメラ群３０及び車内カメラ群４０などからの画像に基づき、後述する車内外合成画像を生成する。また、制御部１０は、車両状況監視装置全体を制御するものである。

車外カメラ群３０は、車両周辺の車外画像を撮影する。車内カメラ群４０は、車内画像が撮影する。
図２は、車両に設けられた車外カメラ群３０及び車内カメラ群４０の配置位置を示した模式図である。
車外カメラ群３０は、前方監視カメラ３１、左側監視カメラ３２、右側監視カメラ３３、後方監視カメラ３４から構成され、前方監視カメラ３１は、車両のボンネットの先端付近に、左側監視カメラ３２及び右側監視カメラ３３は、ドアミラー付近に、後方監視カメラ３４は、後方ピラー付近に配置されている。

車内カメラ群４０は、前部座席監視カメラ４１、後部座席監視カメラ４２から構成され、それぞれ車内に配置されている。前部座席監視カメラ４１は、前部座席の天井に、後部座席監視カメラ４２は後部座席の天井に配置されている。この構成により、車内の状況を詳細に表示することができ、特に運転者は後部座席の様子を詳細に把握することができる。

表示部５０は、液晶ディスプレイなどから構成され、制御部１０によって生成された車内外合成画像を表示する。また、表示部５０は、車両内のダッシュボード付近に配置されているものであり、ナビゲーション装置と兼用されるものであってもよい。

操作部５１は、リモコンなどから構成され、ユーザは車両状況監視装置に対して車内外合成画像の保存や表示部５０の表示切替などの指示を出すことができる。

記憶部５２は、ハードディスク等から構成され、車内外合成画像を記録・保存する。

送信部５３は、所定の場合には、車内外合成画像を、所定の携帯端末、例えばユーザの携帯電話などに送信する。

車速センサ５４は、車両の速度を検出する。
加速度センサ５５は、車両の加速度を検出する。

盗難防止装置６０は、振動センサ６１及び音センサ６２などから構成され、イグニッションキーのオフ後所定期間経過後に自動で始動する。所定期間経過後に自動で始動するので、搭乗者が車から降りた後自動で始動する。

次に、車内外合成画像の生成処理について説明する。図３は、制御部が実行する車内外合成画像の生成処理の一例を示したフローチャート図である。
制御部１０は、車外カメラ群３０により撮影された各車外画像を抽出し（ステップＳ１０）、各車外画像を所定の補正処理を行い、所定の方向から見た車両周辺を映し出した、車外合成画像を生成する（ステップＳ１１）。尚、車外合成画像の生成方法については、特許第３３００３３４号公報に詳細に開示されている方法を用いる。

図４は、車外合成画像の例示図である。図４は、自車両の上方から見えるものとして生成された車内外合成画像である。図４に示した、車両前方のエリア１Ａは、前方監視カメラ３１により撮影された画像であり、車両左側のエリア２Ａは、左側監視カメラ３２により、車両右側のエリア３Ａは、右側監視カメラ３３により、車両後方のエリア４Ａは、後方監視カメラ３４により撮影された画像である。尚、図４に示したエリア１Ａ〜４Ａは、各車外カメラにより撮影される、おおよその範囲を示したものである。

次に制御部１０は、車内カメラ群４０により撮影された各車内画像を抽出し（ステップＳ１２）、各車内画像を所定の補正処理を行い、前記車外合成画像を生成する際に設定された上記方向と同一方向から見えるように、車内合成画像を生成する（ステップＳ１３）。図５は、車内合成画像の例示図である。車両内の前部座席側の画像は前部座席監視カメラ４１により、後部座席側の画像は後部座席監視カメラ４２により撮影されたものである。

次に制御部１０は、上記の車外合成画像と車内合成画像とを合成して、車外合成画像と車内合成画像とが同一方向から見えるように、車内外合成画像を生成する（ステップＳ１４）。図６は、車内外合成画像の例示図である。

次に制御部１０は、車内外合成画像に、上記方向と同一方向から見える自車両の外観のイラストを、車内外合成画像にオーバレイ表示して表示部５０に表示させる（ステップＳ１５）。図７は、自車両画像の例示図である。

図８は、自車両画像がオーバレイ表示された車内外合成画像の例示図である。尚、自車両のイラストＧは、予め撮影され記憶部５２に記憶されているビットマップの画像である。

図９は、車外合成画像の例示図である。尚、この場合も、車外合成画像には自車両のイラストｇがオーバレイ表示されている。

ユーザは、操作部５１により、車内外合成画像又は車外合成画像を選択的に切り替えて表示部５０に表示させることができる。例えば、運転手であるユーザは、自分以外に車両内に搭乗者がいない場合には、図９に示した車外合成画像を表示部５０に表示させることができる。また、後部座席に搭乗者がいる場合などには、車内外合成画像を表示することにより、車両内と車外との状況を同時に把握することができる。

また、図８に示したように、制御部１０は、車外カメラ群３０によって撮影された車外合成画像と、車内カメラ群４０によって撮影された車内合成画像とを、同一方向から見えるように合成して車内外合成画像を生成する。これにより、車内の状況と車外の状況とが違和感のない様子で表示部５０に表示される。

また、図８に示したように、制御部１０は、車内及び車外の位置関係が一致するように車内画像及び車外画像を合成して車内外合成画像を生成するので、車内の状況と車外の状況とが違和感のない様子で表示される。

また、制御部１０は、前記同一方向から見える車両の外観画像を車内外合成画像にオーバレイ表示して表示部５０に表示させる。これにより、見やすい車内外合成画像を表示することができる。

尚、図４乃至図９に示したように、車外合成画像、車内合成画像、車内外合成画像及び自車画像は、それぞれ、自車両の無限遠上部での視点から見えるように生成された画像である。

ユーザは、車速度によって表示部５０に表示される画像が切り替えられるモードを選択することもできる。上記モードを選択されたときの切り替え処理について説明する。図１０は、制御部が実行する切り替え処理の一例を示したフローチャート図である。尚、この処理は所定の周期で繰り返し実行される。

制御部１０は、車速センサ５４から車速度を検出し（ステップＳ２０）、は車速度が制御部１０ｍ／ｓ以上であるかどうかを判定する。制御部１０ｍ／ｓ以上の場合には、制御部１０は表示部５０に指令を出して、図５に例示したような車外合成画像を表示させる（ステップＳ２１）。

制御部１０ｍ／ｓ未満の場合には、制御部１０は、表示部５０に指令を出して、図８に例示したような車内外合成画像の、車内画像が表示された車内領域を中心として拡大表示された車内外合成画像を、表示部５０に表示させる（ステップＳ２２）。従って、停車時や発進時、又は徐行運転時には、表示部５０に車内外合成画像が拡大表示される。

このように、制御部１０は、車両の速度に応じて車内外合成画像を表示部５０に表示させる。これにより、状況に適した表示を行うことができる。例えば、車速が速い場合には、前方車両及び後方車両との車間距離などを把握できると共に、後部座席の搭乗者の様子を把握することができ、車速が遅い場合又は停車中の場合には、車内の様子を十分に把握することができる。例えば停車中に搭乗者が後部座席からの乗り降りを確認することができる。

次に、車両の状態に応じて制御部１０により生成された車内外合成画像を記憶する処理について説明する。
図１１は、制御部が実行する車内外合成画像を記憶する記憶処理の一例を示したフローチャートである。
制御部１０は、イグニッションがオン状態であるか否かを判定する（ステップＳ３０）。
イグニッションがオンの状態では、制御部１０によって生成された車内外合成画像を記憶部５２にオーバーライト記録を行う（ステップＳ３１）。オーバーライト記録とは、記憶部５２に車内外合成画像を記録し、所定の容量まで記録されると、古い画像から順に消去し、新しい画像を記録するものである。

次に、制御部１０は加速度センサ５５からの検出値が所定値（例えば３Ｇ）を超えたか否かを判定する（ステップＳ３２）。超えていない場合には、再度ステップＳ３０の処理を実行する。

超えている場合には、超えた時点をトリガーとし、制御部１０は、そのトリガー前後の所定期間の車内外合成画像のデータを記憶部５２に記憶・保存させる（ステップＳ３３）。例えば、トリガー前の３秒間及びトリガー後の制御部１０秒間を記憶・保存する。これにより、例えば、車両が急停車又は他車両に追突されて事故が発生した場合には、車両の加速度が急激に変化するため、その際の前後の車内外合成画像のデータを記憶・保存することにより、事故原因の解析などに用いることができる。また、そのその際の車内の状況を把握することができるので、車内での安全性を検証することもできる。

ステップＳ３０において、イグニッションがオフの場合、即ち車両が駐車中のような場合には、イグニッションがオフにされてから所定期間経過したか否かを判定する（ステップＳ３４）。所定期間経過後は、制御部１０は盗難防止装置６０を起動させる（ステップＳ３５）。制御部１０は、振動センサ６１又は音センサ６２から振動又は音を検出したか否かを判定する（ステップＳ３６）。検出していない場合には再度ステップＳ３０の処理を実行する。検出した場合には、制御部１０は、車外カメラ群３０及び車内カメラ群４０により撮影を開始し（ステップＳ３７）、車内外合成画像のデータを記憶部５２に記憶・保存させる（ステップＳ３８）。また制御部１０は、この車内外合成画像のデータを送信部５３に指令を出して外部へ送信する（ステップＳ３９）。

これにより、例えば、車両の窓ガラスが割られた場合には、振動センサ６１及び音センサ６２からの検出信号に基づいて、制御部１０は車外カメラ群３０及び車内カメラ群４０に撮影を開始して、車内外合成画像を記憶・保存する。このように車両の状況に応じて車内外合成画像を記憶・保存することができ、不正行為者の特定などを図ることができる。また制御部１０は、この車内外合成画像のデータを送信部５３に指令を出して外部へ送信するので、例えば車両の持ち主の携帯電話にこの画像データを送信することにより、ユーザは現在の車両の状態を把握することができる。或いは、この画像データを警察や警備会社に通報することもできる。

次に、実施例２に係る車両状況監視装置について説明する。尚、実施例１に係る車両状況監視装置と異なる部分についてのみ説明し、同一の部分についてはその説明を省略する。

まず、実施例２に係る車両状況監視装置について説明する前に、従来の車両状況監視装置についても問題点を説明する。図１２は、従来の車両状況監視装置についても問題点の説明図である。
図１２（ａ）に示すように、従来、車両の横側を撮影する右側監視カメラ３３がドアミラー付近に設置されている場合、後部座席の搭乗者が窓から手を出した場合には、その手よりも後方側は、手の影によって画像が見えにくかった。また、図１２（ｂ）に示すように、車両の横側を撮影する右側監視カメラ３３を後部座席の窓よりも後方に配置した場合であっても、後部座席の搭乗者が手を出した場合には、その手よりも前方は見えにくかった。これは、後部座席の搭乗者のみならず、前部座席の搭乗者が窓から手を出した場合であっても起こり得る。

そこで、実施例２に係る車両状況監視装置の、車両の右側周辺を撮影する右側監視カメラ３３は、図１３に示すように、車両の右側の窓よりも高い位置に設置されている。この位置に設置されていることにより、搭乗者の手を見下ろすような位置から撮影することができるので、搭乗者が窓から手を出した場合であっても、右側監視カメラ３３の撮影範囲を妨げることなく、車両の右側周辺を撮影することができる。尚、右側監視カメラ３３は、前部座席側の横の窓と、後部座席側の横の窓との間の位置に配置するのが望ましい。尚、左側監視カメラ３２についても、図示はしないが、車両の左側の窓よりも高い位置に設定されている。

次に、実施例２の車両状況監視装置の変形例について説明する。図１４は、実施例２の車両状況監視装置の変形例の説明図である。図１４に示すように、車外カメラは、ドアミラー付近に設置された左側監視カメラ３２、右側監視カメラ３３と、車両の後方の横側に設置された左側補助カメラ３２ａ、右側補助カメラ３３ａとが設置されている。左側監視カメラ３２とその左側補助カメラ３２ａ、及び右側監視カメラ３３と右側補助カメラ３３ａは、共に車両の横側の窓の位置を車両の前後方向から挟むように配置されている。これにより、搭乗者が窓から手を出した場合であっても、車外用カメラの撮影範囲を妨げることなく、車両の横側周辺を撮影することができる。

以上本発明の好ましい一実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

例えば、車両に舵角センサを設けて、舵角が所定以内の場合には車内外合成画像を表示させ、舵角が所定以上の場合に車外合成画像を表示させるように構成してもよい。これにより、車両が交差点などを曲がる際に、車両周辺の車外の状況を把握することができると共に、直線運転時には車内の状況を把握することができる。

また、車内カメラを運転者の顔を映し出すことができる位置に設定し、運転者の居眠りなどを検出するように構成してもよい。

盗難防止装置として、音センサ及び振動防止センサにより、車両への不正行為を検出するように構成したが、盗難防止装置はこのような構成に限定されず、車両への第３者による不正行為を検出できるものであればよい。

本発明の一実施形態に係る車両状況監視装置の構成図である。 車両に設けられた車外カメラ群３０及び車内カメラ群４０の位置を示した模式図である。 制御部が実行する車内外合成画像の生成処理の一例を示したフローチャート図である。 車外合成画像の例示図である。 車内合成画像の例示図である。 車外合成画像の例示図である。 自車両画像の例示図である。 自車両画像がオーバレイ表示された車内外合成画像の例示図である。 車外合成画像の例示図である。 制御部が実行する切り替え処理の一例を示したフローチャート図である。 制御部が実行する車内外合成画像を記憶する記憶処理の一例を示したフローチャートである。 従来の車両状況監視装置についても問題点の説明図である。 実施例２に係る車両状況監視装置の、右側監視カメラの位置を示した模式図である。 実施例２に係る車両状況監視装置の変形例の説明図である。

符号の説明

１０ 制御部
３０ 車外カメラ群
３１ 前方監視カメラ
３２ 左側監視カメラ
３２ａ 左側補助カメラ
３３ 右側監視カメラ
３３ａ 右側補助カメラ
３４ 後方監視カメラ
４０ 車内カメラ群
４１ 前部座席監視カメラ
４２ 後部座席監視カメラ
５０ 表示部
５１ 操作部
５２ 記憶部
５３ 送信部
５４ 車速センサ
５５ 加速度センサ
６０ 盗難防止装置
６１ 振動センサ
６２ 音センサ

Claims (5)

1. 車内画像を撮影する車内用カメラと、
   車両周辺の車外画像を撮影する複数の車外用カメラと、
   前記車内用及び車外用カメラにより撮影された前記車内画像及び車外画像を合成して車内外合成画像を生成し、前記複数の車外用カメラにより撮影された複数の車外画像を合成して車外合成画像を生成する画像制御手段と、
   前記車内外合成画像又は前記車外合成画像を表示する表示手段と、を備え、
   前記画像制御手段は、前記車内画像及び車外画像を同一方向から見えるように合成して前記車内外合成画像を生成し、
   前記画像制御手段は、前記車両の速度が所定の速度未満の場合には前記車内外合成画像を前記表示手段に表示させ、前記車両の速度が前記所定の速度以上の場合には前記車内外合成画像は前記表示手段に表示させずに前記車外合成画像を前記表示手段に表示させる、ことを特徴とする車両状況監視装置。
2. 前記画像制御手段は、車内と車外との位置関係が一致するように前記車内画像及び車外画像を合成して前記車内外合成画像を生成する、ことを特徴とする請求項１に記載の車両状況監視装置。
3. 前記画像制御手段は、前記車内外合成画像を記憶手段に記憶させる、ことを特徴とする請求項１又は２に記載の車両状況監視装置。
4. 前記画像制御手段は、前記車内外合成画像を送信手段により外部装置に送信させる、ことを特徴とする請求項１乃至３の何れかに記載の車両状況監視装置。
5. 車内用カメラ及び車外用カメラによりそれぞれ撮影された車内画像及び車外画像を合成した車内外合成画像を生成し、複数の前記車外用カメラにより撮影された複数の車外画像を合成して車外合成画像を生成する画像制御手段を備え、
   前記画像制御手段は、前記車内画像及び車外画像を同一方向から見えるように合成して前記車内外合成画像を生成し、
   前記画像制御手段は、前記車両の速度が所定の速度未満の場合には前記車内外合成画像を表示手段に表示させ、前記車両の速度が前記所定の速度以上の場合には前記車内外合成画像は前記表示手段に表示させずに前記車外合成画像を前記表示手段に表示させる、ことを特徴とする画像処理装置。

Images