WO2012160902A1

WO2012160902A1 - 車両用監視装置及び車両の監視方法

Info

Publication number: WO2012160902A1
Application number: PCT/JP2012/060303
Authority: WO
Inventors: 照久高野; 真史安原
Original assignee: 日産自動車株式会社
Priority date: 2011-05-24
Filing date: 2012-04-17
Publication date: 2012-11-29
Also published as: JPWO2012160902A1; CN103548340A; EP2717571B1; US9842261B2; CN103548340B; EP2717571A1; JP5561433B2; US20140085477A1; EP2717571A4

Abstract

検出された車両状況に基づいて判断された監視レベルに基づいて動画、ストリーミング映像若しくは静止画の表示態様や、圧縮率を求め、求められた表示態様又は圧縮率で監視画像を生成し、外部端末装置へ送信する車両監視システム１０００を提供する。

Description

車両用監視装置及び車両の監視方法

　本発明は、車両に設置されたカメラを利用して、車両の周囲を監視する車両用監視装置及び車両の監視方法に関する。

　本出願は、２０１１年５月２４日に出願された日本国特許出願の特願２０１１―１１５４２８、２０１１年６月２３日に出願された日本国特許出願の特願２０１１―１３９０６２、２０１１年６月２３日に出願された日本国特許出願の特願２０１１―１３９１３６、に基づく優先権を主張するものであり、文献の参照による組み込みが認められる指定国については、上記の出願に記載された内容を参照により本出願に組み込み、本出願の記載の一部とする。

　この種の装置に関し、ドアの接触センサなどが検知した外部からの刺激を検知した場合には、カメラに周囲を撮像させ、その画像情報を外部の携帯電話等に転送する防犯装置が知られている（特許文献１）。

特開２００６－１０７２７９号公報

　しかしながら、カメラの撮像画像をそのまま送信すると通信データの量が多く、通信時間及び通信コストの負担が大きいという問題がある。

　本発明が解決しようとする課題は、カメラの撮像画像を外部端末装置へ送信する際に、通信データ量を低減させることである。

　本発明は、監視対象とするべき物体が検出された場合には、車両の状況から判断された監視レベルに応じて動画、ストリーミング映像又は静止画の選択された何れかの表示態様で監視画像を生成して外部へ送信すること、車両の状況から判断された監視レベルが高いほど、フレームレートの高い表示態様で監視画像を生成すること、又は車両の状況から判断した監視レベルに応じた圧縮率の監視画像を生成して外部へ送信することにより、上記課題を解決する。

　本発明によれば、撮像画像を監視レベルに応じた表示態様の監視画像を外部端末装置へ送出するので、監視の対象の映像を適切な表示態様で示すことができるとともに、カメラの撮像画像を撮像されたままで送信する場合よりも、車両の周囲を監視するために送信される監視画像のデータ総量を低減させることができる。また、本発明によれば、撮像画像を監視レベルに応じた圧縮率で圧縮した監視画像を外部端末装置へ送出するので、カメラの撮像画像をそのまま送信する場合よりも、車両の周囲を監視するために送信される監視画像のデータ総量を低減させることができる。この結果、車両の監視のために必要な通信コストを低減させることができる。

本発明に係る本実施形態の監視装置を含む車両用監視システムの構成図である。カメラの設置例を示す図である。監視レベルと表示態様との関係の一例を示す図である。車両用監視装置の制御手順を示すフローチャートである。監視レベルと圧縮率との関係の一例を示す図である。車両用監視装置の制御手順を示すフローチャートである。本発明に係る本実施形態の監視装置を含む車両用監視システムの構成図である。カメラの設置例を示す図である。第３実施形態の外部端末装置における監視画像の表示例を示す図である。第３実施形態の車両用監視システムの制御手順を示すフローチャート図である。第４実施形態の車両用監視システムの制御手順を示すフローチャート図である。第４実施形態の監視装置における、基準監視タイミングにおける基準監視画像の一例を示す図である。第４実施形態の監視装置における、監視タイミングにおける対比画像の一例を示す図である。第４実施形態の監視装置における、基準監視画像と対比画像との差分画像の一例を示す図である。図１３に示す差分画像の座標値を説明するための図である。第４実施形態の監視装置における、外部に送信される監視画像の一例を示す図である。第４実施形態の外部端末装置における、表示用の監視画像の生成手法を説明するための図である。第５実施形態の車両用監視システムの制御手順を示すフローチャート図である。第５実施形態の車両用監視システムの監視画像の生成手法を説明するための図である。第５実施形態の外部端末装置における、表示用の監視画像の生成手法を説明するための図である。

＜第１の実施形態＞
　以下、本発明の第１の実施形態を図面に基づいて説明する。本実施形態では、本発明に係る車両用監視装置を、車両を含む移動体を監視するための監視装置１００、この監視装置を備える車両監視システム１０００に適用した場合を例にして説明する。なお、本発明に係る車両用監視装置の監視対象は車両に限定されず、二輪車、船、重機、フォークリフト等の移動体を監視することもできる。

　図１は、本実施形態に係る監視装置１００を含む車両監視システム１０００のブロック構成図である。図１に示すように、本実施形態の車両監視システム１０００は、車両に設置された４つのカメラ１ａ～１ｄ（以下、カメラ１と総称することもある）を備えている。

　図２は、カメラ１ａ～１ｄを車両Ｖに取り付ける場合の配置例を示す図である。カメラ１ａ～１ｄはＣＣＤ（Charge Coupled Devices）等の撮像素子を用いて構成され、車両Ｖの外部の異なる位置に各々設置され、車両周囲の４方向の画像をそれぞれ撮影する。例えば、図２に示すように、フロントグリル近傍などの車両Ｖの前方の所定位置に設置されたカメラ１ａは、車両Ｖの前方のエリアＳＰ１内及びその前方の空間に存在する物体又は路面の画像（フロントビュー画像）を撮影する。左サイドミラーなどの車両Ｖの左側方の所定位置に設置されカメラ１ｄは、車両Ｖの左側方のエリアＳＰ２内及びその周囲の空間に存在する物体又は路面の画像（左サイドビュー画像）を撮影する。ルーフスポイラーなどの車両Ｖの後方の所定位置に設置されたカメラ１ｃは、車両Ｖの後方のエリアＳＰ３内及びその後方の空間に存在する物体又は路面の画像（リアビュー画像）を撮影する。右サイドミラーなどの車両Ｖの右側方の所定位置に設置されたカメラ１ｂは、車両Ｖの右側方のエリアＳＰ４内及びその周囲の空間に存在する物体又は路面の画像（右サイドビュー画像）を撮影する。制御装置１０は、カメラ１ａ～１ｄによって撮像された撮像画像をそれぞれ取得する。なお、カメラ１の配置数及び配置位置は、車両Ｖの大きさ、形状、検出領域の設定手法等に応じて適宜に決定することができる。上述した複数のカメラ１は、それぞれのアドレス(配置)に応じた識別子が付されており、制御装置１０は、各識別子に基づいて各カメラ１のそれぞれを識別することができる。また、制御装置１０は、識別子を付することにより、特定のカメラ１に起動命令その他の命令を送出することができる。

　なお、図２に示すように、カメラ１ａ～１ｄの近傍に、近接センサ２ａ～２ｄが配置されている。近接センサ２ａ～２ｄは、車両Ｖ周囲の所定領域に物体が存在するか、又は車両周囲の物体が車両Ｖに接近しているか又は離隔しているかを検出することができる、超音波センサ、赤外線センサ、静電センサなどである。

　また、本実施形態の車両監視システム１０００は、さらに、監視装置１００と、車両コントローラ２００と、通信装置４００と、外部端末装置８００と、を有する。この車両監視システム１０００は、車両コントローラ２００と情報の授受が可能なイグニッションスイッチ３００を備えることができる。これらの各装置はＣＡＮ（Controller Area Network）その他の車載ＬＡＮによって接続され、相互に情報の授受を行うことができる。

　本実施形態の車両監視システム１０００において、監視装置１００は、通信装置４００を介して携帯電話、スマートフォンその他の通信装置８１０を備える外部端末装置８００（コンピュータ）と相互に通信が可能である。また、外部端末装置８００は、通信装置８１０と、画像処理装置８２０と、ディスプレイ８３０とを備え、通信装置８１０が撮像画像を車両用監視装置１００側から取得し、画像処理装置８２０が表示態様（動画、ストリーミング、又は静止画）に応じて表示に必要な画像処理を実行し、ディスプレイ８３０が撮像画像を表示する。外部端末装置８００を所持するユーザは、車両用監視装置１００から送出された車両の撮像画像を、外部端末装置８００を用いて確認することができる。

　また、図１に示すように、本実施形態に係る監視装置１００の制御装置１０は、監視レベルを判断し、監視レベルに応じた表示態様の監視画像を生成して外部端末装置８００に送出するプログラムが格納されたＲＯＭ（Read Only Memory）１２と、このＲＯＭ１２に格納されたプログラムを実行することで、監視装置１００として機能する動作回路としてのＣＰＵ（Central Processing Unit）１１と、アクセス可能な記憶装置として機能するＲＡＭ（Random Access Memory）１３とを備えている。

　本実施形態に係る監視装置１００の制御装置１０は、監視レベル判断機能と、監視画像生成機能と、送信機能とを実現するためのソフトウェアと、上述したハードウェアの協働により各機能を実行することができる。本実施形態では、制御装置１０が各制御命令を送出する態様を例にして説明するが、本実施形態の制御装置１０は、車両コントローラ２００を介してカメラ１、通信装置４００を制御することも可能である。

　特に限定されないが、本実施形態の監視装置１００は、イグニッションスイッチ３００に入力されたエンジンのオフ信号が入力され、通信機能を有する車両Ｖの電子キーが車両Ｖの近傍に存在しない場合（電子キーを携帯するユーザが車両Ｖから離れている場合）や、ユーザの外部端末装置８００から監視画像の要求指令を受け付けた場合に監視処理を開始することができる。なお、監視処理のトリガはこれに限定されず、監視装置１００は、不図示のソナーが車両Ｖの周囲に物体を検出したとき、ドアの接触センサがドアへの接触などの異常を検知したとき、傾斜センサが車両の傾き（乗り込み）などの異常を検知したとき、異常検知センサがドアのこじ開けや窓が割られたなどの異常を検知したとき、カメラ１の撮像画像から監視対象物体が検出されたとき、監視装置１００のスイッチ（図示せず）に入力信号が入力されたときなどに監視処理を開始することができる。

　また、第１実施形態に係る監視装置１００は、画像処理コントロールユニット（Image Processing Control Unit: IPCU）を備える。制御装置１０は、画像処理コントロールユニットを用いて、各カメラ１の撮像画像を解析し、撮像画像のデータから物体に対応する画像を抽出し、さらに抽出した画像の移動量に基づいて検出した物体が移動物体であるか否か、また、移動物体である場合にはその移動量を算出することができる。また、制御装置１０は、撮像画像の変化から物体の経時的な位置の変化を算出することができる。この経時的な物体の位置の変化に基づいて、制御装置１０は監視対象物体を検出することができる。なお、これらの画像処理には、出願時において知られた手法を用いることができる。

　以下、本発明の本実施形態に係る監視装置１００が実現する監視レベル判断機能、監視画像生成機能、送信機能の各機能について説明する。

　まず、監視レベル判断機能について説明する。本実施形態の監視装置１００の制御装置１０は、車両Ｖ又は車両Ｖの周囲の状況を示す情報（信号）を検出し、検出された車両状況（車両状況に応じた情報）に基づいてこの車両Ｖの監視レベルを判断する。

　本実施形態の制御装置１０は、カメラ１ａ～１ｄにより撮像された撮像画像から「車両Ｖの周囲に存在する監視対象物体」が検出された場合には、車両に危険が発生する可能性が高いと考えられる。本実施形態における監視対象物体とは、例えば人間のように、高さのある物体であり、かつ移動可能な物体である。制御装置１０は、カメラ１の撮像画像から所定の高さ以上の物体に対応する画像が検出され、その画像の位置が経時的に変化する場合には、監視対象物体が検出されたと判断することができる。これらの処理には、先述した画像処理コントロールユニット（Image Processing Control Unit: IPCU）を用いることができる。また、制御装置１０は、近接センサ２ａ～２ｄの検出結果を利用して移動する監視対象物体の存在を検出することができる。

　また、本実施形態の制御装置１０は、カメラ１により撮像された撮像画像を経時的に分析し、撮像画像から「車両Ｖに接近する監視対象物体」が検出された場合には、車両に危険が発生する可能性が高いと考えられる。制御装置１０は、撮像画像から検出された監視対象物体に対応する画像の面積が経時的に大きくなる、又は近接センサ２ａ～２ｄが検出する監視対象物体の存在距離が経時的に小さくなることにより監視対象物体が車両Ｖに接近しているか否かを判断することができる。

　本実施形態の制御装置１０は、カメラ１により撮像された撮像画像から「車両Ｖの近傍領域に所定時間以上滞在する監視対象物体」が検出された場合には、車両に危険が発生する可能性が高いと考えられる。制御装置１０は、撮像画像から検出された監視対象物体に対応する画像の面積が所定時間に渡って所定値域以上である、又は近接センサ２ａ～２ｄが検出する監視対象物体の存在距離が所定時間に渡って所定値未満であることにより、監視対象物体が車両Ｖ周囲に滞在しているか否かを判断することができる。

　さらに、本実施形態の制御装置１０は、車両Ｖが備える各種の車両状況検出センサから異常発生信号を取得した場合には、車両に危険が発生する可能性が高いと考えられる。車両Ｖが備える異常検出センサとしては、エンジンオフ時に人体などが車両に接触したことを検出する接触センサ、エンジンオフ時にドアの解錠（こじ開け）を検出する解錠センサ、エンジンオフ時に人体が車両に力をかける、人体が車両に乗り込むなどの状態における車両の傾きを検出する傾斜センサ、など、出願時に知られている車両の監視センサを用いることができる。

　他方、本実施形態の制御装置１０は、カメラ１の撮像画像から監視対象物体が検出されず、あるいは、監視対象物体が検出されても車両Ｖから遠ざかっていく場合や、車両から異常発生信号を受信しない場合には、車両に危険が発生する可能性が高くないと判断することができる。

　上述のように、制御装置１０は、検出された車両状況に基づいて、車両状況と監視レベルとを予め対応づけることができる。図３は、車両状況と監視レベルとの対応関係の一例を示す図である。図３に示すように、車両から異常発生信号を取得した場合には、すでに車両に異常が発生しており緊急性が高い状態であると考えられるので監視レベルは最も強化されたレベル７と判断し、カメラ１の撮像画像から検出された監視対象物体が車両の近傍で所定時間以上滞在している場合には、車両のドアを開けようとしているなど車両に危害を加える蓋然性が高い状態であると考えられるので監視レベルは次に強化されたレベル６と判断し、カメラ１の撮像画像から検出された監視対象物体が車両に接近している場合には、車両の様子を伺うなど車両を物色している可能性が高い状態であると考えられるので監視レベルはその次に強化されたレベル５と判断し、カメラ１の撮像画像から監視対象物体が検出された場合には、不審者が車両に触れるなどの事態が考えられるので監視レベルはその次のレベル４と判断することができる。特に限定されないが、以上のレベル７～レベル４を、監視を強化するべき強化レベルとして定義することができる。監視レベルが高くなるにつれて、監視を強化する強化レベルを示す数値が大きくなる。

　また、同図に示すように、カメラ１の撮像画像から検出された監視対象物体が車両から離隔している場合には、監視対象物体は車両の傍を通り過ぎる通行人であると考えられるので監視レベルはその次のレベル３と判断することができ、カメラ１の撮像画像から検出された物体が静止物体である場合には、建造物などが検出されたと考えられるので監視レベルはさらに低いレベル２と判断し、ユーザの外部端末装置８００から監視画像の要求指令を受け付けた場合は、特に車両の状況に基づく状況ではないため、監視レベルをさらに低いレベル１と判断することができる。特に限定されないが、以上のレベル３～レベル１を通常の監視を行えばよい標準レベルとして定義することができる。

　続いて、本実施形態の監視装置１００の制御装置１０の監視画像生成機能について説明する。本実施形態の制御装置１０は、定義（判断）された監視レベルに応じて求められた単位時間あたりのフレーム数（以下、フレームレートとも称する）の表示態様で、カメラ１により撮像された撮像画像に基づく監視画像を生成する。なお、本実施形態におけるフレームレートは単位時間あたりのフレーム数という意味である。ここにいう単位時間は任意に設定することができ、単位時間は１秒に限定されない。

　本実施形態の制御装置１０は、前述したように監視レベルが強化レベル（例えば、図３に示すレベル７～４）であると判断された場合には、この強化レベルに応じて、車両に設置されたカメラにより撮像された撮像画像に基づく動画、ストリーミング映像又は静止画の、フレームレートの異なる何れかの監視画像を生成する。本実施形態の制御装置１０は、強化レベルが高いほど、フレームレートの高い監視画像を生成する。具体的に、本実施形態の制御装置１０は、監視レベルが標準レベル（デフォルトの監視レベル）である場合はフレームレートが最も低い静止画の監視画像を生成し、監視レベルが標準レベルよりも高い強化レベルである場合にはフレームレートが静止画よりも高いストリーミング映像又は動画の監視画像を生成する。フレームレートは、単位時間あたりのフレーム数（画像数）であり、単位時間は１秒としてもよいし、複数秒としてもよい。静止画は、単位時間において撮像又は表示される画像が単一であり、ストリーミング映像又は動画は、単位時間において撮像又は表示される画像が複数である。動画の単位時間あたりのフレーム数(フレームレート)は、ストリーミング映像の単位時間あたりのフレーム数(フレームレート)よりも大きい。なお、ストリーミング映像と定義される単位時間あたりのフレーム数(フレームレート)、及び動画と定義される単位時間あたりのフレーム数(フレームレート)は適宜に設定することができる。

　これにより、監視レベルが高いと判断され、監視を強化するために車両周囲の監視対象物体の動きが分かる監視画像が要求された場合において、フレームレートの高い動画やストリーミング画像などの動きの分かる監視画像を生成・提供することができる。

　また、本実施形態の制御装置１０は、前述したように監視レベルが標準レベル（例えば、図３に示すレベル３～１）であると判断された場合には、この標準レベル（監視レベル）に応じて、通常の監視時（監視レベルを強化しない時）に適用されるフレームレートの低い表示態様（例えば静止画）の監視画像を生成することができる。なお、通常の監視時に適用される表示態様は、静止画に限定されない。

　例えば、本実施形態の制御装置１０は、先述した図３に示すように、監視レベルがレベル７である場合は、フレームレート（ｆｐｓ：frame per second）を３０程度、つまり単位時間（例えば１秒）あたりに３０の撮像画像が連続的に再生可能な動画の監視画像を生成する。つまり、監視レベルが高いときには、監視対象物体の動きが分かりやすいフレームレートの高い動画の監視画像を生成することができる。さらに、同図に示すように、監視レベルが下がる（監視の強化の程度が下がる）につれて、監視画像のフレームレートを低くすることができる。具体的に、監視レベルがレベル６である場合はフレームレートを２０程度、監視レベルがレベル５である場合はフレームレートを１０程度、監視レベルがレベル４である場合はフレームレートを５程度とすることができる。

　なお、本実施形態におけるフレームレートは単位時間あたりに再生される画像数であるので、１である場合には静止画を得ることができ、フレームレートが３０～２０程度である場合には動画の監視画像を得ることができ、フレームレートが１０～５程度である場合には、動画としての滑らかさは無いが、監視対象物体の動きをコマ送りで示すことができるストリーミング映像の監視画像を得ることができる。フレームレートの数値が上がるほど、滑らかで監視対象物体の動きが分かりやすい監視画像を得ることができる。他方、フレームレートの数値が上がるほど、外部端末装置８００に送信するデータ量は大きくなり、通信コストも増加する。

　本実施形態の制御装置１０は、監視レベルが３以下の標準的な監視レベルである場合には、デフォルトのフレームレートで監視画像を生成することができる。図３に示す例では、監視レベルがレベル３である場合はフレームレートが１の静止画を生成することができる。本例では、デフォルトのフレームレートが単一である場合の例を示すが、２又は３の複数の値とすることも可能である。なお、レベル３～レベル１については、共通のフレームレートを適用することができる。

　なお、図３は、フレームレートの一例を示すものにすぎず、監視レベルに応じたフレームレートは任意に設定することができる。

　以上のように、監視レベルに応じたフレームレートの監視画像を生成することにより、緊急性が高く監視対象物体の動きを追跡できる情報を得たい場合には、高いフレームレートの動画又はストリーミング映像の監視画像を生成することができる一方で、緊急性が低く車両周囲の状態が確認できればよい場合には、単一のフレームレートにより静的な状態だけしか分からないがデータ量の小さい監視画像を生成することができる。これにより、監視レベルによって異なる表示態様の監視画像を生成しつつ、動きを追跡する必要が無い場合には静止画を送ることによりデータ量を小さくすることができる。この結果、外部端末装置８００に監視画像を送信するときの通信データ量の総量を低減させ、監視システム稼働時の通信コストを低減させることができる。

　さらにまた、本実施形態の制御装置１０は、監視レベルが検出された時刻が日没後である場合には、監視レベルに応じて求められた単位時間あたりのフレーム数を高く補正したフレームレートの監視画像を生成することができる。日没後は、一般に暗くなるので、鮮明な撮像画像を取得することが困難になる場合が多い。このため本実施形態の制御装置１０は、図３に示す対応関係に基づいて求められたフレームレートを、日没後においては高く補正する。これにより、夜間であって、露光不足が懸念される場合にはフレームレートを増やして監視画像が不明瞭となることを防止し、監視対象物体の動きを明確に示す監視画像を提供することができる。

　なお、日没後であるか否かを判断する手法としては、制御装置１０が備える時計の時刻と地点に応じた日没時刻情報とを対比して求めてもよいし、車両に設けられた照度センサから車両周囲の明るさを検出してもよいし、カメラ１のＣＣＤ素子を用いて周囲の明るさを検出してもよい。

　他方、制御装置１０は、監視レベルが検出された時刻が日没前である場合には、監視レベルに応じて求められたフレームレートを維持又は低く補正することができる。

　加えて、本実施形態の制御装置１０は、監視対象物体を検出したカメラ１の撮像画像については、動きを追跡できる表示態様の監視画像を得る観点から、フレームレートを高くすることができる。具体的に制御装置１０は、カメラ１により撮像された撮像画像に監視対象物体が含まれる場合には、監視レベルに応じて求められたフレームレートを高く補正した補正後のフレームレートの表示態様で、そのカメラ１により撮像された撮像画像の監視画像を生成することができる。

　車両Ｖ又は車両Ｖの周囲の車両状況に異常が発生した場合や、監視対象物体が検出された場合には、その監視対象物体の動きを追跡することのできる監視画像が要求されるが、すべての監視画像を動画やストリーミング映像にする必要が無い場合がある。本実施形態では、監視対象物体に対応する画像を含む撮像画像を撮像したカメラ１ａ～１ｄの何れかの撮像画像に基づく監視画像の表示態様のみを動画又はストリーミング映像とし、他のカメラ１ａ～１ｄの撮像画像に基づく監視画像は静止画とすることにより、監視対象物体の動きを追跡可能としつつも、最終的に外部端末装置８００へ送出する監視画像のデータ総量を低減させることができる。

　さらに、本実施形態の制御装置１０は、監視レベルが強化レベルであると判断された場合には、監視画像を生成する頻度を高くすることができる。車両Ｖ又は車両Ｖの周囲の車両状況に異常が発生した場合や、監視対象物体が検出された場合には、最新の監視画像が要求されるため、この要求に応じるべく、本実施形態の制御装置１０は高い頻度で最新の監視画像を生成することができる。生成された監視画像が遂次外部端末装置８００に送信されれば、ユーザは最新の車両の状況をリアルタイムで外部端末装置８００により確認することができる。

　最後に、本実施形態の制御装置１０の通信機能について説明する。制御装置１０は、生成された監視画像を含む情報を、公衆通信網として利用可能な通信回線９００を用いて外部端末装置８００へ送信することができる。制御装置１０は、監視画像が動画である場合には、一つの動画ファイルとして記憶し、監視画像がストリーミング映像である場合にはストリーミング方式で転送・再生が可能形態で記憶することができる。

　以下、本発明の本実施形態の車両監視システム１０００の処理手順を説明する。図４は、本実施形態に係る車両監視システム１０００の制御手順を示すフローチャートである。

　ステップ１０において、本実施形態の監視装置１００の制御装置１０は、監視開始タイミングであるか否かを判断する。本実施形態では、エンジンOFFで車両のキーが近くにない場合であって、ユーザが所持する外部端末装置８００から監視画像の要求指令を受信したタイミングを監視開始タイミングとして認識し、監視処理を開始する。

　ステップ１１において、監視装置１００は、車両Ｖ又はこの車両Ｖの周囲の状況を示す情報である車両状況情報を取得する。具体的に、監視装置１００は、ドアの接触センサ、傾斜センサ、異常検知センサなどの各種の車両状況検出センサから異常発生信号を取得し、カメラ１により撮像された各撮像領域の撮像画像を取得する。

　ステップ１２において、制御装置１０は、ドアの接触センサ、傾斜センサ、異常検知センサなどの各種の車両状況検出センサから異常発生信号を取得した場合には、ステップ１７へ進む。

　異常発生信号が検出されなかった場合には、ステップ１３に進み、制御装置１０は、カメラ１により撮像された撮像画像に基づいて、監視対象物体が存在するか否かを判断する。監視対象物体が存在すらしない場合には、ステップ１６において監視画像要求を待機して、監視画像要求が入力されなければステップ１１以降の処理を継続する。ステップ１６において監視画像要求を受け付けた場合には、ステップ１７へ進む。

　ステップ１３において監視対象物体が検出された場合には、ステップ１４において監視対象物体が車両に接近しているか否かを判断する。ステップ１４において、監視対象物体が検出されたものの、車両に接近していないと判断された場合にはステップ１７へ進む。

　他方、ステップ１４において監視対象物体が検出され、かつその監視対象物体が車両に接近している場合には、さらに、ステップ１５に進んで監視対象物体が車両周囲に所定時間以上滞在しているか否を判断する。ステップ１５において、監視体対象物体が存在し、車両に接近しているが、車両周囲に所定時間以上滞在しなかった場合、及び監視体対象物体が存在し、車両に接近し、さらに車両周囲に所定時間以上滞在した場合のいずれの場合であっても、ステップ１７へ進む。

　ステップ１７において、制御装置１０は、ステップ１２～１６の過程において取得した車両状況に基づいて車両Ｖの監視レベルを判断する。監視レベルの判断に際しては、図３に示す対応関係を参照することができる。

　監視レベルを判断した後、ステップ１８において、制御装置１０は、監視レベルに応じたフレームレート又は表示態様を求める。監視レベルの判断に際しては、図３に示す対応関係を参照することができる。続くステップ１９において、制御装置１０は、算出したフレームレートに応じた表示態様の監視画像を生成する。生成した監視画像は、少なくとも一時的に記憶する。

　ステップ２０において、制御装置１０は、生成した監視画像を含む情報を外部端末装置８００へ送信し、ステップ２１において監視処理の終了が判断されるまで処理が繰り返される。

　外部端末装置８００は、ステップ３１において、監視装置１００から送出された監視画像を通信装置８１０が受信し、ステップ３２において画像処理装置８２０が必要な画像処理を実行し、ステップ３３においてディスプレイ８３０が指定され表示態様の監視画像を含む情報を表示する。

　なお、本実施形態では、監視装置１００が車両Ｖに配置された場合を例にして説明したが、本発明の本実施形態に係る車両Ｖの監視方法を、カメラ１、通信装置４００を制御可能なクライアント（コンピュータ・制御装置）と情報の授受が可能なサーバ（コンピュータ・制御装置）において処理の一部又は全部実行することもできる。サーバは、クライアントと離隔した場所に配置することができる。

　以上のとおり構成され、動作する本発明の実施形態に係る監視装置１００及び車両監視システム１０００は、以下の効果を奏する。

　本実施形態に係る監視装置１００によれば、車両Ｖ又は車両Ｖの周囲の車両状況に基づいて判断された監視レベルに基づいて求められた表示態様で、車両Ｖに設置されたカメラ１により撮像された撮像画像の監視画像を外部端末装置８００へ送信するので、監視の対象の映像を適切な表示態様で示すことができるとともに、カメラの撮像画像をそのままで送信する場合よりも、車両の周囲を監視するために送信される監視画像のデータ総量を低減させることができる。この結果、車両の監視のために必要な通信コストを低減させることができる。

　本実施形態における車両Ｖの監視方法を使用した場合においても、監視装置１００と同様の作用を奏し、同様の効果を得ることができる。

　本実施形態に係る監視装置１００によれば、カメラ１により撮像された撮像画像から監視対象物体の存在が検出された場合には、車両Ｖの監視レベルを強化レベルと判断し、通常のフレームレートよりも高いフレームレートの動画又はストリーミング映像の監視画像を外部端末装置８００へ送信するので、監視を強化するときはフレームレートを高くして監視対象物体の動きを追跡できる動画又はストリーミング映像の監視画像を生成し、監視を強化する必要のないときはフレームレートを低くしてデータ量の小さい監視画像を生成することができる。この結果、車両の監視のために必要な通信コストを低減させることができる。

　本実施形態に係る監視装置１００によれば、カメラ１により撮像された撮像画像から車両Ｖに接近する監視対象物体が検出された場合には、車両Ｖの監視レベルを強化レベルと判断し、通常のフレームレートよりも高いフレームレートの動画又はストリーミング映像の監視画像を外部端末装置８００へ送信するので、監視を強化するときはフレームレートを高くして監視対象物体の動きを追跡できる動画又はストリーミング映像の監視画像を生成し、監視を強化する必要のないときはフレームレートを低くしてデータ量の小さい監視画像を生成することができる。この結果、車両の監視のために必要な通信コストを低減させることができる。

　本実施形態に係る監視装置１００によれば、カメラ１により撮像された撮像画像から車両Ｖの近傍領域に所定時間以上滞在する監視対象物体が検出された場合には、車両Ｖの監視レベルを強化レベルと判断し、通常のフレームレートよりも高いフレームレートの動画又はストリーミング映像の監視画像を外部端末装置８００へ送信するので、監視を強化するときはフレームレートを高くして監視対象物体の動きを追跡できる動画又はストリーミング映像の監視画像を生成し、監視を強化する必要のないときはフレームレートを低くしてデータ量の小さい監視画像を生成することができる。この結果、車両の監視のために必要な通信コストを低減させることができる。

　本実施形態に係る監視装置１００によれば、車両Ｖから異常発生信号を取得した場合には、車両Ｖの監視レベルを強化レベルと判断し、通常のフレームレートよりも高いフレームレートの動画又はストリーミング映像の監視画像を外部端末装置８００へ送信するので、監視を強化するときはフレームレートを高くして監視対象物体の動きを追跡できる動画又はストリーミング映像の監視画像を生成し、監視を強化する必要のないときはフレームレートを低くしてデータ量の小さい監視画像を生成することができる。この結果、車両の監視のために必要な通信コストを低減させることができる。

　本実施形態に係る監視装置１００によれば、外部端末装置８００から監視画像の要求を取得した場合には、車両Ｖの監視レベルを標準レベルであると判断し、標準のフレームレート以下の表示態様の監視画像を外部端末装置８００へ送信するので、監視を強化する必要のないときはフレームレートを低くしてデータ量の小さい監視画像を生成することができる。この結果、車両の監視のために必要な通信コストを低減させることができる。

　本実施形態に係る監視装置１００によれば、監視レベルが検出された時刻が日没後である場合にはフレームレートを高く補正した撮像画像の監視画像を外部端末装置８００へ送信するので、夜間であって、露光不足が懸念される場合にはフレームレートを低くして監視画像が不明瞭となることを防止することができる。

　本実施形態に係る監視装置１００によれば、監視対象物体が含まれる撮像画像を撮像したカメラ１により撮像された撮像画像を、監視レベルに応じて求められた圧フレームレートを高くした補正後の表示態様の監視画像を外部端末装置８００へ送信するので、監視対象物体に対応する画像を含む撮像画像を撮像したカメラ１の撮像画像のみをフレームレートの高い動画又はストリーミング映像で生成し、他の撮像画像はフレームレートの低い静止画で生成することにより、最終的に外部端末装置８００へ送出する監視画像のデータ総量を低減させることができる。

　本実施形態に係る監視装置１００によれば、監視レベルが強化レベルであると判断された場合には、監視画像を生成する頻度を高くすることができるので、最新の監視画像が要求される監視強化時に、高い頻度で最新の監視画像を生成し、遂次外部端末装置８００に送信することができるので、ユーザは最新の車両の状況を外部端末装置８００により確認することができる。

＜第２実施形態＞
　続いて、第２実施形態の監視装置１００及びこの監視装置１００を備える車両用監視システムについて説明する。第２実施形態の監視装置１００及び車両監視システム１０００の構成は、図１及び図２に示す第１実施形態の監視装置１００及び車両監視システム１０００の構成と基本的に共通するので、共通する点については第１実施形態における説明を援用し、以下には異なる点を中心に説明する。

　他方、本実施形態の制御装置１０は、カメラ１の撮像画像から監視対象物体が検出されず、あるいは監視対象物体が検出されても車両Ｖから遠ざかっていく場合や、車両から異常発生信号を受信しない場合には、車両に危険が発生する可能性が高くないと判断することができる。

　上述のように、制御装置１０は、検出された車両状況に基づいて、車両状況と監視レベルとを予め対応づけることができる。図５は、車両状況と監視レベルとの対応関係の一例を示す図である。図５に示すように、車両から異常発生信号を取得した場合には、すでに車両に異常が発生しており緊急性が高い状態であると考えられるので監視レベルは最も強化されたレベル７と判断し、カメラ１の撮像画像から検出された監視対象物体が車両の近傍で所定時間以上滞在している場合には、車両のドアを開けようとしているなど車両に危害を加える蓋然性が高い状態であると考えられるので監視レベルは次に強化されたレベル６と判断し、カメラ１の撮像画像から検出された監視対象物体が車両に接近している場合には、車両の様子を伺うなど車両を物色している可能性が高い状態であると考えられるので監視レベルはその次に強化されたレベル５と判断し、カメラ１の撮像画像から監視対象物体が検出された場合には、不審者が車両に触れるなどの事態が考えられるので監視レベルはその次のレベル４と判断することができる。特に限定されないが、以上のレベル７～レベル４を、監視を強化するべき強化レベルとして定義することができる。監視レベルが高くなるにつれて、監視を強化する強化レベルを示す数値が大きくなる。

　続いて、本実施形態の監視装置１００の監視画像生成機能について説明する。本実施形態の制御装置１０は、判断された監視レベルに応じて算出されたデータの圧縮率で、カメラ１により撮像された撮像画像を圧縮した監視画像を生成する。

　本実施形態の制御装置１０は、前述したように監視レベルが強化レベル（例えば、図５に示すレベル７～４）であると判断された場合には、この強化レベルに応じて、強化レベルではない場合に適用される標準圧縮率（デフォルトの圧縮率）よりも低い圧縮率でカメラ１の撮像画像を圧縮した監視画像を生成することができる。これにより、監視レベルが高いと判断され、監視を強化するために画質の良い詳細な監視画像が要求された場合において、データの圧縮率が低い画質の良い監視画像を生成・提供することができる。

　また、本実施形態の制御装置１０は、前述したように監視レベルが標準レベル（例えば、図５に示すレベル３～１）であると判断された場合には、この標準レベルに応じて、通常の監視時（監視レベルを強化しない時）に適用される標準圧縮率（デフォルトの圧縮率）以上の圧縮率でカメラ１の撮像画像を圧縮した監視画像を生成することができる。

　特に限定されないが、本実施形態の制御装置１０は、先述した図５に示すように、監視レベルがレベル７である場合は、圧縮率を１００％、つまり撮像画像そのままの状態の監視画像を生成する。つまり、監視レベルが高いときには、撮像画像の画質を低下させない監視画像を生成することができる。さらに、同図に示すように、監視レベルが下がる（監視の強化の程度が下がる）につれて、監視画像を生成する際の圧縮率を高くすることができる。具体的に、監視レベルがレベル６である場合は圧縮率を９０％、監視レベルがレベル５である場合は圧縮率を８０％、監視レベルがレベル４である場合は圧縮率を７０％とすることができる。なお、本実施形態における圧縮率は圧縮の程度であるので、圧縮率１００％である場合には元の画像データと同じ画像データを得ることができ、圧縮率が５０％である場合には元の画像データを半分に低減させることになる。つまり、圧縮率の数値が下がるほど、圧縮の程度が高くなる。

　本実施形態の制御装置１０は、監視レベルが３以下の標準的な監視レベルである場合には、デフォルトの標準圧縮率以下の圧縮率で監視画像を生成することができる。図５に示す例では、監視レベルがレベル３である場合は圧縮率が６０％、監視レベルがレベル２である場合は圧縮率が５０％、監視レベルがレベル１である場合は圧縮率が４０％とすることができる。レベル３～レベル１については、共通の標準圧縮率を適用してもよい。

　なお、図５は、圧縮率の一例を示すものにすぎず、監視レベルに応じた圧縮率、標準圧縮率は任意に設定することができる。

　以上のように、監視レベルに応じた圧縮率で撮像画像を圧縮して監視画像を生成することにより、緊急性が高く詳細な情報を得たい場合には、低い圧縮率により画質の高い監視画像を生成することができる一方で、緊急性が低く詳細な情報が必要無い場合には、高い圧縮率により画質は低くてもデータ量の小さい監視画像を生成することができる。これにより、監視レベルによって異なる情報の詳細度に適した監視画像を生成しつつ、詳細な情報を必要としない場合には圧縮によりデータ量を小さくすることができる。この結果、外部端末装置８００に監視画像を送信するときの通信データ量の総量を低減させ、監視システム稼働時の通信コストを低減させることができる。

　さらにまた、本実施形態の制御装置１０は、監視レベルが検出された時刻が日没後である場合には、監視レベルに応じて求められた圧縮率の値を低く補正した補正後の圧縮率で撮像画像を圧縮することができる。日没後は、一般に暗くなるので、鮮明な撮像画像を取得することが困難になる場合が多い。このため本実施形態の制御装置１０は、図５に示す対応関係に基づいて求められた圧縮率を、日没後においては低く補正する。これにより、夜間であって、露光不足が懸念される場合には圧縮率を低くして監視画像が不明瞭となることを防止することができる。

　他方、制御装置１０は、監視レベルが検出された時刻が日没前である場合には、監視レベルに応じて求められた圧縮率の値を維持又は高く補正することができる。

　加えて、本実施形態の制御装置１０は、監視対象物体を検出したカメラ１の撮像画像については、詳細な監視画像を得る観点から、圧縮率を低くすることができる。具体的に制御装置１０は、カメラ１により撮像された撮像画像に監視対象物体が含まれる場合には、監視レベルに応じて求められた圧縮率を低く補正した補正後の圧縮率でそのカメラ１により撮像された撮像画像を圧縮した監視画像を生成することができる。

　車両Ｖ又は車両Ｖの周囲の車両状況に異常が発生した場合や、監視対象物体が検出された場合には、詳細な監視画像が要求されるが、すべての監視画像を詳細にする必要が無い。本実施形態では、監視対象物体に対応する画像を含む撮像画像を撮像したカメラ１ａ～１ｄの何れかの撮像画像のみを低い圧縮率で圧縮し、他のカメラ１ａ～１ｄの撮像画像は高い圧縮率で圧縮することにより、監視対象物体を捉えた監視画像を高画質としつつ、最終的に外部端末装置８００へ送出する監視画像のデータ総量を低減させることができる。

　最後に、本実施形態の制御装置１０の通信機能について説明する。制御装置１０は、生成された監視画像を含む情報を、公衆通信網として利用可能な通信回線９００を用いて外部端末装置８００へ送信することができる。監視画像は、一つの動画ファイルとして記憶してもよいし、ストリーミング方式で転送・再生が可能形態で記憶してもよい。

　以下、本発明の本実施形態の車両監視システム１０００の処理手順を説明する。図６は、本実施形態に係る車両監視システム１０００の制御手順を示すフローチャートである。

　ステップ１１において、制御装置１０は、車両Ｖ又はこの車両Ｖの周囲の状況を示す情報である車両状況情報を取得する。具体的に、監視装置１００は、ドアの接触センサ、傾斜センサ、異常検知センサなどの各種の車両状況検出センサから異常発生信号を取得し、カメラ１により撮像された各撮像領域の撮像画像を取得する。

　ステップ１７において、制御装置１０は、ステップ１２～１６の過程において取得した車両状況に基づいて車両Ｖの監視レベルを判断する。監視レベルの判断に際しては、図５に示す対応関係を参照することができる。

　監視レベルを判断した後、ステップ１８において、制御装置１０は、監視レベルに応じた圧縮率を算出する。監視レベルの判断に際しては、図５に示す対応関係を参照することができる。続くステップ１９において、制御装置１０は、算出した圧縮率で撮像画像を圧縮した監視画像を生成する。生成した監視画像は、少なくとも一時的に記憶する。

　外部端末装置８００は、ステップ３１において、監視装置１００から送出された監視画像を通信装置８１０が受信し、ステップ３２において画像処理装置８２０が必要な画像処理を実行し、ステップ３３においてディスプレイ８３０が監視画像を含む情報を表示する。

　本実施形態に係る監視装置１００によれば、車両Ｖ又は車両Ｖの周囲の車両状況に基づいて判断された監視レベルに応じて算出された圧縮率で、車両Ｖに設置されたカメラ１により撮像された撮像画像を圧縮した監視画像を外部端末装置８００へ送信するので、常に一定の圧縮率で送出する場合よりも、車両の周囲を監視するために送信される監視画像のデータ総量を低減させることができる。この結果、車両の監視のために必要な通信コストを低減させることができる。

　本実施形態に係る監視装置１００によれば、カメラ１により撮像された撮像画像から監視対象物体の存在が検出された場合には、車両Ｖの監視レベルを強化レベルと判断し、通常の標準圧縮率よりも低い圧縮率で撮像画像を圧縮した監視画像を外部端末装置８００へ送信するので、監視を強化するときは圧縮率を低くして画質の良い監視画像を生成し、監視を強化する必要のないときは圧縮率を高めてデータ量の小さい監視画像を生成することができる。この結果、車両の監視のために必要な通信コストを低減させることができる。

　本実施形態に係る監視装置１００によれば、カメラ１により撮像された撮像画像から車両Ｖに接近する監視対象物体が検出された場合には、車両Ｖの監視レベルを強化レベルと判断し、通常の標準圧縮率よりも低い圧縮率で撮像画像を圧縮した監視画像を外部端末装置８００へ送信するので、監視を強化するときは圧縮率を低くして画質の良い監視画像を生成し、監視を強化する必要のないときは圧縮率を高めてデータ量の小さい監視画像を生成することができる。この結果、車両の監視のために必要な通信コストを低減させることができる。

　本実施形態に係る監視装置１００によれば、カメラ１により撮像された撮像画像から車両Ｖの近傍領域に所定時間以上滞在する監視対象物体が検出された場合には、車両Ｖの監視レベルを強化レベルと判断し、通常の標準圧縮率よりも低い圧縮率で撮像画像を圧縮した監視画像を外部端末装置８００へ送信するので、監視を強化するときは圧縮率を低くして画質の良い監視画像を生成し、監視を強化する必要のないときは圧縮率を高めてデータ量の小さい監視画像を生成することができる。この結果、車両の監視のために必要な通信コストを低減させることができる。

　本実施形態に係る監視装置１００によれば、車両Ｖから異常発生信号を取得した場合には、車両Ｖの監視レベルを強化レベルと判断し、通常の標準圧縮率よりも低い圧縮率で撮像画像を圧縮した監視画像を外部端末装置８００へ送信するので、監視を強化するときは圧縮率を低くして画質の良い監視画像を生成し、監視を強化する必要のないときは圧縮率を高めてデータ量の小さい監視画像を生成することができる。この結果、車両の監視のために必要な通信コストを低減させることができる。

　本実施形態に係る監視装置１００によれば、外部端末装置８００から監視画像の要求を取得した場合には、車両Ｖの監視レベルを標準レベルであると判断し、標準圧縮率以上の圧縮率で撮像画像を圧縮した監視画像を外部端末装置８００へ送信するので、監視を強化する必要のないときは圧縮率を標準圧縮率以上にしてデータ量の小さい監視画像を生成することができる。この結果、車両の監視のために必要な通信コストを低減させることができる。

　本実施形態に係る監視装置１００によれば、監視レベルが検出された時刻が日没後である場合には圧縮率を低く補正して撮像画像を圧縮した監視画像を外部端末装置８００へ送信するので、夜間であって、露光不足が懸念される場合には圧縮率を低くして監視画像が不明瞭となることを防止することができる。

　本実施形態に係る監視装置１００によれば、監視対象物体が含まれる撮像画像を撮像したカメラ１により撮像された撮像画像を、監視レベルに応じて求められた圧縮率を低く補正した補正後の圧縮率で圧縮した監視画像を外部端末装置８００へ送信するので、監視対象物体に対応する画像を含む撮像画像を撮像したカメラ１の撮像画像のみを低い圧縮率で圧縮し、他の撮像画像は高い圧縮率で圧縮することにより、最終的に外部端末装置８００へ送出する監視画像のデータ総量を低減させることができる。

　なお、以上説明したすべての実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。

　本明細書では、本発明に係る車両用監視装置の一態様として監視装置１００及び車両監視システム１０００を例にして説明するが、本発明はこれに限定されるものではない。

　また、本明細書では、本発明に係る車両用監視装置の一態様として、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３を含む制御装置１０を備える監視装置１００を一例として説明するが、これに限定されるものではない。

　また、本明細書では、カメラと、監視レベル判断手段と、監視画像生成手段と、送信手段を有する本発明に係る車両用監視装置の一態様として、カメラ１と、監視レベル判断機能、監視画像生成機能、送信機能を備える制御装置１０を備える監視装置１００を説明するが、これに限定されるものではない。

　本明細書では、本発明に係る車両用監視システムの一態様として、本願発明に係る監視装置１００と、車両コントローラ２００と、通信装置４００と、外部端末装置８００とを備えた車両監視システム１０００を例にして説明するが、本発明はこれに限定されるものではない。

＜第３実施形態＞
　先述したように、ドアの接触センサなどが検知した外部からの刺激を検知した場合には、カメラに周囲を撮像させ、その画像情報を外部の携帯電話等に転送する防犯装置が知られているが、カメラの撮像画像をそのまま送信すると通信データの量が多く、通信時間及び通信コストの負担が大きいという問題がある。

　本実施形態の移動体監視装置は、監視対象とするべき物体が検出された場合には、その監視対象物体に応じた画像を含む撮像画像に基づいて生成された動画像を外部へ送信する。

　これにより、本実施形態の車両監視システム１０００は、移動体の周囲に監視対象物体が検出された場合にのみ動画像を外部の端末に送信するので、移動体の周囲を監視するために送信される監視画像のデータ総量を低減させることができる。この結果、移動体の監視のために必要な通信コストを低減させることができる。

　以下、本発明の第３の実施形態を図面に基づいて説明する。本実施形態では、本発明に係る車両用監視装置を、車両を監視するための車両監視システム１０００に適用した場合を例にして説明する。本実施形態においては、移動体が車両である場合を例にして説明する。なお、監視の対象となる移動体は車両に限定されず、本発明に係る車両用監視装置は二輪車、船、重機、フォークリフト等を監視することもできる。

　図７は、本実施形態に係る監視装置１００を含む車両監視システム１０００のブロック構成図である。図７に示すように、本実施形態の車両監視システム１０００は、車両に設置された４つのカメラ１ａ～１ｄと（以下、カメラ１と総称することもある）を備えている。

　図８は、カメラ１ａ～１ｄを車両Ｖに取り付ける場合の配置例を示す図である。カメラ１ａ～１ｄはＣＣＤ（Charge Coupled Devices）等の撮像素子を用いて構成され、車両Ｖの外部の異なる位置に各々設置され、車両周囲の４方向の画像をそれぞれ撮影する。例えば、図８に示すように、フロントグリル近傍などの車両Ｖの前方の所定位置に設置されたカメラ１ａは、車両Ｖの前方のエリアＳＰ１内及びその前方の空間に存在する物体又は路面の画像（以下、フロントビュー画像という）を撮影する。左サイドミラーなどの車両Ｖの左側方の所定位置に設置されカメラ１ｄは、車両Ｖの左側方のエリアＳＰ２内及びその周囲の空間に存在する物体又は路面の画像（以下、左サイドビュー画像という）を撮影する。ルーフスポイラーなどの車両Ｖの後方の所定位置に設置されたカメラ１ｃは、車両Ｖの後方のエリアＳＰ３内及びその後方の空間に存在する物体又は路面の画像（以下、リアビュー画像という）を撮影する。右サイドミラーなどの車両Ｖの右側方の所定位置に設置されたカメラ１ｂは、車両Ｖの右側方のエリアＳＰ４内及びその周囲の空間に存在する物体又は路面の画像（以下、右サイドビュー画像という）を撮影する。制御装置１０は、カメラ１ａ～１ｄによって撮像された撮像画像をそれぞれ取得する。なお、カメラ１の配置数及び配置位置は、車両Ｖの大きさ、形状、検出領域の設定手法等に応じて適宜に決定することができる。上述した複数のカメラ１は、それぞれのアドレス(配置)に応じた識別子が付されており、制御装置１０は、各識別子に基づいて各カメラ１のそれぞれを識別することができる。また、制御装置１０は、識別子を付することにより、特定のカメラ１に起動命令その他の命令を送出することができる。

　なお、図８に示すように、カメラ１ａ～１ｄの近傍に、近接センサ２ａ～２ｄを配置することができる。近接センサ２ａ～２ｄは、車両Ｖ周囲の所定領域に物体が存在するか、又は車両周囲の物体が車両Ｖに接近しているか又は離隔しているかを検出することができる、超音波センサ、赤外線センサ、静電センサなどである。

　本実施形態の車両監視システム１０００において、監視装置１００は、通信装置４００を介して携帯電話、スマートフォンその他の通信装置８１０を備える外部端末装置８００（コンピュータ）と相互に通信が可能である。外部端末装置８００は、監視装置１００から通信装置８１０を介して監視画像を含む監視情報を取得する。また、外部端末装置８００は、取得した監視画像に基づいて表示用画像を生成する画像処理装置８２０と、生成された表示用画像を表示するディスプレイ８３０とを有する。外部端末装置８００を所持するユーザは、監視装置１００から送出された車両の監視画像を、外部端末装置８００のディスプレイ８３０で見ることができる。

　図９は、外部端末装置８００における表示用の監視画像Ｑ´の表示例を示す図である。図９に示す表示用の監視画像Ｑ´は、カメラ１ａの撮像画像に基づく監視画像Ｒ１と、カメラ１ｂの撮像画像に基づく監視画像Ｒ２と、カメラ１ｃの撮像画像に基づく監視画像Ｒ３と、カメラ１ｄの撮像画像に基づく監視画像Ｒ４と、車両Ｖを上方の視点から見た場合の仮想の車両モデル画像Ｒ０とを含む。監視画像Ｒ１～Ｒ４は状態変化を連続的に示す動画像であってもよいし、一時的な状態を示す静止画像であってもよい。また、監視画像Ｒ１～Ｒ４の一部を動画像とし他を静止画像として表示することも可能である。このような監視画像Ｑにより、ユーザは車両Ｖから離隔した場所に居ても、車両Ｖの周囲の状態を監視することができる。

　また、図７のブロック図に示すように、本実施形態に係る監視装置１００の制御装置１０は、監視画像を生成して外部の端末装置に送出するプログラムが格納されたＲＯＭ（Read Only Memory）１２と、このＲＯＭ１２に格納されたプログラムを実行することで、監視装置１００として機能する動作回路としてのＣＰＵ（Central Processing Unit）１１と、アクセス可能な記憶装置として機能するＲＡＭ（Random Access Memory）１３と、を備えている。

　本実施形態に係る監視装置１００の制御装置１０は、監視画像生成機能と、送信機能とを実現するためのソフトウェアと、上述したハードウェアの協働により各機能を実行することができる。本実施形態では、制御装置１０が各制御命令を送出する態様を例にして説明するが、本実施形態の制御装置１０は、車両コントローラ２００を介してカメラ１、通信装置４００を制御することも可能である。

　特に限定されないが、本実施形態の監視装置１００は、イグニッションスイッチ３００に入力されたエンジンのオフ信号が入力され、通信機能を有する車両Ｖの電子キーが車両Ｖの近傍に存在しない場合（電子キーを携帯するユーザが車両Ｖから離れている場合）であって、ユーザの端末装置８００から監視画像の要求指令を受け付けた場合に監視処理を開始することができる。なお、監視処理のトリガはこれに限定されず、監視装置１００は、不図示のソナーが車両Ｖの周囲に物体を検出したとき、ドアの接触センサがドアへの接触を検出したとき、傾斜センサが車両の傾き（乗り込み）を検出したとき、異常検知センサがドアのこじ開けや窓が割られたなどの異常を検知したとき、カメラ１の撮像画像から車両などの移動体が検出されたとき、監視装置１００のスイッチ（図示せず）に入力信号が入力されたときなどに監視処理を開始することができる。

　また、第３実施形態に係る監視装置１００は、画像処理コントロールユニット（Image Processing Control Unit: IPCU）を備える。制御装置１０は、画像処理コントロールユニットを用いて、各カメラ１の撮像画像を解析し、撮像画像のデータから物体に対応する画像を抽出し、さらに抽出した画像の移動量に基づいて物体の移動量を算出することができる。また、制御装置１０は、撮像画像の変化から物体の経時的な物体の位置の変化を算出することができる。この経時的な物体の位置の変化に基づいて、制御装置１０は、車両Ｖの周囲に存在する物体が監視すべき監視対象物体であるか否かを判断することができる。例えば、制御装置１０は、撮像画像から検出された移動物体が車両Ｖの近傍に所定時間以上滞在している場合は、その物体を監視対象物体として検出し、検出後に監視対象物体を含む撮像画像を制御装置１０内の画像メモリに時間情報とともに記憶することができる。なお、これらの画像処理には、出願時において知られた手法を用いることができる。

　以下、本発明の本実施形態に係る監視装置１００が実現する各機能について説明する。

　まず、第３実施形態に係る監視装置１００の監視画像生成機能について説明する。本実施形態に係る監視装置１００の制御装置１０は、先述の画像処理コントロールユニット（Image Processing Control Unit: IPCU）を用いて、カメラ１ａ～１ｄにより撮像された撮像画像から車両などの移動体の周囲に監視対象物体が存在するか否かを判断し、監視対象物体の存在が検出された場合には、監視対象物体に応じた画像を含む撮像画像に基づいて、車両などの移動体の周囲の状態変化を連続的に示す動画像を監視画像として生成する。本実施形態における動画像は、単位時間内に複数の画像が順次表示される画像情報であり、監視領域の状態変化を示すことができる。

　制御装置１０は、監視対象物体の存在が検出された場合に、監視対象物体が検出された後、所定時間Ｔに撮像された複数の撮像画像を監視タイミング（撮像タイミング）と対応づけて監視画像として記憶する。監視装置１００は、動画像の監視画像を必要に応じて圧縮して記憶する。監視画像は、一つの動画ファイルとして記憶してもよいし、ストリーミング方式で転送・再生が可能形態で記憶してもよい。

　さらに、第３実施形態に係る監視装置１００は、撮像画像に基づいて算出された監視対象物体の移動速度（単位時間当たりの移動量）が所定値よりも小さい場合には、動画像の単位時間あたりに含まれる画像数であるフレームレートを低減させて監視画像を生成する。つまり、監視対象物体の移動速度が小さい場合には、動きに応じてフレームレートを低減させる。これにより、監視対象物体の移動量が小さい場合には、過剰なフレームレートの動画像を送らないようにして、監視時において送信する動画像のデータ量を低減させることができる。他方、監視対象物体の移動速度が所定値以上である場合には、その動きの速さに応じて相対的に高いフレームレートの動画像を送り、監視対象物体の動きを詳細に示す監視画像を生成することができる。

　また、本実施形態に係る監視装置１００の制御装置１０は、車両などの移動体の周囲に監視対象物体が検出されない場合には、車両などの移動体の周囲の一時的な状態を示す静止画像を監視画像として生成する。制御装置１０は、生成した静止画像の監視画像を必要に応じて圧縮して記憶することができる。

　以下、本発明の本実施形態の車両監視システム１０００の処理手順を説明する。図１０は、第３実施形態に係る車両監視システム１０００の制御手順を示すフローチャート図である。

　先に監視装置１００の動作を説明する。ステップ１０において、第３実施形態の監視装置１００の制御装置１０は、監視開始タイミングであるか否かを判断する。本実施形態では、エンジンOFFで車両のキーが近くにない場合であって、ユーザが所持する端末装置８００から監視画像の要求指令を受信したタイミングを監視開始タイミングとして認識し、監視処理を開始する。監視開始タイミングは限定されず、車両のドアの接触センサ、傾斜センサ、車両の異常検出センサなどが異常を検出したタイミングに、監視処理を開始することができる。

　ステップ２０において、監視装置１００は、カメラ１ａ～１ｄに各撮像領域の撮像を開始させ、撮像画像を取得する。

　続くステップ３０において、監視装置１００は、カメラ１から取得した撮像画像が最初のものであるか否かを判断する。取得した撮像画像が撮影開始直後の最初の撮像画像である場合は、ステップ４０に進み、最初の撮像画像を基準監視画像Ｇ０として記憶するとともに、外部の端末装置８００へ送信し、次の撮像画像を待機する。基準監視画像Ｇ０とは、車両Ｖの周囲を監視する際の基準となる基準監視タイミングｔ０において取得される撮像画像である。本例では、最初の撮像画像を基準監視画像Ｇ０としたが、これに限定されず、所定の条件を満たす基準監視タイミングｔ０における撮像画像を基準監視画像Ｇ０として定義することができる。

　一方、ステップ３０において取得した撮像画像が最初の撮像画像でない場合は、ステップ５０へ進み、監視装置１００は、撮像画像の画像データの変化量に基づいて監視対象物体が存在するか否かを判断する。監視対象物体の存在を判断する際には、今回取得された撮像画像と基準監視画像Ｇ０を比較してもよいし、今回取得された監視画像と前回取得された撮像画像とを比較してもよい。

　監視対象物体が検出された場合には、ステップ６０へ進み、監視装置１００は、監視対象物体に応じた画像を含む撮像画像に基づいて、車両Ｖの周囲の状態変化を連続的に示す動画像を監視画像として生成する。つまり、動画で表される監視画像には監視対象物体の像が含まれている。本実施形態の監視装置１００は、監視対象物体の存在が検出された画像を撮像したカメラ１ａ～１ｄを特定し、そのカメラ１ａ～１ｄの撮像画像に基づいて監視画像を生成することができる。

　監視画像の生成後はステップ８０へ進むが、ステップ８０の処理を行う前にステップ６１及び６２の処理を行うことができる。具体的に、ステップ６１において、監視装置１００は、撮像画像に基づいて監視対象物体の移動速度を算出し、この監視対象物体の移動速度が所定値未満である場合には、ステップ６２へ進んで動画像の監視画像のフレームレートを低減させる。監視装置１００は、予め、監視対象物体の移動速度の低下に伴いフレームレートが低下する関係を定義しておき、この関係を参照して監視対象物体の移動速度に基づいてフレームレートを求めることができる。他方、監視対象物体の移動速度が所定値以上である場合には、フレームレートを変更することなくステップ８０に進む。

　他方、ステップ５０において監視対象物体が検出されない場合には、ステップ７０へ進み、車両Ｖの周囲の一時的な状態を示す静止画像を監視画像として生成する。

　続くステップ８０において、生成した動画像又は静止画像の監視画像を外部の端末装置８００へ送出する。その後、ステップ９０へ進み、監視処理の終了のタイミング（乗員が所持する電子キーが交信可能な距離に接近した、乗員がエンジンをオンにしたなどのタイミング）を待機する。終了する場合には次回の監視開始タイミングを待機するためにステップ１０へ戻り、終了しない場合には次回の撮像画像の取得を待機するためにステップ３０へ戻る。

　続いて、外部端末装置８００の制御手法を説明する。外部端末装置８００は、ＣＰＵ、ＲＡＭ、ＲＯＭに相当する部材を有するコンピュータであり、通信装置８１０、画像処理装置８２０、及びディスプレイ８３０を有する。図１０のステップ１１０～１３０に示すように、通信装置８１０は、監視画像を受信し（ステップ１１０）、受信した監視画像を画像処理装置８２０へ送出する。画像処理装置８２０は、画像処理コントロールユニット（Image Processing Control Unit: IPCU）を備え、受信した監視画像について画像処理を行うことができる（ステップ１２０）。受信した監視画像にはそれを撮像したカメラ１を特定する識別子が付されており、画像処理装置８２０は、その識別子に応じて各監視画像を各表示エリアに割り付けることができる。具体的に、画像処理装置８２０は、受信した監視画像の各画素を、ディスプレイ８３０の表示エリアの各画素に割り付けて、例えば図９に示す監視画像Ｒ１～Ｒ４をディスプレイ８３０に表示させる。

　本発明の第３実施形態に係る監視装置１００及び車両監視システム１０００によれば、自車両Ｖの周囲に監視対象物体が検出された場合にのみ動画像の監視画像を外部の端末に送信するので、車両Ｖの周囲を監視するために送信される監視画像のデータ総量を低減させることができる。この結果、車両その他の移動体の監視のために必要な通信コストを低減させることができる。

　また、本発明の第３実施形態に係る監視装置１００及び車両監視システム１０００によれば、監視対象物体が検出されない場合にはデータ量の少ない静止画像を送信するので、車両から離隔した位置にいるユーザは、車両に異常が発生しない可能性が高い場合には、静止画像で車両周囲の一時的な状態を確認することができる。このため、監視画像の送信データ量を抑制しつつ、車両周囲を画像により監視することができる。

　さらに、本発明の第３実施形態に係る監視装置１００及び車両監視システム１０００によれば、監視対象物体の移動速度が所定値よりも小さい場合には、監視対象物体の移動速度に応じてフレームレートを低減させることにより、監視対象物体の動き（状態変化）を捉えつつ、データ量の小さい監視画像を作成し、監視処理における送信データ量を低減することができる。

＜第４実施形態＞
　以下、本発明の第４実施形態に係る監視装置１００及び車両監視システム１０００を、図１１～図１６に基づいて説明する。第４実施形態の監視装置１００、車両監視システム１０００は、監視画像の作成手法及び作成される監視画像が第３実施形態のそれと異なるが、図７に示す構成及び図１０に示す基本的な制御手順は共通する。重複した説明を避けるため、以下には異なる点を中心に説明し、それ以外の点については第３実施形態における説明を援用する。

　図１１は、本発明の第４実施形態に係る監視装置１００及び車両監視システム１０００の制御手順を示すフローチャート図である。

　監視装置１００は、図１０に示す第３実施形態の制御手順と同様の処理を実行し、ステップ４０と同様に基準監視画像Ｇ０を外部端末装置８００へ送信する。外部端末装置８００は、基準監視画像Ｇ０を受信し（ステップ２１０）、受信した基準監視画像Ｇ０を記憶する（ステップ２２０）。図１２Ａは、基準監視画像Ｇ０の一例を示す図である。

　本フローチャートにおいては、一般化が可能な監視タイミングｔＫにおける処理を例に説明する。ステップ１１０において、監視装置１００は、監視タイミングｔＫである場合に、監視画像の生成を開始する。なお、監視タイミングｔＫは、車両Ｖの周囲を監視する際の基準となる基準監視タイミングｔ０（基準監視画像Ｇ０の撮像タイミング）の後に、一又は複数のタイミングである。監視タイミングｔＫは、所定周期で巡ってくるタイミングであってもよいし、ユーザの外部端末装置８００から入力された監視命令を受信した場合などの所定条件を満たすタイミングであってもよい。

　ステップ１２０において、監視装置１００は、監視タイミングｔＫにおいてカメラ１により撮像された対比画像を取得する。図１２Ｂは対比画像ＧＫの一例を示す図である。図１２Ａの基準監視画像Ｇ０と比較すると、対比画像ＧＫの右側に物体に対応する像が現れている。

　続くステップ１３０において、監視装置１００は、基準監視タイミングｔ０において撮像された基準監視画像Ｇ０と、基準監視タイミングｔ０よりも後の一又は複数の監視タイミングで撮像された対比画像とを対比し、両画像の画像データの変化に応じる差分画像を求める。エンジン停止中などの駐停車中は背景画像に変化がないため、基準監視画像Ｇ０と対比画像ＧＫの差分を取ると、監視タイミングｔＫにおいて基準監視画像Ｇ０から画像が変化した差分画像ΔＧを抽出することができる。図１３は、差分画像ΔＧの一例を示す図である。図１３では、画像データに変化がある領域を含む白枠内を差分画像ΔＧと定義するが、図１３に示す画像全部を差分画像ΔＧと定義し、差分画像ΔＧの領域以外には差分画像ΔＧではない旨を示す識別子を付すことができる。

　また、監視装置１００は、図１４に示すように、対比画像ＧＫに対する位置を定義づけることができる差分画像ΔＧの頂点Ｐの座標（ｘｋ，ｙｋ）を求める。対比画像ＧＫと基準監視画像Ｇ０とは共通の座標により定義されているので、座標（ｘｋ，ｙｋ）により、基準監視画像Ｇ０に対する差分画像ΔＧの位置を求めることができる。

　最後に、ステップ１４０において、監視装置１００は、差分画像ΔＧに基づく監視画像Ｑを外部端末装置８００へ送信する。この監視画像Ｑの送信は、基準監視画像Ｇ０の送信タイミングよりも後のタイミングにおいて行なわれる。この監視画像において、先のステップ４０で送信した基準監視画像Ｇ０に対する差分画像ΔＧの位置が不明となる場合には、差分画像ΔＧの位置情報Ｐ（ｘｋ，ｙｋ）を監視画像に含ませることができる。

　図１５は、送信される監視画像の一例を示す図である。図１５に示すように、本実施形態において、監視装置１００が送信する監視画像Ｑは、差分画像ΔＧに対応する画像データであるため、第３実施形態において送信される監視画像（図１２Ｂに相当）に比べてデータ量を大幅に低減させることができる。

　なお、ステップ１４０において、監視装置１００は、監視タイミングにおいて取得された対比画像ＧＫのうち、差分画像ΔＧに対応する領域以外の不変領域の画像データに第１識別子を付した監視画像を得ることもできる。第１識別子は、対比画像ＧＫのうち、基準監視画像Ｇ０と画像データが共通する不変領域を識別させるための情報である。つまり、第１識別子が付された不変領域は、先述した基準監視画像Ｇ０から変化の無い背景部分として取り扱うことができ、先に送信した基準監視画像Ｇ０の画像データを利用することができる。

　次に、外部端末装置８００側の処理を説明する。ステップ２３０において、外部端末装置８００は、各情報が付された監視画像を受信する。

　続くステップ２４０において、外部端末装置８００は、基準監視画像Ｇ０に差分画像ΔＧを重畳し、監視タイミングｔＫにおける表示用の監視画像Ｑ´を生成する。図１６は、監視タイミングｔＫにおける監視画像の生成手法を説明するための図である。図１６に示すように、外部端末装置８００は、先のステップ２２０において受信し記憶した基準監視画像Ｇ０を読み出し、ステップ２３０において受信した差分画像ΔＧを基準監視画像Ｇ０に重畳し、監視タイミングｔＫにおける表示用の監視画像Ｑ´Ｋを作成する。なお、図１６に示す基準監視画像Ｇ０は、図１２Ａに示す基準監視画像Ｇ０と共通し、図１６に示す差分画像ΔＧは図１３に示す差分画像ΔＧと共通する。なお、差分画像ΔＧの情報に画素のアドレスが含まれている場合は、そのアドレスに基づいて、基準監視画像Ｇ０の対応する位置に差分画像ΔＧを貼りつける。差分画像ΔＧの情報から貼り付け位置が特定できない場合には、図１４に示す差分画像ΔＧの位置情報Ｐ（ｘｋ，ｙｋ）を取得して、基準監視画像Ｇ０の対応する位置に差分画像ΔＧを貼りつけることができる。

　図１６の下側の図は、作成された表示用の監視画像Ｑ´Ｋをディスプレイ８３０に表示した場合の例を示す。同図に示すように、基準監視画像Ｇ０に差分画像ΔＧを重畳した監視画像Ｑ´Ｋは、監視タイミングｔＫにおいて撮像された図１２Ｂに示す対比画像ＧＫと略共通する(略等価の)画像情報である。

　以上のとおり、本発明の第４実施形態に係る監視装置１００及び車両監視システム１０００によれば、第３実施形態と同様の作用効果を奏するとともに、ある監視タイミングｔＫにおいて、基準監視画像Ｇ０との差分画像ΔＧのみを外部端末装置８００へ送信するので、車両Ｖの周囲を監視するために送信される監視画像のデータ総量を低減させることができる。この結果、車両Ｖの監視のために必要な通信コストを低減させることができる。

　また、本実施形態の車両監視システム１０００によれば、ある監視タイミングｔＫにおける監視画像Ｑを生成する際に、基準監視画像Ｇ０と比較して変化した変化領域に対応する差分画像ΔＧのみを新たに送信又は受信し、基準監視画像Ｇ０と比較して変化していない不変領域に対応する部分については先に送信済みの基準監視画像Ｇ０を利用するので、監視タイミングｔＫにおける対比画像ＧＫをそのまま送信する場合に比べて送信データ量を低減させつつ、表示する監視画像Ｑ´の画質を落とさないようにすることができる。この結果、ユーザは、通信コストを節約しつつ、明瞭な監視画像Ｑ´により車両Ｖの監視をすることができる。

＜第５実施形態＞
　以下、本発明の第５実施形態に係る監視装置１００及び車両監視システム１０００を、図１７～図１９に基づいて説明する。第５実施形態の監視装置１００、車両監視システム１０００は、監視画像の作成手法及び作成される監視画像が第３及び第４実施形態のそれと異なるが、図７に示す構成及び図１０に示す基本的な制御手順は共通する。重複した説明を避けるため、以下には異なる点を中心に説明し、それ以外の点については第３及び第４実施形態における説明を援用する。

　図１７は、本発明の第５実施形態に係る監視装置１００及び車両監視システム１０００の制御手順を示すフローチャート図である。

　監視装置１００は、図１０に示す第３実施形態の制御手順と同様の処理を実行し、ステップ４０と同様に基準監視画像Ｇ０を外部端末装置８００へ送信する。外部端末装置８００は、基準監視画像Ｇ０を受信し（ステップ４１０）、受信した基準監視画像Ｇ０を記憶する（ステップ４２０）。

　図１７に示すフローチャートにおいては、一般化が可能な監視タイミングｔＫ（Ｋは自然数、以下同じ）における処理を例に説明する。

　ステップ３１０において、監視装置１００は、監視タイミングｔＫである場合に、本例の監視画像の生成を開始する。この監視タイミングｔＫは、車両Ｖの周囲を監視する際の基準とある基準監視タイミングｔ０（基準監視画像Ｇ０の撮像タイミング）の後に、所定周期で巡ってくる任意の連続的な複数のタイミングである。各監視タイミングについて説明すると、図１８に示すように、時間軸ｔにおいて、基準監視タイミングｔ０の後、監視タイミングｔ（Ｋ－１）が続き、その後に監視タイミングｔＫが続く。監視タイミングｔ（Ｋ－１）は、監視タイミングｔＫの直前の監視タイミングである。また、基準監視タイミングｔ０から監視タイミングｔ（Ｋ－１）までの間にも、複数の監視タイミングｔ（１）からｔ（Ｋ－２）が設定され、各監視タイミングにおいてカメラ１により撮像処理が実行され、監視装置１００はこれらの監視画像を記憶している。

　なお、図１８の基準監視画像Ｇ０は、図１２Ａに示す基準監視画像Ｇ０と共通し、図１８の第Ｋ対比画像ＧＫは、図１２Ｂに示す監視タイミングｔＫにおける対比画像ＧＫと共通する。

　ステップ３２０において、本実施形態に係る監視装置１００は、基準監視タイミングｔ０の後の第Ｋ監視タイミングにおいて撮像された第Ｋ対比画像ＧＫと（Ｋは自然数、以下同じ）基準監視画像Ｇ０とを対比して両画像の差分を含む所定領域の第Ｋ差分画像ΔＧ（０－Ｋ）を抽出する。図１８に第Ｋ差分画像ΔＧ（０－Ｋ）を示す。

　次に、ステップ３３０において、監視装置１００は、基準監視タイミングｔ０の後の第Ｋ監視タイミングｔＫにおいて撮像された第Ｋ対比画像ＧＫと、第Ｋ監視タイミングｔＫの直前の第（Ｋ－１）タイミングｔ（Ｋ－１）において撮像された第（Ｋ－１）対比画像Ｇ（Ｋ－１）とを対比して両画像の第（Ｋ－１）差分画像ΔＧ（－１）を抽出する。図１８に第（Ｋ－１）差分画像ΔＧ（－１）を示す。

　続くテップ３３０において、監視装置１００は、第Ｋ差分画像ΔＧ（０－Ｋ）を３つの領域に区分し、それぞれに識別子を付する。具体的に、（１）第Ｋ差分画像ΔＧ（０－Ｋ）のうち、基準監視画像Ｇ０に対する差が無い不変領域の画像データに第１識別子を付し、（２）Ｋ差分画像ΔＧ（０－Ｋ）のうち、第（Ｋ－１）対比画像にも含まれる重複変化領域の画像データに第２識別子を付し、（３）第Ｋ差分画像ΔＧ（０－Ｋ）のうち、第（Ｋ－１）差分画像ΔＧ（－１）にのみ含まれる直近変化領域の画像データに第３識別子を付す。

　特に限定されないが、本実施形態の監視装置１００は、第（Ｋ－１）差分画像ΔＧ（－１）にのみ含まれる直近変化領域として、第Ｋ差分画像ΔＧ（０－Ｋ）と第（Ｋ－１）差分画像ΔＧ（－１）との論理積（重複領域）又は第（Ｋ－１）差分画像ΔＧ（－１）については第３識別子を付し、第Ｋ差分画像ΔＧ（０－Ｋ）では白で第（Ｋ－１）差分画像ΔＧ（－１）では黒となる領域、つまり、第Ｋ差分画像ΔＧ（０－Ｋ）から第（Ｋ－１）差分画像ΔＧ（－１）を差し引いた領域については第２識別子を付し、第２識別子及び第３識別子が付されていない残りの領域に第１識別子を付すことができる。識別子を付す手法は特に限定されない。

　また、第２識別子が付された領域の画像は、における対比画像ＧＫに現れているが、監視タイミングｔＫ－１における対比画像Ｇ（Ｋ－１）にも現れている。このため、車両Ｖの周囲を監視するにあたり、第２識別子が付された領域の画像は、監視タイミングｔＫ－１における対比画像Ｇ（Ｋ－１）の画素値をそのまま監視画像として利用することができる。

　さらに、第１識別子が付された領域の画像は、基準監視タイミングｔ０を基準とした場合に監視タイミングｔＫにおいて変化の無い不変領域である。特に車両Ｖが駐停車中である場合には、その背景画像は変化しない。このため、車両Ｖの周囲を監視するにあたり、第１識別子が付された領域の画像は、基準監視タイミングｔ０における基準監視画像Ｇ０の画素値をそのまま監視画像として利用することができる。

　特に限定されないが、各識別子を色情報とすることができる。例えば、本実施形態において、基準監視画像Ｇ０を利用する第１識別子が付される画素には０（ゼロ：黒値）の色情報を付し、第（Ｋ－１）対比画像Ｇ（Ｋ－１）を利用する第２識別子が付される画素には１（白値）の色情報を付し、第Ｋ対比画像ＧＫを利用する第３識別子が付される画素には０．５（グレー値）の色情報を付すことができる。

　第１～第３の識別子として黒、白、グレーの色情報を、第Ｋ差分画像ΔＧ（０－Ｋ）に付した置換画像Ｈを図１８に示す。

　そして、続くステップ３４０において、本実施形態の監視装置１００は、第Ｋ差分画像ΔＧ（０－Ｋ）の第３識別子（グレー値）が付された画像領域の画像データを、当該画像領域に対応する第Ｋ対比画像ＧＫの画像データに置換する。置換画像Ｈの第３識別子（グレー値）の領域に第Ｋ対比画像ＧＫの画像を貼りつけた第Ｋ監視画像ＱＫを図１８に示す。

　ちなみに、第３識別子が付された領域の画像は、監視タイミングｔＫ－１からｔＫに至るまでの間の状態変化に対応する画像であるので、監視タイミングｔＫにおいて撮像された対比画像ＧＫにのみ現れている。このため、車両Ｖの周囲を監視するにあたり、第３識別子が付された領域の画像は、監視タイミングｔＫにおける対比画像ＧＫの画素値をそのまま監視画像として利用することができる。

　最後に、ステップ３６０において、監視装置１００は、第１、第２識別子の情報を含み、第３識別子（グレー値）が付された領域が第Ｋ対比画像ＧＫの画像データに置換された第Ｋ監視画像ＱＫと、この第Ｋ監視画像ＱＫの位置を特定する頂点Ｐの座標（ｘｋ，ｙｋ）を含む情報を外部端末装置８００へ送出する。

　次に、外部端末装置８００側の処理を説明する。なお、以下に説明する処理は、第Ｋ監視タイミングｔＫに係る処理であるが、ステップ４３０に示すように、それ以前の第１～第（Ｋ－１）監視タイミングにおいて作成された第１～第（Ｋ－１）監視画像は、外部端末装置８００側に記憶されている。

　図１７に示すステップ４４０において、外部端末装置８００は、第３識別子が付された領域に対応する第Ｋ対比画像ＧＫの画像データと第１識別子と第２識別子とを含む第Ｋ監視画像ＱＫを受信する。

　続くステップ４５０において、外部端末装置８００は、ステップ４２０で記憶した基準監視画像Ｇ０と、ステップ４３０で生成した表示用の第（Ｋ－１）監視画像Ｑ´（Ｋ－１）を読み出す。第（Ｋ－１）監視画像Ｑ´（Ｋ－１）は、基準監視画像Ｇ０と第（Ｋ－２）監視画像Ｑ´（Ｋ－２）と第（Ｋ－１）監視画像Ｑ´（Ｋ－１）とに基づいて、先述した第Ｋ監視画像ＱＫの生成処理と同じ処理によって得ることができる。

　ステップ４６０において、外部端末装置８００は、基準監視画像Ｇ０と第（Ｋ－１）監視画像Ｑ（Ｋ－１）と第Ｋ監視画像ＱＫとに基づいて、監視タイミングｔＫにおける監視画像ＱＫを生成する。

　図１９は、ステップ４６０の処理に係る、監視タイミングｔＫにおける表示用の監視画像Ｑ´Ｋを生成する手法を説明するための図である。図１９に示すように、外部端末装置８００は、先のステップ４２０において受信し記憶した基準監視画像Ｇ０を読み出し、同じく先のステップ４３０において表示のために作成し記憶した第（Ｋ－１）監視画像Ｑ（Ｋ－1）を読み出す。

　そして、外部端末装置８００は、ステップ４４０において受信した第Ｋ監視画像ＱＫのうち、第１識別子が付された画像領域の画像データを基準監視画像Ｇ０の画像データと置換し、第２識別子が付された画像領域の画像データを、第（Ｋ－１）監視画像Ｑ（Ｋ－１）の画像データと置換して、表示用の第Ｋ監視画像ＱＫを作成する。ちなみに第３識別子が付された画素領域の画像データには、すでに第Ｋ対比画像ＧＫの画像データが付されている。

　なお、図１９に示す基準監視画像Ｇ０は、図１８に示す基準監視画像Ｇ０と共通し、図１９に示す第（Ｋ－１）監視画像Ｑ（Ｋ-１）は、図１８に示す第（Ｋ－１）対比画像Ｇ（Ｋ－１）と略共通する(略等価である)。なお、第Ｋ監視画像ＱＫの情報に画素のアドレスが含まれている場合は、そのアドレスに基づいて、基準監視画像Ｇ０の対応する位置に第Ｋ監視画像ＱＫの画像データを貼りつける。第Ｋ監視画像ＱＫの情報から貼り付け位置が特定できない場合には、図１８に示す第Ｋ監視画像ＱＫの位置情報Ｐ（ｘｋ，ｙｋ）を取得して、基準監視画像Ｇ０の対応する位置に第Ｋ監視画像ＱＫの画像データ（第Ｋ対比画像ＧＫの画像データ）を貼りつけることができる。

　図１９の右側の図は、監視タイミングｔＫにおける表示用の監視画像Ｑ´Ｋをディスプレイ８３０に表示した場合の例を示す。同図に示すように、第Ｋ監視画像ＱＫの各識別子を基準監視画像Ｇ０の画像データ、第（Ｋ－１）監視画像Ｑ（Ｋ－１）の画像データと置換された表示用の第Ｋ監視画像Ｑ´Ｋは、監視タイミングｔＫにおいて撮像された図１８に示す第Ｋ対比画像ＧＫと略共通（略等価）の画像情報である。

　以上のとおり構成され、動作する本発明の第５実施形態に係る監視装置１００及び車両監視システム１０００は、第３実施形態と同様の作用効果を奏するとともに、以下の効果を奏する。

　本実施形態に係る監視装置１００及び車両監視システム１０００によれば、先に送信した基準監視画像Ｇ０と、先に外部端末装置８００側で生成された第（Ｋ－１）監視タイミングにおける表示用の第（Ｋ－１）監視画像Ｑ´（Ｋ－１）との画像データを利用することにより、ある監視タイミングｔＫにおける第Ｋ対比画像ＧＫと直前の第（Ｋ－１）対比画像Ｇ（Ｋ－１）との差分についてのみ第Ｋ対比画像ＧＫの画像データを送信すればよいので、車両Ｖの周囲を監視するために送信される監視画像のデータ総量を低減させることができる。この結果、車両Ｖの監視のために必要な通信コストを低減させることができる。

　また、基準監視画像Ｇ０又は第（Ｋ－１）監視画像Ｑ（Ｋ－１）を利用する画素領域を指定するために識別子を用いたことにより、車両Ｖの周囲を監視するために送信される監視画像のデータ総量を低減させることができる。特に識別子として色情報(黒値、白値、グレー値)を用いることにより、データの圧縮率を高めることができるため、送信される監視画像のデータ総量をさらに低減させることができる。

　さらに、本実施形態の車両監視システム１０００によれば、ある監視タイミングｔＫにおける監視画像Ｑを生成する際に、直前の第（Ｋ－１）対比画像Ｇ（Ｋ－１）との差分画像についてのみを新たに送信又は受信し、基準監視画像Ｇ０と比較して変化していない不変領域に対応する部分については先に送信済みの基準監視画像Ｇ０を、直前の第（Ｋ－１）対比画像Ｇ（Ｋ－１）と比較して変化していない維持領域に対応する部分については先に作成された第（Ｋ－１）監視画像Ｑ（Ｋ－１）を利用するので、監視タイミングｔＫにおける対比画像ＧＫをそのまま送信する場合に比べて送信データ量を低減させつつ、表示する監視画像Ｑ´の画質を落とさないようにすることができる。この結果、ユーザは、車用Ｖの遠隔監視に要する通信コストを節約しつつ、明瞭な監視画像Ｑ´により車両Ｖの監視をすることができる。

　また、本明細書では、カメラと、監視画像生成手段と、送信手段を有する本発明に係る車両用監視装置の一態様として、監視装置１００を説明するが、これに限定されるものではない。

１０００…車両監視システム
１ａ～１ｄ…カメラ
２ａ～２ｄ…近接センサ
１００…監視装置
　Ｖ…車両
　１０…制御装置
　１１…ＣＰＵ
　１２…ＲＯＭ
　１３…ＲＡＭ
２００…車両コントローラ
　４００…通信装置
　３００…イグニッションスイッチ
　８００…外部端末装置
　９００…通信回線

Claims

　車両又は当該車両の周囲の状況を検出し、前記検出された車両状況に基づいて当該車両の監視レベルを判断する監視レベル判断手段と、
　前記判断された監視レベルに基づいて動画、ストリーミング映像又は静止画の何れかの表示態様を求め、前記求められた表示態様で前記車両に設置されたカメラにより撮像された撮像画像に基づく監視画像を生成する監視画像生成手段と、
　前記生成された監視画像を含む情報を、通信回線を用いて外部端末装置へ送信する送信手段と、を備えることを特徴とする車両用監視装置。
　請求項１に記載の車両用監視装置において、
　前記監視レベル判断手段は、前記カメラにより撮像された撮像画像から監視対象物体の存在が検出された場合には、前記車両の監視レベルを強化レベルであると判断し、
　前記監視画像生成手段は、前記判断された強化レベルに応じて単位時間あたりのフレーム数が所定値以上の動画又はストリーミングの表示態様の監視画像を生成することを特徴とする車両用監視装置。
　請求項１に記載の車両用監視装置において、
　前記監視レベル判断手段は、前記カメラにより撮像された撮像画像から前記車両に接近する監視対象物体が検出された場合には、前記車両の監視レベルを強化レベルであると判断し、
　前記監視画像生成手段は、前記判断された強化レベルに応じて単位時間あたりのフレーム数が所定値以上の動画又はストリーミングの表示態様の監視画像を生成することを特徴とする車両用監視装置。
　請求項１に記載の車両用監視装置において、
　前記監視レベル判断手段は、前記カメラにより撮像された撮像画像から前記車両の近傍領域に所定時間以上滞在する監視対象物体が検出された場合には、前記車両の監視レベルを強化レベルであると判断し、
　前記監視画像生成手段は、前記判断された強化レベルに応じて単位時間あたりのフレーム数が所定値以上の動画又はストリーミングの表示態様の監視画像を生成することを特徴とする車両用監視装置。
　請求項１に記載の車両用監視装置において、
　前記監視レベル判断手段は、前記車両から異常発生信号を取得した場合には、前記車両の監視レベルを強化レベルであると判断し、
　前記監視画像生成手段は、前記判断された強化レベルに応じて単位時間あたりのフレーム数が所定値以上の動画又はストリーミングの表示態様の監視画像を生成することを特徴とする車両用監視装置。
　請求項１～５の何れか一項に記載の車両用監視装置において、
　前記監視レベル判断手段は、前記外部端末装置から監視画像の要求を取得した場合には、前記車両の監視レベルを標準レベルであると判断し、
　前記監視画像生成手段は、前記標準レベルに応じて単位時間当たりのフレーム数が単一の静止画の表示態様の監視画像を生成することを特徴とする車両用監視装置。
　請求項１～６の何れか一項に記載の車両用監視装置において、
　前記監視画像生成手段は、前記監視レベル判断手段により前記監視レベルが検出された時刻が日没後である場合には、前記監視レベルに応じた単位時間あたりのフレーム数を高く補正した補正後のフレームレートの監視画像を生成することを特徴とする車両用監視装置。
　請求項１～７の何れか一項に記載の車両用監視装置において、
　前記監視画像生成手段は、前記カメラにより撮像された撮像画像に監視対象物体の移動速度に基づいて、前記監視レベルに応じた単位時間あたりのフレーム数を補正し、前記補正後のフレームレートの監視画像を生成することを特徴とする車両用監視装置。
　請求項１～８の何れか一項に記載の車両用監視装置において、
　前記監視画像生成手段は、前記監視レベルが強化レベルであると判断された場合には、前記監視画像を生成する頻度を高くし、
　前記送信手段は、前記生成された監視画像を、前記頻度に応じて外部端末装置へ送信することを特徴とする車両用監視装置。
　車両又は当該車両の周囲の状況を検出し、前記検出された車両状況に基づいて当該車両の監視レベルを判断する監視レベル判断手段と、
　前記車両に設置されたカメラにより撮像された撮像画像に基づいて、前記判断された監視レベルが高いほどフレームレートの高い監視画像を生成する監視画像生成手段と、
　前記生成された監視画像を含む情報を、通信回線を用いて外部端末装置へ送信する送信手段と、を備えることを特徴とする車両用監視装置。
　車両又は前記車両の周囲の車両状況に基づいて判断された監視レベルに応じて、前記車両に設置されたカメラにより撮像された撮像画像に基づく動画、ストリーミング映像又は静止画の何れかの表示態様の監視画像を生成し、
　前記生成された監視画像を含む情報を、通信回線を用いて外部端末装置へ送信する、車両の監視方法。
　車両又は当該車両の周囲の状況を検出し、前記検出された車両状況に基づいて当該車両の監視レベルを判断する監視レベル判断手段と、
　前記判断された監視レベルに基づいて圧縮率を算出し、当該算出された圧縮率で前記車両に設置されたカメラにより撮像された撮像画像を圧縮した監視画像を生成する監視画像生成手段と、
　前記生成された監視画像を含む情報を、外部端末装置へ送信する送信手段と、を備えることを特徴とする車両用監視装置。
　請求項１２に記載の車両用監視装置において、
　前記監視レベル判断手段は、前記判断された監視レベルが高いほど、低い圧縮率を算出することを特徴とする車両用監視装置。
　請求項１２又は１３に記載の車両用監視装置において、
　前記監視レベル判断手段は、前記カメラにより撮像された撮像画像から監視対象物体の存在が検出された場合には、前記車両の監視レベルを強化レベルであると判断し、
　前記監視画像生成手段は、前記判断された強化レベルに応じて、予め設定された標準圧縮率よりも低い圧縮率で前記カメラにより撮像された撮像画像を圧縮した監視画像を生成することを特徴とする車両用監視装置。
　請求項１２又は１３に記載の車両用監視装置において、
　前記監視レベル判断手段は、前記カメラにより撮像された撮像画像から前記車両に接近する監視対象物体が検出された場合には、前記車両の監視レベルを強化レベルであると判断し、
　前記監視画像生成手段は、前記強化レベルに応じて、予め設定された標準圧縮率よりも低い圧縮率で前記カメラにより撮像された撮像画像を圧縮した監視画像を生成することを特徴とする車両用監視装置。
　請求項１２又は１３に記載の車両用監視装置において、
　前記監視レベル判断手段は、前記カメラにより撮像された撮像画像から前記車両の近傍領域に所定時間以上滞在する監視対象物体が検出された場合には、前記車両の監視レベルを強化レベルであると判断し、
　前記監視画像生成手段は、前記強化レベルに応じて、予め設定された標準圧縮率よりも低い圧縮率で前記カメラにより撮像された撮像画像を圧縮した監視画像を生成することを特徴とする車両用監視装置。
　請求項１２又は１３に記載の車両用監視装置において、
　前記監視レベル判断手段は、前記車両から異常発生信号を取得した場合には、前記車両の監視レベルを強化レベルであると判断し、
　前記監視画像生成手段は、前記強化レベルに応じて、予め設定された標準圧縮率よりも低い圧縮率で前記カメラにより撮像された撮像画像を圧縮した監視画像を生成することを特徴とする車両用監視装置。
　請求項１２～１７の何れか一項に記載の車両用監視装置において、
　前記監視レベル判断手段は、前記外部端末装置から監視画像の要求を取得した場合には、前記車両の監視レベルを標準レベルであると判断し、
　前記監視画像生成手段は、前記標準レベルに応じて、予め設定された標準圧縮率以上の圧縮率で前記カメラにより撮像された撮像画像を圧縮した監視画像を生成することを特徴とする車両用監視装置。
　請求項１２～１８の何れか一項に記載の車両用監視装置において、
　前記監視画像生成手段は、前記監視レベル判断手段により前記監視レベルが検出された時刻が日没後である場合には、前記監視レベルに応じた圧縮率を低く補正した補正後の圧縮率で前記カメラにより撮像された撮像画像を圧縮した監視画像を生成することを特徴とする車両用監視装置。
　請求項１２～１９の何れか一項に記載の車両用監視装置において、
　前記監視画像生成手段は、前記カメラにより撮像された撮像画像に監視対象物体が含まれる場合には、前記監視レベルに応じて求められた圧縮率を低く補正した補正後の圧縮率で前記監視対象物体が含まれる撮像画像を圧縮した監視画像を生成することを特徴とする車両用監視装置。
　請求項１２～２０の何れか一項に記載の車両用監視装置において、
　前記監視画像生成手段は、前記監視レベルが強化レベルであると判断された場合には、前記監視画像を生成する頻度を高くし、
　前記送信手段は、前記生成された監視画像を、前記頻度に応じて外部端末装置へ送信することを特徴とする車両用監視装置。
　車両又は当該車両の周囲の車両状況に基づいて判断された監視レベルに応じて算出された圧縮率で、前記車両に設置されたカメラにより撮像された撮像画像を圧縮した監視画像を生成させ、
　前記生成された監視画像を含む情報を外部端末装置へ送信する、車両の監視方法。
　車両に設置され、前記車両の周囲を撮像するカメラと、
　前記カメラにより撮像された撮像画像から前記車両の周囲に監視対象物体の存在が検出された場合には、前記監視対象物体に応じた画像を含む撮像画像に基づいて前記車両の周囲の状態変化を示す動画像を監視画像として生成する監視画像生成手段と、
　前記生成された監視画像を、通信回線を用いて外部装置へ送信する送信手段と、を備えることを特徴とする車両用監視装置。
　請求項２３に記載の車両用監視装置において、
　前記監視画像生成手段は、前記車両の周囲に監視対象物体が検出されない場合には、前記カメラにより撮像された撮像画像に基づいて前記車両の周囲の一時的な状態を示す静止画像を監視画像として生成することを特徴とする車両用監視装置。
　請求項２３又は２４に記載の車両用監視装置において、
　前記監視画像生成手段は、前記車両の周囲を監視する際の基準となる基準監視タイミングにおいて取得された基準監視画像と、前記基準監視タイミングよりも後の一又は複数の監視タイミングで前記カメラにより撮像された対比画像とを対比し、両画像の画像データの変化に応じる差分画像に基づいて監視画像を生成し、
　前記送信手段は、前記基準監視画像を外部装置へ通信回線を介して送信した後に、前記監視画像を外部装置へ通信回線を介して送信することを特徴とする車両用監視装置。
　請求項２３又は２４に記載の車両用監視装置において、
　前記監視画像生成手段は、前記基準監視タイミングの後の第Ｋ監視タイミングにおいて撮像された第Ｋ対比画像と（Ｋは自然数、以下同じ）前記基準監視画像とを対比して両画像の差分を含む所定領域の第Ｋ差分画像を抽出し、
　前記基準監視タイミングの後の第Ｋ監視タイミングにおいて撮像された第Ｋ対比画像と、前記第Ｋ監視タイミングの直前の第（Ｋ－１）タイミングにおいて撮像された第（Ｋ－１）対比画像とを対比して両画像の第（Ｋ－１）差分画像を抽出し、
　前記第Ｋ差分画像のうち、前記基準監視画像に対する差が無い不変領域の画像データに第１識別子を付し、
　前記第Ｋ差分画像のうち、前記第（Ｋ－１）対比画像にも含まれる重複変化領域の画像データに第２識別子を付し、
　前記第Ｋ差分画像のうち、前記第（Ｋ－１）差分画像にのみ含まれる直近変化領域の画像データに第３識別子を付し、
　前記第Ｋ差分画像の前記第３識別子が付された画像領域の画像データを、当該画像領域に対応する前記第Ｋ対比画像の画像データに置換し、
　前記置換された第Ｋ対比画像の画像データと前記第１識別子と前記第２識別子とを含む情報を前記監視画像として生成することを特徴とする車両用監視装置。
　請求項２３～２６の何れか一項に記載の車両用監視装置において、
　前記撮像画像に基づいて算出された前記監視対象物体の移動速度が所定値よりも小さい場合には、フレームレートを低減させて前記監視画像を生成することを特徴とする車両用監視装置。
　請求項２３～２７の何れか一項に記載された車両用監視装置と、前記車両用監視装置と相互に情報の授受が可能な端末装置とを備え、
　前記外部の端末装置は、
　前記車両用監視装置と通信を行う通信手段と、
　前記通信手段を介して取得した監視画像に基づいて表示用画像を生成する表示画像生成手段と、
　前記表示画像生成手段により生成された表示用画像を表示する表示手段と、を有することを特徴とする車両用監視システム。
　車両の周囲の撮像画像を取得し、
　前記取得した撮像画像中に監視対象物体に応じた画像が検出された場合には、前記監視対象物の画像を含む撮像画像に基づいて前記車両の周囲の状態変化を示す動画像を監視画像として生成し、
　前記生成された監視画像を外部の端末装置へ送信する、車両の監視方法。