JPWO2012160902A1 - 車両用監視装置及び車両の監視方法 - Google Patents
車両用監視装置及び車両の監視方法 Download PDFInfo
- Publication number
- JPWO2012160902A1 JPWO2012160902A1 JP2013516250A JP2013516250A JPWO2012160902A1 JP WO2012160902 A1 JPWO2012160902 A1 JP WO2012160902A1 JP 2013516250 A JP2013516250 A JP 2013516250A JP 2013516250 A JP2013516250 A JP 2013516250A JP WO2012160902 A1 JPWO2012160902 A1 JP WO2012160902A1
- Authority
- JP
- Japan
- Prior art keywords
- monitoring
- image
- vehicle
- level
- captured
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
- B60R25/30—Detection related to theft or to other events relevant to anti-theft systems
- B60R25/305—Detection related to theft or to other events relevant to anti-theft systems using a camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
Abstract
検出された車両状況に基づいて判断された監視レベルに基づいて動画、ストリーミング映像若しくは静止画の表示態様や、圧縮率を求め、求められた表示態様又は圧縮率で監視画像を生成し、外部端末装置へ送信する車両監視システム1000を提供する。
Description
本発明は、車両に設置されたカメラを利用して、車両の周囲を監視する車両用監視装置及び車両の監視方法に関する。
本出願は、2011年5月24日に出願された日本国特許出願の特願2011―115428、2011年6月23日に出願された日本国特許出願の特願2011―139062、2011年6月23日に出願された日本国特許出願の特願2011―139136、に基づく優先権を主張するものであり、文献の参照による組み込みが認められる指定国については、上記の出願に記載された内容を参照により本出願に組み込み、本出願の記載の一部とする。
この種の装置に関し、ドアの接触センサなどが検知した外部からの刺激を検知した場合には、カメラに周囲を撮像させ、その画像情報を外部の携帯電話等に転送する防犯装置が知られている(特許文献1)。
しかしながら、カメラの撮像画像をそのまま送信すると通信データの量が多く、通信時間及び通信コストの負担が大きいという問題がある。
本発明が解決しようとする課題は、カメラの撮像画像を外部端末装置へ送信する際に、通信データ量を低減させることである。
本発明は、監視対象とするべき物体が検出された場合には、車両の状況から判断された監視レベルに応じて動画、ストリーミング映像又は静止画の選択された何れかの表示態様で監視画像を生成して外部へ送信すること、車両の状況から判断された監視レベルが高いほど、フレームレートの高い表示態様で監視画像を生成すること、又は車両の状況から判断した監視レベルに応じた圧縮率の監視画像を生成して外部へ送信することにより、上記課題を解決する。
本発明によれば、撮像画像を監視レベルに応じた表示態様の監視画像を外部端末装置へ送出するので、監視の対象の映像を適切な表示態様で示すことができるとともに、カメラの撮像画像を撮像されたままで送信する場合よりも、車両の周囲を監視するために送信される監視画像のデータ総量を低減させることができる。また、本発明によれば、撮像画像を監視レベルに応じた圧縮率で圧縮した監視画像を外部端末装置へ送出するので、カメラの撮像画像をそのまま送信する場合よりも、車両の周囲を監視するために送信される監視画像のデータ総量を低減させることができる。この結果、車両の監視のために必要な通信コストを低減させることができる。
<第1の実施形態>
以下、本発明の第1の実施形態を図面に基づいて説明する。本実施形態では、本発明に係る車両用監視装置を、車両を含む移動体を監視するための監視装置100、この監視装置を備える車両監視システム1000に適用した場合を例にして説明する。なお、本発明に係る車両用監視装置の監視対象は車両に限定されず、二輪車、船、重機、フォークリフト等の移動体を監視することもできる。
以下、本発明の第1の実施形態を図面に基づいて説明する。本実施形態では、本発明に係る車両用監視装置を、車両を含む移動体を監視するための監視装置100、この監視装置を備える車両監視システム1000に適用した場合を例にして説明する。なお、本発明に係る車両用監視装置の監視対象は車両に限定されず、二輪車、船、重機、フォークリフト等の移動体を監視することもできる。
図1は、本実施形態に係る監視装置100を含む車両監視システム1000のブロック構成図である。図1に示すように、本実施形態の車両監視システム1000は、車両に設置された4つのカメラ1a〜1d(以下、カメラ1と総称することもある)を備えている。
図2は、カメラ1a〜1dを車両Vに取り付ける場合の配置例を示す図である。カメラ1a〜1dはCCD(Charge Coupled Devices)等の撮像素子を用いて構成され、車両Vの外部の異なる位置に各々設置され、車両周囲の4方向の画像をそれぞれ撮影する。例えば、図2に示すように、フロントグリル近傍などの車両Vの前方の所定位置に設置されたカメラ1aは、車両Vの前方のエリアSP1内及びその前方の空間に存在する物体又は路面の画像(フロントビュー画像)を撮影する。左サイドミラーなどの車両Vの左側方の所定位置に設置されカメラ1dは、車両Vの左側方のエリアSP2内及びその周囲の空間に存在する物体又は路面の画像(左サイドビュー画像)を撮影する。ルーフスポイラーなどの車両Vの後方の所定位置に設置されたカメラ1cは、車両Vの後方のエリアSP3内及びその後方の空間に存在する物体又は路面の画像(リアビュー画像)を撮影する。右サイドミラーなどの車両Vの右側方の所定位置に設置されたカメラ1bは、車両Vの右側方のエリアSP4内及びその周囲の空間に存在する物体又は路面の画像(右サイドビュー画像)を撮影する。制御装置10は、カメラ1a〜1dによって撮像された撮像画像をそれぞれ取得する。なお、カメラ1の配置数及び配置位置は、車両Vの大きさ、形状、検出領域の設定手法等に応じて適宜に決定することができる。上述した複数のカメラ1は、それぞれのアドレス(配置)に応じた識別子が付されており、制御装置10は、各識別子に基づいて各カメラ1のそれぞれを識別することができる。また、制御装置10は、識別子を付することにより、特定のカメラ1に起動命令その他の命令を送出することができる。
なお、図2に示すように、カメラ1a〜1dの近傍に、近接センサ2a〜2dが配置されている。近接センサ2a〜2dは、車両V周囲の所定領域に物体が存在するか、又は車両周囲の物体が車両Vに接近しているか又は離隔しているかを検出することができる、超音波センサ、赤外線センサ、静電センサなどである。
また、本実施形態の車両監視システム1000は、さらに、監視装置100と、車両コントローラ200と、通信装置400と、外部端末装置800と、を有する。この車両監視システム1000は、車両コントローラ200と情報の授受が可能なイグニッションスイッチ300を備えることができる。これらの各装置はCAN(Controller Area Network)その他の車載LANによって接続され、相互に情報の授受を行うことができる。
本実施形態の車両監視システム1000において、監視装置100は、通信装置400を介して携帯電話、スマートフォンその他の通信装置810を備える外部端末装置800(コンピュータ)と相互に通信が可能である。また、外部端末装置800は、通信装置810と、画像処理装置820と、ディスプレイ830とを備え、通信装置810が撮像画像を車両用監視装置100側から取得し、画像処理装置820が表示態様(動画、ストリーミング、又は静止画)に応じて表示に必要な画像処理を実行し、ディスプレイ830が撮像画像を表示する。外部端末装置800を所持するユーザは、車両用監視装置100から送出された車両の撮像画像を、外部端末装置800を用いて確認することができる。
また、図1に示すように、本実施形態に係る監視装置100の制御装置10は、監視レベルを判断し、監視レベルに応じた表示態様の監視画像を生成して外部端末装置800に送出するプログラムが格納されたROM(Read Only Memory)12と、このROM12に格納されたプログラムを実行することで、監視装置100として機能する動作回路としてのCPU(Central Processing Unit)11と、アクセス可能な記憶装置として機能するRAM(Random Access Memory)13とを備えている。
本実施形態に係る監視装置100の制御装置10は、監視レベル判断機能と、監視画像生成機能と、送信機能とを実現するためのソフトウェアと、上述したハードウェアの協働により各機能を実行することができる。本実施形態では、制御装置10が各制御命令を送出する態様を例にして説明するが、本実施形態の制御装置10は、車両コントローラ200を介してカメラ1、通信装置400を制御することも可能である。
特に限定されないが、本実施形態の監視装置100は、イグニッションスイッチ300に入力されたエンジンのオフ信号が入力され、通信機能を有する車両Vの電子キーが車両Vの近傍に存在しない場合(電子キーを携帯するユーザが車両Vから離れている場合)や、ユーザの外部端末装置800から監視画像の要求指令を受け付けた場合に監視処理を開始することができる。なお、監視処理のトリガはこれに限定されず、監視装置100は、不図示のソナーが車両Vの周囲に物体を検出したとき、ドアの接触センサがドアへの接触などの異常を検知したとき、傾斜センサが車両の傾き(乗り込み)などの異常を検知したとき、異常検知センサがドアのこじ開けや窓が割られたなどの異常を検知したとき、カメラ1の撮像画像から監視対象物体が検出されたとき、監視装置100のスイッチ(図示せず)に入力信号が入力されたときなどに監視処理を開始することができる。
また、第1実施形態に係る監視装置100は、画像処理コントロールユニット(Image Processing Control Unit: IPCU)を備える。制御装置10は、画像処理コントロールユニットを用いて、各カメラ1の撮像画像を解析し、撮像画像のデータから物体に対応する画像を抽出し、さらに抽出した画像の移動量に基づいて検出した物体が移動物体であるか否か、また、移動物体である場合にはその移動量を算出することができる。また、制御装置10は、撮像画像の変化から物体の経時的な位置の変化を算出することができる。この経時的な物体の位置の変化に基づいて、制御装置10は監視対象物体を検出することができる。なお、これらの画像処理には、出願時において知られた手法を用いることができる。
以下、本発明の本実施形態に係る監視装置100が実現する監視レベル判断機能、監視画像生成機能、送信機能の各機能について説明する。
まず、監視レベル判断機能について説明する。本実施形態の監視装置100の制御装置10は、車両V又は車両Vの周囲の状況を示す情報(信号)を検出し、検出された車両状況(車両状況に応じた情報)に基づいてこの車両Vの監視レベルを判断する。
本実施形態の制御装置10は、カメラ1a〜1dにより撮像された撮像画像から「車両Vの周囲に存在する監視対象物体」が検出された場合には、車両に危険が発生する可能性が高いと考えられる。本実施形態における監視対象物体とは、例えば人間のように、高さのある物体であり、かつ移動可能な物体である。制御装置10は、カメラ1の撮像画像から所定の高さ以上の物体に対応する画像が検出され、その画像の位置が経時的に変化する場合には、監視対象物体が検出されたと判断することができる。これらの処理には、先述した画像処理コントロールユニット(Image Processing Control Unit: IPCU)を用いることができる。また、制御装置10は、近接センサ2a〜2dの検出結果を利用して移動する監視対象物体の存在を検出することができる。
また、本実施形態の制御装置10は、カメラ1により撮像された撮像画像を経時的に分析し、撮像画像から「車両Vに接近する監視対象物体」が検出された場合には、車両に危険が発生する可能性が高いと考えられる。制御装置10は、撮像画像から検出された監視対象物体に対応する画像の面積が経時的に大きくなる、又は近接センサ2a〜2dが検出する監視対象物体の存在距離が経時的に小さくなることにより監視対象物体が車両Vに接近しているか否かを判断することができる。
本実施形態の制御装置10は、カメラ1により撮像された撮像画像から「車両Vの近傍領域に所定時間以上滞在する監視対象物体」が検出された場合には、車両に危険が発生する可能性が高いと考えられる。制御装置10は、撮像画像から検出された監視対象物体に対応する画像の面積が所定時間に渡って所定値域以上である、又は近接センサ2a〜2dが検出する監視対象物体の存在距離が所定時間に渡って所定値未満であることにより、監視対象物体が車両V周囲に滞在しているか否かを判断することができる。
さらに、本実施形態の制御装置10は、車両Vが備える各種の車両状況検出センサから異常発生信号を取得した場合には、車両に危険が発生する可能性が高いと考えられる。車両Vが備える異常検出センサとしては、エンジンオフ時に人体などが車両に接触したことを検出する接触センサ、エンジンオフ時にドアの解錠(こじ開け)を検出する解錠センサ、エンジンオフ時に人体が車両に力をかける、人体が車両に乗り込むなどの状態における車両の傾きを検出する傾斜センサ、など、出願時に知られている車両の監視センサを用いることができる。
他方、本実施形態の制御装置10は、カメラ1の撮像画像から監視対象物体が検出されず、あるいは、監視対象物体が検出されても車両Vから遠ざかっていく場合や、車両から異常発生信号を受信しない場合には、車両に危険が発生する可能性が高くないと判断することができる。
上述のように、制御装置10は、検出された車両状況に基づいて、車両状況と監視レベルとを予め対応づけることができる。図3は、車両状況と監視レベルとの対応関係の一例を示す図である。図3に示すように、車両から異常発生信号を取得した場合には、すでに車両に異常が発生しており緊急性が高い状態であると考えられるので監視レベルは最も強化されたレベル7と判断し、カメラ1の撮像画像から検出された監視対象物体が車両の近傍で所定時間以上滞在している場合には、車両のドアを開けようとしているなど車両に危害を加える蓋然性が高い状態であると考えられるので監視レベルは次に強化されたレベル6と判断し、カメラ1の撮像画像から検出された監視対象物体が車両に接近している場合には、車両の様子を伺うなど車両を物色している可能性が高い状態であると考えられるので監視レベルはその次に強化されたレベル5と判断し、カメラ1の撮像画像から監視対象物体が検出された場合には、不審者が車両に触れるなどの事態が考えられるので監視レベルはその次のレベル4と判断することができる。特に限定されないが、以上のレベル7〜レベル4を、監視を強化するべき強化レベルとして定義することができる。監視レベルが高くなるにつれて、監視を強化する強化レベルを示す数値が大きくなる。
また、同図に示すように、カメラ1の撮像画像から検出された監視対象物体が車両から離隔している場合には、監視対象物体は車両の傍を通り過ぎる通行人であると考えられるので監視レベルはその次のレベル3と判断することができ、カメラ1の撮像画像から検出された物体が静止物体である場合には、建造物などが検出されたと考えられるので監視レベルはさらに低いレベル2と判断し、ユーザの外部端末装置800から監視画像の要求指令を受け付けた場合は、特に車両の状況に基づく状況ではないため、監視レベルをさらに低いレベル1と判断することができる。特に限定されないが、以上のレベル3〜レベル1を通常の監視を行えばよい標準レベルとして定義することができる。
続いて、本実施形態の監視装置100の制御装置10の監視画像生成機能について説明する。本実施形態の制御装置10は、定義(判断)された監視レベルに応じて求められた単位時間あたりのフレーム数(以下、フレームレートとも称する)の表示態様で、カメラ1により撮像された撮像画像に基づく監視画像を生成する。なお、本実施形態におけるフレームレートは単位時間あたりのフレーム数という意味である。ここにいう単位時間は任意に設定することができ、単位時間は1秒に限定されない。
本実施形態の制御装置10は、前述したように監視レベルが強化レベル(例えば、図3に示すレベル7〜4)であると判断された場合には、この強化レベルに応じて、車両に設置されたカメラにより撮像された撮像画像に基づく動画、ストリーミング映像又は静止画の、フレームレートの異なる何れかの監視画像を生成する。本実施形態の制御装置10は、強化レベルが高いほど、フレームレートの高い監視画像を生成する。具体的に、本実施形態の制御装置10は、監視レベルが標準レベル(デフォルトの監視レベル)である場合はフレームレートが最も低い静止画の監視画像を生成し、監視レベルが標準レベルよりも高い強化レベルである場合にはフレームレートが静止画よりも高いストリーミング映像又は動画の監視画像を生成する。フレームレートは、単位時間あたりのフレーム数(画像数)であり、単位時間は1秒としてもよいし、複数秒としてもよい。静止画は、単位時間において撮像又は表示される画像が単一であり、ストリーミング映像又は動画は、単位時間において撮像又は表示される画像が複数である。動画の単位時間あたりのフレーム数(フレームレート)は、ストリーミング映像の単位時間あたりのフレーム数(フレームレート)よりも大きい。なお、ストリーミング映像と定義される単位時間あたりのフレーム数(フレームレート)、及び動画と定義される単位時間あたりのフレーム数(フレームレート)は適宜に設定することができる。
これにより、監視レベルが高いと判断され、監視を強化するために車両周囲の監視対象物体の動きが分かる監視画像が要求された場合において、フレームレートの高い動画やストリーミング画像などの動きの分かる監視画像を生成・提供することができる。
また、本実施形態の制御装置10は、前述したように監視レベルが標準レベル(例えば、図3に示すレベル3〜1)であると判断された場合には、この標準レベル(監視レベル)に応じて、通常の監視時(監視レベルを強化しない時)に適用されるフレームレートの低い表示態様(例えば静止画)の監視画像を生成することができる。なお、通常の監視時に適用される表示態様は、静止画に限定されない。
例えば、本実施形態の制御装置10は、先述した図3に示すように、監視レベルがレベル7である場合は、フレームレート(fps:frame per second)を30程度、つまり単位時間(例えば1秒)あたりに30の撮像画像が連続的に再生可能な動画の監視画像を生成する。つまり、監視レベルが高いときには、監視対象物体の動きが分かりやすいフレームレートの高い動画の監視画像を生成することができる。さらに、同図に示すように、監視レベルが下がる(監視の強化の程度が下がる)につれて、監視画像のフレームレートを低くすることができる。具体的に、監視レベルがレベル6である場合はフレームレートを20程度、監視レベルがレベル5である場合はフレームレートを10程度、監視レベルがレベル4である場合はフレームレートを5程度とすることができる。
なお、本実施形態におけるフレームレートは単位時間あたりに再生される画像数であるので、1である場合には静止画を得ることができ、フレームレートが30〜20程度である場合には動画の監視画像を得ることができ、フレームレートが10〜5程度である場合には、動画としての滑らかさは無いが、監視対象物体の動きをコマ送りで示すことができるストリーミング映像の監視画像を得ることができる。フレームレートの数値が上がるほど、滑らかで監視対象物体の動きが分かりやすい監視画像を得ることができる。他方、フレームレートの数値が上がるほど、外部端末装置800に送信するデータ量は大きくなり、通信コストも増加する。
本実施形態の制御装置10は、監視レベルが3以下の標準的な監視レベルである場合には、デフォルトのフレームレートで監視画像を生成することができる。図3に示す例では、監視レベルがレベル3である場合はフレームレートが1の静止画を生成することができる。本例では、デフォルトのフレームレートが単一である場合の例を示すが、2又は3の複数の値とすることも可能である。なお、レベル3〜レベル1については、共通のフレームレートを適用することができる。
なお、図3は、フレームレートの一例を示すものにすぎず、監視レベルに応じたフレームレートは任意に設定することができる。
以上のように、監視レベルに応じたフレームレートの監視画像を生成することにより、緊急性が高く監視対象物体の動きを追跡できる情報を得たい場合には、高いフレームレートの動画又はストリーミング映像の監視画像を生成することができる一方で、緊急性が低く車両周囲の状態が確認できればよい場合には、単一のフレームレートにより静的な状態だけしか分からないがデータ量の小さい監視画像を生成することができる。これにより、監視レベルによって異なる表示態様の監視画像を生成しつつ、動きを追跡する必要が無い場合には静止画を送ることによりデータ量を小さくすることができる。この結果、外部端末装置800に監視画像を送信するときの通信データ量の総量を低減させ、監視システム稼働時の通信コストを低減させることができる。
さらにまた、本実施形態の制御装置10は、監視レベルが検出された時刻が日没後である場合には、監視レベルに応じて求められた単位時間あたりのフレーム数を高く補正したフレームレートの監視画像を生成することができる。日没後は、一般に暗くなるので、鮮明な撮像画像を取得することが困難になる場合が多い。このため本実施形態の制御装置10は、図3に示す対応関係に基づいて求められたフレームレートを、日没後においては高く補正する。これにより、夜間であって、露光不足が懸念される場合にはフレームレートを増やして監視画像が不明瞭となることを防止し、監視対象物体の動きを明確に示す監視画像を提供することができる。
なお、日没後であるか否かを判断する手法としては、制御装置10が備える時計の時刻と地点に応じた日没時刻情報とを対比して求めてもよいし、車両に設けられた照度センサから車両周囲の明るさを検出してもよいし、カメラ1のCCD素子を用いて周囲の明るさを検出してもよい。
他方、制御装置10は、監視レベルが検出された時刻が日没前である場合には、監視レベルに応じて求められたフレームレートを維持又は低く補正することができる。
加えて、本実施形態の制御装置10は、監視対象物体を検出したカメラ1の撮像画像については、動きを追跡できる表示態様の監視画像を得る観点から、フレームレートを高くすることができる。具体的に制御装置10は、カメラ1により撮像された撮像画像に監視対象物体が含まれる場合には、監視レベルに応じて求められたフレームレートを高く補正した補正後のフレームレートの表示態様で、そのカメラ1により撮像された撮像画像の監視画像を生成することができる。
車両V又は車両Vの周囲の車両状況に異常が発生した場合や、監視対象物体が検出された場合には、その監視対象物体の動きを追跡することのできる監視画像が要求されるが、すべての監視画像を動画やストリーミング映像にする必要が無い場合がある。本実施形態では、監視対象物体に対応する画像を含む撮像画像を撮像したカメラ1a〜1dの何れかの撮像画像に基づく監視画像の表示態様のみを動画又はストリーミング映像とし、他のカメラ1a〜1dの撮像画像に基づく監視画像は静止画とすることにより、監視対象物体の動きを追跡可能としつつも、最終的に外部端末装置800へ送出する監視画像のデータ総量を低減させることができる。
さらに、本実施形態の制御装置10は、監視レベルが強化レベルであると判断された場合には、監視画像を生成する頻度を高くすることができる。車両V又は車両Vの周囲の車両状況に異常が発生した場合や、監視対象物体が検出された場合には、最新の監視画像が要求されるため、この要求に応じるべく、本実施形態の制御装置10は高い頻度で最新の監視画像を生成することができる。生成された監視画像が遂次外部端末装置800に送信されれば、ユーザは最新の車両の状況をリアルタイムで外部端末装置800により確認することができる。
最後に、本実施形態の制御装置10の通信機能について説明する。制御装置10は、生成された監視画像を含む情報を、公衆通信網として利用可能な通信回線900を用いて外部端末装置800へ送信することができる。制御装置10は、監視画像が動画である場合には、一つの動画ファイルとして記憶し、監視画像がストリーミング映像である場合にはストリーミング方式で転送・再生が可能形態で記憶することができる。
以下、本発明の本実施形態の車両監視システム1000の処理手順を説明する。図4は、本実施形態に係る車両監視システム1000の制御手順を示すフローチャートである。
ステップ10において、本実施形態の監視装置100の制御装置10は、監視開始タイミングであるか否かを判断する。本実施形態では、エンジンOFFで車両のキーが近くにない場合であって、ユーザが所持する外部端末装置800から監視画像の要求指令を受信したタイミングを監視開始タイミングとして認識し、監視処理を開始する。
ステップ11において、監視装置100は、車両V又はこの車両Vの周囲の状況を示す情報である車両状況情報を取得する。具体的に、監視装置100は、ドアの接触センサ、傾斜センサ、異常検知センサなどの各種の車両状況検出センサから異常発生信号を取得し、カメラ1により撮像された各撮像領域の撮像画像を取得する。
ステップ12において、制御装置10は、ドアの接触センサ、傾斜センサ、異常検知センサなどの各種の車両状況検出センサから異常発生信号を取得した場合には、ステップ17へ進む。
異常発生信号が検出されなかった場合には、ステップ13に進み、制御装置10は、カメラ1により撮像された撮像画像に基づいて、監視対象物体が存在するか否かを判断する。監視対象物体が存在すらしない場合には、ステップ16において監視画像要求を待機して、監視画像要求が入力されなければステップ11以降の処理を継続する。ステップ16において監視画像要求を受け付けた場合には、ステップ17へ進む。
ステップ13において監視対象物体が検出された場合には、ステップ14において監視対象物体が車両に接近しているか否かを判断する。ステップ14において、監視対象物体が検出されたものの、車両に接近していないと判断された場合にはステップ17へ進む。
他方、ステップ14において監視対象物体が検出され、かつその監視対象物体が車両に接近している場合には、さらに、ステップ15に進んで監視対象物体が車両周囲に所定時間以上滞在しているか否を判断する。ステップ15において、監視体対象物体が存在し、車両に接近しているが、車両周囲に所定時間以上滞在しなかった場合、及び監視体対象物体が存在し、車両に接近し、さらに車両周囲に所定時間以上滞在した場合のいずれの場合であっても、ステップ17へ進む。
ステップ17において、制御装置10は、ステップ12〜16の過程において取得した車両状況に基づいて車両Vの監視レベルを判断する。監視レベルの判断に際しては、図3に示す対応関係を参照することができる。
監視レベルを判断した後、ステップ18において、制御装置10は、監視レベルに応じたフレームレート又は表示態様を求める。監視レベルの判断に際しては、図3に示す対応関係を参照することができる。続くステップ19において、制御装置10は、算出したフレームレートに応じた表示態様の監視画像を生成する。生成した監視画像は、少なくとも一時的に記憶する。
ステップ20において、制御装置10は、生成した監視画像を含む情報を外部端末装置800へ送信し、ステップ21において監視処理の終了が判断されるまで処理が繰り返される。
外部端末装置800は、ステップ31において、監視装置100から送出された監視画像を通信装置810が受信し、ステップ32において画像処理装置820が必要な画像処理を実行し、ステップ33においてディスプレイ830が指定され表示態様の監視画像を含む情報を表示する。
なお、本実施形態では、監視装置100が車両Vに配置された場合を例にして説明したが、本発明の本実施形態に係る車両Vの監視方法を、カメラ1、通信装置400を制御可能なクライアント(コンピュータ・制御装置)と情報の授受が可能なサーバ(コンピュータ・制御装置)において処理の一部又は全部実行することもできる。サーバは、クライアントと離隔した場所に配置することができる。
以上のとおり構成され、動作する本発明の実施形態に係る監視装置100及び車両監視システム1000は、以下の効果を奏する。
本実施形態に係る監視装置100によれば、車両V又は車両Vの周囲の車両状況に基づいて判断された監視レベルに基づいて求められた表示態様で、車両Vに設置されたカメラ1により撮像された撮像画像の監視画像を外部端末装置800へ送信するので、監視の対象の映像を適切な表示態様で示すことができるとともに、カメラの撮像画像をそのままで送信する場合よりも、車両の周囲を監視するために送信される監視画像のデータ総量を低減させることができる。この結果、車両の監視のために必要な通信コストを低減させることができる。
本実施形態における車両Vの監視方法を使用した場合においても、監視装置100と同様の作用を奏し、同様の効果を得ることができる。
本実施形態に係る監視装置100によれば、カメラ1により撮像された撮像画像から監視対象物体の存在が検出された場合には、車両Vの監視レベルを強化レベルと判断し、通常のフレームレートよりも高いフレームレートの動画又はストリーミング映像の監視画像を外部端末装置800へ送信するので、監視を強化するときはフレームレートを高くして監視対象物体の動きを追跡できる動画又はストリーミング映像の監視画像を生成し、監視を強化する必要のないときはフレームレートを低くしてデータ量の小さい監視画像を生成することができる。この結果、車両の監視のために必要な通信コストを低減させることができる。
本実施形態に係る監視装置100によれば、カメラ1により撮像された撮像画像から車両Vに接近する監視対象物体が検出された場合には、車両Vの監視レベルを強化レベルと判断し、通常のフレームレートよりも高いフレームレートの動画又はストリーミング映像の監視画像を外部端末装置800へ送信するので、監視を強化するときはフレームレートを高くして監視対象物体の動きを追跡できる動画又はストリーミング映像の監視画像を生成し、監視を強化する必要のないときはフレームレートを低くしてデータ量の小さい監視画像を生成することができる。この結果、車両の監視のために必要な通信コストを低減させることができる。
本実施形態に係る監視装置100によれば、カメラ1により撮像された撮像画像から車両Vの近傍領域に所定時間以上滞在する監視対象物体が検出された場合には、車両Vの監視レベルを強化レベルと判断し、通常のフレームレートよりも高いフレームレートの動画又はストリーミング映像の監視画像を外部端末装置800へ送信するので、監視を強化するときはフレームレートを高くして監視対象物体の動きを追跡できる動画又はストリーミング映像の監視画像を生成し、監視を強化する必要のないときはフレームレートを低くしてデータ量の小さい監視画像を生成することができる。この結果、車両の監視のために必要な通信コストを低減させることができる。
本実施形態に係る監視装置100によれば、車両Vから異常発生信号を取得した場合には、車両Vの監視レベルを強化レベルと判断し、通常のフレームレートよりも高いフレームレートの動画又はストリーミング映像の監視画像を外部端末装置800へ送信するので、監視を強化するときはフレームレートを高くして監視対象物体の動きを追跡できる動画又はストリーミング映像の監視画像を生成し、監視を強化する必要のないときはフレームレートを低くしてデータ量の小さい監視画像を生成することができる。この結果、車両の監視のために必要な通信コストを低減させることができる。
本実施形態に係る監視装置100によれば、外部端末装置800から監視画像の要求を取得した場合には、車両Vの監視レベルを標準レベルであると判断し、標準のフレームレート以下の表示態様の監視画像を外部端末装置800へ送信するので、監視を強化する必要のないときはフレームレートを低くしてデータ量の小さい監視画像を生成することができる。この結果、車両の監視のために必要な通信コストを低減させることができる。
本実施形態に係る監視装置100によれば、監視レベルが検出された時刻が日没後である場合にはフレームレートを高く補正した撮像画像の監視画像を外部端末装置800へ送信するので、夜間であって、露光不足が懸念される場合にはフレームレートを低くして監視画像が不明瞭となることを防止することができる。
本実施形態に係る監視装置100によれば、監視対象物体が含まれる撮像画像を撮像したカメラ1により撮像された撮像画像を、監視レベルに応じて求められた圧フレームレートを高くした補正後の表示態様の監視画像を外部端末装置800へ送信するので、監視対象物体に対応する画像を含む撮像画像を撮像したカメラ1の撮像画像のみをフレームレートの高い動画又はストリーミング映像で生成し、他の撮像画像はフレームレートの低い静止画で生成することにより、最終的に外部端末装置800へ送出する監視画像のデータ総量を低減させることができる。
本実施形態に係る監視装置100によれば、監視レベルが強化レベルであると判断された場合には、監視画像を生成する頻度を高くすることができるので、最新の監視画像が要求される監視強化時に、高い頻度で最新の監視画像を生成し、遂次外部端末装置800に送信することができるので、ユーザは最新の車両の状況を外部端末装置800により確認することができる。
<第2実施形態>
続いて、第2実施形態の監視装置100及びこの監視装置100を備える車両用監視システムについて説明する。第2実施形態の監視装置100及び車両監視システム1000の構成は、図1及び図2に示す第1実施形態の監視装置100及び車両監視システム1000の構成と基本的に共通するので、共通する点については第1実施形態における説明を援用し、以下には異なる点を中心に説明する。
続いて、第2実施形態の監視装置100及びこの監視装置100を備える車両用監視システムについて説明する。第2実施形態の監視装置100及び車両監視システム1000の構成は、図1及び図2に示す第1実施形態の監視装置100及び車両監視システム1000の構成と基本的に共通するので、共通する点については第1実施形態における説明を援用し、以下には異なる点を中心に説明する。
以下、本発明の本実施形態に係る監視装置100が実現する監視レベル判断機能、監視画像生成機能、送信機能の各機能について説明する。
まず、監視レベル判断機能について説明する。本実施形態の監視装置100の制御装置10は、車両V又は車両Vの周囲の状況を示す情報(信号)を検出し、検出された車両状況(車両状況に応じた情報)に基づいてこの車両Vの監視レベルを判断する。
本実施形態の制御装置10は、カメラ1a〜1dにより撮像された撮像画像から「車両Vの周囲に存在する監視対象物体」が検出された場合には、車両に危険が発生する可能性が高いと考えられる。本実施形態における監視対象物体とは、例えば人間のように、高さのある物体であり、かつ移動可能な物体である。制御装置10は、カメラ1の撮像画像から所定の高さ以上の物体に対応する画像が検出され、その画像の位置が経時的に変化する場合には、監視対象物体が検出されたと判断することができる。これらの処理には、先述した画像処理コントロールユニット(Image Processing Control Unit: IPCU)を用いることができる。また、制御装置10は、近接センサ2a〜2dの検出結果を利用して移動する監視対象物体の存在を検出することができる。
また、本実施形態の制御装置10は、カメラ1により撮像された撮像画像を経時的に分析し、撮像画像から「車両Vに接近する監視対象物体」が検出された場合には、車両に危険が発生する可能性が高いと考えられる。制御装置10は、撮像画像から検出された監視対象物体に対応する画像の面積が経時的に大きくなる、又は近接センサ2a〜2dが検出する監視対象物体の存在距離が経時的に小さくなることにより監視対象物体が車両Vに接近しているか否かを判断することができる。
本実施形態の制御装置10は、カメラ1により撮像された撮像画像から「車両Vの近傍領域に所定時間以上滞在する監視対象物体」が検出された場合には、車両に危険が発生する可能性が高いと考えられる。制御装置10は、撮像画像から検出された監視対象物体に対応する画像の面積が所定時間に渡って所定値域以上である、又は近接センサ2a〜2dが検出する監視対象物体の存在距離が所定時間に渡って所定値未満であることにより、監視対象物体が車両V周囲に滞在しているか否かを判断することができる。
さらに、本実施形態の制御装置10は、車両Vが備える各種の車両状況検出センサから異常発生信号を取得した場合には、車両に危険が発生する可能性が高いと考えられる。車両Vが備える異常検出センサとしては、エンジンオフ時に人体などが車両に接触したことを検出する接触センサ、エンジンオフ時にドアの解錠(こじ開け)を検出する解錠センサ、エンジンオフ時に人体が車両に力をかける、人体が車両に乗り込むなどの状態における車両の傾きを検出する傾斜センサ、など、出願時に知られている車両の監視センサを用いることができる。
他方、本実施形態の制御装置10は、カメラ1の撮像画像から監視対象物体が検出されず、あるいは監視対象物体が検出されても車両Vから遠ざかっていく場合や、車両から異常発生信号を受信しない場合には、車両に危険が発生する可能性が高くないと判断することができる。
上述のように、制御装置10は、検出された車両状況に基づいて、車両状況と監視レベルとを予め対応づけることができる。図5は、車両状況と監視レベルとの対応関係の一例を示す図である。図5に示すように、車両から異常発生信号を取得した場合には、すでに車両に異常が発生しており緊急性が高い状態であると考えられるので監視レベルは最も強化されたレベル7と判断し、カメラ1の撮像画像から検出された監視対象物体が車両の近傍で所定時間以上滞在している場合には、車両のドアを開けようとしているなど車両に危害を加える蓋然性が高い状態であると考えられるので監視レベルは次に強化されたレベル6と判断し、カメラ1の撮像画像から検出された監視対象物体が車両に接近している場合には、車両の様子を伺うなど車両を物色している可能性が高い状態であると考えられるので監視レベルはその次に強化されたレベル5と判断し、カメラ1の撮像画像から監視対象物体が検出された場合には、不審者が車両に触れるなどの事態が考えられるので監視レベルはその次のレベル4と判断することができる。特に限定されないが、以上のレベル7〜レベル4を、監視を強化するべき強化レベルとして定義することができる。監視レベルが高くなるにつれて、監視を強化する強化レベルを示す数値が大きくなる。
また、同図に示すように、カメラ1の撮像画像から検出された監視対象物体が車両から離隔している場合には、監視対象物体は車両の傍を通り過ぎる通行人であると考えられるので監視レベルはその次のレベル3と判断することができ、カメラ1の撮像画像から検出された物体が静止物体である場合には、建造物などが検出されたと考えられるので監視レベルはさらに低いレベル2と判断し、ユーザの外部端末装置800から監視画像の要求指令を受け付けた場合は、特に車両の状況に基づく状況ではないため、監視レベルをさらに低いレベル1と判断することができる。特に限定されないが、以上のレベル3〜レベル1を通常の監視を行えばよい標準レベルとして定義することができる。
続いて、本実施形態の監視装置100の監視画像生成機能について説明する。本実施形態の制御装置10は、判断された監視レベルに応じて算出されたデータの圧縮率で、カメラ1により撮像された撮像画像を圧縮した監視画像を生成する。
本実施形態の制御装置10は、前述したように監視レベルが強化レベル(例えば、図5に示すレベル7〜4)であると判断された場合には、この強化レベルに応じて、強化レベルではない場合に適用される標準圧縮率(デフォルトの圧縮率)よりも低い圧縮率でカメラ1の撮像画像を圧縮した監視画像を生成することができる。これにより、監視レベルが高いと判断され、監視を強化するために画質の良い詳細な監視画像が要求された場合において、データの圧縮率が低い画質の良い監視画像を生成・提供することができる。
また、本実施形態の制御装置10は、前述したように監視レベルが標準レベル(例えば、図5に示すレベル3〜1)であると判断された場合には、この標準レベルに応じて、通常の監視時(監視レベルを強化しない時)に適用される標準圧縮率(デフォルトの圧縮率)以上の圧縮率でカメラ1の撮像画像を圧縮した監視画像を生成することができる。
特に限定されないが、本実施形態の制御装置10は、先述した図5に示すように、監視レベルがレベル7である場合は、圧縮率を100%、つまり撮像画像そのままの状態の監視画像を生成する。つまり、監視レベルが高いときには、撮像画像の画質を低下させない監視画像を生成することができる。さらに、同図に示すように、監視レベルが下がる(監視の強化の程度が下がる)につれて、監視画像を生成する際の圧縮率を高くすることができる。具体的に、監視レベルがレベル6である場合は圧縮率を90%、監視レベルがレベル5である場合は圧縮率を80%、監視レベルがレベル4である場合は圧縮率を70%とすることができる。なお、本実施形態における圧縮率は圧縮の程度であるので、圧縮率100%である場合には元の画像データと同じ画像データを得ることができ、圧縮率が50%である場合には元の画像データを半分に低減させることになる。つまり、圧縮率の数値が下がるほど、圧縮の程度が高くなる。
本実施形態の制御装置10は、監視レベルが3以下の標準的な監視レベルである場合には、デフォルトの標準圧縮率以下の圧縮率で監視画像を生成することができる。図5に示す例では、監視レベルがレベル3である場合は圧縮率が60%、監視レベルがレベル2である場合は圧縮率が50%、監視レベルがレベル1である場合は圧縮率が40%とすることができる。レベル3〜レベル1については、共通の標準圧縮率を適用してもよい。
なお、図5は、圧縮率の一例を示すものにすぎず、監視レベルに応じた圧縮率、標準圧縮率は任意に設定することができる。
以上のように、監視レベルに応じた圧縮率で撮像画像を圧縮して監視画像を生成することにより、緊急性が高く詳細な情報を得たい場合には、低い圧縮率により画質の高い監視画像を生成することができる一方で、緊急性が低く詳細な情報が必要無い場合には、高い圧縮率により画質は低くてもデータ量の小さい監視画像を生成することができる。これにより、監視レベルによって異なる情報の詳細度に適した監視画像を生成しつつ、詳細な情報を必要としない場合には圧縮によりデータ量を小さくすることができる。この結果、外部端末装置800に監視画像を送信するときの通信データ量の総量を低減させ、監視システム稼働時の通信コストを低減させることができる。
さらにまた、本実施形態の制御装置10は、監視レベルが検出された時刻が日没後である場合には、監視レベルに応じて求められた圧縮率の値を低く補正した補正後の圧縮率で撮像画像を圧縮することができる。日没後は、一般に暗くなるので、鮮明な撮像画像を取得することが困難になる場合が多い。このため本実施形態の制御装置10は、図5に示す対応関係に基づいて求められた圧縮率を、日没後においては低く補正する。これにより、夜間であって、露光不足が懸念される場合には圧縮率を低くして監視画像が不明瞭となることを防止することができる。
なお、日没後であるか否かを判断する手法としては、制御装置10が備える時計の時刻と地点に応じた日没時刻情報とを対比して求めてもよいし、車両に設けられた照度センサから車両周囲の明るさを検出してもよいし、カメラ1のCCD素子を用いて周囲の明るさを検出してもよい。
他方、制御装置10は、監視レベルが検出された時刻が日没前である場合には、監視レベルに応じて求められた圧縮率の値を維持又は高く補正することができる。
加えて、本実施形態の制御装置10は、監視対象物体を検出したカメラ1の撮像画像については、詳細な監視画像を得る観点から、圧縮率を低くすることができる。具体的に制御装置10は、カメラ1により撮像された撮像画像に監視対象物体が含まれる場合には、監視レベルに応じて求められた圧縮率を低く補正した補正後の圧縮率でそのカメラ1により撮像された撮像画像を圧縮した監視画像を生成することができる。
車両V又は車両Vの周囲の車両状況に異常が発生した場合や、監視対象物体が検出された場合には、詳細な監視画像が要求されるが、すべての監視画像を詳細にする必要が無い。本実施形態では、監視対象物体に対応する画像を含む撮像画像を撮像したカメラ1a〜1dの何れかの撮像画像のみを低い圧縮率で圧縮し、他のカメラ1a〜1dの撮像画像は高い圧縮率で圧縮することにより、監視対象物体を捉えた監視画像を高画質としつつ、最終的に外部端末装置800へ送出する監視画像のデータ総量を低減させることができる。
さらに、本実施形態の制御装置10は、監視レベルが強化レベルであると判断された場合には、監視画像を生成する頻度を高くすることができる。車両V又は車両Vの周囲の車両状況に異常が発生した場合や、監視対象物体が検出された場合には、最新の監視画像が要求されるため、この要求に応じるべく、本実施形態の制御装置10は高い頻度で最新の監視画像を生成することができる。生成された監視画像が遂次外部端末装置800に送信されれば、ユーザは最新の車両の状況をリアルタイムで外部端末装置800により確認することができる。
最後に、本実施形態の制御装置10の通信機能について説明する。制御装置10は、生成された監視画像を含む情報を、公衆通信網として利用可能な通信回線900を用いて外部端末装置800へ送信することができる。監視画像は、一つの動画ファイルとして記憶してもよいし、ストリーミング方式で転送・再生が可能形態で記憶してもよい。
以下、本発明の本実施形態の車両監視システム1000の処理手順を説明する。図6は、本実施形態に係る車両監視システム1000の制御手順を示すフローチャートである。
ステップ10において、本実施形態の監視装置100の制御装置10は、監視開始タイミングであるか否かを判断する。本実施形態では、エンジンOFFで車両のキーが近くにない場合であって、ユーザが所持する外部端末装置800から監視画像の要求指令を受信したタイミングを監視開始タイミングとして認識し、監視処理を開始する。
ステップ11において、制御装置10は、車両V又はこの車両Vの周囲の状況を示す情報である車両状況情報を取得する。具体的に、監視装置100は、ドアの接触センサ、傾斜センサ、異常検知センサなどの各種の車両状況検出センサから異常発生信号を取得し、カメラ1により撮像された各撮像領域の撮像画像を取得する。
ステップ12において、制御装置10は、ドアの接触センサ、傾斜センサ、異常検知センサなどの各種の車両状況検出センサから異常発生信号を取得した場合には、ステップ17へ進む。
異常発生信号が検出されなかった場合には、ステップ13に進み、制御装置10は、カメラ1により撮像された撮像画像に基づいて、監視対象物体が存在するか否かを判断する。監視対象物体が存在すらしない場合には、ステップ16において監視画像要求を待機して、監視画像要求が入力されなければステップ11以降の処理を継続する。ステップ16において監視画像要求を受け付けた場合には、ステップ17へ進む。
ステップ13において監視対象物体が検出された場合には、ステップ14において監視対象物体が車両に接近しているか否かを判断する。ステップ14において、監視対象物体が検出されたものの、車両に接近していないと判断された場合にはステップ17へ進む。
他方、ステップ14において監視対象物体が検出され、かつその監視対象物体が車両に接近している場合には、さらに、ステップ15に進んで監視対象物体が車両周囲に所定時間以上滞在しているか否を判断する。ステップ15において、監視体対象物体が存在し、車両に接近しているが、車両周囲に所定時間以上滞在しなかった場合、及び監視体対象物体が存在し、車両に接近し、さらに車両周囲に所定時間以上滞在した場合のいずれの場合であっても、ステップ17へ進む。
ステップ17において、制御装置10は、ステップ12〜16の過程において取得した車両状況に基づいて車両Vの監視レベルを判断する。監視レベルの判断に際しては、図5に示す対応関係を参照することができる。
監視レベルを判断した後、ステップ18において、制御装置10は、監視レベルに応じた圧縮率を算出する。監視レベルの判断に際しては、図5に示す対応関係を参照することができる。続くステップ19において、制御装置10は、算出した圧縮率で撮像画像を圧縮した監視画像を生成する。生成した監視画像は、少なくとも一時的に記憶する。
ステップ20において、制御装置10は、生成した監視画像を含む情報を外部端末装置800へ送信し、ステップ21において監視処理の終了が判断されるまで処理が繰り返される。
外部端末装置800は、ステップ31において、監視装置100から送出された監視画像を通信装置810が受信し、ステップ32において画像処理装置820が必要な画像処理を実行し、ステップ33においてディスプレイ830が監視画像を含む情報を表示する。
なお、本実施形態では、監視装置100が車両Vに配置された場合を例にして説明したが、本発明の本実施形態に係る車両Vの監視方法を、カメラ1、通信装置400を制御可能なクライアント(コンピュータ・制御装置)と情報の授受が可能なサーバ(コンピュータ・制御装置)において処理の一部又は全部実行することもできる。サーバは、クライアントと離隔した場所に配置することができる。
以上のとおり構成され、動作する本発明の実施形態に係る監視装置100及び車両監視システム1000は、以下の効果を奏する。
本実施形態に係る監視装置100によれば、車両V又は車両Vの周囲の車両状況に基づいて判断された監視レベルに応じて算出された圧縮率で、車両Vに設置されたカメラ1により撮像された撮像画像を圧縮した監視画像を外部端末装置800へ送信するので、常に一定の圧縮率で送出する場合よりも、車両の周囲を監視するために送信される監視画像のデータ総量を低減させることができる。この結果、車両の監視のために必要な通信コストを低減させることができる。
本実施形態における車両Vの監視方法を使用した場合においても、監視装置100と同様の作用を奏し、同様の効果を得ることができる。
本実施形態に係る監視装置100によれば、カメラ1により撮像された撮像画像から監視対象物体の存在が検出された場合には、車両Vの監視レベルを強化レベルと判断し、通常の標準圧縮率よりも低い圧縮率で撮像画像を圧縮した監視画像を外部端末装置800へ送信するので、監視を強化するときは圧縮率を低くして画質の良い監視画像を生成し、監視を強化する必要のないときは圧縮率を高めてデータ量の小さい監視画像を生成することができる。この結果、車両の監視のために必要な通信コストを低減させることができる。
本実施形態に係る監視装置100によれば、カメラ1により撮像された撮像画像から車両Vに接近する監視対象物体が検出された場合には、車両Vの監視レベルを強化レベルと判断し、通常の標準圧縮率よりも低い圧縮率で撮像画像を圧縮した監視画像を外部端末装置800へ送信するので、監視を強化するときは圧縮率を低くして画質の良い監視画像を生成し、監視を強化する必要のないときは圧縮率を高めてデータ量の小さい監視画像を生成することができる。この結果、車両の監視のために必要な通信コストを低減させることができる。
本実施形態に係る監視装置100によれば、カメラ1により撮像された撮像画像から車両Vの近傍領域に所定時間以上滞在する監視対象物体が検出された場合には、車両Vの監視レベルを強化レベルと判断し、通常の標準圧縮率よりも低い圧縮率で撮像画像を圧縮した監視画像を外部端末装置800へ送信するので、監視を強化するときは圧縮率を低くして画質の良い監視画像を生成し、監視を強化する必要のないときは圧縮率を高めてデータ量の小さい監視画像を生成することができる。この結果、車両の監視のために必要な通信コストを低減させることができる。
本実施形態に係る監視装置100によれば、車両Vから異常発生信号を取得した場合には、車両Vの監視レベルを強化レベルと判断し、通常の標準圧縮率よりも低い圧縮率で撮像画像を圧縮した監視画像を外部端末装置800へ送信するので、監視を強化するときは圧縮率を低くして画質の良い監視画像を生成し、監視を強化する必要のないときは圧縮率を高めてデータ量の小さい監視画像を生成することができる。この結果、車両の監視のために必要な通信コストを低減させることができる。
本実施形態に係る監視装置100によれば、外部端末装置800から監視画像の要求を取得した場合には、車両Vの監視レベルを標準レベルであると判断し、標準圧縮率以上の圧縮率で撮像画像を圧縮した監視画像を外部端末装置800へ送信するので、監視を強化する必要のないときは圧縮率を標準圧縮率以上にしてデータ量の小さい監視画像を生成することができる。この結果、車両の監視のために必要な通信コストを低減させることができる。
本実施形態に係る監視装置100によれば、監視レベルが検出された時刻が日没後である場合には圧縮率を低く補正して撮像画像を圧縮した監視画像を外部端末装置800へ送信するので、夜間であって、露光不足が懸念される場合には圧縮率を低くして監視画像が不明瞭となることを防止することができる。
本実施形態に係る監視装置100によれば、監視対象物体が含まれる撮像画像を撮像したカメラ1により撮像された撮像画像を、監視レベルに応じて求められた圧縮率を低く補正した補正後の圧縮率で圧縮した監視画像を外部端末装置800へ送信するので、監視対象物体に対応する画像を含む撮像画像を撮像したカメラ1の撮像画像のみを低い圧縮率で圧縮し、他の撮像画像は高い圧縮率で圧縮することにより、最終的に外部端末装置800へ送出する監視画像のデータ総量を低減させることができる。
本実施形態に係る監視装置100によれば、監視レベルが強化レベルであると判断された場合には、監視画像を生成する頻度を高くすることができるので、最新の監視画像が要求される監視強化時に、高い頻度で最新の監視画像を生成し、遂次外部端末装置800に送信することができるので、ユーザは最新の車両の状況を外部端末装置800により確認することができる。
なお、以上説明したすべての実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
本明細書では、本発明に係る車両用監視装置の一態様として監視装置100及び車両監視システム1000を例にして説明するが、本発明はこれに限定されるものではない。
また、本明細書では、本発明に係る車両用監視装置の一態様として、CPU11、ROM12、RAM13を含む制御装置10を備える監視装置100を一例として説明するが、これに限定されるものではない。
また、本明細書では、カメラと、監視レベル判断手段と、監視画像生成手段と、送信手段を有する本発明に係る車両用監視装置の一態様として、カメラ1と、監視レベル判断機能、監視画像生成機能、送信機能を備える制御装置10を備える監視装置100を説明するが、これに限定されるものではない。
本明細書では、本発明に係る車両用監視システムの一態様として、本願発明に係る監視装置100と、車両コントローラ200と、通信装置400と、外部端末装置800とを備えた車両監視システム1000を例にして説明するが、本発明はこれに限定されるものではない。
なお、以上説明したすべての実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
本明細書では、本発明に係る車両用監視装置の一態様として監視装置100及び車両監視システム1000を例にして説明するが、本発明はこれに限定されるものではない。
また、本明細書では、本発明に係る車両用監視装置の一態様として、CPU11、ROM12、RAM13を含む制御装置10を備える監視装置100を一例として説明するが、これに限定されるものではない。
また、本明細書では、カメラと、監視レベル判断手段と、監視画像生成手段と、送信手段を有する本発明に係る車両用監視装置の一態様として、カメラ1と、監視レベル判断機能、監視画像生成機能、送信機能を備える制御装置10を備える監視装置100を説明するが、これに限定されるものではない。
本明細書では、本発明に係る車両用監視システムの一態様として、本願発明に係る監視装置100と、車両コントローラ200と、通信装置400と、外部端末装置800とを備えた車両監視システム1000を例にして説明するが、本発明はこれに限定されるものではない。
<第3実施形態>
先述したように、ドアの接触センサなどが検知した外部からの刺激を検知した場合には、カメラに周囲を撮像させ、その画像情報を外部の携帯電話等に転送する防犯装置が知られているが、カメラの撮像画像をそのまま送信すると通信データの量が多く、通信時間及び通信コストの負担が大きいという問題がある。
先述したように、ドアの接触センサなどが検知した外部からの刺激を検知した場合には、カメラに周囲を撮像させ、その画像情報を外部の携帯電話等に転送する防犯装置が知られているが、カメラの撮像画像をそのまま送信すると通信データの量が多く、通信時間及び通信コストの負担が大きいという問題がある。
本実施形態の移動体監視装置は、監視対象とするべき物体が検出された場合には、その監視対象物体に応じた画像を含む撮像画像に基づいて生成された動画像を外部へ送信する。
これにより、本実施形態の車両監視システム1000は、移動体の周囲に監視対象物体が検出された場合にのみ動画像を外部の端末に送信するので、移動体の周囲を監視するために送信される監視画像のデータ総量を低減させることができる。この結果、移動体の監視のために必要な通信コストを低減させることができる。
以下、本発明の第3の実施形態を図面に基づいて説明する。本実施形態では、本発明に係る車両用監視装置を、車両を監視するための車両監視システム1000に適用した場合を例にして説明する。本実施形態においては、移動体が車両である場合を例にして説明する。なお、監視の対象となる移動体は車両に限定されず、本発明に係る車両用監視装置は二輪車、船、重機、フォークリフト等を監視することもできる。
図7は、本実施形態に係る監視装置100を含む車両監視システム1000のブロック構成図である。図7に示すように、本実施形態の車両監視システム1000は、車両に設置された4つのカメラ1a〜1dと(以下、カメラ1と総称することもある)を備えている。
図8は、カメラ1a〜1dを車両Vに取り付ける場合の配置例を示す図である。カメラ1a〜1dはCCD(Charge Coupled Devices)等の撮像素子を用いて構成され、車両Vの外部の異なる位置に各々設置され、車両周囲の4方向の画像をそれぞれ撮影する。例えば、図8に示すように、フロントグリル近傍などの車両Vの前方の所定位置に設置されたカメラ1aは、車両Vの前方のエリアSP1内及びその前方の空間に存在する物体又は路面の画像(以下、フロントビュー画像という)を撮影する。左サイドミラーなどの車両Vの左側方の所定位置に設置されカメラ1dは、車両Vの左側方のエリアSP2内及びその周囲の空間に存在する物体又は路面の画像(以下、左サイドビュー画像という)を撮影する。ルーフスポイラーなどの車両Vの後方の所定位置に設置されたカメラ1cは、車両Vの後方のエリアSP3内及びその後方の空間に存在する物体又は路面の画像(以下、リアビュー画像という)を撮影する。右サイドミラーなどの車両Vの右側方の所定位置に設置されたカメラ1bは、車両Vの右側方のエリアSP4内及びその周囲の空間に存在する物体又は路面の画像(以下、右サイドビュー画像という)を撮影する。制御装置10は、カメラ1a〜1dによって撮像された撮像画像をそれぞれ取得する。なお、カメラ1の配置数及び配置位置は、車両Vの大きさ、形状、検出領域の設定手法等に応じて適宜に決定することができる。上述した複数のカメラ1は、それぞれのアドレス(配置)に応じた識別子が付されており、制御装置10は、各識別子に基づいて各カメラ1のそれぞれを識別することができる。また、制御装置10は、識別子を付することにより、特定のカメラ1に起動命令その他の命令を送出することができる。
なお、図8に示すように、カメラ1a〜1dの近傍に、近接センサ2a〜2dを配置することができる。近接センサ2a〜2dは、車両V周囲の所定領域に物体が存在するか、又は車両周囲の物体が車両Vに接近しているか又は離隔しているかを検出することができる、超音波センサ、赤外線センサ、静電センサなどである。
また、本実施形態の車両監視システム1000は、さらに、監視装置100と、車両コントローラ200と、通信装置400と、外部端末装置800と、を有する。この車両監視システム1000は、車両コントローラ200と情報の授受が可能なイグニッションスイッチ300を備えることができる。これらの各装置はCAN(Controller Area Network)その他の車載LANによって接続され、相互に情報の授受を行うことができる。
本実施形態の車両監視システム1000において、監視装置100は、通信装置400を介して携帯電話、スマートフォンその他の通信装置810を備える外部端末装置800(コンピュータ)と相互に通信が可能である。外部端末装置800は、監視装置100から通信装置810を介して監視画像を含む監視情報を取得する。また、外部端末装置800は、取得した監視画像に基づいて表示用画像を生成する画像処理装置820と、生成された表示用画像を表示するディスプレイ830とを有する。外部端末装置800を所持するユーザは、監視装置100から送出された車両の監視画像を、外部端末装置800のディスプレイ830で見ることができる。
図9は、外部端末装置800における表示用の監視画像Q´の表示例を示す図である。図9に示す表示用の監視画像Q´は、カメラ1aの撮像画像に基づく監視画像R1と、カメラ1bの撮像画像に基づく監視画像R2と、カメラ1cの撮像画像に基づく監視画像R3と、カメラ1dの撮像画像に基づく監視画像R4と、車両Vを上方の視点から見た場合の仮想の車両モデル画像R0とを含む。監視画像R1〜R4は状態変化を連続的に示す動画像であってもよいし、一時的な状態を示す静止画像であってもよい。また、監視画像R1〜R4の一部を動画像とし他を静止画像として表示することも可能である。このような監視画像Qにより、ユーザは車両Vから離隔した場所に居ても、車両Vの周囲の状態を監視することができる。
また、図7のブロック図に示すように、本実施形態に係る監視装置100の制御装置10は、監視画像を生成して外部の端末装置に送出するプログラムが格納されたROM(Read Only Memory)12と、このROM12に格納されたプログラムを実行することで、監視装置100として機能する動作回路としてのCPU(Central Processing Unit)11と、アクセス可能な記憶装置として機能するRAM(Random Access Memory)13と、を備えている。
本実施形態に係る監視装置100の制御装置10は、監視画像生成機能と、送信機能とを実現するためのソフトウェアと、上述したハードウェアの協働により各機能を実行することができる。本実施形態では、制御装置10が各制御命令を送出する態様を例にして説明するが、本実施形態の制御装置10は、車両コントローラ200を介してカメラ1、通信装置400を制御することも可能である。
特に限定されないが、本実施形態の監視装置100は、イグニッションスイッチ300に入力されたエンジンのオフ信号が入力され、通信機能を有する車両Vの電子キーが車両Vの近傍に存在しない場合(電子キーを携帯するユーザが車両Vから離れている場合)であって、ユーザの端末装置800から監視画像の要求指令を受け付けた場合に監視処理を開始することができる。なお、監視処理のトリガはこれに限定されず、監視装置100は、不図示のソナーが車両Vの周囲に物体を検出したとき、ドアの接触センサがドアへの接触を検出したとき、傾斜センサが車両の傾き(乗り込み)を検出したとき、異常検知センサがドアのこじ開けや窓が割られたなどの異常を検知したとき、カメラ1の撮像画像から車両などの移動体が検出されたとき、監視装置100のスイッチ(図示せず)に入力信号が入力されたときなどに監視処理を開始することができる。
また、第3実施形態に係る監視装置100は、画像処理コントロールユニット(Image Processing Control Unit: IPCU)を備える。制御装置10は、画像処理コントロールユニットを用いて、各カメラ1の撮像画像を解析し、撮像画像のデータから物体に対応する画像を抽出し、さらに抽出した画像の移動量に基づいて物体の移動量を算出することができる。また、制御装置10は、撮像画像の変化から物体の経時的な物体の位置の変化を算出することができる。この経時的な物体の位置の変化に基づいて、制御装置10は、車両Vの周囲に存在する物体が監視すべき監視対象物体であるか否かを判断することができる。例えば、制御装置10は、撮像画像から検出された移動物体が車両Vの近傍に所定時間以上滞在している場合は、その物体を監視対象物体として検出し、検出後に監視対象物体を含む撮像画像を制御装置10内の画像メモリに時間情報とともに記憶することができる。なお、これらの画像処理には、出願時において知られた手法を用いることができる。
以下、本発明の本実施形態に係る監視装置100が実現する各機能について説明する。
まず、第3実施形態に係る監視装置100の監視画像生成機能について説明する。本実施形態に係る監視装置100の制御装置10は、先述の画像処理コントロールユニット(Image Processing Control Unit: IPCU)を用いて、カメラ1a〜1dにより撮像された撮像画像から車両などの移動体の周囲に監視対象物体が存在するか否かを判断し、監視対象物体の存在が検出された場合には、監視対象物体に応じた画像を含む撮像画像に基づいて、車両などの移動体の周囲の状態変化を連続的に示す動画像を監視画像として生成する。本実施形態における動画像は、単位時間内に複数の画像が順次表示される画像情報であり、監視領域の状態変化を示すことができる。
制御装置10は、監視対象物体の存在が検出された場合に、監視対象物体が検出された後、所定時間Tに撮像された複数の撮像画像を監視タイミング(撮像タイミング)と対応づけて監視画像として記憶する。監視装置100は、動画像の監視画像を必要に応じて圧縮して記憶する。監視画像は、一つの動画ファイルとして記憶してもよいし、ストリーミング方式で転送・再生が可能形態で記憶してもよい。
さらに、第3実施形態に係る監視装置100は、撮像画像に基づいて算出された監視対象物体の移動速度(単位時間当たりの移動量)が所定値よりも小さい場合には、動画像の単位時間あたりに含まれる画像数であるフレームレートを低減させて監視画像を生成する。つまり、監視対象物体の移動速度が小さい場合には、動きに応じてフレームレートを低減させる。これにより、監視対象物体の移動量が小さい場合には、過剰なフレームレートの動画像を送らないようにして、監視時において送信する動画像のデータ量を低減させることができる。他方、監視対象物体の移動速度が所定値以上である場合には、その動きの速さに応じて相対的に高いフレームレートの動画像を送り、監視対象物体の動きを詳細に示す監視画像を生成することができる。
また、本実施形態に係る監視装置100の制御装置10は、車両などの移動体の周囲に監視対象物体が検出されない場合には、車両などの移動体の周囲の一時的な状態を示す静止画像を監視画像として生成する。制御装置10は、生成した静止画像の監視画像を必要に応じて圧縮して記憶することができる。
以下、本発明の本実施形態の車両監視システム1000の処理手順を説明する。図10は、第3実施形態に係る車両監視システム1000の制御手順を示すフローチャート図である。
先に監視装置100の動作を説明する。ステップ10において、第3実施形態の監視装置100の制御装置10は、監視開始タイミングであるか否かを判断する。本実施形態では、エンジンOFFで車両のキーが近くにない場合であって、ユーザが所持する端末装置800から監視画像の要求指令を受信したタイミングを監視開始タイミングとして認識し、監視処理を開始する。監視開始タイミングは限定されず、車両のドアの接触センサ、傾斜センサ、車両の異常検出センサなどが異常を検出したタイミングに、監視処理を開始することができる。
ステップ20において、監視装置100は、カメラ1a〜1dに各撮像領域の撮像を開始させ、撮像画像を取得する。
続くステップ30において、監視装置100は、カメラ1から取得した撮像画像が最初のものであるか否かを判断する。取得した撮像画像が撮影開始直後の最初の撮像画像である場合は、ステップ40に進み、最初の撮像画像を基準監視画像G0として記憶するとともに、外部の端末装置800へ送信し、次の撮像画像を待機する。基準監視画像G0とは、車両Vの周囲を監視する際の基準となる基準監視タイミングt0において取得される撮像画像である。本例では、最初の撮像画像を基準監視画像G0としたが、これに限定されず、所定の条件を満たす基準監視タイミングt0における撮像画像を基準監視画像G0として定義することができる。
一方、ステップ30において取得した撮像画像が最初の撮像画像でない場合は、ステップ50へ進み、監視装置100は、撮像画像の画像データの変化量に基づいて監視対象物体が存在するか否かを判断する。監視対象物体の存在を判断する際には、今回取得された撮像画像と基準監視画像G0を比較してもよいし、今回取得された監視画像と前回取得された撮像画像とを比較してもよい。
監視対象物体が検出された場合には、ステップ60へ進み、監視装置100は、監視対象物体に応じた画像を含む撮像画像に基づいて、車両Vの周囲の状態変化を連続的に示す動画像を監視画像として生成する。つまり、動画で表される監視画像には監視対象物体の像が含まれている。本実施形態の監視装置100は、監視対象物体の存在が検出された画像を撮像したカメラ1a〜1dを特定し、そのカメラ1a〜1dの撮像画像に基づいて監視画像を生成することができる。
監視画像の生成後はステップ80へ進むが、ステップ80の処理を行う前にステップ61及び62の処理を行うことができる。具体的に、ステップ61において、監視装置100は、撮像画像に基づいて監視対象物体の移動速度を算出し、この監視対象物体の移動速度が所定値未満である場合には、ステップ62へ進んで動画像の監視画像のフレームレートを低減させる。監視装置100は、予め、監視対象物体の移動速度の低下に伴いフレームレートが低下する関係を定義しておき、この関係を参照して監視対象物体の移動速度に基づいてフレームレートを求めることができる。他方、監視対象物体の移動速度が所定値以上である場合には、フレームレートを変更することなくステップ80に進む。
他方、ステップ50において監視対象物体が検出されない場合には、ステップ70へ進み、車両Vの周囲の一時的な状態を示す静止画像を監視画像として生成する。
続くステップ80において、生成した動画像又は静止画像の監視画像を外部の端末装置800へ送出する。その後、ステップ90へ進み、監視処理の終了のタイミング(乗員が所持する電子キーが交信可能な距離に接近した、乗員がエンジンをオンにしたなどのタイミング)を待機する。終了する場合には次回の監視開始タイミングを待機するためにステップ10へ戻り、終了しない場合には次回の撮像画像の取得を待機するためにステップ30へ戻る。
続いて、外部端末装置800の制御手法を説明する。外部端末装置800は、CPU、RAM、ROMに相当する部材を有するコンピュータであり、通信装置810、画像処理装置820、及びディスプレイ830を有する。図10のステップ110〜130に示すように、通信装置810は、監視画像を受信し(ステップ110)、受信した監視画像を画像処理装置820へ送出する。画像処理装置820は、画像処理コントロールユニット(Image Processing Control Unit: IPCU)を備え、受信した監視画像について画像処理を行うことができる(ステップ120)。受信した監視画像にはそれを撮像したカメラ1を特定する識別子が付されており、画像処理装置820は、その識別子に応じて各監視画像を各表示エリアに割り付けることができる。具体的に、画像処理装置820は、受信した監視画像の各画素を、ディスプレイ830の表示エリアの各画素に割り付けて、例えば図9に示す監視画像R1〜R4をディスプレイ830に表示させる。
本発明の第3実施形態に係る監視装置100及び車両監視システム1000によれば、自車両Vの周囲に監視対象物体が検出された場合にのみ動画像の監視画像を外部の端末に送信するので、車両Vの周囲を監視するために送信される監視画像のデータ総量を低減させることができる。この結果、車両その他の移動体の監視のために必要な通信コストを低減させることができる。
また、本発明の第3実施形態に係る監視装置100及び車両監視システム1000によれば、監視対象物体が検出されない場合にはデータ量の少ない静止画像を送信するので、車両から離隔した位置にいるユーザは、車両に異常が発生しない可能性が高い場合には、静止画像で車両周囲の一時的な状態を確認することができる。このため、監視画像の送信データ量を抑制しつつ、車両周囲を画像により監視することができる。
さらに、本発明の第3実施形態に係る監視装置100及び車両監視システム1000によれば、監視対象物体の移動速度が所定値よりも小さい場合には、監視対象物体の移動速度に応じてフレームレートを低減させることにより、監視対象物体の動き(状態変化)を捉えつつ、データ量の小さい監視画像を作成し、監視処理における送信データ量を低減することができる。
<第4実施形態>
以下、本発明の第4実施形態に係る監視装置100及び車両監視システム1000を、図11〜図16に基づいて説明する。第4実施形態の監視装置100、車両監視システム1000は、監視画像の作成手法及び作成される監視画像が第3実施形態のそれと異なるが、図7に示す構成及び図10に示す基本的な制御手順は共通する。重複した説明を避けるため、以下には異なる点を中心に説明し、それ以外の点については第3実施形態における説明を援用する。
以下、本発明の第4実施形態に係る監視装置100及び車両監視システム1000を、図11〜図16に基づいて説明する。第4実施形態の監視装置100、車両監視システム1000は、監視画像の作成手法及び作成される監視画像が第3実施形態のそれと異なるが、図7に示す構成及び図10に示す基本的な制御手順は共通する。重複した説明を避けるため、以下には異なる点を中心に説明し、それ以外の点については第3実施形態における説明を援用する。
図11は、本発明の第4実施形態に係る監視装置100及び車両監視システム1000の制御手順を示すフローチャート図である。
監視装置100は、図10に示す第3実施形態の制御手順と同様の処理を実行し、ステップ40と同様に基準監視画像G0を外部端末装置800へ送信する。外部端末装置800は、基準監視画像G0を受信し(ステップ210)、受信した基準監視画像G0を記憶する(ステップ220)。図12Aは、基準監視画像G0の一例を示す図である。
本フローチャートにおいては、一般化が可能な監視タイミングtKにおける処理を例に説明する。ステップ110において、監視装置100は、監視タイミングtKである場合に、監視画像の生成を開始する。なお、監視タイミングtKは、車両Vの周囲を監視する際の基準となる基準監視タイミングt0(基準監視画像G0の撮像タイミング)の後に、一又は複数のタイミングである。監視タイミングtKは、所定周期で巡ってくるタイミングであってもよいし、ユーザの外部端末装置800から入力された監視命令を受信した場合などの所定条件を満たすタイミングであってもよい。
ステップ120において、監視装置100は、監視タイミングtKにおいてカメラ1により撮像された対比画像を取得する。図12Bは対比画像GKの一例を示す図である。図12Aの基準監視画像G0と比較すると、対比画像GKの右側に物体に対応する像が現れている。
続くステップ130において、監視装置100は、基準監視タイミングt0において撮像された基準監視画像G0と、基準監視タイミングt0よりも後の一又は複数の監視タイミングで撮像された対比画像とを対比し、両画像の画像データの変化に応じる差分画像を求める。エンジン停止中などの駐停車中は背景画像に変化がないため、基準監視画像G0と対比画像GKの差分を取ると、監視タイミングtKにおいて基準監視画像G0から画像が変化した差分画像ΔGを抽出することができる。図13は、差分画像ΔGの一例を示す図である。図13では、画像データに変化がある領域を含む白枠内を差分画像ΔGと定義するが、図13に示す画像全部を差分画像ΔGと定義し、差分画像ΔGの領域以外には差分画像ΔGではない旨を示す識別子を付すことができる。
また、監視装置100は、図14に示すように、対比画像GKに対する位置を定義づけることができる差分画像ΔGの頂点Pの座標(xk,yk)を求める。対比画像GKと基準監視画像G0とは共通の座標により定義されているので、座標(xk,yk)により、基準監視画像G0に対する差分画像ΔGの位置を求めることができる。
最後に、ステップ140において、監視装置100は、差分画像ΔGに基づく監視画像Qを外部端末装置800へ送信する。この監視画像Qの送信は、基準監視画像G0の送信タイミングよりも後のタイミングにおいて行なわれる。この監視画像において、先のステップ40で送信した基準監視画像G0に対する差分画像ΔGの位置が不明となる場合には、差分画像ΔGの位置情報P(xk,yk)を監視画像に含ませることができる。
図15は、送信される監視画像の一例を示す図である。図15に示すように、本実施形態において、監視装置100が送信する監視画像Qは、差分画像ΔGに対応する画像データであるため、第3実施形態において送信される監視画像(図12Bに相当)に比べてデータ量を大幅に低減させることができる。
なお、ステップ140において、監視装置100は、監視タイミングにおいて取得された対比画像GKのうち、差分画像ΔGに対応する領域以外の不変領域の画像データに第1識別子を付した監視画像を得ることもできる。第1識別子は、対比画像GKのうち、基準監視画像G0と画像データが共通する不変領域を識別させるための情報である。つまり、第1識別子が付された不変領域は、先述した基準監視画像G0から変化の無い背景部分として取り扱うことができ、先に送信した基準監視画像G0の画像データを利用することができる。
次に、外部端末装置800側の処理を説明する。ステップ230において、外部端末装置800は、各情報が付された監視画像を受信する。
続くステップ240において、外部端末装置800は、基準監視画像G0に差分画像ΔGを重畳し、監視タイミングtKにおける表示用の監視画像Q´を生成する。図16は、監視タイミングtKにおける監視画像の生成手法を説明するための図である。図16に示すように、外部端末装置800は、先のステップ220において受信し記憶した基準監視画像G0を読み出し、ステップ230において受信した差分画像ΔGを基準監視画像G0に重畳し、監視タイミングtKにおける表示用の監視画像Q´Kを作成する。なお、図16に示す基準監視画像G0は、図12Aに示す基準監視画像G0と共通し、図16に示す差分画像ΔGは図13に示す差分画像ΔGと共通する。なお、差分画像ΔGの情報に画素のアドレスが含まれている場合は、そのアドレスに基づいて、基準監視画像G0の対応する位置に差分画像ΔGを貼りつける。差分画像ΔGの情報から貼り付け位置が特定できない場合には、図14に示す差分画像ΔGの位置情報P(xk,yk)を取得して、基準監視画像G0の対応する位置に差分画像ΔGを貼りつけることができる。
図16の下側の図は、作成された表示用の監視画像Q´Kをディスプレイ830に表示した場合の例を示す。同図に示すように、基準監視画像G0に差分画像ΔGを重畳した監視画像Q´Kは、監視タイミングtKにおいて撮像された図12Bに示す対比画像GKと略共通する(略等価の)画像情報である。
以上のとおり、本発明の第4実施形態に係る監視装置100及び車両監視システム1000によれば、第3実施形態と同様の作用効果を奏するとともに、ある監視タイミングtKにおいて、基準監視画像G0との差分画像ΔGのみを外部端末装置800へ送信するので、車両Vの周囲を監視するために送信される監視画像のデータ総量を低減させることができる。この結果、車両Vの監視のために必要な通信コストを低減させることができる。
また、本実施形態の車両監視システム1000によれば、ある監視タイミングtKにおける監視画像Qを生成する際に、基準監視画像G0と比較して変化した変化領域に対応する差分画像ΔGのみを新たに送信又は受信し、基準監視画像G0と比較して変化していない不変領域に対応する部分については先に送信済みの基準監視画像G0を利用するので、監視タイミングtKにおける対比画像GKをそのまま送信する場合に比べて送信データ量を低減させつつ、表示する監視画像Q´の画質を落とさないようにすることができる。この結果、ユーザは、通信コストを節約しつつ、明瞭な監視画像Q´により車両Vの監視をすることができる。
<第5実施形態>
以下、本発明の第5実施形態に係る監視装置100及び車両監視システム1000を、図17〜図19に基づいて説明する。第5実施形態の監視装置100、車両監視システム1000は、監視画像の作成手法及び作成される監視画像が第3及び第4実施形態のそれと異なるが、図7に示す構成及び図10に示す基本的な制御手順は共通する。重複した説明を避けるため、以下には異なる点を中心に説明し、それ以外の点については第3及び第4実施形態における説明を援用する。
以下、本発明の第5実施形態に係る監視装置100及び車両監視システム1000を、図17〜図19に基づいて説明する。第5実施形態の監視装置100、車両監視システム1000は、監視画像の作成手法及び作成される監視画像が第3及び第4実施形態のそれと異なるが、図7に示す構成及び図10に示す基本的な制御手順は共通する。重複した説明を避けるため、以下には異なる点を中心に説明し、それ以外の点については第3及び第4実施形態における説明を援用する。
図17は、本発明の第5実施形態に係る監視装置100及び車両監視システム1000の制御手順を示すフローチャート図である。
監視装置100は、図10に示す第3実施形態の制御手順と同様の処理を実行し、ステップ40と同様に基準監視画像G0を外部端末装置800へ送信する。外部端末装置800は、基準監視画像G0を受信し(ステップ410)、受信した基準監視画像G0を記憶する(ステップ420)。
図17に示すフローチャートにおいては、一般化が可能な監視タイミングtK(Kは自然数、以下同じ)における処理を例に説明する。
ステップ310において、監視装置100は、監視タイミングtKである場合に、本例の監視画像の生成を開始する。この監視タイミングtKは、車両Vの周囲を監視する際の基準とある基準監視タイミングt0(基準監視画像G0の撮像タイミング)の後に、所定周期で巡ってくる任意の連続的な複数のタイミングである。各監視タイミングについて説明すると、図18に示すように、時間軸tにおいて、基準監視タイミングt0の後、監視タイミングt(K−1)が続き、その後に監視タイミングtKが続く。監視タイミングt(K−1)は、監視タイミングtKの直前の監視タイミングである。また、基準監視タイミングt0から監視タイミングt(K−1)までの間にも、複数の監視タイミングt(1)からt(K−2)が設定され、各監視タイミングにおいてカメラ1により撮像処理が実行され、監視装置100はこれらの監視画像を記憶している。
なお、図18の基準監視画像G0は、図12Aに示す基準監視画像G0と共通し、図18の第K対比画像GKは、図12Bに示す監視タイミングtKにおける対比画像GKと共通する。
ステップ320において、本実施形態に係る監視装置100は、基準監視タイミングt0の後の第K監視タイミングにおいて撮像された第K対比画像GKと(Kは自然数、以下同じ)基準監視画像G0とを対比して両画像の差分を含む所定領域の第K差分画像ΔG(0−K)を抽出する。図18に第K差分画像ΔG(0−K)を示す。
次に、ステップ330において、監視装置100は、基準監視タイミングt0の後の第K監視タイミングtKにおいて撮像された第K対比画像GKと、第K監視タイミングtKの直前の第(K−1)タイミングt(K−1)において撮像された第(K−1)対比画像G(K−1)とを対比して両画像の第(K−1)差分画像ΔG(−1)を抽出する。図18に第(K−1)差分画像ΔG(−1)を示す。
続くテップ330において、監視装置100は、第K差分画像ΔG(0−K)を3つの領域に区分し、それぞれに識別子を付する。具体的に、(1)第K差分画像ΔG(0−K)のうち、基準監視画像G0に対する差が無い不変領域の画像データに第1識別子を付し、(2)K差分画像ΔG(0−K)のうち、第(K−1)対比画像にも含まれる重複変化領域の画像データに第2識別子を付し、(3)第K差分画像ΔG(0−K)のうち、第(K−1)差分画像ΔG(−1)にのみ含まれる直近変化領域の画像データに第3識別子を付す。
特に限定されないが、本実施形態の監視装置100は、第(K−1)差分画像ΔG(−1)にのみ含まれる直近変化領域として、第K差分画像ΔG(0−K)と第(K−1)差分画像ΔG(−1)との論理積(重複領域)又は第(K−1)差分画像ΔG(−1)については第3識別子を付し、第K差分画像ΔG(0−K)では白で第(K−1)差分画像ΔG(−1)では黒となる領域、つまり、第K差分画像ΔG(0−K)から第(K−1)差分画像ΔG(−1)を差し引いた領域については第2識別子を付し、第2識別子及び第3識別子が付されていない残りの領域に第1識別子を付すことができる。識別子を付す手法は特に限定されない。
また、第2識別子が付された領域の画像は、における対比画像GKに現れているが、監視タイミングtK−1における対比画像G(K−1)にも現れている。このため、車両Vの周囲を監視するにあたり、第2識別子が付された領域の画像は、監視タイミングtK−1における対比画像G(K−1)の画素値をそのまま監視画像として利用することができる。
さらに、第1識別子が付された領域の画像は、基準監視タイミングt0を基準とした場合に監視タイミングtKにおいて変化の無い不変領域である。特に車両Vが駐停車中である場合には、その背景画像は変化しない。このため、車両Vの周囲を監視するにあたり、第1識別子が付された領域の画像は、基準監視タイミングt0における基準監視画像G0の画素値をそのまま監視画像として利用することができる。
特に限定されないが、各識別子を色情報とすることができる。例えば、本実施形態において、基準監視画像G0を利用する第1識別子が付される画素には0(ゼロ:黒値)の色情報を付し、第(K−1)対比画像G(K−1)を利用する第2識別子が付される画素には1(白値)の色情報を付し、第K対比画像GKを利用する第3識別子が付される画素には0.5(グレー値)の色情報を付すことができる。
第1〜第3の識別子として黒、白、グレーの色情報を、第K差分画像ΔG(0−K)に付した置換画像Hを図18に示す。
そして、続くステップ340において、本実施形態の監視装置100は、第K差分画像ΔG(0−K)の第3識別子(グレー値)が付された画像領域の画像データを、当該画像領域に対応する第K対比画像GKの画像データに置換する。置換画像Hの第3識別子(グレー値)の領域に第K対比画像GKの画像を貼りつけた第K監視画像QKを図18に示す。
ちなみに、第3識別子が付された領域の画像は、監視タイミングtK−1からtKに至るまでの間の状態変化に対応する画像であるので、監視タイミングtKにおいて撮像された対比画像GKにのみ現れている。このため、車両Vの周囲を監視するにあたり、第3識別子が付された領域の画像は、監視タイミングtKにおける対比画像GKの画素値をそのまま監視画像として利用することができる。
最後に、ステップ360において、監視装置100は、第1、第2識別子の情報を含み、第3識別子(グレー値)が付された領域が第K対比画像GKの画像データに置換された第K監視画像QKと、この第K監視画像QKの位置を特定する頂点Pの座標(xk,yk)を含む情報を外部端末装置800へ送出する。
次に、外部端末装置800側の処理を説明する。なお、以下に説明する処理は、第K監視タイミングtKに係る処理であるが、ステップ430に示すように、それ以前の第1〜第(K−1)監視タイミングにおいて作成された第1〜第(K−1)監視画像は、外部端末装置800側に記憶されている。
図17に示すステップ440において、外部端末装置800は、第3識別子が付された領域に対応する第K対比画像GKの画像データと第1識別子と第2識別子とを含む第K監視画像QKを受信する。
続くステップ450において、外部端末装置800は、ステップ420で記憶した基準監視画像G0と、ステップ430で生成した表示用の第(K−1)監視画像Q´(K−1)を読み出す。第(K−1)監視画像Q´(K−1)は、基準監視画像G0と第(K−2)監視画像Q´(K−2)と第(K−1)監視画像Q´(K−1)とに基づいて、先述した第K監視画像QKの生成処理と同じ処理によって得ることができる。
ステップ460において、外部端末装置800は、基準監視画像G0と第(K−1)監視画像Q(K−1)と第K監視画像QKとに基づいて、監視タイミングtKにおける監視画像QKを生成する。
図19は、ステップ460の処理に係る、監視タイミングtKにおける表示用の監視画像Q´Kを生成する手法を説明するための図である。図19に示すように、外部端末装置800は、先のステップ420において受信し記憶した基準監視画像G0を読み出し、同じく先のステップ430において表示のために作成し記憶した第(K−1)監視画像Q(K−1)を読み出す。
そして、外部端末装置800は、ステップ440において受信した第K監視画像QKのうち、第1識別子が付された画像領域の画像データを基準監視画像G0の画像データと置換し、第2識別子が付された画像領域の画像データを、第(K−1)監視画像Q(K−1)の画像データと置換して、表示用の第K監視画像QKを作成する。ちなみに第3識別子が付された画素領域の画像データには、すでに第K対比画像GKの画像データが付されている。
なお、図19に示す基準監視画像G0は、図18に示す基準監視画像G0と共通し、図19に示す第(K−1)監視画像Q(K-1)は、図18に示す第(K−1)対比画像G(K−1)と略共通する(略等価である)。なお、第K監視画像QKの情報に画素のアドレスが含まれている場合は、そのアドレスに基づいて、基準監視画像G0の対応する位置に第K監視画像QKの画像データを貼りつける。第K監視画像QKの情報から貼り付け位置が特定できない場合には、図18に示す第K監視画像QKの位置情報P(xk,yk)を取得して、基準監視画像G0の対応する位置に第K監視画像QKの画像データ(第K対比画像GKの画像データ)を貼りつけることができる。
図19の右側の図は、監視タイミングtKにおける表示用の監視画像Q´Kをディスプレイ830に表示した場合の例を示す。同図に示すように、第K監視画像QKの各識別子を基準監視画像G0の画像データ、第(K−1)監視画像Q(K−1)の画像データと置換された表示用の第K監視画像Q´Kは、監視タイミングtKにおいて撮像された図18に示す第K対比画像GKと略共通(略等価)の画像情報である。
以上のとおり構成され、動作する本発明の第5実施形態に係る監視装置100及び車両監視システム1000は、第3実施形態と同様の作用効果を奏するとともに、以下の効果を奏する。
本実施形態に係る監視装置100及び車両監視システム1000によれば、先に送信した基準監視画像G0と、先に外部端末装置800側で生成された第(K−1)監視タイミングにおける表示用の第(K−1)監視画像Q´(K−1)との画像データを利用することにより、ある監視タイミングtKにおける第K対比画像GKと直前の第(K−1)対比画像G(K−1)との差分についてのみ第K対比画像GKの画像データを送信すればよいので、車両Vの周囲を監視するために送信される監視画像のデータ総量を低減させることができる。この結果、車両Vの監視のために必要な通信コストを低減させることができる。
また、基準監視画像G0又は第(K−1)監視画像Q(K−1)を利用する画素領域を指定するために識別子を用いたことにより、車両Vの周囲を監視するために送信される監視画像のデータ総量を低減させることができる。特に識別子として色情報(黒値、白値、グレー値)を用いることにより、データの圧縮率を高めることができるため、送信される監視画像のデータ総量をさらに低減させることができる。
さらに、本実施形態の車両監視システム1000によれば、ある監視タイミングtKにおける監視画像Qを生成する際に、直前の第(K−1)対比画像G(K−1)との差分画像についてのみを新たに送信又は受信し、基準監視画像G0と比較して変化していない不変領域に対応する部分については先に送信済みの基準監視画像G0を、直前の第(K−1)対比画像G(K−1)と比較して変化していない維持領域に対応する部分については先に作成された第(K−1)監視画像Q(K−1)を利用するので、監視タイミングtKにおける対比画像GKをそのまま送信する場合に比べて送信データ量を低減させつつ、表示する監視画像Q´の画質を落とさないようにすることができる。この結果、ユーザは、車用Vの遠隔監視に要する通信コストを節約しつつ、明瞭な監視画像Q´により車両Vの監視をすることができる。
なお、以上説明したすべての実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
本明細書では、本発明に係る車両用監視装置の一態様として監視装置100及び車両監視システム1000を例にして説明するが、本発明はこれに限定されるものではない。
また、本明細書では、本発明に係る車両用監視装置の一態様として、CPU11、ROM12、RAM13を含む制御装置10を備える監視装置100を一例として説明するが、これに限定されるものではない。
また、本明細書では、カメラと、監視画像生成手段と、送信手段を有する本発明に係る車両用監視装置の一態様として、監視装置100を説明するが、これに限定されるものではない。
本明細書では、本発明に係る車両用監視システムの一態様として、本願発明に係る監視装置100と、車両コントローラ200と、通信装置400と、外部端末装置800とを備えた車両監視システム1000を例にして説明するが、本発明はこれに限定されるものではない。
1000…車両監視システム
1a〜1d…カメラ
2a〜2d…近接センサ
100…監視装置
V…車両
10…制御装置
11…CPU
12…ROM
13…RAM
200…車両コントローラ
400…通信装置
300…イグニッションスイッチ
800…外部端末装置
900…通信回線
1a〜1d…カメラ
2a〜2d…近接センサ
100…監視装置
V…車両
10…制御装置
11…CPU
12…ROM
13…RAM
200…車両コントローラ
400…通信装置
300…イグニッションスイッチ
800…外部端末装置
900…通信回線
【0012】
ルによって異なる表示態様の監視画像を生成しつつ、動きを追跡する必要が無い場合には静止画を送ることによりデータ量を小さくすることができる。この結果、外部端末装置800に監視画像を送信するときの通信データ量の総量を低減させ、監視システム稼働時の通信コストを低減させることができる。
[0038]
さらにまた、本実施形態の制御装置10は、監視レベルが検出された時刻が日没後である場合には、監視レベルに応じて求められた単位時間あたりのフレーム数を高く補正したフレームレートの監視画像を生成することができる。日没後は、一般に暗くなるので、鮮明な撮像画像を取得することが困難になる場合が多い。このため本実施形態の制御装置10は、図3に示す対応関係に基づいて求められたフレームレートを、日没後においては高く補正する。一般に、監視画像が不明瞭となる夜間においても、フレームレートを増やすことにより、監視対象物体の動きが分かりやすいフレームレートの高い動画の監視画像を提供することができる。これにより、夜間であって、露光不足が懸念される場合にはフレームレートを増やして監視画像が不明瞭となることを防止し、監視対象物体の動きを明確に示す監視画像を提供することができる。
[0039]
なお、日没後であるか否かを判断する手法としては、制御装置10が備える時計の時刻と地点に応じた日没時刻情報とを対比して求めてもよいし、車両に設けられた照度センサから車両周囲の明るさを検出してもよいし、カメラ1のCCD素子を用いて周囲の明るさを検出してもよい。
[0040]
他方、制御装置10は、監視レベルが検出された時刻が日没前である場合には、監視レベルに応じて求められたフレームレートを維持又は低く補正することができる。
[0041]
加えて、本実施形態の制御装置10は、監視対象物体を検出したカメラ1の撮像画像については、動きを追跡できる表示態様の監視画像を得る観点から、フレームレートを高くすることができる。具体的に制御装置10は、カメラ1により撮像された撮像画像に監視対象物体が含まれる場合には、監視レベルに応じて求められたフレームレートを高く補正した補正後のフレームレートの表示態様で、そのカメラ1により撮像された撮像画像の監視画像を生成することができる。
ルによって異なる表示態様の監視画像を生成しつつ、動きを追跡する必要が無い場合には静止画を送ることによりデータ量を小さくすることができる。この結果、外部端末装置800に監視画像を送信するときの通信データ量の総量を低減させ、監視システム稼働時の通信コストを低減させることができる。
[0038]
さらにまた、本実施形態の制御装置10は、監視レベルが検出された時刻が日没後である場合には、監視レベルに応じて求められた単位時間あたりのフレーム数を高く補正したフレームレートの監視画像を生成することができる。日没後は、一般に暗くなるので、鮮明な撮像画像を取得することが困難になる場合が多い。このため本実施形態の制御装置10は、図3に示す対応関係に基づいて求められたフレームレートを、日没後においては高く補正する。一般に、監視画像が不明瞭となる夜間においても、フレームレートを増やすことにより、監視対象物体の動きが分かりやすいフレームレートの高い動画の監視画像を提供することができる。これにより、夜間であって、露光不足が懸念される場合にはフレームレートを増やして監視画像が不明瞭となることを防止し、監視対象物体の動きを明確に示す監視画像を提供することができる。
[0039]
なお、日没後であるか否かを判断する手法としては、制御装置10が備える時計の時刻と地点に応じた日没時刻情報とを対比して求めてもよいし、車両に設けられた照度センサから車両周囲の明るさを検出してもよいし、カメラ1のCCD素子を用いて周囲の明るさを検出してもよい。
[0040]
他方、制御装置10は、監視レベルが検出された時刻が日没前である場合には、監視レベルに応じて求められたフレームレートを維持又は低く補正することができる。
[0041]
加えて、本実施形態の制御装置10は、監視対象物体を検出したカメラ1の撮像画像については、動きを追跡できる表示態様の監視画像を得る観点から、フレームレートを高くすることができる。具体的に制御装置10は、カメラ1により撮像された撮像画像に監視対象物体が含まれる場合には、監視レベルに応じて求められたフレームレートを高く補正した補正後のフレームレートの表示態様で、そのカメラ1により撮像された撮像画像の監視画像を生成することができる。
Claims (29)
- 車両又は当該車両の周囲の状況を検出し、前記検出された車両状況に基づいて当該車両の監視レベルを判断する監視レベル判断手段と、
前記判断された監視レベルに基づいて動画、ストリーミング映像又は静止画の何れかの表示態様を求め、前記求められた表示態様で前記車両に設置されたカメラにより撮像された撮像画像に基づく監視画像を生成する監視画像生成手段と、
前記生成された監視画像を含む情報を、通信回線を用いて外部端末装置へ送信する送信手段と、を備えることを特徴とする車両用監視装置。 - 請求項1に記載の車両用監視装置において、
前記監視レベル判断手段は、前記カメラにより撮像された撮像画像から監視対象物体の存在が検出された場合には、前記車両の監視レベルを強化レベルであると判断し、
前記監視画像生成手段は、前記判断された強化レベルに応じて単位時間あたりのフレーム数が所定値以上の動画又はストリーミングの表示態様の監視画像を生成することを特徴とする車両用監視装置。 - 請求項1に記載の車両用監視装置において、
前記監視レベル判断手段は、前記カメラにより撮像された撮像画像から前記車両に接近する監視対象物体が検出された場合には、前記車両の監視レベルを強化レベルであると判断し、
前記監視画像生成手段は、前記判断された強化レベルに応じて単位時間あたりのフレーム数が所定値以上の動画又はストリーミングの表示態様の監視画像を生成することを特徴とする車両用監視装置。 - 請求項1に記載の車両用監視装置において、
前記監視レベル判断手段は、前記カメラにより撮像された撮像画像から前記車両の近傍領域に所定時間以上滞在する監視対象物体が検出された場合には、前記車両の監視レベルを強化レベルであると判断し、
前記監視画像生成手段は、前記判断された強化レベルに応じて単位時間あたりのフレーム数が所定値以上の動画又はストリーミングの表示態様の監視画像を生成することを特徴とする車両用監視装置。 - 請求項1に記載の車両用監視装置において、
前記監視レベル判断手段は、前記車両から異常発生信号を取得した場合には、前記車両の監視レベルを強化レベルであると判断し、
前記監視画像生成手段は、前記判断された強化レベルに応じて単位時間あたりのフレーム数が所定値以上の動画又はストリーミングの表示態様の監視画像を生成することを特徴とする車両用監視装置。 - 請求項1〜5の何れか一項に記載の車両用監視装置において、
前記監視レベル判断手段は、前記外部端末装置から監視画像の要求を取得した場合には、前記車両の監視レベルを標準レベルであると判断し、
前記監視画像生成手段は、前記標準レベルに応じて単位時間当たりのフレーム数が単一の静止画の表示態様の監視画像を生成することを特徴とする車両用監視装置。 - 請求項1〜6の何れか一項に記載の車両用監視装置において、
前記監視画像生成手段は、前記監視レベル判断手段により前記監視レベルが検出された時刻が日没後である場合には、前記監視レベルに応じた単位時間あたりのフレーム数を高く補正した補正後のフレームレートの監視画像を生成することを特徴とする車両用監視装置。 - 請求項1〜7の何れか一項に記載の車両用監視装置において、
前記監視画像生成手段は、前記カメラにより撮像された撮像画像に監視対象物体の移動速度に基づいて、前記監視レベルに応じた単位時間あたりのフレーム数を補正し、前記補正後のフレームレートの監視画像を生成することを特徴とする車両用監視装置。 - 請求項1〜8の何れか一項に記載の車両用監視装置において、
前記監視画像生成手段は、前記監視レベルが強化レベルであると判断された場合には、前記監視画像を生成する頻度を高くし、
前記送信手段は、前記生成された監視画像を、前記頻度に応じて外部端末装置へ送信することを特徴とする車両用監視装置。 - 車両又は当該車両の周囲の状況を検出し、前記検出された車両状況に基づいて当該車両の監視レベルを判断する監視レベル判断手段と、
前記車両に設置されたカメラにより撮像された撮像画像に基づいて、前記判断された監視レベルが高いほどフレームレートの高い監視画像を生成する監視画像生成手段と、
前記生成された監視画像を含む情報を、通信回線を用いて外部端末装置へ送信する送信手段と、を備えることを特徴とする車両用監視装置。 - 車両又は前記車両の周囲の車両状況に基づいて判断された監視レベルに応じて、前記車両に設置されたカメラにより撮像された撮像画像に基づく動画、ストリーミング映像又は静止画の何れかの表示態様の監視画像を生成し、
前記生成された監視画像を含む情報を、通信回線を用いて外部端末装置へ送信する、車両の監視方法。 - 車両又は当該車両の周囲の状況を検出し、前記検出された車両状況に基づいて当該車両の監視レベルを判断する監視レベル判断手段と、
前記判断された監視レベルに基づいて圧縮率を算出し、当該算出された圧縮率で前記車両に設置されたカメラにより撮像された撮像画像を圧縮した監視画像を生成する監視画像生成手段と、
前記生成された監視画像を含む情報を、外部端末装置へ送信する送信手段と、を備えることを特徴とする車両用監視装置。 - 請求項12に記載の車両用監視装置において、
前記監視レベル判断手段は、前記判断された監視レベルが高いほど、低い圧縮率を算出することを特徴とする車両用監視装置。 - 請求項12又は13に記載の車両用監視装置において、
前記監視レベル判断手段は、前記カメラにより撮像された撮像画像から監視対象物体の存在が検出された場合には、前記車両の監視レベルを強化レベルであると判断し、
前記監視画像生成手段は、前記判断された強化レベルに応じて、予め設定された標準圧縮率よりも低い圧縮率で前記カメラにより撮像された撮像画像を圧縮した監視画像を生成することを特徴とする車両用監視装置。 - 請求項12又は13に記載の車両用監視装置において、
前記監視レベル判断手段は、前記カメラにより撮像された撮像画像から前記車両に接近する監視対象物体が検出された場合には、前記車両の監視レベルを強化レベルであると判断し、
前記監視画像生成手段は、前記強化レベルに応じて、予め設定された標準圧縮率よりも低い圧縮率で前記カメラにより撮像された撮像画像を圧縮した監視画像を生成することを特徴とする車両用監視装置。 - 請求項12又は13に記載の車両用監視装置において、
前記監視レベル判断手段は、前記カメラにより撮像された撮像画像から前記車両の近傍領域に所定時間以上滞在する監視対象物体が検出された場合には、前記車両の監視レベルを強化レベルであると判断し、
前記監視画像生成手段は、前記強化レベルに応じて、予め設定された標準圧縮率よりも低い圧縮率で前記カメラにより撮像された撮像画像を圧縮した監視画像を生成することを特徴とする車両用監視装置。 - 請求項12又は13に記載の車両用監視装置において、
前記監視レベル判断手段は、前記車両から異常発生信号を取得した場合には、前記車両の監視レベルを強化レベルであると判断し、
前記監視画像生成手段は、前記強化レベルに応じて、予め設定された標準圧縮率よりも低い圧縮率で前記カメラにより撮像された撮像画像を圧縮した監視画像を生成することを特徴とする車両用監視装置。 - 請求項12〜17の何れか一項に記載の車両用監視装置において、
前記監視レベル判断手段は、前記外部端末装置から監視画像の要求を取得した場合には、前記車両の監視レベルを標準レベルであると判断し、
前記監視画像生成手段は、前記標準レベルに応じて、予め設定された標準圧縮率以上の圧縮率で前記カメラにより撮像された撮像画像を圧縮した監視画像を生成することを特徴とする車両用監視装置。 - 請求項12〜18の何れか一項に記載の車両用監視装置において、
前記監視画像生成手段は、前記監視レベル判断手段により前記監視レベルが検出された時刻が日没後である場合には、前記監視レベルに応じた圧縮率を低く補正した補正後の圧縮率で前記カメラにより撮像された撮像画像を圧縮した監視画像を生成することを特徴とする車両用監視装置。 - 請求項12〜19の何れか一項に記載の車両用監視装置において、
前記監視画像生成手段は、前記カメラにより撮像された撮像画像に監視対象物体が含まれる場合には、前記監視レベルに応じて求められた圧縮率を低く補正した補正後の圧縮率で前記監視対象物体が含まれる撮像画像を圧縮した監視画像を生成することを特徴とする車両用監視装置。 - 請求項12〜20の何れか一項に記載の車両用監視装置において、
前記監視画像生成手段は、前記監視レベルが強化レベルであると判断された場合には、前記監視画像を生成する頻度を高くし、
前記送信手段は、前記生成された監視画像を、前記頻度に応じて外部端末装置へ送信することを特徴とする車両用監視装置。 - 車両又は当該車両の周囲の車両状況に基づいて判断された監視レベルに応じて算出された圧縮率で、前記車両に設置されたカメラにより撮像された撮像画像を圧縮した監視画像を生成させ、
前記生成された監視画像を含む情報を外部端末装置へ送信する、車両の監視方法。 - 車両に設置され、前記車両の周囲を撮像するカメラと、
前記カメラにより撮像された撮像画像から前記車両の周囲に監視対象物体の存在が検出された場合には、前記監視対象物体に応じた画像を含む撮像画像に基づいて前記車両の周囲の状態変化を示す動画像を監視画像として生成する監視画像生成手段と、
前記生成された監視画像を、通信回線を用いて外部装置へ送信する送信手段と、を備えることを特徴とする車両用監視装置。 - 請求項23に記載の車両用監視装置において、
前記監視画像生成手段は、前記車両の周囲に監視対象物体が検出されない場合には、前記カメラにより撮像された撮像画像に基づいて前記車両の周囲の一時的な状態を示す静止画像を監視画像として生成することを特徴とする車両用監視装置。 - 請求項23又は24に記載の車両用監視装置において、
前記監視画像生成手段は、前記車両の周囲を監視する際の基準となる基準監視タイミングにおいて取得された基準監視画像と、前記基準監視タイミングよりも後の一又は複数の監視タイミングで前記カメラにより撮像された対比画像とを対比し、両画像の画像データの変化に応じる差分画像に基づいて監視画像を生成し、
前記送信手段は、前記基準監視画像を外部装置へ通信回線を介して送信した後に、前記監視画像を外部装置へ通信回線を介して送信することを特徴とする車両用監視装置。 - 請求項23又は24に記載の車両用監視装置において、
前記監視画像生成手段は、前記基準監視タイミングの後の第K監視タイミングにおいて撮像された第K対比画像と(Kは自然数、以下同じ)前記基準監視画像とを対比して両画像の差分を含む所定領域の第K差分画像を抽出し、
前記基準監視タイミングの後の第K監視タイミングにおいて撮像された第K対比画像と、前記第K監視タイミングの直前の第(K−1)タイミングにおいて撮像された第(K−1)対比画像とを対比して両画像の第(K−1)差分画像を抽出し、
前記第K差分画像のうち、前記基準監視画像に対する差が無い不変領域の画像データに第1識別子を付し、
前記第K差分画像のうち、前記第(K−1)対比画像にも含まれる重複変化領域の画像データに第2識別子を付し、
前記第K差分画像のうち、前記第(K−1)差分画像にのみ含まれる直近変化領域の画像データに第3識別子を付し、
前記第K差分画像の前記第3識別子が付された画像領域の画像データを、当該画像領域に対応する前記第K対比画像の画像データに置換し、
前記置換された第K対比画像の画像データと前記第1識別子と前記第2識別子とを含む情報を前記監視画像として生成することを特徴とする車両用監視装置。 - 請求項23〜26の何れか一項に記載の車両用監視装置において、
前記撮像画像に基づいて算出された前記監視対象物体の移動速度が所定値よりも小さい場合には、フレームレートを低減させて前記監視画像を生成することを特徴とする車両用監視装置。 - 請求項23〜27の何れか一項に記載された車両用監視装置と、前記車両用監視装置と相互に情報の授受が可能な端末装置とを備え、
前記外部の端末装置は、
前記車両用監視装置と通信を行う通信手段と、
前記通信手段を介して取得した監視画像に基づいて表示用画像を生成する表示画像生成手段と、
前記表示画像生成手段により生成された表示用画像を表示する表示手段と、を有することを特徴とする車両用監視システム。 - 車両の周囲の撮像画像を取得し、
前記取得した撮像画像中に監視対象物体に応じた画像が検出された場合には、前記監視対象物の画像を含む撮像画像に基づいて前記車両の周囲の状態変化を示す動画像を監視画像として生成し、
前記生成された監視画像を外部の端末装置へ送信する、車両の監視方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013516250A JP5561433B2 (ja) | 2011-05-24 | 2012-04-17 | 車両用監視装置及び車両の監視方法 |
Applications Claiming Priority (8)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011115428 | 2011-05-24 | ||
JP2011115428 | 2011-05-24 | ||
JP2011139136 | 2011-06-23 | ||
JP2011139062 | 2011-06-23 | ||
JP2011139136 | 2011-06-23 | ||
JP2011139062 | 2011-06-23 | ||
PCT/JP2012/060303 WO2012160902A1 (ja) | 2011-05-24 | 2012-04-17 | 車両用監視装置及び車両の監視方法 |
JP2013516250A JP5561433B2 (ja) | 2011-05-24 | 2012-04-17 | 車両用監視装置及び車両の監視方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP5561433B2 JP5561433B2 (ja) | 2014-07-30 |
JPWO2012160902A1 true JPWO2012160902A1 (ja) | 2014-07-31 |
Family
ID=47216987
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013516250A Active JP5561433B2 (ja) | 2011-05-24 | 2012-04-17 | 車両用監視装置及び車両の監視方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US9842261B2 (ja) |
EP (1) | EP2717571B1 (ja) |
JP (1) | JP5561433B2 (ja) |
CN (1) | CN103548340B (ja) |
WO (1) | WO2012160902A1 (ja) |
Families Citing this family (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9141863B2 (en) * | 2008-07-21 | 2015-09-22 | Facefirst, Llc | Managed biometric-based notification system and method |
US9405968B2 (en) * | 2008-07-21 | 2016-08-02 | Facefirst, Inc | Managed notification system |
US9065955B2 (en) * | 2012-10-15 | 2015-06-23 | Fuji Xerox Co., Ltd. | Power supply control apparatus, image processing apparatus, non-transitory computer readable medium, and power supply control method |
JP2014138398A (ja) * | 2013-01-18 | 2014-07-28 | Sumitomo Electric Ind Ltd | 監視装置 |
WO2014155922A1 (ja) * | 2013-03-29 | 2014-10-02 | 日本電気株式会社 | 対象物特定装置、対象物特定方法および対象物特定プログラム |
JP6260174B2 (ja) * | 2013-09-27 | 2018-01-17 | 日産自動車株式会社 | 監視画像提示システム |
JP5958459B2 (ja) * | 2013-12-26 | 2016-08-02 | トヨタ自動車株式会社 | 状態判定システム、状態判定方法及び移動ロボット |
JP6070676B2 (ja) * | 2014-02-14 | 2017-02-01 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、情報処理システム、その制御方法及びプログラム |
US9509960B2 (en) * | 2014-05-08 | 2016-11-29 | Verizon Patent And Licensing Inc. | Vehicle anomaly detection and reporting |
CN104052971B (zh) * | 2014-06-26 | 2018-02-27 | 广州世荣电子有限公司 | 一种监控摄像头的自动屏蔽系统的控制方法 |
WO2016132251A1 (en) * | 2015-02-16 | 2016-08-25 | Coolbox S.R.L. | Device and method for monitoring a vehicle, particularly for the management of loss events |
US20160309062A1 (en) * | 2015-04-15 | 2016-10-20 | Appbanc, Llc | Metrology carousel device for high precision measurements |
JP6500692B2 (ja) * | 2015-08-17 | 2019-04-17 | 株式会社デンソー | 車両用防犯システム、車両用防犯方法 |
JP6775285B2 (ja) * | 2015-09-24 | 2020-10-28 | アルパイン株式会社 | 後側方車両検知警報装置 |
CN105338317A (zh) * | 2015-10-29 | 2016-02-17 | 中国邮政集团公司广州市分公司 | 一种用于信报箱的监控方法与监控装置 |
JP6597282B2 (ja) * | 2015-12-22 | 2019-10-30 | 株式会社デンソー | 車両用表示装置 |
CN106571046B (zh) * | 2016-11-11 | 2021-07-16 | 上海市政工程设计研究总院(集团)有限公司 | 基于路面网格体系的车路协同辅助驾驶方法 |
CN108093209B (zh) * | 2016-11-21 | 2024-04-12 | 松下知识产权经营株式会社 | 影像传输系统以及移动摄像机设备 |
CN106696891B (zh) * | 2016-12-08 | 2019-03-12 | 奇瑞汽车股份有限公司 | 汽车防盗系统及其控制方法 |
CN106851053A (zh) * | 2017-02-06 | 2017-06-13 | 徐文波 | 一种基于互联网的导播方法、终端和系统 |
JP6635075B2 (ja) * | 2017-03-09 | 2020-01-22 | トヨタ自動車株式会社 | 画像記録システム、画像記録方法、画像記録プログラム |
JPWO2019065546A1 (ja) | 2017-09-29 | 2020-10-22 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 三次元データ作成方法、クライアント装置及びサーバ |
CN107945461A (zh) * | 2017-10-31 | 2018-04-20 | 上海船舶运输科学研究所 | 一种化工事故救援车的安全检测报警系统 |
JP7006302B2 (ja) * | 2018-01-23 | 2022-01-24 | 株式会社リコー | 画像処理装置、画像処理システム、及びビデオ会議システム |
JP6828719B2 (ja) * | 2018-06-27 | 2021-02-10 | トヨタ自動車株式会社 | 車載装置および制御方法 |
WO2020031924A1 (ja) * | 2018-08-10 | 2020-02-13 | ソニーセミコンダクタソリューションズ株式会社 | 情報処理装置、端末装置、情報処理方法および情報処理プログラム |
JP7151449B2 (ja) * | 2018-12-14 | 2022-10-12 | トヨタ自動車株式会社 | 情報処理システム、プログラム、及び情報処理方法 |
TWI700645B (zh) * | 2019-01-14 | 2020-08-01 | 中興保全科技股份有限公司 | 電子巡邏裝置 |
CN114208161A (zh) * | 2019-08-02 | 2022-03-18 | 日产自动车株式会社 | 图像处理装置和图像处理方法 |
US11155237B2 (en) * | 2019-08-06 | 2021-10-26 | John Leedy | Perimeter alert defense system |
CN112802329B (zh) * | 2020-12-14 | 2022-02-01 | 国汽(北京)智能网联汽车研究院有限公司 | 一种数据展示方法、装置、设备及计算机存储介质 |
CN112572418A (zh) * | 2020-12-15 | 2021-03-30 | 北京百度网讯科技有限公司 | 一种无人驾驶车辆的控制方法、装置及电子设备 |
CN113099415A (zh) * | 2021-04-21 | 2021-07-09 | 深圳市车百路科技有限公司 | 一种基于北斗卫星定位、5g通信技术的车辆安全监控系统 |
JP7424345B2 (ja) | 2021-05-12 | 2024-01-30 | 横河電機株式会社 | 装置、方法およびプログラム |
WO2023053444A1 (ja) * | 2021-10-01 | 2023-04-06 | 日本電気株式会社 | 移動体制御システム、移動体制御方法、および画像通信装置 |
Family Cites Families (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11334536A (ja) * | 1998-05-29 | 1999-12-07 | Tokai Rika Co Ltd | 車両接近物体の検知装置 |
GB2375208B (en) * | 2001-05-05 | 2004-12-22 | Land Rover Group Ltd | Vehicle security system |
JP2003127835A (ja) * | 2001-10-22 | 2003-05-08 | Mega Chips Corp | 車両セキュリティ装置 |
US7602413B2 (en) * | 2002-10-18 | 2009-10-13 | Sony Corporation | Information processing system and method, information processing apparatus, image-capturing device and method, recording medium, and program |
CN1291602C (zh) * | 2003-07-25 | 2006-12-20 | 株式会社日立制作所 | 监视信息提供装置及监视信息提供方法 |
JP2005065238A (ja) * | 2003-07-25 | 2005-03-10 | Hitachi Ltd | 監視情報提供装置および監視情報提供方法 |
JP2005057508A (ja) * | 2003-08-05 | 2005-03-03 | Matsushita Electric Ind Co Ltd | 動き検出装置および方法、輝度信号/色信号分離装置および方法、ノイズ低減装置および方法、映像表示装置および方法 |
JP2005073218A (ja) * | 2003-08-07 | 2005-03-17 | Matsushita Electric Ind Co Ltd | 画像処理装置 |
EP1671293A4 (en) * | 2003-10-09 | 2009-04-22 | Moreton Bay Corp Pty Ltd | SYSTEM AND METHOD FOR VIDEO SURVEILLANCE |
JP3972891B2 (ja) * | 2003-11-06 | 2007-09-05 | 株式会社デンソー | 車両監視システム |
JP4432628B2 (ja) * | 2004-06-07 | 2010-03-17 | 株式会社デンソー | 車両遠隔監視システム、車両情報通信装置、通信端末、及び操作機 |
JP2006041770A (ja) * | 2004-07-26 | 2006-02-09 | Mitsubishi Heavy Ind Ltd | 画像配信方法、画像表示方法及びそれらを用いた広域監視方法と画像配信装置、画像表示装置及びそれらを用いた広域監視システム |
JP2006107279A (ja) * | 2004-10-07 | 2006-04-20 | Matsushita Electric Ind Co Ltd | 防犯装置および遠隔監視システム |
JP4844795B2 (ja) * | 2004-11-02 | 2011-12-28 | 株式会社デンソー | 車両用画像撮影装置 |
EP1806786A1 (en) * | 2005-02-09 | 2007-07-11 | Matsushita Electric Industrial Co., Ltd. | Monitoring camera device, monitoring system using the same, and monitoring image transmission method |
US7302323B2 (en) * | 2005-06-01 | 2007-11-27 | Polar Industries, Inc. | Transportation data recording system |
WO2008035745A1 (en) * | 2006-09-20 | 2008-03-27 | Panasonic Corporation | Monitor system, camera and video image coding method |
US20080204556A1 (en) * | 2007-02-23 | 2008-08-28 | De Miranda Federico Thoth Jorg | Vehicle camera security system |
GB2451485A (en) * | 2007-08-01 | 2009-02-04 | Airmax Group Plc | Vehicle monitoring system |
JP5114177B2 (ja) * | 2007-12-12 | 2013-01-09 | 富士通テン株式会社 | 情報記録装置 |
WO2009122760A1 (ja) * | 2008-04-04 | 2009-10-08 | 富士フイルム株式会社 | 画像処理装置、画像処理方法、およびコンピュータ読取可能な媒体 |
US20100245583A1 (en) * | 2009-03-25 | 2010-09-30 | Syclipse Technologies, Inc. | Apparatus for remote surveillance and applications therefor |
US20100246669A1 (en) * | 2009-03-25 | 2010-09-30 | Syclipse Technologies, Inc. | System and method for bandwidth optimization in data transmission using a surveillance device |
CA2712576C (en) * | 2009-08-11 | 2012-04-10 | Certusview Technologies, Llc | Systems and methods for complex event processing of vehicle-related information |
BR112012003060A2 (pt) * | 2009-08-12 | 2016-08-02 | Tech Resources Pty Ltd | uma estação base |
US8625973B2 (en) * | 2009-10-30 | 2014-01-07 | Verint Systems, Inc. | Method and apparatus for operating a video system |
US8836784B2 (en) * | 2010-10-27 | 2014-09-16 | Intellectual Ventures Fund 83 Llc | Automotive imaging system for recording exception events |
-
2012
- 2012-04-17 CN CN201280024310.6A patent/CN103548340B/zh active Active
- 2012-04-17 WO PCT/JP2012/060303 patent/WO2012160902A1/ja active Application Filing
- 2012-04-17 US US14/119,324 patent/US9842261B2/en active Active
- 2012-04-17 JP JP2013516250A patent/JP5561433B2/ja active Active
- 2012-04-17 EP EP12789798.1A patent/EP2717571B1/en active Active
Also Published As
Publication number | Publication date |
---|---|
WO2012160902A1 (ja) | 2012-11-29 |
CN103548340A (zh) | 2014-01-29 |
US9842261B2 (en) | 2017-12-12 |
US20140085477A1 (en) | 2014-03-27 |
JP5561433B2 (ja) | 2014-07-30 |
EP2717571A1 (en) | 2014-04-09 |
EP2717571B1 (en) | 2018-09-05 |
EP2717571A4 (en) | 2015-03-04 |
CN103548340B (zh) | 2017-12-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5561433B2 (ja) | 車両用監視装置及び車両の監視方法 | |
EP2733937A1 (en) | Vehicle monitoring device, vehicle monitoring system, terminal device, and vehicle monitoring method | |
CN110933275B (zh) | 拍照方法及相关设备 | |
CN102387344B (zh) | 成像装置、成像系统和成像方法 | |
KR101987634B1 (ko) | 카메라 공차 보정 방법 및 장치와 이를 이용한 어라운드 뷰 모니터링 시스템 | |
KR101561626B1 (ko) | 주행차량의 번호판 인식이 실시간으로 가능한 차량용 블랙박스 | |
WO2016051981A1 (ja) | 車載画像認識装置 | |
JPWO2016056088A1 (ja) | 車載カメラ制御装置 | |
CN104796580B (zh) | 一种基于选择集成的实时稳像视频巡检系统 | |
WO2019054070A1 (ja) | 画像処理装置 | |
JP2016161973A (ja) | 認識装置、認識方法及びプログラム | |
JP5872171B2 (ja) | カメラシステム | |
JP2004312402A (ja) | 道路監視システム,道路監視装置 | |
JP2019029750A (ja) | 撮像装置 | |
WO2017169614A1 (ja) | 画像処理装置 | |
JP5861279B2 (ja) | 車両用監視装置及び車両の監視方法 | |
US20170364765A1 (en) | Image processing apparatus, image processing system, vehicle, imaging apparatus and image processing method | |
JP4797441B2 (ja) | 車両用画像処理装置 | |
JP2020150295A (ja) | 車両防犯装置 | |
JP6563694B2 (ja) | 画像処理装置、画像処理システム、画像合成装置、画像処理方法及びプログラム | |
JP4508043B2 (ja) | 映像監視装置及び映像監視用プログラム | |
TWI448976B (zh) | 超廣角影像處理方法與其系統 | |
KR20180097976A (ko) | 주변 영상 모니터링 장치 및 방법 | |
KR20180097998A (ko) | 주변 영상 모니터링 장치 및 방법 | |
US20190306509A1 (en) | Video processing apparatus for processing video data captured by video capturing apparatus mounted on vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140513 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140526 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5561433 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |