JP5796638B2 - 監視システム - Google Patents

Description

本発明は、監視システムに関するものである。
本出願は、２０１１年１２月２２日に出願された日本国特許出願の特願２０１１―２８０９１３に基づく優先権を主張するものであり、文献の参照による組み込みが認められる指定国については、上記の出願に記載された内容を参照により本出願に組み込み、本出願の記載の一部とする。

商店街、店舗の出入り口、家庭の玄関その他の街中に複数の防犯カメラ装置を設置し、当該防犯カメラ装置により撮像された周囲の映像を監視することで、異常の発生を検出する防犯装置が知られている（特許文献１）。

特開２０１１−２１５７６７号公報

しかしながら、街中に設置した防犯カメラ装置は、同じ方向の所定のエリアを画一的に撮像して監視者に送信するので、監視者が注視したい方向を特定できる場合であっても、それ以外の方向の画像も送信するため、通信量が嵩むという問題がある。

本発明は、監視者に送信する画像を低減し、通信量を低減させることができる監視システムを提供することを目的とする。

本発明は、移動体に搭載された監視端末装置に、監視者が注視したい特定の注視方向の監視画像を生成及び送出させることにより、上記目的を達成する。

本発明によれば、ランダムに走行する複数の移動体のカメラの撮像画像のうち、監視者が注視したい特定の注視方向の撮像画像に基づいて監視画像を生成及び送出させ、監視者が注視する必要が無いと判断した方向の監視画像の生成及び送出を抑制するので、監視レベルを維持しつつも通信量を低減させることができる。

本発明の一実施の形態に係る監視システムを示す模式図である。 図１の監視システムを示すブロック図である。 図２の監視システムにおけるカメラの配置例を示す斜視図である。 図２の監視システムにおけるカメラの撮像範囲を示す平面図である。 フロントのカメラの撮影画像の一例を示す図である。 右サイドのカメラの撮影画像の一例を示す図である。 リアのカメラの撮影画像の一例を示す図である。 左サイドのカメラの撮影画像の一例を示す図である。 複数の画像に基づいて生成された監視画像の一例を示す図である。 監視画像の歪み補正処理を説明するための図である。 投影モデルの一例を示す模式図である。 図８に示す投影モデルのｘｙ面に沿う断面模式図である。 中央監視装置のディスプレイに示される表示画像の一例を示す第１図である。 中央監視装置のディスプレイに示される表示画像の一例を示す第２図である。 中央監視装置のディスプレイに示される表示画像の一例を示す第３図である。 中央監視装置のディスプレイに示される表示画像の一例を示す第４図である。 中央監視装置のディスプレイに示される表示画像の一例を示す第５図である。 中央監視装置のディスプレイに示される表示画像の一例を示す第６図である。 中央監視装置のディスプレイに示される表示画像の一例を示す第７図である。 中央監視装置のディスプレイに示される表示画像の一例を示す第８図である。 図１の監視システムの中央監視装置側の主たる制御内容を示すフローチャートである。 監視方向／監視範囲を指定する手法を説明するための第１図である。 監視方向／監視範囲を指定する手法を説明するための第２図である。 監視方向／監視範囲を指定する手法を説明するための第３図である。 監視方向／監視範囲を指定する手法を説明するための第４図である。 図１の監視システムの監視端末装置側の主たる制御内容を示すフローチャートである。

以下に示す一実施の形態は、本発明に係る監視システムを、複数の移動体に搭載したカメラの撮像画像を用いて、街中の治安を警察署や消防署などの当局や警備委託会社などの監視者にて集中監視する監視システム１に具体化したものである。

複数の移動体に搭載された監視端末装置１０のそれぞれは、その位置情報と、当該移動体の周囲の監視画像と、時刻情報とを所定のタイミングで取得し、これら位置情報と監視画像と時刻情報と含む監視情報を、無線通信を介して、監視者側に設置された中央監視装置２０へ送出する。中央監視装置２０は、監視端末装置１０から取得した監視画像及び位置情報を少なくとも含む監視情報を蓄積し、ディスプレイなどを介して移動体の位置情報を地図情報に重畳表示するとともに、必要に応じて各移動体又は各位置において撮像された監視画像と時刻情報と表示する。そのため、本例の監視システム１は、図１に示すように、移動体Ｖに搭載され、位置情報及び監視画像などの監視情報を送出する監視端末装置１０と、電気通信回線網３０を介して監視情報を取得して処理する中央監視装置２０とを備える。

特に、本実施形態に係る監視システム１は、監視者側において注視したい特定の注視方向が入力された場合には、特定された注視方向の監視画像を生成させるとともに、その生成された監視画像を含む監視情報を監視者へ送出させる監視画像送出命令を生成して、無線通信を介して監視画像送出命令を送出する。そして、移動体Ｖ側において無線通信を介して取得した監視画像送出命令に従い、監視画像送出命令に含まれる注視方向を移動体に設けられたカメラで撮像した撮像画像に基づいて監視画像を生成し、無線通信を介して監視画像を含む監視情報を監視者側へ送出する。これにより、監視者側は自身が発した監視画像送出命令に従って生成された監視者が注視したい注視方向の監視画像を含む監視情報を取得する。なお、特定の注視方向は予め定義しておくことができる。たとえば、入力負荷の軽減を図る観点からは、移動体Ｖの前方方向をデフォルトの注視方向として設定しておくことができる。

監視者は、地図情報に重畳表示された移動体の位置や、予め取得した移動体Ｖの移動スケジュールなどに基づいて、監視画像を生成させたい移動体Ｖを選択することができる。また、監視者は、移動体Ｖの位置や進行方向を基準とし、事故が発生した場所、通報により指定された場所、監視したい場所その他の注目ポイントに応じて注視したい方向を特定する。監視者は、選択した移動体Ｖを特定する情報及び注視したい方向を特定する情報を中央監視装置２０に入力する。

移動体の特定情報及び注視方向の特定情報を受け付けた中央監視装置２０は、選択した移動体に対して、移動体Ｖのカメラが撮像可能な方向のうち、特定された注視方向の監視画像を生成させる監視画像送出命令を生成し、無線通信を介して特定された移動体の監視端末装置１０へ向けて送出する。この監視画像送出命令を取得した移動体Ｖの監視端末装置１０は、移動体Ｖに設けられたカメラで撮像した撮像画像のうち、監視画像送出命令に含まれる注視方向の撮像画像に基づいて生成した監視画像を含む監視情報を、無線通信を介して中央監視装置２０へ送出する。このように、中央監視装置２０と移動体Ｖの監視端末装置１０は協働して街中を監視する監視情報を監視者に提供する。

また、監視端末装置１０が搭載される移動体Ｖは、目的とする監視領域を走行するものであれば特に限定されず、自動車、二輪車、産業車両、路面電車などの移動体Ｖを含む。図１に示すように、自動車には自家用自動車Ｖ２や緊急自動車Ｖ３が含まれるが、なかでも特に予め決められた領域をランダム且つ常時走行するタクシーや路線バスＶ１などが好適に含まれる。図１には、タクシーＶ１、自家用自動車Ｖ２、パトカー、消防車又は救急車などの緊急自動車Ｖ３を例示するが、これらを総称する場合は移動体Ｖまたは乗用車Ｖという。

図２は、中央監視装置２０及び監視端末装置１０の具体的構成を示すブロック図である。
監視端末装置１０と中央監視装置２０とは電気通信回線網３０を介して通信が可能である。監視端末装置１０の通信装置２３は、無線通信が可能な通信手段であり、電気通信回線網３０を介して中央監視装置２０の通信装置２３と情報の授受を実行する。電気通信回線網３０が商用電話回線網である場合は携帯電話通信装置を汎用することができ、電気通信回線網３０が本例の監視システム１の専用電気通信回線網である場合は、それ専用の通信装置２３，１３を用いることができる。なお、電気通信回線網３０に代えて、無線ＬＡＮ、ＷｉＦｉ（登録商標）、ＷｉＭＡＸ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、専用無線回線などを用いることもできる。

中央監視装置２０は、移動体Ｖのカメラの撮像画像により街中を監視するために、移動体Ｖのそれぞれに搭載された監視端末装置１０から送出された位置情報及び監視画像をデータベースに入力する情報入力機能と、地図データベースから読み出した地図情報に受信した位置情報をディスプレイ２４に重畳表示するとともに、受信した監視画像をディスプレイ２４に表示する表示制御機能と、を有する。

さらに、本実施形態の中央監視装置２０は、監視者が提示された地図情報上の移動体Ｖの位置を参照して注視したい注視方向を入力した場合に、各移動体Ｖの監視端末装置１０に対する監視画像送出命令を生成する命令生成機能と、この生成した監視画像送出命令を監視端末装置１０へ送出する命令送出機能とを有する。そのため、中央監視装置２０は、中央制御装置２１、画像処理装置２２、通信装置２３、ディスプレイ２４及び入力装置２５を備える。なお、本実施形態の中央監視装置２０は、監視情報を蓄積するデータベースを中央監視装置２０の内部に有するが、アクセス可能であれば中央監視装置２０の外部に設けることもできる。

中央制御装置２１は、ＣＰＵ，ＲＯＭ，ＲＡＭにより構成され、画像処理装置２２、通信装置２３及びディスプレイ２４を制御して、監視端末装置１０から送信された位置情報、監視画像及び時刻情報を受信し、必要に応じて画像処理を施したうえでディスプレイ２４に表示する。

中央制御装置２１は、監視者から注目したい注視方向を特定する情報が入力された場合に、複数の移動体Ｖのうちの一又は複数の移動体Ｖを選択し、この選択された移動体Ｖの監視端末装置１０に特定された注視方向の監視画像を生成させ、生成した監視画像を中央監視装置２０へ送出させる指令を含む監視画像送出命令を生成して、選択された監視端末装置１０へそれぞれ送出する。このため、監視画像送出命令には、選択した移動体Ｖの監視端末装置１０を識別するための通信ＩＤその他の識別子が含まれている。移動体Ｖの選択は、入力装置２５から入力された移動体Ｖの選択命令に基づいて行うことができる。また、外部から入力された事故発生地点の近傍エリアに存在する移動体Ｖや、事故発生を通報した移動体Ｖの近傍エリアに存在する移動体Ｖや、予め重点的に監視を行う地点として定義されている重点監視地点の近傍エリアに存在する移動体Ｖなどを自動的に抽出することにより、一又は複数の移動体Ｖを選択してもよい。

本実施形態における監視画像送出命令に含まれる注視方向は、監視に用いられる画像に映し出される映像を見たときの視線方向に対応する。具体的には、監視端末装置１０側において監視用の画像を撮像するカメラの光軸（撮像方向）に対応する。監視画像送出命令における注視方向は、移動体Ｖの進行方向を基準として定義することができる。たとえば、注視方向は、移動体の前方(移動体の進行方向と同じ方向)、移動体の後方（移動体の進行方向とは反対の方向）、移動体の進行方向の右方向、移動体の進行方向の左方向、移動体の進行方向の右前方向、移動体の進行方向の右後方向、移動体の進行方向の左前方向、移動体の進行方向の左前方向などの特定された方向に応じて、監視端末装置１０において識別可能な「注視方向」を示す情報として監視画像送出命令に含ませることができる。もちろん、この注視方向は、画像処理に用いられる座標その他の座標系において、移動体Ｖの位置に応じた原点に対する角度や方位により定義することもできる。

特に限定されないが、この注視方向は一つの方向を示し、移動体Ｖの監視端末装置１０は、注視方向に基づいて、注視方向を撮像するカメラ１１又はこのカメラ１１により撮像された撮像画像を特定することができる。本実施形態のカメラ１１ａ〜１ｄは移動体Ｖのボディの異なる位置に一つずつ設けられているので、注視方向が一つの方向を示す場合には、一のタイミングにおいて撮像された注視方向の撮像画像は一枚となる。

また、特に限定されないが、注視方向には所定の幅（角度）を持たせることができる。つまり、一つの方向を示す注視方向を基準とした所定値域の角度に含まれる注視方向が示す領域を注視領域として定義することができる。たとえば、特定された注視方向を中心とした左右方向（座標上ではプラス方向及びマイナス方向、プラス方向又はマイナス方向）に所定値域の角度に含まれる注視方向が示す領域を注視領域として定義することができる。具体的に、監視画像送出命令における「注視領域」は注視方向から右側又は左側へα度（９０度、１２０度など）というように、注視方向に基づいて定義することが可能である。このように注視方向に基づいて設定された注視領域は、監視画像送出命令に含ませることができる。移動体Ｖのボディの異なる位置に複数のカメラが一つずつ設けられ、異なる方向を撮像する場合には、一のタイミングにおいて指定された注視領域を撮像する撮像画像は複数枚となる。

加えて、本実施形態では、特定された注視方向の経時的な変化に基づいて注視領域を設定することができる。具体的に、注視方向が前方向から右方向に変化した場合には、監視者が前方向から右方向に至る領域を注視したいと認められるので、この領域を「注視領域」として設定することができる。これにより、監視者側の中央監視装置２０は、監視対象の移動方向に応じて注視領域を設定する又は移動体Ｖの動きに応じて注視領域を設定することができる。

中央制御装置２１は、監視端末装置１０に、監視者が注目する注視方向や注視領域を各移動体Ｖのカメラ１１で撮像した撮像画像に基づいて監視画像を生成させるので、監視端末装置１０から得た監視画像には監視者が注目する注視方向又は注視領域の映像が含まれる。このため、中央監視装置２０は、監視者が注視したい部分が映し出された監視画像を含む有用な監視情報を取得することができる。

言い換えると、本実施形態における監視画像送出命令には、特定された注視方向又は注視領域の監視画像を生成させる指令、つまり、注視方向又は注視領域以外の監視画像の生成を禁止する指令が含まれる。本実施形態の監視画像送出命令によれば、監視端末装置１０は注視方向又は注視領域以外の画像情報は生成されない（禁止される）ので、生成される監視画像の情報量は必然的に小さくなり、中央監視装置２０へ送出される監視情報の情報量を低減させることができる。具体的に、注視方向の監視画像が一枚の撮像画像から生成される場合には、通常送られる監視画像がカメラ１１の台数に応じるので、カメラ１１の台数から１を引いた数の撮像画像分だけ送出に係る情報量を低減させることができる。同様に、注視方向の監視画像がＮ枚（Ｎは２以上の自然数）の撮像画像から生成される場合には、カメラ１１の台数からＮを引いた数の撮像画像分だけ送出に係る情報量を低減させることができる。このように、中央監視装置２０は注視方向又は注視領域の監視画像を取得するので、監視者は注視すべき方向の監視画像を確認して監視レベルを維持しつつ、監視端末装置１０から監視情報を送出する際の通信量を低減させることができる。

また、本実施形態の中央制御装置２１は、監視者により注視方向が特定された場合には、この注視方向を特定する入力がされる前よりも高い画質で監視画像を生成させる指令を監視画像送出命令に含ませることができる。監視者が注視方向を特定すると、中央制御装置２１は、特定された注視方向のみ又は注視領域のみの監視画像を作成する旨の指令を含む監視画像送出命令を生成する。この監視画像送出命令によれば、注視方向又は注視領域以外の画像情報は生成されないから、中央監視装置２０へ送出される監視情報の情報量を低減させることができる。

他方、監視者が注目したい注視方向の画像の解像度は高い方が好ましい。このため、本実施形態では、監視者により注視方向が特定された場合には、中央制御装置２１は、この特定前の画質よりも高い画質で監視端末装置１０に監視画像を作成させる指令を監視画像送出命令に含ませる。注視方向又は注視領域以外の画像情報は作成しないから、監視画像の画質を高くしても送信に係る全体の情報量の増加を抑制することができる。この結果、監視者が注目する注視方向又は注視領域の監視画像を高画質で生成しても、送信に係る全体の情報量を増加させずに中央監視装置２０に必要な監視情報を提供することができる。

画像処理装置２２は、地図データベースを有し、当該地図データベースからの地図情報をディスプレイ２４に表示するとともに、監視端末装置１０の位置検出装置１５により検出された位置情報を当該地図情報上に重畳表示する。また、監視端末装置１０のカメラ１１で撮像され、画像処理装置１２で処理された監視画像をディスプレイ２４に表示するための画像処理を施す。

ディスプレイ２４は、たとえば一つの画面上に２つ以上のウィンド画面が表示できる大きさの液晶表示装置又は２つ以上のウィンド画面をそれぞれ表示する２つ以上の液晶表示装置により構成することができる。そして、一のウィンド画面には、地図情報上に各移動体Ｖの位置情報を重ね合わせた画面を表示し（図１参照）、他方のウィンド画面には、移動体Ｖのカメラ１１で撮像された撮像画像に基づいて生成された監視画像を表示する。

入力装置２５は、キーボード、マウス、タッチパネルなどの入力デバイスであり、所望の移動体Ｖを特定してその移動体Ｖに対して監視画像送出命令を出力したり、ディスプレイ２４に表示される各種情報の処理指令を入力したりする場合に用いられる。

通信装置２３は、先述したとおり、無線通信が可能な通信手段であり、電気通信回線網３０を介して監視端末装置１０の通信装置１３と情報の授受を実行する。電気通信回線網３０が商用電話回線網である場合は携帯電話通信装置を汎用することができ、電気通信回線網３０が本例の監視システム１の専用電気通信回線網である場合は、それ専用の通信装置１３，２３を用いることができる。

続いて、監視端末装置１０について説明する。監視端末装置１０は、複数の移動体Ｖにそれぞれ搭載される端末装置であって、これら複数の移動体Ｖのそれぞれの位置情報を検出する位置検出機能と、複数の移動体Ｖのそれぞれに装着されたカメラにより撮像された当該移動体Ｖの周囲の撮像画像に基づいて監視画像を生成する監視画像生成機能と、所定のタイミングで取得した位置情報、監視画像及び時刻情報を中央監視装置２０へ送出するとともに中央監視装置２０からの指令を受け付ける通信機能と、を有する。このため、各移動体Ｖは、複数のカメラ１１ａ〜１１ｄ、画像処理装置１２、通信装置１３、制御装置１４、及び位置検出装置１５を備える。なお、時刻情報は主として事象の事後解析に供される情報であるため省略してもよい。

それぞれの移動体Ｖに搭載された複数のカメラ１１は、ＣＣＤカメラなどで構成され、移動体Ｖの周囲の各所定方向乃至所定領域を撮像し、その撮像信号を画像処理装置１２へ出力する。画像処理装置１２は、カメラ１１からの撮像信号を読み出し、監視画像生成するための画像処理を実行する。この画像処理の詳細は後述する。

位置検出装置１５は、ＧＰＳ装置及びその補正装置などで構成され、当該移動体Ｖの現在位置を検出し、制御装置１４へ出力する。

制御装置１４は、ＣＰＵ，ＲＯＭ，ＲＡＭにより構成され、電気通信回線網３０及び通信装置１３を介して受信された中央監視装置２０からの監視画像送出命令を受け付け、画像処理装置１２、通信装置１３及び位置検出装置１５を制御し、画像処理装置１２で生成された監視画像と、位置検出装置１５で検出された移動体Ｖの位置情報と、ＣＰＵが内蔵する時計からの時刻情報とを含む監視情報を、通信装置１３及び電気通信回線網３０を介して中央監視装置２０へ出力する。

監視画像を生成するにあたり、制御装置１４は、通信装置１３を介して中央監視装置２０から取得した監視画像送出命令に従い、この監視画像送出命令に含まれる注視方向を撮像した撮像画像に基づいて監視画像を画像処理装置１２に生成させる監視画像生成機能と、生成された監視画像を含む監視情報を、通信装置１３を介して中央監視装置２０に送出させる監視情報送出機能とを実行する。なお、制御装置１４は、中央監視装置２０から監視画像送出命令を受け付ける前においては、予め設定された所定のルールに従い、当該ルールにより指定されたデフォルトの一又は複数の方向を撮像した撮像画像に基づいて監視画像を画像処理装置１２に生成させ、通信装置１３を介して中央監視装置２０に送出させる。

次にカメラ１１ａ〜１１ｄの装着位置と撮像範囲について説明する。ここでは移動体Ｖとして乗用車Ｖを例に挙げて説明する。カメラ１１ａ〜１１ｄはＣＣＤ等の撮像素子を用いて構成され、４つのカメラ１１ａ〜１１ｄは乗用車Ｖの外部の異なる位置にそれぞれ設置され、移動体Ｖ周囲の前後左右の４方向をそれぞれ撮影する。

例えば、図３に示すように、フロントグリル部分などの乗用車Ｖの前方の所定位置に設置されたカメラ１１ａは、乗用車Ｖの前方のエリアＳＰ１内及びその前方の空間に存在する物体又は路面（フロントビュー）を撮影する。また、左サイドミラー部分などの乗用車Ｖの左側方の所定位置に設置されたカメラ１１ｂは、乗用車Ｖの左側方のエリアＳＰ２内及びその周囲の空間に存在する物体又は路面（左サイドビュー）を撮影する。また、リアフィニッシャー部分やルーフスポイラー部分などの乗用車Ｖの後方部分の所定位置に設置されたカメラ１１ｃは、乗用車Ｖの後方のエリアＳＰ３内及びその後方の空間に存在する物体又は路面（リアビュー）を撮影する。また、右サイドミラー部分などの乗用車Ｖの右側方の所定位置に設置されたカメラ１１ｄは、乗用車Ｖの右側方のエリアＳＰ４内及びその周囲の空間に存在する物体又は路面（右サイドビュー）を撮影する。

図４は、各カメラ１１ａ〜１１ｄの配置を乗用車Ｖの上空から見た図である。同図に示すように、エリアＳＰ１を撮像するカメラ１１ａ、エリアＳＰ２を撮像するカメラ１１ｂ、エリアＳＰ３を撮像するカメラ１１ｃ、エリアＳＰ４を撮像するカメラ１１ｄの４つは、乗用車Ｖのボディの外周ＶＥに沿って左回り（反時計回り）又は右回り（時計回り）に沿って設置されている。つまり、同図に矢印Ｃで示す左回り（反時計回り）に乗用車Ｖのボディの外周ＶＥに沿って見ると、カメラ１１ａの左隣りにカメラ１１ｂが設置され、カメラ１１ｂの左隣りにカメラ１１ｃが設置され、カメラ１１ｃの左隣りにカメラ１１ｄが設置され、カメラ１１ｄの左隣りにカメラ１１ａが設置されている。逆に同図に示す矢印Ｃの方向とは反対に（時計回り）に乗用車Ｖのボディの外周ＶＥに沿って見ると、カメラ１１ａの右隣りにカメラ１１ｄが設置され、カメラ１１ｄの右隣りにカメラ１１ｃが設置され、カメラ１１ｃの右隣りにカメラ１１ｂが設置され、カメラ１１ｂの右隣りにカメラ１１ａが設置されている。

図５Ａは、フロントのカメラ１１ａがエリアＳＰ１を撮像した画像ＧＳＰ１の一例を示し、図５Ｂは、左サイドのカメラ１１ｂがエリアＳＰ２を撮像した画像ＧＳＰ２の一例を示し、図５Ｃは、リアのカメラ１１ｃがエリアＳＰ３を撮像した画像ＧＳＰ３の一例を示し、図５Ｄは、右サイドのカメラ１１ｄがエリアＳＰ４を撮像した画像ＧＳＰ４の一例を示す画像図である。ちなみに、各画像のサイズは、縦４８０ピクセル×横６４０ピクセルである。画像サイズは特に限定されず、一般的な端末装置で動画再生が可能なサイズであればよい。

なお、カメラ１１の配置数及び配置位置は、乗用車Ｖの大きさ、形状、検出領域の設定手法等に応じて適宜に決定することができる。上述した複数のカメラ１１は、それぞれの配置に応じた識別子が付されており、制御装置１４は、各識別子に基づいて各カメラ１１のそれぞれを識別することができる。また、制御装置１４は、指令信号に識別子を付することにより、特定のカメラ１１に撮像命令その他の命令を送出することができる。

制御装置１４は、画像処理装置１２を制御してカメラ１１によって撮像された撮像信号をそれぞれ取得し、画像処理装置１２は、各カメラ１１からの撮像信号を処理して図５Ａ〜図５Ｄに示す監視画像に変換する。そして、制御装置１４は、図５Ａ〜図５Ｄに示す４つの監視画像に基づいて監視画像を生成するとともに（監視画像生成機能）、この監視画像を柱体の投影モデルの側面に設定された投影面に投影するためのマッピング情報を監視画像に対応づけ（マッピング情報付加機能）、中央監視装置２０へ出力する。以下、監視画像生成機能とマッピング情報付加機能について詳述する。

なお、乗用車Ｖの周囲を撮像した４つの監視画像に基づいて監視画像を生成し、これにマッピング情報を関連付ける処理は、本例のように監視端末装置１０で実行するほか、中央監視装置２０で実行することもできる。この場合には、乗用車Ｖの周囲を撮像した４つの監視画像を監視端末装置１０から中央監視装置２０へそのまま送信し、これを中央監視装置２０の画像処理装置２２及び中央制御装置２１にて監視画像を生成するとともにマッピング情報を関連付け、投影変換すればよい。

まず、監視画像生成機能について説明する。本実施形態の監視端末装置１０の制御装置１４は、画像処理装置１２を制御して各カメラ１１ａ〜１１ｄの撮像信号をそれぞれ取得し、さらに乗用車Ｖのボディの外周に沿って右回り又は左回りの方向に設置されたカメラ１１ａ〜１１ｄの監視画像がこれらのカメラ１１ａ〜１１ｄの設置順に配置されるように、一枚の監視画像を生成する。

上述したように、本実施形態において、４つのカメラ１１ａ〜１１ｄは乗用車Ｖのボディの外周ＶＥに沿って左回り（反時計回り）にカメラ１１ａ、１１ｂ、１１ｃ、１１ｄの順に設置されているので、制御装置１４は、これらのカメラ１１ａ〜１１ｄの設置の順序（カメラ１１ａ→１１ｂ→１１ｃ→１１ｄ）に従って、各カメラ１１ａ〜１１ｄが撮像した４枚の画像が一体となるように水平方向に繋げ、一枚の監視画像を生成する。本実施形態の監視画像において、各画像は乗用車Ｖの接地面(路面)が下辺となるように配置され、各画像は路面に対して高さ方向（垂直方向）の辺で互いに接続される。

図６は、監視画像Ｋの一例を示す図である。同図に示すように、本実施形態の監視画像Ｋは、図面左側から図面右側へ向かう方向Ｐに沿って、フロントのカメラ１１ａがエリアＳＰ１を撮像した撮像画像ＧＳＰ１、左サイドのカメラ１１ｂがエリアＳＰ２を撮像した撮像画像ＧＳＰ２、リアのカメラ１１ｃがエリアＳＰ３を撮像した撮像画像ＧＳＰ３、及び右サイドのカメラ１１ｄがエリアＳＰ４を撮像した撮像画像ＧＳＰ４が、水平方向にこの順序で並べて配置され、これら４つの画像が一連の画像とされている。このように生成された監視画像Ｋを、路面(移動体Ｖの接地面)に対応する画像を下にして左端から右側へ順番に表示することにより、監視者は、移動体Ｖの周囲を反時計回りに見回したのと同様にディスプレイ２４上で視認することができる。このように、図６に示す態様の監視画像Ｋは、送受信などの処理を行っても位置関係が狂うことなく、所期の順序のままの配置で再生することができる。

なお、一つの監視画像Ｋを生成する際には、各カメラ１１ａ〜１１ｄの撮影タイミングを略同時にして取得した４つの画像が用いられる。これにより、監視画像Ｋに含まれる情報を同期させることができるので、所定タイミングにおける移動体Ｖ周囲の状況を正確に表現することができる。

また、カメラの撮像タイミングが略同時である各撮像画像から生成した監視画像Ｋを経時的に記憶し、所定の単位時間あたりに複数の監視画像Ｋが含まれる動画の監視画像Ｋを生成するようにしてもよい。撮像タイミングが同時の画像に基づいて動画の監視画像Ｋを生成することにより、移動体Ｖ周囲の状況の変化を正確に表現することができる。

ところで、各撮像領域の画像をそれぞれ経時的に記憶し、各撮像領域ごとに生成した動画の監視画像Ｋを中央監視装置２０へ送信した場合には、中央監視装置２０の機能によっては、複数の動画を同時に再生できない場合がある。このような従来の中央監視装置２０においては、複数の動画を同時に再生表示することができないため、各動画を再生する際には画面を切り替えて動画を一つずつ再生しなければならない。つまり、従来の中央監視装置２０では、複数方向の映像（動画）を同時に見ることができず、移動体Ｖ周囲の全体を一画面で監視することができないという不都合がある。

これに対して本実施形態の制御装置１４は、複数の画像から一つの監視画像Ｋを生成するので、中央監視装置２０の機能にかかわらず、異なる撮像方向の画像を同時に動画再生することができる。つまり、監視画像Ｋを連続して再生（動画再生）することにより、監視画像Ｋに含まれる４枚の画像を同時に連続して再生（動画再生）し、方向の異なる領域の状態変化を一画面で監視することができる。

また、本実施形態の監視端末装置１０は、監視画像Ｋの画素数が各カメラ１１ａ〜１１ｄの画像の画素数と略同一になるように画像のデータ量を圧縮して監視画像Ｋを生成することもできる。図５Ａ〜図５Ｄに示す各画像のサイズは４８０×６４０ピクセルであるのに対し、本実施形態では、図６に示すように監視画像Ｋのサイズが１２８０×２４０ピクセルとなるように圧縮処理を行う。これにより、監視画像Ｋのサイズ（１２８０×２４０＝３０７，２００ピクセル）が、各画像のサイズ（４８０×６４０×４枚＝３０７，２００ピクセル）と等しくなるので、監視画像Ｋを受信した中央監視装置２０側の機能にかかわらず、画像処理及び画像再生を行うことができる。

本実施形態の監視端末装置１０は、取得した監視画像送出命令に画質を指定する指令が含まれている場合には、指定された画質の監視画像を生成する。一の注視方向が指定され、一枚の撮像画像に基づいて監視画像が生成する場合には、２倍又は３倍の画質で監視画像を生成しても、四方向（四枚）の撮像画像に基づいて生成された監視画像よりも情報量を低減させることができる。

さらに、本実施形態の制御装置１４は、配置された各画像の境界を示す線図形を、監視画像Ｋに付することもできる。図６に示す監視画像Ｋを例にすると、制御装置１４は、配置された各画像の境界を示す線図形として、各画像の間に矩形の仕切り画像Ｂｂ，Ｂｃ，Ｂｄ，Ｂａ，Ｂａ´を監視画像Ｋに付することができる。このように、４つの画像の境界に仕切り画像を配置することにより、一連にされた監視画像Ｋの中で、撮像方向が異なる各画像をそれぞれ別個に認識させることができる。つまり、仕切り画像は各撮像画像の額縁として機能する。また、各撮像画像の境界付近は画像の歪みが大きいので、撮像画像の境界に仕切り画像を配置することにより、歪みの大きい領域の画像を隠すことや、歪みが大きいことを示唆することができる。

また、本実施形態の制御装置１４は、後述する投影モデルの側面に設定された投影面に４つの画像を投影させた場合の歪みを補正してから、監視画像Ｋを生成することもできる。撮影された画像の周辺領域は画像の歪みが生じやすく、特に広角レンズを用いたカメラ１１である場合には撮像画像の歪みが大きくなる傾向があるため、画像の歪みを補正するために予め定義された画像変換アルゴリズムと補正量とを用いて、撮像画像の歪みを補正することが望ましい。

特に限定されないが、制御装置１４は、図７に示すように、中央監視装置２０において監視画像Ｋを投影させる投影モデルと同じ投影モデルの情報をＲＯＭから読み出し、この投影モデルの投影面に撮像画像を投影し、投影面において生じた歪みを予め補正することもできる。なお、画像変換アルゴリズムと補正量はカメラ１１の特性、投影モデルの形状に応じて適宜定義することができる。このように、投影モデルの投影面に関し画像Ｋを投影した場合の歪みを予め補正しておくことにより、歪みの少ない視認性の良い監視画像Ｋを提供することができる。また、歪みを予め補正しておくことにより、並べて配置された各画像同士の位置ズレを低減させることができる。

次に、マッピング情報付加機能について説明する。本実施形態の監視端末装置１０において、制御装置１４は、乗用車Ｖの接地面を底面とする柱体の投影モデルＭの側面に設定された投影面に、生成された監視画像Ｋを投影するためのマッピング情報を監視画像Ｋに対応づける処理を実行する。マッピング情報は、監視画像Ｋを受信した中央監視装置２０に、容易に投影基準位置を認識させるための情報である。図８は本実施形態の投影モデルＭの一例を示す図、図９は図８に示す投影モデルＭのｘｙ面に沿う断面模式図である。

図８、９に示すように、本実施形態の投影モデルＭは、底面が正八角形で、鉛直方向（図中ｚ軸方向）に沿って高さを有する正八角柱体である。なお、投影モデルＭの形状は、底面の境界に沿って隣接する側面を有する柱体であれば特に限定されず、円柱体、若しくは三角柱体、四角柱体、六角柱体などの角柱体、又は底面が多角形で側面が三角形の反角柱体とすることもできる。

また、同図に示すように、本実施形態の投影モデルＭの底面は乗用車Ｖの接地面と平行である。また、投影モデルＭの側面の内側面には、投影モデルＭの底面に接地する乗用車Ｖの周囲の映像を映し出す投影面Ｓａ，Ｓｂ，Ｓｃ，Ｓｄ（以下、投影面Ｓと総称する。）が設定されている。投影面Ｓは、投影面Ｓａの一部と投影面Ｓｂの一部、投影面Ｓｂの一部と投影面Ｓｃの一部、投影面Ｓｃの一部と投影面Ｓｄの一部、投影面Ｓｄの一部と投影面Ｓａの一部により構成することもできる。監視画像Ｋは、乗用車Ｖを取り囲む投影モデルＭの上方の視点Ｒ（Ｒ１〜Ｒ８、以下、視点Ｒと総称する。）から乗用車Ｖを俯瞰した映像として投影面Ｓに投影される。

本実施形態の制御装置１４は、右端又は左端に配置された撮像画像の基準座標を、マッピング情報として監視画像Ｋに対応づける。図６に示す監視画像Ｋを例にすると、制御装置１４は、投影モデルＭに投影される際の、監視画像Ｋの始端位置又は終端位置を示すマッピング情報（基準座標）として、右端に配置された撮像画像ＧＳＰ１の左上頂点の座標Ａ（ｘ、ｙ）と、左端に配置された撮像画像ＧＳＰ２の右上頂点の座標Ｂ（ｘ、ｙ）とを監視画像Ｋに付する。なお、始端位置又は終端位置を示す撮像画像の基準座標は特に限定されず、左端に配置された監視画像Ｋの左下頂点、又は右端に配置された監視画像Ｋの右下頂点としてもよい。またマッピング情報は、監視画像Ｋの画像データの各画素に付してもよいし、監視画像Ｋとは別のファイルとして管理してもよい。

このように、監視画像Ｋの始端位置又は終端位置を示す情報、つまり投影処理において基準とする基準座標をマッピング情報として監視画像Ｋに対応づけることにより、監視画像Ｋを受信した中央監視装置２０が、容易に投影処理時における基準位置を認識することができるので、カメラ１１ａ〜１１ｄの配置順に並べられた監視画像Ｋを、投影モデルＭの側面の投影面Ｓに容易且つ迅速に順次投影することができる。すなわち、図９に示すようにカメラ１１ａの撮像方向に位置する投影面Ｓａに移動体Ｖ前方の撮像画像ＧＳＰ１を投影し、カメラ１１ｂの撮像方向に位置する投影面Ｓｂに移動体Ｖの右側方の撮像画像ＧＳＰ２を投影し、カメラ１１ｃの撮像方向に位置する投影面Ｓｃに移動体Ｖの後方の撮像画像ＧＳＰ３を投影し、カメラ１１ｄの撮像方向に位置する投影面Ｓｄに移動体Ｖの左側方の撮像画像ＧＳＰ４を投影することができる。

これにより、投影モデルＭに投影された監視画像Ｋは、あたかも乗用車Ｖの周囲を見回したときに見える映像を示すことができる。つまり、カメラ１１ａ〜１１ｄの設置順序に応じて水平方向一列に配置された４つの画像を含む監視画像Ｋは、投影モデルＭの柱体において、同じく水平方向に並ぶ側面に投影されるので、柱体の投影モデルＭの投影面Ｓに投影された監視画像Ｋに、乗用車Ｖの周囲の映像をその位置関係を維持したまま再現することができる。

なお、本実施形態の制御装置１４は、監視画像Ｋの各座標値と投影モデルＭの各投影面Ｓの座標値との対応関係をマッピング情報として記憶し、監視画像Ｋに付することができるが、中央監視装置２０に予め記憶させてもよい。

また、図８，９に示す視点Ｒ、投影面Ｓの位置は例示であり、任意に設定することができる。特に、視点Ｒは、操作者の操作によって変更可能である。視点Ｒと監視画像Ｋの投影位置との関係は予め定義されており、視点Ｒの位置が変更された場合には所定の座標変換を実行することにより、新たに設定された視点Ｒから見た監視画像Ｋを投影面Ｓ（Ｓａ〜Ｓｄ）に投影することができる。この視点変換処理には公知の手法を用いることができる。

以上のように、本実施形態の制御装置１４は、所定タイミングで撮影された監視画像に基づいて監視画像Ｋを生成し、この監視画像Ｋにマッピング情報、基準座標、境界を示す線図形（仕切り画像）の情報を対応づけ、撮像タイミングに従って経時的に記憶する。特に限定されないが、制御装置１４は、所定の単位時間あたりに複数の監視画像Ｋを含む一つの動画ファイルとして監視画像Ｋを記憶してもよいし、ストリーミング方式で転送・再生が可能な形態で監視画像Ｋを記憶してもよい。

一方、中央監視装置２０の通信装置２３は、監視端末装置１０から送信された監視画像Ｋとこの監視画像Ｋに対応づけられたマッピング情報を受信する。この監視画像Ｋは、上述したとおり乗用車Ｖのボディの異なる位置に設置された４つのカメラ１１の画像が、乗用車Ｖのボディの外周に沿って右回り又は左回りの方向に沿って設置されたカメラ１１ａ〜１１ｄの設置順序（移動体Ｖのボディの外周に沿う右回り又は左回りの順序）に従って配置されたものである。また、この監視画像Ｋには、監視画像Ｋを八角柱体の投影モデルＭの投影面Ｓに投影させるためのマッピング情報が対応づけられている。通信装置２３は取得した監視画像Ｋ及びマッピング情報を画像処理装置２２へ送出する。

画像処理装置２２は、予め記憶している投影モデルＭを読み出し、マッピング情報に基づいて、図８及び図９に示す乗用車Ｖの接地面を底面とする八角柱体の投影モデルＭの側面に設定された投影面Ｓａ〜Ｓｄに監視画像Ｋを投影させた表示画像を生成する。具体的には、マッピング情報に従い、受信した監視画像Ｋの各画素を、投影面Ｓａ〜Ｓｄの各画素に投影する。また、画像処理装置２２は、監視画像Ｋを投影モデルＭに投影する際に、監視画像Ｋと共に受信した基準座標に基づいて、監視画像Ｋの開始点(監視画像Ｋの右端又は左端)を認識し、この開始点が予め投影モデルＭ上に定義された開始点(投影面Ｓの右端又は左端)と合致するように投影処理を行う。また、画像処理装置２２は、監視画像Ｋを投影モデルＭに投影する際に、各画像の境界を示す線図形(仕切り画像)を投影モデルＭ上に配置する。仕切り画像は、予め投影モデルＭに付しておくこともでき、投影処理後に監視画像Ｋに付すこともできる。

ディスプレイ２４は、投影モデルＭの投影面Ｓに投影した監視画像Ｋを表示する。図１０〜図１７は、監視画像Ｋの表示画像の一例を示す。なお、図１１等に示す白抜きの二重丸は、後に説明する注視方向の入力（特定）の手法を説明するために付したものであり、監視画像Ｋに含まれるものではない。

図１０には、図８，９に示す視点Ｒ１から見た投影面Ｓｄ、Ｓａ、Ｓｂに投影された監視画像Ｋを示す。投影モデルＭの底面には各視点Ｒから見た移動体Ｖの画像が貼り付けられている。また、投影面Ｓｄ、Ｓａ、Ｓｂの間にある画像が表示されていない部分は「境界を示す線図形（仕切り画像）」である。

同様に、図１１には視点Ｒ２から見た監視画像Ｋを示し、図１２には視点Ｒ３から見た監視画像Ｋを示し、図１３には視点Ｒ４から見た監視画像Ｋを示し、図１４には視点Ｒ５から見た監視画像Ｋを示し、図１５には視点Ｒ６から見た監視画像Ｋを示し、図１６には視点Ｒ７から見た監視画像Ｋを示し、図１７には視点Ｒ８から見た監視画像Ｋを示す。

このように、本実施形態の端末装置８００は、移動体Ｖのボディに設置されたカメラ１の設置順序に応じて各カメラ１の撮像画像をｘ軸方向又はｙ軸方向に沿って（横に）配置した監視画像Ｋを、その配置順に従って柱体の投影モデルＭの側面に沿って(横に)マッピングするので、投影モデルＭに示された監視画像Ｋは、移動体Ｖの周囲を時計回りに見回したときに見える映像を示すことができる。つまり、監視者は、監視画像Ｋを見ることにより、移動体Ｖから離隔した位置に居ながら、移動体Ｖに搭乗して周囲を見渡したときと同じ情報を取得することができる。

特に図１０〜図１７に示すように、投影モデルＭの底面に移動体Ｖの画像を示すことにより、移動体Ｖの向きと各撮像画像との位置関係が分かり易くすることができる。つまり移動体Ｖのフロントグリルに対向する投影面Ｓには、移動体Ｖのフロントグリルに設けられたカメラ１ａの撮像画像ＧＳＰ１を投影し、移動体Ｖの右サイドミラーに対向する投影面Ｓには、移動体Ｖの右サイドミラーに設けられたカメラ１ｄの撮像画像ＧＳＰ４を投影し、移動体Ｖのリア部に対向する投影面Ｓには、移動体Ｖのリア部に設けられたカメラ１ｃの撮像画像ＧＳＰ３を投影し、移動体Ｖの左サイドミラーに対向する投影面Ｓには、移動体Ｖの左サイドミラーに設けられたカメラ１ｂの撮像画像ＧＳＰ２を投影することができる。このように、図１０〜図１７に示すように、本実施形態によれば、移動体Ｖの周囲の映像がその位置関係を保ったまま投影された監視画像Ｋを提示することができるので、監視者は移動体Ｖの周囲で何が起きているかを容易に把握することができる。

ちなみに、本願願書に添付した図１０〜図１７は静止画であるため、実際の表示画像の再生状態を示すことができないが、本実施形態の中央監視装置２０においては、ディスプレイ２４の表示画面中の各投影面Ｓに示される画像はそれぞれ動画である。つまり、移動体Ｖのフロントグリルに対向する投影面Ｓには、移動体Ｖ前方の撮像領域ＳＰ１の動画映像が映し出され、移動体Ｖの右サイドミラーに対向する投影面Ｓには、移動体Ｖ右側方の撮像領域ＳＰ４の動画映像が映し出され、移動体Ｖのリア部に対向する投影面Ｓには、移動体Ｖ後方の撮像領域ＳＰ３の動画映像が映し出され、移動体Ｖの左サイドミラーに対向する投影面Ｓには、移動体Ｖ左側方の撮像領域ＳＰ２の動画映像が映し出されている。つまり、図１０〜図１７に示す各投影面Ｓには、異なるカメラ１により撮像された撮像画像に基づく複数の動画の監視画像Ｋを同時に再生することができる。

なお、マウスやキーボードなどの入力装置２５又はディスプレイ２４をタッチパネル式の入力装置２５とすることで、監視者の操作により視点を自在に設定・変更することができる。視点位置と投影面Ｓとの対応関係は上述の画像処理装置２２又はディスプレイ２４において予め定義されているので、この対応関係に基づいて、変更後の視点に応じた監視画像Ｋをディスプレイ２４に表示することができる。

次に本実施形態に係る監視システム１の動作について説明する。図１８は監視端末装置１０側の動作を示すフローチャートである。

図１８に示すように、ステップ１０において、中央管理装置２０は、移動体Ｖに搭載された監視端末装置１０から移動体Ｖの位置情報と監視情報を所定周期で取得し、中央監視装置２０がアクセス可能なデータベースに蓄積する。本実施形態では、予め設定された所定周期で監視情報を収集し蓄積する例を示すが、中央管理装置２０の制御の下に監視情報の収集及び蓄積を実行することができる。つまり、中央監視装置２０から監視情報の要求指令を受信した場合に限って、監視端末装置１０に監視情報をアップロード（送出）させるように構成することができる。

ステップ２０では、ステップ１０で取得した位置情報に基づいて移動体Ｖの現在位置（撮像タイミングにおける走行位置）を、ディスプレイ２４に表示された地図データベースの地図情報上に図１の左上に示すようにドットを重畳して表示する。この地図情報を見れば、どの位置に監視端末装置１０を搭載する移動体Ｖが走行しているかを一目で視認することができる。言い換えると、監視したい位置に存在する監視端末装置１０を搭載する移動体Ｖを特定することができる。移動体Ｖの位置情報は、図１８の１ルーチン毎の所定のタイミングにて取得され送信されるので、監視者は移動体Ｖの現在位置をタイムリーに把握することができる。

ステップ３０において、中央監視装置２０は、監視情報を送信させる対象となる移動体Ｖが選択されたか否かを判断する。巡回バスなどのように移動体Ｖの移動スケジュール（位置の経時的な変化）が予め分かっている場合には、その移動スケジュールに基づいて監視情報を送信させたい移動体Ｖを選択することができる。他方、ランダムに走行するタクシーのように移動体Ｖの移動スケジュールが分からない場合には、ステップ２０において表示された移動体Ｖの位置を参照して、事故発生地点の近傍、事故の目撃情報を通報した移動体Ｖの近傍などの監視したい位置に存在する移動体Ｖを選択することができる。
移動体Ｖすなわち監視端末装置１０の選択は、中央監視装置２０の入力装置２５を介して行うことができる。たとえば、図１に示す地図情報に重畳された移動体Ｖの位置を示すドットをクリックすることにより、移動体の選択情報を中央監視装置２０に入力することができる。このステップ３０において、監視端末装置１０が特定された場合にはステップ４０へ進み、移動体Ｖ（監視端末装置１０）が選択されない場合にはステップ１０に戻り、所定周期で取得した監視画像の蓄積処理及び表示を繰り返す。

ステップ４０において、中央監視装置２０は、注視方向又は注視領域を特定する入力がされたか否かを判断する。注視方向又は注視領域を特定する入力されない場合には、ステップ４１へ進み、予め設定されたデフォルトの注視方向又は注視領域が特定される。デフォルトの注視方向は特に限定されないが、移動体Ｖの進行方向とすることができる。また、デフォルトの注視領域は特に限定されないが、移動体の進行方向を中心に１３５度ずつ(合計２７０度)とすることができる。移動体Ｖは進行方向に沿って移動するため有用な映像は進行方向の映像である可能性が高いからである。このように、デフォルトの注視方向や注視領域を設定しておくことにより、監視者の操作負担を軽減することができる。他方、注視方向又は注視領域を特定する入力された場合には、ステップ５０に進む。

ここで、注視方向の入力手法を説明する。図１９は、前回の処理において監視端末装置１０側から送られ、ディスプレイ２４に表示された監視画像Ｋの一例である。ディスプレイ２４がタッチパネル式のディスプレイである場合において、監視者がディスプレイ２４上のポイントＰＲをタッチすると、ポイントＰＲの方向を注視方向として特定することができる。監視者が移動体Ｖの左方向に注目する場合には、この監視画像Ｋのうち左サイドのカメラ１１ｂがエリアＳＰ２を撮像した撮像画像ＧＳＰ２を選択する入力を行う。具体的には、監視者はタッチパネル式のディスプレイ２４のうち、撮像画像ＧＳＰ２が提示されるエリアのポイントＰＲに触れることにより、移動体Ｖの左方向を注視方向として入力することができる。なお、ポイントＰＲ及び後述するＰＲ１，ＰＲ２は監視者の触れる場所を便宜的に示す印であり、監視画像Ｋを構成するものではない。

中央監視装置２０は、この注視方向に対応するポイントＰＲを含む１画像、つまり、左サイドのカメラ１１ｂの撮像画像ＧＳＰ２の１枚に基づいて撮像画像を生成する監視情報送出命令を生成し、選択した監視端末装置１０へ送出する。監視情報送出命令を取得した監視端末装置１０は、撮像画像ＧＳＰ２のみに基づいて監視画像Ｋを生成する。つまり、エリアＷ０以外の領域を撮像する撮像画像ＧＳＰ１、ＧＳＰ３及びＧＳＰ４は監視画像Ｋの生成には用いられず、監視画像Ｋには含まれない。これにより、撮像画像ＧＳＰ１、ＧＳＰ３及びＧＳＰ４の３つの画像に応じた情報量の分だけ監視画像Ｋの情報量を低減させることができる。

中央監視装置２０が入力された注視方向に基づいて注視領域を設定する場合の処理を説明する。同じく監視画像Ｋを表示するタッチパネル型のディスプレイ２４において、図２０に示すように、監視者がディスプレイ２４上のポイントＰＲを触れると、移動体Ｖの左方向を注視方向として入力することができる。中央監視装置２０はポイントＰＲに対応する注視方向を中心に左右２７０度の範囲を注視領域として設定する。

中央監視装置２０は、この注視領域に対応する撮像画像ＧＳＰ２及びこれの左右両隣の２画像を含めた合計３画像、つまり、フロントのカメラ１１ａがエリアＳＰ１を撮像した撮像画像ＧＳＰ１、左サイドのカメラ１１ｂがエリアＳＰ２を撮像した撮像画像ＧＳＰ２、リアのカメラ１１ｃがエリアＳＰ３を撮像した撮像画像ＧＳＰ３を含むエリアＷ１の撮像画像に基づいて撮像画像を生成する監視情報送出命令を生成し、選択した監視端末装置１０へ送出する。監視情報送出命令を取得した監視端末装置１０は、撮像画像ＧＳＰ１、ＧＳＰ２及びＧＳＰ３の３枚の画像のみに基づいて監視画像Ｋを生成する。つまり、エリアＷ１以外の領域を撮像する撮像画像ＧＳＰ４に応じた１つの画像に応じた情報量の分だけ監視画像Ｋの情報量を低減させることができる。

また、中央監視装置２０は、図２１に示すように、注視方向を示すポイントＰＲを中心に左右の画像の半分ずつを含めた合計２画像、つまり、フロントのカメラ１１ａがエリアＳＰ１を撮像した撮像画像ＧＳＰ１の右側（ＧＳＰ２側）の半分の画像、左サイドのカメラ１１ｂがエリアＳＰ２を撮像した撮像画像ＧＳＰ２、リアのカメラ１１ｃがエリアＳＰ３を撮像した撮像画像ＧＳＰ３の左側（ＧＳＰ２側）の半分の画像を含むエリアＷ２を注視領域として設定することができる。これにより、エリアＷ２以外の領域にある撮像画像ＧＳＰ１の半分、撮像画像ＧＳＰ３の半分及び撮像画像ＧＳＰ４は監視画像Ｋには含まれない。つまり、エリアＷ２以外の領域を撮像するＧＳＰ１の半分の画像と、ＧＳＰ３の半分の画像と、ＧＳＰ４の１枚分の画像の合計２枚分の画像に応じた情報量の分だけ監視画像Ｋの情報量を低減させることができる。

さらに、図２２に示すように、監視者がタッチパネル式のディスプレイ２４を撫でる操作をしたときには、特定された注視方向の変化を求めることができるので、この注視方向の変化に基づいて注視領域を設定することができる。具体的に、監視者が、撮像画像ＧＳＰ２が提示されるエリアのポイントＰＲ１から、撮像画像ＧＳＰ３が提示されるエリアのポイントＰＲ２までを図中に示す矢印に沿って撫でる操作をしたときには、注視方向が左から後方にかけて変化し、注視領域は移動体Ｖの左側方から後方にかけた領域であると判断することができる。

中央監視装置２０は、この左側方から後方にかけた注視領域に対応する左サイドのカメラ１１ｂがエリアＳＰ２を撮像した撮像画像ＧＳＰ２、リアのカメラ１１ｃがエリアＳＰ３を撮像した撮像画像ＧＳＰ３及び右サイドのカメラ１１ｄがエリアＳＰ４を撮像した撮像画像ＧＳＰ４を含むエリアＷ３の撮像画像に基づいて撮像画像を生成する監視情報送出命令を生成し、選択した監視端末装置１０へ送出する。監視情報送出命令を取得した監視端末装置１０は、撮像画像ＧＳＰ２、ＧＳＰ３及びＧＳＰ４のみに基づいて監視画像Ｋを生成する。つまり、エリアＷ１以外の領域を撮像する撮像画像ＧＳＰ１に応じた情報量の分だけ監視画像Ｋの情報量を低減させることができる。

続いて、中央監視装置２０が図１０〜図１７のように視点変換が可能な三次元映像により監視画像Ｋを提示するときの注視方向の特定の手法を説明する。たとえば、図１１に示す監視画像Ｋがタッチパネル式のディスプレイ２４に提示されている場合において、監視者が移動体Ｖの右方向を示すポイントＰＲａをタッチした場合には、中央監視装置２０は、注視方向を示すポイントＰＲａを中心に左右１画像を含めた合計３画像、つまりフロントのカメラ１１ａがエリアＳＰ１を撮像した撮像画像ＧＳＰ１、右サイドのカメラ１１ｄがエリアＳＰ４を撮像した撮像画像ＧＳＰ４、及びリアのカメラ１１ｃがエリアＳＰ３を撮像した撮像画像ＧＳＰ３を含むエリアＷ１を注視領域として特定し、この注視領域の監視画像を生成させるための監視画像送出命令を監視端末装置１０へ送出する。監視端末装置１０は、新たに監視画像を生成する際に、フロントのカメラ１１ａがエリアＳＰ１を撮像した撮像画像ＧＳＰ１、右サイドのカメラ１１ｄがエリアＳＰ４を撮像した撮像画像ＧＳＰ４、及びリアのカメラ１１ｃがエリアＳＰ３を撮像した撮像画像ＧＳＰ３のみを用い、左サイドのカメラ１１ｂがエリアＳＰ２を撮像した撮像画像ＧＳＰ２は利用しない。このような監視画像送出命令に基づいて作成・送出された監視画像Ｋは、図１２に示すようなものになるが、左サイドのカメラ１１ｂがエリアＳＰ２を示す部分には監視画像Ｋは表示されない。これにより、１枚分の監視画像の情報量を低減させることができる。

また、図１３に示す監視画像Ｋがタッチパネル式のディスプレイ２４に提示されている場合において、監視者が移動体Ｖの右方向を示すポイントＰＲｂから後方向を示すＰＲｃまでを撫でるようにタッチした場合には、中央監視装置２０は、右方向から後方向に向かう領域を注視領域として設定し、ポイントＰＲｂを含む右サイドのカメラ１１ｄがエリアＳＰ４を撮像した撮像画像ＧＳＰ４から３画像を含む合計３画像、つまり撮像画像ＧＳＰ４、リアのカメラ１１ｃがエリアＳＰ３を撮像した撮像画像ＧＳＰ３、及び左サイドのカメラ１１ｂがエリアＳＰ２を撮像した撮像画像ＧＳＰ２を含む監視画像を生成させるための監視画像送出命令を監視端末装置１０へ送出する。監視端末装置１０は、新たに監視画像を生成する際に、右サイドのカメラ１１ｄがエリアＳＰ４を撮像した撮像画像ＧＳＰ４、リアのカメラ１１ｃがエリアＳＰ３を撮像した撮像画像ＧＳＰ３、及び左サイドのカメラ１１ｂがエリアＳＰ２を撮像した撮像画像ＧＳＰ２のみを用い、フロントのカメラ１１ａがエリアＳＰ１を撮像した撮像画像ＧＳＰ１は利用しない。このような監視画像送出命令に基づいて作成・送出された監視画像Ｋは、図１４に示すようなものになるが、フロントのカメラ１１ａがエリアＳＰ１を示す部分には監視画像Ｋは表示されない。これにより、１枚分の監視画像の情報量を低減させることができる。

図１８に戻り、ステップ５０において、画質を特定する情報が入力された場合には、ステップ６０へ進む。他方、ステップ５０において、画質を特定する情報が入力されない場合には、デフォルトの画質を読み出してステップ５１へ進む。特定される画質及びデフォルトの画質は、いずれもステップ４０において注視方向又は注視領域が特定される前の所定の画質よりも高い画質である。このように、デフォルトの画質を設定しておくことにより、監視者の入力負荷を低減させることができる。

ステップ６０において、中央監視装置２０は、ステップ４０、４１において特定された注視方向又は注視領域の監視画像であって、さらに、ステップ５０、５１において特定された画質（注視方向又は注視領域が特定される前の所定の画質よりも高い画質）の監視画像を生成させ、送出させる指令を含む監視画像送出命令を、ステップ３０において選択された移動体Ｖの監視端末装置１０へ送る。

その後、ステップ７０において監視端末装置１０から、監視画像送出命令に従って生成された監視画像を取得する。

ステップ８０において、中央監視装置２０は、取得した注視方向又は注視領域の監視画像を、ディスプレイ２４に表示させる。その後は、ステップ１０以降の処理を所定周期で繰り返す。

次に、本発明の本実施形態の監視端末装置１０の処理手順を説明する。図２３は、本実施形態に係る監視端末装置１０の制御手順を示すフローチャートである。

ステップ１１０において、監視端末装置１０は、所定の周期で各カメラ１１ａ〜１１ｄの撮像画像を取得する。取得した撮像画像は、撮像時刻と対応づけて少なくとも一時的に保存する。注視方向以外であっても、事後検証において撮像画像が必要になる場合が生じる可能性があるからである。

ステップ１２０において、監視端末装置１０は、電気通信回線網３０を介して中央監視装置２０から監視画像送出命令を取得したか否かを判断する。監視端末装置１０は、この監視画像送出命令を取得したら、ステップ１３０以降の処理を行う。

他方、監視画像送出命令を取得しない場合は、ステップ１１０で取得した撮像画像に基づいて生成された監視画像を、電気通信回線網３０を介して中央監視装置２０へ送出する(ステップ１８０)処理を、周期を含む所定のルールに従い繰り返し実行する。このとき送出される監視画像は、カメラ１１ａ〜１１ｄにより撮像された全方向の撮像画像に基づいて生成される。

ステップ１３０において、監視端末装置１０は、監視画像送出命令において、指定されている特定の監視方向又は監視領域を識別する。監視画像送出命令に特定の監視方向又は監視領域の指定が含まれない場合には、ステップ１４０に進み、予め設定されたデフォルトの方向が指定されていると識別する。他方、監視画像送出命令に特定の監視方向又は監視領域の指定が含まれている場合には、その指定された方向・領域に応じて、ステップ１４１のように、移動体Ｖの前方向・前側領域が指定されていると識別し、ステップ１４２のように、移動体Ｖの右方向・右側領域が指定されていると識別し、ステップ１４３のように、移動体Ｖの左方向・左側領域が指定されていると識別し、又はステップ１４４のように、移動体Ｖの後方向・後側領域が指定されていると識別する。

続くステップ１５０において、監視端末装置１０は、監視画像送出命令において、画質の指定があるか否かを判断する。監視画像送出命令に画質の指定が含まれない場合には、ステップ１６０に進み、予め設定されたデフォルトの画質を読み出し、これを識別する。他方、監視画像送出命令に画質の指定が含まれている場合には、ステップ１７０に進む。

ステップ１７０において、監視端末装置１０は、ステップ１３０で識別された監視方向・監視領域であり、かつステップ１５０において指定された画質の監視画像を生成する。

監視端末装置１０は、生成した監視画像Ｋを、電気通信回線網３０を介して中央監視装置２０へ送出する。監視画像送出命令に従って生成された監視画像Ｋは、特定された注視方向又は注視領域を撮像した撮像画像に基づいて生成されたものである。つまり、特定された注視方向又は注視領域以外の方向又は領域を撮像した撮像画像に基づいた画像は含まれない。これにより、監視画像送出命令を取得した場合に生成された監視画像の情報量を、監視画像送出命令を取得する前の生成される監視画像よりも小さい情報量にすることができる。これにより、監視者が注視したい方向の監視画像を提供することにより監視レベルを維持しつつも、監視画像のデータ量を小さくして通信負荷を低減させることができる。

以上のとおり、本実施形態の監視システムは以下の効果を奏する。
（１）本例の監視システム１は、ランダムに走行する複数の移動体Ｖのカメラ１１ａ〜１１ｄが撮像する画像のうち、監視者が実際に必要とする特定の注視方向の監視画像を送出させ、監視者が必要としない監視画像の送出を抑制するので、監視レベルを維持しつつも通信量を低減させることができる。

（２）本例の監視システム１は、監視者が実際に必要とする特定された注視方向に基づいて設定された注視領域の監視画像を送出させ、監視者が必要としない監視画像の送出を抑制するので、監視レベルを維持しつつも通信量を低減させることができる。

（３）本例の監視システム１は、注視方向の経時的な変化に基づいて注視領域を設定するので、監視者が監視対象を追跡したい場合などに、適切な領域の監視画像を得ることができる。

（４）本例の監視システム１は、注視方向を特定する場合には、範囲を絞る代わりに画質を向上させるので、監視者が注視したい領域について解像度の高い監視画像を得ることができる。

（５）本例の監視システム１は、特定の注視方向が入力されなかった場合には、通常状態において監視者が監視をすると予測される予め設定されたデフォルトの注視方向の監視画像を生成させるので、監視者の操作負担を軽減することができる。

（６）本例の監視システム１の監視端末装置１０に位置検出手段を設けたので、移動体Ｖがランダムに動く（移動スケジュールが決まっていない）場合であっても、移動体Ｖの位置に基づいて、注視方向又は注視領域の監視画像を生成させる移動体Ｖを抽出し、その移動体Ｖに監視画像送出命令を送ることができる。

（７）本例の監視システム１の監視端末装置１０が、移動体Ｖボディの外周に右回り又は左回りの方向に沿って設置された前記カメラの撮像画像が、当該カメラの設置の順序に従って配置された一枚の監視画像を生成し、移動体の載置面を底面とする柱体の投影モデルの側面に設定された投影面に前記監視画像を投影するためのマッピング情報を、前記監視画像に対応づけて付加するので、複数の撮像画像がカメラの設置順序で配置された一連（ひとつながり）の監視画像Ｋを柱体の側面に設定された投影面Ｓに投影することができる、このため、各端末装置の備える機能にかかわらず、撮像方向の異なる複数の撮像画像から生成された監視画像Ｋを動画として再生することができる。

（８）本例における監視方法を使用した場合においても、監視システム１と同様の作用を奏し、同様の効果を得ることができる。

なお、以上説明したすべての実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。

本明細書では、本発明に係る監視端末装置と中央監視装置を備える監視システムの一態様として、監視端末装置１０と中央監視装置２０を備える監視システム１を例にして説明するが、本発明はこれに限定されるものではない。

また、本明細書では、本発明に係る命令生成手段と、命令送出手段とを備える中央監視装置の一態様として、命令生成機能と、命令送出機能を有する制御装置２１と、画像処理装置２２と、通信装置２３と、ディスプレイ２４と、入力装置２５とを備える中央監視装置２０を例にして説明するが、これに限定されるものではない。

また、本明細書では、本発明に係る監視画像生成手段と、監視画像送出手段と、位置検出手段を備える監視端末装置の一態様として、監視画像生成機能と、監視画像送出機能を有する制御装置１４と、カメラ１１ａ〜１１ｄと、画像処理装置１２と、通信装置１３と、位置検出装置１５とを備える監視端末装置１０を例にして説明するが、これに限定されるものではない。

なお、上述した実施形態では、乗用車Ｖの位置情報とカメラ１１ａ〜１１ｄからの監視画像を取得するようにしたが、図１に示す、街中に設置された固定カメラ１１ｆからの監視画像と組み合わせて取得してもよい。また、位置情報と監視画像を取得する乗用車Ｖは、図１に示すように予め決められた領域を走行するタクシーＶ１やバスを用いることが望ましいが、自家用自動車Ｖ２や緊急自動車Ｖ３を用いてもよい。

１…監視システム
１０…監視端末装置
１１，１１ａ〜１１ｄ…カメラ
１１ｆ…街中固定カメラ
１２…画像処理装置
１３…通信装置
１４…制御装置
１５…位置検出装置
２０…中央監視装置
２１…中央制御装置
２２…画像処理装置
２３…通信装置
２４…ディスプレイ
２５…入力装置
３０…電気通信回線網
Ｖ，Ｖ１，Ｖ２，Ｖ３…移動体
Ｍ…投影モデル
Ｓ，Ｓａ，Ｓｂ、Ｓｃ、Ｓｄ…投影面
Ｒ１〜Ｒ８…視点
Ｋ…監視画像

Claims (7)

1. 中央監視装置と、複数の移動体にそれぞれ搭載され、当該中央監視装置と無線通信を介して情報の授受が可能な監視端末装置と、を備える監視システムであって、
   前記中央監視装置は、
   監視者が注視したい特定の注視方向が入力された場合には、前記監視端末装置に当該監視端末装置が搭載された前記移動体の周囲のうち、前記特定された注視方向の監視画像を生成させるとともに、当該生成された監視画像を前記中央監視装置へ送出させる監視画像送出命令を生成する命令生成手段と、
   前記生成された監視画像送出命令を、選択された監視端末装置に送出する命令送出手段と、を備え、
   前記監視端末装置は、
   前記各移動体の周囲を撮像するカメラと、
   前記中央監視装置から取得した前記監視画像送出命令に従い、当該監視画像送出命令に含まれる前記注視方向を撮像した撮像画像に基づいて監視画像を生成する監視画像生成手段と、
   前記監視画像送出命令に従い、前記生成された監視画像を含む監視情報を前記中央監視装置に送出する監視情報送出手段と、を備える監視システムであって、
   前記監視端末装置の前記カメラは、移動体のボディの異なる位置に設置され、
   前記監視画像生成手段は、
   前記移動体のボディの外周に右回り又は左回りの方向に沿って設置された前記カメラの撮像画像が、当該カメラの設置の順序に従って配置された一枚の監視画像を生成し、
   前記移動体の載置面を底面とする柱体の投影モデルの側面に設定された投影面に前記監視画像を投影するためのマッピング情報を、前記監視画像に対応づけて付加することを特徴とする監視システム。
2. 前記中央監視装置の命令生成手段は、
   監視者が注視したい特定の注視方向が入力された場合には、前記監視端末装置に当該監視端末装置が搭載された前記移動体の周囲のうち、前記特定された注視方向のみ又は注視領域のみの監視画像であって、前記注視方向又は注視領域が特定される前の所定の画質よりも高い画質の監視画像を生成させるとともに、当該生成された監視画像を前記中央監視装置へ送出させる監視画像送出命令を生成し、
   前記監視端末装置の監視画像生成手段は、
   前記中央監視装置から取得した前記監視画像送出命令に従い、当該監視画像送出命令に含まれる前記注視方向又は注視領域を撮像した撮像画像に基づいて、前記監視画像送出命令に含まれる画質で監視画像を生成する請求項1に記載の監視システム。
3. 前記中央監視装置の命令生成手段は、
   前記特定された注視方向に基づいて設定された注視領域の監視画像を生成させる指令を含む監視画像送出命令を生成し、
   前記監視端末装置の監視画像生成手段は、
   前記監視画像送出命令により生成を指令された前記注視領域を撮像した撮像画像に基づいて監視画像を生成することを特徴とする請求項１又は２に記載の監視システム。
4. 前記注視領域は、前記特定された注視方向の変化に基づいて設定されることを特徴とする請求項３に記載の監視システム。
5. 前記中央監視装置の命令生成手段は、
   前記特定の注視方向が入力されなかった場合には、前記監視端末装置に当該監視端末装置が搭載された前記移動体の周囲のうち、予め設定されたデフォルトの注視方向の監視画像を生成させるとともに、当該生成された監視画像を前記中央監視装置へ送出させる監視画像送出命令を生成することを特徴とする請求項１〜４の何れか一項に記載の監視システム。
6. 前記監視端末装置は、
   複数の移動体のそれぞれの位置情報を検出する位置検出手段をさらに備え、
   前記監視情報送出手段は、前記位置情報を前記監視情報に含ませて前記中央監視装置に送出することを特徴とする請求項１〜５の何れか一項に記載の監視システム。
7. 監視者が注視したい特定の注視方向が入力された場合には、前記特定された注視方向のみ又は注視領域のみの監視画像であって、前記注視方向又は注視領域が特定される前の所定の画質よりも高い画質の監視画像を生成させるとともに、当該生成された監視画像を含む監視情報を前記監視者へ送出させる監視画像送出命令を生成し、無線通信を介して監視画像送出命令を送出するステップと、
   前記無線通信を介して取得した前記監視画像送出命令に従い、当該監視画像送出命令に含まれる注視方向又は注視領域を移動体のボディの異なる位置に設置されたカメラで撮像した撮像画像に基づいて、前記監視画像送出命令に含まれる画質で生成された監視画像を含む監視情報を、前記無線通信を介して取得するステップと、を有し、
   前記監視画像を生成させる処理において、前記監視画像は、前記移動体のボディの外周に右回り又は左回りの方向に沿って設置された前記カメラの撮像画像が当該カメラの設置の順序に従って配置された一枚の監視画像として生成させ、前記移動体の載置面を底面とする柱体の投影モデルの側面に設定された投影面に前記監視画像を投影するためのマッピング情報を前記監視画像に対応づけて付加させることを特徴とする監視方法。