JP2024052376A - 遠隔監視システム - Google Patents

Abstract

【課題】遠隔監視装置側で画像処理をし易くすることができる遠隔監視システムを得る。【解決手段】遠隔監視システム１０は、移動体２０と遠隔監視装置３０を含む。移動体２０は、隣接する撮影領域が重なる重複部分が形成されるように撮影範囲が設定可能とされた４つ以上の撮影部２２Ａ～２２Ｊと、４つ以上の撮影部２２Ａ～２２Ｊにより各々撮影された４つ以上の撮影画像を、重複部分をオーバラップさせて合成し、移動体水平方向の移動体全周囲を含む合成画像を生成する合成画像生成部２４Ｂと、生成された合成画像を送信する送信部（通信部）２８と、を含む。遠隔監視装置３０は、移動体２０から送信された合成画像を受信する受信部（通信部）３８を含む。【選択図】図２

Description

特許法第３０条第２項適用申請有り 令和４年６月２１日 ｈｔｔｐ：／／ｗｗｗ．ｔｏｋａｉ－ｒｉｋａ．ｃｏ．ｊｐ／ｔｏｐｉｃｓ／２０２２／２２０６２１．ｐｄｆ にて公開 令和４年６月２９日～令和４年７月１日 人とくるまのテクノロジー展２０２２ＮＡＧＯＹＡ にて公開

本発明は、遠隔監視システムに関する。

特許文献１には、車両に搭載された複数のカメラにより撮影された複数の画像に基づいて、仮想視点から見た車両の周辺領域を示す合成画像すなわち俯瞰画像を生成する車両を備えた車両遠隔操作システムが開示されている。この車両遠隔操作システムにおいては、車両側で、俯瞰画像に基づいて遠隔監視装置（操作端末）のモニタに表示するための表示用画像を生成し、生成された表示用画像を遠隔監視装置に送信して遠隔監視装置のモニタに表示させている。

特開２０１９－１５６２９９号公報

しかしながら、特許文献１に記載された車両遠隔操作システムにおいては、車両側で俯瞰画像を生成し、さらに表示用画像も生成しているため、遠隔監視装置側での画像処理操作がし難いという問題がある。

本発明は、上記事実を考慮して、遠隔監視装置側で画像処理をし易くすることができる遠隔監視システムを得ることが目的である。

本発明の第１の態様の遠隔監視システムは、移動体に搭載され、隣接する撮影領域が重なる重複部分が形成されるように撮影範囲が設定可能とされた４つ以上の撮影部と、該４つ以上の撮影部により各々撮影された４つ以上の撮影画像を、前記重複部分をオーバラップさせて合成し、移動体水平方向の移動体全周囲を含む合成画像を生成する合成画像生成部と、該合成画像生成部により生成された前記合成画像を送信する送信部と、を含む移動体と、前記移動体から送信された前記合成画像を受信する受信部を含む遠隔監視装置と、を備える。

本発明の第１の態様の遠隔監視システムによれば、移動体が、４つ以上の撮影部により各々撮影された４つ以上の撮影画像を、隣接する撮影領域が重なる重複部分をオーバラップさせて合成し、移動体水平方向の移動体全周囲を含む合成画像を生成する合成画像生成部と、生成された合成画像を送信する送信部とを含んでいる。また、遠隔監視装置が、移動体から送信された合成画像を受信する受信部を含んでいる。そのため、遠隔監視装置側で移動体水平方向の移動体全周囲を含む合成画像を取得することができる。合成画像は、移動体水平方向の移動体全周囲の情報を有しているので、遠隔監視装置側でこの取得した合成画像に基づいて画像処理を行うことができる。これにより、遠隔監視装置側で画像処理をし易くすることができる。

また、本発明の第２の態様の遠隔監視システムは、第１の態様の遠隔監視システムにおいて、前記４つ以上の撮影画像における各々の前記撮影範囲は、前記移動体の一部が含まれるように設定されている。

本発明の第２の態様の遠隔監視システムによれば、４つ以上の撮影画像における各々の撮影範囲は、移動体の一部が含まれるように設定されているので、合成画像において移動体の周囲における死角の発生を防止することができる。

また、本発明の第３の態様の遠隔監視システムは、第１の態様又は第２の態様の遠隔監視システムにおいて、前記移動体が、前記移動体の一部を含む当該移動体の下側が撮影領域となるように撮影範囲が設定された下側用の撮影部をさらに含み、前記合成画像生成部が、前記下側用の撮影部により取得された下側撮影画像も前記合成画像に合成する。

近年、開発段階である自動運転システムにおいては、移動体が自動運転を行う際に何らかの異常が発生した場合、移動体を一時停止させる必要がある。本発明の第２の態様の遠隔監視システムによれば、移動体が、移動体の一部を含む当該移動体の下側が撮影領域となるように撮影範囲が設定された下側用の撮影部を含み、合成画像生成部が、下側用の撮影部により取得された下側撮影画像も合成画像に合成している。そのため、監視者は、遠隔監視にて、車体の下側を含めた移動体の周囲を合成画像に基づいて確認することができるので、一時停止した移動体の復帰（再走行）を遠隔監視装置側で判断することができる。また、移動体が、移動体の一部を含む当該移動体の下側が撮影領域となるように撮影範囲が設定された下側用の撮影部を含んでいるので、下側撮影領域を合成画像に合成する際に精度を向上させることができる。

また、本発明の第４の態様の遠隔監視システムは、第１の態様～第３の態様の何れかの遠隔監視システムにおいて、前記合成画像は、全天球画像である。

本発明の第４の態様の遠隔監視システムによれば、合成画像が、全天球画像であるため、合成画像には、移動体の水平方向及び垂直方向の３６０度、すなわち移動体を中心とした全方位が映り込んでいる。そのため、遠隔監視装置側で移動体を遠隔監視する際に、移動体の周辺において死角が発生するのを防止することができるので、安全なモビリティ制御を実現することができる。

また、本発明の第５の態様の遠隔監視システムは、第１の態様～第４の態様の何れかの遠隔監視システムにおいて、前記遠隔監視装置は、表示部と、前記受信部により受信された前記合成画像から前記表示部に表示する表示画像を生成する表示画像生成部と、を含む。

本発明の第５の態様の遠隔監視システムによれば、遠隔監視装置は、表示部と、受信部により受信された合成画像から表示部に表示する表示画像を生成する表示画像生成部とを含んでいる。そのため、遠隔監視装置側において、表示画像生成部が合成画像から表示部に表示する表示画像を生成できるので、監視者の所望する視点や表示態様での表示画像を表示部に表示することができる。

また、本発明の第６の態様の遠隔監視システムは、第５の態様の遠隔監視システムにおいて、前記表示画像生成部は、前記移動体の走行状況に基づいて前記表示画像を生成する。

本発明の第６の態様の遠隔監視システムによれば、表示画像生成部は、移動体の走行状況に基づいて表示画像を生成するので、移動体の走行状況に応じた表示画像を表示部に表示することができる。これにより、監視者は移動体の走行状態に応じた表示画像を視認することができる。

また、本発明の第７の態様の遠隔監視システムは、第５の態様の遠隔監視システムにおいて、前記表示画像生成部は、前記移動体において設定されたモードに合わせた前記表示画像を生成する。

本発明の第７の態様の遠隔監視システムによれば、表示画像生成部が、移動体において設定されたモードに合わせた表示画像を生成するので、移動体の設定モードに応じた表示画像を表示部に表示することができる。これにより、監視者は移動体の設定モードに応じた表示画像を視認することができる。

また、本発明の第８の態様の遠隔監視システムは、第１の態様～第７の態様の何れかの遠隔監視システムにおいて、前記合成画像は、縦方向と横方向との比率が１：２である。

本発明の第８の態様の遠隔監視システムによれば、合成画像は、縦方向と横方向との比率が１：２であるため、合成画像をエクイレクタングラー(Equirectangular)形式すなわち正距円筒図法により構成することができる。

以上説明したように、本発明の遠隔監視システムによれば、遠隔監視装置側で画像処理をし易くすることができるという優れた効果を有する。

本発明の一実施形態に係る遠隔監視システムの概略構成を示す構成図である。 本発明の一実施形態に係る遠隔監視システムのハードウェア構成を示すブロック図である。 カメラが車両に配置される位置及び各位置における撮影画像を示す図である。 画像を合成する方法を説明するための説明図である。 エクイレクタングラー形式の合成画像を説明するための説明図である。 全天球画像において、エクイレクタングラーから球体への形式の変換を説明するための説明図である。 遠隔監視装置の表示部に表示される表示画像の一例を示す図である。 遠隔監視装置の表示部に表示される表示画像の一例を示す図である。 遠隔監視装置の表示部に表示される表示画像の一例を示す図である。 遠隔監視装置の表示部に表示される表示画像の一例を示す図である。 遠隔監視装置の表示部に表示される表示画像の一例を示す図である。 遠隔監視装置の表示部に表示される表示画像の一例を示す図である。

図１～図１２を用いて本発明の一実施形態に係る遠隔監視システム１０について説明する。なお、以下の説明において前後左右上下の方向を示して説明するときは、車両の前後左右上下の方向を示すものとする。

図１は本実施形態に係る遠隔監視システム１０の概略構成を示す構成図、図２は本発明の一実施形態に係る遠隔監視システム１０のハードウェア構成を示すブロック図である。図１に示されるように、本実施形態の遠隔監視システム１０は、移動体としての車両２０、遠隔監視装置３０、及びネットワーク４０を含んで構成されている。

ここで車両２０について説明する。車両２０は、自律して走行する自動運転が可能な車両であり、本実施形態においては人が乗車可能に構成されている。図２に示されるように、車両２０は、撮影装置２２、画像処理装置２４、車両制御装置２６、及び通信部２８を備えている。本実施形態の撮影装置２２は、一例として、前方カメラ２２Ａ、右前方カメラ２２Ｂ、右側方カメラ２２Ｃ、右後方カメラ２２Ｄ、後方カメラ２２Ｅ、左後方カメラ２２Ｆ、左側方カメラ２２Ｇ、左前方カメラ２２Ｈ、及び下方カメラ２２Ｊの９つのカメラを備えている。

この９つのカメラ２２Ａ～２２Ｊは、各々本発明の撮影部に対応し、一例として、各々１８０度よりも大きい画角を有する円周魚眼レンズが使用されている。円周魚眼レンズにより撮影された撮影画像は、魚眼画像であり、撮影範囲の中央付近の被写体は大きく写り、撮影範囲の周囲の被写体は小さく写る特徴があって、撮影範囲は円形状の画像で表されている。なお、本実施形態において「撮影画像」は、静止画であってもよいし、動画であってもよい。

図３は９つのカメラ２２Ａ～２２Ｊが車両２０に配置される位置及び各位置における撮影画像を示す図である。図３に示されるように、前方カメラ２２Ａは車両２０の前部に搭載され、前方カメラ２２Ａで撮影された撮影画像Ｐ１には車両２０の前方が映り込む。また、右前方カメラ２２Ｂは車両２０の右前部に搭載され、右前方カメラ２２Ｂで撮影された撮影画像Ｐ２には車両２０の右前方が映り込む。右側方カメラ２２Ｃは車両２０の右側部に搭載され、右側方カメラ２２Ｃで撮影された撮影画像Ｐ３には車両２０の右側方が映り込む。また、右後方カメラ２２Ｄは車両２０の右後部に搭載され、右後方カメラ２２Ｄで撮影された撮影画像Ｐ４には車両２０の右後方が映り込む。

後方カメラ２２Ｅは車両２０の後部に搭載され、後方カメラ２２Ｅで撮影された撮影画像Ｐ５には車両２０の後方が映り込む。また、左後方カメラ２２Ｆは車両２０の左後部に搭載され、左後方カメラ２２Ｆで撮影された撮影画像Ｐ６には車両２０の左後方が映り込む。左側方カメラ２２Ｇは車両２０の左側部に搭載され、左側方カメラ２２Ｇで撮影された撮影画像Ｐ７には車両２０の左側方が映り込む。また、左前方カメラ２２Ｈは車両２０の左前部に搭載され、左前方カメラ２２Ｈで撮影された撮影画像Ｐ８には車両２０の左前方が映り込む。下方カメラ２２Ｊは車両２０の前部の下側に搭載され、下方カメラ２２Ｊで撮影された撮影画像Ｐ９には車両２０の車体の底面２０Ａ及び車両２０が位置する地面Ｇ（道路等も含む）が映り込む。なお、この撮影画像Ｐ９は、本発明の下側撮影画像に対応する。

本実施形態においては一例として、撮影装置２２の９つのカメラ２２Ａ～２２Ｊは、各々隣接するカメラの撮影領域が重なる重複部分が形成されるように撮影範囲が設定されている。すなわち、撮影画像Ｐ１は、右端部に撮影画像Ｐ２と共通する被写体が、左端部に撮影画像Ｐ８と共通する被写体がそれぞれ映り込んでいる。

同様にして、撮影画像Ｐ２～Ｐ８も、各々左右端部において隣接する撮影画像と共通する被写体がそれぞれ映り込んでいる。本実施形態においては一例として、撮影画像Ｐ１～Ｐ８の各々の下端部に、撮影画像Ｐ９と共通する被写体が映り込んでいる。言い換えると、撮影画像Ｐ９の周縁部には、撮影画像Ｐ１～Ｐ８の何れかと共通する被写体が映り込んでいる。また、図３において図示は省略されているが、撮影画像Ｐ１～Ｐ８においては、車両２０の一部が映り込んでいる。

図２に示されるように、画像処理装置２４は車両２０に搭載されている。画像処理装置２４は、図示は省略するが、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：プロセッサ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）及びストレージ等を含んで構成されており、各構成は、バスを介して相互に通信可能に接続されている。ＣＰＵは、ＲＯＭ又はストレージからプログラムを読み出し、ＲＡＭを作業領域としてプログラムを実行する。

また、画像処理装置２４は、機能構成として画像取得部２４Ａ及び合成画像生成部２４Ｂを備えており、画像取得部２４Ａ及び合成画像生成部２４Ｂは、上記ＣＰＵが、ＲＯＭ又はストレージからプログラムを読み出し、ＲＡＭを作業領域としてプログラムを実行することにより実行される。

画像取得部２４Ａは、撮影装置２２の９つのカメラ２２Ａ～２２Ｊにより各々撮影された９枚の撮影画像Ｐ１～Ｐ９を各々表す画像データを取得する。なお、本実施形態においては、一例として、１枚の撮影画像は約２００万画素で構成されている。なお、撮影画像の画素数は、使用するカメラの性能等により適宜変更することができる。

合成画像生成部２４Ｂは、画像取得部２４Ａにより取得された画像データが各々表す９枚の撮影画像Ｐ１～Ｐ９を合成して合成画像ＣＰを生成する。本実施形態においては、合成画像ＣＰは、撮影地点である車両２０から見渡すことができる全ての方向すなわち車両全周囲（全方位）を表す全天球画像とする。

合成画像生成部２４Ｂには、９つのカメラ２２Ａ～２２Ｊにより各々撮影された９枚の撮影画像Ｐ１～Ｐ９を全天球画像に変換するために必要な情報が予め記憶されている。この情報としては、９つのカメラ２２Ａ～２２Ｊ各々の円周魚眼レンズの物理的な配置関係を表す位置情報、撮影画像Ｐ１～Ｐ９の像高と円周魚眼レンズの入射角との関係を表す射影情報、９つのカメラ２２Ａ～２２Ｊの撮影方向を示す情報、及び円周魚眼レンズの特性を表す情報等がある。これらの情報は予めキャリブレーションすることによって導出されている。

合成画像生成部２４Ｂは、魚眼画像である９枚の撮影画像Ｐ１～Ｐ９から、上記必要な情報に基づいて公知の技術により投影変換を行って合成し、合成画像ＣＰを生成する。ここで、本実施形態においては、合成画像ＣＰを合成する際に、上述した重複部分をオーバラップさせている。図４において、例えば撮影画像Ｐ６を一例として説明すると、撮影画像Ｐ６と撮影画像Ｐ５との重複部分は網掛で示される第１領域ＯＶ１で示され、撮影画像Ｐ６と撮影画像Ｐ７との重複部分は網掛で示される第２領域ＯＶ２で示される。合成画像生成部２４Ｂは、この重複部分を画素単位でオーバラップさせることにより、撮影画像Ｐ１～Ｐ８を合成する。なお、オーバラップ処理は公知の技術を使用することができる。

また、合成された撮影画像Ｐ１～Ｐ８に撮影画像Ｐ９が合成される。本実施形態においては、撮影画像Ｐ９の周縁部に、撮影画像Ｐ１～Ｐ８と各々共通する被写体が映り込んでいるため、この共通する被写体が映り込んでいる範囲が、隣接する撮影領域が重なる重複部分となる。図４において、例えば撮影画像Ｐ６を一例として説明すると、撮影画像Ｐ６と撮影画像Ｐ９との重複部分は斜め斜線で示される第３領域ＯＶ３で示される。合成画像生成部２４Ｂは、この重複部分を画素単位でオーバラップさせることにより、撮影画像Ｐ１～Ｐ８の下側に撮影画像Ｐ９を合成する。なお、オーバラップの方法については、公知の技術を使用することができる。

図５はエクイレクタングラー形式（正距円筒図法）の合成画像を説明するための説明図である。ここで、エクイレクタングラー形式の合成画像は、縦方向と横方向との比率が１：２となる画像である。エクイレクタングラー形式は、縦方向と横方向が１：２の比率の長方形の合成画像を球体状のスクリーンに貼り付けて、その中央から合成画像を見たときに、３６０度が正しく見える形式である。

本実施形態においては、合成画像生成部２４Ｂは、エクイレクタングラー形式の合成画像ＣＰ、すなわち縦方向と横方向との比率が１：２となる合成画像ＣＰを生成している。なお、エクイレクタングラー形式の合成画像ＣＰは、平面状態の全天球画像である。本実施形態においては、一例として、合成画像ＣＰは、３８４０×１９２０ピクセル、すなわち約７４０万画素の画像データで構成する。なお、合成画像ＣＰの画素数は、後述する遠隔監視装置３０の表示部の性能に合わせて適宜変更することができる。

全天球画像は、図５の右図に示されるように、所定軸周りの角度座標を含む座標系で表される画像であり、動径を定数ｎ（例えば１）として、ｐｉｔｃｈ方向の軸に対してなされる垂直角度φと、ｙａｗ方向の軸周りの回転角に対応する水平角度λとを座標とした画素値の配列として表現される。垂直角度φは、－９０度～＋９０度（あるいは０度～１８０度）の範囲となり、水平角度λは、－１８０度～＋１８０度（あるいは０度～３６０度）の範囲となる。

合成画像生成部２４Ｂは、合成画像ＣＰの横方向は車両２０の水平方向の全周囲すなわち３６０度を表しているので、合成された撮影画像Ｐ１～Ｐ８の横方向と一致している。また、合成された撮影画像Ｐ１～Ｐ８の下方向の端部には、撮影画像Ｐ９が合成されており、この撮影画像Ｐ９の下端が合成画像ＣＰの下端と一致している。本実施形態においては、車両２０の直上方向は撮影画像Ｐ１～Ｐ８に映り込んでいない。そのため、合成画像生成部２４Ｂは、予め記憶している情報から撮影画像Ｐ１～Ｐ８の上方側の画角を読み出し、読み出した画角に応じて合成された撮影画像Ｐ１～Ｐ８の上端の座標の位置が決定されている。

なお、カメラ２２Ａ～２２Ｈにより撮影されていない車両２０の直上方向の領域に対応する座標については、図５に示されるようにブランクとして一律の画素値により示される。本実施形態においては一例として、黒色を表す画素値で示し、この黒色の領域をブランク画像ＢＰとする。撮影画像Ｐ１～Ｐ８の上方側の画角が大きい程ブランク画像ＢＰのｐｉｔｃｈ方向（縦方向）の幅は狭くなる。このようにして合成画像生成部２４Ｂは合成画像ＣＰを生成している。

図２に戻り、車両制御装置２６は、車両２０に搭載された各種センサ（図示省略）により検出された情報、及び撮影装置２２により撮影された撮影画像Ｐ１～Ｐ９に基づいて車両２０を自律して走行させる自動運転を制御する装置である。車両制御装置２６は、公知の技術を使用することができる。なお、本実施形態において、車両制御装置２６は、遠隔監視装置３０からの操作により車両２０の走行を制御する機能も有している。

また、車両制御装置２６は、一例として、正常時走行モード、異常時走行モード、復帰時走行モード、及び遠隔操縦モードなどの各種モードを設定可能に構成されている。車両制御装置２６は、上述したセンサにより検出された情報及び撮影画像Ｐ１～Ｐ９に基づいて、上記各モードを自動的に選択して車両２０を走行させる。車両制御装置２６は、正常時に正常時走行モードを選択し、例えば異常と判断する対象を自動運転システムの通知情報や上記センサによるセンシングにて検出した場合等に異常時走行モードを選択する。具体的には、車両制御装置２６により異常時走行モードが選択されると、車両２０は停止される。

また、復帰時走行モードは、車両２０が停止後に走行を開始する際に車両制御装置２６により選択される。具体的には、車両制御装置２６は、自動運転システムや上記センサによるセンシングによって車両２０に異常がないこと確認させるか、又は遠隔監視装置３０に対して異常がないことを確認させるための信号を送信する。

遠隔操縦モードは、車両２０を遠隔監視装置３０により操縦させる際に車両制御装置２６により選択される。具体的には、車両制御装置２６は、遠隔監視装置３０に対して遠隔操縦を行なわせるための信号を送信する。

車両制御装置２６は、車両２０の走行状況、すなわち現在選択されているモードを、通信部２８を介して遠隔監視装置３０に送信する。なお、車両制御装置２６は、その他にも、例えば異常と判断する対象を自動運転システムの通知情報や上記センサによるセンシングにて検出した場合等に、異常が発生したことを示す「異常情報」を、通信部２８を介して遠隔監視装置３０に送信するようにしてもよい。

通信部２８は、外部装置と通信するためのインターフェイスであり、合成画像生成部２４Ｂにより生成された合成画像ＣＰを送信する送信部としても機能する。また、通信部２８は、車両２０の走行状況、すなわち現在選択されているモードを送信する送信部としても機能する。

次に、遠隔監視装置３０について説明する。図２に示されるように、遠隔監視装置３０は表示部としての表示装置３２、表示制御装置３４、遠隔操縦装置３６、通信部３８、及び記録部３９を備えている。

表示装置３２は、一例として、第１表示部３２Ａ、第２表示部３２Ｂ、第３表示部３２Ｃ、及び第４表示部３２Ｄの４つの表示部を備えている。図１に示されるように、第１～第４表示部３２Ａ～３２Ｄは、例えば縦方向に２つ、横方向に２つ各々並んで配設されている。具体的には、一例として、監視者から見て第１表示部３２Ａが左上側、第２表示部３２Ｂが右上側、第３表示部３２Ｃが左下側、第４表示部３２Ｄが右下側に各々配置されている。

また、一例として、第１表示部３２Ａには、複数の車両２０の運行情報が表示され、第２表示部３２Ｂには、現在運行されている車両２０の車種や乗員数、走行経路等の車両情報が表示される。また、第３表示部３２Ｃ及び第４表示部３２Ｄには、各車両２０から受信した合成画像ＣＰに基づいて生成された表示画像ＨＰが表示される。なお、合成画像ＣＰをそのまま表示させることもできる。

本実施形態において、第１～第４表示部３２Ａ～３２Ｄは、一例として、４Ｋ解像度に対応した映像が表示可能な性能を有しているが、各表示部の性能はこれに限られず、全てが同一の性能を有していなくてもよいし、４Ｋよりも低解像度又は４Ｋよりも高解像度の映像が表示可能な性能を有していてもよいし適宜変更可能である。

通信部３８は、外部装置と通信するためのインターフェイスであり、車両２０の通信部２８から送信された合成画像ＣＰを受信する受信部としても機能する。ここで、車両２０の通信部２８と遠隔監視装置３０の通信部３８は、図１に示されるように、ネットワーク４０を経由して互いに通信される。ネットワーク４０は、ｗｉｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の狭域無線通信モジュールや、４Ｇ、ＬＴＥ、５Ｇ等の広域無線通信モジュールであるモバイル回線等で構成される。なお、ネットワーク４０による通信はクラウドサーバ（図示省略）介して行うこともできる。

記録部３９は、フラッシュメモリ等の不揮発性のメモリであり、通信部３８により受信された合成画像ＣＰを記録する。また車両２０の通信部２８から送信された車両２０の車速度及び操舵角等、各種データを記録する。

遠隔操縦装置３６は、車両２０を遠隔操作する機能を有しており、例えば車両２０を停止させたり、監視者の所望する条件で車両２０を走行させたりすることもできる。遠隔操縦装置３６は、公知の技術を使用することができる。

表示制御装置３４は、表示装置３２へ画像や情報等を表示させる装置であり、図示は省略するが、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：プロセッサ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）及びストレージ等を含んで構成されている。各構成は、バスを介して相互に通信可能に接続されている。ＣＰＵは、ＲＯＭ又はストレージからプログラムを読み出し、ＲＡＭを作業領域としてプログラムを実行する。

また、表示制御装置３４は、機能構成として合成画像取得部３４Ａ及び表示画像生成部３４Ｂを備えており、合成画像取得部３４Ａ及び表示画像生成部３４Ｂは、上記ＣＰＵが、ＲＯＭ又はストレージからプログラムを読み出し、ＲＡＭを作業領域としてプログラムを実行することにより実行される。

合成画像取得部３４Ａは、通信部３８により受信された合成画像ＣＰを取得して、記録部３９に記憶させる。

表示画像生成部３４Ｂは、表示装置３２（本実施形態においては第３表示部３２Ｃ及び第４表示部３２Ｄ）に表示させる表示画像ＨＰを生成する。具体的には、表示画像生成部３４Ｂは合成画像ＣＰに基づいて表示画像ＨＰを生成する。

図６は全天球画像において、エクイレクタングラーから球体への形式の変換を説明するための説明図である。表示画像生成部３４Ｂは、図６の左図に示される合成画像ＣＰ上の点Ｐｅ（λ，φ）を、図６の右図に示される単位球状の点Ｐｓ（ｘ_ｓ,ｙ_ｓ,ｚ_ｓ）に変換する。ここで、図６の右図において、λは経度、φは緯度を表す。

この場合、変換式は下記式（１）～（３）で示される。
ｘ_ｓ＝ｃｏｓ（φ）ｓｉｎ（λ）・・・（１）
ｙ_ｓ＝ｓｉｎ（φ） ・・・（２）
ｚ_ｓ＝ｃｏｓ（φ）ｃｏｓ（λ）・・・（３）

表示画像生成部３４Ｂは、上記変換式（１）～（３）により、平面状態の全天球画像を球体の全天球画像に変換する。表示画像生成部３４Ｂは、合成画像ＣＰ及び変換後の球体の全天球画像を表す合成画像ＲＰに基づいて、遠隔監視装置３０を操作する監視者の所望する表示態様の表示画像ＨＰを生成する。なお、エクイレクタングラー形式の平面状態の合成画像ＣＰには原点から見た全ての方向の情報が含まれるため、この合成画像ＣＰに基づいて球体以外の形状、例えば円筒を上から見た形状等の任意の形状の合成画像を生成することもできる。また、表示画像生成部３４Ｂは、合成画像ＣＰを表示画像ＨＰとしてそのまま使用することもできる。

図７～図１２は遠隔監視装置３０の第３表示部３２Ｃ又は第４表示部３２Ｄに表示される表示画像ＨＰの一例を示す図である。なお、本実施形態においては、一例として、第３表示部３２Ｃ及び第４表示部３２Ｄには、異なる車両２０から送信された合成画像ＣＰに基づいて表示画像生成部３４Ｂにより生成された表示画像ＨＰがそれぞれ表示される。また、本実施形態においては、１台の車両２０から送信された合成画像ＣＰに対して生成される表示画像ＨＰを一例として第３表示部３２Ｃに表示する態様について以下説明する。その他の車両２０については上記１台の車両２０と同様にして表示画像ＨＰが生成され、第４表示部３２Ｄに表示される。

図７に示されるように、表示画像生成部３４Ｂは、球体の全天球画像を表す合成画像ＲＰにおいて車両２０を見下ろす視点で生成された３６０度俯瞰画像である表示画像ＨＰ１を生成する。なお、図７において、便宜上、車両２０の車体の下側を表す画像が黒色で表されているが、実際には車両２０の車体の下側を表す実際の画像が表されている。また、表示画像生成部３４Ｂは、車両２０を模擬した画像Ａ１を表示画像ＨＰ１に重ねて合成してもよい。この際に、表示画像ＨＰ１において画像Ａ１が重ねられた領域も視認可能とするために、画像Ａ１は透過性を有する画像とする。生成された表示画像ＨＰ１は、表示制御装置３４によって第３表示部３２Ｃに表示される。

なお、表示制御装置３４は、第３表示部３２Ｃに表示された画像Ａ１を含む表示画像ＨＰ１に対して、矢印Ｍ１で示される時計回りの回転方向又は矢印Ｍ２で示される反時計回りの回転方向に移動可能な画像Ａ２を表示画像ＨＰ１に重ねて合成してもよい。画像Ａ２は、表示画像ＨＰ１の円周上の円弧と該円弧よりも小さい半径で形成された内側円弧とを両端部でつなぎ合わせた形状とすることができる。この画像Ａ２が重なる表示画像ＨＰ１上の範囲は、監視者が見たい方向の領域とされる。

本実施形態においては、監視者が、この画像Ａ２を上記時計回り又は反時計回りの回転方向に移動させることにより、監視者が見たい方向を変更することができる。表示画像生成部３４Ｂは、図８に示されるように、監視者が見たい方向、つまり監視者の所望する自由視点で切り取られた表示画像ＨＰ２を生成する。図８に示される表示画像ＨＰ２は、車両２０から前方側を見た際の画像とされている。生成された表示画像ＨＰ２は、表示制御装置３４によって第３表示部３２Ｃに表示される。

また、例えば、監視者が見たい方向が複数存在する場合には、監視者は画像Ａ２を見たい方向に移動させて例えば長押し等の操作を行うことによりこの方向を選択し、さらに画像Ａ２を見たい方向に移動させて同様に選択することができる。例えば監視者が見たい方向が前方、後方、左右方向の４方向でありこの４方向が選択された場合には、表示画像生成部３４Ｂは、各々の方向の視点で画像を切り取って、切り取った画像を同一平面上に配置し、図９に示されるように、１枚の表示画像ＨＰ３を生成する。生成された表示画像ＨＰ２は、表示制御装置３４によって第３表示部３２Ｃに表示される。なお、表示制御装置３４は、第３表示部３２Ｃに図７に示す表示画像ＨＰ１を表示し、第４表示部３２Ｄに図８又は図９に示す表示画像ＨＰ２，ＨＰ３を表示させてもよい。

また、例えば、監視者が、車両２０を後方斜め上側から見たいという情報を合成画像生成部２４Ｂが取得した場合には、合成画像生成部２４Ｂは、図１０に示されるように、合成画像ＲＰに基づいて、車両２０を後方斜め上側から見た俯瞰画像である表示画像ＨＰ４を生成する。表示画像生成部３４Ｂは、表示画像ＨＰ４において、車両２０を表す画像Ａ３を重ねて合成している。この画像Ａ３は、図７で示される表示画像ＨＰ１と同様に、車両２０を模擬した画像とすることができる。

また、例えば、車両２０の前方を走行する前方車両５０（図１１参照）の左側方に人が二人歩いているとする。この二人が、車両２０側の車両制御装置２６における自動運転システムの通知情報や車両２０に搭載されたセンサ（図示省略）によるセンシングにて異常と判断する対象として検出された場合には、車両２０側の通信部２８により、これらの情報すなわち歩いている二人の位置情報や大きさ情報等が、遠隔監視装置３０に送信され、遠隔監視装置３０側の通信部３８が受信する。

表示画像生成部３４Ｂは、遠隔監視装置３０の通信部３８が受信した情報に基づいて、合成画像ＣＰから上記二人が映り込む範囲を公知の技術により特定し、図１１に示されるように、この二人５２が映り込む画角で切り取った表示画像ＨＰ５を生成する。表示画像ＨＰ５には、車両２０から前方側を見た際の画像が表されている。表示画像生成部３４Ｂは、通信部３８が受信した情報に基づいて、車両２０から見て二人が位置する方向を一例として矢印で示した画像Ａ４を、表示画像ＨＰ５に重ねて合成する。生成された画像Ａ４を含む表示画像ＨＰ５は、表示制御装置３４によって第３表示部３２Ｃに表示される。なお画像Ａ４は矢印以外の態様であってもよいし、例えば二人５２を囲む枠線であってもよい。

なお、表示画像生成部３４Ｂは、合成画像ＣＰから上記二人が映り込む範囲を公知の技術により特定した際に、図１２に示されるように、球体の全天球画像を表す合成画像ＲＰにおいて車両２０を見下ろす視点で生成された３６０度俯瞰画像である表示画像ＨＰ６を生成する。表示画像生成部３４Ｂは、この表示画像ＨＰ６において、車両２０に対して二人が位置する方向を×印で示した画像Ａ５を、表示画像ＨＰ６に重ねて合成する。本実施形態においては、画像Ａ５は他の画像領域と比較して強調される態様で構成されている。なお、画像Ａ５は、例えば丸印等、×印以外の態様であってもよい。

なお、図１２で示される表示画像ＨＰ６は、図７で示される表示画像ＨＰ１と同様に、車両２０の車体の下側を表す画像が黒色で表されているが、実際には車両２０の車体の下側を表す実際の画像が表されている。また、車両２０を模擬した画像Ａ１を表示画像ＨＰ１に重ねて合成してもよい。また、表示画像ＨＰ６において、画像Ａ１の周囲の３６０度俯瞰画像は白色で表されているが、実際には、図７で示される表示画像ＨＰ１と同様に構成されている。生成された画像Ａ１、Ａ５を含む表示画像ＨＰ６は、表示制御装置３４によって第３表示部３２Ｃに表示される。

また、本実施形態において、表示画像生成部３４Ｂは、車両制御装置２６から送信された車両２０の走行状況、すなわち現在選択されているモードに応じて表示画像ＨＰを生成する。具体的には、車両２０が正常時走行モードである場合には、表示画像生成部３４Ｂは、図７で示される表示画像ＨＰ１を生成し、表示制御装置３４は生成された表示画像ＨＰ１を第３表示部３２Ｃに表示する。その後、表示画像生成部３４Ｂは、上述したように監視者による画像Ａ２の移動操作に応じて、図８で示される表示画像ＨＰ２、図９で示される表示画像ＨＰ３、及び図１０で示される表示画像ＨＰ４の何れかを生成し、表示制御装置３４は生成された表示画像を第３表示部３２Ｃに表示する。

また、車両２０が異常時走行モードである場合には、表示画像生成部３４Ｂは、上述したように、車両２０側の車両制御装置２６における自動運転システムの通知情報や車両２０に搭載されたセンサ（図示省略）によるセンシングにて検出された情報に基づいて、図１１で示される生成された画像Ａ４を含む表示画像ＨＰ５、又は図１２で示される生成された画像Ａ１、Ａ５を含む表示画像ＨＰ６を生成し、表示制御装置３４は生成された表示画像を第３表示部３２Ｃに表示する。

また、車両２０が復帰時走行モードである場合には、表示画像生成部３４Ｂは、車両２０の車体下側が視認可能な図７で示される表示画像ＨＰ１を生成し、表示制御装置３４は生成された表示画像ＨＰ１を第３表示部３２Ｃに表示する。その後、表示画像生成部３４Ｂは、上述したように監視者による画像Ａ２の移動操作に応じて、図８で示される表示画像ＨＰ２、図９で示される表示画像ＨＰ３、及び図１０で示される表示画像ＨＰ４の何れかを生成し、表示制御装置３４は生成された表示画像を第３表示部３２Ｃに表示する。

また、車両２０が遠隔操縦モードである場合には、表示画像生成部３４Ｂ及び表示制御装置３４は、正常時走行モードと同様の処理を行う。

次に、本実施形態の作用及び効果について説明する。

本実施形態の遠隔監視システム１０によれば、車両２０が、９つのカメラ２２Ａ～２２Ｊにより各々撮影された９枚の撮影画像Ｐ１～Ｐ９を、隣接する撮影領域が重なる重複部分をオーバラップさせて合成し、車両水平方向の車両全周囲を含む合成画像ＣＰを生成する合成画像生成部２４Ｂと、生成された合成画像を送信する送信部として機能する通信部２８とを含んでいる。また、遠隔監視装置３０が、車両２０から送信された合成画像ＣＰを受信する受信部とし機能する通信部３８を含んでいる。そのため、遠隔監視装置３０側で車両水平方向の車両全周囲を含む合成画像ＣＰを取得することができる。また、合成画像ＣＰは、車両水平方向の車両全周囲の情報を有しているので、遠隔監視装置３０側でこの取得した合成画像ＣＰに基づいて画像処理を行うことができる。これにより、遠隔監視装置３０側で画像処理をし易くすることができる。

また、従来技術においては、例えば本実施形態と同様に９つのカメラを車両に搭載している場合、搭載された９つのカメラにより各々撮影された撮影画像を遠隔監視装置の表示装置に表示させており、９つの撮影画像が監視対象となっている。そのため、表示装置において監視する画面数が多くなることから監視が煩雑となり、監視者の判断に時間を要してしまう場合がある。また、監視対象となる車両が複数台存在する場合には、どの車両のどの方向の画像が表示されているのかを瞬時に判断するのは難しい。

また、９つのカメラにより各々撮影された撮影画像の画像データを遠隔監視装置に送信しているため、例えば、１枚の上記撮影画像が上記実施形態と同様に約２００万画素で構成されている場合には、遠隔監視装置に送信される画像データは、約２００万画素×９（カメラの台数分）で約１８００万画素となる。そのため、カメラの性能や台数によっては送信するデータ量がより増大してしまう。

これに対して、本実施形態の遠隔監視システム１０によれば、合成画像生成部２４Ｂが９つのカメラ２２Ａ～２２Ｊにより各々撮影された９枚の撮影画像Ｐ１～Ｐ９を、隣接する撮影領域が重なる重複部分をオーバラップさせて合成して生成した合成画像ＣＰを遠隔監視装置３０に送信している。本実施形態において合成画像ＣＰは約７４０万画素の画像データで構成されるように生成されている。そのため、従来技術と比較して送信するデータ量を削減することができる。

また、本実施形態の遠隔監視システム１０によれば、撮影画像Ｐ１～Ｐ９における各々の撮影範囲は、車両２０の一部が含まれるように設定されているので、合成画像において車両２０の周囲における死角の発生を防止することができる。

また、本実施形態の遠隔監視システム１０によれば、合成画像ＣＰが、全天球画像であるため、合成画像ＣＰには、車両２０の水平方向及び垂直方向の３６０度すなわち車両を中心とした全方位が映り込んでいる。すなわち、合成画像ＣＰにおいて、各カメラの撮影方向が関連付けられている。そのため、遠隔監視装置３０側で車両２０を遠隔監視する際に、車両２０の周辺において死角が発生するのを防止することができるので、安全なモビリティ制御を実現することができる。

また、本実施形態の遠隔監視システム１０によれば、遠隔監視装置３０は、第１～第４表示部３２Ａ～３２Ｄと、通信部３８により受信された合成画像ＣＰから第３表示部３２Ｃ及び第４表示部３２Ｄに表示する表示画像ＨＰを生成する表示画像生成部３４Ｂとを含んでいる。そのため、遠隔監視装置３０側において、表示画像生成部３４Ｂが合成画像ＣＰから第３表示部３２Ｃ及び第４表示部３２Ｄに表示する表示画像ＨＰを生成できるので、監視者の所望する視点や表示態様での表示画像ＨＰを第３表示部３２Ｃ及び第４表示部３２Ｄに表示することができる。

また、例えば、図７や図９、図１０に示される表示画像ＨＰ１、ＨＰ３、ＨＰ４のように、１枚の表示画像ＨＰを複数の視点から見た画像を含む画像としたり、車両２０の車両全周囲を視認可能な画像としたりすることにより、監視者の監視における負担を軽減することができる。これにより、一人等のより少人数の監視者によって複数台の車両２０の運行を遠隔監視したり遠隔操作したりすることが可能となる。また、監視対象となる車両２０が複数台存在する場合には、観察者は一枚の表示画像ＨＰを視認することによりどの車両のどの方向の画像が表示されているのかを瞬時に判断することができる。

また、近年、開発段階である自動運転システムにおいては、車両２０が自動運転を行う際に何らかの異常が発生した場合、車両２０を一時停止させる必要がある。本実施形態の遠隔監視システム１０によれば、車両２０が、車両２０の車体の下側が撮影領域となるように撮影範囲が設定された下側用の下方カメラ２２Ｊを含み、合成画像生成部２４Ｂが、下方カメラ２２Ｊにより取得された撮影画像Ｐ９も合成画像ＣＰに合成している。そのため、監視者は、遠隔監視にて、車体の下側を含めた車両２０の周囲を合成画像ＣＰに基づいて確認することができるので、一時停止した車両２０の復帰（再走行）を遠隔監視装置３０側で判断することができる。また、車両２０が、車両２０の一部を含む車両２０の下側が撮影領域となるように撮影範囲が設定された下側用の下方カメラ２２Ｊを含んでいる。そのため、合成画像生成部２４Ｂが撮影画像Ｐ９を合成画像ＣＰに合成する際に、撮影画像Ｐ１～Ｐ８と撮影画像Ｐ９との画像内において、共通する被写体として車両２０の一部が存在する可能性が高くなり、合成の精度を向上させることができる。

また、本実施形態の遠隔監視システム１０によれば、表示画像生成部３４Ｂが、車両２０において設定されたモードに合わせた表示画像ＨＰを生成するので、車両２０の状況に応じた表示画像ＨＰを第３表示部３２Ｃ及び第４表示部３２Ｄに表示することができる。

また、車両２０が例えば正常時走行モードや遠隔操縦モードである場合に、一例として、図７で示される表示画像ＨＰ１のように球体の全天球画像を表す合成画像ＲＰにおいて車両２０を見下ろす視点で生成された３６０度俯瞰画像が表示される。そして、監視者による画像Ａ２の移動操作が行われると、この移動操作に応じた視点から見た画像として、例えば図８で示される表示画像ＨＰ２、図９で示される表示画像ＨＰ３、及び図１０で示される表示画像ＨＰ４の何れかの表示画像が第３表示部３２Ｃに表示される。これにより、監視者は所望する視点から見た画像を視認することができる。

また、車両２０が例えば異常時走行モードとなった際、一例として図１１又は図１２に示される表示画像ＨＰ５、ＨＰ６のように、異常と判断する対象が二人５２である場合に、車両２０に対してこの二人５２が位置する方向が矢印で示した画像Ａ４や×印で示した画像Ａ５によって呈示される。これにより、監視者は車両２０に対してどの方向で異常が発生しているのかを視認することができる。

また、車両２０が例えば復帰時走行モードである場合に、図７で示される表示画像ＨＰ１のように車両２０の車体下側が視認可能な画像が表示される。そのため、異常時走行モードにより停止された車両２０を復帰（再走行）させる際に、監視者は車両２０の車体下側も確認することができるので、監視者により車両２０を安全に再走行させることができる。

また、本実施形態の遠隔監視システム１０によれば、表示画像生成部３４Ｂは、車両２０の走行状況に基づいて表示画像ＨＰを生成するので、車両２０の走行状況に応じた表示画像ＨＰを第３表示部３２Ｃ及び第４表示部３２Ｄに表示することができる。これにより、監視者は車両２０の走行状態に応じた表示画像ＨＰを視認することができる。

また、本実施形態の遠隔監視システム１０によれば、合成画像ＣＰは、縦方向と横方向との比率が１：２であるため、合成画像ＣＰをエクイレクタングラー形式すなわち正距円筒図法により構成することができる。

［実施形態の補足説明］
上記実施形態においては、撮影装置２２を構成するカメラ２２Ａ～２２Ｊは、各々１８０度よりも大きい画角を有する円周魚眼レンズが使用されているが、本発明はこれに限られない。隣接する撮影領域が重なる重複部分が形成されるように撮影範囲が設定可能であれば、例えば１４０度の画角を有する円周魚眼レンズであってもよいし、画角は限定されない。また、円周魚眼レンズではなく、対角線魚眼レンズや他の広角レンズ、超広角レンズ等を使用してもよい。

また、上記実施形態においては、撮影装置２２を構成するカメラ２２Ａ～２２Ｊは、下方カメラ２２Ｊを車両２０の前部下側に１つ備えているが、本発明はこれに限られない。例えば、車両２０の後部下側にも下カメラを備えていてもよい。すなわち下側用のカメラは２つ以上であってもよいし、車両２０の車体の大きさに応じて適宜変更することができる。

また、上記実施形態においては、撮影装置２２を構成するカメラ２２Ａ～２２Ｊは、９つとしたが、本発明はこれに限られない。例えば、下方カメラ２２Ｊを備えていなくてもよい。この場合、車両２０の下側撮影画像は合成画像に含まれないので、遠隔監視装置３０において車両２０の車体下側を視認することはできないが、車両２０の水平方向は３６０度視認することができる。

また、上記実施形態においては、撮影装置２２を構成する車両２０の水平方向のカメラ２２Ａ～２２Ｈは、８つとしたが、本発明はこれに限られない。隣接する撮影領域が重なる重複部分が形成されるように撮影範囲が設定可能であれば、前方カメラ２２Ａ、右側方カメラ２２Ｃ、後方カメラ２２Ｅ、及び左側方カメラ２２Ｇの４つのカメラであってもよいし、各カメラの画角に応じて適宜変更することができる。

また、上記実施形態においては、下方カメラ２２Ｊで撮影された撮影画像Ｐ９は、周縁部において撮影画像Ｐ１～Ｐ８の各々と共通する被写体がそれぞれ映り込んでいるとしたが、本発明はこれに限られない。例えば、車両２０の車体の底面２０Ａを撮影するカメラが車両２０の前部下側に１つだけ備えられている場合には、撮影画像Ｐ９は、後方カメラ２２Ｅにより撮影された撮影画像Ｐ５と共通する被写体のみが映り込んでいてもよい。すなわち、車両２０の水平方向を撮影範囲とした撮影画像Ｐ１～Ｐ１のうち１つ以上の撮影画像と共通の被写体が映り込んでいればよい。

撮影画像Ｐ９に撮影画像Ｐ５と共通する被写体のみが映り込んでいる場合、生成された合成画像ＣＰにおいて、下方カメラ２２Ｊで撮影された撮影画像Ｐ９は、撮影画像Ｐ５の下端で合成され、撮影画像Ｐ９の右側はブランク画像ＢＰとされる。

また、上記実施形態においては、合成画像ＣＰは平面状態の全天球画像としたが、本発明はこれに限られない。合成画像ＣＰは、全天周画像や、上部及び下部が欠けているパノラマ画像、すなわち車両水平方向のみ３６０度を撮影した３６０度パノラマ画像であってもよいし、上部のみ又は下部のみが欠けているパノラマ画像であってもよい。

また、上記実施形態においては、全天球画像としてエクイレクタングラー形式（正距円筒図法）を使用したが、本発明はこれに限られない。例えば、サイコロを分解したように正六面体のスクリーン６面に平面画像を貼り付けて、その中央から画像を見た際に３６０度が正しく見えるキューブマップ形式を使用してもよいし、プラネタリウム等において使用されるドームマスター形式等を使用してもよい。使用する形式は公知の技術を使用することができる。

また、上記実施形態においては、表示画像生成部３４Ｂは、平面状態の全天球画像を球体の全天球画像に変換する処理を行っているが本発明はこれに限られない。例えば、合成画像生成部２４Ｂが、平面状態の全天球画像を球体の全天球画像に変換する処理を行い、球体の全天球画像で表される合成画像ＲＰを遠隔監視装置３０に送信してもよい。

また、上記実施形態においては、遠隔監視装置３０は第１～第４表示部３２Ａ～３２Ｄの４つの表示部を備えているが、本発明はこれに限られない。４つより少ない数の表示部を備えていてもよいし、４つより多い数の表示部を備えていてもよい。表示部の台数は、例えば運行させる車両２０の数に応じて設定されていてもよい。

また、上記実施形態においては、図７に示されるように、画像Ａ２を時計回り又は反時計回りの回転方向に移動させることにより、監視者が見たい方向を変更しているが本発明はこれに限られない。例えば、第３表示部３２Ｃに図８で示される表示画像ＨＰ２が表示されている場合には、合成画像生成部２４Ｂは、例えば監視者がマウス等の入力手段によって移動されるポインタ（図示省略）を表示画像ＨＰ２上に合成する。表示画像生成部３４Ｂは、このポインタの表示画像ＨＰ２の移動距離及び移動方向を検出し、この検出した移動距離及び移動方向に応じて合成画像ＣＰにおける切り出し範囲を決定してもよい。

また、上記実施形態においては、通信部２８は、合成画像ＣＰを送信する送信部としての機能と、その他の情報（異常情報や遠隔操作に関する情報等）を送受信する送受信部としての機能の両方を備えているが、本発明はこれに限られない。合成画像ＣＰを送信する送信部は通信部２８とは別に設けられていてもよい。このように、合成画像ＣＰの送信に特化した送信部を設けることにより、合成画像ＣＰの通信処理速度をより速くすることが可能となる。

また、上記実施形態においては、通信部３８は、合成画像ＣＰを受信する受信部としての機能と、その他の情報（異常情報や遠隔操作に関する情報等）を送受信する送受信部としての機能の両方を備えているが、本発明はこれに限られない。合成画像ＣＰを受信する受信部は通信部３８とは別に設けられていてもよい。このように、合成画像ＣＰの受信に特化した受信部を設けることにより、合成画像ＣＰの通信処理速度をより速くすることが可能となる。

また、上記実施形態においては、移動体を車両２０としたが本発明はこれに限られない。移動体は例えば荷物や配送物等を運ぶモビリティであってもよいし、自立走行可能なロボットであってもよいし、自立走行可能であれば何れの態様であってもよい。

以上、本発明の一例について説明したが、本発明は、上記に限定されるものでなく、上記以外にも、その主旨を逸脱しない範囲内において種々変形して実施可能であることは勿論である。

１０ 遠隔監視システム
２０ 車両（移動体）
２２Ａ 前方カメラ（撮影部）
２２Ｂ 右前方カメラ（撮影部）
２２Ｃ 右側方カメラ（撮影部）
２２Ｄ 右後方カメラ（撮影部）
２２Ｅ 後方カメラ（撮影部）
２２Ｆ 左後方カメラ（撮影部）
２２Ｇ 左側方カメラ（撮影部）
２２Ｈ 左前方カメラ（撮影部）
２２Ｊ 下方カメラ（撮影部）
２４Ｂ 合成画像生成部
２８ 通信部（送信部）
３０ 遠隔監視装置
３４Ｂ 表示画像生成部
３８ 通信部（受信部）
Ｐ 撮影画像
Ｐ１～Ｐ９ 撮影画像
ＣＰ 合成画像（エクイレクタングラー形式の全天球画像）
ＲＰ 合成画像（球体形式）
ＨＰ 表示画像
ＨＰ１～ＨＰ６ 表示画像

Claims (8)

1. 移動体に搭載され、隣接する撮影領域が重なる重複部分が形成されるように撮影範囲が設定可能とされた４つ以上の撮影部と、
   該４つ以上の撮影部により各々撮影された４つ以上の撮影画像を、前記重複部分をオーバラップさせて合成し、移動体水平方向の移動体全周囲を含む合成画像を生成する合成画像生成部と、
   該合成画像生成部により生成された前記合成画像を送信する送信部と、を含む移動体と、
   前記移動体から送信された前記合成画像を受信する受信部を含む遠隔監視装置と、
   を備える遠隔監視システム。
2. 前記４つ以上の撮影画像における各々の前記撮影範囲は、前記移動体の一部が含まれるように設定されている請求項１に記載の遠隔監視システム。
3. 前記移動体は、前記移動体の一部を含む当該移動体の下側が撮影領域となるように撮影範囲が設定された下側用の撮影部をさらに含み、
   前記合成画像生成部は、前記下側用の撮影部により取得された下側撮影画像も前記合成画像に合成する請求項１に記載の遠隔監視システム。
4. 前記合成画像は、全天球画像である請求項１に記載の遠隔監視システム。
5. 前記遠隔監視装置は、表示部と、
   前記受信部により受信された前記合成画像から前記表示部に表示する表示画像を生成する表示画像生成部と、を含む請求項１に記載の遠隔監視システム。
6. 前記表示画像生成部は、前記移動体の走行状況に基づいて前記表示画像を生成する請求項５に記載の遠隔監視システム。
7. 前記表示画像生成部は、前記移動体において設定されたモードに合わせた前記表示画像を生成する請求項５に記載の遠隔監視システム。
8. 前記合成画像は、縦方向と横方向との比率が１：２である請求項１に記載の遠隔監視システム。