JP6260174B2 - 監視画像提示システム - Google Patents

Description

本発明は、車両の周囲の映像に関する情報を提示する監視画像提示システムに関する。

この種の装置に関し、車両のシフトレバーがリバース位置に操作された場合に、車両の後方の映像を表示する運転支援装置が知られている（特許文献１）。

特開２０１２−０１６２１３０号公報

しかしながら、車載カメラの撮像画像をそのまま表示するのではなく、視点変換した監視画像を提示する場合において、車載装置に組み込まれていない可搬型の端末装置が視点変換の処理を行う場合には、端末装置が車載装置から取得する撮像画像の情報量が大きくなるため、無線通信に遅れが生じやすく、監視画像を提示するタイミングが遅延する可能性があるという問題がある。

本発明が解決しようとする課題は、端末装置が車載装置から取得する撮像画像の情報量を小さくすることにより、無線通信の遅延の発生を抑制して、監視画像をリアルタイムに提示することである。

本発明の監視画像提示システムにおいて、車載装置は、端末装置の表示エリア切り出した監視画像を編集し、端末装置は、編集された監視画像を無線通信網を介して取得してこれを提示し、サーバは、車両の種別に応じた識別情報と、車両の長さ、車両の幅の長さ、車両のカメラの位置、又は車両のカメラのレンズデータの少なくとも一つ以上を含む撮像パラメータとを対応づけた変換情報を読み出し可能な状態で記憶し、車載装置は、通信手段を介して変換情報にアクセスし、車両の車種に応じた撮像パラメータを取得することにより、上記課題を解決する。

本発明によれば、端末装置が車載装置から取得する撮像画像の情報量を小さくすることができるので、無線通信の遅延の発生を抑制し、監視画像をリアルタイムに提示できる。この結果、車載カメラで撮像した撮像画像に基づく監視画像を、車載装置に組み込まれていない可搬型の端末装置に提示する場合であっても、過去の監視画像が提示されることを防止できる。

本発明に係る本実施形態の監視画像提示システムの構成図である。 カメラの設置例を示す図である。 図３Ａ（ａ）はフロントカメラの撮像画像の視点変換画像から切り出された第１監視画像の一例を示す図であり、図３Ａ（ｂ）は左サイドカメラの撮像画像の視点変換画像から切り出された第１監視画像の一例を示す図であり、図３Ａ（ｃ）は右サイドカメラの撮像画像の視点変換画像から切り出された第１監視画像の一例を示す図であり、図３Ａ（ｄ）はリアカメラの撮像画像の視点変換画像から切り出された第１監視画像の一例を示す図である。 図３Ａに示す４つの第１監視画像から合成された監視画像の表示態様の一例を示す図である。 第１実施形態の監視画像提示システム１０００の制御手順を示すフローチャート図である。 図５Ａ（ａ）はフロントカメラの撮像画像の視点変換画像から切り出された第１監視画像と、フロントカメラの撮像画像から切り出された第２監視画像とを含む監視画像の一例を示す図であり、図５Ａ（ｂ）は左サイドカメラの撮像画像の視点変換画像から切り出された第１監視画像の一例を示す図であり、図５Ａ（ｃ）は右サイドカメラの撮像画像の視点変換画像から切り出された第１監視画像の一例を示す図であり、図５Ａ（ｄ）はリアカメラの撮像画像の視点変換画像から切り出された第１監視画像の一例を示す図である。 図５Ｂ（ａ）はフロントカメラの撮像画像の視点変換画像から切り出された第１監視画像と、フロントカメラの撮像画像から切り出された第２監視画像とを含む監視画像の他の一例を示す図であり、図５Ｂ（ｂ）は左サイドカメラの撮像画像の視点変換画像から切り出された第１監視画像の一例を示す図であり、図５Ｂ（ｃ）は右サイドカメラの撮像画像の視点変換画像から切り出された第１監視画像の一例を示す図であり、図５Ｂ（ｄ）はリアカメラの撮像画像の視点変換画像から切り出された第１監視画像の一例を示す図である。 図５Ａ又は図５Ｂに示す４つの第１監視画像と、１つの第２監視撮像をから合成された監視画像の表示態様の一例を示す図である。 第２実施形態の監視画像提示システム１０００の制御手順を示すフローチャート図である。 図７Ａ（ａ）はフロントカメラの撮像画像から切り出された第２監視画像のみを含む監視画像の例を示す図であり、図７Ａ（ｂ）は左サイドカメラの撮像画像の視点変換画像から切り出された第１監視画像の一例を示す図であり、図７Ａ（ｃ）は左サイドカメラの撮像画像の視点変換画像から切り出された第１監視画像の一例を示す図であり、図７Ａ（ｄ）はリアカメラの撮像画像の視点変換画像から切り出された第１監視画像の一例を示す図である。 図７Ａに示す３つの第１監視画像と、１つの第２監視撮像をから合成された監視画像の表示態様の第１の例を示す図である。 第３実施形態の監視画像提示システム１０００の制御手順を示すフローチャート図である。 図９Ａ（ａ）はフロントカメラの撮像画像から切り出された第２監視画像のみを含む監視画像の例を示す図であり、図９Ａ（ｂ）は左サイドカメラの撮像画像の視点変換画像から切り出された第１監視画像の一例を示す図であり、図９Ａ（ｃ）は左サイドカメラの撮像画像の視点変換画像から切り出された第１監視画像の一例を示す図であり、図９Ａ（ｄ）はリアカメラの撮像画像の視点変換画像から切り出された第１監視画像の一例を示す図である。 図９Ａに示す３つの第１監視画像と、１つの第２監視撮像をから合成された監視画像の表示態様の第１の例を示す図である。 図９Ａに示す３つの第１監視画像と、１つの第２監視撮像をから合成された監視画像の表示態様の第２の例を示す図である。 第４実施形態の監視画像提示システム１０００の制御手順を示すフローチャート図である。

＜第１実施形態＞
以下、本発明の第１の実施形態を図面に基づいて説明する。本実施形態では、無線通信網を介して相互に情報の授受を行う、車両に設けられたカメラを有する車載装置２００と、携帯可能な端末装置１００と、外部のサーバ３００とを備える監視画像提示システム１０００に適用した場合を例にして説明する。

図１は、本実施形態に係る監視画像提示システム１０００のブロック構成図である。本実施形態の監視画像提示システム１０００は、端末装置１００と、車載装置２００と、サーバ３００とを備える。

まず、図１に基づいて、本発明の端末装置１００について説明する。本実施形態の端末装置１００は、スマートフォン、タブレット端末などの通信機能を備える可搬の携帯端末装置である。本実施形態の端末装置１００は、通信装置１０と、提示装置２０とを備える。通信装置１０は、車載装置２００から第１監視画像を取得する。後述する他の実施形態において、通信装置１０は第１監視画像とともに第２監視画像を車載装置２００から取得できる。

本実施形態の通信装置１０は、外部の車載装置２００の通信装置２と相互に情報の授受を行う。通信装置１０は、車載装置２００から撮像画像、車両の状態その他の情報を取得する。

本実施形態の端末装置１００の提示装置２０は、取得した第１監視画像、又は第１監視画像及び第２監視画像を、その表示エリアに所定の表示態様で提示する。本実施形態では、視点変換がされた第１監視画像と、視点変換がされていない第２監視画像とを、「監視画像」と総称する。監視画像は車両周囲を監視するための画像である。本実施形態における表示態様は、表示する画像の種類、数、大きさ、表示時間、表示周期などの表示に関する規則である。表示態様は、表示情報２１として端末装置１００の提示装置１０に記憶されている。提示装置１０は、提示処理を制御するＣＰＵなどの制御装置を備えたディスプレイである。具体的な表示手法は、後に図面を引用しつつ説明する。特に限定されないが、本実施形態の端末装置１００の提示装置２０の表示エリアは長方形である。また、提示装置２０は、表示エリアの長手方向が横方向の横置状態である場合と、表示エリアの長手方向が縦方向の縦置状態である場合とで画像の提示態様を切り替える画像切り替え機能を有する。つまり、端末装置１００は、横置状態のときと縦置状態のときには異なる態様で監視画像を提示できる。

本実施形態のサーバ３００は、車載装置２００、端末装置１００とは別の外部装置である。サーバ３００は、通信装置３２０と、記憶装置３１０とを備える。通信装置３２０は、車載装置２００、端末装置１００と、それぞれ情報の送受信を行う。記憶装置３１０は、車両の種別（車種）に応じた識別情報と、車種に応じた車両の長さ、車種に応じた車両の幅の長さ、車種に応じた車両のカメラの位置、又は車種に応じた車両のカメラのレンズデータを含む撮像パラメータとを対応づけた変換情報３１１を読み出し可能な状態で記憶する。撮像パラメータは、自車両に設置された各カメラ１から視点変換画像を生成する際の変数である。本実施形態の撮像パラメータは、車両の長さ、車両の幅の長さ、車両のカメラ１の位置、又は車両のカメラ１のレンズデータを含む。車両のカメラ１の位置は、所定の空間座標におけるX,Y,Zの座標値と、ヨー角、ピッチ角、ロール角の一つ以上を含む。本実施形態では、これらの撮像パラメータは、車種ごとに定義する。サーバ３００は、撮像パラメータを車両の種別に応じた識別情報に対応づけた変換情報３１１を記憶している。サーバ３００と通信可能な各車両の車載装置２００は、自車両の車種に応じた識別情報に基づいて自車のカメラ１の撮像画像の変換情報を取得する。同様に、サーバ３００と通信可能な端末装置１００も、サーバ３００から変換情報３１１を取得できる。

次に、本実施形態の車載装置２００について説明する。本実施形態の車載装置２００は、一又は複数のカメラ１ａ〜１ｄと、通信装置２と、車両コントローラ３と、画像処理装置４とを備える。車載装置２００が備えるカメラ１、通信装置２、車両コントローラ３、及び画像処理装置４はＣＡＮ（Controller Area Network）その他の車載ＬＡＮによって接続され、相互に情報の授受を行うことができる。

カメラ１ａ〜１ｄ（総称してカメラ１とも称する。以下、同じ。）は、ＣＣＤ（Charge Coupled Devices）等の撮像素子を用いて構成される。本実施形態では、撮像可能範囲が広い、広角のカメラ１を使用する。図２は、カメラ１ａ〜１ｄを車両Ｖに取り付ける場合の配置例を示す図である。カメラ１ａ〜１ｄは、車両Ｖの外部の異なる位置に各々設置され、車両周囲の４方向の画像をそれぞれ撮影する。例えば、図２に示すように、フロントグリル部分などの車両Ｖの前方の所定位置に設置されたカメラ１ａは、車両Ｖの前方のエリアＳＰ１内及びその前方の空間に存在する物体又は路面の画像（フロントビュー画像）を撮影する。左サイドミラー部分などの車両Ｖの左側方の所定位置に設置されたカメラ１ｂは、車両Ｖの左側方のエリアＳＰ２内及びその周囲の空間に存在する物体又は路面の画像（左サイドビュー画像）を撮影する。リアフィニッシャー部分やルーフスポイラー部分などの車両Ｖのリア（後方）部分の所定位置に設置されたカメラ１ｃは、車両Ｖの後方のエリアＳＰ３内及びその後方の空間に存在する物体又は路面の画像（リアビュー画像）を撮影する。右サイドミラー部分などの車両Ｖの右側方の所定位置に設置されたカメラ１ｄは、車両Ｖの右側方のエリアＳＰ４内及びその周囲の空間に存在する物体又は路面の画像（右サイドビュー画像）を撮影する。カメラ１ａ〜１ｄによって撮像された撮像画像は画像処理装置４へ送出される。なお、本実施形態における「車両の後方」には、真後ろのみならず、後方の左右側方をも含む。同様に「車両の前方」には、正面のみならず、前方の左右側方をも含む。

通信装置１００は、カメラ１が撮像した撮像画像、車載装置２００で生成された監視画像（後述する第１監視画像、第２監視画像を含む。以下同じ）を、端末装置１００へ送出する。カメラ１に無線通信機能を備えさせて、撮像画像、監視画像を端末装置１００へ送出してもよい。端末装置１００は、無線の通信網を介してカメラ１が撮像した撮像画像、車載装置２００が編集した監視画像を取得する。各カメラ１が撮像した画像には、各カメラ１の配置(アドレス)に応じた識別子が付されており、端末装置１００は、各識別子に基づいて各撮像画像及び監視画像がどの領域に関するものであるかを識別できる。

車両コントローラ３は、車両の各構成から情報を取得し、車両の動作を集中的に管理する。本実施形態の車両コントローラ３は、車両の状態を示す状態情報を取得する。車両コントローラ３は、車両の変速装置のシフトポジション情報３１を取得し、加速度センサから加速度３２を取得する。また、車両コントローラ３は、自車両に搭載されたカメラ１の撮像パラメータを記憶してもよい。撮像パラメータは、自車両に設置された各カメラ１から視点変換画像を生成する際の変数である。本実施形態の撮像パラメータは、車両の長さ、車両の幅の長さ、車両のカメラ１の位置、又は車両のカメラ１のレンズデータを含む。車両のカメラ１の位置は、所定の空間座標におけるX,Y,Zの座標値と、ヨー角、ピッチ角、ロール角の一つ以上を含む。車両コントローラ３が記憶する撮像パラメータは、先述したサーバ３００が記憶する変換情報３１１の撮像パラメータと同じである。車両コントローラ３が記憶してもよいし、サーバ３００が記憶してもよい。

車両コントローラ３は、車両の進行方向を判断し、その結果を後述する画像処理装置４へ送出する。車両コントローラ３は、シフトポジション情報３１に基づいて車両の進行方向を判断する。シフトポジションが後退のポジションであれば、車両の進行方向は後方であると判断できる。シフトポジションがドライブポジションであれば、車両の進行方向は前方であると判断できる。車両コントローラ３は、加速度３２に基づいて車両の進行方向を判断する。車両の前方方向の加速度がプラスの値であり、その速度が所定値以上（たとえば２０ｋｍ／ｈ以上）又は所定時間以上継続されれば、車両の進行方向は前方であると判断できる。車両の前方方向の加速度がマイナスの値であり、その速度が所定値未満（たとえば１０ｋｍ／ｈ未満であれば）、車両の進行方向は後方であると判断できる。

画像処理装置４について説明する、画像処理装置４は、視点変換画像生成機能と、監視画像編集機能とを実行するコンピュータである。本実施形態の端末装置１００が備える画像処理装置１０は、監視画像を編集するプログラムが格納されたＲＯＭ（Read Only Memory）１２と、このＲＯＭ１２に格納されたプログラムを実行することで、本実施形態の端末装置１００として機能する動作回路としてのＣＰＵ（Central Processing Unit）１１と、アクセス可能な記憶装置として機能するＲＡＭ（Random Access Memory）１３と、を備える。

画像処理装置４の視点変換画像生成機能について説明する。本実施形態の画像処理装置４は、カメラ１により撮像された車両の周辺の撮像画像を、車種ごとに定義された撮像パラメータを用いて、車両の上空の所定の視点から見下ろす所定の投影面に座標変換した視点変換画像をそれぞれ生成する。画像処理装置は、車載装置２００内に記憶された撮像パラメータ３３を読み出してもよいが、サーバ３００に記憶された撮像パラメータ３１１を通信網を介して読み込んでも良い。この場合は、車載装置２００がサーバ３００の変換情報にアクセスし、自車両の車種の識別情報を与えて、車種に応じた撮像パラメータを取得してもよい。端末装置１００がサーバ３００の変換情報にアクセスし、監視の対象となる車両の車種の識別情報を与えて、車種に応じた撮像パラメータをダウンロードし、ダウンロードした撮像パラメータを、最初に接続する際に車載装置２００へ送信してもよい。撮像パラメータ３１１をサーバ３００に記憶させておくことによって、車載装置２００が記憶する情報量を低減させることができる。また、端末装置１００が撮像画像から視点変換画像を生成する場合も、サーバ３００に記憶された撮像パラメータ３１１を利用できる。撮像画像の画像変換処理の手法は特に限定されず、出願時に知られた手法を適宜に適用することができる。

次に、画像処理装置４の監視画像編集機能について説明する。先述した視点変換画像から端末装置１００の提示装置において情報が提示される表示エリアと表示態様に応じて所定領域の画像を切り出して第１監視画像を編集する。第１監視画像には、車両を基準としてどの方向の監視画像であるかを識別するための符号を付する。この符号に応じて端末装置１００は各第１監視画像を表示エリアＱのどこに配置するかを判断する。表示態様とは、各情報の大きさ、各情報の配置である。つまり、画像処理装置４は、視点変換画像のうち、実際に端末装置１００の提示装置の表示エリアに表示される領域に含まれる画像だけを切り出して第１監視画像を編集する。ちなみに、視点変換画像は、カメラ１の撮像エリアとなる広い範囲の画像を含み、その情報量は大きい。特に、カメラ１が広角のカメラであるときには、視点変換画像の情報量はさらに大きくなる。本実施形態では、この視点監視画像のうち実際に提示される領域の画像を送信前に切り出して、その情報量を低減させる。

図３Ａは、第１監視画像の一例である。図３Ａ（ａ）はフロントカメラの撮像画像の視点変換画像の一部を切り出した前方の第１監視画像の一例を示す図であり、図３Ａ（ｂ）は左サイドカメラの撮像画像の視点変換画像の一部を切り出し右側の第１監視画像の一例を示す図であり、図３Ａ（ｃ）はリアカメラの撮像画像の視点変換画像の一部を切り出した後ろ側の第１監視画像の一例を示す図であり、図３Ａ（ｄ）は右サイドカメラの撮像画像の視点変換画像の一部を切り出した左側の第１監視画像の一例を示す図である。各第１監視画像は、端末装置１００の表示エリアと表示態様に応じて、視点変換画像の所定領域を切り出したものである。

そして、図３Ｂは、上記図３Ａの（ａ）乃至（ｄ）に示す異なる方向の映像を示す複数の第１監視画像を、端末装置１００の提示装置２０の表示エリアに所定の表示態様で配置した監視画像Ｒの一例を示す図である。このように、車両を基準に異なる方向を撮像した複数の撮像画像から座標変換をして得た一つの第１監視画像を端末装置１００に表示することにより、ドライバは車両の周囲の状態を迅速に確認できる。

さらに、本例では、図３Ｂに示すように、表示エリアＱの中心には、その長手方向に車長方向が沿うように車両を示す車両アイコンＲ０を表示する。車両アイコンＲ０の周りに車両を基準とする第１監視画像Ｒ１〜Ｒ４の撮像方向と、車両アイコンＲ０を基準とする第１監視画像Ｒ１〜Ｒ４の配置方向とが対応する一纏まりの監視画像を表示する。

具体的に、端末装置１００の提示装置２０は、車両の右側の撮像画像から編集された右側の第１監視画像Ｒ４と、車両の左側の撮像画像から編集された左側の第１監視画像Ｒ２との間に、所定の視点から見下ろした車両を示すアイコンＲ０を表示する。特に限定されないが、同図に示すように、車両を示すアイコンＲ０は、車両の右側の撮像画像から編集された前方の第１監視画像Ｒ１と、車両の後方の撮像画像から編集された左側の第１監視画像Ｒ３との間に配置する。これにより、自車両に対する各監視画像Ｒ１〜Ｒ４の位置関係が分かりやすい情報を提示できる。

つまり、実車両の前方の撮像画像から編集された第１監視画像Ｒ１は車両アイコンＲ０の前方（フロントガラス側：図中上側）に配置され、実車両の左側の撮像画像から編集された第１監視画像Ｒ２は車両アイコンＲ０の左側（図中左側）に配置され、実車両の後ろ側の撮像画像から編集された第１監視画像Ｒ３は車両アイコンＲ０の後ろ側（図中下側）に配置され、実車両の右側の撮像画像から編集された第１監視画像Ｒ４は車両アイコンＲ０の右側（図中右側）に配置される。これにより、監視画像Ｒ１〜Ｒ４と車両との位置関係を把握しやすくできる。

以下、本発明の第１実施形態の監視画像提示システム１０００の処理手順を説明する。図４は、本実施形態に係る監視画像提示システム１０００の制御手順を示すフローチャートある。ステップ１０１〜１０５は車載装置２００側の処理であり、ステップ２０１〜２０４は端末装置１００側の処理である。

ステップ１０１において、本実施形態の車載装置２００のカメラ１は車両周囲を撮像して撮像画像を取得する。

車載装置２００の画像処理装置４は、通信装置２を介してサーバ３００にアクセスする。ステップ１０２において、画像処理装置４は、サーバ３００が記憶する変換情報３１１（又は３３）を参照し、変換情報３１１（又は３３）に含まれる自車両の車種に応じた撮像パラメータを読み出す。

ステップ１０３において、車載装置２００の画像処理装置４は、取得した撮像パラメータを用いて、撮像画像を視点変換し、車両の上空の所定の視点から見下ろす投影面に座標変換した視点変換画像を生成する。

ステップ１０４において、車載装置２００の画像処理装置４は、端末装置１００の表示エリア、表示態様を含む表示情報２１を取得する。そして、ステップ１０５において、画像処理装置４は、視点変換画像から端末装置１００の表示エリアと表示態様に応じて所定領域の画像を切り出して第１監視画像を編集する。

端末装置１００の処理であるステップ２０１において、端末装置１００と車載装置２００とは無線通信の確立を確認する。無線通信が確立したら、ステップ２０２において、端末装置１００は車載装置２００が生成した第１監視画像を取得する。ステップ２０３において、端末装置１００は、表示エリアと表示態様に関する表示情報２１を参照する。ステップ２０４において、端末装置１００は、その内容に従い第１監視画像を提示する。

以上のとおり構成され、動作する本発明の第１実施形態に係る端末装置１００、監視画像提示システム１０００は、以下の効果を奏する。

［１−１］本実施形態の監視画像提示システム１０００によれば、端末装置１００が車載装置２００から取得する撮像画像の情報量を小さくすることができるので、無線通信の遅延の発生を抑制し、第１監視画像（監視画像）をリアルタイムに提示できる。この結果、車載カメラで撮像した撮像画像に基づく第１監視画像（監視画像）を、車載装置に組み込まれていない可搬型の端末装置に提示する場合であっても、過去の監視画像が提示されることを防止できる。
［１−２］撮像パラメータ３１１をサーバ３００に記憶させておくことによって、車載装置２００が記憶する情報量を低減させることができる。
［１−３］車両の右側の撮像画像から編集された右側の第１監視画像と、車両の左側の撮像画像から編集された左側の第１監視画像との間に、上空の所定の視点から見下ろした車両を示すアイコンＲ０を配置するので、自車両に対する位置関係が分かりやすい各監視画像Ｒ１〜Ｒ４を提示できる。

＜第２実施形態＞
続いて、第２実施形態の監視画像提示システム１０００について説明する。
第２実施形態の監視画像提示システム１０００は、視点変換処理をした第１監視画像とともに、視点変換処理をしない第２監視画像を提示することを特徴とする。第２実施形態の監視画像提示システム１０００の基本的な構成は、第１実施形態の監視画像提示装置１００の構成と共通する。重複した説明を避けるため、共通する部分については第１実施形態に関する記載を援用し、以下には異なる点を中心に説明する。

本実施形態の車載装置２００の画像処理装置４は、先述した第１監視画像ととともに視点変換されていない第２監視画像を編集する。第２監視画像は、視点変換処理を行うことなくカメラ１の撮像画像の所定領域を切り出した画像である。

本実施形態の画像処理装置４は、車両コントローラ３により判断された車両の進行方向の撮像画像から第２監視画像を編集する。第２監視画像は、進行方向の撮像画像から切り出された所定領域の撮像画像を含む。具体的に、画像処理装置４は、車両の進行方向が車両前方であると判断された場合にはその車両の前方の撮像画像から端末装置１００の表示エリアと表示態様に応じて画像を切り出して第２監視画像を編集する。一方、画像処理装置４は、車両の進行方向が車両後方であると判断された場合にはその車両の後方の撮像画像から端末装置１００の表示エリアと表示態様に応じて切り出して第２監視画像を編集する。

車両の進行方向の判断は、画像処理装置４が行うことも可能である。画像処理装置４は、車両コントローラ３からシフトポジション情報３１、加速度３２を取得して上記手法により車両の進行方向を判断できる。先述した車載装置２００の通信装置２は、第１監視画像と第２監視画像とを端末装置１００へ送出する。

送出する第１監視画像と第２監視画像とを含む監視画像を図５Ａ乃至図５Ｃに示す。
図５Ａ乃至図５Ｃの（ｂ）（ｃ）（ｄ）に示す第１監視画像は、図３Ａ（ｂ）（ｃ）（ｄ）に示す第１監視画像に対応する。

図５Ａ（ａ）、図５Ｂ（ａ）に示すように、画像処理装置４は、視点変換画像から編集された第１監視画像Ｒ１Ａと、撮像画像から編集された第２監視画像Ｒ１Ｂとを、端末装置２００の表示エリアにおける表示位置に応じた位置に配置して一の監視画像Ｒとして編集する。このように、端末装置２００の表示エリアにおける表示位置に応じた位置に、予め配置した第１監視画像Ｒ１Ａと第２監視画像Ｒ１Ｂとを一つの監視画像Ｒとして送信するので、車載装置２００の送出から端末装置１００における提示までの時間を短縮することができる。これにより、監視画像の提示タイミングの遅れを防止できる。

画像処理装置４は、視点変換画像から編集された第１監視画像Ｒ１Ａと、前記撮像画像から編集された第２監視画像Ｒ１Ｂとを含む一つの矩形の監視画像Ｒ１を編集する際に、最終的に送出する監視画像Ｒ１の面積が最小となるように第１監視画像Ｒ１Ａと第２監視画像Ｒ１Ｂとを配置した監視画像Ｒ１を編集することが好ましい。例えば、図５Ａ（ａ）に示す監視画像Ｒの面積よりも、図５Ｂ（ａ）に示す監視画像Ｒ１の面積のほうが小さい。図５Ａ（ａ）及び図５Ｂ（ａ）の黒い部分には具体的な画像データは含まれないが、画素位置と画像データの有無を示す１，０の値は含まれる。この黒い部分も送信データに含まれるので、黒い部分を小さくすることにより送信データの量を低減できる。

このように配置された図５Ｂ（ａ）に示す監視画像Ｒ１の情報量は、図５Ａ（ａ）に示す監視画像Ｒの情報量よりも小さい。これは、図５Ａ（ａ）に示す監視画像Ｒと図５Ｂ（ａ）に示す監視画像Ｒとにおける第１監視画像Ｒ１Ａと第２監視画像Ｒ１Ｂの画像データの合計は等しいが、切り出された監視画像Ｒに含まれる白又は黒の画像（監視画像Ｒ１、Ｒ２以外の単色の領域の画像）に対応する画像データの量が図５Ｂ（ａ）に示す監視画像Ｒの方が小さいからである。

一つの監視画像Ｒとして切り出す際に、画像の総面積が最小となるように、第１監視画像Ｒ１Ａと第２監視画像Ｒ１Ｂとを配置した監視画像Ｒを送信するので、車載装置２００から端末装置１００に送られる情報の量を小さくすることができる。これにより、無線通信の遅延が発生することを抑制し、監視画像の提示タイミングの遅れを防止できる。

端末装置１００は、受信した第１監視画像Ｒ１Ａ，Ｒ２〜Ｒ４と、第２監視画像Ｒ１Ｂとを含む監視画像Ｒを所定の表示態様で表示エリアＱに表示する。図５Ｃはその表示例を示す。図５Ｃに示すように、受信した第１監視画像Ｒ１Ａ，Ｒ２〜Ｒ４が撮像方向に応じて車両周囲の所定の位置に配置され、その隣(右側に)第２監視画像Ｒ１Ｂが配置された監視画像Ｒを表示エリアＱに表示される。

以下、本発明の第２実施形態の監視画像提示システム１０００の処理手順を説明する。図６は、本実施形態に係る監視画像提示システム１０００の制御手順を示すフローチャートある。ステップ１０１〜１０５及びステップ３０１〜３０３は車載装置２００側の処理であり、ステップ２０１〜２０４は端末装置１００側の処理である

図６に示すステップ１０１〜１０５の処理は図４に示す第１実施形態と共通するので、ここに第１実施形態における説明を引用する。

図６のステップ３０１において、車載装置２００の画像処理装置４は、車両の進行方向を取得する。車両のシフトポジション、速度などの情報から車両が前進状態であるか後退状態であるかを判断する。ステップ３０２において、画像処理装置４は、端末装置１００の表示エリア、表示態様を含む表示情報２１を取得する。そして、ステップ１３０３において、画像処理装置４は、車両の進行方向を撮像した撮像画像から端末装置１００の表示エリアと表示態様に応じた所定領域の画像を切り出して第２監視画像を編集する。

端末装置１００側の処理であるステップ２０１において、端末装置１００と車載装置２００との無線通信が確立したら、ステップ２０２において、端末装置１００は車載装置２００が生成した第１監視画像及び第２監視画像を取得する。ステップ２０３において、端末装置１００は、ディスプレイの表示エリアの表示態様を参照する。ステップ２０４において、端末装置１００は、その内容に従って第１監視画像及び第２監視装置を図５Ｃのように提示する。

以上のとおり構成され、動作する本発明の第２実施形態に係る端末装置１００、監視画像提示システム１０００は、以下の効果を奏する。

[２−１]車両周囲の異なる方向を撮像した複数の撮像画像から得た視点変換画像から切り出した一つの第１監視画像と、進行方向の撮像画像から（座標変換をしないで）切り出した第２監視画像とを端末装置１００に表示することにより、ドライバは車両の周囲の状態を第１監視画像により迅速に確認しつつ、進行方向の実際の状態を第２監視画像により正確に確認できる。視点変換画像から切り出された第１監視画像は、車両周囲の物体の存在などの把握に適しているものの、視点変換処理を経ているため画像の歪みなどを含む。撮像画像から切り出された第２監視画像は、第１監視画像よりも相対的に歪度が低い。このため、本実施形態では、視点変換画像から切り出した第１監視画像とともに、座標変換を経ない第２監視画像を提示する。これにより、ドライバは、車両周囲の状況を一目で把握しつつ、注意すべき進行方向の状況を自らの目視及び撮像画像により確認できる。
端末装置２００の表示エリアにおける表示位置に応じた位置に、予め配置した第１監視画像Ｒ１Ａと第２監視画像Ｒ１Ｂとを一つの監視画像として送信するので、車載装置２００の送出から端末装置１００における提示までの時間を短縮することができる。これにより、監視画像の提示タイミングの遅れを防止できる。
[２−２]一つの監視画像Ｒ１として切り出す際に、監視画像Ｒ１の画像の総面積が最小となるように、第１監視画像Ｒ１Ａと第２監視画像Ｒ１Ｂとを配置した監視画像Ｒ１を送信するので、車載装置２００から端末装置１００に送られる情報の量を小さくすることができる。これにより、無線通信の遅延が発生することを抑制し、監視画像の提示タイミングの遅れを防止できる。

＜第３実施形態＞
次に、第３実施形態の監視画像提示システム１０００について説明する。
第３実施形態の監視画像提示システム１０００は、車載装置２００が、進行方向以外の第１監視画像と、進行方向の第２監視画像を端末装置１００へ提供するをことを特徴とする。第３実施形態の監視画像提示システム１０００の基本的な構成は第１実施形態、又は第２実施形態の監視画像提示装置１００と共通する。重複した説明を避けるため、共通する部分については第１実施形態又は第２実施形態に関する記載を援用し、異なる点を中心に説明する。

本実施形態の車載装置２００の画像処理装置４は、車両の進行方向が車両前方であると判断された場合には、その車両の前方の撮像画像から端末装置１００の表示エリアと表示態様に応じて切り出した所定領域の撮像画像を含む第２監視画像を編集し、車両前方以外（車両の進行方向以外）の方向については撮像画像の視点変換画像から編集された第１監視画像を編集し、これら第１監視画像と第２監視画像とを含む監視画像を作成する。図７Ａに本実施形態の画像処理装置４が編集した端末装置１００へ送出する監視画像の一例を示す。進行方向である前方については、視点変換画像から編集された第１監視画像ではなく、撮像画像から編集された第２監視画像Ｒ１Ｂが監視画像に含まれる。

車両が後退する場合も同様に、本実施形態の車載装置２００の画像処理装置４は、車両の進行方向が車両後方であると判断された場合には、その車両の後方の撮像画像から端末装置１００の表示エリアと表示態様に応じて切り出した所定領域の撮像画像を含む第２監視画像を編集し、車両後方以外（車両の進行方向以外）の方向の撮像画像の視点変換画像から編集された第１監視画像を編集し、これら第１監視画像と第２監視画像とを含む監視画像を作成する。

本実施形態において車載装置２００から端末装置１００へ送信される監視画像には、車両の進行方向の撮像画像の視点変換画像から得られた第１監視画像は含まれない。進行方向の第１監視画像Ｒ１（Ａ）は車載装置２００ではなく、端末装置１００の提示装置２０の画像処理機能２２により生成される。

車載装置２００の通信装置２は、進行方向以外の方向を映す撮像画像から編集された３枚の第１監視画像Ｒ２、Ｒ３、Ｒ４と、進行方向を映す撮像画像から編集された１枚の第２監視画像Ｒ１Ｂを含む監視画像を端末装置１００へ送出する。

本実施形態の端末装置１００の提示装置２０は、取得した第２監視画像Ｒ１Ｂから、車両に応じた撮像パラメータ３１１を用いて、車両の上空の所定の視点から見下ろす投影面に座標変換した視点変換画像を生成する視点変換画像生成機能を備える。撮像パラメータ３１１は、車載装置２００から取得してもよいし、サーバ３００から取得してもよい。この視点変換画像生成機能は、先述した車載装置２００の画像処理装置４が備える視点変換画像生成機能と共通するので、ここで第１実施形態の視点変換画像生成機能の説明を援用する。提示装置２０が生成する視点変換画像は、第２実施形態の進行方向を映す撮像画像から編集された第１監視画像Ｒ１Ａに対応する。

本実施形態の端末装置１００の提示装置２０は、端末装置側の視点変換画像生成機能により生成された視点変換画像に対応する第１監視画像Ｒ１Ａを、通信装置１０により取得された車両前方以外の方向の撮像画像の視点変換画像から編集された第１監視画像Ｒ２，Ｒ３，Ｒ４に組み込む。本実施形態の提示装置２０は、車載装置２００から受信した３枚の第１監視画像Ｒ２、Ｒ３、Ｒ４、１枚の第２監視画像Ｒ１Ｂ、及び第２監視画像Ｒ１Ｂから視点変換処理をして編集した視点変換画像（以下、第１監視画像Ｒ１Ａとも称する）とを、車両のアイコンＲ０を基準とする所定の表示態様で表示エリアＱに提示する。

図７Ｂは、本実施形態における、車載装置２００から取得した３枚の第１監視画像Ｒ２、Ｒ３、Ｒ４及び端末装置１００が編集した第１監視画像Ｒ１Ａと、車載装置２００から取得した１枚の第２監視画像Ｒ１Ｂを含む監視画像Ｒの一例を示す。

以下、本発明の第３実施形態の監視画像提示システム１０００の処理手順を説明する。図８は、本実施形態に係る監視画像提示システム１０００の制御手順を示すフローチャートある。ステップ１０１，１０２，１０３ａ、１０４，１０５ａ及びステップ３０１〜３０３は車載装置２００側の処理であり、ステップ２０１〜２０４（２０２ａを含む）は端末装置１００側の処理である。

図８に示すステップ１０１，１０２、１０４の処理は図４に示す第１実施形態と基本的に共通するので、図６の説明を援用する。
ステップ１０２の変換情報の取得に並行して、車両コントローラ３を介して車両の進行方向を取得する。そして、本実施形態のステップ１０３ａにおいて、車載装置２００の画像処理装置４は、車両の進行方向以外の方向の撮像画像について、取得した撮像パラメータを用いて、撮像画像を視点変換し、車両の上空の所定の視点から見下ろす投影面に座標変換した視点変換画像を生成する。

ステップ１０４において、車載装置２００の画像処理装置４は、端末装置１００の表示エリア、表示態様を含む表示情報２１を取得する。そして、ステップ１０５ａにおいて、画像処理装置４は、車両の進行方向以外の撮像画像に基づく視点変換画像から端末装置１００の表示エリアと表示態様に応じて所定領域の画像を切り出して第１監視画像を編集する。この第１監視画像は、車両の進行方向以外の方向を映し出す監視画像である。

図８のステップ３０１〜３０３は、図６のステップ３０１〜３０３と共通するので、図６の説明をここに援用する。

端末装置１００の処理であるステップ２０１において、端末装置１００と車載装置２００との無線通信が確立したら、ステップ２０２において、端末装置１００は車載装置２００が生成した第１監視画像及び第２監視画像を取得する。続くステップ２０２ａにおいて、端末装置２００の提示装置２０は、車進行方向の第２監視画像を両に応じた撮像パラメータを用いて視点変換処理を実行する。ステップ２０３において、端末装置１００は、ディスプレイの表示エリアの表示態様に関する表示情報２１を参照する。端末装置１００は、得られた視点変換画像を、第１監視画像Ｒ１Ａとして扱う。ステップ２０４において、端末装置１００は、第１監視画像Ｒ１Ａ（端末装置１００が生成した視点変換画像）を、車載装置２００から取得した車両進行方向以外の方向の撮像画像の視点変換画像から編集された第１監視画像Ｒ２，Ｒ３，Ｒ４に組み込んで、図７Ｂに示すように所定の表示態様で表示エリアＱに提示する。このとき、ステップ２０２において取得した第２監視画像Ｒ１Ｂもととも表示エリアＱに提示する。

以上のとおり構成され、動作する本発明の第３実施形態に係る端末装置１００、監視画像提示システム１０００は、以下の効果を奏する。

［３−１］本実施形態において、車載装置２００は、進行方向については撮像画像を単に切り出した第２監視画像Ｒ１Ｂを送出し、端末装置１００側で取得した第２監視画像Ｒ１Ｂを視点変換した視点変換画像（第１監視画像Ｒ１Ａ）を生成する。本実施形態の監視画像提示システム１０００は、進行方向の画像については第２監視画像Ｒ１Ｂのみを送出するので、送受信に係る画像情報のデータ量を低減させることができる。これにより、無線通信の遅延発生を抑制し、監視画像の提示タイミングの遅れを防止できる。

＜第４実施形態＞
次に、第４実施形態の監視画像提示システム１０００について説明する。
第４実施形態の監視画像提示システム１０００は、進行方向については視点変換処理をしない第２監視画像を提示するとともに、進行方向以外の方向については視点変換処理をした第１監視画像を提示することを特徴とする。第４実施形態の監視画像提示システム１０００の基本的な構成は第１乃至第３実施形態の監視画像提示装置１００と共通する。重複した説明を避けるため、共通する部分については第１実施形態又は第２実施形態に関する記載を援用し、異なる点を中心に説明する。

本実施形態の車載装置２００の画像処理装置４は、車両の進行方向が車両前方であると判断された場合には、その車両の前方の撮像画像から端末装置１００の表示エリアと表示態様に応じて切り出した所定領域の撮像画像を含む第２監視画像を編集し、車両前方以外（車両の進行方向以外）の方向については撮像画像の視点変換画像から編集された第１監視画像を編集し、これら第１監視画像と第２監視画像とを含む監視画像を作成する。図９Ａに本実施形態の画像処理装置４が編集した端末装置１００へ送出する監視画像の一例を示す。進行方向である前方については、視点変換画像から編集された第１監視画像ではなく、撮像画像から編集された第２監視画像Ｒ１Ｂが監視画像に含まれる。

車両が後退する場合も同様に、本実施形態の車載装置２００の画像処理装置４は、車両の進行方向が車両後方であると判断された場合には、その車両の後方の撮像画像から端末装置１００の表示エリアと表示態様に応じて切り出した所定領域の撮像画像を含む第２監視画像を編集し、車両後方以外（車両の進行方向以外）の方向の撮像画像の視点変換画像から編集された第１監視画像を編集し、これら第１監視画像と第２監視画像とを含む監視画像を作成する。

本実施形態において車載装置２００から端末装置１００へ送信される監視画像には、車両の進行方向の撮像画像の視点変換画像から得られた第１監視画像は含まれない。

車載装置２００の通信装置２は、図９Ａに示す、進行方向以外の方向を映す撮像画像から編集された３枚の第１監視画像Ｒ２、Ｒ３、Ｒ４と、進行方向を映す撮像画像から編集された１枚の第２監視画像Ｒ１Ｂを含む監視画像を端末装置１００へ送出する。

端末装置１００の提示装置２０は、車載装置２００から取得した第１監視画像と第２監視画像とを、所定の表示態様で表示エリアＱに提示する。

図９Ｂは、端末装置１００の表示エリアＱが長方形であり、横長の表示エリアＱに本実施形態の監視画像を表示した例である。図９Ｂに示す監視画像は、車両の進行方向が前方である場合の表示例である。図９Ｂに示すように、表示領域Ｑの左側の一部領域には、車両の進行方向以外（前方以外）の撮像画像から視点変換をして編集された第１監視画像Ｒ２，Ｒ３，Ｒ４が車両アイコンＲ０を基準としたそれぞれの位置に配置され、上記第１監視画像が表示されていない表示領域Ｑの右側には、車両の進行方向（前方）の撮像画像から編集された第２監視画像Ｒ１Ｂが表示されている。本実施形態では、第１乃至第３実施形態とは異なり、上空から俯瞰した監視画像は３枚の第１監視画像で構成され、車両の進行方向（前方）の撮像画像から編集された第１監視画像は含まれない。車両前方の様子は、表示領域Ｑの右側に表示した第２監視画像Ｒ１Ｂにより確認することができる。

図９Ｃは、端末装置１００の表示エリアＱが長方形であり、縦長の表示エリアＱに監視画像を表示した例である。図９Ｃに示す監視画像も、車両の進行方向が前方である場合の表示例である。図９Ｃに示すように、表示領域Ｑの上側には、車両の進行方向（前方）の撮像画像から編集された第２監視画像Ｒ１Ｂが表示され、表示領域Ｑの下側には、車両の進行方向以外（前方以外）の撮像画像から視点変換をして編集された第１監視画像Ｒ２，Ｒ３，Ｒ４が車両アイコンＲ０を基準としたそれぞれの位置に配置されている。本実施形態では、第１乃至第３実施形態とは異なり、上空から俯瞰した監視画像は３枚の第１監視画像で構成され、車両の進行方向（前方）の撮像画像から編集された第１監視画像は含まれない。車両前方の様子は、表示領域Ｑの右側に表示した第２監視画像Ｒ１Ｂにより確認することができる。

３枚の第１監視画像Ｒ２，Ｒ３，Ｒ４で車両の俯瞰画像を生成すると、一部の領域（本例では車両の前方（進行方向）の画像）が欠けてしまうものの、その領域の状態については第２監視画像Ｒ１Ｂにより示すことができる。また、車両の進行方向の第１監視画像が車載装置２００から端末装置１００へ送出されないため、車載装置２００と端末装置１００との通信の情報量を低減させることができる。このように、本実施形態の監視画像提示システム１０００は、必要な画像情報を提示しつつ、車載装置２００と端末装置１００との通信の情報量を低減させることができる。

本実施形態の端末装置１００は、同図に示すように一方の対辺が他方の対辺よりも長い長方形の表示エリアＱを備える。本実施形態では、図９Ｂ、図９Ｃに示すように、端末装置１００の表示領域Ｑの向き縦方向又は横方向に応じて表示態様を変更させる。提示装置２０は、表示エリアＱの長手方向が横方向の横置状態である場合と、表示エリアの長手方向が縦方向の縦方向の縦置状態である場合とで画像の提示態様を切り替える画像切り替え機能を有する。

本実施形態の提示装置２０は、表示エリアＱの長手方向を横方向とする横置状態の場合には、取得された第１監視画像Ｒ２，〜Ｒ４を表示エリアＱの横方向の右側又は左側の領域に提示し、取得した第２監視画像Ｒ１Ｂを第１監視画像Ｒ２〜Ｒ４が提示されていない表示エリアＱの左側又は右側の領域に提示する。

本実施形態の提示装置２０は、表示エリアＱの長手方向を縦方向とする縦置状態の場合には、取得された第１監視画像Ｒ２〜Ｒ４を表示エリアＱの縦方向の上側又は下側の領域に提示し、取得した第２監視画像Ｒ１Ｂを第１監視画像Ｒ２〜Ｒ４が提示されていない表示エリアＱの下側又は上側の領域に提示する。

本実施形態では、図９Ｂに示すように、端末装置１００の表示エリアＱが横長である場合に、その長手方向の左右一方側に車両を俯瞰する第１監視画像Ｒ２〜Ｒ４を提示し、左右の他方側に車両の進行方向の第２監視画像Ｒ１Ｂを提示するので、進行方向の状態を示す第２監視画像Ｒ１Ｂを相対的に大きく（広い表示領域）に提示することができる。また、図９Ｃに示すように、端末装置１００の表示エリアＱが縦長である場合に、その長手方向の上下一方側に車両を俯瞰する第１監視画像Ｒ２〜Ｒ４を提示し、上下の他方側に車両の進行方向の第２監視画像Ｒ１Ｂを提示するので、進行方向の状態を示す第２監視画像Ｒ１Ｂを相対的に大きく（広い表示領域）に提示することができる。

特に限定されないが、車両の進行方向が前方である場合には、車両前方の撮像画像から編集された第２監視画像Ｒ１Ｂは、縦置状態の表示エリアＱの縦方向の上側に表示することが好ましい。進行方向が前方であれば車両のアイコンＲ０の上側に車両前方の第２監視画像Ｒ１Ｂが配置され、進行方向が後方であれば車両のアイコンＲ０の下側に車両後方の第２監視画像Ｒ３Ｂが配置されるので、第２監視画像と車両との位置関係を認識しやすい。また、図９Ｃに示すように、第２監視画像Ｒ１Ｂと第１監視画像Ｒ２〜Ｒ４とによって、あたかも上空から車両を俯瞰したような画像を提示できる。同様に、車両の進行方向が後方である場合には、車両後方の撮像画像から編集された第２監視画像Ｒ３Ｂは、縦置状態の表示エリアＱの縦方向の下側に表示することが好ましい。図示はしないが、図９Ｃと同様に、後方の撮像画像から編集された第２監視画像Ｒ３Ｂと、第１監視画像Ｒ１，Ｒ２，Ｒ４とにより、あたかも上空から車両を俯瞰した監視画像を提示できる。

また、本実施形態の提示装置２０は、表示エリアＱの長手方向が横方向の横置状態である場合と、表示エリアＱに提示する画像の向きが縦方向の縦置状態である場合とで、提示する画像の態様を切り替える画像切り替え機能を有する。

具体的に、提示装置２０は、表示エリアＱの長手方向が横方向の状態である場合には、図９Ｃに示すように、車両に対する第１監視画像Ｒ２，Ｒ３，Ｒ４及び／又は第２監視画像Ｒ１Ｂの撮像方向と、表示エリアＱに表示された車両を示すアイコンＲ０に対する位置とが対応するように配置された一纏まりの監視画像を表示する。具体的に、車両右方向の撮像画像から編集された第１監視画像Ｒ４は、車両アイコンＲ０（表示エリアＱの上方向が車両の前方向）の右側に配置され、車両左方向の撮像画像から編集された第１監視画像Ｒ２は、車両アイコンＲ０の左側に配置され、車両後方向の撮像画像から編集された第１監視画像Ｒ３は、車両アイコンＲ０の下側に配置され、車両前方向の撮像画像から編集された第２監視画像Ｒ１Ｂは、車両アイコンＲ０の上側に配置されている。

図９（Ｃ）に示す監視画像は、表示エリアＱに提示される第１監視画像Ｒ２〜Ｒ４と第２監視画像Ｒ１Ｂのすべてが撮像方向（カメラ１の配置位置）に応じた車両アイコンＲ０に対する位置関係が保たれた、纏まりのある画像情報である。図９Ｃに示すように、車両アイコンＲ１は、その車長方向が表示エリアＱの縦方向に沿うように表示する。縦長の車両の周囲を縦長の表示エリアＱの全体を使って、横置状態の表示エリアＱに表示する場合よりも相対的に大きな画像を表示できる。なお、本例では、車両前方の画像が第２監視画像Ｒ１Ｂである例を示しているが、第１乃至第３実施形態のように車両の進行方向の撮像画像から第１監視画像Ｒ１Ａが取得できる場合には、車両アイコンＲ０に対して進行方向に対応する領域に得られた第１監視画像Ｒ１Ａを配置してもよい。

一方、提示装置２０は、表示エリアＱの長手方向が縦方向の状態である場合には、図９Ｂに示すように、車両に対する撮像方向と表示エリアＱに表示された車両を示すアイコンに対する位置とが対応するように第１監視画像Ｒ２，Ｒ３，Ｒ４及び／又は第２監視画像Ｒ１Ｂが配置された一纏まりの監視画像と、車両に対する撮像方向と表示エリアＱに表示された車両を示すアイコンＲ０に対する位置とが対応しない第２監視画像Ｒ１Ｂが配置された監視画像を表示する。具体的に、車両右方向の撮像画像から編集された第１監視画像Ｒ４は、車両アイコンＲ０（表示エリアＱの上方向が車両の前方向）の右側に配置され、車両左方向の撮像画像から編集された第１監視画像Ｒ２は、車両アイコンＲ０の左側に配置され、車両後方向の撮像画像から編集された第１監視画像Ｒ３は、車両アイコンＲ０の下側に配置されている。しかし、車両前方向の撮像画像から編集された第２監視画像Ｒ１Ｂは、車両アイコンＲ０の右側に第１監視画像Ｒ４の隣に配置されている。図９（Ｂ）に示す監視画像は、車両アイコンＲ０に対する位置関係が撮像方向（カメラ１の配置位置）に応じていない第２監視画像Ｒ１Ｂを含む。つまり、表示エリアＱに提示される第１監視画像Ｒ２〜Ｒ４と第２監視画像Ｒ１Ｂのすべてが撮像方向（カメラ１の配置位置）に応じた車両アイコンＲ０に対する位置関係が保たれていない。

本実施形態では、端末装置１００の表示画面Ｑが縦置状態である場合には、自車両に対応する車両アイコンＲ０に対する位置関係が一見で把握できる纏まりのある撮像画像を提示できる。また、端末装置１００の表示画面Ｑが横置状態である場合には、横長の表示エリアＱを左右に分割して、左右何れかの領域に車両の進行方向の第２監視画像を相対的に大きく提示できる。

以下、本発明の第４実施形態の監視画像提示システム１０００の処理手順を説明する。図１０は、本実施形態に係る監視画像提示システム１０００の制御手順を示すフローチャートある。ステップ１０１，１０２，１０３ａ、１０４，１０５ａ及びステップ３０１〜３０３は車載装置２００側の処理であり、ステップ２０１〜２０４は端末装置１００側の処理である。

図１０に示すステップ１０１，１０２，１０３ａ、１０４，１０５ａの処理は図８に示す第１実施形態と基本的に共通するので、図８の説明を援用する。

図１０のステップ３０１〜３０３は、図８のステップ３０１〜３０３と共通するので、図８の説明をここに援用する。

端末装置１００の処理であるステップ２０１において、端末装置１００と車載装置２００との無線通信が確立したら、ステップ２０２において、端末装置１００は車載装置２００が生成した車両の進行方以外の第１監視画像及び車両の進行方向の第２監視画像を取得する。ステップ２０３において、端末装置１００は、ディスプレイの表示エリアＱの表示態様に関する表示情報２１を参照する。ステップ２０４において、端末装置１００は、車載装置２００から取得した車両進行以外の方向の撮像画像の視点変換画像から編集された第１監視画像Ｒ２，Ｒ３，Ｒ４と、車両の進行方向の撮像画像から編集した第２監視画像Ｒ１Ｂを、図９Ｂ、図９Ｃに示すように所定の表示態様で表示エリアＱに提示する。車両の進行方向の第２監視画像Ｒ１Ｂは、車両のアイコンＲ０に対して車両の進行方向側に配置する。

以上のとおり構成され、動作する本発明の第３実施形態に係る端末装置１００、監視画像提示システム１０００は、以下の効果を奏する。

［４−１］本実施形態の監視画像提示システム１０００によれば、車両の左右前後の画像情報を提示しつつ、車載装置２００と端末装置１００との通信の情報量を低減させることができる。
［４−２］本実施形態の監視画像提示システム１０００によれば、端末装置１００の表示エリアＱが横長である場合に、その長手方向の左右一方側に車両を俯瞰する第１監視画像Ｒ２〜Ｒ４を提示し、左右の他方側に車両の進行方向の第２監視画像Ｒ１Ｂを提示するので、進行方向の状態を示す第２監視画像Ｒ１Ｂを相対的に大きく（広い表示領域）に提示することができる。
［４−３］本実施形態の監視画像提示システム１０００によれば、進行方向が前方であれば車両のアイコンＲ０の上側に車両前方の第２監視画像Ｒ１Ｂが配置され、進行方向が後方であれば車両のアイコンＲ０の下側に車両後方の第２監視画像Ｒ３Ｂが配置されるので、第２監視画像と車両との位置関係を認識しやすくできる。車両の進行方向の第２監視画像と車両の進行方向以外の第１監視画像とによって、あたかも上空から車両を俯瞰したような画像を提示できる。
［４−４］本実施形態の監視画像提示システム１０００によれば、端末装置１００の表示画面Ｑが縦置状態である場合には、自車両に対応する車両アイコンＲ０に対する位置関係が一見で把握できる纏まりのある撮像画像を提示で、端末装置１００の表示画面Ｑが横置状態である場合には、横長の表示エリアＱを左右に分割して、左右何れかの領域に車両の進行方向の第２監視画像を相対的に大きく提示できる。

なお、以上説明したすべての実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。

本明細書では、本発明に係る監視画像提示システムの一態様として、端末装置１００と、車載装置２００と、サーバ３００とを有する監視画像提示システム１０００を説明するが、これに限定されるものではない。本発明に係る端末装置の一態様として、通信装置１０と提示装置２０を備える端末装置１００を説明するが、これに限定されるものではない。本発明に係る車載装置の一態様として、カメラ１と、通信装置２と車両コントローラ３と、画像処理装置４とを備える車載装置２００を説明するが、これに限定されるものではない。本発明に係るサーバの一態様として、記憶装置３１０と、通信装置３２０とを備えるサーバ３００を説明するが、これに限定されるものではない。

本発明に係る視点変換画像生成手段と、監視画像編集手段とを有する車載装置の一態様として、視点変換画像生成機能と、監視画像編集機能とを実行する車載装置２００を説明するが、これに限定されるものではない。

本発明に係る画像取得手段と、提示手段とを備える端末装置の一態様として、通信装置１０と、提示装置２０とを備える端末装置１００を説明するがこれに限定されるものではない。

１０００…監視画像提示システム
１００…端末装置
１０…通信装置
２０…提示装置
２１…表示情報
２２…画像処理機能
２００…車載装置
１，１ａ〜１ｄ…カメラ
２…通信装置
３…車両コントローラ
４…画像処理装置

Claims (10)

1. 車両の異なる位置に設けられた複数のカメラを有する車載装置と、前記車載装置と無線通信が可能な携帯型の端末装置と、前記車載装置と情報の授受が可能な外部のサーバとを備える監視画像提示システムにおいて、
   前記車載装置は、
   前記カメラにより撮像された車両の周辺の撮像画像を、前記車両に応じた撮像パラメータを用いて、前記車両の上空の所定の視点から見下ろす投影面に座標変換した視点変換画像を生成する視点変換画像生成手段と、
   前記視点変換画像から前記端末装置の表示エリアと所定の表示態様に応じて所定領域の画像を切り出して第１監視画像を編集する監視画像編集手段と、
   前記第１監視画像を前記端末装置へ送出する通信手段と、を備え、
   前記端末装置は、
   前記第１監視画像を取得する画像取得手段と、
   前記第１監視画像を前記所定の表示態様で前記表示エリアに提示する提示手段と、を有し、
   前記サーバは、前記車両の種別に応じた識別情報と、前記車両の長さ、前記車両の幅の長さ、前記カメラの位置、又は前記カメラのレンズデータの少なくとも一つ以上を含む撮像パラメータとを対応づけた変換情報を読み出し可能な状態で記憶し、
   前記視点変換画像生成手段は、前記通信手段を介して前記変換情報にアクセスし、前記車両の車種に応じた撮像パラメータを取得する監視画像提示システム。
2. 前記車載装置は、前記車両の進行方向を判断する進行方向判断手段をさらに備え、
   前記車載装置の前記監視画像編集手段は、判断された前記車両の進行方向の撮像画像から前記端末装置の前記表示エリアと前記所定の表示態様に応じて切り出した所定領域の撮像画像を含む第２監視画像をさらに編集し
   前記通信手段は、前記第１監視画像と前記第２監視画像とを含む監視画像を前記端末装置へ送出し、
   前記端末装置の前記画像取得手段は、前記第１監視画像と前記第２監視画像とを含む監視画像を取得し、
   前記提示手段は、前記第１監視画像と前記第２監視画像とを含む監視画像を前記所定の表示態様で前記表示エリアに提示することを特徴とする請求項１に記載の監視画像提示システム。
3. 車両の異なる位置に設けられた複数のカメラを有する車載装置と、前記車載装置と無線通信が可能な携帯型の端末装置とを備える監視画像提示システムにおいて、
   前記車載装置は、
   前記カメラにより撮像された前記車両の周辺の撮像画像を、前記車両に応じた撮像パラメータを用いて、前記車両の上空の所定の視点から見下ろす投影面に座標変換した視点変換画像を生成する視点変換画像生成手段と、
   前記視点変換画像から前記端末装置の表示エリアと所定の表示態様に応じて所定領域の画像を切り出して第１監視画像を編集する監視画像編集手段と、
   前記第１監視画像を前記端末装置へ送出する通信手段と、を備え、
   前記端末装置は、
   前記第１監視画像を取得する画像取得手段と、
   前記第１監視画像を前記所定の表示態様で前記表示エリアに提示する提示手段と、を有し、
   前記車載装置は、前記車両の進行方向を判断する進行方向判断手段をさらに備え、
   前記車載装置の前記監視画像編集手段は、前記判断された前記車両の進行方向の撮像画像から前記端末装置の前記表示エリアと前記所定の表示態様に応じて切り出した所定領域の撮像画像を含む第２監視画像をさらに編集し
   前記通信手段は、前記第１監視画像と前記第２監視画像とを含む監視画像を前記端末装置へ送出し、
   前記端末装置の前記画像取得手段は、前記第１監視画像と前記第２監視画像とを含む監視画像を取得し、
   前記提示手段は、前記第１監視画像と前記第２監視画像とを含む監視画像を前記所定の表示態様で前記表示エリアに提示する監視画像提示システム。
4. 前記監視画像編集手段は、前記車両の進行方向の前記視点変換画像から編集された前記第１監視画像と、前記車両の進行方向の撮像画像から編集された前記第２監視画像とを含む一つの矩形の監視画像であって、当該監視画像の面積が最小となるように前記第１監視画像と前記第２監視画像とが配置された前記監視画像を編集することを特徴とする請求項2又は３に記載の監視画像提示システム。
5. 前記車載装置の前記監視画像編集手段は、
   前記車両の進行方向の撮像画像から前記端末装置の前記表示エリアと前記所定の表示態様に応じて切り出した所定領域の撮像画像を含む前記第２監視画像と、前記車両の進行方向以外の方向の撮像画像の前記視点変換画像から編集された前記第１監視画像とを編集し、
   前記端末装置は、前記取得した前記第２監視画像から、前記車両に応じた撮像パラメータを用いて、前記車両の上空の前記所定の視点から見下ろす投影面に座標変換した前記視点変換画像を生成する端末装置側の前記視点変換画像生成手段をさらに備え、
   前記提示手段は、前記端末装置側の前記視点変換画像生成手段により生成された前記視点変換画像を、前記画像取得手段により取得された前記車両の前方以外の方向の撮像画像の前記視点変換画像から編集された前記第１監視画像に組み込んで、前記所定の表示態様で前記表示エリアに提示するとともに、前記取得した前記第２監視画像を、前記所定の表示態様で前記表示エリアに提示することを特徴とする請求項2又は３に記載の監視画像提示システム。
6. 前記車載装置の前記監視画像編集手段は、前記車両の進行方向の撮像画像から前記端末装置の前記表示エリアと前記所定の表示態様に応じて切り出した所定領域の撮像画像を含む前記第２監視画像と、前記車両の進行方向以外の方向の撮像画像の前記視点変換画像から編集された前記第１監視画像とを編集し、
   前記端末装置の前記提示手段は、前記車載装置から取得した前記第１監視画像と前記第２監視画像とを、前記所定の表示態様で前記表示エリアに提示することを特徴とする請求項2又は３に記載の監視画像提示システム。
7. 前記端末装置の前記提示手段の前記表示エリアは長方形であり、
   前記端末装置の前記提示手段は、前記表示エリアの長手方向が横方向の横置状態である場合には、前記取得された前記第１監視画像を前記表示エリアの右側又は左側の一部領域に提示し、前記第１監視画像が提示されていない前記表示エリアの他の右側又は左側の領域に、前記取得した前記第２監視画像を提示することを特徴とする請求項６に記載の監視画像提示システム。
8. 前記端末装置の前記提示手段の前記表示エリアは長方形であり、
   前記端末装置の前記提示手段は、前記表示エリアの長手方向が縦方向の縦置状態である場合において、
   前記取得した前記第２監視画像が前記車両の前方の撮像画像から編集されたものである場合には、前記第２監視画像を、前記表示エリアの上側の一部領域に提示するとともに、前記第２監視画像が表示されていない前記表示エリアの下側の領域に前記第１監視画像を提示し、
   前記取得した前記第２監視画像が前記車両の後方の撮像画像から編集されたものである場合には、前記第２監視画像を、前記表示エリアの下側の一部領域に提示するとともに、前記第２監視画像が表示されていない前記表示エリアの上側の領域に前記第１監視画像を提示することを特徴とする請求項６に記載の監視画像提示システム。
9. 前記端末装置の前記提示手段は、前記表示エリアの長手方向が横方向の横置状態である場合と、前記表示エリアの長手方向が縦方向の縦方向の縦置状態である場合とで画像の提示態様を切り替える画像切り替え機能を有し、
   前記画像切り替え機能は、
   前記端末装置が前記縦置状態である場合には、前記車両に対する前記第１監視画像及び／又は前記第２監視画像の撮像方向と、前記表示エリアの長手方向に車長方向が沿うように表示された前記車両を示す車両アイコンに対する配置方向とが対応する一纏まりの前記監視画像を表示し、
   前記端末装置が前記横置状態である場合には、前記車両に対する前記第１監視画像及び／又は前記第２監視画像の撮像方向と、前記表示エリアの短手方向に車長方向が沿うように表示された前記車両を示す車両アイコンに対する配置位置とが対応する一纏まりの前記監視画像と、前記車両に対する撮像方向と前記車両アイコンに対する前記第１監視画像及び／又は前記第２監視画像の配置方向とが対応しない前記第２監視画像とを、前記表示エリアの長手方向に沿って左右に並べて表示することを特徴とする請求項２〜６の何れか一項に記載の監視画像提示システム。
10. 前記端末装置の前記提示手段は、前記車両の右側の撮像画像から編集された右側の前記第１監視画像と、前記車両の左側の撮像画像から編集された左側の前記第１監視画像との間に、前記所定の視点から見下ろした前記車両を示すアイコンを表示することを特徴とする請求項１〜８の何れか一項に記載の監視画像提示システム。