WO2021070214A1

WO2021070214A1 - 送信方法、送信システム及びシステム制御装置

Info

Publication number: WO2021070214A1
Application number: PCT/JP2019/039446
Authority: WO
Inventors: 悠介篠原; 孝法岩井; 勇人逸身; フロリアンバイエ
Original assignee: 日本電気株式会社
Priority date: 2019-10-07
Filing date: 2019-10-07
Publication date: 2021-04-15
Also published as: US20220368860A1; JPWO2021070214A1

Abstract

ロスや遅延を抑制しつつ、遠隔運転に適した高品質な映像を送信可能な送信方法、送信システム及びシステム制御装置を提供する。送信方法は、車両（５）に搭載された複数台のカメラ（１０）が撮影した画像を、ネットワーク（３０）を介して送信する送信方法であって、ネットワークの使用可能帯域を推定する帯域推定ステップ（Ｓ１１）と、使用可能帯域とカメラ毎の重要度に応じて、カメラ毎に帯域を割り当てるカメラ帯域割当ステップ（Ｓ１２）と、を含む。

Description

送信方法、送信システム及びシステム制御装置

　本開示は、送信方法、送信システム及びシステム制御装置に関する。

　携帯電話網経由での車両遠隔監視・制御では可用帯域が変動することから帯域不足による映像品質悪化が懸念される。これまでに、予測した通信スループットにあわせて送信する動画像のビットレートを動的に調整する手法が提案されている。しかし、一律に動画像の画質を調整するため、やはり帯域低下時に遠隔監視・制御に必要な情報を提供できない恐れがある。そこで、運転上重要なカメラ映像・領域のみを高画質化して送信することにより必要な情報を提供する方法が期待される。

　非特許文献１には、視聴者が見ていない領域を低画質化し、人間が自然に注視する視覚的に顕著な領域を重要領域として高画質化する技術が開示されている。重要領域の選択方法としては、輝度、色相成分、エッジの向きから算出する顕著性マップ算出アルゴリズムがある。これにより限られた帯域でも高QoEな映像の配信が可能である。

Wei Huang "QoE-Oriented Resource Allocation for 360-degree Video Transmission over Heterogeneous Networks"

　こうした技術を遠隔運転に適用することで、人間が注視しやすい重要領域を高画質で送信することで、高ＱｏＥ（quality of experience）な映像を配信することができる。しかしながら、この技術は、遠隔運転に適したものではない。すなわち、顕著性が低くても、遠隔運転者にとって重要であるものがあるし、顕著性が高くても、遠隔運転者にとって重要でないものもある。そのため、依然として、不必要なロスや遅延が発生する場合がある。

　本発明は、このような問題点を解決するためになされたものであり、ロスや遅延を抑制しつつ、遠隔運転に適した高品質な映像を送信可能な送信方法、送信システム及びシステム制御装置を提供することを目的とする。

　本開示の第１の態様にかかる送信方法は、車両に搭載された複数台のカメラが撮影した画像を、ネットワークを介して送信する送信方法であって、
　前記ネットワークで使用可能な帯域である使用可能帯域を推定する帯域推定ステップと、
　前記使用可能帯域とカメラ毎の重要度に応じて、カメラ毎に帯域を割り当てるカメラ帯域割当ステップと、
を含む。

　本開示の第２の態様にかかる送信システムは、
　車両に搭載された複数台のカメラが撮影した画像を、ネットワークを介して送信する送信システムであって、
　前記ネットワークで使用可能帯域を推定する帯域推定部と、
　前記使用可能帯域とカメラ毎の重要度に応じて、カメラ毎に帯域を割り当てるカメラ帯域割当部と、
を備える。

　本開示の第３の態様にかかるシステム制御装置は、
　車両に搭載された複数台のカメラが撮影した画像を送信するために、ネットワークで使用可能な帯域である使用可能帯域を推定する帯域推定部と、
　前記使用可能帯域とカメラ毎の重要度に応じて、カメラ毎に帯域を割り当てるカメラ帯域割当部と、
を備える。

　本開示により、ロスや遅延を抑制しつつ、遠隔運転に適した高品質な映像を送信可能な送信方法、送信システム及びシステム制御装置を提供することができる。

遠隔監視運転システムの概要を説明する概略図である。モバイル網経由での遠隔監視システムにおける帯域不足を説明する図である。実施の形態１にかかる送信システムでの構成を示すブロック図である。実施の形態１にかかる送信システムの動作を示すフローチャートである。実施の形態２にかかる送信システムでの構成を示すブロック図である。実施の形態２にかかる送信システムの動作を示すフローチャートである。実施の形態３にかかる送信システムでの構成を示すブロック図である。各カメラが撮影した映像の一例を用いて、対象物検出処理および対象物状態推定処理を説明する図である。各カメラが撮影した映像の一例を用いて、対象物重要度特定処理を説明する図である。距離閾値テーブルの一例を示す。対象物重要度テーブルの一例を示す。各カメラが撮影した映像の一例を用いて、カメラ重要度特定処理を説明する図である。非注意領域重要度テーブルの一例を示す。各カメラが撮影した映像の一例を用いて、使用可能帯域推定処理及びカメラ帯域割当処理を説明する図である。各カメラが撮影した映像の一例を用いて、検出対象物帯域割当処理を説明する図である。実施の形態４にかかる送信システムの構成を示すブロック図である。実施の形態４にかかる送信システムの動作を示すフローチャートである。各カメラが撮影した映像の一例を用いて、対象物フィルタアウト処理を説明する図である。ビットレート変換式テーブルの一例を示す。各カメラが撮影した映像の一例を用いて、ＲＯＩ領域サイズ決定処理を説明する図である。ＲＯＩ領域サイズ比率テーブルの一例を示す。送信領域決定処理を説明する図である。送信領域決定処理を説明する図である。送信領域決定処理を説明する図である。送信領域決定処理を説明する図である。本実施形態における情報処理装置のハードウェア構成例を示すブロック図である。

　図１を参照して遠隔監視運転システムの概要を説明する。

　遠隔監視運転システムは、遠隔監視センタから、運転手を必要としない車両５を遠隔操作する。無人運転車両５を遠隔操作する方式としては、車両５に搭載された複数台の車載カメラ１０Ａ～１０Ｄで撮影された映像を、無線通信ネットワークおよびインターネットを介して地上監視制御装置４００に送信する。遠隔運転者３が、受信した映像をモニター上で見ながら遠隔操作する。車両５に搭載された遠隔運転制御装置は、携帯電話網を使用した通信方式（例えば、ＬＴＥ、５Ｇ）を利用して地上監視遠隔制御装置４００と双方向通信を行う。なお、遠隔監視運転システムは、遠隔監視下にある車両が走行中に、車両の危険を察知した際に、遠隔制御や自動制御に切り替えるものであってもよい。すなわち、人が運転している車両を一次的にこうした制御に切り替えるものであってもよく、車両に運転手がいてもよい。

　車載カメラ１０Ａは車両の前方を撮影し、車載カメラ１０Ｂは車両の後方を撮影し、車載カメラ１０Ｃは車両の右方を撮影し、車載カメラ１０Ｄは車両の左方を撮影する。なお車載カメラの数は、これに限定されず、５個以上であってもよい。また、各カメラの性能は、基本的には同一であるが、若干異なっていてもよい。なお、タクシーなどの通常の運転手は、第二種免許が要求され、それには、視力０．８以上の人が見える範囲の対象物（物体とも呼ばれる）を認識できることが要求されている。そのため、遠隔運転者に提供される映像も、視力０．８以上の人が見える範囲の対象物を認識できる（例えば一般道の道路標識の場合は、運転手が１０．６６ｍの距離離れて標識を認識できる）ものであることが望ましい。遠隔運転者は、対象物だけでなく、対象物の周辺情報も視認する必要があり、こうした周辺情報も比較的高品質な映像として、遠隔運転者に送信することが望ましい。

　図２は、モバイル網経由での遠隔監視システムにおける帯域不足を説明する図である。
図２に示すように、各カメラ１０Ａ～１０Ｄで撮影された各映像は、携帯電話網を介して一律に送信される。しかし、携帯電話網では、使用可能な帯域（以降、使用可能帯域と記載することもある）が変動し得るため、帯域不足により映像品質が悪化する場合がある。映像が通信帯域以上のビットレートで送信された場合には、通信ネットワークにおいて、ロスや遅延が発生し得る。本発明はこのような問題を解決するものである。すなわち、本発明は、車載カメラが撮影した画像から、遠隔運転者が注視すべき画像領域を決定する機能と、複数台のカメラのうち、重要なカメラを決定するとともに、カメラ画像の中から、遠隔運転に重要な領域を自動的に抽出する機能を有する。また、本システムでは、車載計算機資源には制限があるため、計算機資源が潤沢な遠隔運転者側の計算機との連携が必要となり得る。

　そこで、本発明では、検出対象物と車との距離を推定し、対象物毎の重要度を決定し、重要度の高い対象物のある領域を優先的に高精細化して、遠隔運転者側の遠隔制御装置に送信する。重要度は対象物（物体）の種別や車両から対象物までの距離から算出する。物体種別毎に画像内での位置・サイズに対する実際の距離および向きを事前に学習しておき、システム実施時に、画像から、対象物までの距離および対象物の向きを推定する。各カメラが撮影した画像内の対象物全ての重要度合計値が高いカメラに対して使用可能帯域を多く配分する。カメラ毎に注視する必要のある対象物は異なり、カメラの優先度も異なるためカメラ毎に物体種別毎に距離および向きに対する重要度を設定しておく。

　具体的には、本システムにより実施される方法は、事前作業（学習）と、システム実施時の工程を含む。事前作業としては、各カメラが撮影した画像内位置・サイズに対する車からの距離を計測し学習し、カメラおよび物体の種別毎に車からの距離に対する重要度を設定しておく。また、システム実施時は、各カメラで撮影した画像中の物体を認識し、物体の画像内位置、サイズ、物体の種別を取得する。また、事前に設定したカメラおよび物体種別毎に車からの距離、向きに対する重要度と、認識物体の位置、サイズ、種別から重要度を特定する。さらに、カメラ毎に撮影された物体の重要度合計値を算出し使用可能帯域から各カメラに対して重要度に応じて帯域を配分する。各カメラ内で物体が存在する領域に対して配分された帯域と物体の重要度から領域に帯域を配分する。こうすることで、限られた帯域でも遠隔運転者が運転に影響を与える物体を認識できる確率を高めることができる。以下、図面を参照して本発明の実施の形態について説明する。

　（実施の形態１）
　図３は、実施の形態１にかかる送信システムでの構成を示すブロック図である。実施の形態１にかかる送信システムは、図３に示すように、帯域推定部１１と、カメラ帯域割当部１２と、を備える情報処理装置１００（ハードウェア構成については、図２６を用いて後述）を含む。送信システムは、車両に搭載された複数台のカメラが撮影した画像を、ネットワークを介して送信する送信システムであって、ネットワークの使用可能帯域を推定する帯域推定部１１と、使用可能帯域とカメラ毎の重要度に応じて、カメラ毎に帯域を割り当てるカメラ帯域割当部１２と、を備える。なお、情報処理装置１００は、システム制御装置と呼ばれ得る。

　図４は、実施の形態１にかかる送信システムの動作を示すフローチャートである。本実施の形態にかかる送信方法は、図４に示すように、車両に搭載された複数台のカメラが撮影した画像を、ネットワークを介して送信する送信方法であって、ネットワークの使用可能帯域を推定する帯域推定ステップ（ステップＳ１１）と、使用可能帯域とカメラ毎の重要度に応じて、カメラ毎に帯域を割り当てるカメラ帯域割当ステップ（ステップＳ１２）と、を含む。

　以上説明した実施の形態１によれば、カメラ毎の重要度に応じて、帯域を割り当てることで、ロスや遅延を抑制しつつ、遠隔運転に適した高品質な映像を送信可能な送信方法、送信システムを提供することができる。

　（実施の形態２）
　図５は、実施の形態２にかかる送信システム１の構成を示すブロック図である。図６は、実施の形態２にかかる送信システムの動作を示すフローチャートである。
　送信システム１は、車両に搭載された複数台のカメラ１０Ａ～１０Ｄが撮影した画像を動画像に符号化し送信するものである。送信システム１は、車載カメラ１０が撮影した画像を解析し、解析結果に基づき通信帯域を管理し、ネットワーク３０を介して映像データを送信する情報処理装置１００を備える。映像データは、遠隔監視センタにある、投影システム４０に投影されて、遠隔運転者に提示される。なお、本実施の形態では、物理的に単一の情報処理装置１００が、複数台のカメラに対して統括的に処理するように構成する。図２６は、情報処理装置１００（又は１０、２００）のハードウェア構成例を示すブロック図である。図２６に示すように、本実施形態の情報処理装置１００（又は１０、２００）は、ＣＰＵ（Central Processing Unit）４０１、ＲＡＭ（Random access memory）４０２、ＲＯＭ（Read Only Memory）４０３などを有するコンピュータである。ＣＰＵ４０１は、ＲＡＭ４０２、ＲＯＭ４０３、または、ハードディスク４０４に格納されたソフトウェアに従い演算および制御を行う。ＲＡＭ４０２は、ＣＰＵ４０１が各種処理を実行する際の一時記憶領域として使用される。ハードディスク４０４には、オペレーティングシステム（ＯＳ）や、後述の登録プログラムなどが記憶される。ディスプレイ４０５は、液晶ディスプレイとグラフィックコントローラとから構成され、ディスプレイ４０５には、画像やアイコンなどのオブジェクト、および、ＧＵＩなどが表示される。入力部４０６は、ユーザが端末装置に各種指示を与えるための装置であり、例えばマウスやキーボードによって構成される。Ｉ／Ｆ（インターフェース）部４０７は、ＩＥＥＥ８０２．１１ａなどの規格に対応した無線ＬＡＮ通信や有線ＬＡＮ通信を制御することができ、ＴＣＰ／ＩＰなどのプロトコルに基づき同一通信ネットワークおよびインターネットを介して外部機器と通信する。システムバス４０８は、ＣＰＵ４０１、ＲＡＭ４０２、ＲＯＭ４０３、および、ハードディスク４０４などとのデータのやり取りを制御する。制御部は、細分化された処理のそれぞれを実行する機能演算部としての機能も担う。

　図５に示すように、情報処理装置１００は、帯域推定部１１、カメラ帯域割当部１２、対象物検出部１０１、対象物状態推定部１０２、対象物重要度特定部１０８、カメラ重要度特定部１０３、領域帯域割当部１０４、符号化部１０５、及び送信部１０６を備える。

　図６を参照して、本実施の形態にかかる送信方法を説明する。図６のフローチャートは、実行の具体的な順番を示しているが、実行の順番は描かれている形態と異なっていてもよい。例えば、２つ以上のステップの実行の順番は、示された順番に対して入れ替えられてもよい。また、図６の中で連続して示された２つ以上のステップは、同時に、または部分的に同時に実行されてもよい。さらに、いくつかの実施形態では、図６に示された１つまたは複数のステップがスキップまたは省略されてもよい。

　対象物検出部１０１は、複数台のカメラで撮影した画像から目的の対象物を検出して、対象物の種別、画像内での対象物の位置、及び画像内での対象物の大きさを取得する（ステップＳ１）。対象物状態推定部１０２は、検出された対象物の種別、画像内での対象物の位置、及び画像内での対象物の大きさから、車両から対象物までの距離を推定する（ステップＳ２）。対象物重要度特定部１０８は、対象物種別及び車両（車載カメラ）からの距離に対する重要度を、カメラ毎に関連付けて管理し、それに基づいて検出対象物の重要度を特定する（ステップＳ３）。カメラ重要度特定部１０３は、カメラ毎に検出された検出対象物の重要度の合計値から、カメラ毎の重要度を特定する（ステップＳ４）。

　帯域推定部１１は使用可能帯域を推定する（ステップＳ５）。携帯電話網では、使用可能帯域が常時変動するため、帯域推定部１１は、所定周期（例えば、１秒毎）で使用可能帯域を推定する。カメラ帯域割当部１２は、推定された使用可能帯域とカメラ毎の重要度に応じて、カメラ毎に帯域を割り当てる（ステップＳ６）。領域帯域割当部１０４は、カメラ毎に割り当てられた帯域（カメラ帯域とも呼ばれる場合がある）と対象物の重要度に応じて検出された対象物を撮影した領域の動画像の送信にかかる帯域を割り当てる（ステップＳ７）。符号化部１０５は、割当帯域にしたがって動画像に符号化する。送信部１０６を符号化された動画像を送信する（ステップＳ８）。

　以上説明した本実施の形態にかかる送信方法および送信システム１は、ロスや遅延を抑制しつつ、遠隔運転に適した高品質な映像を送信することができる。

　（実施の形態３）
　図７は、実施の形態３にかかる送信システム１の構成を示すブロック図である。図７では、実施の形態２と同一の構成要素は、図５と同一の符号を付し、適宜説明を省略する。本実施の形態は、実施の形態２の動作をより詳細に規定するものであるが、実施の形態２のフローチャートである図６を参照して、以下に説明する。

　本システムでは、図７に示すように、複数の情報処理装置１００Ａ～１００Ｄが、各車載カメラ１０Ａ～１０Ｄに対応して設けられている。このように、本システムは、複数の情報処理装置１００Ａ～１００Ｄを有し、複数台のカメラからの映像を分散的に処理するように構成される。さらに、本システムは、使用可能な帯域を推定する帯域推定部１１と、推定された使用可能帯域およびカメラ毎のカメラの重要度に基づいて各カメラに帯域を割り当てるカメラ帯域割当部１２とを含む情報処理装置１０を統括的に備える。更に、本実施の形態では、車両が前進中か、後進中か、左折中か、それとも右折中か等の車両状態を検出する車両状態検出部２３が統括的に情報処理装置１０に追加されている。車両状態検出部２３は、例えば、各カメラが撮影した映像に基づき、車両状態を推定してもよいし、車載ネットワークCAN（Controller Area Network）を通じて、車両状態を検出してもよい。あるいは、車両状態検出部１３は、車両のギアがどこに入っているか（ドライブ又はリバース等）やセンサで判定することもできる。

　なお、本システムは、情報処理装置１０を統括的に備える構成としたが、これに限定されず、帯域推定部１１、カメラ帯域割当部１２、車両状態検出部１３も、各情報処理装置１００Ａ～１００Ｄに分散して構成してもよい。

　図８を参照して、本実施の形態にかかる対象物検出部１０１および対象物状態推定部１０２の動作を詳細に説明する。
　図８は、各カメラが撮影した映像の一例を用いて、対象物検出処理（ステップＳ１）および対象物状態推定処理（ステップＳ２）を説明する図である。なお、こうした映像は、図１で示した地上監視遠隔制御装置４００において、遠隔運転者３が閲覧するモニターに表示されてもよいし、車両５に搭載したモニターに表示してもよい。

　前方車載カメラ１０Ａが撮影した映像は、前方領域映像ＦＡとして示されている。後方車載カメラ１０Ｂが撮影した映像は、後方領域映像ＢＡとして示されている。右方車載カメラ１０Ｃが撮影した映像は、右方領域映像ＲＡとして示されている。左方車載カメラ１０Ｄが撮影した映像は、左方領域映像ＬＡとして示されている。

　まず、対象物検出部１０１は、各カメラが撮影した画像データに対して、信号機、道路標識、人、車、バス、トラック、バイク、及び自転車などの対象物を検出する（ステップＳ１）。対象物検出部１０１は、深層学習による対象物の検出を行うことができ、事前にこれらの画像を学習したモデルを活用することができる。

　図８に示すように、前方領域映像ＦＡには、対象物を囲う３つの注視領域が検出される。すなわち、前方領域注視領域ＦＡＦ１には、対向車が検出され、前方領域注視領域ＦＡＦ２には、人が検出され、前方領域注視領域ＦＡＦ３には、信号機が検出されている。

　また、後方領域映像ＢＡには、２つの注視領域が検出される。すなわち、後方領域注視領域ＢＡＦ１には、後続車が検出され、後方領域注視領域ＢＡＦ２には、信号機が検出されている。さらに、右方領域映像ＲＡには、１つの注視領域が検出される。すなわち、右方領域注視領域ＢＡＦ１には、バスが検出されている。一方、左方領域映像ＬＡには、注視領域として検出されるものはない。これら注視領域として検出される対象物は、遠隔運転者にとって注視すべきものである。これら注視領域以外の領域は、非注視領域と呼ばれ、遠隔運転者にとって重要でないもの（例えば、空中を飛んでいるヘリコプター、道路脇に並ぶ店舗や家、ビル、塔など）を含む領域である。

　次に、対象物状態推定部１０２は、対象物検出部１０１による検出結果を用い、自車両（車載カメラ）からの検出対象物までの距離を推定する（ステップＳ２）。車載カメラは、車両に固定されており、映像に映る範囲（画角）も固定されているので、対象物状態推定部１０２は、画像内での位置および大きさ(形状)に基づいて、対象物までの距離を推定することができる。また、対象物状態推定部１０２は、深層学習による距離および向きを推定してもよい。すなわち、事前にこれらの対象物の画像を検出した結果とそれに対する車の距離や、車に対する向きを学習しておいてもよい。さらに、カメラ毎に対象物の見え方（画角）が異なることから、精度向上のためカメラ毎に学習モデルを構築することが望ましい。すなわち、対象物状態推定部１０２Ａ～１０２Ｄはそれぞれ、異なる学習モデルを用いる。こうした学習モデルは、対象物状態推定部１０２Ａ～１０２Ｄ内部の記憶部に記憶されていても良いし、あるいは、対象物状態推定部１０２Ａ～１０２Ｄとネットワークを介して接続された外部記憶部に記憶されていても良い。あるいは、カメラ毎に構築された学習モデルは、本システムを統括的に管理する情報処理装置の記憶部に格納されてもよい。

　こうして、対象物状態推定部１０２Ａ～１０２Ｄは、車載カメラ１０Ａ～１０Ｄから対象物までの距離を推定する。例えば、図８に示すように、前方領域注視領域ＦＡＦ１の対向車は車載カメラ１０Ａから８ｍにあり、前方領域注視領域ＦＡＦ２の人は車載カメラ１０Ａから１０ｍにあり、前方領域注視領域ＦＡＦ３の信号機は車載カメラ１０Ａから１４ｍにある。後方領域注視領域ＢＡＦ１の後続車は車載カメラ１０Ｄから５ｍにあり、後方領域注視領域ＢＡＦ２の信号機は車載カメラ１０Ｄから１５ｍにある。さらに、右方領域注視領域ＢＡＦ１のバスは車載カメラ１０Ｃから４ｍにある。なお、本図の中に記載している対象物名（ＢＡＦ１等）や、距離（４ｍ）、割り当て帯域（０．４Ｍｂｐｓ）等は、モニター等に表示される映像上に表示しても良いし、表示しなくても良い。

　次に、図９～図１１を参照して対象物重要度特定処理（ステップＳ３）を説明する。
　図９は、各カメラが撮影した映像の一例を用いて、対象物重要度特定処理を説明する図である。なお、図９の映像は、図８の映像と同一である。

　カメラ毎に検出された対象物の重要度が異なる（例えば、車両の前方の信号機は重要であるが、車両の後方の信号機は重要性が低い）ので、対象物重要度特定部１０８Ａ～１０８Ｄは、それぞれ異なる距離閾値テーブルおよび対象物重要度テーブルを管理する。図１０は、対象物重要度特定部１０８Ａが管理する距離閾値テーブルの一例を示す。図１１は、対象物重要度特定部１０８Ａが管理する対象物重要度テーブルの一例を示す。なお、上記した距離閾値テーブルおよび対象物重要度テーブルは、車両が前進している場合のものであり、車両が後進中、左折中、右折中など、車両の状態に応じて、これらのテーブルは異なってもよい。すなわち、対象物重要度特定部１０８は、車両状態検出部２３により検出された車両状態に応じて、距離閾値テーブルおよび対象物重要度テーブルを変更してもよい。

　対象物重要度特定部１０８は、対象物状態推定部１０２により推定された、車両と対象物までの距離だけでなく、対象物の向き（すなわち、対象物が車の場合、対向車、先行車、右側又は左側からの侵入車）に応じて、距離閾値テーブルおよび対象物重要度テーブルを変更してもよい。

　また、検出すべき対象物は、固定物（例えば、信号機）と移動体（例えば、車、人）を含む。対象物が移動体の場合は、対象物の時系列での予測位置（＝動き）を保持し、移動速度に応じて領域サイズを拡大縮小し、高確率に対象物がある領域を取得してもよい。すなわち、移動速度が増大するにつれて対象物を囲う領域サイズを拡大してもよい。さらに、対象物位置予測部より対象物予測位置に加え予測誤差または確信度(confidence)または確率分布を出力し領域サイズを拡大縮小し高確率に対象物がある領域を取得してもよい。

　図１０および図１１に示すように、対象物の種別毎に決められた距離以内の対象物に対して、固定的に重要度が決められている。例えば、車両の前方１５ｍ以内の信号機は、１０ｍ以内の人、１０ｍ以内の車は重要と設定されている。また、車両の後方５ｍ以内の車は、重要であると設定されている。また、車両の左側および右側１０ｍ以内の信号機、５ｍ以内の人、３ｍ以内の車は、重要であると設定されている。

　重要度特定処理は、距離閾値テーブル（図１０）を参照し閾値より近い対象物を重要対象物とみなし、その重要対象物に対し、対象物重要度テーブル（図１１）に記載の重要度を割り当てることによって行われる。図９に示すように、前方領域注視領域ＦＡＦ１の対向車は８ｍであるので、０．４が、前方領域注視領域ＦＡＦ２の人は１０ｍであるので、０．３が、前方領域注視領域ＦＡＦ３の信号機は１４ｍであるので、０．５が割り当てられる。後方領域注視領域ＢＡＦ１の後続車は５ｍであるので、０．３が、後方領域注視領域ＢＡＦ２の信号機は１５ｍであるので、０が割り当てられる。さらに、右方領域注視領域ＢＡＦ１のバスは４ｍであるので、０．２が割り当てられる。

　次に、図１２及び図１３を参照してカメラ重要度特定処理（ステップＳ４）を説明する。図１１は、各カメラが撮影した映像の一例を用いて、カメラ重要度特定処理を説明する図である。図１３は、非注視領域重要度テーブルの一例である。

　カメラ重要度特定部１０３Ａは、カメラが撮影した全検出対象物の重要度および非注視領域重要度の合計値からカメラ重要度を特定する（ステップＳ４）。非注視領域とは、各カメラが撮影した画面全体のうち、検出対象物を囲う注視領域以外の領域をいう。図１３の非注視領域重要度テーブルに示すように、非注視領域の重要度は、各カメラ（前方、後方、左側、右側）に応じて異なっている。

　例えば、前方領域映像ＦＡのカメラ重要度は、各検出対象物（対向車、人及び信号機）の重要度の合計（すなわち、０．４＋０．３＋０．５）に前方の非注視領域の重要度（すなわち、０．５）を加えることで、１．７と算出される。

　同様に、後方領域映像ＢＡのカメラ重要度は、各検出対象物（後続車、及び信号機）の重要度の合計（すなわち、０．３＋０）に後方の非注視領域の重要度（すなわち、０．２）を加えることで、０．５と算出される。右方領域映像ＲＡの重要度は、検出対象物（バス）の重要度の合計（０．２）に右方の非注視領域の重要度（０．３）を加えることで、０．５と算出される。左方領域映像ＬＡの重要度は、検出対象物はないので、左方の非注視領域の重要度から０．３と算出される。

　次に、図１４を参照して使用可能帯域推定処理（ステップＳ５）及びカメラ帯域割当処理（ステップＳ６）を説明する。
　帯域推定部１１は使用可能帯域を推定する（ステップＳ５）。携帯電話網では、使用可能帯域が常時変動するため、帯域推定部１１は、所定周期（例えば、１秒毎）で使用可能帯域を推定する。図１４では、上り使用可能帯域が６Ｍｂｐｓと推定される。

　次に、カメラ帯域割当部１２は使用可能帯域（６Ｍｂｐｓ）および、上記したカメラ毎のカメラ重要度に応じて、カメラ毎に帯域を割り当てる（ステップＳ６）。前述したように、前方カメラの重要度は１．７、後方カメラの重要度は０．５、左側カメラの重要度は０．３、右側カメラの重要度は、０．５である。前方カメラの割当帯域は、推定された上り使用可能帯域（６Ｍｂｐｓ）に１．７／３．０を乗算することで、３．４Ｍｂｐｓと算出される。同様に、後方カメラの割当帯域は、１．０Ｍｂｐｓ、左側カメラの割当帯域は、０．６Ｍｂｐｓ、右側カメラの割当帯域は、１．０Ｍｂｐｓと算出される。

　最後に、図１５を参照して検出対象物帯域割当処理（ステップＳ７）を説明する。
　領域帯域割当部１０４Ａはカメラ帯域から検出対象物の重要度に応じて検出対象物の送信にかかる帯域を割り当てる（ステップＳ７）。各検出対象物の領域割当帯域は、検出対象物の重要度に応じて比例配分で割り当てられる。例えば、前方領域ＦＡでは、前方領域注視領域ＦＡＦ１の対向車に対する領域割当帯域は、３．４Ｍｂｐｓに０．４／１．７を乗算することで、０．８Ｍｂｐｓと算出される。前方領域注視領域ＦＡＦ２の人に対する領域割当帯域は、３．４Ｍｂｐｓに０．３／１．７を乗算することで、０．６Ｍｂｐｓと算出される。前方領域注視領域ＦＡＦ３の信号機に対する領域割当帯域は、３．４Ｍｂｐｓに０．５／１．７を乗算することで、１．０Ｍｂｐｓと算出される。更に、前方領域のうち非注視領域に対する領域割当帯域は、３．４Ｍｂｐｓに０．５／１．７を乗算することで、１．０Ｍｂｐｓと算出される。

　同様に、後方領域ＢＡでは、後方領域注視領域ＢＡＦ１の後続車に対する領域割当帯域は、１．０Ｍｂｐｓに０．３／０．５を乗算することで、０．６Ｍｂｐｓと算出される。後方領域のうち非注視領域に対する領域割当帯域は、１．０Ｍｂｐｓに０．２／０．５を乗算することで、０．４Ｍｂｐｓと算出される。

　左方領域ＬＡでは、検出対象物はない。非注視領域に対する領域割当帯域は、０．６Ｍｂｐｓに０．３／０．３を乗算することで、０．６Ｍｂｐｓと算出される。

　右方領域ＲＡでは、右方領域注視領域ＢＡＦ１のバスに対する領域割当帯域は、１．０Ｍｂｐｓに０．２／０．５を乗算することで、０．４Ｍｂｐｓと算出される。右方領域の非注視領域に対する領域割当帯域は、１．０Ｍｂｐｓに０．３／０．５を乗算することで、０．６Ｍｂｐｓと算出される。以上のように、領域帯域割当部１０４は、検出された対象物全てに対する領域帯域を割り当てる。送信部１０６は、割当帯域にしたがって動画像に符号化して動画像を送信する（ステップＳ８）。

　以上説明した本実施の形態にかかる送信システムは、ロスや遅延の発生を抑制しつつ、遠隔運転に適した高品質な映像を送信することができる。また、カメラ毎に遠隔運転者にとって重要となり得る対象物を選択的に検出し、こうした対象物を比較的高品質な映像で送信することができる。換言すれば、遠隔運転者にとって重要となり得ない対象物には、割当帯域を低減することで、モバイル通信網におけるロスや遅延の発生を抑制することができる。

　（実施の形態４）
　図１６及び図１７を参照して、実施の形態４にかかる送信システムを説明する。
図１６は、実施の形態４にかかる送信システムの構成を示すブロック図である。図１７は、実施の形態４にかかる送信システムの動作を示すフローチャートである。

　送信システム１は、車両に搭載された複数台のカメラ１０Ａ～１０Ｄが撮影した画像を動画像に符号化し送信するものである。送信システム１は、車載カメラ１０が撮影した画像を解析し、解析結果に基づき通信帯域を管理し、ネットワーク３０を介して映像データを送信する情報処理装置２００を備える。映像データは、遠隔監視センタにある、投影システム４０に投影されて、遠隔運転者に提示される。なお、本実施の形態では、物理的に単一の情報処理装置２００が、複数台のカメラに対して統括的に処理するように構成する。情報処理装置２００のハードウェアの構成例は、図２６に示す。

　図１６に示すように情報処理装置２００は、帯域推定部２１、カメラ帯域割当部２２、対象物検出部２０１、対象物状態推定部２０２、対象物重要度特定部２０８、対象物送信帯域決定部２１１、フィルタ部２０３、送信領域決定部２０４、ＲＯＩ（Region of Interest）領域決定部２０７、符号化部２０５、及び送信部２０６を備える。

　図１７を参照して、本実施の形態にかかる送信システムの動作を説明する。図１７のフローチャートは、実行の具体的な順番を示しているが、実行の順番は描かれている形態と異なっていてもよい。例えば、２つ以上のステップの実行の順番は、示された順番に対して入れ替えられてもよい。また、図１７の中で連続して示された２つ以上のステップは、同時に、または部分的に同時に実行されてもよい。さらに、いくつかの実施形態では、図１７に示された１つまたは複数のステップがスキップまたは省略されてもよい。

　対象物検出部２０１は、複数台のカメラで撮影した画像から目的の対象物を検出して、対象物の種別、画像内での対象物の位置、及び画像内での対象物の大きさを取得する（ステップＳ２０１）。対象物状態推定部２０２は、検出された対象物の種別、画像内での対象物の位置、及び画像内での対象物の大きさから、車両から前記対象物までの距離を推定する（ステップＳ２０２）。これらの対象物検出処理及び距離推定処理は、前述した実施の形態２のステップＳ１及びステップＳ２と同様であり、詳しい説明は省略する。

　対象物重要度特定部２０８は、対象物の種別及び車両からの距離に基づいて、カメラ毎の重要度を特定する（ステップＳ２０３）。対象物重要度特定部２０８は、前述した距離閾値テーブル（図１０）を参照して、閾値より近くにある対象物を重要物体とみなし、前述の対象物重要度テーブル（図１１）に記載の重要度を割り当てる。

　図１８に示すように、フィルタ部２０３は、対象物毎の距離に応じて、検出した対象物から送信しない対象物をフィルタアウトする（ステップＳ２０４）。こうすることで、重要度の低いものを除外することができる。さらに、前述したように、視力０．８以上の人が見える範囲の対象物を認識できる（例えば一般道の道路標識の場合は、運転手が１０．６６ｍの距離離れて標識を認識できる）もの以外を、除外することもできる。結果的に、送信データを削減することができる。

　帯域推定部２１は使用可能帯域を推定する（ステップＳ２０５）。携帯電話網では、使用可能帯域が常時変動するため、帯域推定部２１は、所定周期（例えば、１秒毎）で使用可能帯域を推定する。

　対象物送信帯域決定部２１１は、対象物の種別及び対象物までの距離に応じて、対象物の送信帯域を決定する（ステップＳ２０６）。対象物送信帯域決定部２１１は、図１９に示すビットレート変換式テーブルを参照してビットレート変換式を取得し、ビットレート変換式に距離を代入して、オブジェクトの送信ビットレートを決定する。このように、距離と物体種別に依存する認識の難しさに応じて、ビットレートを調整することができる。図１９に示す、ビットレート変換式のａ、ｂは任意のパラメータであり、ｘは、対象物までの距離を示す。

　ＲＯＩ領域決定部２０７は、対象物に対するＲＯＩ領域を決定する（ステップＳ２０７）。図２０は、各カメラが撮影した映像の一例を用いて、ＲＯＩ領域サイズ決定処理を説明する図である。前述したフィルタアウト処理で重要とみなされた対象物のサイズに対して、ＲＯＩ領域サイズ比率テーブル（図２１）に基づき、各ＲＯＩ領域サイズ（ＦＡＦ１’、ＦＡＦ２’、ＦＡＦ３’、ＢＡＦ１’、ＲＡＦ１’）が決定される。図２１に示すように、移動体（例えば、人や車）のＲＯＩ領域サイズは、固定物（例えば、信号機）のＲＯＩ領域サイズより大きくなるように設定されている。これにより、動く対象物は、位置予測精度が低く、対象物に対するＲＯＩ領域を大きく設定することができ、注視領域に物体が収まる確率を高まることができる。

　送信領域決定部２０４は、使用可能帯域、対象物の送信帯域、対象物のＲＯＩ領域に応じて、各レイヤの領域及び帯域を決定する（ステップＳ２０８）。ここで、図２２～図２５を参照して、送信領域決定部２０４で実際に送信するＲＯＩ領域の決定方法を説明する。
　図２２に示すように、各カメラの背景領域のビットレートを背景領域の最低ビットレートに設定し、背景領域の合計ビットレートを使用帯域に加算する。次に、図２３に示すように、全てのカメラの内、距離が近い対象物から送信対象物リストに追加し、当該対象物の送信ビットレートを使用帯域に加算する。この処理は、送信する対象物がなくなる、または使用可能帯域が０を下回るまで実施する。図２４に示すように、送信帯域が限界使用可能帯域を上回った場合は最後に追加したオブジェクト（オブジェクトｏ４）を送信オブジェクトリストから削除する。

　あるいは、図２５に示すように、使用可能帯域が残っているにもかかわらず、送信する対象物がなくなった場合には残りの使用可能帯域を背景領域の最低ビットレート比で分割付与する。これにより、背景領域の帯域を増加でき、ロスや遅延を抑制しつつ、できる限り高品質な背景領域の画像を、遠隔運転者に送信することができる。

　符号化部１０５は、割当帯域にしたがって動画像に符号化する。送信部１０６を符号化された動画像を送信する（ステップＳ２０８）。

　以上説明した本実施の形態にかかる送信システム１は、ロスや遅延を抑制しつつ、遠隔運転に最適化された高品質な映像を送信することができる。また、本実施の形態によれば、対象物が移動体であっても、それに対応してＲＯＩ領域を拡張でき、より一層高品質な映像を送信することができる。また、本実施の形態では、物体送信帯域決定部を備えることで、距離と物体種別に依存する認識の難しさに応じ、ビットレートを決定することができる。

　さらに、上述した様々な実施の形態において、送信システム以外に、単体としてのシステム制御装置としての形態も採り得る。システム制御装置は、車両に搭載された複数台のカメラが撮影した画像を送信するために、ネットワークで使用可能な帯域である使用可能帯域を推定する帯域推定部と、前記使用可能帯域とカメラ毎の重要度に応じて、カメラ毎に帯域を割り当てるカメラ帯域割当部と、を備える。

　上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリを含む。磁気記録媒体は、例えばフレキシブルディスク、磁気テープ、ハードディスクドライブであってもよい。半導体メモリは、例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory）であってもよい。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

　なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。以上で説明した複数の例は、適宜組み合わせて実施されることもできる。

　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

　（付記１）
　車両に搭載された複数台のカメラが撮影した画像を、ネットワークを介して送信する送信方法であって、
　前記ネットワークで使用可能な帯域である使用可能帯域を推定する帯域推定ステップと、
　前記使用可能帯域とカメラ毎の重要度に応じて、カメラ毎に帯域を割り当てるカメラ帯域割当ステップと、
を含む、送信方法。
　（付記２）
　前記カメラ毎の重要度を特定するステップを更に含み、
　前記複数台のカメラで撮影した画像から目的の対象物を検出して、対象物の種別、画像内での対象物の位置、及び画像内での対象物の大きさを取得する対象物検出ステップと、
　前記検出された前記対象物の種別、前記画像内での対象物の位置、及び前記画像内での対象物の大きさから車両から対象物までの距離を推定する対象物状態推定ステップと、
　前記対象物の種別及び前記車両からの距離に基づいて、対象物の重要度を特定する対象物重要度特定ステップと、
　前記カメラ毎に検出された前記対象物の重要度の合計値から、前記カメラ毎の重要度を特定するカメラ重要度特定ステップと、
を含む、付記１に記載の送信方法。
　（付記３）
　前記カメラ毎に割り当てられた帯域と前記対象物の重要度に応じて、前記検出された対象物を撮影した領域の動画像の送信にかかる帯域を割り当てる領域帯域割当ステップと、
を更に含む、付記２に記載の送信方法。
　（付記４）
　前記対象物重要度特定ステップは、車両と各対象物との距離の閾値を示す距離閾値テーブル及び、カメラと各対象物とを関連付けて重要度を示す対象物重要度テーブルに基づいて対象物の重要度を特定する、付記２に記載の送信方法。
　（付記５）
　車両状態を検出する車両状態検出ステップを更に含み、
　前記対象物重要度特定ステップにおいては、前記車両状態に応じて、前記距離閾値テーブル及び前記対象物重要度テーブルを変更する、付記４に記載の送信方法。
　（付記６）
　前記対象物状態推定ステップにおいては、対象物の向きを推定し、
　前記対象物重要度特定ステップにおいては、前記推定された対象物の向きに応じて、前記対象物重要度テーブルを変更する、付記４に記載の送信方法。
　（付記７）
　前記対象物状態推定ステップにおいては、カメラ毎に異なる学習モデルを用いて、距離を推定する、付記２に記載の送信方法。
　（付記８）
　前記対象物の種別及び前記対象物の大きさに応じて、前記検出された対象物のＲＯＩ領域を決定するＲＯＩ領域決定ステップを更に含む、付記２～７のいずれか一項に記載の送信方法。
　（付記９）
　前記ＲＯＩ領域決定ステップにおいて、検出される対象物が移動体のときのＲＯＩ領域サイズは、検出される対象物が固定物のときのＲＯＩ領域サイズより大きくなるように設定されている、付記８に記載の送信方法。
　（付記１０）
　対象物までの距離に応じて、検出した動画像から送信しない対象物をフィルタアウトするフィルタ処理ステップを更に含む、付記２～９のいずれか一項に記載の送信方法。
　（付記１１）
　車両に搭載された複数台のカメラが撮影した画像を、ネットワークを介して送信する送信システムであって、
　前記ネットワークで使用可能な帯域である使用可能帯域を推定する帯域推定部と、
　前記可用帯域とカメラ毎の重要度に応じて、カメラ毎に帯域を割り当てるカメラ帯域割当部と、
を備える、送信システム。
　（付記１２）
　前記カメラ毎の重要度を特定するため、
　前記複数台のカメラで撮影した画像から目的の対象物を検出し対象物の種別、画像内での対象物の位置、及び画像内での対象物の大きさを取得する対象物検出部と、
　前記検出された対象物の前記対象物の種別、前記画像内での対象物の位置、及び前記画像内での対象物の大きさから、車両から対象物までの距離を推定する対象物状態推定部と、
　前記対象物種別及び前記車両からの距離に基づいて、前記カメラ毎の重要度を特定する対象物重要度特定部と、
　前記カメラ毎に検出された前記検出対象物の前記重要度の合計値から、カメラ毎の重要度を特定するカメラ重要度特定部と、を更に備える、付記１１に記載の送信システム。
　（付記１３）
　前記カメラ帯域と前記検出対象物の重要度に応じて、前記検出された対象物領域を撮影した動画像の送信にかかる帯域を割り当てる領域帯域割当部を更に備える、付記１２に記載の送信システム。
　（付記１４）
　前記対象物重要度特定部は、車両と各対象物との距離の閾値を示す距離閾値テーブル及び、カメラと各対象物とを関連付けて重要度を示す対象物重要度テーブルに基づいて重要度を管理する、付記１２に記載の送信システム。
　（付記１５）
　車両状態を検出する車両状態検出部を更に備え、
　前記対象物重要度特定部は、前記車両状態に応じて、前記距離閾値テーブル及び前記対象物重要度テーブルを変更する、付記１４に記載の送信システム。
　（付記１６）
　前記対象物状態推定部は、対象物の向きを推定し、
　前記対象物重要度特定部は、対象物の向きに応じて、前記対象物重要度テーブルを変更する、付記１４に記載の送信システム。
　（付記１７）
　前記対象物状態推定部は、カメラ毎に異なる学習モデルを用いて、距離を推定する、付記１２に記載の送信システム。
　（付記１８）
　前記対象物の種別及び前記対象物の大きさに応じて、対象物のＲＯＩ領域を決定するＲＯＩ領域決定部を備える、付記１２～１７のいずれか一項に記載の送信システム。
　（付記１９）
　前記検出される対象物が移動体のときのＲＯＩ領域サイズは、検出される対象物が固定物のときのＲＯＩ領域サイズより大きくなるように設定されている、付記１８に記載の送信システム。
　（付記２０）
　対象物までの距離に応じて、検出した動画像から送信しない対象物をフィルタアウトするフィルタ部を備える、付記１２～１９のいずれか一項に記載の送信システム。
　（付記２１）
　車両に搭載された複数台のカメラが撮影した画像を送信するために、ネットワークで使用可能な帯域である使用可能帯域を推定する帯域推定部と、
　前記使用可能帯域とカメラ毎の重要度に応じて、カメラ毎に帯域を割り当てるカメラ帯域割当部と、
を備える、システム制御装置。
　　（付記２２）
　前記カメラ毎の重要度を決定するために、
　前記複数台のカメラで撮影した画像から目的の対象物を検出し、対象物の種別、画像内での対象物の位置、及び画像内での対象物の大きさを取得する対象物検出部と、
　前記検出された対象物の前記対象物の種別、前記画像内での対象物の位置、及び前記画像内での対象物の大きさから車両から対象物までの距離を推定する対象物状態推定部と、
　前記対象物の種別及び前記車両からの距離に基づいて、前記カメラ毎の重要度を特定する対象物重要度特定部と、
　前記カメラ毎に検出された前記対象物の重要度の合計値から、カメラ毎の重要度を特定するカメラ重要度特定部と、を更に備える、付記２１に記載のシステム制御装置。
　（付記２３）
　前記カメラ毎に割り当てられた帯域と前記対象物の重要度と、に応じて、前記検出された対象物を撮影した領域の動画像の送信にかかる帯域を割り当てる領域帯域割当部を更に備える、付記２２に記載のシステム制御装置。
　（付記２４）
　前記対象物重要度特定部は、車両と各対象物との距離の閾値を示す距離閾値テーブル及び、カメラと各対象物とを関連付けて重要度を示す対象物重要度テーブルに基づいて重要度を特定する、付記２２に記載のシステム制御装置。
　（付記２５）
　車両状態を検出する車両状態検出部を更に備え、
　前記対象物重要度特定部は、前記車両状態に応じて、前記距離閾値テーブル及び前記対象物重要度テーブルを変更する、付記２４に記載のシステム制御装置。
　（付記２６）
　対象物までの距離に応じて、検出した動画像から送信しない対象物をフィルタアウトするフィルタ部を備える、付記２１～２５のいずれか一項に記載のシステム制御装置。

　１　送信システム
　３　遠隔運転者
　５　車両
　１０　車載カメラ
　１１　帯域推定部
　１２　カメラ帯域割当部
　１３　車両状態検出部
　２１　帯域推定部
　２２　カメラ帯域割当部
　３０　ネットワーク
　４０　投影システム
　１００　情報処理装置
　１０１　対象物検出部
　１０２　対象物状態推定部
　１０３　カメラ重要度特定部
　１０４　領域帯域割当部
　１０５　符号化部
　１０６　送信部
　１０８　対象物重要度特定部
　２０１　対象物検出部
　２０２　対象物状態推定部
　２０３　フィルタ部
　２０４　送信領域決定部
　２０５　符号化部
　２０６　送信部
　２０７　ＲＯＩ領域決定部
　２０８　対象物重要度特定部
　２１１　対象物送信帯域決定部
　４００　地上監視遠隔制御装置
　ＦＡ　前方領域
　ＢＡ　後方領域
　ＲＡ　右方領域
　ＬＡ　左方領域

Claims

　車両に搭載された複数台のカメラが撮影した画像を、ネットワークを介して送信する送信方法であって、
　前記ネットワークで使用可能な帯域である使用可能帯域を推定する帯域推定ステップと、
　前記使用可能帯域とカメラ毎の重要度に応じて、カメラ毎に帯域を割り当てるカメラ帯域割当ステップと、
を含む、送信方法。
　前記カメラ毎の重要度を特定するステップを更に含み、
　前記複数台のカメラで撮影した画像から目的の対象物を検出して、対象物の種別、画像内での対象物の位置、及び画像内での対象物の大きさを取得する対象物検出ステップと、
　検出された前記対象物の種別、前記画像内での対象物位置、及び前記画像内での大きさから車両から対象物までの距離を推定する対象物状態推定ステップと、
　前記対象物の種別及び前記車両からの距離に基づいて、対象物の重要度を特定する対象物重要度特定ステップと、
　前記カメラ毎に検出された前記対象物の重要度の合計値から、前記カメラ毎の重要度を特定するカメラ重要度特定ステップと、
を含む、請求項１に記載の送信方法。
　前記カメラ毎に割り当てられた帯域と前記対象物の重要度とに応じて、前記検出された対象物を撮影した領域の動画像の送信にかかる帯域を割り当てる領域帯域割当ステップと、を更に含む、請求項２に記載の送信方法。
　前記対象物重要度特定ステップは、車両と各対象物との距離の閾値を示す距離閾値テーブル及び、カメラと各対象物とを関連付けて重要度を示す対象物重要度テーブルに基づいて重要度を特定する、請求項２に記載の送信方法。
　車両状態を検出する車両状態検出ステップを更に含み、
　前記対象物重要度特定ステップにおいては、前記車両状態に応じて、前記距離閾値テーブル及び前記対象物重要度テーブルを変更する、請求項４に記載の送信方法。
　前記対象物状態推定ステップは、対象物の向きを推定し、
　前記対象物重要度特定ステップにおいては、前記推定された対象物の向きに応じて、前記対象物重要度テーブルを変更する、請求項４に記載の送信方法。
　対象物までの距離に応じて、検出した動画像から送信しない対象物をフィルタアウトするフィルタ処理ステップを更に含む、請求項２～６のいずれか一項に記載の送信方法。
　車両に搭載された複数台のカメラが撮影した画像を、ネットワークを介して送信する送信システムであって、
　前記ネットワークで使用可能帯域を推定する帯域推定手段と、
　前記使用可能帯域とカメラ毎の重要度に応じて、カメラ毎に帯域を割り当てるカメラ帯域割当手段と、
を備える、送信システム。
　前記カメラ毎の重要度を決定するために、
　前記複数台のカメラで撮影した画像から目的の対象物を検出し、対象物の種別、画像内での対象物の位置、及び画像内での対象物の大きさを取得する対象物検出手段と、
　前記検出された対象物の前記対象物の種別、前記画像内での対象物の位置、及び前記画像内での対象物の大きさから車両から対象物までの距離を推定する対象物状態推定手段と、
　前記対象物の種別及び前記車両からの距離に基づいて、前記カメラ毎の重要度を特定する対象物重要度特定手段と、
　前記カメラ毎に検出された前記対象物の重要度の合計値から、カメラ毎の重要度を特定するカメラ重要度特定手段と、を更に備える、請求項８に記載の送信システム。
　前記カメラ毎に割り当てられた帯域と前記対象物の重要度とに応じて、前記検出された対象物を撮影した領域の動画像の送信にかかる帯域を割り当てる領域帯域割当手段を更に備える、請求項９に記載の送信システム。
　前記対象物重要度特定手段は、車両と各対象物との距離の閾値を示す距離閾値テーブル及び、カメラと各対象物とを関連付けて重要度を示す対象物重要度テーブルに基づいて重要度を特定する、請求項９に記載の送信システム。
　車両状態を検出する車両状態検出手段を更に備え、
　前記対象物重要度特定手段は、前記車両状態に応じて、前記距離閾値テーブル及び前記対象物重要度テーブルを変更する、請求項１１に記載の送信システム。
　前記対象物状態推定手段は、対象物の向きを推定し、
　前記対象物重要度特定手段は、対象物の向きに応じて、前記対象物重要度テーブルを変更する、請求項１１に記載の送信システム。
　対象物までの距離に応じて、検出した動画像から送信しない対象物をフィルタアウトするフィルタ手段を備える、請求項９～１３のいずれか一項に記載の送信システム。
　車両に搭載された複数台のカメラが撮影した画像を送信するために、ネットワークで使用可能な帯域である使用可能帯域を推定する帯域推定手段と、
　前記使用可能帯域とカメラ毎の重要度に応じて、カメラ毎に帯域を割り当てるカメラ帯域割当手段と、
を備える、システム制御装置。
　前記カメラ毎の重要度を決定するために、
　前記複数台のカメラで撮影した画像から目的の対象物を検出し、対象物の種別、画像内での対象物の位置、及び画像内での対象物の大きさを取得する対象物検出手段と、
　前記検出された対象物の前記対象物の種別、前記画像内での対象物の位置、及び前記画像内での対象物の大きさから車両から対象物までの距離を推定する対象物状態推定手段と、
　前記対象物の種別及び前記車両からの距離に基づいて、前記カメラ毎の重要度を特定する対象物重要度特定手段と、
　前記カメラ毎に検出された前記対象物の重要度の合計値から、カメラ毎の重要度を特定するカメラ重要度特定手段と、を更に備える、請求項１５に記載のシステム制御装置。
　前記カメラ毎に割り当てられた帯域と前記対象物の重要度と、に応じて、前記検出された対象物を撮影した領域の動画像の送信にかかる帯域を割り当てる領域帯域割当手段を更に備える、請求項１６に記載のシステム制御装置。
　前記対象物重要度特定手段は、車両と各対象物との距離の閾値を示す距離閾値テーブル及び、カメラと各対象物とを関連付けて重要度を示す対象物重要度テーブルに基づいて重要度を特定する、請求項１６に記載のシステム制御装置。
　車両状態を検出する車両状態検出手段を更に備え、
　前記対象物重要度特定手段は、前記車両状態に応じて、前記距離閾値テーブル及び前記対象物重要度テーブルを変更する、請求項１８に記載のシステム制御装置。
　対象物までの距離に応じて、検出した動画像から送信しない対象物をフィルタアウトするフィルタ手段を備える、請求項１５～１９のいずれか一項に記載のシステム制御装置。