WO2022097602A1 - 画像データ伝送装置、画像データ伝送方法、コンピュータプログラム、及び記憶媒体 - Google Patents

Abstract

画像データ伝送装置は、撮像センサと物体との距離と、判定対象である属性の種類との組み合わせに応じ、撮像センサの撮像した画像の解像度を決定する解像度決定部と、解像度決定部により決定された解像度に従って、画像のデータから送信データを生成する送信データ生成部と、生成された送信データを送信先に無線送信する無線通信装置とを含む。

Description

画像データ伝送装置、画像データ伝送方法、コンピュータプログラム、及び記憶媒体

　この開示は、画像データ伝送装置、画像データ伝送方法、コンピュータプログラム、及び記憶媒体に関する。この出願は2020年11月04日出願の日本出願第2020-184132号に基づく優先権を主張し、前記日本出願に記載された全ての記載内容を援用するものである。

　自動車及び自動二輪車など（以下、車両という）の運転に関して運転者を支援する種々のシステムが提案されている。そのようなシステムは、道路及びその周辺に設置された種々のセンサ機器を備えた路側装置を含む。センサ機器は、例えばカメラ、レーダなどである。サーバコンピュータ（以下、「サーバ」という。）がこれら路側装置からセンサの情報を収集し、収集した情報を解析して交通に関する情報を生成する。交通に関する情報とは、例えば事故、渋滞などに関する情報である。サーバはこの情報を動的な運転支援情報として車両に提供する。

　路側装置に装備されたセンサ機器に限らず、車両に搭載されているセンサ機器からの情報をサーバが収集し、運転支援に利用することも提案されている。例えば、３ＧＰＰ（Ｔｈｉｒｄ　Ｇｅｎｅｒａｔｉｏｎ　Ｐａｒｔｎｅｒｓｈｉｐ　Ｐｒｏｊｅｃｔ）と呼ばれる標準化プロジェクトがある。このプロジェクトは、第３世代移動通信システム及びそれに続く世代の移動通信システムの規格化を推進するためのものである。３ＧＰＰは、セルラーＶ２Ｘという規格を提案している。Ｖは車両（Ｖｅｈｉｃｌｅ）を意味し、Ｘは車両を含むそれ以外の様々なもの（Ｅｖｅｒｙｔｈｉｎｇ）を意味している。すなわち、Ｖ２Ｘは、Ｖ２Ｎ（Ｖｅｈｉｃｌｅ－ｔｏ－ｃｅｌｌｕｌａｒ－Ｎｅｔｗｏｒｋ）、Ｖ２Ｖ（Ｖｅｈｉｃｌｅ－ｔｏ－Ｖｅｈｉｃｌｅ）、Ｖ２Ｉ（Ｖｅｈｉｃｌｅ－ｔｏ－ｒｏａｄｓｉｄｅ－Ｉｎｆｒａｓｔｒａｃｔｕｒｅ）、Ｖ２Ｐ（Ｖｅｈｉｃｌｅ－ｔｏ－Ｐｅｄｅｓｔｒｉａｎ）などを包含する。この規格は、車両とその他との通信を、４Ｇ（第４世代移動通信システム）及び５Ｇ（第５世代移動通信システム）などの高速かつ低レイテンシの無線通信により行うことを前提とする。

　車両はエンジン、トランスミッション、エアバッグ、ブレーキ、ステアリングなど、基本的には機械的要素の有機的集合である。これらは伝統的に運転者の操作を反映するよう、機械的な仕組みにより制御されていた。しかし、近年では車両の電子化が進み、車両には各部を電子的に制御する種々のＥＣＵ（Ｅｌｅｃｔｒｉｃ　Ｃｏｎｔｒｏｌ　Ｕｎｉｔ）が搭載されている。これらＥＣＵには、例えば、エンジン制御ＥＣＵ、ストップスタート制御ＥＣＵ、トランスミッション制御ＥＣＵ、エアバッグ制御ＥＣＵ、パワーステアリング制御ＥＣＵ、ハイブリッド制御ＥＣＵなどがある。これらの中でも特に注目され、多くの企業が開発を競っているのが自動運転用ＥＣＵである。また遠隔監視の技術にも最近は注目が集まっている。

　自動運転用ＥＣＵは、その名のとおり、車両の運転を自動的に行うことを目的としたものである。人間の場合には、五感を通じて車両の周囲の情報を収集してどのように車両を制御するかを判断する。しかし車両自体にはそのような情報収集の仕組みはない。そこで近年の車両は、情報の収集のために複数のセンサを備える。それらセンサはカメラ、ライダ、ミリ波レーダなどを含む。しかし車両の場合には、それらセンサから収集された情報に基づいて自動運転のための判断を適切に行うことは容易ではない。

　車両の走行速度はかなり大きく（速く）なる可能性がある。そのため、車載センサから収集した情報を高速に処理しなければ適切な自動運転を行うことは難しい。その処理を車両が行うためには、車両にそのためのコンピュータを装備する必要がある。しかし、高性能なコンピュータの場合、広い搭載スペース、並びに高い消費電力、コスト及び発熱量という問題がある。そのため、少なくとも一般用途のための車両に搭載することは難しい。したがって、現在では以下のような方法が採用されている。この方法では、車両には比較的性能が低いコンピュータを搭載される。このコンピュータが車載センサから得た情報を、路側装置と同様にサーバに送信する。サーバがその情報を高速に処理して運転支援情報を生成し車両に配信する。これは遠隔監視の場合も同様である。

　しかし、今後、自動運転を採用した車両が増加したり、車載センサが高性能化したりすると、車両からサーバに送信されるデータ量が大きくなることが予測される。特にカメラの場合、高解像度のカラー画像を取得可能なものが安価になっている。そのため、今後はカメラがより多くの車両により多く搭載されることが予測される。その結果、仮に高速無線通信技術がさらに発達しさらに広く普及して無線通信回線が高速かつ大容量化したとしても、通信トラフィックがそれを上回って増大し、通信容量が逼迫する可能性がある。

　こうした問題を解決するための提案が下記特許文献１に開示されている。特許文献１に開示されたシステムは車両と緊急通報センターとの間の通信に関する。車両に登載されたカメラで撮像した車両内外の撮像画像を車両が緊急通報センターに送信する際に、車両が通信状態（例えば、通信容量）を調べ、通信状態に応じて、送信される画像データの種類（例えば、動画又は静止画）／解像度（例えば、低／高）／フレームレート（例えば、低／中／高）を変更する。通信状態に応じて送信内容及びフレームレートを変更するため、通信速度などの通信状態が変動する場合でも通信容量を最大限に活用して、送信情報の所望の内容を外部に的確に伝達できるとされている。

特開２００８－２６３５８０号公報

　この開示の第１の局面に係る画像データ伝送装置は、撮像センサと物体との距離と、判定対象である属性の種類との組み合わせに応じ、撮像センサの撮像した画像の解像度を決定する解像度決定部と、解像度決定部により決定された解像度に従って、画像のデータから送信データを生成する送信データ生成部と、生成された送信データを送信先に無線送信する無線通信装置とを含む。

　この開示の第２の局面に係る画像データ伝送方法は、コンピュータが、撮像センサと物体との距離と、判定対象である属性の種類との組み合わせに応じ、撮像センサの撮像した画像の解像度を決定するステップと、コンピュータが、解像度を決定するステップにおいて決定された解像度に従って、画像のデータから送信データを生成するステップと、無線通信装置が、生成された送信データを送信先に無線送信するステップとを含む。

　この開示の第３の局面に係るコンピュータプログラムは、撮像センサと、測距センサと、無線通信装置とに接続されるコンピュータを、撮像センサと物体との距離と、判定対象である属性の種類との組み合わせに応じ、撮像センサの撮像した画像の解像度を決定する解像度決定部と、解像度決定部により決定された解像度に従って、画像のデータから送信データを生成する送信データ生成部と、生成された送信データを送信先に無線通信装置を介して伝送する伝送部として機能させる。

　本開示の第４の局面に係るコンピュータ読み取り可能な記憶媒体は、上記したコンピュータプログラムを記憶している。

　この発明の上記および他の目的、特徴、局面及び利点は、添付の図面と関連して理解されるこの発明に関する次の詳細な説明から明らかとなるであろう。

図１は、運転支援システムの構成を示す概略図である。 図２は、車両が近くの歩行者を撮像する状況を示す概略図である。 図３は、図２に示す状況で車両が撮像した画像を示す模式図である。 図４は、車両が遠くの歩行者を撮像する状況を示す概略図である。 図５は、図４に示す状況で車両が撮像した画像を示す模式図である。 図６は、解像度選択テーブルを示す図である。 図７は、検出属性出力テーブルを示す図である。 図８は、第１実施形態のエッジサーバの機能的ブロック図である。 図９は、第１実施形態の車両の概略構成を示すブロック図である。 図１０は、車載装置の機能的ブロック図である。 図１１は、エッジサーバと車両との間の通信を示すシーケンス図である。 図１２は、検出属性出力テーブルを生成するプログラムの制御構造を示すフローチャートである。 図１３は、車載装置の機能を実現するプログラムの制御構造を示すフローチャートである。 図１４は、第１実施形態に係るエッジサーバの外観図である。 図１５は、図１４に示すエッジサーバのハードウェアブロック図である。 図１６は、第１実施形態に係る車載装置のハードウェアブロック図である。 図１７は、第２実施形態に係るエッジサーバの機能的ブロック図である。 図１８は、第２実施形態に係る車載装置の機能的ブロック図である。 図１９は、第２実施形態に係るエッジサーバ及び車載装置の間の通信のシーケンス図である。

　［この開示が解決しようとする課題］
　特許文献１に開示の技術では、通信状態の変化があった場合でも、通信容量に応じて送信情報の情報量を変化させている。しかし、この情報を受ける立場のサーバから見ると、例えば通信状態がよいからといって運転支援にとって役に立たない情報を大量に送信されて来ることは不都合である。また通常の運転支援には役立つ情報であっても、あるサーバが行う運転支援の処理では使用しないような情報が大量に送信されてくることも不都合である。つまり、特許文献１に開示の技術は、サーバにとって有効な情報を送るために通信容量を最大限有効に利用しているということはできない。

　この開示は、運転支援にとって有効な情報を、通信容量を有効に利用して送受信可能な画像データ伝送装置、画像データ伝送方法、コンピュータプログラム、及び記憶媒体を提供することを目的とする。

　［本開示の実施形態の説明］
　以下の説明及び図面では、同一の部品には同一の参照番号を付してある。したがって、それらについての詳細な説明は繰り返さない。

　（１）この開示の第１の局面に係る画像データ伝送装置は、撮像センサと物体との距離と、判定対象である属性の種類との組み合わせに応じ、撮像センサの撮像した画像の解像度を決定する解像度決定部と、解像度決定部により決定された解像度に従って、画像のデータから送信データを生成する送信データ生成部と、生成された送信データを送信先に無線送信する無線通信装置とを含む。

　撮像センサと物体との距離と、判定対象である属性の種類との組み合わせに応じ、解像度決定部が画像の解像度を決定する。伝送データのデータ量はその画像データの解像度の関数として変化する。そのため、送信先の装置は、距離と属性の種類との組み合わせに応じて、判定対象である属性値を判定するために適切なデータ量の送信データをこの画像データ伝送装置から得られる。その結果、画像データ伝送装置が、運転支援にとって有効な情報を、通信容量を有効に利用して送受信することが可能になる。

　（２）画像データ伝送装置は、送信先から判定対象である属性を受信する対象属性受信部と、判定対象である属性を記憶する対象属性記憶部とをさらに含んでもよい。

　対象属性受信部が判定対象である属性の種類を受信し、対象属性記憶部が記憶する。画像の解像度はこの判定対象の属性の種類を用いて決定される。運転支援のための処理を行う装置は、その装置で行う処理に応じ、判定対象となる属性を画像データ伝送装置に送信する。画像データ伝送装置は、判定対象となる属性の種類に応じた適切なデータ量の画像のデータをこの装置に送信する。その結果、送信先の装置は、判定対象の属性又は属性値を判定するために適切な解像度の画像を、通信容量を有効に利用して入手できる。

　（３）画像データ伝送装置は、送信先から、撮像センサと物体との距離と、判定対象である属性の種類との組み合わせと、画像の解像度との対応関係を示す解像度選択テーブルを受信する解像度テーブル受信部をさらに含み、解像度決定部は、撮像センサと物体との間の距離と、判定対象である属性の種類との組み合わせに対応する解像度を解像度選択テーブルから特定する解像度特定部を含んでもよい。

　解像度選択テーブルが送信先の装置から画像データ伝送装置に送信される。画像データ伝送装置は、この解像度選択テーブルを使用して、撮像センサと物体との間の距離、及び判定対象である属性の種類との組み合わせに基づいて、画像の解像度を適切に決定できる。したがって、画像データ伝送装置では簡単な処理で画像の解像度が決定できる。

　（４）画像データ伝送装置は、無線通信に使用できる通信帯域を測定する通信状態測定部をさらに含み、送信データ生成部は、画像のデータを第１の伝送フレームレートで送信先に送信するときの伝送データ量が、通信状態測定部により測定された使用できる通信帯域より大きいか否かを判定する第１の判定部と、第１の判定部による判定が肯定であることに応答して、画像のデータ量を削減するデータ削減部とを含んでもよい。

　送信する画像の解像度が適切に定められても、その伝送データ量が使用可能な通信帯域より大きければ、送信データを送信先に適時に送信できない。しかし、送信データのデータ量を削減すれば送信データを送信先の装置に送信できる。送信先の装置では、受信した送信データから可能な範囲で属性又は属性値を判定し、運転支援のために利用できる。

　（５）データ削減部は、第１の判定部による判定が肯定であることに応答して、送信先との通信で許容される範囲で画像のデータの伝送フレームレートを第１の伝送フレームレートより小さい第２の伝送フレームレートに変更するフレームレート変更部を含んでもよい。

　送信データの伝送フレームレートを小さくすることにより、画像の解像度を維持したまま、単位時間あたりの送信データ量を削減できる。その結果、送信先の装置は、通信容量を最大限に利用しながら、適切な属性又は属性値を判定できる。

　（６）データ削減部は、第１の判定部による判定が肯定であることに応答して、よりデータ量の小さな縮小画像に画像を再構成する画像再構成部を含んでもよい。

　伝送データのデータ量が依然として大きいときには、よりデータ量の小さな縮小画像に画像データを再構成する。この結果、画像データのデータ量は削減される。縮小画像に属性を判定すべき物又は人物の像が含まれていれば、その属性を判定できる。その結果、通信容量を最大限に利用しながら、画像を活かして運転支援を行える。

　（７）データ削減部は、画像再構成部により再構成された画像のデータが、使用できる通信帯域では送信先に送信できないことに応答して、通信帯域で送信先に送信できるように画像のデータ量を削減する解像度削減部と、データ量が削減された画像のデータにより判定可能な属性を特定する属性情報を、当該画像のデータに付加する属性情報付加部をさらに含んでもよい。

　利用可能な通信帯域が小さいと、画像の解像度をかなり低くしないと送信できない。そのため、送信先ではその画像から判定対象の属性値を判定することはむずかしい。しかし、低解像度の画像から判定できる属性もある。送信先の装置は、画像のデータに付されている属性情報に基づき、属性を可能な範囲で画像内の物又は人物の属性を判定できる。受信した画像のデータでは判定できない属性を判定しようと試みるという無駄な処理が避けられる。その結果、通信容量を最大限に利用しながら、送信先の装置の計算リソースを有効に使用して可能な範囲で運転支援のための処理が行える。

　（８）データ削減部は、第１の判定部による判定が肯定であることに応答して、第１の伝送フレームレートで送信可能となるデータ量となるまで画像の解像度を下げるよう画像のデータを変換する解像度変換部と、解像度変換部により変換された画像のデータに基づいて判定可能な属性を特定する属性情報を画像のデータに付加する属性情報付加部とを含んでもよい。

　利用可能な通信帯域が小さいと、画像の解像度を低くしないと第１の伝送フレームレートで伝送される送信できない。そのため、送信先ではその画像から判定対象の属性値を判定することはむずかしい。しかし、低解像度の画像から判定できる属性もある。送信先の装置は、画像のデータに付されている属性情報に基づき、属性を可能な範囲で画像内の物又は人物の属性値を判定できる。受信した画像のデータでは判定できない属性値を判定しようと試みるという無駄な処理が避けられる。その結果、通信容量を最大限に利用しながら、送信先の装置の計算リソースを有効に使用して可能な範囲で運転支援のための処理が行える。

　（９）この開示の第２の局面に係る画像データ伝送方法は、コンピュータが、撮像センサと物体との距離と、判定対象である属性の種類との組み合わせに応じ、撮像センサの撮像した画像の解像度を決定するステップと、コンピュータが、解像度を決定するステップにおいて決定された解像度に従って、画像のデータから送信データを生成するステップと、無線通信装置が、生成された送信データを送信先に無線送信するステップとを含む。

　撮像センサと物体との間の距離と、判定対象である属性の種類との組み合わせに応じ、解像度を決定するステップにより画像データの解像度が決定される。伝送データのデータ量はその画像データの解像度との関数として変化するため、距離と属性の種類との組み合わせに応じて、判定対象である属性値を判定するために適切なデータ量の送信データを得ることができる。その結果、運転支援にとって有効な情報を、通信容量を有効に利用して送受信することが可能になる。

　（１０）この開示の第３の局面に係るコンピュータプログラムは、撮像センサと、測距センサと、無線通信装置とに接続されるコンピュータを、撮像センサと物体との距離と、判定対象である属性の種類との組み合わせに応じ、撮像センサの撮像した画像の解像度を決定する解像度決定部と、解像度決定部により決定された解像度に従って、画像のデータから送信データを生成する送信データ生成部と、生成された送信データを送信先に無線通信装置を介して伝送する伝送部として機能させる

　このコンピュータプログラムをコンピュータが実行することにより、撮像センサと物体との間の距離と、判定対象である属性の種類との組み合わせに応じ、解像度決定部により画像データの解像度が決定される。伝送データ量はその画像データの解像度との関数として変化するため、距離と属性の種類との組み合わせに応じて、判定対象である属性値を判定するために適切なデータ量の画像を得ることができる。その結果、運転支援にとって有効な情報を、通信容量を有効に利用して送受信することが可能になる。

　（１１）本開示の第４の局面に係るコンピュータ読み取り可能な記憶媒体は、上記したコンピュータプログラムを記憶している。

　このコンピュータプログラムをコンピュータが読み出して実行することにより、撮像センサと物体との間の距離と、判定対象である属性の種類との組み合わせに応じ、解像度決定部により画像データの解像度が決定される。伝送データ量はその画像データの解像度との関数として変化するため、距離と属性の種類との組み合わせに応じて、判定対象である属性値を定めるために適切な画像を得ることができる。その結果、運転支援にとって有効な情報を、通信容量を有効に利用して送受信することが可能になる。

　この開示の上記及び他の目的、特徴、局面及び利点は、添付の図面と関連して理解されるこの開示に関する次の詳細な説明から明らかとなるであろう。

　［この開示の効果］
　以上のようにこの開示によると、運転支援にとって有効な情報を、通信容量を有効に利用して送受信可能な画像データ伝送装置、画像データ伝送方法、コンピュータプログラム、及び記憶媒体を提供できる。

　［本開示の実施形態の詳細］
　本開示の実施形態に係る画像データ伝送装置、画像データ伝送方法、コンピュータプログラム、及び記憶媒体の具体例を、以下に図面を参照しつつ説明する。なお、本開示はこれらの例示に限定されるものではなく、請求の範囲によって示され、請求の範囲と均等の意味及び範囲内での全ての変更が含まれることが意図される。

　＜第１実施形態＞
　〈構成〉
　《概念的説明》
　図１に、この交通支援システム５０の概念的構成を示す。図１を参照して、交通支援システム５０は、運転支援のための処理を行うエッジサーバ６０と、車両６２などの多数の車両、及び図示しない路側装置を含む。車両６２は１又は複数のセンサを持つ。これらセンサは、撮像センサの一種であるカメラと、測距センサの一種であるライダ及びミリ波レーダを搭載している。車両６２はこれら各種のセンサについて１又は複数個のセンサを持っていてもよい。以下の実施形態では、そのうちカメラ、ライダ及びミリ波レーダが１つずつ存在する場合について示す。これらがそれぞれ複数個ある場合も以下の説明において示す構成と同様の構成によりこの開示を実現できる。

　車両６２のカメラの撮像領域６４の内部には、歩行者６６などの交通参加者と、周囲の物品、例えば樹木６８が入ってくることがある。例えば図２に示すように、撮像領域６４内の車両６２に比較的近い領域において、歩行者６６が車両６２の前方を横切る場合を考える。

　この場合の車両６２のカメラにより撮像した画像１００の例を図３に示す。図３に示すように、画像１００は図２に示す歩行者６６の像１０２と、図２に示す樹木６８の像である樹木の像１０４とを含む。図３に示す例においては、左側の樹木の像１０４と像１０２とはほぼ同じ大きさである。

　これに対し、図４を参照して、車両６２のカメラが撮像領域６４内ではあるが図３の歩行者６６より遠い位置、すなわち樹木６８からも遠い位置にいる歩行者１１０を撮像する場合を考える。この場合、図５に示すように、得られた画像１２０において、歩行者１１０の像１２２は小さくなる。例えば像１２２は、図３の場合と比較して、像１０２の左側にある樹木の像１０４と比較してかなり小さくなることが予測される。

　このように、対象とカメラとの距離が大きくなるほど撮像された画像中のその像は小さくなる。具体的には、画像上の被写体の面積は被写体とカメラとの間の距離の二乗に反比例する。すなわち、その縦及び横のピクセル数が小さくなる。すると、以下のような問題が生じる。

　例えば、図１に示すエッジサーバ６０が画像認識により歩行者などの被写体の属性値を判定する場合を考える。属性とは、「事物の有する特徴・性質」（岩波書店　広辞苑　第六版）のことをいう。例えば人の場合、典型的な属性として「身長」及び「体重」が考えられる。そしてこれら属性には、各人に固有の値（１６５ｃｍ、１８０ｃｍ、４５ｋｇ、６７ｋｇなど）がそれぞれ割り当てられる。すなわち属性とは、この明細書では物に共通して考えられる特徴のことをいい、同じ属性でも物によりその値が異なるものである。この明細書においては、「属性を判定する」とは、「属性値を決定（又は推定）する」という意味として使用する。

　この明細書においては、属性として簡易属性、詳細属性、行動属性、並びに人の場合の体の向き及び顔の向きという５つの種類を考える。この実施形態においては、これらの属性はいずれも、車両、歩行者などの交通参加者である被写体の持つ特徴または性質を示す情報であって、運転支援にとって有効な情報として画像から抽出すべき情報である。

　簡易属性とは、遠くからも認識できる程度の大まかな属性、例えば対象の種類などを示す属性を意味する。例えば歩行者、自動車、二輪車、ガードレールなどの区別である。詳細属性とは、多くの場合、対象の種類より詳しい特徴であって、対象により近づかないと判別できないような属性をいう。例えば自動車の場合であればトラック及び乗用車の区別、さらに大型、中型、小型などの区別、人の場合であれば大人、子供、老人などの区別である。行動属性とは、対象の種類のような外観に関するものではなく、相手の動きを示す属性である。例えば自動車及び人の場合であれば、移動速度、移動の向きなどである。これらの属性は、詳細属性を必要とし、さらにそれらの時系列の情報に基づいて判定される。したがって、行動属性は詳細属性よりもさらに詳しい特徴といえる。最後の２つの属性である体の向き及び顔の向きは、いずれも人に特有の属性である。これらは将来の人の行動を予測するために有用である。体の向きは物の動きだけではなく、画像の詳細まで分からないと判別できない。したがって体の向きは行動属性よりさらに詳しい属性といえる。さらに顔は体の中の一部にすぎない。したがって顔の向きは体の向きよりさらに詳細な属性といえる。

　このように、物の属性には、交通支援のために必要な情報として詳しさの程度が異なる。この明細書においては、このように物の属性の詳しさの程度のことを属性の詳細度といい、属性の値を属性値という。なお、以下の説明においては、属性値を判定することを、単に属性を判定するともいうことがある。

　ところで、人が自動車を運転する場合、これらの属性は、五感を通じて入ってくる情報に基づいて人が瞬時に判断している。人は、そうした判断を容易に行うことができる。しかし、人の感覚を用いずにセンサデータのみを用いてコンピュータの制御により自動運転を行ったり、遠隔制御を行ったりする場合、これら属性値の判定はそれほど容易ではない。

　一般に、被写体の属性値を判定するために必要な画像のピクセル数は、その属性の詳細度により変化する。すなわち、簡易属性のような簡略で大まかな属性の場合には、被写体の像が比較的少ないピクセル数からなっていても属性値を判定できる。しかし、人の体の向き及び顔の向きなどの特に詳細な属性に関しては、被写体の像が多数のピクセルからなっていないと判定できない。したがって、例えば歩行者がカメラから遠くにいる場合には、解像度が高い画像を用いないと被写体の像からその体の向き又は顔の向きなどの属性値を判定することは困難である。

　ところが、解像度が高い画像の場合、データ量が大きく、車両からエッジサーバに送信する送信データ量が増大するという問題がある。データ量が多いと送信に時間を要するだけではなく、無線通信が輻輳しエッジサーバが必要な情報を迅速に収集できない危険性がある。したがってエッジサーバに送信する画像データとして解像度の高い画像のみを使用することは望ましくない。また仮にエッジサーバがそれほど詳細な情報を得る必要がない処理をしている場合、解像度が高い画像を送るのはそもそも効率的ではない。

　そこでこの開示では、画像をエッジサーバに送信するにあたり、撮像対象とカメラ（車両）との間の距離に着目する。すなわち、撮像対象とカメラとの距離が大きな場合には、対象像が小さくなってしまう。そのため、車両がエッジサーバに送信する画像の解像度を高くする。撮像対象とカメラとの距離が小さな場合には逆に、車両がエッジサーバに送信する画像の解像度を低くする。このように画像の解像度を調整することにより、エッジサーバは撮像対象と車両に搭載されたカメラとの距離に関わらず、同様の詳細度の属性を得ることができる。またこの開示では、画像の解像度を、サーバが判定しようとする属性の詳細度に応じて調整する。属性の種類により詳細度が決まると考えれば、エッジサーバが画像に基づいて判定しようとする属性の種類に応じて、エッジサーバに送信する画像の解像度を調整する、と考えることもできる。

　そのためにこの実施形態においては、図６に示す解像度選択テーブル１５０を用いる。解像度選択テーブル１５０は、カメラと物体との距離と、当該物体から判定すべき属性の種類との組み合わせと、当該組み合わせにおいて物体のその属性値を判定できるように予め定めた画像の解像度との対応関係を示す。図６に示す解像度選択テーブル１５０は、横軸にエッジサーバが判定しようとする属性を、縦軸に被写体とカメラとの距離を、それらの交差する位置のセルに、その距離に位置する物体の画像を用いてその物体の属性値を判定するために必要な、画像の最低限の解像度を、それぞれ示した表である。解像度選択テーブル１５０の横軸においては、属性は左から右に行くにしたがってその詳細度が高くなるように配列されている。それに対し縦軸においては、距離は上から下に行くにしたがって大きくなる。なお、縦軸の「５ｍ」は距離が０ｍを超え５ｍ以下であることを示す。同様に「１５０ｍ」はその前の行を参照して、距離が５０ｍを超え１５０ｍ以下であることを示す。最後の行の「１５０ｍ―」は、距離が１５０ｍを超えていることを示す。

　図６において、「ＨＤ」は「Ｈｉｇｈ　Ｄｅｆｉｎｉｔｉｏｎ」、「ＦＨＤ」は「Ｆｕｌｌ　Ｈｉｇｈ　Ｄｅｆｉｎｉｔｉｏｎ」、「ＱＨＤ」は「Ｑｕａｄ　Ｈｉｇｈ　Ｄｅｆｉｎｉｔｉｏｎ」の略である。「４Ｋ」は横の画素数が４０００前後の解像度を意味する。

　解像度選択テーブル１５０を用いると、被写体とカメラとの間の距離と、エッジサーバがその被写体について判定しようとする属性とが与えられれば、画像をエッジサーバに送信する際に必要な最低限の解像度が決められる。例えば、図６を参照して、被写体とカメラとの距離が１５ｍより大きく５０ｍ以下であり、エッジサーバが判定しようとする属性が人の体の向きであるとする。このときに必要な最低限の解像度は、解像度選択テーブル１５０において横軸が「体の向き」、縦軸が「５０ｍ」となるセルにより、「ＦＨＤ」となる。

　対象がカメラから遠く、その像が小さい場合には必要なだけ解像度を高くして、エッジサーバが被写体について判定しようとする属性値を判定できるようにする。また対象がカメラに近く、その像が相対的に大きな場合には、エッジサーバが被写体について判定しようとする属性が判定可能な範囲でできるだけ解像度を低くする。このように、エッジサーバが被写体について属性値を判定しようとするとき、その判定に詳細な画像が必要な場合には相対的に解像度を高くし、より簡易な画像でよい場合には解像度を低くする。

　このように、エッジサーバが判定しようとする属性に応じて最低限必要な情報を車両からエッジサーバに送信することにより、通信容量を節約しながら、エッジサーバにおいて適切な処理が行える。

　一方、通信容量の制限、カメラの性能の制限などにより、解像度選択テーブル１５０に示す解像度では画像をエッジサーバに送信できない場合もあり得る。そうした場合には、この実施形態においては、解像度選択テーブル１５０により決まる解像度よりも低い解像度の画像をエッジサーバに送信する。同時に、その解像度において判定可能な属性に関する情報も車両からエッジサーバに送信する。こうすることにより、エッジサーバは、受信した画像を用いて判定可能な属性を知ることができ、運転支援のために画像を有効に利用できる。そのためにこの実施形態においては、車両からエッジサーバに画像データを送信するときに図７に示す検出属性出力テーブル１６０を使用する。

　図７を参照して、検出属性出力テーブル１６０は、横軸に画像の解像度を、縦軸に距離を、それらの交差する位置のセルに、その解像度及び距離において判定可能な最も詳細な属性を表形式を用いて示したものである。縦軸の意味は図６と同様である。

　例えば図７を参照して、距離が１５ｍを超え５０ｍ以下であって解像度がＦＨＤまでしか利用できない場合、エッジサーバで判定可能な属性は３（体の向き）までである。すなわちエッジサーバは、被写体についての簡易属性、詳細属性、行動属性、及び体の向きまでを判定できる。しかし顔の向きまでは判定できない。同様に距離が５０ｍを超え１５０ｍ以下でＨＤしか利用できない場合、エッジサーバが判定可能な属性は簡易属性のみである。距離が１５０ｍを超えると、解像度がＨＤの場合にはエッジサーバが判定可能な属性はない。解像度が、ＦＨＤならば詳細属性まで、ＱＨＤならば体の向きまで、４Ｋならば顔の向きまでの属性をエッジサーバが判定できる。

　図７に示す検出属性出力テーブル１６０は、図６に示す解像度選択テーブル１５０から算出可能である。

　《エッジサーバ６０》
　図８に、エッジサーバ６０の機能的ブロック図を示す。図８を参照して、エッジサーバ６０は、無線又は有線の通信により、車両及び路側装置（以下、「車両など」という。）との通信を行うための通信装置１８０を含む。エッジサーバ６０はさらに、通信装置１８０に接続され、通信装置１８０が車両などから受信した画像データを含むセンサデータに基づいて運転支援のための情報を生成し、各車両などに送信する運転支援解析部１８２を含む。エッジサーバ６０はさらに、通信装置１８０が車両などから受信した、各車両の車種、位置、移動速度、センサの配置状況などを含む車両情報を記憶し管理するための車両管理部１８８を含む。運転支援解析部１８２は、車両管理部１８８に記憶された車両情報に基づいて各車両などとの通信を行う。

　エッジサーバ６０はさらに、運転支援解析部１８２に接続され、図６に示す解像度選択テーブル１５０を作成するための解像度選択テーブル作成部１８４を含む。解像度選択テーブル作成部１８４は、解像度選択テーブル１５０を作成するに当たり、通信装置１８０がセンサデータ（特に画像データ）の解析を行う際の制約条件に基づき、各属性を判定するために必要な画像の解像度を算出する。エッジサーバ６０はさらに、解像度選択テーブル作成部１８４により作成された解像度選択テーブル１５０を記憶するための解像度選択テーブル記憶部１８６を含む。エッジサーバ６０はさらに、車両管理部１８８に記憶された車両情報に基づき、最新の解像度選択テーブル１５０をまだ送信していない車両に通信装置１８０を介して解像度選択テーブル１５０を送信するための解像度選択テーブル送信部１９０を含む。解像度選択テーブル送信部１９０はこの際、車両管理部１８８に記憶された車両情報により特定される車両の中から送信先の車両を選択する。

　《車両６２》
　図９に、車両６２のうち、この開示に関連する部分の機能ブロック図を示す。図９を参照して、車両６２は、測距センサであるミリ波レーダ２００、撮像センサであるカメラ２０２、及び測距センサであるライダ２０４を含む。車両６２はさらに、これらセンサからのセンサデータを受信して無線通信によりエッジサーバ６０に送信し、エッジサーバ６０から運転支援のための情報を無線通信により受信して運転支援の処理を行うための車載装置２１０を含む。

　図１０を参照して、車載装置２１０は、ミリ波レーダ２００、カメラ２０２、及びライダ２０４に接続され、これらからのセンサデータを受信して車載装置２１０の内部で処理可能なデジタル形式に変換するためのＩ／Ｆ部２３０を含む。なお、Ｉ／ＦはＩｎｔｅｒｆａｃｅを意味する。車載装置２１０はさらに、Ｉ／Ｆ部２３０を介してカメラ２０２が撮像した画像を取得するための画像取得部２３２を含む。車載装置２１０はさらに、エッジサーバ６０との間で無線通信を行うための無線通信装置２３６を含む。車載装置２１０はさらに、無線通信装置２３６がエッジサーバ６０から受信した運転支援情報に基づいて、ドライバの運転支援のための処理を行う運転支援処理装置２３８を含む。

　車載装置２１０はさらに、画像データ内で検出された物体とカメラ２０２との間の距離と、エッジサーバ６０が判定しようとする属性とに基づいて、その属性を定めるために最低限必要な解像度となるよう、必要に応じて画像データをその解像度に変換した送信データを無線通信装置２３６を介してエッジサーバ６０に送信するための画像データ伝送部２３４を含む。この際、画像データ伝送部２３４は、Ｉ／Ｆ部２３０を介してミリ波レーダ２００及びライダ２０４から受信した対象物体との間の測距データ（ライダ２０４の場合にはポイントクラウド）と、画像取得部２３２がカメラ２０２から受信した画像データとに基づいて、画像データ内で検出され現実の物体の位置と、カメラ２０２との間の距離を算出する。この算出では、カメラ２０２とライダ２０４とが近接して配置されていれば、ライダ２０４から物体までの測距データをそのまま用いる。カメラ２０２とライダ２０４との間の距離がカメラ２０２と物体までの距離と比較して無視できない程度の大きさであるときには以下のようにする。すなわち、カメラ２０２とライダ２０４との間の距離、ライダ２０４から物体までの距離、及びカメラ２０２とライダ２０４とを結ぶ線分とライダ２０４から物体の方向に伸ばした半直線との間の距離を用い、三角測量の原理を用いてカメラ２０２から物体までの距離を算出する。

　画像データ伝送部２３４は、無線通信装置２３６を介してエッジサーバ６０から解像度選択テーブル１５０及びエッジサーバ６０が判定しようとする属性である対象属性を示す情報を受信するためのテーブル・対象属性受信部２５４を含む。テーブル・対象属性受信部２５４が解像度選択テーブル１５０を受信するのは、特に限定されないがこの実施形態では車両６２が最初にエッジサーバ６０と通信するときである。対象属性についても特に限定されないが、車両６２が最初にエッジサーバ６０と通信するときでもよいし、エッジサーバ６０から随時受信するようにしてもよい。画像データ伝送部２３４はさらに、テーブル・対象属性受信部２５４が受信した解像度選択テーブル１５０を記憶するための解像度選択テーブル記憶部２５６を含む。画像データ伝送部２３４はさらに、テーブル・対象属性受信部２５４が受信した対象属性を記憶し、対象属性の読み出し要求に応答してこの対象属性を要求元に与えるための対象属性記憶部２６６を含む。なお、エッジサーバ６０は、解像度選択テーブル１５０を変更するたびに各車両に解像度選択テーブル１５０を送信してもよい。

　画像データ伝送部２３４はさらに、ミリ波レーダ２００及びライダ２０４からの出力、並びにカメラ２０２からの画像データを用いて画像内の物体とカメラからその物体までの距離を算出するための物体・距離検出部２５０を含む。この際、物体・距離検出２５０は、Ｉ／Ｆ部２３０を介してミリ波レーダ２００、ライダ２０４の出力を受け、画像取得部２３２を介してカメラ２０２からの画像データを受ける。画像データ伝送部２３４はさらに、解像度選択テーブル記憶部２５６に解像度選択テーブル１５０が記憶されたことに応答して、解像度選択テーブル１５０から検出属性出力テーブル１６０を生成するための検出属性出力テーブル生成部２５８、及び、検出属性出力テーブル生成部２５８が生成した検出属性出力テーブル１６０を記憶するための検出属性出力テーブル記憶部２６０を含む。

　画像データ伝送部２３４はさらに、物体・距離検出部２５０が画像内の各物体について検出した距離と、対象属性記憶部２６６に記憶された対象属性とに基づき、エッジサーバ６０に送信する画像の解像度を決定する解像度決定部２５２を含む。解像度決定部２５２はこのとき、画像内の各物体について検出された距離と、対象属性とに基づいて、解像度選択テーブル記憶部２５６に記憶された解像度選択テーブル１５０をルックアップして各画像について画像の解像度を決定する。画像データ伝送部２３４はさらに、無線通信装置２３６とエッジサーバ６０との間の無線通信に使用できる通信帯域を測定するための通信状態判定部２６２を含む。画像データ伝送部２３４はさらに、解像度決定部２５２により決定された解像度と、通信状態判定部２６２により判定された通信状態とに基づいて、画像取得部２３２が取得した画像の解像度を変更した送信用画像を生成して無線通信装置２３６を介して車両６２に送信するための送信データ生成部２６４を含む。送信データ生成部２６４は、対象属性を判定するために必要十分な解像度の画像を車両６２に送信できるときは上のように動作する。しかし送信データ生成部２６４は、必要な解像度の画像が送信できないときには、検出属性出力テーブル記憶部２６０を参照して、利用できる解像度で判定できる属性を特定する情報を取得する。送信データ生成部２６４はさらに、この情報を送信用画像に付加して無線通信装置２３６を介して車両６２に送信する。

　《タイミング図》
　エッジサーバ６０と車両６２との間の通信タイミングを図１１に示す。図１１を参照して、ステップ２８０で車両６２がエッジサーバ６０から解像度選択テーブル１５０を受信していなければ、車両６２はエッジサーバ６０に対して車両情報を送信する。エッジサーバ６０は、ステップ３００で、受信した車両情報と自己が保存している車両情報とを照合し、車両６２が新たな車両か否かを判定する。車両６２が新たな車両であれば、エッジサーバ６０はステップ３０２で自分が所持している解像度選択テーブル１５０とこの車両６２からの画像に基づいて判定する属性（対象属性）とを車両６２に送信する。エッジサーバ６０は、車両６２がエッジサーバ６０の既に保持している車両情報に対応する車両であればステップ３０２の処理はスキップする。ステップ２８０で、車両６２がエッジサーバ６０から既に解像度選択テーブル１５０を受信していれば車両６２は車両情報をエッジサーバ６０に送信しない。車両６２はこの場合にはさらに、ステップ２８２及びステップ２８４を実行せず、後述するステップ２８６を実行する。

　車両６２は、エッジサーバ６０から送信された解像度選択テーブル１５０及び対象属性を、ステップ２８２で受信し図１０に示す解像度選択テーブル記憶部２５６及び対象属性記憶部２６６に保存する。車両６２はさらに、解像度選択テーブル１５０を受信し保存したときには、ステップ２８４で解像度選択テーブル１５０から検出属性出力テーブル１６０を生成する。車両６２は検出属性出力テーブル１６０を図１０の検出属性出力テーブル記憶部２６０に保存する。車両６２は、エッジサーバ６０から所定時間内に対象属性及び解像度選択テーブル１５０を受信しないときにはステップ２８２及びステップ２８４は実行せず、次のステップ２８６を実行する。

　続いて、車両６２は、ステップ２８６で図１０に示すカメラ２０２を用いた画像の撮像を行う。ステップ２８６で、物体・距離検出部２５０が、撮像した画像から物体を検出し、ライダ２０４及びミリ波レーダ２００の出力を用いてカメラ２０２から各物体までの距離を測定する。ステップ２８８で、送信画像の解像度を決定する。

　ステップ２８８で決定された解像度が、対象の属性値を判定するために必要な解像度ではない場合、車両６２は、判定可能な属性をステップ２８９で決定する。さもなければ、車両６２はステップ２８９の処理を実行しない。最後に車両６２は画像をエッジサーバ６０に送信する。このとき車両６２は、必要であれば画像をステップ２８８で決定された解像度にステップ２９０で変換する。車両６２は、ステップ２８９の処理が実行された場合には、その画像から判定可能な属性を特定する属性情報を画像に付加する。エッジサーバ６０は、ステップ３０４でこの画像を受信する。エッジサーバ６０は、受信した画像の解像度が対象の属性値を判定するために十分であれば、受信した画像から対象の属性値を判定する処理を行う。受信した画像の解像度が対象の属性値を判定するに十分でない場合には、エッジサーバ６０は、画像に付加されている属性情報により定まる各物体の属性値を判定し、運転支援に利用する。

　《検出属性出力テーブル１６０の生成プログラム》
　車両６２の車載装置２１０が解像度選択テーブル１５０に基づいて検出属性出力テーブル１６０を生成するプログラムの制御構造を図１２に示す。なおこの実施形態では検出属性出力テーブル１６０は車両６２が生成する。しかし、この開示はそのような実施形態には限定されない。エッジサーバ６０が解像度選択テーブル１５０から検出属性出力テーブル１６０を生成し、解像度選択テーブル１５０とあわせて車両６２に送信してもよい。

　図１２を参照して、このプログラムは、車載装置２１０が検出属性出力テーブル１６０の記憶領域を準備しその内容を初期化するステップ３３０と、車載装置２１０が検出属性出力テーブル１６０の縦軸に距離を、横軸に解像度を、それぞれ配置するステップ３３２と、車載装置２１０が検出属性出力テーブル１６０の全てのセルについてステップ３３６を繰り返すステップ３３４とを含む。

　ステップ３３６では、車載装置２１０がステップ３３０で準備した検出属性出力テーブル１６０の処理対象のセルを、その距離とその解像度の画像で値が判定できる最も詳細な属性に決定する。

　より具体的には、ステップ３３６では、車載装置２１０は、対象となる、縦軸の距離と横軸の解像度とに対応するセルに対し、以下のようにしてその値を定める。すなわち、車載装置２１０は、解像度選択テーブル１５０の、処理中の距離に対応する横軸の値を左から順番に調べ、対象となる解像度で値が判定できる最も詳細な属性を決定する。そして車載装置２１０は、その属性の種類を示す、予め割り当てられた値を検出属性出力テーブル１６０のそのセルの値とする。例えば、簡易属性には０、詳細属性には１、行動属性には２、体の向きには３、顔の向きには４という値が割り当てられる。セルに対応する距離と解像度との組み合わせによっては、いずれの属性も判定できない場合がある。そうした場合には、特に限定されないが、この実施形態では該当するセルに「－１」という値を格納する。なお、この実施形態では、このように検出属性出力テーブル１６０の各セルの値として、そのセルの距離と解像度との組み合わせに判定できる最も詳細な属性を示す数値を用いる。その結果、以下のような効果が得られる。

　ある距離とある解像度とが与えられたときに、その組み合わせにより得られる最も詳細な属性を示す数値（０、１、２、３又は４）が検出属性出力テーブル１６０から得られる。属性の詳細度は値が大きくなるほど高くなる。このため、この数値が得られると、これよりも小さな数値に対応する属性が得られることも分かる。したがって、各セルに、そのセルの距離及び解像度の組み合わせに対して判定可能な属性を列挙して格納しなくても、値を１つだけ格納しておけば判定可能な属性を全て知ることができる。その結果、各セルのサイズを必要最小限とすることができ、記憶領域を節約できる。

　《車両６２の車載装置２１０のプログラム》
　図１３は、車両６２が行う処理を車載装置２１０により実現するプログラムの制御構造を示すフローチャートである。このプログラムは所定の周期で繰り返し実行される。その周期は通常は予め定められた第１の周期であるが、以下に述べるようにこのプログラムにより第１の周期より長い第２の周期に変更可能である。第１の周期は例えば１００ミリ秒である。第２の周期は例えば２００ミリ秒である。またこの第２の周期は複数通りのうちから選択できる。図１３を参照して、このプログラムは、画像データ及び距離データをカメラ、ライダ、ミリ波レーダから受信するステップ３５０と、画像データ内の物体を検出するステップ３５２と、検出された物体ごとにカメラ２０２からの距離を決定するステップ３５４とを含む。

　このプログラムはさらに、ステップ３５４において決定された距離と、エッジサーバ６０から受信した対象属性とに基づいて、解像度選択テーブル１５０を用いて画像解像度を決定するステップ３５６と、現時点で利用可能な通信帯域を測定するステップ３５７と、ステップ３５６において決定された画像解像度による画像データのデータ量が、ステップ３５７で測定された使用可能な通信帯域より大きいか否かに従って制御の流れを分岐させるステップ３５８とを含む。このプログラムはさらに、ステップ３５８の判定が否定のとき、すなわち画像データのデータ量が使用可能な通信帯域以下の場合に、ステップ３５６において決定された解像度の画像データをエッジサーバ６０に送信して処理を終了するステップ３６０を含む。

　このプログラムはさらに、ステップ３５８の判定が肯定の時、すなわち画像データ量が使用可能な通信帯域を上回っているときに、伝送データ量を削減するためのステップ３６２を含む。この実施形態では、ステップ３６２においてはエッジサーバ６０の許容する範囲で伝送フレームレートを下げる。このプログラムはさらに、ステップ３６２において決定された伝送フレームレートを用いて画像データを伝送したときの伝送データ量が使用可能な通信帯域を上回っているか否かに従って制御の流れを分岐させるステップ３６４を含む。ステップ３６４の判定が否定のとき、すなわち送信データ量が使用可能な通信帯域以下の場合には、制御はステップ３６０に進む。ステップ３６２により伝送フレームレートが下げられることにより、データ伝送の周期は、第１の周期から、より長い第２の周期に変化する。

　このプログラムはさらに、ステップ３６４の判定が肯定のときに、画像内において優先度の高い領域を抽出するステップ３６６と、ステップ３６６において抽出された画像を用いて縮小版の画像を再構成するステップ３６８とを含む。ステップ３６６とステップ３６８の機能も、伝送データ量を削減するためのものである。

　このプログラムはさらに、ステップ３６８までの処理による送信データ量が使用可能な通信帯域を超えているか否かを判定し、判定にしたがって制御の流れを分岐させるステップ３７０を含む。ステップ３７０の判定が否定のとき、すなわち送信データ量が使用可能な通信帯域以下の場合には、制御はステップ３６０に進む。

　このプログラムはさらに、ステップ３７０の判定が肯定のときに、データ量が通信可能な帯域以下になるように元の画像の解像度を下げるステップ３７２と、ステップ３７２において決定された解像度と、ステップ３５４において決定された距離とに基づき、その画像データから判定可能な属性を検出属性出力テーブル１６０からのテーブルルックアップにより決定するステップ３７４とを含む。このプログラムはさらに、ステップ３７４において決定された属性を、ステップ３７２において決定された解像度の画像に属性情報として付加してエッジサーバ６０に伝送して処理を終了するステップ３７６とを含む。

　なお、この実施形態では、ステップ３５２において検出された物体が複数個ある場合、それらのうちで最も高い解像度が要求される属性を基準として画像の解像度を決定する。しかしこの開示はそのような実施形態には限定されない。例えば、個々の物体について上記ステップ３５６からステップ３７６の処理を実行してもよい（ステップ３５７を除く）。又は、画像内の各物体の像の領域ごとに別々の解像度の画像を生成し、それらをまとめてエッジサーバ６０に送信してもよい。ステップ３６６とステップ３６８において行う処理がそうした処理に該当する。

　また、図１３の処理においては、ステップ３６２、３６６及び３６８、並びに３７２及び３７４の処理を、データ量に関する判定をはさみながら順番に行なっている。しかしこの開示はそのような実施形態には限定されない。データ量に関する判定が肯定の場合、ステップ３６２のみ、３６６及び３６８のみ、又は３７２及び３７４のみを実行してからステップ３７６を実行してもよい。また、これらの任意の組み合わせを、任意の順番に従って、間にデータ量に関する判定をはさみながら行ってもよい。例えば、ステップ３５８の判定が肯定のときに、ステップ３６２からステップ３７０の処理を行わず、直接にステップ３７２以下の処理を実行する実施形態も考えられる。又は、ステップ３６２におけるように伝送フレームレートを下げる処理と、ステップ３６６及びステップ３６８におけるように画像を再構成してデータ量を削減する処理との順番を逆にする実施形態も可能である。

　《コンピュータシステム》
　以下の説明では、ＣＰＵはＣｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ、ＤＶＤはＤｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ、ＧＰＵはＧｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ、ＲＯＭはＲｅａｄ－Ｏｎｌｙ　Ｍｅｍｏｒｙ、ＲＡＭはＲａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ、ＧＰＳはＧｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ、ＲＦはＲａｄｉｏ　Ｆｒｅｑｕｅｎｃｙの略である。

　―エッジサーバ６０―
　図１４に示すように、エッジサーバ６０は、図１５に示すＤＶＤ４５２に対する書き込み及び読み出しが可能なＤＶＤドライブ４５０を持つコンピュータ４４０と、いずれもコンピュータ４４０に接続されたモニタ４４２、キーボード４４６及びマウス４４８とを含む。

　図１５を参照して、エッジサーバ６０のコンピュータ４４０は、ＣＰＵ４６０と、ＣＰＵ４６０に接続され、ＣＰＵ４６０とコンピュータ４４０の他のモジュールとの間のデータ及びコマンドの通信路となるバス４６２とを含む。

　コンピュータ４４０はさらに、いずれもバス４６２に接続された、ＧＰＵ４６４と、ＲＯＭ４６６と、ＲＡＭ４６８と、不揮発性の補助記憶装置であるハードディスクドライブ４７０と、ネットワーク４５４が装着可能な前述のＤＶＤドライブ４５０と、ＣＰＵ４６０に対してネットワーク４５４への接続を提供するネットワークＩ／Ｆ４７２と、バス４６２に接続され、半導体メモリ４５６が着脱可能な半導体メモリポート４７４を含む。

　上記実施形態において使用されるエッジサーバ６０は図１４及び図１５に示したコンピュータハードウェアとその周辺機器及びその上において実行されるプログラムにより実現できる。また、上記実施形態において使用される車載装置２１０は、図１６に示したとおり、コンピュータハードウェアとその周辺機器及び周辺モジュール、及びそのコンピュータハードウェア上において実行されるプログラムにより実現できる。

　コンピュータ４４０を上記した各実施形態に係るエッジサーバ６０などの各機能部として機能させるためのコンピュータプログラムは、ＤＶＤドライブ４５０に装着されるＤＶＤ４５２、又は半導体メモリポート４７４に装着される半導体メモリ４５６に記憶されて流通し、これらからさらにハードディスクドライブ４７０に転送される。又は、プログラムはネットワーク４５４及びネットワークＩ／Ｆ４７２を通じてコンピュータ４４０に送信されハードディスクドライブ４７０に記憶されてもよい。プログラムは実行の際にＲＡＭ４６８にロードされる。ネットワーク４５４から、又はネットワーク４５４及びネットワークＩ／Ｆ４７２を介して、直接にＲＡＭ４６８にプログラムをロードしてもよい。なおＲＯＭ４６６にはコンピュータ４４０を起動するためのプログラムを記憶している。ＲＡＭ４６８及びハードディスクドライブ４７０は、センサデータ、解析結果、車両情報などのデータを記憶するために使用される。ＧＰＵ４６４は、数値計算などを並列にかつ高速に実行するためのものである。多数のセンサからのセンサデータを解析する際などに使用される。モニタ４４２、キーボード４４６及びマウス４４８は、エッジサーバ６０の管理者がエッジサーバ６０を操作する際に使用する。

　このプログラムは、コンピュータ４４０を、上記各実施形態に係るエッジサーバ６０及びその各機能部として機能させるための複数個の命令を含む命令列を含む。コンピュータ４４０にこの動作を行わせるのに必要な基本的機能のいくつかは、コンピュータ４４０上において動作するオペレーティングシステム若しくはサードパーティのプログラム又はコンピュータ４４０にインストールされる、ダイナミックリンク可能な各種プログラミングツールキット又はプログラムライブラリにより提供される。したがって、このプログラム自体はこの実施形態のシステム、装置及び方法を実現するのに必要な機能全てを必ずしも含まなくてよい。このプログラムは、命令のうち、所望の結果が得られるように制御されたやり方を用い、適切な機能又はプログラミングツールキット又はプログラムライブラリ内の適切なプログラムを実行時に動的に呼出すことにより、上記したシステム、装置又は方法としての機能を実現する命令のみを含んでいればよい。もちろん、プログラムのみで必要な機能を全て提供してもよい。

　―車載装置２１０―
　図１６を参照して、車載装置２１０は、コントローラ５００と、コントローラ５００に接続されたＧＰＳモジュール５０２と、コントローラ５００に接続されたメモリ５０４と、コントローラ５００のための電源回路５０６と、コントローラ５００に接続されたオーディオ回路５０８及びカメラ２０２とを含む。

　車載装置２１０はさらに、いずれもコントローラ５００に接続されたＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）を含むモニタ５１０と、タッチパネル５１２と、加速度センサ、傾きセンサ、温度センサ、湿度センサ、圧力センサ、照度センサなどを含む各種センサ５１４と、５Ｇなどの携帯電話回線を使用した無線通信機能を提供するためのＲＦ・ベースバンド回路５１６と、Ｗｉ―Ｆｉ通信などの無線通信機能を提供する無線通信モジュール５１８とを含む。

　コントローラ５００は、実質的にはコンピュータであって、ＣＰＵ５５０と、ＣＰＵ５５０とコントローラ５００内の各部との間のデータ及び命令の伝送経路となるバス５５２とを含む。コントローラ５００はさらに、バス５５２に接続され、ＣＰＵ５５０のコマンドにしたがってメモリ５０４の制御を行ってデータの書込及び読み出しを行うメモリコントローラ５５４と、ＣＰＵ５５０による制御にしたがって電源回路５０６の管理を行う電源管理回路５５６と、コントローラ５００内の各部の動作タイミングなどを管理するためのシステム管理回路５５８とを含む。

　コントローラ５００はさらに、バス５５２に接続され、オーディオ回路５０８及びカメラ２０２とのインターフェイスとなるメディア処理回路５６０と、バス５５２を介してＣＰＵ５５０から送信されるコマンド及びパラメータにしたがってモニタ５１０を制御するための表示コントローラ５６２と、タッチパネル５１２、各種センサ５１４及びＲＦ・ベースバンド回路５１６などの外部モジュールとバス５５２とに接続され、ＣＰＵ５５０及びメモリ５０４と外部モジュールとの間のインターフェイスとなる入出力Ｉ／Ｆ５６４とを含む。コントローラ５００はさらに、バス５５２に接続され、ＣＰＵ５５０から委任されたグラフィック処理及び並列計算などを行ってバス５５２を介して結果をＣＰＵ５５０に返す処理を実行するＧＰＵ５６６と、コントローラ５００を車載ネットワーク５７０などに接続するためのネットワークＩ／Ｆ５６８とを含む。図１６のＲＦ・ベースバンド回路５１６及び無線通信モジュール５１８が図１０に示す無線通信装置２３６を構成する。

　エッジサーバ６０と同様に、図１６に示すコントローラ５００を上記した各実施形態に係る車載装置２１０の各機能部として機能させるためのコンピュータプログラムは、この実施形態においては、ＲＦ・ベースバンド回路５１６又は無線通信モジュール５１８による無線通信を介して外部ネットワークからコントローラ５００に送信され、メモリコントローラ５５４を介してメモリ５０４に格納される。車載装置２１０がメモリカードの処理モジュールを持っていれば、そのメモリカードからプログラムをメモリ５０４に転送できる。メモリ５０４に格納されたプログラムは実行の際にＣＰＵ５５０により読み出され、解釈され、実行される。実行結果は、プログラムにより定まるアドレスに転送される。データはこのアドレスにより指定されるメモリに格納され、又は所定のモジュールに転送され処理される。プログラムをメモリカードなどから直接実行してもよい。

　このプログラムは、コントローラ５００を、上記各実施形態に係る車載装置２１０及びその各機能部として機能させるための複数個の命令を含む命令列を含む。コントローラ５００にこの動作を行わせるのに必要な基本的機能のいくつかはコントローラ５００上において動作するオペレーティングシステム若しくはサードパーティのプログラム又はコントローラ５００にインストールされる、ダイナミックリンク可能な各種プログラミングツールキット又はプログラムライブラリにより提供される。したがって、このプログラム自体はこの実施形態のシステム、装置及び方法を実現するのに必要な機能全てを必ずしも含まなくてよい。このプログラムは、命令のうち、所望の結果が得られるように制御されたやり方を用いて適切な機能又はプログラミングツールキット又はプログラムライブラリ内の適切なプログラムを実行時に動的に呼出すことにより、上記したシステム、装置又は方法としての機能を実現する命令のみを含んでいればよい。もちろん、プログラムのみにより必要な機能を全て提供してもよい。

　図１５に示すコンピュータ４４０及び図１６に示すコントローラ５００及びそれらの周辺機器の動作は周知であるか、又はこの開示とは特に関係がない。したがって、それらについての詳細な構成及びその動作についてはこの明細書ではこれ以上は説明しない。

　〈動作〉
　上記したエッジサーバ６０及び車両６２は以下のように動作する。以下の動作の説明は、（Ａ）初期処理、（Ｂ）エッジサーバ６０が指示した属性を判定するに十分な解像度の画像が得られる場合、及び（Ｃ）エッジサーバ６０が指示した属性を判定するに十分な解像度の画像が得られない場合、の３つの場合に分けて行う。

　《初期処理》
　―エッジサーバ６０の処理―
　図８を参照して、運転支援解析部１８２の解析能力及びその解析処理の内容に基づいて、解像度選択テーブル作成部１８４が解像度選択テーブル１５０を生成する。解像度選択テーブル１５０は解像度選択テーブル記憶部１８６に記憶される。この処理は、例えば運転支援解析部１８２が最初にエッジサーバ６０にインストールされた場合、運転支援解析部１８２に新たな機能が追加された場合、及び運転支援解析部１８２の機能のいずれかが強化された場合などに行われる。例えば運転支援解析部１８２が既成の解析エンジンを使用している場合、その解析エンジンの提供者が同時に解像度選択テーブル１５０を利用者に提供する事も考えられる。なお、この開示は画像の解像度に関するものであり、例えば超解像度処理をする能力が運転支援解析部１８２にあるか否かなどにより、解像度選択テーブル１５０の内容が異なってくる。

　エッジサーバ６０の管轄領域に新たに車両６２が入ってきた場合を想定する。車両６２は、それまでと異なるエッジサーバ６０と通信可能になったことを検出し、自己の車両情報をエッジサーバ６０に送信する。エッジサーバ６０はこの車両情報を図８の車両管理部１８８に記憶する。車両管理部１８８が新たな車両情報を記憶したことに応答して、解像度選択テーブル送信部１９０が解像度選択テーブル記憶部１８６から解像度選択テーブル１５０を読み出す。解像度選択テーブル送信部１９０は、運転支援解析部１８２が行う運転支援の処理のために必要とする属性（対象属性）とともに通信装置１８０を介して解像度選択テーブル１５０を車両６２に送信する。

　―車両６２の処理―
　図１０を参照して、無線通信装置２３６を介してテーブル・対象属性受信部２５４がエッジサーバ６０から解像度選択テーブル１５０及び対象属性を受信する。テーブル・対象属性受信部２５４は解像度選択テーブル１５０を解像度選択テーブル記憶部２５６に、対象属性を対象属性記憶部２６６に、それぞれ格納する。解像度選択テーブル記憶部２５６に解像度選択テーブル１５０が記憶されたことに応答して、検出属性出力テーブル生成部２５８が検出属性出力テーブル１６０を生成する。生成された検出属性出力テーブル１６０は検出属性出力テーブル記憶部２６０に格納される。これで車両６２からエッジサーバ６０への画像送信の準備が整ったことになる。

　（Ａ）十分な解像度の画像が得られる場合
　―車両６２―
　ミリ波レーダ２００、カメラ２０２、及びライダ２０４は、それぞれ周期的に周囲の環境に関するセンサデータを出力しＩ／Ｆ部２３０に与える。Ｉ／Ｆ部２３０は画像データを画像取得部２３２に、それ以外の測距データを物体・距離検出部２５０に、それぞれ与える。カメラ２０２が出力する画像は、その性能における最大解像度の画像データである。

　ミリ波レーダ２００は検知された物体までの距離及びカメラに対する相対速度などの情報を出力する。一方、ライダ２０４は、物体に反射して帰ってきたレーザービームの点の３次元位置の集合（ポイントクラウド）を出力する。ミリ波レーダ２００及びライダ２０４は車両から物体までの距離を測定する測距センサとして機能する。

　物体・距離検出部２５０は、ミリ波レーダ２００及びライダ２０４の出力を画像取得部２３２が受信した画像データとともに受け（図１３のステップ３５０）総合して解析する。物体・距離検出部２５０はこの結果、画像内の物体を検出し（ステップ３５２）、カメラからその物体までの距離を算出する（ステップ３５４）。なお、以下では説明を簡明にするために、検出される物体が１つの場合について説明するが、検出される物体が複数の場合には、それらのうちで最も大きな解像度を必要とする物体を基準として以下の処理を実行すればよい。カメラからの距離が最大の物体を基準とすることもできる。又は、エッジサーバ６０から指定された距離範囲内においてカメラからの距離が最大の物体を基準としてもよい。遠くにある物体は、運転支援の処理に関する緊急性がないか又は小さい。遠くにある物体の属性は、多くの場合、次回の撮像時に判定できれば問題がないためである。

　解像度決定部２５２は、物体・距離検出部２５０により検出された物体とカメラ２０２との距離と、対象属性記憶部２６６に記憶された対象属性とを用いて解像度選択テーブル記憶部２５６に記憶された解像度選択テーブル１５０を参照し、画像データの解像度を決定する（図１３のステップ３５６）。送信データ生成部２６４は、画像取得部２３２が取得した画像を決定された解像度に変換した後のデータ量を計算する。送信データ生成部２６４はさらに、通信状態判定部２６２が図１３のステップ３５７で測定した通信帯域の大きさに鑑み、画像データのデータ量が使用可能な通信帯域より大きいか否かを判定する（ステップ３５８）。ここではこの判定は否定となるものとする。決定された解像度の画像データを送信しても問題ないため、図１０の送信データ生成部２６４は画像をこの決定された解像度に変換し、無線通信装置２３６を介してエッジサーバ６０に送信する（図１３のステップ３６０）。

　―エッジサーバ６０―
　図８を参照して、通信装置１８０はこの画像データを受信し運転支援解析部１８２に与える。この画像データは運転支援解析部１８２が予定していた属性を判定するために十分な解像度を持っている。したがって運転支援解析部１８２はこの画像データを解析して運転支援処理を行う。解析処理の結果は、車両管理部１８８に記憶された、エッジサーバ６０の管轄領域内の各車両に送信される。

　（Ｂ）十分な解像度の画像が得られないか、送信データ量が通信帯域を上回る場合
　図１３のステップ３５０からステップ３５７までの処理は、十分な解像度の画像が得られるときと同様である。しかし十分な解像度の画像が得られないか、送信データ量が通信帯域を上回る場合には、ステップ３５８の判定が肯定となる。すなわち、画像データのデータ量が通信帯域を上回っている。そこで車両６２は、ステップ３６２において、サーバの許容範囲で伝送フレームレートを下げたときの伝送データ量を算出する。画像の解像度はステップ３５６において決定された値に維持される。

　これ以後、ステップ３６４及びステップ３７０において処理が分岐する。以下、これらを順番に説明する。

　（Ｂ１）伝送データ量≦使用可能な通信帯域のとき
　この場合、ステップ３６４の判定が否定となる。車両６２はステップ３６０において画像をこの解像度に変換し、その画像データをエッジサーバ６０に送信する。

　この画像データを受信したエッジサーバ６０が行う処理は「（Ａ）十分な解像度の画像が得られる場合」に行われる処理と同様である。

　（Ｂ２）伝送データ量＞使用可能な通信帯域のとき
　この場合、ステップ３６４の判定が肯定となる。このときには、画像の中で伝送優先度の高い領域を抽出する（図１３のステップ３６６）。伝送優先度とは、検出された物体を送信する際の優先度として予めエッジサーバ６０及び車両６２が共有する情報である。伝送優先度が低い物体の例として、動的物体以外の物体、映り込みの面積がしきい値以下であり属性を判定することが困難であることが明らかな物体、及びエッジサーバ６０が指定した距離より遠い位置に存在する物体などが考えられる。伝送優先度の高い領域とは、検出された物体を少なくとも含む、元の画像より小さな領域のことをいう。

　ステップ３６８において、この抽出された領域の画像を用いて、縮小版の画像を再構成する（ステップ３６８）。物体が複数あるときには、それらを含む複数の領域をそれらの画面上の位置に並べる。ここでは、抽出された領域の各々の解像度はステップ３５６において決定された解像度である。これら以外の領域には、例えばブランクの画像を並べる。ブランクの画像は、送信時に効率よく圧縮される。したがってこのように画像を並べることにより、伝送データ量が小さな縮小版の画像が再構成できる。物体の領域以外の領域には、ブランクの画像ではなく、解像度を特に下げた画像を並べてもよいし、特定のパターンが記録された画像であって伝送データ量の小さな画像を並べてもよい。

　このようにして再構成した画像のデータ量が使用可能な通信帯域以下か否かがステップ３７０において判定される。

　（Ｂ２―１）データ量≦使用可能な通信帯域のとき
　この場合、ステップ３７０の判定は否定となる。この結果、車両６２はステップ３６０において上記のように再構成した画像データをエッジサーバ６０に送信する。エッジサーバ６０が行う処理は「（Ａ）十分な解像度の画像が得られる場合」に行われる処理と同様である。

　（Ｂ２－２）データ量＞使用可能な通信帯域のとき
　この場合、ステップ３７０の判定が肯定となる。すなわち、ステップ３７０において依然としてデータ量が通信帯域より大きいと判定される。これは、例えば伝送優先度の高い物体が画像内に多く、かつ広範囲に含まれているような場合である。車両６２はさらに以下のような処理を行う。

　すなわち、車両６２は、ステップ３５６において決定された解像度の値にかかわらず、使用可能な通信帯域を用いて送信可能なデータ量以下になるように、元画像の解像度を下げる。このように解像度を下げると、エッジサーバ６０が対象属性を判定するためにはこの画像は使用できないが、この画像を用いて他の属性を判定できる可能性がある。しかし、エッジサーバ６０が実際に画像から物体の属性を判定する処理を行わない限り、どの属性が判定でき、どの属性が判定できないかをエッジサーバ６０は判定できない。

　そこでこの実施形態では、車両６２は、このように解像度が要求水準より低い画像を用いてどのような属性を判定できるかに関する情報を画像に付加する。具体的には、車両６２は、ステップ３７４において、物体までの距離と、ステップ３７２において決定された解像度とに基づき、図１０に示す検出属性出力テーブル記憶部２６０に記憶された検出属性出力テーブル１６０を参照して、どの属性まで判定できるかを決定する（ステップ３７４）。検出属性出力テーブル１６０を参照することにより、ステップ３７２において得られた画像データから判定可能な最も詳細な属性の種類を示す値が決定される。

　車両６２は、画像データをステップ３７２において低解像度に変換された画像データにステップ３７４において決定された属性の種類を示す属性情報を付加する。車両６２はこの属性情報が付加された画像データをエッジサーバ６０に伝送し処理を終了する。

　このデータを受信したエッジサーバ６０は、受信した画像に属性情報が付加されていることを検出する。この場合、エッジサーバ６０は、受信した画像から、属性情報により指定された属性及び判定可能な属性を判定し、運転支援のための処理に利用する。

　《第１実施形態の効果》
　以上のようにこの実施形態によれば、エッジサーバ６０から車両６２に所望の属性（対象属性）と解像度選択テーブル１５０とを送信する。車両６２は、エッジサーバ６０が対象属性を判定できる範囲において最も低い解像度となるように画像を変換しエッジサーバ６０に送信する。車両６２は必要以上に高い解像度を用いて画像をエッジサーバ６０に送信する必要がない。その結果、エッジサーバ６０による運転支援の処理の質を落とすことなくそのために必要な伝送データ量を削減できる。利用可能な通信帯域よりも画像データのほうが大きい場合には、車両６２は画像を送信する際の伝送フレームレートを落とす。この場合、エッジサーバ６０が受信する画像データの解像度は所望の解像度である。したがって運転支援の処理への影響は最低限に抑えられる。

　伝送フレームレートを落としても画像データをエッジサーバ６０に送信できない場合には、車両６２は伝送データ量がさらに小さくなるように画像を再構成してエッジサーバ６０に送信する。それでも伝送データ量が利用可能な通信帯域より大きい場合、車両６２はその通信帯域を用いて送信可能な程度にまで元の画像の解像度を下げてエッジサーバ６０に送信する。この際、車両６２はその解像度の画像を用いて判定可能な属性の種類を示す属性情報を画像データに付加する。この画像データを受信したエッジサーバ６０は、画像データに付加された属性情報を調べることにより、その画像データから判定可能な属性を知ることができ、そのための処理を直ちに実行できる。属性情報が付加されていない場合と比較して、エッジサーバ６０がその画像からは判定できない属性を抽出するための処理を無駄に行うことが避けられる。

　その結果、車両６２は、通信帯域を有効に利用しながら、運転支援に必要な情報をエッジサーバ６０に送信できる。

　＜第２実施形態＞
　〈構成〉
　第１実施形態では、解像度選択テーブル１５０をエッジサーバ６０が作成して車両６２に送信する。車両６２が検出属性出力テーブル１６０を作成し、送信画像の解像度が低いときに検出属性出力テーブル１６０から得た属性情報を画像データに付加する。しかしこの開示はそのような実施形態には限定されない。例えば検出属性出力テーブル１６０をいわゆるテーブル形式ではなく、データベース（ＤＢ）とすることができる。ＤＢを用いると検出属性出力テーブル１６０を作成しなくてもＤＢの機能を用いて車両６２が必要な属性情報を得ることができる。この第２実施形態はそのような実施形態である。

　全体の構成は図１と同様である。ここでは図８のエッジサーバ６０に替えて図１７に示すエッジサーバ６００を用いる。同様に図１０の車載装置２１０に替えて図１８に示す車載装置６５０を用いる。これらのハードウェア構成は第１実施形態と同様である。以下、これらについてその機能的構成を説明する。

　《エッジサーバ６００》
　図１７を参照して、エッジサーバ６００は、図８に示すものと同じ通信装置１８０及び運転支援解析部１８２と、通信装置１８０が車両などから受信した、各車両の車種、位置、移動速度、センサの配置状況などを含む車両情報を記憶し管理するための車両管理部６１８とを含む。エッジサーバ６００はさらに、運転支援解析部１８２の構成から解像度選択テーブル１５０を作成するための情報と同様の情報を抽出し、ＤＢに登録する処理を行うための解像度選択テーブルＤＢ作成部６０８と、解像度選択テーブル１５０と同様の情報を記憶し、様々な検索方法を用いて検索する機能を提供する解像度選択テーブルＤＢ６１０とを含む。

　解像度選択テーブルＤＢ６１０はいわゆるリレーショナルＤＢであって、ＤＢでいう意味での解像度選択テーブルを含む。

　この解像度選択テーブルのレコード形式は、例えば＜レコード識別子、距離下限、距離上限、属性識別子、解像度＞である。レコード識別子は各レコードを識別するためのユニークな識別子であり、通常のＤＢのレコードでは必ず使用されるものである。距離下限及び距離上限は、そのレコードを適用可能な距離範囲を示す。属性識別子は、判定対象となる属性を区別するための識別子である。属性は、第１実施形態と同様、簡易属性、詳細属性、行動属性、体の向き、及び顔の向きを含む。属性識別子はこれら属性を区別するためのものでありユニークな値が各属性に割り当てられる。解像度も、第１実施形態と同様、ＨＤ、ＦＨＤ、ＱＨＤ、及び４Ｋを含む。

　例えば画像から検出された物体までの距離が３０ｍであり、対象属性が体の向きならば、以下のようなクエリをＤＢに与える。

　Select　distinct　解像度　from　解像度選択テーブル　where　距離下限<30m　and　距離上限=>30m　and　属性識別子=体の向き（の識別子）
　図６を参照すると、このクエリにより、この条件を充足する解像度のリスト｛ＦＨＤ，ＨＤ｝が得られる。送信データ容量を小さくするためには、このリストの中で最も小さな解像度を選択すればよい。

　エッジサーバ６００はさらに、車両管理部６１８が新たな車両から車両情報を受信したことに応答して、解像度選択テーブルＤＢ６１０の解像度選択テーブルからそのダンプファイルを出力させるための解像度選択テーブルダンプ処理部６１２と、解像度選択テーブルダンプ処理部６１２により得られたダンプファイルを記憶するための解像度選択テーブルダンプファイル記憶部６１４と、解像度選択テーブルダンプファイル記憶部６１４に記憶されたダンプファイルを、車両管理部６１８が新たに受信した車両情報に対応する車両に通信装置１８０を介して送信するダンプファイル送信部６１６とを含む。

　《車載装置６５０》
　図１８を参照して、第２実施形態に係る車載装置６５０は、図１０に示す車載装置２１０と比較して、図１０の画像データ伝送部２３４に代えて画像データ伝送部６６０を含む。画像データ伝送部６６０は、図１０のように解像度選択テーブル１５０及び検出属性出力テーブル１６０を利用するものではなく、解像度選択テーブルＤＢを用いる。

　画像データ伝送部６６０は、図１０の画像データ伝送部２３４と同様、物体・距離検出部２５０、通信状態判定部２６２、及び対象属性記憶部２６６を含む。

　画像データ伝送部６６０はさらに、車両が最初にエッジサーバ６００と通信する際に、無線通信装置２３６を介してエッジサーバ６００から解像度選択テーブル１５０のダンプファイルと、車両が判定しようとする属性を示す対象属性とを受信するためのテーブル・対象属性受信部６８４と、解像度選択テーブルＤＢ６８８と、テーブル・対象属性受信部６８４が受信したダンプファイルを用いて解像度選択テーブルＤＢ６８８をリストアするための解像度選択テーブルＤＢリストア部６８６とを含む。

　画像データ伝送部６６０はさらに、物体・距離検出部２５０が画像内の各物体について検出した距離と、対象属性記憶部２６６に記憶された対象属性とに基づき、エッジサーバ６００に送信する画像の解像度のリストを決定する解像度決定部６８２を含む。解像度決定部６８２は、具体的には解像度選択テーブルＤＢ６８８に対するクエリを発行することにより解像度もリストを取得する。画像データ伝送部６６０はさらに、解像度決定部６８２により決定された解像度と、通信状態判定部２６２により判定された通信状態とに基づいて、画像取得部２３２が取得した画像の解像度を変更した送信用画像を生成して無線通信装置２３６を介して車両６２に送信するための送信データ生成部６９２を含む。

　画像データ伝送部６６０はさらに、送信データ生成部６９２が送信用画像を生成する際に対象属性が判定可能な解像度が得られず、画像の解像度をより低く決定するときに、その解像度の画像を用いて判定可能な属性のリストを送信データ生成部６９２に与えるための解像度選択テーブルＤＢ検索部６９０を含む。具体的には、解像度選択テーブルＤＢ検索部６９０は解像度選択テーブルＤＢ６８８から所与の解像度で判定可能な属性のリストを検索する。

　解像度選択テーブルＤＢ６８８の構造（レコード構成）は図１７の解像度選択テーブルＤＢ６１０について説明したとおりである。解像度決定部６８２が画像の解像度を決定する際に発行するクエリの例は、既に述べたとおり以下のようなものである。

　Select　distinct　解像度　from　解像度選択テーブル　where　距離下限<30m　and　距離上限=>30m　and　属性識別子=体の向き（の識別子）
　このクエリにより、距離が３０ｍのときに対象属性の判定が可能な画像の解像度のリスト｛ＦＨＤ，ＨＤ｝を得ることができる。

　これに対して解像度選択テーブルＤＢ検索部６９０が発行するクエリは以下のようなものである。

　Select　属性識別子　from　解像度選択テーブル　where　距離下限<30m　and　距離上限=>30m　and　解像度=送信データ生成部６９２が決定した解像度
　このクエリを解像度選択テーブルＤＢ検索部６９０が解像度選択テーブルＤＢ６８８に発行することにより、解像度選択テーブルＤＢ６８８からは、指定された距離（例えば３０ｍ）に存在する被写体の画像であって、送信データ生成部６９２が決定した解像度である画像から判定可能な属性のリストが得られる。上のクエリでいえば、物体までの距離が３０ｍ、送信データ生成部６９２が決定した解像度がＦＨＤ以下という条件を満たす属性｛３（体の向き）｝が得られる。したがってエッジサーバ６００は、この画像を利用して、体の向きと、それより粗い（詳細度が低い）属性である簡易属性、詳細属性、及び行動属性とを判定できることが分かる（図７を参照）。したがって車両は、これらの属性のリスト、又は最も詳細な属性を示す属性名を属性情報としてエッジサーバ６００に送信すればよい。

　〈動作〉
　この第２実施形態に係るエッジサーバ６００及び車載装置６５０は以下のように動作する。

　図１７を参照して、解像度選択テーブルＤＢ作成部６０８は、運転支援解析部１８２の持つ機能に基づいて、解像度選択テーブルＤＢ６１０の解像度選択テーブルの各レコードを登録する。解像度選択テーブルＤＢ作成部６０８は、運転支援解析部１８２が最初に起動したとき、運転支援解析部１８２に新たな機能が追加されたとき、及び運転支援解析部１８２の機能に何らかの修正が加えられたときに解像度選択テーブルＤＢ６１０を作成又は更新する。

　車載装置６５０がエッジサーバ６００の管轄区域に入ると、図１９を参照して、車載装置６５０はエッジサーバ６００に対して自己の車両情報を送信する（ステップ２８０）。エッジサーバ６００は車両情報を受信したことに応答して、その車両情報が既に車両管理部６１８に登録されているか否かを確認する（ステップ３００）。既にその車両が車両管理部６１８に登録されているときには、エッジサーバ６００は車両から画像を受信するまで待機する（図１９におけるステップ３００からステップ３０４の経路）。

　その車両がまだ車両管理部６１８に登録されていないときには、図１７を参照して、エッジサーバ６００の解像度選択テーブルダンプ処理部６１２が解像度選択テーブルＤＢ６１０のダンプファイルを作成し解像度選択テーブルダンプファイル記憶部６１４に保存する（図１９のステップ７３０）。ダンプファイル送信部６１６は、ダンプファイルが解像度選択テーブルダンプファイル記憶部６１４に保存されたことに応答して、エッジサーバ６００の判定対象である属性（対象属性）とともにそのダンプファイルをエッジサーバ６００の通信装置１８０を介して車載装置６５０に送信する（ステップ７３２）。

　図１８に示す車載装置６５０のテーブル・対象属性受信部６８４は、図１９のステップ７１０においてこのダンプファイルと対象属性とを受信し、ダンプファイルを対象属性記憶部２６６に出力し、対象属性を対象属性記憶部２６６に保存する。解像度選択テーブルＤＢリストア部６８６はこのダンプファイルから解像度選択テーブルＤＢ６８８をリストアする。この結果、解像度選択テーブルＤＢ６８８は解像度決定部６８２からのクエリ及び解像度選択テーブルＤＢ検索部６９０からのクエリに回答することが可能になる。なお、既に解像度選択テーブルのダンプファイルを受信済のときは、車載装置６５０はステップ７１０の処理を行わず、ステップ２８６の処理を実行する。

　ステップ２８６においては、カメラ２０２を用いた画像の撮像及び画像内の各物体についてのカメラ２０２からの距離の測定が行われる。この処理は図１８の物体・距離検出部２５０が行う。続くステップ７１１において、ステップ２８６において測定された距離と、対象属性記憶部２６６に保存されている対象属性とにより、前述したクエリを送信データ生成部６９２に対して発行することにより、対応する解像度のリストが得られる。解像度決定部６８２は、この解像度のリストのうち、最も低い解像度を送信画像の解像度に決定する。

　図１３のステップ３５８、３６４、及びステップ３７０においてこの解像度の画像の送信が可能かどうかに関する決定がされ、可能ならば車載装置６５０は画像をその解像度に変換してエッジサーバ６００に送信する（ステップ２９０）。これは、図１３のステップ３５８、３６４、及びステップ３７０のいずれかにおいて判定が否定となった場合に相当する。

　その解像度の画像の送信が可能でなければ（図１３のステップ３５８、３６４及びステップ３７０の判定がいずれも肯定ならば）、車載装置６５０は、ステップ７１２において利用可能な通信帯域に基づいて、エッジサーバ６００に送信可能なデータ量の解像度に画像を変換する。さらに、車載装置６５０は、このように変換された後の解像度の画像に基づいて判定可能な属性を決定する。具体的には、車載装置６５０は、解像度選択テーブルＤＢ６８８（図１８）に対して、距離と、解像度とをキーとして、その距離で、その解像度の画像から判定可能な属性を検索するクエリを発行する。車載装置６５０は、このクエリの結果得られた属性をエッジサーバ６００に送信する属性情報に決定する。

　この後、車載装置６５０は、ステップ２９０において、解像度を変換した後の画像データに、必要ならばその画像データにより判定可能な最も詳細な属性を示す属性情報を付し、エッジサーバ６００に送信する。

　エッジサーバ６００はステップ３０４においてこの画像を受信する。以後のエッジサーバ６００の動作は第１実施形態と同様である。

　《第２実施形態の効果》
　以上のようにこの実施形態によれば、検出属性出力テーブル１６０を作成しなくても、ＤＢを用いることにより解像度選択テーブル１５０及び検出属性出力テーブル１６０の双方の機能を実現可能である。検出属性出力テーブル１６０の生成を行う必要がなく、車載装置６５０の構成をより単純化できる。

　＜変形例＞
　上記第１実施形態では、解像度選択テーブル１５０をエッジサーバ６０から車両６２に送信し、車両６２が検出属性出力テーブル１６０を生成している。しかしこの開示はそのような実施形態には限定されない。例えば解像度選択テーブル１５０と検出属性出力テーブル１６０の双方をエッジサーバ６０が作成し、車両６２に送信してもよい。

　第１実施形態及び第２実施形態では、対象属性の判定ができないような解像度の画像しか送信できないときに、車載装置は、画像の解像度をより引き下げ、その解像度の画像を用いて判定可能な属性に関する情報をエッジサーバ６０、６００に送信している。しかしこの開示はそのような実施形態には限定されない。例えばそうしたときには十分な解像度の画像を送信できないことを示す情報をエッジサーバ６０、６００などに送信するようにしてもよい。その場合には検出属性出力テーブル１６０を用いたり、解像度選択テーブルＤＢ６８８を用いたりする必要はなく、車載装置の構成をより簡素化できる。

　エッジサーバ６０、６００などに画像を伝送可能な車両が複数ある場合には、以下の処理シーケンスを採用してもよい。すなわち各車両は、自分が送信する画像の解像度においても判定可能な属性に関する情報をエッジサーバ６０、６００などに送信する。エッジサーバ６０、６００などは、この情報に基づいて、実際に画像を送信させる車両を選択する。エッジサーバ６０、６００などは、選択した車両に対して画像を送信するよう指示する。指示を受けた車両は、判定可能な属性を決めるときに用いた解像度の画像をエッジサーバ６０、６００などに送信する。このような処理シーケンスを用いることにより、エッジサーバ６０、６００などが対象属性を判定できる解像度を持つ画像を取得できる。選択された車両のみが画像を送信すればよいので、エッジサーバ６０、６００などにおける運転支援の処理の質を落とすことなく伝送データ量を削減できる。

　さらに上記第１実施形態及び第２実施形態においては、解像度を「ＨＤ」などの記号を用いて表している。これは、現状の画像処理において扱われる解像度の典型的なものだからである。しかしこの開示はそのような実施形態には限定されない。例えば解像度を直接数値（縦解像度×横解像度）を用いて指定してもよい。又は、解像度の縦及び横の各々を、距離及び対象属性の連続関数により定義するようにしてもよい。この場合には、縦及び横の比率をＨＤの比率と一致させるようにしてもよいし、他の値と一致させるようにしてもよい。

　また上記実施形態においては、ライダなどの測距センサを用いて車両（カメラ）と対象物体との間の距離を測定又は算出している。しかしこの開示はこのような実施形態には限定されない。例えばステレオカメラを用いて対象との距離を算出してもよいし、単眼カメラの複数の画像に対する画像処理を用いて対象との距離を算出してもよい。

　さらに、上記実施形態においては、エッジサーバ６０及びエッジサーバ６００は、画像に属性情報が付されているときには、その属性情報により特定される属性を画像から判定している。しかしこの開示はそのような実施形態には限定されない。属性情報がどのような値かを調べることにより、実際に画像解析を行うか否かを判定するようにしてもよい。この場合、エッジサーバ６０又はエッジサーバ６００の計算資源を節約できる。

　また、上記実施形態においては、車両６２及び車載装置６５０は対象属性を判定できないような解像度の画像しか送信できないときに属性情報を画像に付加している。しかしこの開示はそのような実施形態には限定されない。例えば、常に属性情報を画像に付加してもよい。この場合、エッジサーバ６０及び車載装置６５０から対象属性を車両６２及び車載装置６５０に送信する必要もなくなる。画像に付加されている画像情報に基づいて、どのような属性を判定するかをエッジサーバ６０及び車載装置６５０が判定するようにしてもよい。

　上記実施形態は車両とサーバを例としている。しかしこの開示はそのような実施形態には限定されない。いわゆる車車間でもこの開示を同様に適用可能である。

　また上記実施形態においては、車両６２又は車載装置６５０がエッジサーバ６０又はエッジサーバ６００と通信を開始した後に、エッジサーバ６０又はエッジサーバ６００から解像度選択テーブル１５０などを車両６２又は車載装置６５０に送信している。しかしこの開示はそのような実施形態には限定されない。例えば、エッジサーバ６０などのサーバが、自己に隣接するサーバに解像度選択テーブル１５０を送付し、自己の管轄領域に進入してくる車両に予め配布するよう依頼してもよい。また解像度選択テーブル１５０にエッジサーバ６０又はエッジサーバ６００の識別子を付加しておいてもよい。この場合、車両がエッジサーバ６０又はエッジサーバ６００の管轄領域の外に出ても解像度選択テーブル１５０を消去しなくともよくなる。これら車両がエッジサーバ６０又はエッジサーバ６００の管轄領域に進入したときには、解像度選択テーブル１５０に更新があったか否かを車両とサーバとの間の通信により確認し、更新があったときのみ新たな解像度選択テーブル１５０を車両に送信するようにしてもよい。この場合も、解像度選択テーブル１５０の全体を送信せず、更新された項目のみを送信するようにしてもよい。

　今回開示された実施形態は全ての点において例示であって制限的なものではないと考えられるべきである。本開示の範囲は、開示の詳細な説明の記載により示されるわけではなく、請求の範囲の各請求項によって示され、請求の範囲の文言と均等の意味及び範囲内での全ての変更が含まれることが意図される。

５０　交通支援システム
６０、６００　エッジサーバ
６２　車両
６４　撮像領域
６６、１１０　歩行者
６８　樹木
１００、１２０　画像
１０２、１２２　像
１０４　樹木の像
１５０　解像度選択テーブル
１６０　検出属性出力テーブル
１８０　通信装置
１８２　運転支援解析部
１８４　解像度選択テーブル作成部
１８６、２５６　解像度選択テーブル記憶部
１８８、６１８　車両管理部
１９０　解像度選択テーブル送信部
２００　ミリ波レーダ
２０２　カメラ
２０４　ライダ
２１０、６５０　車載装置
２３０　Ｉ／Ｆ部
２３２　画像取得部
２３４、６６０　画像データ伝送部
２３６　無線通信装置
２３８　運転支援処理装置
２５０　物体・距離検出部
２５２、６８２　解像度決定部
２５４、６８４　テーブル・対象属性受信部
２５８　検出属性出力テーブル生成部
２６０　検出属性出力テーブル記憶部
２６２　通信状態判定部
２６４、６９２　送信データ生成部
２６６　対象属性記憶部
２８０、２８２、２８４、２８６、２８８、２８９、２９０、３００、３０２、３０４、３３０、３３２、３３４、３３６、３５０、３５２、３５４、３５６、３５７、３５８、３６０、３６２、３６４、３６６、３６８、３７０、３７２、３７４、３７６、７１０、７１１、７１２、７３０、７３２　ステップ
４４０　コンピュータ
４４２、５１０　モニタ
４４６　キーボード
４４８　マウス
４５０　ＤＶＤドライブ
４５２　ＤＶＤ
４５４　ネットワーク
４５６　半導体メモリ
４６０、５５０　ＣＰＵ
４６２、５５２　バス
４６４、５６６　ＧＰＵ
４６６　ＲＯＭ
４６８　ＲＡＭ
４７０　ハードディスクドライブ
４７２　ネットワークＩ／Ｆ
４７４　半導体メモリポート
５００　コントローラ
５０２　ＧＰＳモジュール
５０４　メモリ
５０６　電源回路
５０８　オーディオ回路
５１２　タッチパネル
５１４　各種センサ
５１６　ＲＦ・ベースバンド回路
５１８　無線通信モジュール
５５４　メモリコントローラ
５５６　電源管理回路
５５８　システム管理回路
５６０　メディア処理回路
５６２　表示コントローラ
５６４　入出力Ｉ／Ｆ
５６８　ネットワークI／F
５７０　車載ネットワーク
６０８　解像度選択テーブルＤＢ作成部
６１０　解像度選択テーブルＤＢ
６１２　解像度選択テーブルダンプ処理部
６１４　解像度選択テーブルダンプファイル記憶部
６１６　ダンプファイル送信部
６８６　解像度選択テーブルＤＢリストア部
６８８　解像度選択テーブルＤＢ
６９０　解像度選択テーブルＤＢ検索部
 

Claims (11)

1. 　撮像センサと物体との距離と、判定対象である属性の種類との組み合わせに応じ、前記撮像センサの撮像した画像の解像度を決定する解像度決定部と、
   　前記解像度決定部により決定された解像度に従って、前記画像のデータから送信データを生成する送信データ生成部と、
   　生成された前記送信データを送信先に無線送信する無線通信装置とを含む、画像データ伝送装置。
2. 　前記送信先から前記判定対象である属性を受信する対象属性受信部と、
   　前記判定対象である属性を記憶する対象属性記憶部とをさらに含む、請求項１に記載の画像データ伝送装置。
3. 　前記送信先から、前記撮像センサと前記物体との距離と、前記判定対象である属性の種類との組み合わせと、前記画像の解像度との対応関係を示す解像度選択テーブルを受信する解像度テーブル受信部をさらに含み、
   　前記解像度決定部は、前記撮像センサと前記物体との間の距離と、前記判定対象である属性の種類との組み合わせに対応する解像度を前記解像度選択テーブルから特定する解像度特定部
   を含む、請求項２に記載の画像データ伝送装置。
4. 　無線通信に使用できる通信帯域を測定する通信状態測定部をさらに含み、
   　前記送信データ生成部は、
   　前記画像のデータを第１の伝送フレームレートで前記送信先に送信するときの伝送データ量が、前記通信状態測定部により測定された前記使用できる通信帯域より大きいか否かを判定する第１の判定部と、
   　前記第１の判定部による判定が肯定であることに応答して、前記画像のデータ量を削減するデータ削減部とを含む、請求項３に記載の画像データ伝送装置。
5. 　前記データ削減部は、前記第１の判定部による判定が肯定であることに応答して、前記送信先との通信で許容される範囲で前記画像のデータの伝送フレームレートを前記第１の伝送フレームレートより小さい第２の伝送フレームレートに変更するフレームレート変更部を含む、請求項４に記載の画像データ伝送装置。
6. 　前記データ削減部は、前記第１の判定部による判定が肯定であることに応答して、よりデータ量の小さな縮小画像に前記画像を再構成する画像再構成部を含む、請求項４に記載の画像データ伝送装置。
7. 　前記データ削減部は、
   　前記画像再構成部により再構成された前記画像のデータが、前記使用できる通信帯域では前記送信先に送信できないことに応答して、前記通信帯域で前記送信先に送信できるように前記画像のデータ量を削減する解像度削減部と、
   　前記データ量が削減された前記画像のデータにより判定可能な属性を特定する属性情報を、当該画像のデータに付加する属性情報付加部をさらに含む、請求項６に記載の画像データ伝送装置。
8. 　前記データ削減部は、
   　前記第１の判定部による判定が肯定であることに応答して、前記第１の伝送フレームレートで送信可能となるデータ量となるまで前記画像の解像度を下げるよう前記画像のデータを変換する解像度変換部と、
   　前記解像度変換部により変換された前記画像のデータに基づいて判定可能な前記属性を特定する属性情報を前記画像のデータに付加する属性情報付加部とを含む、請求項４に記載の画像データ伝送装置。
9. 　コンピュータが、撮像センサと物体との距離と、判定対象である属性の種類との組み合わせに応じ、前記撮像センサの撮像した画像の解像度を決定するステップと、
   　コンピュータが、前記解像度を決定するステップにおいて決定された解像度に従って、前記画像のデータから送信データを生成するステップと、
   　無線通信装置が、生成された前記送信データを送信先に無線送信するステップとを含む、画像データ伝送方法。
10. 　撮像センサと、測距センサと、無線通信装置とに接続されるコンピュータを、
    　撮像センサと物体との距離と、判定対象である属性の種類との組み合わせに応じ、前記撮像センサの撮像した画像の解像度を決定する解像度決定部と、
    　前記解像度決定部により決定された解像度に従って、前記画像のデータから送信データを生成する送信データ生成部と、
    　生成された前記送信データを送信先に前記無線通信装置を介して伝送する伝送部として機能させる、コンピュータプログラム。
11. 　請求項１０に記載のコンピュータプログラムを記憶した、コンピュータ読み取り可能な記憶媒体。

Images