JP7107629B2 - 対象映像を生成するためのサーバ、クライアント、プログラム及び方法 - Google Patents

Description

本発明は、生成された画像データを用いて映像を生成する技術に関する。

現在、監視カメラや車載カメラ等の普及に伴い、複数のカメラで撮影された映像データを取り扱い、そこから新たな情報を生成する技術が注目されている。例えば、複数の映像データをつなぎ合わせてパノラマ映像等の新たな映像を再構成する画像処理技術の開発が盛んに進められている。

このような技術の例として、特許文献１には、複数の映像データを連結する際のつなぎ目を目立たなくするとともに、処理の高速化を実現する映像処理技術が開示されている。具体的にこの技術では、入力した各映像データから同時に撮影された複数のフレームデータを取得し、互いに隣接するフレームデータのつなぎ目を通さない禁止領域を設定した上で互いに隣接するフレームデータのつなぎ目を算出し、このつなぎ目に従って、各フレームデータを繋いで連結フレームデータを生成している。

また、特許文献２には、セミトレーラに備えられた複数のビデオカメラが接続されている複数の伝送線路と、トラクタに備えられた１個のモニタに接続されている１本の伝送線路とが、１個の接続器を介して着脱可能に接続されており、複数のカメラの映像を１つのモニタにて簡単に確認することができる車載カメラ装置が開示されている。

さらに、特許文献３には、必要な部分のみの閲覧ですみ、後日確認時の閲覧性を向上することができる監視カメラシステムが開示されている。このシステムでは具体的に、計測データ種別が紐付けられたカメラ毎に、トリガデータの時刻を含む所定の時間帯の個別映像データを選択し、選択された個別映像データについて、複数連結の要否及び／又は一部削除の要否に応じて連結及び／又は一部削除を行ってそれぞれ結合用映像データとし、これらの結合用映像データを１つの動画に合成して結合映像データとしている。

特開２０１９－０３６９０６号公報 特開２０１９－０３４７０７号公報 特開２０１８－０３７８１２号公報

ここで、例えば複数の車両の各々に搭載されたカメラで撮影・生成された映像データ（画像データ）を、無線通信によってサーバに送信して取りまとめ、目的とする映像を生成する場合を考えてみる。

この場合、目的とする映像を生成するために必要となる映像データを適切に取得することが重要となり、さらに、映像データはデータサイズが大きいので、各車両による映像データ送信負荷を十分に抑えることも大事となる。特に、自動運転車を確実に走行させるための映像データは非常に高い解像度を有し、そのデータサイズは膨大であるため、送信負荷の低減は非常に重要な技術事項となる。

しかしながら、特許文献１～３に記載されたような従来技術では、このような重要事項が課題とされておらず、また実際、このような重要事項に係る課題を解決することは困難となっている。

そこで、本発明は、画像データ送信元であるクライアントにおける画像データ送信負荷を抑制可能なサーバ、クライアント、プログラム及び方法を提供することを目的とする。

本発明によれば、移動可能な複数のクライアントから取得した画像データによって、所定の対象を映した複数の連続する画像フレームを含む対象映像を生成するサーバに搭載されたコンピュータを機能させるプログラムであって、
当該クライアントから取得された当該クライアントの位置情報に基づいて、当該対象映像を生成するために、当該対象映像の一部分となる既に取得された画像データに加えて必要となる追加画像データであって、該一部分に対し直接に繋がれるべき当該対象映像の他の部分となる追加画像データを生成可能なクライアントを決定するクライアント決定手段と、
決定されたクライアントに対し、当該追加画像データに係る情報を通知し、該クライアントから当該追加画像データを受け取る入出力制御手段と
してコンピュータを機能させる映像生成プログラムが提供される。

本発明によれば、また、移動可能な複数のクライアントから取得した画像データによって所定の対象に係る対象映像を生成するサーバに搭載されたコンピュータを機能させるプログラムであって、
当該クライアントから取得された当該クライアントの位置情報に基づいて、当該対象映像を生成するために、既に取得された画像データに加えて必要となる追加画像データを生成可能なクライアントを決定するクライアント決定手段と、
決定されたクライアントに対し、当該追加画像データに係る情報を通知し、該クライアントから当該追加画像データを受け取る入出力制御手段と
してコンピュータを機能させ、
当該追加画像データに係る情報は、当該対象映像を生成するため、自らの後にフレームを追加すべきフレームである追加基準フレームのデータ、並びに／又は、当該追加基準フレームに含まれる当該対象に係る情報及び当該対象の画像内位置に係る情報を含み、
クライアント決定手段は、当該追加基準フレームに続く追加フレームであって、当該対象の画像内位置が当該追加基準フレームでの画像内位置に対し所定の位置間隔要件を満たすものとなっている追加フレームを生成可能なクライアントを、当該追加画像データの要求先に決定する
ことを特徴とする映像生成プログラムが提供される。

また上記の本発明において、当該クライアントは、当該対象に近づきその後遠ざかるように移動しており、クライアント決定手段は、当該追加基準フレームの提供元であるクライアントに続いて当該対象に近づくクライアントを、当該追加画像データの要求先に決定することも好ましい。

さらに、本発明によれば、移動可能な複数のクライアントから取得した画像データによって所定の対象に係る対象映像を生成するサーバに搭載されたコンピュータを機能させるプログラムであって、
当該クライアントから取得された当該クライアントの位置情報に基づいて、当該対象映像を生成するために、既に取得された画像データに加えて必要となる追加画像データを生成可能なクライアントを決定するクライアント決定手段と、
決定されたクライアントに対し、当該追加画像データに係る情報を通知し、該クライアントから当該追加画像データを受け取る入出力制御手段と
してコンピュータを機能させ、
当該追加画像データは、当該対象映像を生成するために、当該既に取得された画像データの間を埋めることになる画像データであり、
当該追加画像データに係る情報は、生成の途中である対象映像における、その間に埋め込むべき追加フレームの映像内位置情報、並びに／又は、当該追加フレームに含まれる当該対象に係る情報及び当該対象の画像内位置に係る情報を含み、
クライアント決定手段は、当該埋め込むべき追加フレームを生成可能なクライアントを、当該追加画像データの要求先に決定する
ことを特徴とする映像生成プログラムが提供される。

また、本発明によれば、移動可能な複数のクライアントから取得した画像データによって所定の対象に係る対象映像を生成するサーバに搭載されたコンピュータを機能させるプログラムであって、
当該クライアントから取得された当該クライアントの位置情報に基づいて、当該対象映像を生成するために、既に取得された画像データに加えて必要となる追加画像データを生成可能なクライアントを決定するクライアント決定手段と、
決定されたクライアントに対し、当該追加画像データに係る情報を通知し、該クライアントから当該追加画像データを受け取る入出力制御手段と
してコンピュータを機能させ、
入出力制御手段は、あるクライアントから、画像データとともにこの画像データにおいて検出された当該対象に係る情報が取得された際、当該あるクライアント又は当該決定されたクライアントに対し、当該追加画像データに係る情報を含む画像データ送信要求を通知する
ことを特徴とする映像生成プログラムが提供される。

本発明によれば、また、生成した画像データをサーバに提供し、所定の対象に係る対象映像を当該サーバに生成させる移動可能なクライアントに搭載されたコンピュータを機能させるプログラムであって、
生成された画像データにおいて当該対象を検出する対象検出手段と、
自らを含むクライアントに係る位置情報を取得する位置情報取得手段と、
当該画像データにおいて検出された当該対象に係る情報、及び当該位置情報を当該サーバへ提供し、受け取った当該対象に係る情報及び当該位置情報に基づいて、当該対象映像を生成するために必要となる追加画像データを生成可能なクライアントとして自らを含むクライアントを指定してきた当該サーバから、当該対象に係る情報及び当該位置情報に基づき決定された当該追加画像データに係る情報を受け取るクライアント入出力制御手段と、
当該サーバから当該追加画像データに係る情報が受け取られた際、当該追加画像データに係る情報に基づいて、生成された画像データ群の中から当該追加画像データを選択し当該サーバへ提供させる追加画像選択手段と
してコンピュータを機能させる映像生成支援プログラムが提供される。

さらに、本発明によれば、生成した画像データをサーバに提供し、所定の対象に係る対象映像を当該サーバに生成させる移動可能なクライアントに搭載されたコンピュータを機能させるプログラムであって、
自らを含むクライアントに係る位置情報を取得し当該サーバへ通知させる位置情報取得手段と、
受け取った当該位置情報に基づいて、当該対象映像を生成するために必要となる追加画像データを生成可能なクライアントとして自らを含むクライアントを指定してきた当該サーバから、当該追加画像データに係る情報が取得された際、当該追加画像データに係る情報に基づいて、生成された画像データ群の中から当該追加画像データを選択し当該サーバへ提供させる追加画像選択手段と
してコンピュータを機能させ、
自らを含むクライアントを含む複数のクライアントは順次、当該対象に近づきその後遠ざかるように移動しており、
追加画像選択手段は、当該サーバ又は別のサーバから取得された、当該対象付近における当該クライアントの通行量に係る情報に基づいて、選択する当該追加画像データの量及び／又は提供タイミングを決定する
ことを特徴とする映像生成支援プログラムが提供される。

また、本発明によれば、生成した画像データをサーバに提供し、所定の対象に係る対象映像を当該サーバに生成させる移動可能なクライアントに搭載されたコンピュータを機能させるプログラムであって、
自らを含むクライアントに係る位置情報を取得し当該サーバへ通知させる位置情報取得手段と、
受け取った当該位置情報に基づいて、当該対象映像を生成するために必要となる追加画像データを生成可能なクライアントとして自らを含むクライアントを指定してきた当該サーバから、当該追加画像データに係る情報が取得された際、当該追加画像データに係る情報に基づいて、生成された画像データ群の中から当該追加画像データを選択し当該サーバへ提供させる追加画像選択手段と
してコンピュータを機能させ、
当該追加画像データに係る情報は、当該対象映像を生成するため、自らの後にフレームを追加すべきフレームである追加基準フレームのデータ、並びに／又は、当該追加基準フレームに含まれる当該対象に係る情報及び当該対象の画像内位置に係る情報を含み、
追加画像選択手段は、当該追加基準フレームに続く追加フレームであって、当該対象の画像内位置が当該追加基準フレームでの画像内位置に対し所定の位置間隔要件を満たすものとなっている追加フレームを、生成された画像データ群の中から選択する
ことを特徴とする映像生成支援プログラムが提供される。

本発明によれば、さらに、移動可能な複数のクライアントから取得した画像データによって、所定の対象を映した複数の連続する画像フレームを含む対象映像を生成するサーバであって、
当該クライアントから取得された当該クライアントの位置情報に基づいて、当該対象映像を生成するために、当該対象映像の一部分となる既に取得された画像データに加えて必要となる追加画像データであって、該一部分に対し直接に繋がれるべき当該対象映像の他の部分となる追加画像データを生成可能なクライアントを決定するクライアント決定手段と、
決定されたクライアントに対し、当該追加画像データに係る情報を通知し、該クライアントから当該追加画像データを受け取る入出力制御手段と
を有する映像生成サーバが提供される。
本発明によれば、さらにまた、生成した画像データをサーバに提供し、所定の対象に係る対象映像を当該サーバに生成させる移動可能なクライアントであって、
生成された画像データにおいて当該対象を検出する対象検出手段と、
自らを含むクライアントに係る位置情報を取得する位置情報取得手段と、
当該画像データにおいて検出された当該対象に係る情報、及び当該位置情報を当該サーバへ提供し、受け取った当該対象に係る情報及び当該位置情報に基づいて、当該対象映像を生成するために必要となる追加画像データを生成可能なクライアントとして自らを含むクライアントを指定してきた当該サーバから、当該対象に係る情報及び当該位置情報に基づき決定された当該追加画像データに係る情報を受け取るクライアント入出力制御手段と、
当該サーバから当該追加画像データに係る情報が受け取られた際、当該追加画像データに係る情報に基づいて、生成された画像データ群の中から当該追加画像データを選択し当該サーバへ提供させる追加画像選択手段と
を有する映像生成支援クライアントが提供される。

本発明によれば、さらにまた、生成した画像データをサーバに提供し、所定の対象に係る対象映像を当該サーバに生成させる移動可能なクライアントであって、
自らに係る位置情報を取得し当該サーバへ通知させる位置情報取得手段と、
受け取った当該位置情報に基づいて、当該対象映像を生成するために必要となる追加画像データを生成可能なクライアントとして自らを指定してきた当該サーバから、当該追加画像データに係る情報が取得された際、当該追加画像データに係る情報に基づいて、生成された画像データ群の中から当該追加画像データを選択し当該サーバへ提供させる追加画像選択手段と
を有し、
自らを含む複数のクライアントは順次、当該対象に近づきその後遠ざかるように移動しており、
追加画像選択手段は、当該サーバ又は別のサーバから取得された、当該対象付近における当該クライアントの通行量に係る情報に基づいて、選択する当該追加画像データの量及び／又は提供タイミングを決定する
ことを特徴とする映像生成支援クライアントが提供される。

本発明によれば、またさらに、移動可能な複数のクライアントから取得した画像データによって、所定の対象を映した複数の連続する画像フレームを含む対象映像を生成するサーバに搭載されたコンピュータにおける対象映像生成方法であって、
当該クライアントから取得された当該クライアントの位置情報に基づいて、当該対象映像を生成するために、当該対象映像の一部分となる既に取得された画像データに加えて必要となる追加画像データであって、該一部分に対し直接に繋がれるべき当該対象映像の他の部分となる追加画像データを生成可能なクライアントを決定するステップと、
決定されたクライアントに対し、当該追加画像データに係る情報を通知し、該クライアントから当該追加画像データを受け取るステップと
を有する映像生成方法が提供される。

本発明の映像生成サーバ・プログラム、映像生成支援クライアント・プログラム、及び映像生成方法によれば、画像データ送信元であるクライアントにおける画像データ送信負荷を抑制することが可能となる。

本発明によるサーバ及びクライアントを備えた映像生成システムの一実施形態を説明するための模式図及び機能ブロック図である。 本発明に係るサーバがクライアントへ画像データ送信要求を通知して画像データを受け取る一実施態様を示す模式図である。 本発明に係るサーバがクライアントへ画像データ送信要求を通知して画像データを受け取る他の実施態様を示す模式図である。 本発明に係る追加画像選択処理の一実施形態を説明するための模式図である。 本発明による映像生成方法における一実施形態の概略を示すシーケンス図である。

以下、本発明の実施形態について、図面を用いて詳細に説明する。

［映像生成システム］
図１は、本発明によるサーバ及びクライアントを備えた映像生成システムの一実施形態を説明するための模式図及び機能ブロック図である。

図１に示した本実施形態の映像生成システムは、
（ａ）移動可能なクライアントである複数の端末２０と、
（ｂ）これらの端末２０から画像データを取得可能なサーバであるクラウドサーバ１と
を有し、クラウドサーバ１において、複数の端末２０から取得された画像データから所定の対象に係る「対象映像」、図１では道路沿いに展開されている工事現場の映像、が生成可能となっている。

上記（ａ）の端末２０は本実施形態において、例えば通信機能を有するドライブレコーダであり自動車２に設置されている。ここで、その設置場所は任意に設定可能であり、例えば自動車２のフロントガラス越しに車両前方を撮影可能な位置（例えばダッシュボード上部）とすることができる。勿論、車両側方や後方を撮影可能な位置に端末２０を設置してもよい。また本実施形態において、端末２０（ドライブレコーダ）は、例えば自動車２の進行方向の状況をカメラで撮影して映像データを生成し、自身に設けられたメモリやストレージに保存することができる。

さらに、各端末２０は、例えば携帯電話通信網やインターネット等を介してクラウドサーバ１と無線通信接続が可能となっており、保存した映像データの一部（所定量の画像データ）をクラウドサーバ１へ送信することもできる。また、端末２０は本実施形態において測位部２０２を有し、自らの位置情報（例えば自らの所在位置の緯度及び経度並びに測位時刻）を取得してクラウドサーバ１へ通知することも可能となっている。

一方、クラウドサーバ１は、複数の端末２０から受信した画像データを用いて、「対象映像」（図１では工事現場の映像）を生成する。ここで、クラウドサーバ１は具体的に、
（Ａ）端末２０（クライアント）から取得された端末２０の位置情報に基づいて、「対象映像」を生成するために、既に取得された画像データに加えて必要となる「追加画像データ」を生成可能な端末２０を決定するクライアント決定部１１２と、
（Ｂ）決定された端末２０に対し、「追加画像データに係る情報」を通知し、この決定された端末２０から「追加画像データ」を受け取る入出力制御部１１３と
を有することを特徴としている。

このようにクラウドサーバ１は、端末２０の位置情報に基づいて、複数の端末２０の中から「対象映像」を生成するのに好適な端末２０を選択・決定し、まさに選択・決定した端末２０に対して「追加画像データに係る情報」を通知することにより、必要となるだけの「追加画像データ」を取得することを可能にするのである。

例えば、道路沿いの工事現場の「対象映像」を生成する場合、あくまで一態様ではあるが、工事現場の脇を通過する複数の（例えば３台の）自動車２に搭載された端末２０の各々が、工事現場全体の映像のうちの互いに異なる部分（例えば当該映像を約３等分した際の各々分）の画像データ（画像フレーム群）を生成し、この比較的データサイズの小さい画像データをクラウドサーバ１へ送信しさえすれば、クラウドサーバ１が工事現場全体の映像（対象画像）を完成させることが可能となる。

すなわち、本発明によれば、各端末２０（クライアント）が「対象映像」生成のための処理負担を分担可能となっており、その結果、画像データ送信元である端末２０における画像データ送信負荷を抑制することができるのである。

なお、各端末２０からクラウドサーバ１へ送信される画像データは、例えばＭＰＥＧ（Moving Picture Experts Group）で符号化されてもよい。この場合、クラウドサーバ１は、受信した（圧縮された）画像データを復号化してから（伸長させてから）繋ぎ合わせて「対象映像」を生成することができる。

また、端末２０は当然に、自動車２に設置された車載装置（ドライブレコーダ）に限定されるものではなく、例えば自転車や鉄道車両、さらにはロボットやドローン等の他の移動体に設置された又は搭乗したものであってもよい。

さらに、端末２０は、例えばＨＭＤ（Head Mounted Display）やグラス型端末等のウェアラブル端末であってもよい。この場合、例えば複数の人物が歩きながら撮影した画像データを繋いで所定の対象の「対象映像」が生成されることとなる。ただし画像データの繋ぎ易さの観点からして、各端末２０の移動の様子は、道路や線路に沿っての進行方向を向いた移動のように、対象との相対位置の変化に関し互いに同様の経緯をたどるものとなることも好ましい。

さらに勿論、「対象映像」を生成する「対象」は工事現場に限定されず、例えば事故現場や商店街の所定区間等の所定のエリアや、さらには（間口の広い）マンションや工場等の建造物・構造物とすることもできる。また、デモ行進や沿道に配置した警備員群等の、所定の程度で移動し得る移動可能体を「対象」としてその対象映像を生成することも可能となっている。いずれにしても、各端末２０によってその一部が撮影可能であり、各端末２０で生成された画像データを繋ぐことによってその映像を生成可能なものならば、種々のものが「対象」となり得る。

［映像生成サーバの機能構成］
図１に示した機能ブロック図によれば、クラウドサーバ１は、通信インタフェース１０１と、プロセッサ・メモリとを有する。ここで、このプロセッサ・メモリは、本発明による映像生成プログラムの一実施形態を保存しており、また、コンピュータ機能を有していて、この映像生成プログラムを実行することによって、映像生成処理を実施する。このことから、本発明による映像生成サーバとして、本クラウドサーバ１に代えて、本発明による映像生成プログラムを搭載した、例えば非クラウドのサーバ装置、パーソナル・コンピュータ（ＰＣ）、ノート型若しくはタブレット型コンピュータ、又はスマートフォン等を採用することも可能となる。

例えば、端末２０に本発明による映像生成プログラムを搭載し、当該端末２０を本発明による映像生成サーバとすることもできる。また、本発明による映像生成サーバを、端末２０とともに自動車２に設置する実施形態も可能となるのである。

さらに、プロセッサ・メモリは、映像合成部１１１と、クライアント決定部１１２と、送信要求決定部１１３ａを含む入出力制御部１１３とを有する。なお、これらの機能構成部は、プロセッサ・メモリに保存された映像生成プログラムの機能と捉えることができる。また、図１におけるクラウドサーバ１の機能構成部間を矢印で接続して示した処理の流れは、本発明による映像生成方法の一実施形態としても理解される。

同じく図１の機能ブロック図において、映像合成部１１１は、各端末２０から取得された画像データ（画像フレーム群）を繋ぎ合わせて目的である対象映像を生成する。ここで本実施形態において、対象映像を生成する「対象」は「工事現場」として予め設定されている。映像合成部１１１は、後に説明するように端末２０（の対象検出部２１４）から「対象」に係る情報を含む対象検出通知を受けた際、この「対象」が予め設定されたものであることを確認した上で対象映像の生成を開始し、取得された画像データを繋ぐ処理を実施することも好ましい。

また変更態様として、映像合成部１１１は、端末２０から別途定期的に取得している画像データにおいて予め設定された「対象」を自ら検出した場合に、この「対象」の対象映像の生成を開始し、取得された画像データを繋ぐ処理を実施してもよい。

いずれにしても本実施形態において、映像合成部１１１は、画像データを繋いで対象映像を生成する中で、自らの後にフレームを追加すべきフレームである「追加基準フレーム」を決定し、「追加基準フレーム」の提供元である端末２０の位置情報（又は端末識別子（端末ＩＤ））を、クライアント決定部１１２に適宜通知する。

同じく図１の機能ブロック図において、クライアント決定部１１２は、端末２０から取得された端末２０の位置情報に基づき、対象映像を生成するために、既に取得された画像データに加えて必要となる追加画像データを生成可能な端末２０を決定する。

ここで、このような端末２０を決定する処理の一実施形態として、クライアント決定部１１２は、「追加基準フレーム」に続く追加フレームであって、対象（工事現場）の画像内位置が「追加基準フレーム」での画像内位置に対し所定の位置間隔要件を満たすものとなっている追加フレームを生成可能な端末２０を、追加画像データの要求先に決定することができる。

例えば、クライアント決定部１１２は、映像合成部１１１から取得された
（ａ）「追加基準フレーム」の提供元である基準端末２０の位置情報、又は
（ｂ）基準端末２０の端末ＩＤから特定した位置情報
に基づき、この基準端末２０に次いで、「追加基準フレーム」の生成された位置（又は当該位置から所定範囲内の近傍位置）に到達した端末２０を特定し、この特定した端末２０を「追加画像データ」の要求先に決定することも好ましい。

また変更態様として、クライアント決定部１１２は、映像合成部１１１から「追加基準フレーム」における対象の画像内位置の情報を取得して、「所定の位置間隔要件」を満たす追加フレームを想定し、想定した追加フレームを生成可能な端末２０を、取得された位置情報（及び想定した追加フレームにおける対象の画像内位置）から特定してもよい。ここで、この「所定の位置間隔要件」としては、後に詳細に説明するが、例えば両者における対象の画面内位置の差が所定のピクセル閾値未満であることとしてもよく、または、両者における対象の画面内位置の差を実空間での位置間隔に換算した値が、所定の距離閾値未満であることとすることも好ましい。

さらに、クライアント決定部１１２で端末２０を決定する処理の他の実施形態として、決定した端末２０から取得された追加画像データが、対象映像を生成するにあたり、すでに取得された画像データ（画像フレーム）の間を埋めることになる形も可能である。

すなわちこの場合、クライアント決定部１１２は、この埋め込むべき追加フレームを生成可能な端末２０を、追加画像データの要求先に決定する。また、この決定した端末２０に通知する「追加画像データに係る情報」は、
（ａ）生成の途中である対象映像における、その間に埋め込むべき追加フレームの映像内位置情報、並びに
（ｂ）追加フレームに含まれる対象に係る情報及び当該対象の画像内位置に係る情報
のいずれか一方又は両方を含むことができる。

例えば、対象である工事現場の脇を最初に通過する端末２０Ａを、対象映像の最初の１／３の映像部分の画像データを生成・送信するクライアントに決定し、端末２０Ａの後に工事現場の脇を通過する端末２０Ｂを、対象映像の最後の１／３の映像部分の画像データを生成・送信するクライアントに決定し、さらにこれらの画像データから生成した未完成の対象映像の隙間（対象映像の中間となる１／３の映像部分）を埋める画像データを生成・送信するクライアントとして、端末２０Ｂの後に工事現場の脇を通過する端末２０Ｃを決定してもよい。

なおいずれにしても、クライアント決定部１１２は、各端末２０において撮影に使用されるカメラの向きや画角に係る情報も取得していて、当該情報と各端末２０の位置情報とに基づいて、所望の追加フレームを生成可能な端末２０を決定することも好ましい。また、対象映像作成の容易さから、各端末２０のカメラ２０３はいずれも、自動車２に対し所定の向きを向いていて、クラウドサーバ１が各端末２０から取得する画像データは、自動車２に対し所定の向き（例えば進行方向の正面前方）に展開する景色のデータとなっていることも好ましい。

同じく図１の機能ブロック図において、入出力制御部１１３は、クライアント決定部１１２で決定された端末２０に対し、「追加画像データに係る情報」を通知し、端末２０から追加画像データを受け取る。なお本実施形態においては、この入出力制御部１１３の送信要求決定部１１３ａが、「追加画像データに係る情報」を含む画像データ送信要求を生成し、クライアント決定部１１２で決定された端末２０に宛てて、当該端末２０の位置情報に基づき決定した送信タイミングで、生成した画像データ送信要求を、通信インタフェース１０１を介して送信する。

ここで、「追加画像データに係る情報」は、
（ａ）（対象映像を生成するためにその後にフレームを追加すべきフレームである）追加基準フレームのデータ、並びに
（ｂ）追加基準フレームに含まれる対象に係る情報（例えば工事現場との種別情報）及び対象（工事現場）の画像内位置に係る情報
のいずれか一方又は両方を含むものとすることができる。

なお、上記（ａ）の追加基準フレームのデータは、各端末２０で生成される映像データのフレーム番号が、実空間での位置（道路上の位置）に基づいて共通の仕様で付与されている場合において、追加基準フレームのフレーム番号とすることも可能である。また、「追加画像データに係る情報」について有効期限（例えば送信要求に係る時刻から所定時間）を設け、有効期限を過ぎた「追加画像データに係る情報」は端末２０で採用されない設定にすることも好ましい。

また、本実施形態において送信要求決定部１１３ａは、ある端末２０から、画像データとともにこの画像データにおいて検出された対象（工事現場）に係る情報が取得された際、このある端末２０又はこの後クライアント決定部１１２で決定された端末２０に対し、「追加画像データに係る情報」を含む画像データ送信要求を通知する。すなわち、端末２０から受信した対象検出情報をトリガとして、対象映像の生成を開始するのである。

図２は、クラウドサーバ１が端末２０へ画像データ送信要求を通知して画像データを受け取る一実施態様を示す模式図である。また、図３は他の実施態様を示す模式図である。

図２によれば、クラウドサーバ１は、道路沿いに展開した工事現場（対象）を最初に検出した（自動車２Ａに搭載された）端末２０Ａへ画像データ送信要求を送信し、端末２０Ａから画像フレーム2As～2Aeを受信する。ここで画像フレーム2As～2Aeは、進行方向前方に現れた工事現場へ近づいていく際に撮影された画像データとなっている。

クラウドサーバ１は次に、端末２０Ａの後続として道路を移動している（自動車２Ｂに搭載された）端末２０Ｂへ、追加基準フレームである画像フレーム2Aeの情報（追加画像データに係る情報）を含む画像データ送信要求を送信し、端末２０Ｂから（追加基準フレーム2Aeの直後に繋がれるべき）画像フレーム2Bs～2Beを受信する。ここで画像フレーム2Bs～2Beは、進行方向前方に現れている工事現場へさらに近づいていく際に撮影された画像データとなっている。

クラウドサーバ１はさらに、端末２０Ｂの後続として道路を移動している（自動車２Ｃに搭載された）端末２０Ｃへ、追加基準フレームである画像フレーム2Beの情報（追加画像データに係る情報）を含む画像データ送信要求を送信し、端末２０Ｃから（追加基準フレーム2Beの直後に繋がれるべき）画像フレーム2Cs～2Ceを受信する。ここで画像フレーム2Cs～2Ceは、工事現場における手前の開始端の近傍から（進行方向に伸長した先である）工事現場の終端の近傍まで移動した際に撮影された画像データとなっている。

なお、図２に示した例では、クラウドサーバ１は、画像フレーム2Ceにおいて、工事現場（対象）の終端（例えば工事現場ロードコーン列における最後尾のロードコーン）が検出されたことをもって画像データの収集を終了し、取得した画像フレーム2As～2Ae、2Bs～2Be、及び2Cs～2Ceを順次繋ぎ合わせる合成処理を実施して、対象映像を生成している。

以上説明した図２の例では、クライアントである端末２０Ａ～２０Ｃはいずれも、対象である工事現場に近づきその後遠ざかるように移動している。この場合、クラウドサーバ１（のクライアント決定部１１２）は、追加基準フレームの提供元であるクライアントの直後に又は直後とは限らずに続いて工事現場（対象）に近づくクライアントを、追加画像データの要求先（画像データ送信要求の宛先）に決定することができるのである。

次に、図３を用いて、受け取る画像データに関し図２とは異なる実施態様について説明を行う。

図３によれば、クラウドサーバ１は図２と同じく、道路沿いに展開した工事現場（対象）を最初に検出した（自動車２Ａに搭載された）端末２０Ａへ画像データ送信要求を送信し、端末２０Ａから画像フレーム2As～2Aeを受信する。ここで画像フレーム2As～2Aeは、図２とは異なり、検出時点から若干の時間が経過した後に生成された画像データであり、工事現場における手前の開始端の近傍から（進行方向に伸長した先である）工事現場の終端の近傍まで移動した際に撮影された画像データとなっている。

この場合クラウドサーバ１は次に、端末２０Ａの後続として道路を移動している（自動車２Ｂに搭載された）端末２０Ｂへ、追加基準フレームである画像フレーム2Asの情報（「追加画像データに係る情報」）を含む画像データ送信要求を送信し、端末２０Ｂから（追加基準フレーム2Asの直後に繋がれるべき）画像フレーム2Bs～2Beを受信する。ここで画像フレーム2Bs～2Beは、進行方向前方に現れている工事現場へさらに近づいていく際に撮影された画像データとなっている。

クラウドサーバ１はさらに、端末２０Ｂの後続として道路を移動している（自動車２Ｃに搭載された）端末２０Ｃへ、追加基準フレームである画像フレーム2Bsの情報（「追加画像データに係る情報」）を含む画像データ送信要求を送信し、端末２０Ｃから（追加基準フレーム2Bsの直後に繋がれるべき）画像フレーム2Cs～2Ceを受信する。ここで画像フレーム2Cs～2Ceは、進行方向前方に現れた工事現場へ近づいていく際に撮影された画像データとなっている。

なお、図３に示した例では、クラウドサーバ１は、画像フレーム2Csにおいて、工事現場（対象）の開始端（例えば工事現場ロードコーン列における最も手前のロードコーン）が検出されたことをもって画像データの収集を終了し、取得した画像フレーム2As～2Ae、2Bs～2Be、及び2Cs～2Ceを、2Ae～2As、2Be～2Bs、及び2Ce～2Csへ並び替えた上で、順次繋ぎ合わせる合成処理を実施して対象映像を生成する。

ちなみにここで生成された対象映像は、本来の進行方向とは逆向きに道路を進行した際に得られる映像となっている。したがって勿論、映像全体においてフレームの順序を逆にすれば、図２の例で生成される対象映像と同様、進行方向に進みながら撮影した際に得られる対象映像とすることも可能である。

以上に説明した図３の例においても、クライアントである端末２０Ａ～２０Ｃはいずれも、対象である工事現場に近づきその後遠ざかるように移動している。この場合、クラウドサーバ１（のクライアント決定部１１２）は、追加基準フレームの提供元であるクライアントの直後に又は直後とは限らずに続いて工事現場（対象）に近づくクライアントを、追加画像データの要求先（画像データ送信要求の宛先）に決定することができる。

いずれにしても以上の図２及び図３に示した例では、各端末２０が、対象映像である工事現場の映像を生成するための画像データ生成処理負担を分担しており、その結果、画像データ送信元である端末２０における画像データ送信負荷を抑制することができるのである。

図１の機能ブロック図に戻って、映像合成部１１１は、生成した対象映像を、適宜又は要求に応じて通信インタフェース１０１を介し、端末２０やその他の外部の情報処理装置へ送信し、当該対象映像を様々な形で利用させてもよい。勿論、クラウドサーバ１自身が当該対象映像を利用して種々のサービス情報を生成することも好ましい。

［映像生成支援クライアントの機能構成］
同じく図１に示した機能ブロック図によれば、端末２０は、通信インタフェース２０１と、測位部２０２と、カメラ２０３と、ディスプレイ（ＤＰ）２０４と、プロセッサ・メモリとを有する。ここで、このプロセッサ・メモリは、本発明による映像生成支援プログラムの一実施形態を保存しており、また、コンピュータ機能を有していて、この映像生成支援プログラムを実行することによって、映像生成支援処理を実施する。

このことから、本発明による映像生成支援クライアントとして、ドライブレコーダである本端末２０に代えて、本発明による映像生成支援プログラムを搭載した他の車載情報処理装置や、さらにはカメラを備えたスマートフォン、ノート型若しくはタブレット型コンピュータ、又はパーソナル・コンピュータ（ＰＣ）等を採用することも可能となる。また、ドライブレコーダとＷｉ-Ｆｉ（登録商標）やBluetooth（登録商標）等で通信接続された端末、例えばスマートフォンを本映像生成支援クライアントとしてもよい。

さらに、プロセッサ・メモリは、入出力制御部２１１と、位置情報取得部２１２と、映像生成部２１３と、対象検出部２１４と、追加画像選択部２１５と、提示情報生成部２１６とを有する。なお、これらの機能構成部は、プロセッサ・メモリに保存された映像生成支援プログラムの機能と捉えることができる。また、図１における端末２０の機能構成部間を矢印で接続して示した処理の流れは、本発明による映像生成支援方法の一実施形態としても理解される。

同じく図１の機能ブロック図において、位置情報取得部２１２は、自らを含む端末２０（自動車２）に係る位置情報（例えば緯度、経度、高度、及び測位した時刻）を測位部２０２から取得し、この位置情報を、通信インタフェース２０１を介してクラウドサーバ１へ通知させる。

ちなみに測位部２０２は、ＧＰＳ（Global Positioning System）衛星から受信した測位電波を解析し、端末２０の現在位置を測位する公知のデバイスである。または測位部２０２は、複数基地局測位方式を用いて測位してもよい。ここで複数基地局測位方式は、端末２０が複数の周辺基地局から受信する電波によって現在位置を測位する方式である。

映像生成部２１３は、カメラ２０３から出力された撮影データに基づいて映像データ（画像フレーム群）を生成する。本実施形態において端末２０はドライブレコーダであり、映像生成部２１３は通常、デフォルトの設定として少なくとも自動車２の走行時は常に、車外の状況を撮影した撮影データをカメラ２０３から取得し、映像データ（画像フレーム群）を生成している。

対象検出部２１４は、生成された画像データにおいて「対象」を検出する。具体的には、周知の機械学習を用いた物体検出技術を用いて実施することができる。例えば、画像データ内の各小画像領域に対し、「対象」検出用に学習された物体検出器を用いて「対象」らしさを示すスコアを算出し、当該スコアの最も高い小画像領域を「対象」領域に決定してもよい。

また、このような物体検出器として、例えば非特許文献：Wei Liu, Dragomir Anguelov, Dumitru Erhan, Christian Szegedy, Scott Reed, Cheng-Yang Fu, Alexander C. Berg, “SSD: single shot multibox detector”, European Conference on Computer Vision, Computer Vision-ECCV 2016, ２０１６年, ２１～３７頁に記載されたものを使用することができる。ここで、決定される「対象」領域は、例えば、物体検出器によって検出された「対象」の画像部分に対し各辺が外接している外接矩形（バウンディングボックス，bounding box）の領域であってもよい。勿論当然に、他の形状の対象領域を設定することも可能である。

ちなみに、工事現場という「対象」については、ロードコーンや、車両等の物体を検出してそれらが所定数以上近接して連続している場合に、工事現場を検出したとすることができる。

同じく図１の機能ブロック図において、入出力制御部２１１は、画像データにおいて検出された「対象」に係る情報をクラウドサーバ１へ提供し、一方で、クラウドサーバ１から、（「対象」に係る情報及び位置情報に基づき決定された）「追加画像データに係る情報」を受け取るクライアント入出力制御手段である。ここで、「対象」に係る情報としては、「対象」の種別や画像データ内におけるバウンディングボックスの位置座標値等を設定することができる。いずれにしてもすでに述べたように、このような「対象」に係る情報は、それを受信したクラウドサーバ１にとって、映像合成処理を開始するトリガとなるのである。

追加画像選択部２１５は、（対象映像を生成するために必要となる追加画像データを生成可能なクライアントとして）自らの端末２０を指定してきたクラウドサーバ１から「追加画像データに係る情報」が取得された際、この「追加画像データに係る情報」に基づいて、映像生成部２１３で生成された画像データ（画像フレーム群）の中から追加画像データを選択し、当該追加画像データを、通信インタフェース２０１を介しクラウドサーバ１へ提供させる。

ここで、取得された「追加画像データに係る情報」は、上述したように、
（ａ）追加基準フレームのデータ、並びに
（ｂ）追加基準フレームに含まれる対象情報（工事現場との種別情報）及び対象の画像内位置情報
のいずれか一方又は両方を含むものとすることができる。

この場合、追加画像選択部２１５は、取得された追加基準フレームに続く追加フレームであって、対象（工事現場）の画像内位置が追加基準フレームでの画像内位置に対し所定の位置間隔要件を満たすものとなっている追加フレームを、生成された画像データ群の中から選択することができるのである。

図４は、本発明に係る追加画像選択処理の一実施形態を説明するための模式図である。なお同図では、図２に示した実施態様における自動車２Ｂに搭載された端末２０Ｂでの追加画像選択処理が示されている。

図４によれば、クラウドサーバ１は、端末２０Ａから取得した画像データに基づき対象映像（工事現場の映像）の生成を開始するが、この生成を進めるべく、追加基準フレームとしての画像フレーム2Aeのデータ（追加画像データに係る情報）を含む画像データ送信要求を端末２０Ｂへ送信する。

追加基準フレーム2Aeのデータを取得した端末２０Ｂの追加画像選択部２１５は、最初に、追加基準フレーム2Aeに含まれる対象（工事現場）の画像内位置情報を決定する。この画像内位置情報は例えば、検出された対象のバウンディングボックスにおける左下頂点の画像座標系での座標値としてもよい。なお、端末２０Ｂが「追加画像データに係る情報」としてこの対象（工事現場）の画像内位置情報を取得する場合は勿論、追加画像選択部２１５において当該画像内位置情報を算出する必要はない。

追加画像選択部２１５は次いで、カメラ２０３で撮影され映像生成部２１３で生成された画像フレーム群（画像データ群）の中から、追加基準フレーム2Aeにおける対象の画像内位置(u1, v1)との間で「所定の位置間隔要件」を満たすこととなる画像フレームを、追加フレーム（追加画像データ）の先頭フレームとして選択する。

ここで、上記の「所定の位置間隔要件」としては例えば、追加フレーム候補における対象の画像内位置を(u2, v2)として、
（ａ）画像内u座標（u座標軸は左右方向の軸）における両者の差の絶対値|u1－u2|が所定閾値Thu未満、すなわち|u1－u2|＜Thuであって、
（ｂ）両者の差(u1－u2)の値における（正又は負の）符号が、対象映像における追加基準フレーム2Aeの対象画像部分から追加フレームの対象画像部分への「変位」についての向きによって一意に決まる符号となっている
こととすることができる。このうち上記（ｂ）については、例えば図４の場合、カメラが車両の前方右側付近にある対象（工事現場）を捉えていることから、上記の「変位」が画像の概ね右向きとなるので、その符号は負（u1－u2＜0）となる。

なお、上記（ｂ）は、u1－u2＝0も含めるべく、非正（負又はゼロ）か非負（正又はゼロ）かを要求する条件となっていてもよい。また、所定の位置間隔要件としてさらに、
（ｃ）画像内v座標（v座標軸は上下方向の軸）における両者の差の絶対値|v1－v2|が所定閾値Thv未満、すなわち|v1－v2|＜Thvである
ことを追加してもよい。

このように追加画像選択部２１５は、映像生成部２１３で生成された画像フレーム群の中から、先頭となる追加フレームを決定することができ、さらに、この先頭追加フレームに続く所定量の画像フレームを選択することによって、クラウドサーバ１へ送信すべき追加フレーム（追加画像データ）を決定することができるのである。

なお変更態様として、追加画像選択部２１５は、追加基準フレーム及び追加フレーム候補に対し、セマンティックセグメンテーション（Semantic Segmentation）処理を実施し、フレーム内の各ピクセルをクラス（例えば、"人物"、"自動車"、"道路"、"空"等）に分類した上で、両者における各クラスの画像部分について、以上に説明したような「所定の位置間隔要件」を用いた処理を行い、追加フレームを決定してもよい。

ここで以下、先頭追加フレームに続いて如何なる量の画像フレームを、追加フレームとして選択するかについて説明を行う。

追加画像選択部２１５は、例えば先頭追加フレームから見て所定時間分（例えば1秒間分）の画像フレームを追加フレームとして選択してもよい。また、先頭追加フレームから見て所定数分（例えば100フレーム分）の画像フレームを追加フレームとして選択することも可能である。さらには、先頭追加フレームから見て所定の（実空間における）移動距離分（例えば1m分）の画像フレームを追加フレームとして選択してもよい。

ここでいずれにしても、追加フレームの「所定量」は、例えば対象若しくは対象映像の長さによって設定されてもよい。例えば対象が事故車両（車両事故現場）であれば通常、対象の道路に沿った長さは比較的短いので、追加フレームの「所定量」も小量に抑えることができる。一方、例えば対象が（事故発生が懸念される）商店街であれば通常、対象の道路に沿った長さは比較的長いので、追加フレームの「所定量」もそれに合わせて相当の量に設定することが好ましい。

さらに好適な「所定量」決定の変更態様として、複数の端末２０が順次道路を走行し、対象（工事現場）に近づきその後遠ざかるように移動している状況において、追加画像選択部２１５は、クラウドサーバ１又は（図１に示した）道路情報サーバ３から取得された、対象（工事現場）付近における通行量に係る情報に基づいて、選択する追加フレーム（追加画像データ）の「所定量」を決定することも好ましい。

例えばクラウドサーバ１が、各端末２０から取得した位置情報に基づき対象（工事現場）付近における自動車２（端末２０）の通行量を算出して当該通行量を端末２０に通知し、端末２０は、通知された通行量を、予め設定された「通行量多」、「通行量中」、及び「通行量少」のいずれかに分類して、例えば、
（ａ）「通行量多」ならば、（自動車２が動いている時間として）1秒間分の画像フレームを追加フレームとして選択し、
（ｂ）「通行量中」ならば、（自動車２が動いている時間として）4秒間分の画像フレームを追加フレームとして選択し、
（ｃ）「通行量少」ならば、対象（工事現場）の全体を捉えるだけの時間分の画像フレームを追加フレームとして選択してもよい。

これにより、追加画像データ生成負担を分担可能な端末２０が周囲に多く存在する場合には、各端末２０の負担分を低減し、その上で過剰な時間をかけずに対象映像を生成することも可能となる。また、端末２０は、周囲の状況に応じた分だけの画像データ送信処理を実施すればよくなるのである。

なお、「所定量」を決定するための通行量として、道路情報サーバ３（図１）又は当該サーバ３から道路情報を収集したクラウドサーバ１から取得された、対象（工事現場）付近における交通量情報又は渋滞情報を採用することも可能である。特に、本発明によるクライアントが普及し、交通量の所定割合が本発明によるクライアントを搭載した自動車によるものと見込まれるようであれば、そのような情報を通行量として採用することも好ましい。

ちなみに本実施形態において、端末２０は、自動車２のＣＡＮ（Controller Area Network）とＷｉ-Ｆｉ（登録商標）やBluetooth（登録商標）で接続されていて、自動車２の車両走行情報を取得可能となっていることも好ましい。この場合例えば、追加画像選択部２１５は、所定実空間距離分（例えば1m分）の追加フレームを、当該フレーム生成時の車速情報に基づいて決定することも可能となる。また、車速が小さい場合には、画像フレームを間引いて送信フレームの量を低減させることもできる。例えば、車速が小さいほど間引く割合を増加させてもよい。

さらに、クラウドサーバ１は端末２０から位置情報とともに車両走行情報を受け取り、当該車両走行情報に基づいて画像データ送信要求先を決定してもよい。例えば、所定車速範囲内の車速をもって移動中の端末２０のみを画像データ送信要求先に決定することも好ましい。

また変更態様として、追加画像選択部２１５は、取得された対象（工事現場）付近における通行量に係る情報に基づいて、追加画像データの送信タイミングを決定することも好ましい。例えば、通行量が多いほど、送信タイミングをより遅らせて又はより大きな時間間隔分だけずらして通信トラフィックの集中を回避することも可能となる。また勿論、この通行量に基づき上述した追加画像データの「所定量」も、併せて決定されてもよい。

図１の機能ブロック図に戻って、提示情報生成部２１６は、クラウドサーバ１から配信された対象映像を、通信インタフェース２０１を介して取得し、例えば当該対象映像をディスプレイ２０４に表示させるとともに、対象（工事現場）に関する情報、例えば対象の種別、対象の長さや、当該対象映像の撮影された時刻や時間（期間）等もディスプレイ２０４に表示させてもよい。

例えばディスプレイ２０４がタッチパネルも備えていて、提示情報生成部２１６は、周辺に存在する複数の工事現場の位置に（工事をイメージさせる）アイコンを配した道路マップを、ディスプレイ２０４に表示させ、当該アイコンがタップされた際、該当する対象映像を同じくディスプレイ２０４に表示させてもよい。

［映像生成方法］
図５は、本発明による映像生成方法における一実施形態の概略を示すシーケンス図である。ここで本実施形態では、端末２０Ａ～２０Ｃは各々、常時、自動車２周辺の状況を撮影して映像を生成しており、さらに当該映像に対し（予め設定された）対象の検出処理を実施していて、また自らの位置情報も常時、取得している（ステップＳ１０１）。

また、端末２０Ａ～２０Ｃは各々、取得した位置情報も逐次、クラウドサーバ１に通知しており（ステップＳ１０２）、クラウドサーバ１は、取得された位置情報に基づいて通行量情報を適宜生成している（ステップＳ１０３）。なお、画像データ送信処理を負担する端末２０の数は、本実施形態において３つとなっているが、本発明においては当然これに限定されるものではない。

（Ｓ１０４，Ｓ１０５）端末２０Ａが、自ら生成した映像において所定の対象を検出し、対象の検出された画像フレームと当該対象に係る情報とを含む対象検出情報を、クラウドサーバ１へ送信する。なおこの際、検出された対象を含む所定量の画像データを併せて送信してもよく、またこの場合、この後に述べるステップＳ１０６及びＳ１０７を省略してもよい。
（Ｓ１０６）クラウドサーバ１は、受信した対象検出情報に係る対象が予め設定された対象であることを確認し、当該対象検出情報の送信元である端末２０Ａを画像データ送信要求先に決定する。

（Ｓ１０７）クラウドサーバ１は、追加基準フレームを含む画像データ送信要求と、端末２０Ａに該当する通行量情報とを端末２０Ａへ送信する。
（Ｓ１０８，Ｓ１０９）端末２０Ａは、受信した追加基準フレームと通行量情報とに基づいて、すでに生成した映像データの中から、所定量の画像データを選択し、クラウドサーバ１へ送信する。

（Ｓ１１０）クラウドサーバ１は、受信した所定量画像データに基づき次の追加基準フレームを決定した上で、取得した（複数端末の）位置情報に基づいて、次の画像データ送信要求先を端末２０Ｂに決定する。

（Ｓ１１１）クラウドサーバ１は、追加基準フレームを含む画像データ送信要求と、端末２０Ｂに該当する通行量情報とを端末２０Ｂへ送信する。
（Ｓ１１２，Ｓ１１３）端末２０Ｂは、受信した追加基準フレームと通行量情報とに基づいて、すでに生成した映像データの中から、所定量の画像データを選択し、クラウドサーバ１へ送信する。

（Ｓ１１４）クラウドサーバ１は、受信した所定量画像データに基づき、さらに次なる追加基準フレームを決定した上で、取得した（複数端末の）位置情報に基づいて、さらに次なる画像データ送信要求先を端末２０Ｃに決定する。

（Ｓ１１５）クラウドサーバ１は、追加基準フレームを含む画像データ送信要求と、端末２０Ｃに該当する通行量情報とを端末２０Ｃへ送信する。
（Ｓ１１６，Ｓ１１７）端末２０Ｃは、受信した追加基準フレームと通行量情報とに基づいて、すでに生成した映像データの中から、所定量の画像データを選択し、クラウドサーバ１へ送信する。

（Ｓ１１８，Ｓ１１９）クラウドサーバ１は、端末２０Ｃから取得した画像データにおいて、
（ａ）対象が映像データ範囲内から外へ出て対象画像部分が消失したこと、
（ｂ）対象の終端（後端）が検出されたこと、又は
（ｃ）対象が検出されないこと
に基づいて、画像データ送信要求の終了を決定し、画像データ送信停止要求を全端末２０に向けて送信又は同報する。
（Ｓ１２０）クラウドサーバ１は、これまでに取得された画像データを繋ぎ合わせて合成し、所定対象の対象映像を生成する。

ここで以上に説明したステップＳ１０４～Ｓ１２０は、例えば、他の対象が別の端末２０Ｄで検出され、それに続く端末２０Ｅを含む端末群とクラウドサーバ１とによって、当該他の対象の対象映像の生成処理が実施される形で繰り返されてもよい。

以上、詳細に説明したように、本発明によるサーバは、クライアントの位置情報に基づいて、複数のクライアントの中から対象映像を生成するのに好適なクライアントを選択・決定し、まさに選択・決定したクライアントに対して「追加画像データに係る情報」を通知することにより、必要となるだけの追加画像データを取得することを可能にするのである。

すなわち、本発明によれば、各クライアントが対象映像生成のための処理負担を分担可能となっており、その結果、画像データ送信元であるクライアントにおける画像データ送信負荷を抑制することができるのである。

ちなみに、本発明の構成及び方法は、膨大な量の映像データ伝送が可能となる５Ｇ（第５世代移動通信システム）を利用し、多数のクライアントから映像データをサーバへアップロードする場面において、そのデータ送信・収集効率の向上等、予想される重要課題の解決に大いに貢献するものと考えられる。例えば本発明の実施形態によっては、自動運転車、ドローンや、各種ロボットが撮影した高解像度映像を５Ｇによって収集し、所望の対象映像を効率良く且つ確実に生成することも可能となるのである。

以上に述べた本発明の種々の実施形態について、本発明の技術思想及び見地の範囲内での種々の変更、修正及び省略は、当業者によれば容易に行うことができる。以上に述べた説明はあくまで例示であって、何ら制約を意図するものではない。本発明は、特許請求の範囲及びその均等物によってのみ制約される。

１ クラウドサーバ（サーバ）
１０１、２０１ 通信インタフェース
１１１ 映像合成部
１１２ クライアント決定部
１１３ 入出力制御部
１１３ａ 送信要求決定部
２、２Ａ、２Ｂ、２Ｃ 自動車
２０、２０Ａ、２０Ｂ、２０Ｃ 端末（クライアント）
２０２ 測位部
２０３ カメラ
２０４ ディスプレイ（ＤＰ）
２１１ 入出力制御部
２１２ 位置情報取得部
２１３ 映像生成部
２１４ 対象検出部
２１５ 追加画像選択部
２１６ 提示情報生成部
３ 道路情報サーバ

Claims (12)

1. 移動可能な複数のクライアントから取得した画像データによって、所定の対象を映した複数の連続する画像フレームを含む対象映像を生成するサーバに搭載されたコンピュータを機能させるプログラムであって、
   当該クライアントから取得された当該クライアントの位置情報に基づいて、当該対象映像を生成するために、当該対象映像の一部分となる既に取得された画像データに加えて必要となる追加画像データであって、該一部分に対し直接に繋がれるべき当該対象映像の他の部分となる追加画像データを生成可能なクライアントを決定するクライアント決定手段と、
   決定されたクライアントに対し、当該追加画像データに係る情報を通知し、該クライアントから当該追加画像データを受け取る入出力制御手段と
   してコンピュータを機能させることを特徴とする映像生成プログラム。
2. 移動可能な複数のクライアントから取得した画像データによって所定の対象に係る対象映像を生成するサーバに搭載されたコンピュータを機能させるプログラムであって、
   当該クライアントから取得された当該クライアントの位置情報に基づいて、当該対象映像を生成するために、既に取得された画像データに加えて必要となる追加画像データを生成可能なクライアントを決定するクライアント決定手段と、
   決定されたクライアントに対し、当該追加画像データに係る情報を通知し、該クライアントから当該追加画像データを受け取る入出力制御手段と
   してコンピュータを機能させ、
   当該追加画像データに係る情報は、当該対象映像を生成するため、自らの後にフレームを追加すべきフレームである追加基準フレームのデータ、並びに／又は、当該追加基準フレームに含まれる当該対象に係る情報及び当該対象の画像内位置に係る情報を含み、
   前記クライアント決定手段は、当該追加基準フレームに続く追加フレームであって、当該対象の画像内位置が当該追加基準フレームでの画像内位置に対し所定の位置間隔要件を満たすものとなっている追加フレームを生成可能なクライアントを、当該追加画像データの要求先に決定する
   ことを特徴とする映像生成プログラム。
3. 当該クライアントは、当該対象に近づきその後遠ざかるように移動しており、
   前記クライアント決定手段は、当該追加基準フレームの提供元であるクライアントに続いて当該対象に近づくクライアントを、当該追加画像データの要求先に決定する
   ことを特徴とする請求項２に記載の映像生成プログラム。
4. 移動可能な複数のクライアントから取得した画像データによって所定の対象に係る対象映像を生成するサーバに搭載されたコンピュータを機能させるプログラムであって、
   当該クライアントから取得された当該クライアントの位置情報に基づいて、当該対象映像を生成するために、既に取得された画像データに加えて必要となる追加画像データを生成可能なクライアントを決定するクライアント決定手段と、
   決定されたクライアントに対し、当該追加画像データに係る情報を通知し、該クライアントから当該追加画像データを受け取る入出力制御手段と
   してコンピュータを機能させ、
   当該追加画像データは、当該対象映像を生成するために、当該既に取得された画像データの間を埋めることになる画像データであり、
   当該追加画像データに係る情報は、生成の途中である対象映像における、その間に埋め込むべき追加フレームの映像内位置情報、並びに／又は、当該追加フレームに含まれる当該対象に係る情報及び当該対象の画像内位置に係る情報を含み、
   前記クライアント決定手段は、当該埋め込むべき追加フレームを生成可能なクライアントを、当該追加画像データの要求先に決定する
   ことを特徴とする映像生成プログラム。
5. 移動可能な複数のクライアントから取得した画像データによって所定の対象に係る対象映像を生成するサーバに搭載されたコンピュータを機能させるプログラムであって、
   当該クライアントから取得された当該クライアントの位置情報に基づいて、当該対象映像を生成するために、既に取得された画像データに加えて必要となる追加画像データを生成可能なクライアントを決定するクライアント決定手段と、
   決定されたクライアントに対し、当該追加画像データに係る情報を通知し、該クライアントから当該追加画像データを受け取る入出力制御手段と
   してコンピュータを機能させ、
   前記入出力制御手段は、あるクライアントから、画像データとともに該画像データにおいて検出された当該対象に係る情報が取得された際、当該あるクライアント又は当該決定されたクライアントに対し、当該追加画像データに係る情報を含む画像データ送信要求を通知することを特徴とする映像生成プログラム。
6. 生成した画像データをサーバに提供し、所定の対象に係る対象映像を当該サーバに生成させる移動可能なクライアントに搭載されたコンピュータを機能させるプログラムであって、
   生成された画像データにおいて当該対象を検出する対象検出手段と、
   自らを含むクライアントに係る位置情報を取得する位置情報取得手段と、
   当該画像データにおいて検出された当該対象に係る情報、及び当該位置情報を当該サーバへ提供し、受け取った当該対象に係る情報及び当該位置情報に基づいて、当該対象映像を生成するために必要となる追加画像データを生成可能なクライアントとして自らを含むクライアントを指定してきた当該サーバから、当該対象に係る情報及び当該位置情報に基づき決定された当該追加画像データに係る情報を受け取るクライアント入出力制御手段と、
   当該サーバから当該追加画像データに係る情報が受け取られた際、当該追加画像データに係る情報に基づいて、生成された画像データ群の中から当該追加画像データを選択し当該サーバへ提供させる追加画像選択手段と
   してコンピュータを機能させることを特徴とする映像生成支援プログラム。
7. 生成した画像データをサーバに提供し、所定の対象に係る対象映像を当該サーバに生成させる移動可能なクライアントに搭載されたコンピュータを機能させるプログラムであって、
   自らを含むクライアントに係る位置情報を取得し当該サーバへ通知させる位置情報取得手段と、
   受け取った当該位置情報に基づいて、当該対象映像を生成するために必要となる追加画像データを生成可能なクライアントとして自らを含むクライアントを指定してきた当該サーバから、当該追加画像データに係る情報が取得された際、当該追加画像データに係る情報に基づいて、生成された画像データ群の中から当該追加画像データを選択し当該サーバへ提供させる追加画像選択手段と
   してコンピュータを機能させ、
   自らを含むクライアントを含む複数のクライアントは順次、当該対象に近づきその後遠ざかるように移動しており、
   前記追加画像選択手段は、当該サーバ又は別のサーバから取得された、当該対象付近における当該クライアントの通行量に係る情報に基づいて、選択する当該追加画像データの量及び／又は提供タイミングを決定する
   ことを特徴とする映像生成支援プログラム。
8. 生成した画像データをサーバに提供し、所定の対象に係る対象映像を当該サーバに生成させる移動可能なクライアントに搭載されたコンピュータを機能させるプログラムであって、
   自らを含むクライアントに係る位置情報を取得し当該サーバへ通知させる位置情報取得手段と、
   受け取った当該位置情報に基づいて、当該対象映像を生成するために必要となる追加画像データを生成可能なクライアントとして自らを含むクライアントを指定してきた当該サーバから、当該追加画像データに係る情報が取得された際、当該追加画像データに係る情報に基づいて、生成された画像データ群の中から当該追加画像データを選択し当該サーバへ提供させる追加画像選択手段と
   してコンピュータを機能させ、
   当該追加画像データに係る情報は、当該対象映像を生成するため、自らの後にフレームを追加すべきフレームである追加基準フレームのデータ、並びに／又は、当該追加基準フレームに含まれる当該対象に係る情報及び当該対象の画像内位置に係る情報を含み、
   前記追加画像選択手段は、当該追加基準フレームに続く追加フレームであって、当該対象の画像内位置が当該追加基準フレームでの画像内位置に対し所定の位置間隔要件を満たすものとなっている追加フレームを、生成された画像データ群の中から選択する
   ことを特徴とする映像生成支援プログラム。
9. 移動可能な複数のクライアントから取得した画像データによって、所定の対象を映した複数の連続する画像フレームを含む対象映像を生成するサーバであって、
   当該クライアントから取得された当該クライアントの位置情報に基づいて、当該対象映像を生成するために、当該対象映像の一部分となる既に取得された画像データに加えて必要となる追加画像データであって、該一部分に対し直接に繋がれるべき当該対象映像の他の部分となる追加画像データを生成可能なクライアントを決定するクライアント決定手段と、
   決定されたクライアントに対し、当該追加画像データに係る情報を通知し、該クライアントから当該追加画像データを受け取る入出力制御手段と
   を有することを特徴とする映像生成サーバ。
10. 生成した画像データをサーバに提供し、所定の対象に係る対象映像を当該サーバに生成させる移動可能なクライアントであって、
    生成された画像データにおいて当該対象を検出する対象検出手段と、
    自らを含むクライアントに係る位置情報を取得する位置情報取得手段と、
    当該画像データにおいて検出された当該対象に係る情報、及び当該位置情報を当該サーバへ提供し、受け取った当該対象に係る情報及び当該位置情報に基づいて、当該対象映像を生成するために必要となる追加画像データを生成可能なクライアントとして自らを含むクライアントを指定してきた当該サーバから、当該対象に係る情報及び当該位置情報に基づき決定された当該追加画像データに係る情報を受け取るクライアント入出力制御手段と、
    当該サーバから当該追加画像データに係る情報が受け取られた際、当該追加画像データに係る情報に基づいて、生成された画像データ群の中から当該追加画像データを選択し当該サーバへ提供させる追加画像選択手段と
    を有することを特徴とする映像生成支援クライアント。
11. 生成した画像データをサーバに提供し、所定の対象に係る対象映像を当該サーバに生成させる移動可能なクライアントであって、
    自らに係る位置情報を取得し当該サーバへ通知させる位置情報取得手段と、
    受け取った当該位置情報に基づいて、当該対象映像を生成するために必要となる追加画像データを生成可能なクライアントとして自らを指定してきた当該サーバから、当該追加画像データに係る情報が取得された際、当該追加画像データに係る情報に基づいて、生成された画像データ群の中から当該追加画像データを選択し当該サーバへ提供させる追加画像選択手段と
    を有し、
    自らを含む複数のクライアントは順次、当該対象に近づきその後遠ざかるように移動しており、
    前記追加画像選択手段は、当該サーバ又は別のサーバから取得された、当該対象付近における当該クライアントの通行量に係る情報に基づいて、選択する当該追加画像データの量及び／又は提供タイミングを決定する
    ことを特徴とする映像生成支援クライアント。
12. 移動可能な複数のクライアントから取得した画像データによって、所定の対象を映した複数の連続する画像フレームを含む対象映像を生成するサーバに搭載されたコンピュータにおける対象映像生成方法であって、
    当該クライアントから取得された当該クライアントの位置情報に基づいて、当該対象映像を生成するために、当該対象映像の一部分となる既に取得された画像データに加えて必要となる追加画像データであって、該一部分に対し直接に繋がれるべき当該対象映像の他の部分となる追加画像データを生成可能なクライアントを決定するステップと、
    決定されたクライアントに対し、当該追加画像データに係る情報を通知し、該クライアントから当該追加画像データを受け取るステップと
    を有することを特徴とする映像生成方法。

Images