JP7318809B2 - 映像分析装置、映像分析システム及び映像分析方法 - Google Patents

Description

本発明は映像分析装置、映像分析システム及び映像分析方法に関する。

非特許文献１には、一連の映像フレームについて、複数の映像分析部で分散して映像分析を行う技術が開示されている。

Sandeep Chinchali著、"Network Offloading Policies for Cloud Robotics: a Learning-based Approach"

しかしながら、非特許文献１に記載の技術では、依然として映像分析の精度が十分ではないという問題がある。
本発明は、このような問題点を解決するためになされたものであり、映像分析精度を向上させた映像分析装置、映像分析システム及び映像分析方法を提供することを目的とする。

本発明の第１の態様にかかる映像分析装置は、
第１映像分析部と第２映像分析部とを備えた映像分析装置であって、
前記第１映像分析部は、
少なくとも２つのフレームを前記第１映像分析部か、前記第２映像分析部に振り分ける振り分け部と、
前記第１映像分析部に振り分けられたフレーム内の対象物を検出する第１検出部と、
前記検出された対象物に関連付けられた移動に関する情報を取得し、前記移動に関する情報と前記第１検出部での検出結果を前記第２映像分析部に送信する取得部と、
を備え、
前記第２映像分析部は、
前記振り分け部から受信したフレーム内の対象物を検出する第２検出部と、
前記第２検出部での検出結果と前記移動に関する情報に基づいて、前記第１検出部での検出結果を調整する調整部と、
を備える。

本発明の第２の態様にかかる映像分析システムは、
第１映像分析部と、第２映像分析部とを備えた映像分析システムであって、
前記第１映像分析部は、
少なくとも２つのフレームを前記第１映像分析部か、前記第２映像分析部に振り分ける振り分け部と、
前記第１映像分析部に振り分けられたフレーム内の対象物を検出する第１検出部と、
前記検出された対象物に関連付けられた移動に関する情報を取得し、前記移動に関する情報と前記第１検出部での検出結果を前記第２映像分析部に送信する取得部と、
を備え、
前記第２映像分析部は、
前記振り分け部から受信したフレーム内の対象物を検出する第２検出部と、
前記第２検出部での検出結果と前記移動に関する情報に基づいて、前記第１検出部での検出結果を調整する調整部と、
を備える。

本発明の第３の態様にかかる映像分析方法は、
一連のフレームに対して第１映像分析部と第２映像分析部で分散して映像分析を行う映像分析方法であって、
前記第１映像分析部において、
少なくとも２つのフレームを連続して受信し、前記第１映像分析部で分析するか、前記第２映像分析部で分析するかを振り分け、
前記第１映像分析部で分析すると振り分けられたフレーム内の対象物を検出し、
前記検出された対象物に関連付けられた移動に関する情報を取得し、前記移動に関する情報と前記第１映像分析部での検出結果を前記第２映像分析部に送信し、
前記第２映像分析部において、
前記第１映像分析部から受信したフレーム内の対象物を検出し、
前記第２映像分析部での検出結果と前記移動に関する情報に基づいて、前記第１映像分析部での検出結果を調整する。

本発明によれば、映像分析精度を向上させた映像分析装置、映像分析システム及び映像分析方法を提供することができる。

実施の形態１にかかる映像分析装置の構成を示すブロック図である。 実施の形態１にかかる映像分析方法を示すフローチャートである。 実施の形態２にかかる映像分析装置の構成を示すブロック図である。 実施の形態２にかかる映像分析方法を示すフローチャートである。 実施の形態３にかかる映像分析システムの構造を示すブロック図である。 実施の形態３にかかる、第１映像分析部で検出される例示的な対象物を含む映像フレームを示す図である。 実施の形態３にかかる、移動ベクトルを算出する例を説明する図である。 実施の形態３にかかる、第２映像分析部で検出される例示的な対象物を含むフレームを示す図である。 一部の実施の形態にかかる調整処理の全体像を説明する概念図である。 一部の実施の形態にかかる調整処理の具体例を説明する概念図である。 実施の形態３にかかるエッジ側に配置された第１映像分析部の動作を示すフローチャートである。 実施の形態３にかかるクラウド側に配置された第２映像分析部の映像フレーム受信に関する動作を示すフローチャートである。 実施の形態３にかかるクラウド側に配置された分析結果調整部による動作を示すフローチャートである。 固定カメラを用いた映像分析システムの検出精度を説明するグラフである。 車載カメラを用いた映像分析システムの検出精度を説明するグラフである。 実施の形態４にかかる車両遠隔制御システムの構成を示すブロック図である。 映像分析装置又は映像分析部のハードウェアの構成例を示すブロック図である。

実施の形態１
以下、図面を参照して本発明の実施の形態について説明する。
図１は、実施の形態１にかかる映像分析装置の構成を示すブロック図である。
映像分析装置１は、少なくとも２つのフレームを分散して処理するために、第１映像分析部１００と第２映像分析部２００とを備える。映像分析装置１は、１つ又はそれ以上のコンピュータにより実現され得る。少なくとも２つのフレームは、連続する２つのフレームでもよいし、別のフレームを挟んだ２つのフレームでもよい。

第１映像分析部１００は、少なくとも２つのフレームを、第１映像分析部１００か、第２映像分析部２００に振り分ける振り分け部１０３と、第１映像分析部１００で分析すると振り分けられたフレーム内の対象物を検出する第１検出部１０５と、検出された対象物に関連付けられた移動に関する情報を取得し、当該移動に関する情報と第１検出部１０５での検出結果を第２映像分析部２００に送信する取得部１０６と、を備える。第１検出部１０５は、所定の映像分析プログラムを用いて、フレームから、予め指定された対象物を検出する。振り分け部１０３は、予め設定された振り分け率で、フレームを第１映像分析部１００か、第２映像分析部２００に振り分けることができる。「検出された対象物に関連付けられた移動に関する情報」とは、例えば、対象物を囲うバウンディングボックス内の対象物の移動する方向の情報又は移動ベクトルを含んでもよい。

第２映像分析部２００は、振り分け部１０３からのフレーム内の対象物を検出する第２検出部２０５と、第２検出部２０５での検出結果と前記移動に関する情報に基づいて、第１検出部１０５での検出結果を調整する調整部２０７と、を備える。第２検出部２０５は、所定の映像分析プログラムを用いて、フレームの中から、予め指定された対象物を検出する。

図２は、実施の形態１にかかる映像分析方法を示すフローチャートである。
実施の形態１にかかる映像分析方法は、少なくとも２つのフレームを第１映像分析部１００と第２映像分析部２００において分散して処理する。

第１映像分析部１００において、連続して受信した少なくとも２つのフレームを、前記第１映像分析部１００か、第２映像分析部２００に振り分ける（ステップＳ１０１）。第１映像分析部１００に振り分けられたフレーム内の対象物を検出する（ステップＳ１０２）。検出された対象物に関連付けられた移動に関する情報を取得し、移動に関する情報と第１映像分析部１００での検出結果を第２映像分析部２００に送信する（ステップＳ１０３）。第２映像分析部２００において、第１映像分析部１００から受信したフレーム内の対象物を検出する（ステップＳ１０３）。第２映像分析部２００において、第２映像分析部２００での検出結果と移動に関する情報に基づいて、第１映像分析部１００での検出結果を調整する（ステップＳ１０５）。

以上説明した実施の形態１にかかる映像分析装置および映像分析方法によれば、複数の映像分析部において、少なくとも２つのフレームを分散して処理しても、高精度な映像分析結果を得ることができる。

実施の形態２
図３は、実施の形態２にかかる映像分析装置の構成を示すブロック図である。
映像分析装置１ａは、一連のフレーム（少なくとも２つのフレームを含む）を分散して処理するために、第１映像分析部１００ａと第２映像分析部２００ａとを備える。

第１映像分析部１００ａは、カメラから受信した少なくとも２つの一連のフレームを第１映像分析部１００ａか、第２映像分析部２００ａに振り分ける振り分け部１０３ａと、第１映像分析部１００に振り分けられたフレーム内の対象物を検出する第１検出部１０５ａと、検出された対象物内の移動に関する情報を取得する移動情報取得部１０６ａと、移動に関する情報と第１検出部１０５ａでの検出結果を第２映像分析部に送信する分析結果送信部１０７ａと、第２映像分析部２００ａに振り分けられたフレームを第２映像分析部２００ａに送信するフレーム送信部１０９ａと、を備える。
第１検出部１０５ａは、所定の映像分析プログラムを用いて、フレームから、予め指定された対象物を検出する。検出された対象物は、バウンディングボックスにより囲われ得る。移動情報取得部１０６ａは、２つのフレーム間において、対象物が動いていることを認識し、バウンディングボックス内の対象物に関する移動情報を取得する。移動情報取得部１０６ａは、第１映像分析部１００ａ内の記憶部に一時的に格納された映像フレームと、第１検出部１０５ａからの検出結果フレームとを比較して、移動情報を取得することができる。取得される移動情報は、対象物の移動する方向の情報又は移動ベクトルを含んでもよい。振り分け部１０３は、予め設定された振り分け率で、フレームを第１映像分析部１００か、第２映像分析部２００に振り分けることができる。例えば、振り分け率が１０％と設定されている場合、振り分け部１０３は、連続して受信するフレームを振り分けカウンタを用いてカウントし、最初のフレームを第２映像分析部２００に送信した後、残りの９枚のフレームを第１映像分析部１００に振り分けることができる。振り分け率は、閾値以上に設定されている。

「検出された対象物の検出領域内の移動に関する情報」とは、例えば、対象物を囲うバウンディングボックス内の対象物の移動する方向の情報又は移動ベクトルを含んでもよい。

フレーム送信部１０９ａは、映像フレームを所定の品質で符号化するエンコーダを備えてもよい。本実施の形態にかかる第１映像分析部１００ａは、分析結果送信部１０７ａと、フレーム送信部１０９ａと、を備える。分析結果送信部１０７ａは、第１映像分析部１００ａに振り分けられたフレームについての移動ベクトルと、検出結果を分析結果として、第２映像分析部２００ａに送信する。そのため、分析結果送信部１０７ａのフレーム当たりの送信データ容量は、比較的少ない。一方、フレーム送信部１０９ａは、第２映像分析部２００ａに振り分けられたフレームを所定の品質で符号化して送信するため、フレーム送信部１０９ａのフレーム当たりの送信データ容量は、分析結果送信部１０７ａより大きくなる。なお、以上説明したように、分析結果送信部１０７ａと、フレーム送信部１０９ａとは、異なるフレーム、すなわち、振り分け部１０３ａにおいて、第１映像分析部１００ａに振り分けられたフレームと、第２映像分析部２００ａに振り分けられたフレームに対処するものである。

第２映像分析部２００ａは、フレーム送信部１０９ａから受信したフレーム内の対象物を検出する第２検出部２０５ａと、第２検出部２０５ａでの検出結果と移動に関する情報に基づいて、第１検出部１０５ａでの検出結果を調整する調整部２０７ａと、を備える。第２検出部２０５ａは、第１検出部１０５ａの映像分析プログラムとは異なる、又はより高精度な所定の映像分析プログラムを用いて、フレームから、予め指定された対象物を検出する。

図４は、実施の形態２にかかる映像分析方法を示すフローチャートである。
実施の形態２にかかる映像分析方法は、少なくとも２つのフレームを第１映像分析部１００と第２映像分析部２００において分散して処理する。

第１映像分析部１００ａは、カメラから受信した一連のフレームを第１映像分析部１００ａか、第２映像分析部２００ａに別々に振り分ける（ステップＳ２０１）。第１映像分析部１００ａは、第１映像分析部１００ａに振り分けられたフレーム内の対象物を検出する（ステップＳ２０２）。第１映像分析部１００ａは、検出された対象物の検出領域（例えば、バウンディングボックス）内の移動に関する情報を取得する（ステップＳ２０３）。第１映像分析部１００ａは、移動に関する情報と第１映像分析部１００ａでの検出結果を第２映像分析部２００ａに送信する（ステップＳ２０４）。第１映像分析部１００ａは第２映像分析部２００ａに振り分けられたフレームを第２映像分析部２００ａに送信する（ステップＳ２０５）。

第２映像分析部２００ａは、第１映像分析部１００ａから受信したフレーム内の対象物を検出する（ステップＳ２０６）。第２映像分析部２００ａでの検出結果と、第１映像分析部１００ａから受信した移動に関する情報に基づいて、第１映像分析部１００ａでの検出結果を調整する（ステップＳ２０７）。

以上説明した実施の形態２にかかる映像分析装置および映像分析方法によれば、複数の映像分析部において、一連のフレームを分散して処理しても、高精度な映像分析結果を得ることができる。

実施の形態３
図５は、実施の形態３にかかる映像分析システムの構造を示すブロック図である。
映像分析システム１ｂは、第１映像分析部１００ｂと、第２映像分析部２００ｂと、を備える。第１映像分析部１００ｂは、エッジ側に配置され、カメラと有線又は無線で接続されている。第１映像分析部１００ｂとカメラが、例えば、Ｗｉ－Ｆｉ（登録商標）などの無線通信で接続される場合、接続台数が少ないので、４Ｇ、５Ｇ等の携帯電話網と比べて、安定した通信が可能となる。第１映像分析部１００ｂは電源や設置スペースの制約から、十分な計算リソースを用意できず、計算コストの低い低精度モデルとなる場合が多い。一方、第２映像分析部２００は、第１映像分析部１００とＬＴＥ（登録商標）や５Ｇ、Ｗｉ－ｆｉ（登録商標）などの無線ネットワークを介して接続され、第１映像分析部１００ｂに比べて、計算リソースが潤沢であるので、高精度な映像分析を実現する。

まず、第１映像分析部１００ｂの構成を説明する。第１映像分析部１００ｂは、例えば、コンピュータにより実現され得る車載用の映像分析装置である。第１映像分析部１００ｂは、例えば、図１７に示すように、演算処理等を行うＣＰＵ（Central Processing Unit）などのプロセッサ１２０２、プロセッサ１２０２によって実行される演算プログラム等が記憶されたＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）からなるメモリ１２０３、外部と信号の入出力を行うインターフェイス部（Ｉ／Ｆ）１２０１、などからなるマイクロコンピュータ等により構成されている。プロセッサ１２０２、メモリ１２０３、及びインターフェイス部１２０１は、データバスなどを介して相互に接続されている。インターフェイス部（Ｉ／Ｆ）１２０１は、IEEE 802.11 seriesにおいて規定された無線ＬＡＮ通信、もしくは３ＧＰＰ（3rd Generation Partnership Project）において規定されたモバイル通信を行うために使用されてもよい。もしくは、インターフェイス部（Ｉ／Ｆ）１２０１は、例えば、IEEE 802.3 seriesに準拠したネットワークインターフェースカード（NIC）を含んでもよい。

第１映像分析部１００ｂは、図５に示すように、映像フレーム受信部１０１ｂ、フレーム振り分け部１０３ｂ、変更部１０４ｂ、第１検出部１０５ｂ、移動ベクトル取得部１０６ｂ、分析結果送信部１０７ｂ、エンコーダ１０８ｂ及び記憶部１１０ｂを含む。

映像フレーム受信部１０１ｂは、車載カメラ（不図示）から有線ネットワークを介して１つ以上の映像フレームを連続的に受信する。なお、本例では車載カメラを例に説明するが、固定カメラなどの他のカメラであってもよい。受信した各映像フレームは、記憶部１１０ｂに一時的に格納される。

フレーム振り分け部１０３ｂは、映像フレーム受信部１０１ｂからの各映像フレームについて、第１映像分析部１００ｂで分析するか、それとも第２映像分析部２００ｂで分析するかを所定のフレーム送信割合（振り分け率とも呼ばれる場合がある）で振り分ける。例えば、所定のフレーム送信割合が１０％と設定された場合、連続的に受信する１０枚の映像フレームのうち、第２映像分析部２００ｂに１枚のフレームを送信した後、９枚のフレームを第１映像分析部１００ｂに振り分ける。フレーム振り分け部１０３ｂは、連続的に受信する映像フレームを所定のフレーム送信割合以上で、第２映像分析部２００ｂで分析するように振り分ける。所定のフレーム送信割合は、第１映像分析部１００ｂから第２映像分析部２００ｂへの無線ネットワークの可用帯域に基づいて設定され得る。

またフレーム振り分け部１０３ｂは、無線ネットワークでデータを送信するために使用可能である帯域を示す可用帯域を推定する。例えば、フレーム振り分け部１０３ｂは、可用帯域をレベル分けした値（例えば、大、中、小）で評価し、評価した可用帯域に基づいて、段階的にフレーム送信割合を変更してもよい（詳細は後述する）。

エンコーダ１０８ｂは、第２映像分析部２００ｂで分析するように振り分けられた映像フレームをフレーム振り分け部１０３ｂから受信すると、映像フレームを所定の品質で符号化し、符号化された映像フレームを第２映像分析部２００ｂに送信する。

一方、フレーム振り分け部１０３ｂにおいて第１映像分析部１００ｂで分析するように振り分けられた映像フレームは、第１検出部１０５ｂに送られる。

第１検出部１０５ｂは、振り分けられたフレーム内の対象物を検出する。具体的には、第１検出部１０５ｂは、映像分析ブログラムＡ（エッジモデル、軽量モデル又は低精度モデルとも呼ばれる場合がある）を用いて、フレーム振り分け部１０３ｂで振り分けられた映像フレームに対して画像分析を実行する。図６は、第１映像分析部で検出される例示的な対象物を含む映像フレームを示す図である。軽量モデルの例としては、認識精度が若干劣るが高速で動作可能なＹＯＬＯｖ３ Ｔｉｎｙが挙げられる。図６は、走行中の車両の車載カメラが前方を撮影した例示の映像フレームを示す。本例では、自動車、トラック、バス、オートバイ、自転車、歩行者、信号機など交通関連の対象物が検出される。図６に示すように、検出された各対象物は、バウンディングボックスで囲われている。また、バウンディングボックスの近傍に示された表記「Ｃａｒ：３％」は、検出対象物が自動車である確率（信頼度）が３％であることを示している。なお、交通に関する対象物の場合、１フレームあたり１～２００個程度の対象物が検出され得る。

移動ベクトル取得部１０６ｂは、２つのフレーム間における、第１検出部１０５ｂで検出された対象物内の移動ベクトルを取得する。すなわち、移動ベクトル取得部１０６ｂは、第１検出部１０５ｂからの検出結果フレームと、記憶部１１０ｂに記憶されたフレームとの輝度勾配等を比較して、移動ベクトルを取得することができる。図７は、移動ベクトルを算出する例を説明する図である。図７（ａ）は時刻ｔに撮影された映像フレーム内の検出された自動車を示す。移動ベクトル取得部１０６ｂは、破線で示したバウンディングボックス内の移動ベクトルの平均値を取得する。この移動ベクトルは、２つのフレームがどれくらいずれているかを算出し、検出位置を調整するのに使用され得る。２つのフレームは、時系列に沿って連続する２つのフレーム（例えば、ｔ－１，ｔ）でもよいし、所定時間だけ離れている２つのフレーム（例えば、ｔ－５，ｔ）でもよい。ここでは、移動ベクトルは、Ｏｐｔｉｃａｌ ＦｌｏｗをＧｕｎｎａｒ Ｆａｒｎｅｂａｃｋ法を使って取得される。すなわち、まず、フレーム全体において、ピクセル当たりｘ方向及びｙ方向の移動ベクトルが生成される。その後、各エッジ対象物の検出領域（例えば、バウンディングボックス）内の平均ベクトルを算出する。これにより、フレーム間において、各検出対象物がどの方向に移動しているかを認識することができる。

図７（ｂ）は、調整部２０７ｂにおいて、取得した移動ベクトルに基づき、シフトした自動車を示す（すなわち、図７（ｂ）は、時刻ｔ＋１の映像フレームを推定したものである）。実線で示したバウンディングボックスは、シフト後のバウンディングボックスを示している。このように、移動ベクトルに基づき、対象物を所定時間分移動させることができる。本実施の形態では、このように２つのフレーム全体の移動ベクトルではなく、検出された対象物又はバウンディングボックスに関連付けられた移動ベクトルのみに絞ることで、データ容量を大幅に削減することができる。

分析結果送信部１０７ｂは、第１検出部１０５で検出された対象物と、移動ベクトル取得部１０６で取得された移動ベクトルを、分析結果として、無線ネットワークを介して第２映像分析部２００ｂに送信する。分析結果は、例えば、バウンディングボックスの中心座標（ｘ、ｙ）、幅、高さ、検出された対象物の識別子、検出された対象物の数、移動ベクトル（ｘ、ｙ）を含み得る。つまり、分析結果送信部１０７ｂは、第１映像分析部１００ｂで分析した映像フレーム自体ではなく、こうした分析結果を第２映像分析部２００ｂに送信する。これにより、第１映像分析部１００ｂで分析した映像フレーム自体を送信する場合よりも、送信データ容量を低減し、帯域不足に起因する問題（ブロックノイズやフレーム落ちなど）の発生を抑制する。

続いて、第２映像分析部２００ｂの構成を説明する。第２映像分析部２００ｂは、例えば、コンピュータにより実現され得るクラウドサーバである。第２映像分析部２００ｂは、例えば、図１７に示すように、演算処理等を行うＣＰＵ（Central Processing Unit）などのプロセッサ１２０２、プロセッサ１２０２によって実行される演算プログラム等が記憶されたＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）からなるメモリ１２０３、外部と信号の入出力を行うインターフェイス部（Ｉ／Ｆ）１２０１、などからなるマイクロコンピュータ等により構成されている。プロセッサ１２０２、メモリ１２０３、及びインターフェイス部１２０１は、データバスなどを介して相互に接続されている。インターフェイス部（Ｉ／Ｆ）は、IEEE 802.11 seriesにおいて規定された無線ＬＡＮ通信、もしくは３ＧＰＰ（3rd Generation Partnership Project）において規定されたモバイル通信を行うために使用されてもよい。もしくは、インターフェイス部（Ｉ／Ｆ）１２０１は、例えば、IEEE 802.3 seriesに準拠したネットワークインターフェースカード（NIC）を含んでもよい。

第２映像分析部２００ｂは、図５に示すように、デコーダ２０１ｂ、分析結果受信部２０３ｂ、第２検出部２０５ｂ、分析結果調整部２０７ｂ、及び帯域推定部２１２ｂを含む。

デコーダ２０１ｂは、エンコーダ１０８ｂで符号化された映像フレームを復号し、映像フレームを第２検出部２０５ｂに送信する。デコーダ２０１ｂは、エンコーダ１０８からの映像フレームを受信し、一時的に格納するフレームバッファを備えてもよい。

第２検出部２０５ｂは、振り分けられたフレーム内の対象物を検出する。具体的には、第２検出部２０５ｂは、デコーダ２０１からの映像フレームに対して、映像分析ブログラムＡより高精度な映像分析が可能な映像分析ブログラムＢ（クラウドモデル又は高精度モデルとも呼ばれる場合がある）で画像分析を実行する。高精度モデルの例としては、一般物体検出とセグメンテーションを行うＭａｓｋ ＲＣＮＮが挙げられる。図８は、第２映像分析部で検出される例示的な対象物を含む映像フレームを示す図である。図８は、図６と同一の映像フレームを、高精度モデルで対象物を検出した結果を示す。本例では、図８に示すように、自動車、自転車、歩行者、信号機など交通関連の対象物が検出される。検出された各対象物は、バウンディングボックスで囲われている。図８は、バウンディングボックスの近傍に示された表記「Ｃａｒ：９９％」は、検出対象物が自動車である確率（信頼度）が９９％であることを示している。図８は、図６と比べると、高信頼度で対象物を検出していることを示している。

一方、分析結果受信部２０３ｂは、分析結果送信部１０７ｂからの分析結果を受信する。分析結果受信部２０３ｂは、分析結果データを一時的に格納する分析結果データ用バッファであってもよい。

分析結果調整部２０７ｂは、第２検出部２０５ｂにより対象物が検出された映像フレーム（対象物はバウンディングボックスで囲まれている）と移動ベクトルとに基づいて、映像フレームを調整する。具体的には、分析結果調整部２０７ｂは、第２検出部２０５ｂにより対象物が検出された映像フレームと、移動ベクトルとに基づき、映像フレームの後に撮影された映像フレームを調整する。分析結果調整部２０７ｂは、例えば、第２検出部２０５ｂにより対象物が検出された映像フレーム（対象物はバウンディングボックスで囲まれている）と、移動ベクトルとに基づき、第１検出部１０５ｂによる検出結果から、対象物の位置を調整する。換言すると、分析結果調整部２０７ｂは、第２検出部２０５ｂの高精度モデルの検出結果を参照して、第１検出部１０５ｂによる低精度モデルの検出結果を調整する。分析結果調整部２０７ｂは、第２検出部２０５ｂの高精度モデルにより検出された映像フレームを参照して、当該映像フレームの後に撮影され、第１検出部１０５（低精度モデル）に振り分けられた映像フレームについて高精度で推定する。

帯域推定部２１２ｂは、前述した分析結果データ用バッファおよびフレームバッファの使用量を参照し、第１映像分析部１００ｂから第２映像分析部２００ｂへの無線ネットワークでデータを送信するために使用可能である帯域を示す可用帯域を推定する。帯域推定部２１２ｂは、推定された可用帯域（例えば、大、中、小）を、第１映像分析部１００ｂの変更部１０４に通知する。

変更部１０４ｂは、推定された可用帯域に基づき、フレーム振り分け部１０３ｂのフレーム送信割合を変更する。例えば、可用帯域が大きい場合、変更部１０４ｂは、フレーム送信割合を高く変更し、クラウドでの分析割合を増加させてもよい。あるいは、可用帯域が小さい場合、変更部１０４ｂは、フレーム送信割合を低く変更し、エッジでの分析割合を増加させてもよい。

図９は、一部の実施の形態にかかる調整処理の全体像を説明する概念図である。
図９の上部には、時系列に沿って撮影された一連の映像フレームが示されている。実線で示したフレームは、クラウドに送信されたフレームを示す。破線で示したフレームは、エッジに振り分けられたフレームを示す。本例では、フレーム振り分け部１０３ｂが２５％のフレーム送信割合で、クラウド側の第２映像分析部２００にフレームを送信する。すなわち、時刻ｔに撮影されたフレーム（実線で示す）は、クラウド側の第２映像分析部２００ｂに送られる。そして、当該フレームは、クラウド側の第２検出部２０５ｂの高精度モデルにより、対象物の検出が行われる。クラウド側で対象物の検出が行われたフレームを参照フレームと称する。

一方、時刻ｔ＋１，ｔ＋２，ｔ＋３に撮影された各フレーム（破線で示す）は、エッジ側の第１検出部１０５ｂの軽量モデルにより、対象物の検出が行われる。このエッジでの検出精度が悪いため、以下のように調整が行われる。

当該参照フレームの直後の時刻ｔ＋１に撮影されたフレームについては、エッジ側の第１映像分析部１００ｂの第１検出部１０５で対象物の検出が行われる。さらに、時刻ｔ＋１に撮影されたフレームは、移動ベクトル取得部１０６ｂで検出対象物を囲んだバウンディングボックス内の移動ベクトルが取得される。これらの検出結果（本明細書ではエッジ検出結果とも呼ばれる）および移動ベクトルは、分析結果送信部１０７ｂによって、第２映像分析部２００ｂの分析結果受信部２０３ｂに送られる。分析結果調整部２０７ｂは、時刻ｔにおけるフレームについてのクラウド側の第２検出部２０５ｂによる検出結果（本明細書ではクラウド検出結果とも呼ばれる）と、時刻ｔ＋１のフレームについての移動ベクトルに基づいて、時刻ｔ＋１のフレームについてのエッジ検出結果を調整する。

同様に、当該時刻ｔ＋１に撮影されたフレームの直後の時刻ｔ＋２に撮影されたフレームについても、エッジ側の第１映像分析部１００ｂの第１検出部１０５ｂで対象物の検出が行われる。さらに、時刻ｔ＋２に撮影されたフレームについて、移動ベクトル取得部１０６ｂは、検出対象物を囲んだバウンディングボックス内の移動ベクトルを取得する。これらのエッジ検出結果および移動ベクトルは、分析結果送信部１０７ｂによって、第２映像分析部２００ｂの分析結果受信部２０３ｂに送られる。分析結果調整部２０７ｂは、時刻ｔ＋１におけるフレームについての調整後の結果と、時刻ｔ＋２のフレームについての移動ベクトルに基づいて、時刻ｔ＋２のフレームについてのエッジ検出結果を調整する。

更に、同様に、当該時刻ｔ＋２に撮影されたフレームの直後の時刻ｔ＋３に撮影されたフレームについても、エッジ側の第１映像分析部１００ｂの第１検出部１０５ｂで対象物の検出が行われる。さらに、時刻ｔ＋３に撮影されたフレームについて、移動ベクトル取得部１０６ｂは検出対象物を囲んだバウンディングボックス内の移動ベクトルを取得する。これらのエッジ検出結果および移動ベクトルは、分析結果送信部１０７ｂによって、第２映像分析部２００ｂの分析結果受信部２０３ｂに送られる。分析結果調整部２０７ｂは、時刻ｔ＋２におけるフレームについての調整後の結果と、時刻ｔ＋３のフレームについての移動ベクトルに基づいて、時刻ｔ＋３のフレームについてのエッジ検出結果を調整する。

時刻ｔ＋４に撮影されたフレームは、フレーム振り分け部１０３により、再びクラウド側の第２映像分析部２００ｂに送られる。そして、当該フレームは、クラウド側の第２検出部２０５ｂの高精度モデルにより、対象物の検出が行われる。つまり、時刻ｔ＋４に撮影されたフレームが参照フレームとなり、時刻ｔ＋５以降の調整処理が行われる。

なお、本実施の形態では、フレーム送信割合を２５％としたが、本発明はこれに限定されない。また、フレーム間の撮影間隔も任意に設定することができる。

また、上記した例では、ｔ＋２又はｔ＋３のフレームについては、直前のｔ＋１又はｔ＋２のフレームの調整後の結果を基準としたが、参照フレームを基準としてもよい。すなわち、時刻ｔにおけるフレームについてのクラウド検出結果と、時刻ｔの参照フレームを基準とした時刻ｔ＋２のフレームについての移動ベクトルに基づいて、時刻ｔ＋２のフレームについてのエッジ検出結果を調整してもよい。同様に、時刻ｔにおけるフレームについてのクラウド検出結果と、時刻ｔの参照フレームを基準とした時刻ｔ＋３のフレームについての移動ベクトルに基づいて、時刻ｔ＋３のフレームについてのエッジ検出結果を調整してもよい。

図１０は、分析結果調整部２０７ｂの動作の具体例を説明する概念図である。
クラウド側の第２映像分析部２００ｂの分析結果調整部２０７ｂは、時刻ｔに撮影されたフレームについてのクラウド検出結果と、時刻ｔ＋１に撮影されたフレームについてのエッジ検出結果および移動ベクトルから、時刻ｔ＋１における正確な結果を推定する。

時刻ｔに撮影されたフレームは、クラウド側の第２映像分析部２００ｂの第２検出部２０５ｂにより対象物の検出が行われる。当該フレームには、図１０に示すように、検出された２つの対象物を囲う２つのバウンディングボックスＢ１、Ｂ２（クラウド検出物体とも呼ばれる）が示されている。

時刻ｔに撮影されたフレームの直後の時刻ｔ＋１に撮影されたフレームは、エッジ側の第１映像分析部１００の第１検出部１０５ｂにより対象物の検出が行われる。当該フレームには、図１０に示すように、検出された２つの対象物を囲う２つのバウンディングボックスＢ２１、Ｂ２２（エッジ検出物体とも呼ばれる）が示されている。前述した通り、当該フレーム自体は、クラウド側の第２映像分析部２００ｂに送られず、対象物（バウンディングボックスＢ２１、Ｂ２２）の検出結果と、各バウンディングボックス内の移動ベクトルの平均値が第２映像分析部２００ｂに送られる。

分析結果調整部２０７ｂは、時刻ｔに撮影された参照フレーム上に、時刻ｔ＋１に撮影されたバウンディングボックスＢ２１、Ｂ２２を配置する。ここで、バウンディングボックスＢ１とバウンディングボックスＢ２１の重複部分が閾値以上である場合、バウンディングボックスＢ１内の対象物とバウンディングボックスＢ２１の対象物は同一であるとみなすことができる。そのため、バウンディングボックスＢ１をこれらのフレーム間の撮影間隔分、バウンディングボックスＢ２１内の平均移動ベクトルに基づいて、バウンディングボックスＢ１２まで移動させる（図９では、移動後のクラウド対象物）。

時刻ｔのフレーム内のバウンディングボックスＢ２については、時刻ｔ＋１のフレーム内に対象物が検出されていない（すなわち、時刻ｔ＋１のフレーム内にバウンディングボックスＢ２と重複するバウンディングボックスが存在しない）。つまり、時刻ｔのフレーム内のバウンディングボックスＢ２内の対象物は、時刻ｔ＋１のフレームにおいて、当該対象物の移動によりフレームアウトしたと考えられる。そのため、時刻ｔ＋１の推定結果には、バウンディングボックスＢ２を削除する。

時刻ｔ＋１のフレーム内のバウンディングボックスＢ２２については、時刻ｔのフレーム内に対象物が検出されていない（すなわち、時刻ｔのフレーム内に、バウンディングボックスＢ２２と重複するバウンディングボックスが存在しない）。時刻ｔ＋１のフレーム内のバウンディングボックスＢ２２内の対象物は、新たに出現したものと考えられる（図９では、エッジ新規検出対象物）。そのため、時刻ｔ＋１の推定結果には、バウンディングボックスＢ２２を存続させる。

以上のように、クラウド側の分析結果調整部２０７ｂは、時刻ｔ＋１におけるエッジ検出結果を調整することで、図１０に示すように、時刻ｔ＋１におけるより正確な分析結果（図９では調整後結果）を推定することができる。なお、この推定された時刻ｔ＋１における分析結果（図９ではｔ＋１の調整後結果）は、時刻ｔ＋２のフレームの調整処理において、参照される（図９参照）。

図１１は、実施の形態３にかかるエッジ側に配置された第１映像分析部の動作を示すフローチャートである。
第１映像分析部１００ｂはまず、初期化を行う（ステップＳ３０１）。ここでは、フレームの振り分けカウンタ等が初期化される。映像フレーム受信部１０１ｂは、車載カメラ（図示せず）から、映像フレームを受信する（ステップＳ３０２）。フレーム振り分け部１０３ｂは、映像フレームを、クラウド側の第２映像分析部２００ｂで分析するか、それともエッジ側の第１検出部１０５ｂで分析するかを振り分ける（ステップＳ３０３）。映像フレームを、クラウド側の第２映像分析部２００ｂで分析する場合（ステップＳ３０３でＹＥＳ）、エンコーダ１０８ｂは、当該映像フレームを所定の品質で符号化し、第２映像分析部２００に送信する（ステップＳ３０４）。

一方、映像フレームを、エッジ側の第１映像分析部１００ｂで分析する場合（ステップＳ３０３でＮＯ）、第１検出部１０５ｂは、エッジモデル（軽量モデル）を用いて、当該映像フレーム内の対象物を検出する（ステップＳ３０５）。続いて、移動ベクトル取得部１０６は、検出された対象物を囲うバウンディングボックス内の平均移動ベクトルを取得する（ステップＳ３０６）。分析結果送信部１０７ｂは、各対象物の検出結果と、各対象物の移動ベクトルを第２映像分析部２００ｂに送信する（ステップＳ３０７）。続いて、映像フレーム受信部１０１ｂは、時系列に沿って後続するフレームをカメラから受信すると（ステップＳ３０２に戻る）、上記した処理が繰り返される。

次に、クラウド側の第２映像分析部２００ｂの動作を説明する。
図１２は、実施の形態３にかかるクラウド側に配置された第２映像分析部の映像フレーム受信に関する動作を示すフローチャートである。
第２映像分析部２００ｂは、映像フレームを受信する（ステップＳ４０１）。デコーダ２０１は、符号化された映像フレームを復号する。第２検出部２０５は、クラウドモデルを用いて、映像フレーム内の対象物を検出する（ステップＳ４０２）。クラウド検出物体を初期化する（ステップＳ４０３）。ここでは、後述するクラウド検出物体の未検出カウンタ値や位置が初期化される。最後に、第２映像分析部２００の第２検出部２０５ｂは、クラウド検出結果を外部および分析結果調整部２０７ｂに出力する（ステップＳ４０４）。

図１３は、実施の形態３にかかるクラウド側に配置された分析結果調整部による動作を示すフローチャートである。
分析結果調整部２０７ｂは、時刻ｔに撮影されたフレームについて、第２検出部２０５ｂからクラウド検出結果を受信し、参照フレームとして保持する（ステップＳ４１０）。分析結果調整部２０７ｂは、分析結果受信部２０３ｂから、時刻ｔに撮影された参照フレームの直後に撮影された時刻ｔ＋１のフレームについてのエッジ分析結果を受信する（ステップＳ４１１）。分析結果には、第１検出部１０５ｂでの検出結果と、移動ベクトル取得部１０６ｂで取得された、検出された各対象物の移動ベクトルを含む。この分析結果データの容量は、映像フレーム自体の容量に比べ、著しく小さい。分析結果調整部２０７ｂは、調整されていないクラウド検出対象物が参照フレーム内にある場合（ステップＳ４１２でＹＥＳ）、クラウド検出対象物とエッジ検出対象物との重複が一番大きいものをそれぞれ取得する（ステップＳ４１４）。図１０の例では、クラウド検出対象物を囲うバウンディングボックスＢ１とエッジ検出対象物を囲うバウンディングボックスＢ２１との重複が一番大きいので、これらを取得する。

次に、重複度が閾値以上かを判定する（ステップＳ４１６）。ここでは、重複度は、ＩｏＵ(Intersection over Union)で評価される。重複度が閾値以上の場合（ステップＳ４１６でＹＥＳ）、取得したエッジ検出対象物を削除し（ステップＳ４１７）、取得したクラウド検出対象物をエッジ検出対象物の移動ベクトルに応じて、移動させる（ステップＳ４１９）。図１０の例では、バウンディングボックスＢ１とバウンディングボックスＢ２１との重複度が閾値以上であるので、エッジ検出結果は低精度である可能性があるので、エッジ検出対象物を囲うバウンディングボックスＢ２１を削除する。さらに、クラウド検出対象物を囲うバウンディングボックスＢ１を、バウンディングボックスＢ２１内の平均移動ベクトルに応じて、バウンディングボックスＢ１２まで移動させる。こうして、ｔ＋１における高精度な推定結果が得られる。

その後、処理はステップＳ４１２に戻り、参照フレーム内の他のクラウド検出対象物についても検討する。すなわち、調整されていないクラウド検出対象物が参照フレーム内にある場合（ステップＳ４１２でＹＥＳ）、クラウド検出対象物とエッジ検出対象物との重複が一番大きいものをそれぞれ取得する（ステップＳ４１４）。図１１の例では、（重複するエッジ検出対象物がないので）クラウド検出対象物を囲うバウンディングボックスＢ２のみを取得する。

重複するエッジ検出対象物がない（すなわち、重複度はゼロである）ので、重複度が閾値未満となり（ステップＳ４１７でＮＯ）、参照フレーム内のクラウド検出対象物が、直後に撮影された時刻ｔ＋１のフレーム内に検出されない場合は、クラウド検出対象物の未検出カウンタを加算する（ステップＳ４２１）。未検出カウンタが閾値回数より大きい（すなわち、所定数の連続するフレームにおいて、クラウド検出対象物が発見されない）場合、当該クラウド検出対象物は、その移動によりフレームアウトしたと考えられるので、削除する。図１０の例では、クラウド検出対象物を囲うバウンディングボックスＢ２を削除する。

参照フレーム内のすべてのクラウド検出対象物について調整処理が行われた場合（ステップＳ４１２でＮＯ）、分析結果調整部２０７ｂは、クラウド検出対象物と新たに出現したエッジ検出対象物を、時刻ｔ＋１における推定結果として出力する（ステップＳ４１３）。図１０の例では、新たに出現したエッジ検出対象物がバウンディングボックスＢ２２である。推定結果の具体例は、図１０に示す。

図１４は、固定カメラを用いた映像分析システムの検出精度を説明するグラフである。
縦軸は対象物の検出精度を示し、横軸は、エッジとクラウドとの振り分け率を示すフレーム送信割合を示す。例えば、横軸の１０－１は、連続するフレームのうち、１０回に１回の割合でフレームをクラウド側の第２映像分析部２００ｂに送ること、言い換えると、１回フレームをクラウド側の第２映像分析部２００ｂに送った後、９回連続してエッジ側の第１映像分析部１００で処理することを意味する。

図１４では、固定カメラを交差点付近に配置した場合、本実施の形態にかかる映像分析システムの検出精度を評価した（図１４の提案方式参照）。比較例として、関連方法１は、時刻ｔに撮影されたフレームについてのクラウド検出結果を、時刻ｔ＋１に撮影されたフレームついての検出結果とした場合の検出精度である。別の比較例として、関連方法２は、時刻ｔ＋１に撮影されたフレームついてのエッジの検出結果をそのまま使用した場合の検出精度である。

図１４のグラフから、固定カメラを用いた場合、本提案方法は、関連方法１よりも若干精度が高く、関連方法２よりも著しく精度が高いことが分かる。

図１５は、車載カメラを用いた映像分析システムの検出精度を説明するグラフである。図１５では、図１４と基本的に同一であるので、適宜説明を省略する。
図１５から、車載カメラを用いた場合、本提案方法は、関連方法１よりもかなり精度が高く、関連方法２よりも著しく精度が高いことが分かる。特に、車載カメラを用いた場合では、カメラ自体が移動するため、フレーム間での検出位置ずれが大幅に生じる。そのため、直前のフレームについてのクラウド検出結果をそのまま使用する関連方法２では、精度が著しく低下する。また、図１５から、本提案方法も、フレーム送信割合が低くなるにつれて、関連方法３と同程度まで精度が悪化することが分かる。これより、本提案方法も、フレーム送信割合が閾値以上（例えば、図１５では１％以上）であれば、関連方法よりも高精度な映像分析を実現できる。

以上説明したように、本実施の形態にかかる映像分析システム１は、クラウド検出結果を参照して、エッジ検出結果を調整することで、無線ネットワークが低帯域であっても、高精度な映像分析を実現することができる。また、エッジモデルと、クラウドモデルとの間の映像検出の精度差が大きい場合でも、一連の映像フレームに対して高精度な映像分析を実現することができる。また、車載カメラなどカメラが移動する場合でも、高精度な映像分析を実現することができる。

実施の形態４
図１６は、実施の形態４にかかる車両遠隔制御システムの構成を示すブロック図である。
車両遠隔制御システム３は、複数の自動運転車両１０Ａ、１０Ｂと、これらの自動運転車両１０Ａ、１０Ｂを監視し制御する遠隔監視装置５０と、を備える。複数の自動運転車両１０Ａは、携帯電話網などのネットワーク３０を介して遠隔監視装置５０と接続されている。こうした携帯電話網では、可用帯域が変動し得るため、帯域不足により遠隔監視装置５０における映像品質が悪化する場合がある。なお、図１６では、２台の自動運転車両を図示しているが、車両の数はこれに限定されない。Ｎ台の自動運転車両（Ｎ以上の自然数)を備えてもよい。

また、ここでいうネットワーク３０の例としては、ローカルエリアネットワーク（local area network、ＬＡＮ）、及びワイドエリアネットワーク（wide area network、ＷＡＮ）、例えば、インターネットを挙げることができる。また、通信ネットワークは、例えば、イーサネット（登録商標）、ユニバーサルシリアルバス（Universal Serial Bus、ＵＳＢ）、ＦＩＲＥＷＩＲＥ（登録商標）、移動通信用のグローバルシステム（Global System for Mobile Communications、ＧＳＭ（登録商標））、拡張データＧＳＭ（登録商標）環境（Enhanced Data GSM（登録商標） Environment、ＥＤＧＥ）、符号分割多元接続（code division multiple access、ＣＤＭＡ）、時分割多元接続（time division multiple access、ＴＤＭＡ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉ（登録商標）、ボイスオーバーインターネットプロトコル（voice over Internet Protocol、ＶｏＩＰ）、Ｗｉ－ＭＡＸ（登録商標）、又は任意の他の好適な通信プロトコル等の、様々な有線又は無線プロトコルを含む、任意の周知のネットワークプロトコルを用いて実施することができる。

各自動運転車両は、図１６に示すように、１台以上の車載カメラ１３０と第１映像分析部１００と車体制御部１５０と、を備える。第１映像分析部１００（１００ａ、１００ｂ）の具体的な構成は、前記した構成と基本的に同一であるので、ここでは省略する。第１映像分析部１００は、前述したように、車載カメラ１３０からの映像フレームを、第１映像分析部１００か、第２映像分析部２００に振り分ける。第１映像分析部１００は、第２映像分析部２００に振り分けられたフレームを符号化し、無線ネットワークを経由して、第２映像分析部２００に送信する。また、第１映像分析部１００は、第１映像分析部１００に振り分けられたフレーム内の対象物をエッジモデルで検出する。さらに、第１映像分析部１００は、対象物の検出領域内の移動ベクトルを取得する。第１映像分析部１００は、各対象物（検出結果）と、それに関連付けた移動ベクトルを、無線ネットワークを経由して、遠隔監視装置５０に送信する。

遠隔監視装置５０は、各自動運転車両の車載カメラから受信した映像を用いて、各自動運転車両を遠隔で監視し制御する。例えば、遠隔運転者が、各車載カメラからの映像を表示した表示部２６０を見ながら、特定の自動運転車両を遠隔運転してもよい。あるいは、遠隔監視装置５０が、高精度で映像分析した結果を元に、自動的に各自動運転車両を制御してもよい。

遠隔監視装置５０は、表示部２６０と第２映像分析部２００（２００ａ、２００ｂ）と車両制御部２５０とを備える。第２映像分析部２００（２００ａ、２００ｂ）の具体的な構成は、前述した構成と基本的に同一であるので、ここでは省略する。第２映像分析部２００は、各自動運転車両から送られた映像フレーム内の対象物を、クラウドモデルを用いて検出する。また、第２映像分析部２００は、前述したように、各自動運転車両の第１映像分析部１００から送られた分析結果を調整する。これにより、第２映像分析部２００は、各自動運転車両から送られた映像フレームについての高精度な検出結果だけでなく、後続する映像フレームについての高精度な推定結果を得ることができる。

表示部２６０は、第２映像分析部２００で分析された分析結果を表示する。例えば、図８で示したように、バウンディングボックスで囲われた複数の検出対象物が表示されてもよい。

車両制御部２５０は、第２映像分析部２００による映像分析結果に基づいて、各自動運転車両の動きを推定することができ、各車両に対して、適切な自動運転の制御情報を決定し、送信することができる。例えば、車両制御部２５０は、第２映像分析部２００の分析結果から、十字路付近で対向車（例えば、自動運転車両１０Ｂ）が迫ってきていることを判定した場合、優先車両ではない自車（例えば、自動運転車両１０Ａ）を十字路に進入する前に停車させるように、自車の車体制御部１５０に指示する。

また、車両制御部２５０は、自動運転車両１０Ａ及び自動運転車両１０Ｂについての第２映像分析部２００の各分析結果から、異常又は特殊な運転をする車両（例えば、車両１０Ｂ）を特定することができる。その後、車両制御部２５０は、特定された車両（例えば、車両１０Ｂ）の第１映像分析部１００内のフレーム振り分け部１０３における、第２映像分析部２００に送信するフレームの割合を規定するフレーム送信割合（例えば、５０％）を変更するように指示してもよい。こうすることで、異常又は特殊な運転をする車両の車載カメラからの映像フレームをより一層、高精度に分析でき、安全性の高い遠隔制御を実現できる。

本実施の形態によれば、帯域変動や帯域不足があっても、高精度な映像分析を実現することで、より安全性の高い車両遠隔制御システムを提供することができる。

図１７は、映像分析部１００、２００（以下、映像分析部１００等とする）の構成例を示すブロック図である。図１７を参照すると、映像分析部１００等は、ネットワーク・インターフェース１２０１、プロセッサ１２０２、及びメモリ１２０３を含む。ネットワーク・インターフェース１２０１は、通信システムを構成する他のネットワークノード装置と通信するために使用される。ネットワーク・インターフェース１２０１は、無線通信を行うために使用されてもよい。例えば、ネットワーク・インターフェース１２０１は、IEEE 802.11 seriesにおいて規定された無線ＬＡＮ通信、もしくは３ＧＰＰ（3rd Generation Partnership Project）において規定されたモバイル通信を行うために使用されてもよい。もしくは、ネットワーク・インターフェース１２０１は、例えば、IEEE 802.3 seriesに準拠したネットワークインターフェースカード（NIC）を含んでもよい。

プロセッサ１２０２は、メモリ１２０３からソフトウェア（コンピュータプログラム）を読み出して実行することで、上述の実施形態においてフローチャートもしくはシーケンスを用いて説明された監視装置１０等の処理を行う。プロセッサ１２０２は、例えば、マイクロプロセッサ、MPU（Micro Processing Unit）、又はCPU（Central Processing Unit）であってもよい。プロセッサ１２０２は、複数のプロセッサを含んでもよい。

メモリ１２０３は、揮発性メモリ及び不揮発性メモリの組み合わせによって構成される。メモリ１２０３は、プロセッサ１２０２から離れて配置されたストレージを含んでもよい。この場合、プロセッサ１２０２は、図示されていないI/Oインタフェースを介してメモリ１２０３にアクセスしてもよい。

図１７の例では、メモリ１２０３は、ソフトウェアモジュール群を格納するために使用される。プロセッサ１２０２は、これらのソフトウェアモジュール群をメモリ１２０３から読み出して実行することで、上述の実施形態において説明された映像分析部１００等の処理を行うことができる。

図１７を用いて説明したように、映像分析部１００等が有するプロセッサの各々は、図面を用いて説明されたアルゴリズムをコンピュータに行わせるための命令群を含む１つ又は複数のプログラムを実行する。

なお、図２，４，１１，１２及び１３のフローチャートは、実行の具体的な順番を示しているが、実行の順番は描かれている形態と異なっていてもよい。例えば、２つ以上のステップの実行の順番は、示された順番に対して入れ替えられてもよい。また、図２，４，１１，１２及び１３の中で連続して示された２つ以上のステップは、同時に、または部分的に同時に実行されてもよい。さらに、いくつかの実施形態では、図２，４，１１，１２及び１３に示された１つまたは複数のステップがスキップまたは省略されてもよい。

上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-ray（登録商標） Disc）、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、映像分析装置１における第１映像分析部１００と第２映像分析部２００は、同一の装置内、同一のサーバ内、同一の敷地内に設けられてもよい。また、以上で説明した複数の例又は実施の形態は、適宜組み合わせて実施されることもできる。

上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
（付記１）
第１映像分析部と第２映像分析部とを備えた映像分析装置であって、
前記第１映像分析部は、
少なくとも２つのフレームを前記第１映像分析部か、前記第２映像分析部に振り分ける振り分け部と、
前記第１映像分析部に振り分けられたフレーム内の対象物を検出する第１検出部と、
前記検出された対象物に関連付けられた移動に関する情報を取得し、前記移動に関する情報と前記第１検出部での検出結果を前記第２映像分析部に送信する取得部と、
を備え、
前記第２映像分析部は、
前記振り分け部から受信したフレーム内の対象物を検出する第２検出部と、
前記第２検出部での検出結果と前記移動に関する情報に基づいて、前記第１検出部での検出結果を調整する調整部と、
を備える、映像分析装置。
（付記２）
前記第１映像分析部は、
前記検出された対象物の検出領域内の移動に関する情報を取得する移動情報取得部と、
前記移動に関する情報と前記第１検出部での検出結果を、分析結果として前記第２映像分析部に送信する分析結果送信部と、
前記第２映像分析部で分析すると振り分けられたフレームを前記第２映像分析部に送信するフレーム送信部と、
を備える、付記１に記載の映像分析装置。
（付記３）
前記振り分け部は、連続的に受信する一連のフレームを所定のフレーム送信割合以上で、前記第２映像分析部で分析するように振り分ける、付記１又は２に記載の映像分析装置。
（付記４）
前記第１映像分析部から前記第２映像分析部へのネットワークが使用可能な帯域を推定する推定部と、
前記推定された前記使用可能な帯域に応じて前記所定のフレーム送信割合を変更する変更部と、を備える、付記３に記載の映像分析装置。
（付記５）
前記分析結果は、検出された対象物を囲むボックスの中心座標と、当該ボックスの幅及び高さと、前記検出された対象物を示す識別子と、を含む、付記２に記載の映像分析装置。
（付記６）
前記第１映像分析部に振り分けられたフレームは、前記第２映像分析部に振り分けられたフレームの後に撮影されたものである、付記１～５のいずれか一項に記載の映像分析装置。
（付記７）
前記移動に関する情報は、前記対象物の移動する方向の情報又は移動ベクトルを含む、付記１～６のいずれか一項に記載の映像分析装置。
（付記８）
第１映像分析部と、第２映像分析部とを備えた映像分析システムであって、
前記第１映像分析部は、
少なくとも２つのフレームを前記第１映像分析部か、前記第２映像分析部に振り分ける振り分け部と、
前記第１映像分析部に振り分けられたフレーム内の対象物を検出する第１検出部と、
前記検出された対象物に関連付けられた移動に関する情報を取得し、前記移動に関する情報と前記第１検出部での検出結果を前記第２映像分析部に送信する取得部と、
を備え、
前記第２映像分析部は、
前記振り分け部から受信したフレーム内の対象物を検出する第２検出部と、
前記第２検出部での検出結果と前記移動に関する情報に基づいて、前記第１検出部での検出結果を調整する調整部と、
を備える、映像分析システム。
（付記９）
前記第１映像分析部は、
前記検出された対象物の検出領域内の移動に関する情報を取得する移動情報取得部と、
前記移動に関する情報と前記第１検出部での検出結果を、分析結果として前記第２映像分析部に送信する分析結果送信部と、
前記第２映像分析部で分析すると振り分けられたフレームを前記第２映像分析部に送信するフレーム送信部と、
を備える、付記８に記載の映像分析システム。
（付記１０）
前記振り分け部は、連続的に受信する一連のフレームを所定のフレーム送信割合以上で、前記第２映像分析部で分析するように振り分ける、付記８に記載の映像分析システム。
（付記１１）
前記第１映像分析部から前記第２映像分析部へのネットワークが使用可能な帯域を推定する推定部と、
前記推定された前記使用可能な帯域に応じて前記所定のフレーム送信割合を変更する変更部と、を備える、付記１０に記載の映像分析システム。
（付記１２）
前記第１映像分析部に振り分けられたフレームは、前記第２映像分析部に振り分けられたフレームの後に撮影されたものである、付記８～１１のいずれか一項に記載の映像分析システム。
（付記１３）
前記第１映像分析部は、エッジ側に設けられ、前記第２映像分析部はクラウド側に設けられている、付記８～１２のいずれか一項に記載の映像分析システム。
（付記１４）
一連のフレームに対して第１映像分析部と第２映像分析部で分散して映像分析を行う映像分析方法であって、
前記第１映像分析部において、
受信した少なくとも２つのフレームを、前記第１映像分析部か、前記第２映像分析部に振り分け、
前記第１映像分析部で分析すると振り分けられたフレーム内の対象物を検出し、
前記検出された対象物に関連付けられた移動に関する情報を取得し、前記移動に関する情報と前記第１映像分析部での検出結果を前記第２映像分析部に送信し、
前記第２映像分析部において、
前記第１映像分析部から受信したフレーム内の対象物を検出し、
前記第２映像分析部での検出結果と前記移動に関する情報に基づいて、前記第１映像分析部での検出結果を調整する、映像分析方法。
（付記１５）
前記第１映像分析部において、
連続的に受信する一連のフレームを所定のフレーム送信割合以上で、前記第２映像分析部で分析するように振り分ける、付記１４に記載の映像分析方法。
（付記１６）
前記第２映像分析部において、
前記第１映像分析部から前記第２映像分析部へのネットワークの使用可能な帯域を推定し、
前記第１映像分析部において、
前記推定された前記使用可能な帯域に応じてフレーム送信割合を変更する、付記１４又は１５に記載の映像分析方法。
（付記１７）
検出された対象物を囲むボックスの中心座標と、当該ボックスの幅及び高さと、前記検出された対象物を示す識別子と、を含む分析結果を前記第２映像分析部に送信する、付記１４に記載の映像分析方法。
（付記１８）
前記第１映像分析部は、エッジ側に設けられ、前記第２映像分析部はクラウド側に設けられている、付記１４～１７のいずれか一項に記載の映像分析方法。
（付記１９）
前記第１映像分析部に振り分けられたフレームは、前記第２映像分析部に振り分けられたフレームの後に撮影されたものである、付記１４～１８のいずれか一項に記載の映像分析方法。
（付記２０）
前記移動に関する情報は、前記対象物の移動する方向の情報又は移動ベクトルを含む、付記１４～１９のいずれか一項に記載の映像分析方法。

以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

この出願は、２０２０年４月１３日に出願された日本出願特願２０２０－０７１４４８を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１ 映像分析システム
３ 車両遠隔制御システム
１０ 自動運転車両
３０ ネットワーク
５０ 遠隔監視装置
１００ 第１映像分析部
１０１ｂ 映像フレーム受信部
１０３ 振り分け部
１０３ｂ フレーム振り分け部
１０４ｂ 変更部
１０５ 第１検出部
１０５ａ、１０５ｂ 第１検出部
１０６ 取得部
１０６ａ 移動情報取得部
１０６ｂ 移動ベクトル取得部
１０７ａ 分析結果送信部
１０８ｂ エンコーダ
１０９ａ フレーム送信部
１１０ｂ 記憶部（バッファ）
１５０ 車体制御部
２００ 第２映像分析部
２０１ｂ デコーダ
２０３ｂ 分析結果受信部
２０５ 第２検出部
２０７、２０７ａ 調整部
２０７ｂ 分析結果調整部
２１２ｂ 帯域推定部
２５０ 車両制御部
２６０ 表示部

Claims (20)

1. 第１映像分析手段と第２映像分析手段とを備えた映像分析装置であって、
   前記第１映像分析手段は、
   少なくとも２つのフレームを前記第１映像分析手段か、前記第２映像分析手段に振り分ける振り分け手段と、
   前記第１映像分析手段に振り分けられたフレーム内の対象物を検出する第１検出手段と、
   前記検出された対象物に関連付けられた移動に関する情報を取得し、前記移動に関する情報と前記第１検出手段での検出結果を前記第２映像分析手段に送信する取得手段と、
   を備え、
   前記第２映像分析手段は、
   前記振り分け部から受信したフレーム内の対象物を検出する第２検出手段と、
   前記第２検出手段での検出結果と前記移動に関する情報に基づいて、前記第１検出手段での検出結果を調整する調整手段と、
   を備える、映像分析装置。
2. 前記第１映像分析手段は、
   前記検出された対象物の検出領域内の移動に関する情報を取得する移動情報取得手段と、
   前記移動に関する情報と前記第１検出手段での検出結果を、分析結果として前記第２映像分析手段に送信する分析結果送信手段と、
   前記第２映像分析手段で分析すると振り分けられたフレームを前記第２映像分析手段に送信するフレーム送信手段と、
   を備える、請求項１に記載の映像分析装置。
3. 前記振り分け手段は、連続的に受信する一連のフレームを所定のフレーム送信割合以上で、前記第２映像分析手段で分析するように振り分ける、請求項１又は２に記載の映像分析装置。
4. 前記第１映像分析手段から前記第２映像分析手段へのネットワークが使用可能な帯域を推定する推定手段と、
   前記推定された前記使用可能な帯域に応じて前記所定のフレーム送信割合を変更する変更手段と、を備える、請求項３に記載の映像分析装置。
5. 前記分析結果は、検出された対象物を囲むボックスの中心座標と、当該ボックスの幅及び高さと、前記検出された対象物を示す識別子と、を含む、請求項２に記載の映像分析装置。
6. 前記第１映像分析手段に振り分けられたフレームは、前記第２映像分析手段に振り分けられたフレームの後に撮影されたものである、請求項１～５のいずれか一項に記載の映像分析装置。
7. 前記移動に関する情報は、前記対象物の移動する方向の情報又は移動ベクトルを含む、請求項１～６のいずれか一項に記載の映像分析装置。
8. 第１映像分析手段と、第２映像分析手段とを備えた映像分析システムであって、
   前記第１映像分析手段は、
   少なくとも２つのフレームを前記第１映像分析手段か、前記第２映像分析手段に振り分ける振り分け手段と、
   前記第１映像分析手段に振り分けられたフレーム内の対象物を検出する第１検出手段と、
   前記検出された対象物に関連付けられた移動に関する情報を取得し、前記移動に関する情報と前記第１検出手段での検出結果を前記第２映像分析手段に送信する取得手段と、
   を備え、
   前記第２映像分析手段は、
   前記振り分け手段から受信したフレーム内の対象物を検出する第２検出手段と、
   前記第２検出手段での検出結果と前記移動に関する情報に基づいて、前記第１検出手段での検出結果を調整する調整手段と、
   を備える、映像分析システム。
9. 前記第１映像分析手段は、
   前記検出された対象物の検出領域内の移動に関する情報を取得する移動情報取得手段と、
   前記移動に関する情報と前記第１検出手段での検出結果を、分析結果として前記第２映像分析手段に送信する分析結果送信手段と、
   前記第２映像分析手段で分析すると振り分けられたフレームを前記第２映像分析手段に送信するフレーム送信手段と、
   を備える、請求項８に記載の映像分析システム。
10. 前記振り分け手段は、連続的に受信する一連のフレームを所定のフレーム送信割合以上で、前記第２映像分析手段で分析するように振り分ける、請求項８に記載の映像分析システム。
11. 前記第１映像分析手段から前記第２映像分析手段へのネットワークが使用可能な帯域を推定する推定手段と、
    前記推定された前記使用可能な帯域に応じて前記所定のフレーム送信割合を変更する変更手段と、を備える、請求項１０に記載の映像分析システム。
12. 前記第１映像分析手段に振り分けられたフレームは、前記第２映像分析手段に振り分けられたフレームの後に撮影されたものである、請求項８～１１のいずれか一項に記載の映像分析システム。
13. 前記第１映像分析手段は、エッジ側に設けられ、前記第２映像分析手段はクラウド側に設けられている、請求項８～１２のいずれか一項に記載の映像分析システム。
14. 一連のフレームに対して第１映像分析手段と第２映像分析手段で分散して映像分析を行う映像分析方法であって、
    前記第１映像分析手段において、
    受信した少なくとも２つのフレームを、前記第１映像分析手段か、前記第２映像分析手段に振り分け、
    前記第１映像分析手段で分析すると振り分けられたフレーム内の対象物を検出し、
    前記検出された対象物に関連付けられた移動に関する情報を取得し、前記移動に関する情報と前記第１映像分析手段での検出結果を前記第２映像分析手段に送信し、
    前記第２映像分析手段において、
    前記第１映像分析手段から受信したフレーム内の対象物を検出し、
    前記第２映像分析手段での検出結果と前記移動に関する情報に基づいて、前記第１映像分析手段での検出結果を調整する、映像分析方法。
15. 前記第１映像分析手段において、
    連続的に受信する一連のフレームを所定のフレーム送信割合以上で、前記第２映像分析手段で分析するように振り分ける、請求項１４に記載の映像分析方法。
16. 前記第２映像分析手段において、
    前記第１映像分析手段から前記第２映像分析手段へのネットワークの使用可能な帯域を推定し、
    前記第１映像分析手段において、
    前記推定された前記使用可能な帯域に応じてフレーム送信割合を変更する、請求項１４又は１５に記載の映像分析方法。
17. 検出された対象物を囲むボックスの中心座標と、当該ボックスの幅及び高さと、前記検出された対象物を示す識別子と、を含む分析結果を前記第２映像分析手段に送信する、請求項１４に記載の映像分析方法。
18. 前記第１映像分析手段は、エッジ側に設けられ、前記第２映像分析手段はクラウド側に設けられている、請求項１４～１７のいずれか一項に記載の映像分析方法。
19. 前記第１映像分析手段に振り分けられたフレームは、前記第２映像分析手段に振り分けられたフレームの後に撮影されたものである、請求項１４～１８のいずれか一項に記載の映像分析方法。
20. 前記移動に関する情報は、前記対象物の移動する方向の情報又は移動ベクトルを含む、請求項１４～１９のいずれか一項に記載の映像分析方法。

Images