JP6927321B2 - 映像配信システム、映像配信方法、及び、映像配信プログラム - Google Patents

Description

本開示は、映像配信システム等に関する。

近年、ディープラーニングによる認識精度の向上またはクラウドコンピューティングにより、柔軟な処理資源の使用が可能になった。これにより、小売店舗やスタジアム、ショッピングモールといった施設において、映像配信システムによる防犯、マーケティング、オペレーション改善等を行うソリューションに対する需要が増えてきている。例えば、小売店舗において、来店者の年齢や性別、店内の動線を、店舗で撮影した映像からディープラーニングにより推定し、マーケティングに活用するといったことが挙げられる。

このようなシステムにおいては、分析装置が、店舗などの複数の箇所に配置されたカメラから、映像を通信網経由で収集して分析する。一方では、１つのカメラの映像を、複数の分析装置により分析したいという需要がある。例えば、店舗の入り口近くのカメラの映像から、一台の分析装置が来店者の年齢・性別の分析を行い、並行して、他の分析装置が不審者の分析を行うといったことが挙げられる。すなわち、このようなシステムでは、複数台のカメラから得られた映像を、複数台の分析装置に配信することが必要になる。このような映像の配信は、通信網経由で行われることが有る。

上述のシステムに関連して、特許文献１や特許文献２の技術が開示されている。

特許文献１は、監視カメラから送られてくる画像データを、通信網を介して接続された複数の遠隔監視端末に送る監視制御装置が開示されている。この監視制御装置は、通信網伝送容量の範囲内で、優先度が高い遠隔監視端末に高いフレームレートを割り当てる。さらに、この監視制御装置は、映像に動きのあった監視カメラによる画像データのフレームレートを高くする。

特許文献２は、カメラで撮影された画像データを蓄積して、クライアント装置に配信する画像蓄積配信システムを開示する。この画像蓄積配信システムは、対象となるカメラやクライアント装置の重要性に応じた帯域制御を行う。

特開２００６−２３８０１７号公報 特開２００５−１３００４１号公報

映像分析を限られた処理資源で精度良く実行する為には、下記の２つの要求をバランスよく満たすことが課題となる。

フレーム間の変化量が大きな映像からは、より有効な分析結果が期待できる。フレーム間の変化量が大きな映像は、例えば、多くの来店者、通行人が写っている映像である。一つ目の要求は、フレーム間の変化量が大きな映像は高いフレームレートで分析装置に配信することである。

一方、映像データを対象としたディープラーニングによる分析を行う分析装置は、多くの演算装置や画像処理装置等の処理資源を必要とする。特に、処理対象となる映像のフレームレートが高い時は、必要となる処理資源の量は大きなものとなる。各分析装置に一律に高いフレームレートの映像を配信すると、分析装置が過負荷になって処理遅延が発生し、分析結果が適時に提供されない恐れがある。防犯を目的とした分析などにおいては、分析結果が適時に得られることは必須である。従って、二つ目の要求は、分析装置に配信される映像の量は、当該分析装置が備えている処理資源量に見合った範囲に制御することである。

上述の特許文献が開示する技術は、いずれも、各装置に送信される映像のフレームレートを、変化量と受信する装置の分析処理速度に合わせて調整するものではなく、上記課題を解決しない。

本開示は、上記課題を解決して、複数のカメラから得た映像を複数の分析装置に配信するにあたり、映像のフレーム間の変化量と分析装置の分析処理速度に応じた、適切なフレームレートの映像を配信することが出来る映像配信システム等を提供することを目的とする。

本開示の一形態である映像配信システムは、複数個のカメラから取得された映像を、前記映像を処理する複数個の分析装置に、通知されたフレームレートで送信する分配出力手段と、前記分析装置が受信する前記映像の前記フレームレートの合計が前記分析装置の分析処理速度を超えない第一の条件下で、送信された前記映像のフレーム間の変化量と送信されたフレームレートの積の総和が増加するに伴って増加する目的関数値が最大となるように前記フレームレートを算出して、前記分配出力手段に通知するレート決定手段と、を包含する。

本開示の一形態である映像配信方法は、１）複数個のカメラから取得された映像を、前記映像を処理する複数個の分析装置に、２）前記分析装置が受信する前記映像のフレームレートの合計が前記分析装置の分析処理速度を超えない第一の条件下で、送信された前記映像のフレーム間の変化量と送信されたフレームレートの積の総和が増加するに伴って増加する目的関数値が最大となるように前記フレームレートを算出して、３）当該フレームレートで送信する。

本開示の一形態である映像配信プログラムは、複数個のカメラから取得された映像を、前記映像を処理する複数個の分析装置に、通知されたフレームレートで送信する処理と、前記分析装置が受信する前記映像の前記フレームレートの合計が前記分析装置の分析処理速度を超えない第一の条件下で、送信された前記映像のフレーム間の変化量と送信されたフレームレートの積の総和が増加するに伴って増加する目的関数値が最大となるように前記フレームレートを算出して通知する処理と、をコンピュータに実行させる。

本開示の一態様である映像配信システムは、複数の分析装置の各々に、映像のフレーム間の変化量と分析装置の分析処理速度に応じた適切なフレームレートの映像を配信する。

図１は、第一の実施の形態にかかる映像配信システム９０の構成例を示すブロック図である。 図２は集約装置２０の構成例を示すブロック図である。 図３は、制御装置３０の構成例を示すブロック図である。 図４は分配装置４０の構成例を示すブロック図である。 図５は、カメラ情報保持部３２に保持されるデータ構造の例である。 図６は、分析装置情報保持部３８に保持されるデータ構造の例である。 図７は、カメラ情報保持部３２と分析装置情報保持部３８に保持される主要なデータと、映像配信システム９０の構成との関連を示す図である。 図８は、制御装置３０のレート決定部３４の動作フローチャートである。 図９は、レート決定方法の動作例を説明する図である（その１）。 図１０は、レート決定方法の動作例を説明する図である（その２）。 図１１は、コンピュータ装置６０の構成図である。 図１２は、第二の実施の形態における分配装置４０の構成を示す図である。 図１３は、第三の実施の形態における分配システム９０の構成を示す図である。

＜第一の実施の形態＞
＜各部の構成と動作＞
図１は、本実施の形態にかかる映像配信システム９０の構成例を示すブロック図である。

映像配信システム９０は、集約装置２０、制御装置３０、分配装置４０を包含する。集約装置２０と分配装置４０は映像配信用の通信網Ａ８１により接続されている。集約装置２０は複数のカメラ１０に接続され、分配装置４０は映像配信用の通信網Ｂ８２により複数の分析装置５０に接続されている。集約装置２０、制御装置３０、及び、分配装置４０は制御用の通信網で相互に接続されている。

複数のカメラ１０は、例えば、ショッピングセンターの各所に設置されている。分配装置４０は、映像配信システム９０のオペレータ等により指定されたカメラ１０が撮影した映像を対象に、例えば、年齢・性別の分析や不審者の分析を行う。

集約装置２０は、カメラ１０から送られてきた映像データを、制御装置３０から受信した制御パラメータが通知するフレームレートで、通信網Ａ８１を経由して分配装置４０へ送信する。分配装置４０は、集約装置２０から送られてきた映像を、制御装置３０から受信した制御パラメータが通知するフレームレートで、通信網Ｂ８２を経由して指定された分析装置５０に送信する。なお、集約装置２０、及び、分配装置４０は、映像配信システム９０内に複数台存在しても良い。

図２は、集約装置２０の構成例を示すブロック図である。集約装置２０は、一次映像入力部２１、一次映像記憶部２２、通信網Ａ観測部２３、変化量計算部２４、集約制御パラメータ入力部２５、及び、集約出力部２６を備える。一次映像入力部２１は、カメラ１０から映像データを受信し一次映像記憶部２２へ保存する。集約制御パラメータ入力部２５は、制御装置３０からフレームレートを含む制御パラメータを受信して集約出力部２６に通知する。

集約出力部２６は、一次映像記憶部２２に保存されている映像を、制御パラメータで通知されたフレームレートで、通信網Ａ８１経由で分配装置４０に送信する。このとき、集約出力部２６は、映像をそのまま、あるいは、一部のフレームを除いて出力することにより、映像を通知されたフレームレートで送信する。例えば、制御パラメータでフレームレートとして５が通知され、一次映像記憶部２２に保存された元のカメラ１０の映像のフレームレートが１５であった場合、集約出力部２６は、元のフレームの内三分の一を送信し、三分の二は送信しない。この例の場合、集約出力部２６は、１フレーム送信した後２フレームを無視し、次の１フレームを送信という動作を行う。

通信網Ａ観測部２３は、通信網Ａ８１の通信帯域Ｂ_ADを計測し、それを制御装置３０へ通知する。変化量計算部２４は、各カメラ１０が撮影した映像のフレームの変化量ω_ci（iは各カメラ１０の識別番号）を計算し、それらの値を制御装置３０へ通知する。

変化量計算部２４は、一次映像記憶部２２に保存されている各カメラ１０の映像における最新の所定時間区間Ｔ、例えば１分間の映像から変化量を算出する。変化量計算部２４は、例えば、以下の数式１を用いて、フレームｔ（Ｆ_ｔ）とその次のフレームｔ+１（Ｆ_ｔ+１）の変化量の、時間区間Ｔ内の分散を求めて、その値を変化量として出力する。

ここで、I（自然数）は時間区間Ｔの映像中の総フレーム数を表している。また、MSEは平均二乗誤差（Mean Squared Error）を示しており、フレーム間の差異を表す。具体的に、MSE（F_t,F_t+1）は、フレームｔとその次のフレームｔ+１の間の変化量を意味する。

この変化量ω_ciの値が大きいと、ｉ番目のカメラ１０の時間区間T中のフレームの変化量が大きいことを表す。映像配信システム９０は、この値を用いて変化量の大きいカメラ１０の映像を優先的に処理することで。精度が高い分析を可能にする。

変化量計算部２４は、例えば、フレーム間で色の差がある画素数に対する時間区間Ｔ内の分散をフレームの変化量として算出する。また、これに限られず、他の方法で、各カメラ１０の映像のフレーム間の変化量を求めても良い。例えば、変化量計算部２４は、フレーム間で所定以上の色の差が有る画素数に対する時間区間Ｔ内の分散をフレームの変化量として算出しても良い。

なお、通信網Ａ観測部２３、及び、変化量計算部２４は、定期的に起動されてデータを制御装置３０に送信しても良いし、制御装置３０からの指示に応答してデータを送信しても良い。

図３は、制御装置３０の構成例を示すブロック図である。制御装置３０は、カメラ情報入力部３１、カメラ情報保持部３２、変化量入力部３３、レート決定部３４、通信網情報取得部３５、制御パラメータ通知部３６、分析装置情報入力部３７、分析装置情報保持部３８、及び、分析装置情報取得部３９を備える。

変化量入力部３３は、集約装置２０の変化量計算部２４が算出した各カメラ１０の映像のフレーム間の変化量ω_ciを取得し、その情報をカメラ情報保持部３２へ格納する。カメラ情報入力部３１は、設置したカメラ１０のIP（Internet Protocol）アドレス、識別番号ｉ、及び、最大のフレームレートMaxRate_iを管理者から取得し、カメラ情報保持部３２へ格納する。なお、ｉは、１以上、カメラ１０の台数Ｎ（自然数）以下の何れかの値である。

通信網情報取得部３５は、集約装置２０から通信網Ａ観測部２３が観測した通信網Ａ８１の通信帯域B_ADを受信し、さらに、分配装置４０から通信網Ｂ観測部４１が観測した通信網Ｂ８２の通信帯域B_DPj（ｊは、各分析装置５０の識別番号）を受信して、分析装置情報保持部３８に格納する。なお、ｊは、１以上、分析装置５０の台数Ｍ（自然数）以下の何れかの値である。また、通信網Ｂ８２の通信帯域は、分析装置５０毎に異なっても良い。

分析装置情報取得部３９は、各分析装置５０から分析処理速度Ｐ_ｊを、定期的に、または、レート決定部３４から指示を受けて取得し、分析装置情報保持部３８に格納する。分析装置情報入力部３７は、各分析装置５０のIPアドレス、分析対象とするカメラ１０の識別番号の集合Ｔ_j、最低要求レートMinRate_j及び、分析装置５０の優先度ω_ajを管理者から取得して分析装置情報保持部３８に格納する。ここで、最低要求レートは、分析装置５０が分析を行うために要求する最低限のフレームレート数である。

また、ここで、分析対象とするカメラ１０の識別番号の集合Ｔ_jは、第ｊの分析装置５０が分析対象とするカメラ１０の識別番号の集合である。全ての分析装置５０が全てのカメラ１０の映像を分析するとは限らない。すなわち、分析装置５０は、指定した一部のカメラ１０の映像の分析だけを行う場合が有る。例えば、来店者の年齢・性別の分析を行う分析装置５０は、店舗の入り口近くのカメラ１０の映像だけを分析し、不審者の分析を行う分析装置５０は、店舗内の販売フロアのカメラ１０の映像だけを分析する場合が有る。この場合、フレームレート計算の対象となるｉとｊの組み合わせは一部に限定される。分析対象とするカメラ１０の識別番号の集合Ｔ_jは、ｉとｊの有効な組み合わせを指定している。

レート決定部３４は、カメラ情報保持部３２、及び、分析装置情報保持部３８に格納された情報に基づいて、集約装置２０及び分配装置４０が送信する各カメラ１０の映像のフレームレートを計算し、その値を制御パラメータ通知部３６経由で、集約装置２０及び分配装置４０に通知する。

図４は分配装置４０の構成例を示すブロック図である。分配装置４０は、通信網Ｂ観測部４１、二次映像入力部４２、二次映像記憶部４３、分配制御パラメータ入力部４４、および、分配出力部４５を備える。

通信網Ｂ観測部４１は、通信網Ｂ８２の通信帯域B_DPjを計測する。二次映像入力部４２は、集約装置２０から送られてきた映像データを受信し、二次映像記憶部４３に保存する。

分配制御パラメータ入力部４４は、制御装置３０からフレームレートを含む制御パラメータを受信して分配出力部４５に通知する。分配出力部４５は、二次映像記憶部４３に保存されている映像を、制御パラメータで通知されたフレームレートで、通信網Ｂ８２経由で指定された分析装置５０に送信する。このとき、分配出力部４５は、集約装置２０の集約出力部２６と同様に、映像をそのまま、あるいは、一部のフレームを除いて出力することにより、映像を通知されたフレームレートで送信する。すなわち、分配出力部４５は、受信しているフレームレートより、通知されたフレームレートが小さい場合、一部フレームを送信しない。

なお、通信網Ｂ観測部４１は、定期的に起動されてデータを制御装置３０に送信しても良いし、制御装置３０からの指示に応答してデータを送信しても良い。

図５は、カメラ情報保持部３２に保持されるデータ構造の例である。カメラ情報保持部３２は、Ｎ台のカメラ１０の各々に対応して、通信網経由でアクセスする為のIPアドレス、識別番号ｉ、撮影する映像の最大のフレームレートMaxRate_i、最新の変化量ω_ciを保持する。

図６は、分析装置情報保持部３８に保持されるデータ構造の例である。分析装置情報保持部３８は、Ｍ台の分析装置５０の各々に対応して、通信網経由でアクセスする為のIPアドレス、識別番号ｊ、分析処理速度Ｐｊ、通信網Ｂ８２の通信帯域B_DPj、分析対象とするカメラ１０の識別番号の集合Ｔ_j、最低要求レートMinRate_j及び、優先度ω_ajを保持する。さらに、分析装置情報保持部３８は、通信網Ａ８１の通信帯域Ｂ_ADを保持する。

図７は、カメラ情報保持部３２と分析装置情報保持部３８に保持される主要なデータと、映像配信システム９０の構成との関連を示す図である。

図８は、制御装置３０のレート決定部３４の動作フローチャートである。レート決定部３４は、例えば、定期的に起動される。起動されると、レート決定部３４は、先ず、カメラ情報保持部３２と分析装置情報保持部３８のデータを更新する。

レート決定部３４は、通信網情報取得部３５に依頼して、分析装置情報保持部３８に格納されている通信網Ａ８１の通信帯域、及び、通信網Ｂ８２の通信帯域を含む通信網情報を更新し（Ｓ１）、分析装置情報取得部３９に依頼して、各分析装置５０の分析処理速度を含む分析装置情報を更新する（Ｓ２）。続いて、レート決定部３４は、変化量入力部３３に依頼して、各カメラ１０の映像の最新の変化量を取得してカメラ情報保持部３２を更新する（Ｓ３）。

なお、カメラ情報保持部３２と分析装置情報保持部３８に保持されている他のデータは、例えば、管理者が、分析装置情報入力部３７やカメラ情報入力部３１から、映像配信システム９０の立ち上げ時等に、適宜入力して設定する。

その後、レート決定部３４は、更新した各データが所定割合以上に変化したかを判定する（Ｓ４）。所定割合以上に変化したデータが有った場合（Ｓ４でＹ）、レート決定部３４は、各カメラ１０の映像を集約装置２０から分配装置４０に送信するときの第一のフレームレートx_ij、及び、分配装置４０から各分析装置５０に送信するときの第二のフレームレートy_ijを計算する（Ｓ５）。

最後に、レート決定部３４は、第一のフレームレートを集約装置２０に、第二のフレームレートを分配装置４０に、制御パラメータとして通知する（Ｓ６）。この結果、集約装置２０の集約出力部２６は、ｉ番目のカメラ１０の映像を分配装置４０に第一フレームレートx_iで送信する。分配装置４０の分配出力部４５は、第ｉ番のカメラ１０の映像を第ｊ番の分析装置５０に第二フレームレートy_ijで送信する。

＜レート決定方法＞
制御装置３０のレート決定部３４は、カメラ情報保持部３２と分析装置情報保持部３８に格納されているデータに基づいて、第一のフレームレートx_i、及び、第二のフレームレートy_ijを算出する。このときレート決定部３４は、以下のように定式化された最適化問題を解くことで、フレームレートを算出する。

数式２は、最適化問題において最大化する目的関数を表している。なお、数式２は、ｉとｊの組み合わせに制限が無い場合を示している。分析装置５０が一部のカメラ１０の映像の分析だけを行う場合、レート決定部３４は、数式２の２項目の総和計算において、各ｊに対してｉの範囲を、第ｊの分析装置５０の「対象とするカメラ１０の識別番号の集合Ｔ_j」に限定して計算する。

最適化問題における制約式は以下の通りとなる。数式３は、集約装置２０から分配装置４０へ送る各カメラ１０の第一のフレームレートと、分配装置４０から各分析装置５０へ送る各カメラ１０の第二のフレームレートの間の制約を表している。すなわち、数式３は、各カメラ１０について第二のフレームレートが第一のフレームレートを超過しないように調整する制約式である。

数式４は、集約装置２０から分析装置５０へ送る各カメラ１０のフレームレートがカメラ１０の最大のフレームレートMaxRate_iを超過しないようにする制約式である。

数式５は、通信網Ａ８１の通信帯域Ｂ_ADに関する制約式であり、集約装置２０から分配装置４０へ送信する各カメラ１０の第一のフレームレートの合計が、通信網Ａ８１の通信帯域を超過しないようにしている。

数式６は、分配装置４０から各分析装置５０へ送信する第二のフレームレートの上限値に関する制約式であり、第二のフレームレートの合計が、通信網Ｂ８２の通信帯域Ｂ_DPj、及び、分析装置５０の分析処理速度を超過しないようにしている。

数式７は、分配装置４０から各分析装置５０へ送信する第二のフレームレートの下限値に関する制約式であり、分析装置情報保持部３８から取得した最低要求レートMinRate_j以上のフレームレートの映像が到着するように制御している。

上述の最適化問題は線形計画問題であり、レート決定部３４は、一般的な線形計画ソルバー、例えば、GLPK（登録商標）（GNU Linear Programming Kit）やCPLEX（登録商標）を用いてフレームレートを求めれば良い。レート決定部３４は、シンプレックス法のアルゴリズムを用いてフレームレートを求めても良い。

＜動作例＞
図９及び１０は、レート決定方法の動作例を説明する図である。これらの図において、例えば１番のカメラ１０は施設の出入り口付近、２番のカメラ１０は売り場、３番のカメラ１０はトイレ前にそれぞれ設置されているものとする。１番の分析装置５０は年齢・性別分析、２番の分析装置５０は人物追跡、３番の分析装置５０は不審者分析をそれぞれ行っているものとする。また、各分析装置５０の優先度は同一であるとする。

図９は、各カメラ１０の映像のフレーム間の変化量が等しい、すなわち同程度の人物がカメラの撮影範囲内に存在する場合における動作説明図である。この場合、レート決定部３４は、各カメラ１０の映像を、複数あるリソース制約を考慮し、各分析装置５０へ均等に送信するようにフレームレートを決定する。

図１０はカメラ１０の映像のフレーム間の変化量ω_ciがω_c1＞ω_c2＞＞ω_c3だった場合、すなわちトイレ付近に人物があまり存在しない場合における動作説明図である。この場合、レート決定部３４は、複数のリソース制約を考慮しつつ、変化量の大きいカメラ１０の映像を優先的に分析装置５０へ送信する。

＜各部の構成＞
制御装置３０の、カメラ情報入力部３１、変化量入力部３３、レート決定部３４、通信網情報取得部３５、制御パラメータ通知部３６、分析装置情報入力部３７、及び、分析装置情報取得部３９は、論理回路、または、専用プロセッサとファームウェアで構成される。カメラ情報保持部３２、及び、分析装置情報保持部３８は、半導体記憶装置、ＨＤＤ（Hard Disk Drive）、または、ＳＤＤ(Solid State Drive)等の記憶装置である。

制御装置３０は、コンピュータ装置６０で構成されても良い。図１１は、コンピュータ装置６０の構成図である。コンピュータ装置６０は、バス６４で相互に接続された、プロセッサ６１、主記憶部６３、及び、外部記憶部６２を備える。

プロセッサ６１は、バス６４を経由して、主記憶部６３、及び、外部記憶部６２に対してデータの読み書きを行う。

また、プロセッサ６１は、主記憶部６３に格納されている映像配信プログラム６５を実行する。なお、映像配信プログラム６５は、当初、外部記憶部６２に格納されており、コンピュータ装置６０の初期設定時に、プロセッサ６１が外部記憶部６２から主記憶部６３にロードしても良い。

ここで、主記憶部６３は半導体メモリである。外部記憶部６２は、ＨＤＤ、または、ＳＤＤ等の記憶部である。

コンピュータ装置６０のプロセッサ６１は、映像配信プログラム６５を実行することにより、カメラ情報入力部３１、変化量入力部３３、レート決定部３４、通信網情報取得部３５、制御パラメータ通知部３６、分析装置情報入力部３７、及び、分析装置情報取得部３９として機能する。すなわち、プロセッサ６１は、映像配信プログラム６５を実行することにより、カメラ情報入力部３１、変化量入力部３３、レート決定部３４、通信網情報取得部３５、制御パラメータ通知部３６、分析装置情報入力部３７、及び、分析装置情報取得部３９が行う処理を実行する。

主記憶部６３、または、外部記憶部６２は、カメラ情報保持部３２、及び、分析装置情報保持部３８として使用される。

同様に、集約装置２０の、一次映像入力部２１、通信網Ａ観測部２３、変化量計算部２４、集約制御パラメータ入力部２５、及び、集約出力部２６は、論理回路、または、専用プロセッサとファームウェアで構成される。一次映像記憶部２２は、半導体記憶装置、ＨＤＤ、または、ＳＤＤ等の記憶装置である。集約装置２０も、制御装置３０同様にコンピュータ装置６０で構成されても良い。

同様に、分配装置４０の、通信網Ｂ観測部４１、二次映像入力部４２、分配制御パラメータ入力部４４、および、分配出力部４５は、論理回路、または、専用プロセッサとファームウェアで構成される。二次映像記憶部４３は、半導体記憶装置、ＨＤＤ、または、ＳＤＤ等の記憶装置である。分配装置４０も、制御装置３０同様にコンピュータ装置６０で構成されても良い。

＜変形例＞
分析装置５０の優先度は、同一であっても構わない。この場合、数式２において、優先度は１とみなせば良い。また、通信網Ｂ８２の帯域がカメラ１０の映像のデータ量に比べて非常に大きなとき、または、通信網Ｂ８２が存在せず直接にケーブル接続されているとき、数式６において通信帯域は無くて良く、数式６は、分析装置５０の分析処理速度だけ考慮すれば良い。

＜効果＞
映像配信システム９０は、各分析装置５０に、映像のフレーム間の変化量と分析装置５０の分析処理速度に応じた、適切なフレームレートの映像を配信できる。その理由は、１）受信する映像のフレームレートが分析装置５０の分析処理速度の範囲内であって、２）送信された映像のフレーム間の変化量とフレームレートの積の総和が増加するに伴って増加する目的関数値が最大となるように、レート決定部３４がフレームレートを決定するからである。

さらに、映像配信システム９０は、送信量が映像の送信に用いられる通信網Ａ８１と通信網Ｂ８２の通信帯域の制限範囲に収まるように、適切なフレームレートの映像を配信する。その理由は、レート決定部３４が、通信網Ａ８１と通信網Ｂの帯域制限も加味して、上述の目的関数値を最大化するようにフレームレートを決定するからである。

この結果、映像配信システム９０は、分析装置５０や通信網Ａ８１等のリソース制約及びデータの質を考慮し、複数のカメラ１０の映像を効率良く複数の分析装置５０に送信することが出来る。

さらに、映像配信システム９０は、分析装置５０の優先度を加味し、優先度が高い分析装置５０に、高いフレームレートの映像を送信することが出来る。その理由は、レート決定部３４が、優先度の高い分析装置５０の受信量に反応し易い数式２のような目的関数を最大化するようにフレームレートを決定するからである。

＜第二の実施の形態＞
本実施の形態の映像配信システム９０は、集約装置２０と分配装置４０が1つの装置となっており、通信網Ａ８１を介した通信が無くなっている。図１２は、本実施の形態における分配装置４０の構成を示す図である。

分配装置４０は複数のカメラ１０に接続され、各カメラ１０の映像が二次映像入力部４２経由で二次映像記憶部４３に保存される。本実施の形態の分配装置４０は変化量計算部２４を備えている。この変化量計算部２４は、第一の実施の形態では集約装置２０が備えていた。この変化量計算部２４は、二次映像記憶部４３に保存されている各カメラ１０の映像から変化量を算出するが、他の点において第一の実施の形態と同じである。

制御装置３０の変化量入力部３３は、分配装置４０の変化量計算部２４から映像のフレーム間の変化量を取得する。また、通信網情報取得部３５は、分配装置４０の通信網Ｂ観測部４１から通信網Ｂ８２の通信帯域Ｂ_DPjを取得する。

本実施の形態において、レート決定部３４は、以下の数式８を目的関数とし、これを数式９、数式６、数式７の制約式の下で、最大化するように、第二のフレームレートy_ijを算出する。ここで、数式８及び数式９は以下の通りであり、数式６、数式７は、第一の実施の形態と同じである。なお、数式８は、ｉとｊの組み合わせに制限が無い場合を示している。分析装置５０が一部のカメラ１０の映像の分析だけを行う場合、レート決定部３４は、第一の実施の形態と同様に、ｉとｊの組み合わせを制限して計算する。

無論、本実施の形態において、分析装置情報保持部３８は、通信網Ａ８１帯域Ｂ_ADを格納しない。他の点において、本実施の形態の映像配信システム９０は、第一の実施の形態と同じである。

本実施の形態においても、第一の実施の形態と同様な変形は可能である。さらに、本実施の形態において、制御装置３０と分配装置４０は、一つの装置として実装されても良い。例えば、制御装置３０が、分配装置４０の全ての構成要素も追加的に備えていて良い。さらに、１台のコンピュータ装置６０において、映像配信プログラム６５が実行されて、制御装置３０と分配装置４０の全ての構成要素の機能を果たしても良い。

本実施の形態の映像配信システム９０は、集約装置２０、通信網Ａ８１の無い簡単な構成で各分析装置５０に、映像のフレーム間の変化量と分析装置５０の分析処理速度に応じた、適切なフレームレートの映像を配信できる。その理由は、１）受信する映像のフレームレートが分析装置５０の分析処理速度の範囲内であって、２）送信された映像のフレーム間の変化量とフレームレートの積の総和が増加するに伴って増加する目的関数値が最大となるように、レート決定部３４がフレームレートを決定するからである。

さらに、映像配信システム９０は、送信量が映像の送信に用いられる通信網Ｂ８２の通信帯域の制限範囲に収まるように、適切なフレームレートの映像を配信する。その理由は、レート決定部３４が、通信網Ｂ８２の帯域制限も加味して、上述の目的関数値を最大化するようにフレームレートを決定するからである。

この結果、映像配信システム９０は、分析装置５０や通信網のリソース制約及びデータの質を考慮し、複数のカメラの映像を効率良く複数の分析装置５０に送信することが出来る。

さらに、映像配信システム９０は、分析装置５０の優先度を加味し、優先度が高い分析装置５０により高いフレームレートの映像を送信することが出来る。その理由は、レート決定部３４が、優先度の高い分析装置５０の受信量に反応し易い数式８のような目的関数を最大化するようにフレームレートを決定するからである。

＜第三の実施の形態＞
図１３は、第三の実施の形態にかかる映像配信システム９０の構成を示す図である。

映像配信システム９０は、分配出力部４５と、レート決定部３４と、を包含する。分配出力部４５は、複数個のカメラ１０から取得された映像を、映像を処理する複数個の分析装置５０に通知されたフレームレートで送信する。レート決定部３４は、分析装置５０が受信する映像のフレームレートの合計が、分析装置５０の分析処理速度を超えないとの条件下で、目的関数値が最大となるようにフレームレートを算出して、分配出力部４５に通知する。ここで、目的関数は、送信された映像のフレーム間の変化量と送信されたフレームレートの積の総和が増加するに伴って増加する性質を持つ関数である。

本実施の形態の映像配信システム９０は、各分析装置５０に、映像のフレーム間の変化量と分析装置５０の分析処理速度に応じた、適切なフレームレートの映像を配信できる。その理由は、受信する映像のフレームレートが分析装置５０の分析処理速度の範囲内であって、送信された映像のフレーム間の変化量とフレームレートの積の総和が増加するに伴って増加する目的関数値が最大となるように、レート決定部３４がフレームレートを決定するからである。

以上、実施の形態を参照して本開示を説明したが、本開示は上記実施の形態に限定されるものではない。本開示の構成や詳細には、本開示のスコープ内で当業者が理解し得る様々な変更をすることができる。

この出願は、２０１７年１０月２３日に出願された日本出願特願２０１７−２０４４５９を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１０ カメラ
２０ 集約装置
２１ 一次映像入力部
２２ 一次映像記憶部
２３ 通信網Ａ観測部
２４ 変化量計算部
２５ 集約制御パラメータ入力部
２６ 集約出力部
３０ 制御装置
３１ カメラ情報入力部
３２ カメラ情報保持部
３３ 変化量入力部
３４ レート決定部
３５ 通信網情報取得部
３６ 制御パラメータ通知部
３７ 分析装置情報入力部
３８ 分析装置情報保持部
３９ 分析装置情報取得部
４０ 分配装置
４１ 通信網Ｂ観測部
４２ 二次映像入力部
４３ 二次映像記憶部
４４ 分配制御パラメータ入力部
４５ 分配出力部
５０ 分析装置
６０ コンピュータ装置
６１ プロセッサ
６２ 外部記憶部
６３ 主記憶部
６４ バス
６５ 映像配信プログラム
８１ 通信網Ａ
８２ 通信網Ｂ
９０ 映像配信システム

Claims (10)

1. 複数個のカメラから取得された映像を、前記映像を処理する複数個の分析装置に、通知されたフレームレートで送信する分配出力手段と、
   前記分析装置が受信する前記映像の前記フレームレートの合計が前記分析装置の分析処理速度を超えない第一の条件の下で、送信された前記映像のフレーム間の変化量と送信された前記フレームレートの積の総和が増加するに伴って増加する目的関数値が最大となるように前記フレームレートを算出して、前記分配出力手段に通知するレート決定手段と、
   を包含する映像配信システム。
2. 前記カメラから取得した前記映像の前記変化量を算出する変化量計算手段と、
   前記分析装置の分析処理速度を取得する分析装置情報取得手段と、を更に備え、
   前記分配出力手段は、前記映像をそのまま、あるいは、一部のフレームを除いて出力することにより、通知された前記フレームレートの前記映像を前記分析装置に出力する、
   請求項１に記載の映像配信システム。
3. 前記映像配信システムは、分配装置および制御装置を包含し、
   前記分配装置は、
   前記分配出力手段を有し、
   前記制御装置は、
   前記分析装置情報取得手段と、
   前記映像ごとの前記変化量と前記映像が前記分析装置ごとに送信されるフレームレートの積の総和である前記目的関数値が、前記第一の条件の下で最大となる前記フレームレートを算出して前記分配出力手段に通知する前記レート決定手段と、を有する、
   請求項２に記載の映像配信システム。
4. 前記映像配信システムは、集約装置、分配装置および制御装置を包含し、
   前記集約装置は、
   前記映像をそのまま、あるいは、一部のフレームを除いて出力することにより、通知された前記フレームレートの前記映像を第一の通信網経由で分配装置に出力する集約出力手段と、
   前記第一の通信網の通信帯域を取得する第一の通信網観測手段と、を備え、
   前記分配装置は、
   前記集約装置から受信した前記映像をそのまま、あるいは、一部のフレームを除いて出力することにより、通知された前記フレームレートの前記映像を前記分析装置に出力する前記分配出力手段と、を備え、
   前記制御装置は、
   前記分析装置情報取得手段と、
   前記映像ごとの前記変化量と前記集約装置が送信した前記映像の第一の前記フレームレートの積の総和と、各映像が前記分析装置ごとに送信される第二のフレームレートの総和の合計である前記目的関数値が最大となる第一と第二の前記フレームレートを、前記第一の条件、及び、第一の前記フレームレートの総和が前記第一の通信網の通信帯域を超えない第二の条件下で算出して、第一の前記フレームレートを前記集約出力手段に、かつ、第二の前記フレームレートを前記分配出力手段に通知する前記レート決定手段と、
   を備える、
   請求項２に記載の映像配信システム。
5. 前記レート決定手段は、前記分析装置ごとの優先度を取得して、前記映像ごとの前記変化量と前記集約装置が送信した前記映像の第一の前記フレームレートの積の総和と、各映像が前記分析装置ごとに送信される第二の前記フレームレートと前記優先度の積の総和の合計である前記目的関数値が最大となる第一と第二の前記フレームレートを前記第一の条件、及び、前記第二の条件下で算出する、
   請求項４に記載の映像配信システム。
6. 前記分配出力手段は、第二の通信網経由で前記映像を前記分析装置に出力し、
   前記分配装置は、前記第二の通信網の通信帯域を取得する第二の通信網観測手段をさらに備え、
   前記レート決定手段は、各映像が前記分析装置ごとに送信される前記フレームレートの総和が前記第二の通信網の通信帯域を超えない第三の条件を加えた条件下で、第一と第二の前記フレームレートを算出する、
   請求項４又は請求項５に記載の映像配信システム。
7. 複数個のカメラから取得された映像を、前記映像を処理する複数個の分析装置に、
   前記分析装置が受信する前記映像のフレームレートの合計が前記分析装置の分析処理速度を超えない第一の条件下で、送信された前記映像のフレーム間の変化量と送信されたフレームレートの積の総和が増加するに伴って増加する目的関数値が最大となるように前記フレームレートを算出して、
   当該フレームレートで送信する、
   映像配信方法。
8. 前記カメラから取得した前記映像の前記変化量を算出し、
   前記分析装置の分析処理速度を取得し、
   前記映像をそのまま、あるいは、一部のフレームを除いて出力することにより、算出された前記フレームレートの前記映像を前記分析装置に出力する、
   請求項７に記載の映像配信方法。
9. 前記映像ごとの前記変化量と前記映像が前記分析装置ごとに送信されるフレームレートと、の積の総和である前記目的関数値が、前記第一の条件下で最大となる前記フレームレートを算出する、
   請求項８に記載の映像配信方法。
10. 複数個のカメラから取得された映像を、前記映像を処理する複数個の分析装置に、通知されたフレームレートで送信する処理と、
    前記分析装置が受信する前記映像の前記フレームレートの合計が前記分析装置の分析処理速度を超えない第一の条件下で、送信された前記映像のフレーム間の変化量と送信されたフレームレートの積の総和が増加するに伴って増加する目的関数値が最大となるように前記フレームレートを算出して通知する処理と、をコンピュータに実行させる映像配信プログラム。

Images