JP7180750B2 - 情報処理装置、分析システム、データ集約方法及びデータ集約プログラム - Google Patents

情報処理装置、分析システム、データ集約方法及びデータ集約プログラム Download PDF

Info

Publication number
JP7180750B2
JP7180750B2 JP2021508400A JP2021508400A JP7180750B2 JP 7180750 B2 JP7180750 B2 JP 7180750B2 JP 2021508400 A JP2021508400 A JP 2021508400A JP 2021508400 A JP2021508400 A JP 2021508400A JP 7180750 B2 JP7180750 B2 JP 7180750B2
Authority
JP
Japan
Prior art keywords
data
time
subject
analysis
target space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021508400A
Other languages
English (en)
Other versions
JPWO2020194421A1 (ja
Inventor
洋介 岩松
康史 平川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2020194421A1 publication Critical patent/JPWO2020194421A1/ja
Application granted granted Critical
Publication of JP7180750B2 publication Critical patent/JP7180750B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2228Indexing structures
    • G06F16/2272Management thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2455Query execution
    • G06F16/24553Query execution of query operations
    • G06F16/24554Unary operations; Data partitioning operations
    • G06F16/24556Aggregation; Duplicate elimination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2458Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2477Temporal data queries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Description

本開示は、情報処理装置、分析システム、並びに、データ集約方法及びプログラムが格納された非一時的なコンピュータ可読媒体に関する。
近年、被写体等が撮影された映像や画像等を解析して得られる被写体に関する時系列のセンシングデータを分析し、危険な状態や不審な行動等を検出する技術の開発が進められている。
ここで、特許文献1には、動画データ内の前後の画像フレーム間の輝度の変化を基に、シーンの転換点を検出し、シーン変化に対応した最適なサムネイルを作成する画像処理装置に関する技術が開示されている。特許文献2には、動画像データの圧縮及び復元における画質低下を防止するための装置に関する技術が開示されている。特許文献3には、動画像内の重要なフレームを残しつつ、動画像全体のデータ量を削減するための動画像変換装置に関する技術が開示されている。特許文献4には、車両に搭載されたカメラにより撮像された画像を用いて車両の周辺を監視する車両周辺監視装置に関する技術が開示されている。特許文献4にかかる技術は、被写体との距離の変化が大きい場合に短い期間でサンプリングすることで、遅延なく距離を算出するものである。
特開2008-263657号公報 特開2006-054569号公報 特開2006-246175号公報 特開2010-257377号公報
上述した特許文献1から4にかかる技術では、対象空間において所定期間に撮影された複数の画像に含まれる特定の被写体について、画像領域内における当該特定の被写体に関する分布の分析精度が考慮されていない。そのため、当該分析精度の低下を抑制しつつ、データ量を削減することが困難であるという問題点がある。
本開示は、このような問題点を解決するためになされたものであり、所定期間に撮影された複数の画像に含まれる特定の被写体に関する分布の分析精度の低下を抑制しつつ、データ量を削減するための情報処理装置、分析システム、並びに、データ集約方法及びプログラムが格納された非一時的なコンピュータ可読媒体を提供することを目的とする。
本開示の第1の態様にかかる情報処理装置は、
対象空間から所定期間に撮影された複数の画像に含まれる1以上の被写体における当該対象空間内の存在領域情報を含む第1の時系列データを取得する取得部と、
前記第1の時系列データのうち特定の被写体に関する前記存在領域情報から、前記所定期間の開始時点から異なる複数の時間幅までの複数のデータ集合を生成するデータ集合生成部と、
前記複数のデータ集合のそれぞれに含まれる前記存在領域情報に基づいて、各データ集合のそれぞれから代表データへの集約を行った場合における前記対象空間内の当該被写体に関する分布の分析精度を、前記複数の時間幅ごとに推定する推定部と、
各データ集合における前記集約によるデータ削減度合い及び前記分析精度に基づいて、集約対象の時間幅を決定する決定部と、
前記決定された時間幅に対応するデータ集合に対して前記代表データへの集約を行う集約部と、
を備える。
本開示の第2の態様にかかる分析システムは、
1以上の被写体が存在する対象空間から所定期間に撮影された複数の画像を解析して、被写体における当該対象空間内の存在領域情報を含む第1の時系列データを出力する解析装置と、
前記解析装置から前記第1の時系列データを取得する取得部と、前記第1の時系列データのうち特定の被写体に関する前記存在領域情報から、前記所定期間の開始時点から異なる複数の時間幅までの複数のデータ集合を生成するデータ集合生成部と、前記複数のデータ集合のそれぞれにおける前記存在領域情報に基づいて、各データ集合のそれぞれから代表データへの集約を行った場合における前記対象空間内の当該被写体に関する分布の分析精度を、前記複数の時間幅ごとに推定する推定部と、各データ集合における前記集約によるデータ削減度合い及び前記分析精度に基づいて、集約対象の時間幅を決定する決定部と、前記決定された時間幅に対応するデータ集合に対して前記代表データへの集約を行う集約部と、を備えるデータ集約装置と、
前記集約された前記代表データを記憶する記憶装置と、
前記記憶装置に記憶された前記代表データから前記対象空間内の前記被写体に関する分布を分析するデータ分析装置と、
を備える。
本開示の第3の態様にかかるデータ集約方法は、
コンピュータが、
対象空間から所定期間に撮影された複数の画像に含まれる1以上の被写体における当該対象空間内の存在領域情報を含む第1の時系列データを取得し、
前記第1の時系列データのうち特定の被写体に関する前記存在領域情報から、前記所定期間の開始時点から異なる複数の時間幅までの複数のデータ集合を生成し、
前記複数のデータ集合のそれぞれにおける前記存在領域情報に基づいて、各データ集合のそれぞれから代表データへの集約を行った場合における前記対象空間内の当該被写体に関する分布の分析精度を、前記複数の時間幅ごとに推定し、
各データ集合における前記集約によるデータ削減度合い及び前記分析精度に基づいて、集約対象の時間幅を決定し、
前記決定された時間幅に対応するデータ集合に対して前記代表データへの集約を行う。
本開示の第4の態様にかかるデータ集約プログラムが格納された非一時的なコンピュータ可読媒体は、
対象空間から所定期間に撮影された複数の画像に含まれる1以上の被写体における当該対象空間内の存在領域情報を含む第1の時系列データを取得する処理と、
前記第1の時系列データのうち特定の被写体に関する前記存在領域情報から、前記所定期間の開始時点から異なる複数の時間幅までの複数のデータ集合を生成する処理と、
前記複数のデータ集合のそれぞれにおける前記存在領域情報に基づいて、各データ集合のそれぞれから代表データへの集約を行った場合における前記対象空間内の当該被写体に関する分布の分析精度を、前記複数の時間幅ごとに推定する処理と、
各データ集合における前記集約によるデータ削減度合い及び前記分析精度に基づいて、集約対象の時間幅を決定する処理と、
前記決定された時間幅に対応するデータ集合に対して前記代表データへの集約を行う処理と、
をコンピュータに実行させる。
上述の態様によれば、所定期間に撮影された複数の画像に含まれる特定の被写体に関する分布の分析精度の低下を抑制しつつ、データ量を削減するための情報処理装置、分析システム、並びに、データ集約方法及びプログラムが格納された非一時的なコンピュータ可読媒体を提供することができる。
本実施形態1にかかる情報処理装置の構成を示すブロック図である。 本実施形態1にかかるデータ集約方法の流れを示すフローチャートである。 被写体の存在位置の分布の概念を説明するための図である。 関連技術により発生し得る課題を説明するための図である。 本実施形態2にかかる分析システムの全体構成を示すブロック図である。 本実施形態2にかかるデータ集約装置の構成を示すブロック図である。 本実施形態2にかかる画像から被写体に関する分布を分析する処理の流れを示すシーケンス図である。 本実施形態2にかかるデータ集約処理の流れを示すフローチャートである。 本実施形態2にかかる入力される被写体データの概念を説明するための図である。 本実施形態2にかかる被写体データを被写体IDごとにグループ分けした場合の概念を説明するための図である。 本実施形態2にかかる時間幅ごとの被写体データ群の概念を説明するための図である。 本実施形態2にかかる充足度算出処理の流れを示すフローチャートである。 本実施形態2にかかる被写体データの分析精度モデルの例を示す図である。 本実施形態2にかかる被写体データの時間幅に応じた集約による分布の分析精度の低下度合いの例を示す図である。 本実施形態2にかかる時間幅ごとの分析精度の例を示す図である。 本実施形態2にかかる時間幅に応じたデータ削減率モデルの例を示す図である。 本実施形態2にかかる時間幅ごとのデータ削減率の例を示す図である。 本実施形態2にかかる分析精度の充足度モデルの例を示す図である。 本実施形態2にかかるデータ削減率の充足度モデルの例を示す図である。 本実施形態2にかかる時間幅ごとの充足度の例を示す図である。 本実施形態2にかかる被写体データの次の時分割の開始点の概念を説明するための図である。 本実施形態3にかかるデータ集約装置の構成を示すブロック図である。 本実施形態3にかかる充足度算出処理の流れを示すフローチャートである。 本実施形態3にかかる被写体データの分析精度モデルの例を示す図である。 本実施形態3にかかる被写体データの大きさの変動の例を示す図である。 本実施形態3にかかる時間幅ごとの分析精度の例を示す図である。 本実施形態3にかかる分析精度の充足度モデルの例を示す図である。 本実施形態3にかかる時間幅ごとの充足度の例を示す図である。
以下では、本開示の実施形態について、図面を参照しながら詳細に説明する。各図面において、同一又は対応する要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略される。
<実施形態1>
図1は、本実施形態1にかかる情報処理装置100の構成を示すブロック図である。情報処理装置100は、対象空間から所定期間に撮影された複数の画像に含まれる1以上の被写体データを、複数種類の時間幅のいずれかに順次、分割しつつ、分割後の被写体データを代表データに集約して、後の分析処理のために蓄積するコンピュータである。情報処理装置100は、取得部110と、データ集合生成部120と、推定部130と、決定部140と、集約部150とを備える。
取得部110は、対象空間から所定期間に撮影された複数の画像に含まれる1以上の被写体における当該対象空間内の存在領域情報を含む第1の時系列データを取得する。ここで、対象空間とは、所定の位置に設置されたカメラ等の撮影装置による撮影対象となる空間であり、少なくとも1以上の被写体が存在するものとする。尚、各画像は、対象空間の異なる複数の位置に設置された複数の撮影装置により撮影されたものであってもよい。また、被写体とは、人間、動物、荷物、車両等の移動体(荷物の場合、人間や車両と併せて移動し得る)であって、カメラ等による撮影対象の物体である。また、存在領域情報とは、対象空間内に被写体が存在する領域を特定するための情報であり、例えば、被写体の外形を特定する座標群、被写体の外形を近似した矩形領域の座標群、領域の大きさ(面積)、領域の形状等である。そして、第1の時系列データは、存在領域情報と撮影時刻とが対応付けられた組のデータ群である。また、第1の時系列データは、複数の被写体のそれぞれについての撮影時刻ごとの存在領域情報(時系列データ)を含んでも良い。
例えば、取得部110は、外部装置において予め複数の画像データから被写体の存在領域情報が抽出された時系列の被写体データを、当該外部装置から受信する。または、取得部110は、情報処理装置100が内蔵する記憶装置(不図示)に格納された第1の時系列データを読み出すことにより取得してもよい。
データ集合生成部120は、第1の時系列データのうち特定の被写体に関する存在領域情報から、所定期間の開始時点から異なる複数の時間幅までの複数のデータ集合を生成する。例えば、時間幅が3つの場合、データ集合生成部120は、所定期間の開始時点から第1の時間幅までの特定の被写体に関する存在領域情報を第1のデータ集合として生成する。同様に、データ集合生成部120は、所定期間の開始時点から第2の時間幅、第3の時間幅のそれぞれまでの特定の被写体に関する存在領域情報を第2のデータ集合、第3のデータ集合として生成する。つまり、データ集合生成部120は、予め定められた時間幅の個数分の、異なる要素数のデータ集合を生成する。また、各データ集合は、開始時点が共通する。尚、時間幅は、時分割幅と呼ぶこともできる。
推定部130は、複数のデータ集合のそれぞれにおける存在領域情報に基づいて、各データ集合のそれぞれから代表データへの集約を行った場合における対象空間内の当該被写体に関する分布の分析精度を、複数の時間幅ごとに推定する。ここで、データ集合から代表データへの集約とは、データ集合内の複数の存在領域情報から代表値を算出し、複数の存在領域情報を破棄して代表値に置き換えることをいう。つまり、集約によりデータ量が削減される。ここで、代表値は、平均値、最頻値、中央値等であっても良く、標本の分布の特徴を代表的に表す統計量(要約統計量)といえる。また、被写体に関する分布とは、例えば、対象空間内の被写体の存在位置の分布や、領域サイズの分布等である。分布の分析精度とは、集約前のデータ集合に対して被写体に関する分布の分析を行った場合と比べて、集約後の代表データに対して当該分布の分析を行った場合の精度の低下度合いである。尚、推定部130は、実際には集約を行わず、各データ集合に対して代表データへの集約を行ったと仮定して、分析精度の推定を行うものである。
決定部140は、各データ集合における集約によるデータ削減度合い及び分析精度に基づいて、集約対象の時間幅を決定する。データ集合における集約によるデータ削減度合いとは、データ集合から代表データへの集約を行った場合に、削減されるデータ量の度合いを推定したものである。そして、決定部140は、複数の時間幅の中から、データ削減度合いと分析精度の双方のバランスが良いものを、集約対象の時間幅として決定する。
集約部150は、決定された時間幅に対応するデータ集合に対して代表データへの集約を行う。すなわち、集約部150は、上述したように、決定された時間幅に対応するデータ集合内の複数の存在領域情報から代表値を算出することによりデータの集約を行う。
図2は、本実施形態1にかかるデータ集約方法の流れを示すフローチャートである。まず、取得部110は、対象空間から所定期間に撮影された複数の画像に含まれる1以上の被写体における当該対象空間内の存在領域情報を含む第1の時系列データを取得する(S11)。次に、データ集合生成部120は、第1の時系列データのうち特定の被写体に関する存在領域情報から、所定期間の開始時点から異なる複数の時間幅までの複数のデータ集合を生成する(S12)。そして、推定部130は、複数のデータ集合のそれぞれにおける存在領域情報に基づいて、各データ集合のそれぞれから代表データへの集約を行った場合における対象空間内の当該被写体に関する分布の分析精度を、複数の時間幅ごとに推定する(S13)。そして、決定部140は、各データ集合における集約によるデータ削減度合い及び分析精度に基づいて、集約対象の時間幅を決定する(S14)。その後、集約部150は、決定された時間幅に対応するデータ集合に対して代表データへの集約を行う(S15)。
このように、本実施形態では、時系列の被写体データに対して異なる複数の時間幅の被写体のデータ集合を生成し、各データ集合について集約を行った場合の分析精度を求める。また、時間幅ごとのデータ削減度合いも用いる。そして、分析精度とデータ削減度合いを加味した上で、時間幅を決定し、決定した時間幅における被写体のデータ集合に対して集約を行う。そのため、所定期間に撮影された複数の画像に含まれる特定の被写体に関する分布の分析精度の低下を抑制しつつ、データ量を削減することができる。
尚、情報処理装置100は、図示しない構成としてプロセッサ、メモリ及び記憶装置を備えるものである。また、当該記憶装置には、本実施形態にかかるデータ集約方法の処理が実装されたコンピュータプログラムが記憶されている。そして、当該プロセッサは、記憶装置からコンピュータプログラムを前記メモリへ読み込み、当該コンピュータプログラムを実行する。これにより、前記プロセッサは、取得部110、データ集合生成部120、推定部130、決定部140及び集約部150の機能を実現する。
または、取得部110、データ集合生成部120、推定部130、決定部140及び集約部150は、それぞれが専用のハードウェアで実現されていてもよい。また、各装置の各構成要素の一部又は全部は、汎用または専用の回路(circuitry)、プロセッサ等やこれらの組合せによって実現されもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組合せによって実現されてもよい。また、プロセッサとして、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、FPGA(field-programmable gate array)等を用いることができる。
また、情報処理装置100の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。また、情報処理装置100の機能がSaaS(Software as a Service)形式で提供されてもよい。
<実施形態2>
本実施形態2は、上述した実施形態1の具体的な実施例である。
ここで、本開示が解決しようとする課題について詳述する。まず、上述した通り、被写体に関する時系列の大量のセンシングデータから、対象空間内の被写体に関する分布(存在位置や大きさ)を分析し、危険な状態や不審な行動等を検出する技術の必要性が高まっている。
図3は、被写体の存在位置の分布の概念を説明するための図である。ここでは、対象空間を平面でとらえて、当該平面をメッシュ状に複数の矩形領域に分割した上で、分析対象期間内における各領域に存在した被写体の数を概念的に示している。例えば、領域Xは、他の領域より被写体が密集しており混在しているため、危険性が高い箇所であることが分析できる。
しかし、このような分析を行うには、大量のセンシングデータ(被写体データ)を蓄積するために大量の記憶容量が必要となり、また、分析の処理量も増大する。例えば、フレームごとに生成される被写体データは、短期間で増大するため、蓄積には大量のストレージが必要となる。また、データ量の増加に合わせて、統計分析に必要な処理量も増加する。
そこで、蓄積するセンシングデータを集約により圧縮することが考えられる。しかしながら、センシングデータを集約すると、データが欠損するため、分析精度の低下を招き易い。
図4は、関連技術により発生し得る課題を説明するための図である。左側の集約前の被写体データPは、例えば、1FPS(Frame Per Second)で連続して撮影された11画像のそれぞれに含まれる同一の被写体の存在領域の中心座標の集合である。そして、被写体データPは、中央上部付近から右下方向へ蛇行しながら移動した軌跡を示すものともいえる。集約前の被写体データPは6領域を経由しており、被写体の分布は、11秒間に6領域となる。
そして、被写体データPを集約するために、一定の時間幅で分割する。例えば、時間幅を3秒間とすると、分割後の被写体データは、3座標ずつ(最後は2座標)のデータ集合となる。そして、各データ集合から代表データを生成する。例えば、3座標のうち中間の時刻に対応する座標を代表データとする。そのため、右側の集約後の被写体データは、代表データP1、P2、P3、P4となる。この場合、集約後の被写体データの分布は、11秒間に4領域となり、領域X1及びX2には被写体が存在しなかったことになる。つまり、集約により、領域X1及びX2における被写体データが欠損し、被写体の存在位置の分布の分析精度が低下したことになる。
そこで、本実施形態2は、上述した課題の少なくとも一部を解決するためになされたものである。図5は、本実施形態2にかかる分析システム200の全体構成を示すブロック図である。分析システム200は、映像配信装置10と接続された解析装置20と、データ集約装置30と、データ記憶装置40と、データ分析装置50とを備える。
映像配信装置10は、複数の被写体が存在する対象空間の所定の位置に設置された撮影装置により所定間隔で撮影された画像を、少なくとも解析装置20に対して送信する。映像配信装置10は、ネットワークを介して解析装置20に対して映像として配信してもよい。
解析装置20は、映像配信装置10から連続して受信した複数の画像を解析して、各画像に含まれる複数の被写体のそれぞれにおける対象空間内の存在領域情報を抽出し、時系列データ(被写体データ)としてデータ集約装置30へ出力する。ここで、存在領域情報は、例えば、被写体の存在領域を近似した矩形座標であり、被写体データは、撮影時刻と、被写体のIDと、矩形座標とが対応付けられているものとする。
データ集約装置30は、上述した情報処理装置100の一例であり、解析装置20から受信した被写体データを一定時間分バッファし、データ集約処理を行い、集約後の被写体データ(代表データ)をデータ記憶装置40へ格納する。尚、データ集約装置30の内部構成は、後述する。
データ記憶装置40は、集約後の被写体データを記憶するストレージ装置、つまり不揮発性記憶装置である。尚、データ記憶装置40は、2以上の記憶装置からなるストレージシステムであってもよい。
データ分析装置50は、データ記憶装置40に記憶された代表データから対象空間内の被写体に関する分布を分析する。ここで、本実施形態にかかるデータ分析装置50は、被写体の存在位置の分布を分析するものとするが、分布はこれに限定されない。尚、映像配信装置10、解析装置20、データ集約装置30及びデータ分析装置50のそれぞれは、1以上の情報処理装置で実現可能である。また、解析装置20、データ集約装置30及びデータ分析装置50は、一部が共通の情報処理装置上で実現されてもよい。
図6は、本実施形態2にかかるデータ集約装置30の構成を示すブロック図である。データ集約装置30は、記憶装置31と、制御部32と、メモリ33と、通信部34とを備える。記憶装置31は、ハードディスク、フラッシュメモリ等の不揮発性記憶装置である。記憶装置31は、被写体データ311、時間幅312及びデータ集約プログラム313を記憶する。
被写体データ311は、解析装置20から受信した時系列データである。時間幅312は、予め設定された複数の時間幅の定義情報である。時間幅312は、例えば、5秒幅、10秒幅、20秒幅及び40秒幅が挙げられるが、これに限定されず、2以上の任意の幅であってもよい。
データ集約プログラム313は、本実施形態にかかるデータ集約方法の処理が実装されたコンピュータプログラムである。
メモリ33は、RAM(Random Access Memory)等の揮発性記憶装置であり、制御部32の動作時に一時的に情報を保持するための記憶領域である。通信部34は、データ集約装置30の外部との入出力を行うインタフェースである。例えば、通信部34は、解析装置20から受信したデータを制御部32へ出力し、制御部32から受け付けたデータをデータ記憶装置40へ出力する。
制御部32は、情報処理装置100の各構成を制御するプロセッサつまり制御装置である。制御部32は、記憶装置31からデータ集約プログラム313をメモリ33へ読み込み、データ集約プログラム313を実行する。これにより、制御部32は、取得部321、データ集合生成部322、推定部323、決定部324及び集約部325の機能を実現する。
取得部321は、上述した取得部110の一例であり、解析装置20から被写体データを取得する。そして、取得部321は、取得した被写体データを記憶装置31に保存する。
データ集合生成部322は、上述したデータ集合生成部120の一例である。データ集合生成部322は、被写体データ(第1の時系列データ)を被写体ごとの複数のグループに分類し、各グループに対して複数のデータ集合を生成する。これにより、複数の被写体データが混在する時系列データに対して、被写体ごとに精度よく、集約を行うことができる。また、データ集合生成部322は、決定部324による決定後、開始時点から、決定された時間幅を経過した時点を次の開始時点とする。そして、データ集合生成部322は、取得部321が次の開始時点から所定期間の分の第2の時系列データを取得した後に、当該第2の時系列データから次の時間幅を決定するために、次の複数のデータ集合を生成する。これにより、適切な時間幅をよりきめ細かく決定できる。
推定部323は、上述した推定部130一例である。推定部323は、各データ集合のそれぞれから代表データへの集約を行った場合における当該代表データ以外の情報の欠損度合いに基づき、分析精度を推定する。これにより、分析精度の推定精度が向上する。特に、本実施形態にかかる推定部323は、対象空間内の特定の被写体の位置の移動度合いに基づいて、複数のデータ集合のそれぞれを代表データに集約を行った場合における対象空間内の当該被写体の存在位置の分布の分析精度を、複数の時間幅ごとに推定する。また、推定部323は、各時間幅についてデータ削減率を推定する。尚、分類精度及びデータ削減率の算出方法の例は後述する。
決定部324は、上述した決定部140の一例であり、複数の時間幅のそれぞれについて、集約によるデータ削減度合いと、分析精度とを加味した指標値を算出し、最も良い指標値に対応する時間幅を集約対象の時間幅として決定する。これにより、システム要求をより満たす時間幅をより精度よく決定できる。特に、本実施形態にかかる推定部323は、推定した分類精度及びデータ削減率に基づいて、時間幅ごとの充足度を指標値として算出する。ここで、充足度は、分類精度及びデータ削減率を総合的に加味した場合に、どの程度満たすかを示す指標値の一例である。尚、充足度の算出方法の例は後述する。
集約部325は、上述した集約部150の一例であり、決定された時間幅に対応するデータ集合に対して代表データへの集約を行う。そして、集約部325は、集約した代表データをデータ記憶装置40に格納する。
図7は、本実施形態2にかかる画像から被写体に関する分布を分析する処理の流れを示すシーケンス図である。まず、映像配信装置10は、対象空間から撮影された画像データを解析装置20へ送信する(S21)。
次に、解析装置20は、受信した画像データを解析して被写体データを抽出する(S22)。例えば、解析装置20は、画像データから特徴点を抽出し、各特徴点の集合を被写体と認識し、各被写体の特徴点の存在領域を近似した矩形領域を特定する。そして、解析装置20は、矩形領域と被写体のIDと撮影時刻とを対応付けて被写体データとする。その後、解析装置20は、被写体データをデータ集約装置30へ出力する(S23)。
データ集約装置30は、受信した被写体データに対してデータ集約処理を行う(S24)。図8は、本実施形態2にかかるデータ集約処理の流れを示すフローチャートである。まず、取得部321は、解析装置20から所定期間分の被写体データを受信する(S241)。このとき、被写体データには、複数の被写体に関する存在領域情報が含まれているものとする。また、所定期間とは、例えば、時間幅の最大値40秒間以上であるものとする。図9は、本実施形態2にかかる入力される被写体データobjの概念を説明するための図である。被写体データobjは、被写体ID=1、2,3の3名の被写体についての存在領域情報が撮影時刻と対応付けられていることを示す。
次に、データ集合生成部322は、被写体データを同一の被写体ごとにグループ化する(S242)。例えば、データ集合生成部322は、被写体データ内の各被写体IDと対応付けられた矩形領域を、対応する被写体IDのグループ(例えば、配列)に分類する。図10は、本実施形態2にかかる被写体データを被写体IDごとにグループ分けした場合の概念を説明するための図である。例えば、データ集合生成部322は、被写体ID=1に対応付けられた矩形領域を被写体ID=1の被写体グループg1に分類する。同様に、データ集合生成部322は、被写体ID=2に対応付けられた矩形領域を被写体ID=2の被写体グループg2に分類する。また、データ集合生成部322は、被写体ID=3に対応付けられた矩形領域を被写体ID=3の被写体グループg3に分類する。
そして、データ集合生成部322は、グループごとに、開始時点から複数の時間幅分のデータ集合を生成する(S243)。図11は、本実施形態2にかかる時間幅ごとの被写体データ群の概念を説明するための図である。ここでは、被写体グループg1について説明するが、被写体グループg2及びg3についても同様に、時間幅の個数のデータ集合が生成される。また、時間幅312は、時間幅tw11(5秒間)、時間幅tw12(10秒間)、時間幅tw13(20秒間)、時間幅tw14(40秒間)の4つであるものとする。
例えば、データ集合生成部322は、被写体グループg1の開始時点から5秒間までを抽出し、データ集合D11とする。同様に、データ集合生成部322は、被写体グループg1の開始時点から10秒間、20秒間及び40秒間のそれぞれまでを抽出し、データ集合D12、D13及びD14とする。
その後、推定部323及び決定部324は、各データ集合について、充足度算出処理を行う(S244)。図12は、本実施形態2にかかる充足度算出処理の流れを示すフローチャートである。ここでは、データ集合D11を対象として説明するが、データ集合D12、D13及びD14についても同様である。
まず、推定部323は、データ集合D11から被写体の移動距離を算出する(S2441)。例えば、推定部323は、データ集合D11内の各被写体データのうち、中心座標の移動距離の最大値を算出する。次に、推定部323は、移動距離の最大値から分析精度モデルに基づき分析精度を推定する(S2442)。ここで、分析精度モデルは、被写体データから代表データへの集約を行った場合の対象空間内の被写体の存在位置の分布を分析した場合の精度をモデル化したものである。分析精度モデルは、例えば、過去のデータ集合、集約後の代表データ及び代表データに対する分析精度の組合せと、集約前のデータ集合に対する分析精度との実績データからユーザが定式化しても良い。または、分析精度モデルは、これらの実績データから機械学習により学習した学習済みモデルであってもよい。
図13は、本実施形態2にかかる被写体データの分析精度モデルの例を示す図である。ここでは、分析精度モデルに移動距離の最大値を入力することで、対応する分析精度が特定できることを示す。
図14は、本実施形態2にかかる被写体データの時間幅に応じた集約による分布の分析精度の低下度合いの例を示す図である。データ集合D11は、移動距離の最大値が50pxであるため、この範囲で集約を行った上で分布を分析した場合、時間幅tw11(5秒間)に通過したがカウントされないメッシュ(欠損するメッシュ)が発生し難いことを示す。一方、データ集合D14は、移動距離の最大値が500pxであるため、この範囲で集約を行った上で分布を分析した場合、時間幅tw14(40秒間)に通過したがカウントされないメッシュ(欠損するメッシュ)が発生し易いことを示す。そのため、時間幅tw11の方が時間幅tw14よりも分析精度が高いといえる。
図15は、本実施形態2にかかる時間幅ごとの分析精度の例を示す図である。図15は、時間幅5秒間、10秒間、20秒間及び40秒間のそれぞれについて、移動距離の最大値と、各最大値から分析精度モデルにより推定された分析精度を表で示したものである。この例では、時間幅が短いほど、分析精度が高いことが示されている。
図12に戻り説明を続ける。推定部323は、データ集合に対応する時間幅からデータ削減率モデルに基づきデータ削減率を推定する(S2443)。ここで、データ削減率モデルは、時間幅ごとに、被写体データを集約した場合のデータ削減率をモデル化したものである。データ削減率モデルは、例えば、過去のフレームレート、時間幅ごとの集約データ数等の実績データからユーザが定式化しても良い。または、データ削減率モデルは、これらの実績データから機械学習により学習した学習済みモデルであってもよい。以下の例では、データ削減率モデルとして、データ削減率=1-1/(時間幅)という式を用いるが、これに限定されない。図16は、本実施形態2にかかる時間幅に応じたデータ削減率モデルの例を示す図である。
図17は、本実施形態2にかかる時間幅ごとのデータ削減率の例を示す図である。図17は、時間幅5秒間、10秒間、20秒間及び40秒間のそれぞれから推定(算出)されたデータ削減率を表で示したものである。
図12に戻り説明を続ける。決定部324は、推定した分析精度及びデータ削減率から充足度を算出する(S2444)。具体的には、決定部324は、推定した分析精度aから、分析精度の充足度モデルに基づき分析精度の充足度Saを算出する。ここで、分析精度の充足度モデルは、システム要求に基づきユーザが定式化しても良い。
図18は、本実施形態2にかかる分析精度の充足度モデルの例を示す図である。当該充足度モデルは、分析精度aが0.5以下の場合はシステム要求を充足しないとして充足度Sa=0となることを示す。尚、分析精度の充足度モデルはこれに限定されない。
併せて、決定部324は、推定したデータ削減率bから、データ削減率の充足度モデルに基づきデータ削減率の充足度Sbを算出する。ここで、データ削減率の充足度モデルは、システム要求に基づきユーザが定式化しても良い。
図19は、本実施形態2にかかるデータ削減率の充足度モデルの例を示す図である。当該充足度モデルは、データ削減率bが0.7程度までは充足度Sbが概ね一定値とし、データ削減率bが0.8や0.9に近づくと充足度Sbが急上昇することを示す。尚、データ削減率の充足度モデルはこれに限定されない。
その後、決定部324は、算出した分析精度の充足度Saとデータ削減率の充足度Sbから全体の充足度cを算出する。決定部324は、例えば、分析精度の充足度Saとデータ削減率の充足度Sbを乗算して全体の充足度cを算出する。
ここで、ステップS244の充足度算出処理は、グループごとに実行される。そのため、決定部324は、被写体グループg1からg3のそれぞれについて、全体の充足度cを算出する。
図8に戻り説明を続ける。決定部324は、グループごとに、最も充足度が高いデータ集合を集約対象として決定する(S245)。つまり、決定部324は、被写体グループg1からg3のそれぞれについて、各時間幅において算出された全体の充足度cの中から最も高い充足度を選択し、選択した充足度に対応するデータ集合を集約対象として決定する。
図20は、本実施形態2にかかる時間幅ごとの充足度の例を示す図である。例えば、分析精度の充足度Saのうち最も高いのは時間幅5秒における0.90であり、最も低いのは時間幅40秒における0.0である。また、データ削減率の充足度Sbのうち最も高いのは時間幅40秒における0.9であり、最も低いのは時間幅5秒における0.5である。そして、充足度Saと充足度Sbから算出される全体の充足度cのうち最も高いのは時間幅10秒における0.595であることを示す。つまり、時間幅10秒の場合、4つの時間幅の中で分析精度及びデータ削減率のいずれも最高値ではないが、総合的には最もシステム要求を満たすことを示す。
図8に戻り説明を続ける。集約部325は、グループごとに、ステップS245で決定した時間幅により被写体データを分割する(S246)。例えば、被写体グループg1について時間幅10秒が決定された場合、集約部325は、被写体グループg1のデータ集合に対して開始時点から10秒間のデータ(前半)と残りのデータとに分割する。被写体グループg2及びg3についても同様である。
図21は、本実施形態2にかかる被写体データg1の次の時分割の開始点の概念を説明するための図である。ここでは、集約部325は、被写体グループg1の前半を時間幅tw12(10秒間)のデータ集合D12として分割する。尚、データ集合D12は、ステップS242で生成されたものを用いても良い。そして、データ集合生成部322は、開始時点から10秒後を次の開始時点とする。
図8に戻り説明を続ける。集約部325は、グループごとに、分割された(前半の)被写体データに対して代表データに集約する(S247)。
図7に戻り説明を続ける。データ集約装置30は、集約した代表データをデータ記憶装置40に出力する(S25)。そして、データ記憶装置40は、データ集約装置30から受け付けた代表データを記憶領域に蓄積する(S26)。
その後、データ分析装置50は、データ記憶装置40に記憶された代表データを読み出し(S27)、代表データに対してデータ分析処理を行う(S28)。例えば、データ分析装置50は、複数の代表データが示す矩形座標に基づき、対象空間に対応する平面のメッシュ状の複数の矩形領域のいずれかに各代表データの被写体を振り分けて、被写体の存在位置の分布を分析する。
ここで、データ分析装置50は、例えば10分間隔でデータ分析処理を行う。データ分析処理の間隔は、データ集約処理の実行間隔よりも長いことが望ましい。データ記憶装置40に代表データがある程度の件数蓄積されることで、より精度の高い分析ができるためである。一方、より早く分析を行うためには、代表データ件数が多くなり過ぎないうちに分析を行うことが望ましい。
このように、本実施形態2は、対象空間内の特定の被写体の位置の移動度合いに基づいて、複数のデータ集合のそれぞれを代表データに集約を行った場合における対象空間内の当該被写体の存在位置の分布の分析精度を推定するものである。そのため、実施形態1の効果に加えて、分析によって、対象空間における混雑箇所を特定でき、危険可能性を予知し易くなる。
<実施形態3>
本実施形態3は、上述した実施形態1の具体的な他の実施例であり、実施形態2の変形例である。尚、本実施形態3にかかる分析システムの構成は、図5と同等であるため、図示を省略し、共通する構成についての説明を省略する。
図22は、本実施形態3にかかるデータ集約装置30aの構成を示すブロック図である。図22は、図6と比べて、データ集約プログラム313及び推定部323がデータ集約プログラム313a及び推定部323aに置き換わったものである。尚、その他の構成は、実施形態2と同等であるため、共通する構成についての説明を省略する。
データ集約プログラム313aは、本実施形態3にかかる検索方法の処理が実装されたコンピュータプログラムである。
推定部323aは、対象空間内の特定の被写体の領域サイズの変動度合いに基づいて、複数のデータ集合のそれぞれを代表データに集約を行った場合における対象空間内の当該被写体の領域サイズの分布の分析精度を、複数の時間幅ごとに推定する。
図23は、本実施形態3にかかる充足度算出処理の流れを示すフローチャートである。図23は、図12と比べて、ステップS2441及びS2442がS2441a及びS2442aに置き換わったものである。尚、他のステップは図12と同様であるため、適宜説明を省略する。
まず、推定部323aは、データ集合D11から被写体の大きさの変動を算出する(S2441a)。例えば、推定部323aは、データ集合D11内の各被写体データのうち、矩形領域の面積を算出する。次に、推定部323は、矩形領域の面積の最大又は最小の差を、大きさの変動値として算出する。
そして、推定部323aは、大きさの変動値から分析精度モデルに基づき分析精度を推定する(S2442a)。ここで、分析精度モデルは、被写体データから代表データへの集約を行った場合の対象空間内の被写体の領域サイズの分布を分析した場合の精度をモデル化したものである。尚、分析精度モデルは、実施形態2と同様、ユーザが定式化するか、実績データから機械学習により学習した学習済みモデルであってもよい。以降、ステップS2443及びS2444は、図12と同様である。
図24は、本実施形態3にかかる被写体データの分析精度モデルの例を示す図である。ここでは、分析精度モデルに被写体の大きさの変動値(最大又は最小)を入力することで、対応する分析精度が特定できることを示す。
図25は、本実施形態3にかかる被写体データの大きさの変動の例を示す図である。データ集合D11は、時間幅tw11(5秒間)における被写体の大きさの変動が1.2倍であるため、被写体がカメラの前後に移動した距離が他の時間幅と比べて短いといえる。そのため、この範囲で集約を行った上で分布を分析した場合、分析でのデータ区間(bin)のデータ欠損が発生し難いことを示す。一方、データ集合D14は、時間幅tw14(40秒間)における被写体の大きさの変動が3.8倍であるため、被写体がカメラの前後に移動した距離が他の時間幅と比べて長いといえる。そのため、この範囲で集約を行った上で分布を分析した場合、分析でのデータ区間(bin)のデータ欠損が発生し易いことを示す。
図26は、本実施形態3にかかる時間幅ごとの分析精度の例を示す図である。図26は、時間幅5秒間、10秒間、20秒間及び40秒間のそれぞれについて、被写体の大きさの変動と、各大きさの変動から分析精度モデルにより推定された分析精度を表で示したものである。この例では、時間幅が短いほど、分析精度が高いことが示されている。
図27は、本実施形態3にかかる分析精度の充足度モデルの例を示す図である。当該充足度モデルは、分析精度aが0.2以下の場合はシステム要求を充足しないとして充足度Sa=0となることを示す。尚、分析精度の充足度モデルはこれに限定されない。
尚、データ削減率モデル及びデータ削減率モデルの充足度モデルは、実施形態2と同様であり、例えば図17及び図19を用いることができる。
図28は、本実施形態3にかかる時間幅ごとの充足度の例を示す図である。例えば、分析精度の充足度Saのうち最も高いのは時間幅5秒における0.90であり、最も低いのは時間幅40秒における0.25である。また、データ削減率の充足度Sbのうち最も高いのは時間幅40秒における0.9であり、最も低いのは時間幅5秒における0.5である。そして、充足度Saと充足度Sbから算出される全体の充足度cのうち最も高いのは時間幅5秒における0.45であることを示す。つまり、時間幅5秒の場合、4つの時間幅の中でデータ削減率が最高値ではないが、総合的には最もシステム要求を満たすことを示す。
このように、本実施形態では、被写体に関する分布として被写体の領域サイズの分布を分析するものである。ここで、被写体の(例えば上半身の)矩形領域は、実際の物理的なサイズの変動はほぼないものと仮定できる。一方で、同一の被写体が特定の場所に固定されたカメラにより撮影された場合、各撮影画像において、被写体の矩形領域の大きさの変動があるということは、被写体がカメラとの遠近の距離が変動したことを意味する。例えば、被写体の大きさが時系列に沿って大きくなれば、被写体はカメラの遠くから近くへ移動したとみなせる。そして、被写体のカメラとの距離間の分析を行うことで、カメラによる顔認識等で人物特定可能な撮影品質(大きさ、解像度)であるかを判定できる。例えば、ある被写体について、大きさの分布の7割が所定の大きさ(200px×200px)以上であれば、カメラにより適切に撮影できていると判定できる。
そこで、本実施形態では、被写体の領域サイズの変動度合いがより小さいほど、カメラに対する遠近方向の移動が少ないとみなし、集約によるデータ欠損が少なく、分析精度が高いと推定できる。これにより、カメラの設置位置、設定等の改善ができる。
<その他の実施形態>
なお、上記実施形態において、様々な処理を行う機能ブロックとして図面に記載される各要素は、ハードウェア的には、CPU(Central Processing Unit)、メモリ、その他の回路で構成することができ、ソフトウェア的には、CPUがメモリにロードして実行するプログラム等によって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、又はそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
また、上記のプログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD-ROM(Compact Disc-Read Only Memory)、CD-R(CD-Recordable)、CD-R/W(CD-ReWritable)、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(Random Access Memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されても良い。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
なお、本開示は上記実施形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。また、本開示は、それぞれの実施形態を適宜組み合わせて実施されてもよい。
上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
(付記A1)
対象空間から所定期間に撮影された複数の画像に含まれる1以上の被写体における当該対象空間内の存在領域情報を含む第1の時系列データを取得する取得部と、
前記第1の時系列データのうち特定の被写体に関する前記存在領域情報から、前記所定期間の開始時点から異なる複数の時間幅までの複数のデータ集合を生成するデータ集合生成部と、
前記複数のデータ集合のそれぞれに含まれる前記存在領域情報に基づいて、各データ集合のそれぞれから代表データへの集約を行った場合における前記対象空間内の当該被写体に関する分布の分析精度を、前記複数の時間幅ごとに推定する推定部と、
各データ集合における前記集約によるデータ削減度合い及び前記分析精度に基づいて、集約対象の時間幅を決定する決定部と、
前記決定された時間幅に対応するデータ集合に対して前記代表データへの集約を行う集約部と、
を備える情報処理装置。
(付記A2)
前記推定部は、
各データ集合のそれぞれから代表データへの集約を行った場合における当該代表データ以外の情報の欠損度合いに基づき、前記分析精度を推定する
付記A1に記載の情報処理装置。
(付記A3)
前記決定部は、
前記複数の時間幅のそれぞれについて、前記集約によるデータ削減度合いと、前記分析精度とを加味した指標値を算出し、
最も良い前記指標値に対応する時間幅を前記集約対象の時間幅として決定する
付記A1又はA2に記載の情報処理装置。
(付記A4)
前記データ集合生成部は、
前記開始時点から前記決定された時間幅を経過した時点を次の開始時点とし、
前記取得部が前記次の開始時点から前記所定期間の分の第2の時系列データを取得した後に、当該第2の時系列データから次の時間幅を決定するために前記複数のデータ集合を生成する
付記A1乃至A3のいずれか1項に記載の情報処理装置。
(付記A5)
前記推定部は、
前記対象空間内の前記特定の被写体の位置の移動度合いに基づいて、前記複数のデータ集合のそれぞれから代表データへの集約を行った場合における前記対象空間内の当該被写体の存在位置の分布の分析精度を、前記複数の時間幅ごとに推定する
付記A1乃至A4のいずれか1項に記載の情報処理装置。
(付記A6)
前記推定部は、
前記対象空間内の前記特定の被写体の領域サイズの変動度合いに基づいて、前記複数のデータ集合のそれぞれから代表データへの集約を行った場合における前記対象空間内の当該被写体の領域サイズの分布の分析精度を、前記複数の時間幅ごとに推定する
付記A1乃至A4のいずれか1項に記載の情報処理装置。
(付記A7)
前記第1の時系列データは、2以上の前記被写体における当該対象空間内の存在領域情報を含み、
前記データ集合生成部は、
前記第1の時系列データを被写体ごとの複数のグループに分類し、
各グループに対して前記複数のデータ集合を生成する
付記A1乃至A6のいずれか1項に記載の情報処理装置。
(付記B1)
1以上の被写体が存在する対象空間から所定期間に撮影された複数の画像を解析して、被写体における当該対象空間内の存在領域情報を含む第1の時系列データを出力する解析装置と、
前記解析装置から前記第1の時系列データを取得する取得部と、前記第1の時系列データのうち特定の被写体に関する前記存在領域情報から、前記所定期間の開始時点から異なる複数の時間幅までの複数のデータ集合を生成するデータ集合生成部と、前記複数のデータ集合のそれぞれにおける前記存在領域情報に基づいて、各データ集合のそれぞれから代表データへの集約を行った場合における前記対象空間内の当該被写体に関する分布の分析精度を、前記複数の時間幅ごとに推定する推定部と、各データ集合における前記集約によるデータ削減度合い及び前記分析精度に基づいて、集約対象の時間幅を決定する決定部と、前記決定された時間幅に対応するデータ集合に対して前記代表データへの集約を行う集約部と、を備えるデータ集約装置と、
前記集約された前記代表データを記憶する記憶装置と、
前記記憶装置に記憶された前記代表データから前記対象空間内の前記被写体に関する分布を分析するデータ分析装置と、
を備える分析システム。
(付記C1)
コンピュータが、
対象空間から所定期間に撮影された複数の画像に含まれる1以上の被写体における当該対象空間内の存在領域情報を含む第1の時系列データを取得し、
前記第1の時系列データのうち特定の被写体に関する前記存在領域情報から、前記所定期間の開始時点から異なる複数の時間幅までの複数のデータ集合を生成し、
前記複数のデータ集合のそれぞれにおける前記存在領域情報に基づいて、各データ集合のそれぞれから代表データへの集約を行った場合における前記対象空間内の当該被写体に関する分布の分析精度を、前記複数の時間幅ごとに推定し、
各データ集合における前記集約によるデータ削減度合い及び前記分析精度に基づいて、集約対象の時間幅を決定し、
前記決定された時間幅に対応するデータ集合に対して前記代表データへの集約を行う、
データ集約方法。
(付記D1)
対象空間から所定期間に撮影された複数の画像に含まれる1以上の被写体における当該対象空間内の存在領域情報を含む第1の時系列データを取得する処理と、
前記第1の時系列データのうち特定の被写体に関する前記存在領域情報から、前記所定期間の開始時点から異なる複数の時間幅までの複数のデータ集合を生成する処理と、
前記複数のデータ集合のそれぞれにおける前記存在領域情報に基づいて、各データ集合のそれぞれから代表データへの集約を行った場合における前記対象空間内の当該被写体に関する分布の分析精度を、前記複数の時間幅ごとに推定する処理と、
各データ集合における前記集約によるデータ削減度合い及び前記分析精度に基づいて、集約対象の時間幅を決定する処理と、
前記決定された時間幅に対応するデータ集合に対して前記代表データへの集約を行う処理と、
をコンピュータに実行させるデータ集約プログラムが格納された非一時的なコンピュータ可読媒体。
以上、実施形態(及び実施例)を参照して本願発明を説明したが、本願発明は上記実施形態(及び実施例)に限定されものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
100 情報処理装置
110 取得部
120 データ集合生成部
130 推定部
140 決定部
150 集約部
X 領域
P 被写体データ
P1 代表データ
P2 代表データ
P3 代表データ
P4 代表データ
X1 領域
X2 領域
10 映像配信装置
20 解析装置
30 データ集約装置
30a データ集約装置
40 データ記憶装置
50 データ分析装置
200 分析システム
31 記憶装置
311 被写体データ
312 時間幅
313 データ集約プログラム
313a データ集約プログラム
32 制御部
321 取得部
322 データ集合生成部
323 推定部
323a 推定部
324 決定部
325 集約部
33 メモリ
34 通信部
obj 被写体データ
g1 被写体グループ
g2 被写体グループ
g3 被写体グループ
tw11 時間幅
tw12 時間幅
tw13 時間幅
tw14 時間幅
tw21 時間幅
tw22 時間幅
tw23 時間幅
tw24 時間幅
D11 データ集合
D12 データ集合
D13 データ集合
D14 データ集合
D21 データ集合
D22 データ集合
D23 データ集合
D24 データ集合

Claims (10)

  1. 対象空間から所定期間に撮影された複数の画像に含まれる1以上の被写体における当該対象空間内の存在領域情報を含む第1の時系列データを取得する取得部と、
    前記第1の時系列データのうち特定の被写体に関する前記存在領域情報から、前記所定期間の開始時点から異なる複数の時間幅までの複数のデータ集合を生成するデータ集合生成部と、
    前記複数のデータ集合のそれぞれに含まれる前記存在領域情報に基づいて、各データ集合のそれぞれから代表データへの集約を行った場合における前記対象空間内の当該被写体に関する分布の分析精度を、前記複数の時間幅ごとに推定する推定部と、
    各データ集合における前記集約によるデータ削減度合い及び前記分析精度に基づいて、集約対象の時間幅を決定する決定部と、
    前記決定された時間幅に対応するデータ集合に対して前記代表データへの集約を行う集約部と、
    を備える情報処理装置。
  2. 前記推定部は、
    各データ集合のそれぞれから代表データへの集約を行った場合における当該代表データ以外の情報の欠損度合いに基づき、前記分析精度を推定する
    請求項1に記載の情報処理装置。
  3. 前記決定部は、
    前記複数の時間幅のそれぞれについて、前記集約によるデータ削減度合いと、前記分析精度とを加味した指標値を算出し、
    最も良い前記指標値に対応する時間幅を前記集約対象の時間幅として決定する
    請求項1又は2に記載の情報処理装置。
  4. 前記データ集合生成部は、
    前記開始時点から前記決定された時間幅を経過した時点を次の開始時点とし、
    前記取得部が前記次の開始時点から前記所定期間の分の第2の時系列データを取得した後に、当該第2の時系列データから次の時間幅を決定するために前記複数のデータ集合を生成する
    請求項1乃至3のいずれか1項に記載の情報処理装置。
  5. 前記推定部は、
    前記対象空間内の前記特定の被写体の位置の移動度合いに基づいて、前記複数のデータ集合のそれぞれから代表データへの集約を行った場合における前記対象空間内の当該被写体の存在位置の分布の分析精度を、前記複数の時間幅ごとに推定する
    請求項1乃至4のいずれか1項に記載の情報処理装置。
  6. 前記推定部は、
    前記対象空間内の前記特定の被写体の領域サイズの変動度合いに基づいて、前記複数のデータ集合のそれぞれから代表データへの集約を行った場合における前記対象空間内の当該被写体の領域サイズの分布の分析精度を、前記複数の時間幅ごとに推定する
    請求項1乃至4のいずれか1項に記載の情報処理装置。
  7. 前記第1の時系列データは、2以上の前記被写体における当該対象空間内の存在領域情報を含み、
    前記データ集合生成部は、
    前記第1の時系列データを被写体ごとの複数のグループに分類し、
    各グループに対して前記複数のデータ集合を生成する
    請求項1乃至6のいずれか1項に記載の情報処理装置。
  8. 1以上の被写体が存在する対象空間から所定期間に撮影された複数の画像を解析して、被写体における当該対象空間内の存在領域情報を含む第1の時系列データを出力する解析装置と、
    前記解析装置から前記第1の時系列データを取得する取得部と、前記第1の時系列データのうち特定の被写体に関する前記存在領域情報から、前記所定期間の開始時点から異なる複数の時間幅までの複数のデータ集合を生成するデータ集合生成部と、前記複数のデータ集合のそれぞれにおける前記存在領域情報に基づいて、各データ集合のそれぞれから代表データへの集約を行った場合における前記対象空間内の当該被写体に関する分布の分析精度を、前記複数の時間幅ごとに推定する推定部と、各データ集合における前記集約によるデータ削減度合い及び前記分析精度に基づいて、集約対象の時間幅を決定する決定部と、前記決定された時間幅に対応するデータ集合に対して前記代表データへの集約を行う集約部と、を備えるデータ集約装置と、
    前記集約された前記代表データを記憶する記憶装置と、
    前記記憶装置に記憶された前記代表データから前記対象空間内の前記被写体に関する分布を分析するデータ分析装置と、
    を備える分析システム。
  9. コンピュータが、
    対象空間から所定期間に撮影された複数の画像に含まれる1以上の被写体における当該対象空間内の存在領域情報を含む第1の時系列データを取得し、
    前記第1の時系列データのうち特定の被写体に関する前記存在領域情報から、前記所定期間の開始時点から異なる複数の時間幅までの複数のデータ集合を生成し、
    前記複数のデータ集合のそれぞれにおける前記存在領域情報に基づいて、各データ集合のそれぞれから代表データへの集約を行った場合における前記対象空間内の当該被写体に関する分布の分析精度を、前記複数の時間幅ごとに推定し、
    各データ集合における前記集約によるデータ削減度合い及び前記分析精度に基づいて、集約対象の時間幅を決定し、
    前記決定された時間幅に対応するデータ集合に対して前記代表データへの集約を行う、
    データ集約方法。
  10. 対象空間から所定期間に撮影された複数の画像に含まれる1以上の被写体における当該対象空間内の存在領域情報を含む第1の時系列データを取得する処理と、
    前記第1の時系列データのうち特定の被写体に関する前記存在領域情報から、前記所定期間の開始時点から異なる複数の時間幅までの複数のデータ集合を生成する処理と、
    前記複数のデータ集合のそれぞれにおける前記存在領域情報に基づいて、各データ集合のそれぞれから代表データへの集約を行った場合における前記対象空間内の当該被写体に関する分布の分析精度を、前記複数の時間幅ごとに推定する処理と、
    各データ集合における前記集約によるデータ削減度合い及び前記分析精度に基づいて、集約対象の時間幅を決定する処理と、
    前記決定された時間幅に対応するデータ集合に対して前記代表データへの集約を行う処理と、
    をコンピュータに実行させるデータ集約プログラム
JP2021508400A 2019-03-25 2019-03-25 情報処理装置、分析システム、データ集約方法及びデータ集約プログラム Active JP7180750B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/012342 WO2020194421A1 (ja) 2019-03-25 2019-03-25 情報処理装置、分析システム、データ集約方法及びコンピュータ可読媒体

Publications (2)

Publication Number Publication Date
JPWO2020194421A1 JPWO2020194421A1 (ja) 2020-10-01
JP7180750B2 true JP7180750B2 (ja) 2022-11-30

Family

ID=72610721

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021508400A Active JP7180750B2 (ja) 2019-03-25 2019-03-25 情報処理装置、分析システム、データ集約方法及びデータ集約プログラム

Country Status (3)

Country Link
US (1) US11836147B2 (ja)
JP (1) JP7180750B2 (ja)
WO (1) WO2020194421A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004020392A (ja) 2002-06-17 2004-01-22 Nippon Signal Co Ltd:The 移動距離算出装置、移動距離算出方法、及び移動距離算出プログラム
JP2008146151A (ja) 2006-12-06 2008-06-26 Sumitomo Electric System Solutions Co Ltd 走行データ収集装置、収集プログラム及び方法
JP2019032588A (ja) 2017-08-04 2019-02-28 セコム株式会社 画像解析装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1072851A (ja) * 1996-08-30 1998-03-17 Shin Caterpillar Mitsubishi Ltd 侵入移動体検出装置
JPH11149313A (ja) 1997-06-11 1999-06-02 Hitachi Ltd プラントデータ管理方法及び装置
US8896725B2 (en) * 2007-06-21 2014-11-25 Fotonation Limited Image capture device with contemporaneous reference image capture mechanism
JP4590975B2 (ja) 2004-08-10 2010-12-01 ソニー株式会社 動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラム
JP5016352B2 (ja) 2007-03-30 2012-09-05 パナソニック株式会社 活動量計
JP4656199B2 (ja) 2008-07-22 2011-03-23 カシオ計算機株式会社 画像処理装置、サムネイル動画作成方法及びサムネイル動画作成プログラム
JP4733756B2 (ja) 2009-04-28 2011-07-27 本田技研工業株式会社 車両周辺監視装置
JP5886205B2 (ja) * 2010-11-25 2016-03-16 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America 通信機器
EP3309751B1 (en) * 2015-06-12 2022-04-20 Sony Group Corporation Image processing device, method, and program

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004020392A (ja) 2002-06-17 2004-01-22 Nippon Signal Co Ltd:The 移動距離算出装置、移動距離算出方法、及び移動距離算出プログラム
JP2008146151A (ja) 2006-12-06 2008-06-26 Sumitomo Electric System Solutions Co Ltd 走行データ収集装置、収集プログラム及び方法
JP2019032588A (ja) 2017-08-04 2019-02-28 セコム株式会社 画像解析装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
三上 弾、外2名,"メモリベースパーティクルフィルタ:状態履歴に基づく事前分布予測を用いた頑健な対象追跡",電子情報通信学会論文誌,日本,社団法人電子情報通信学会,2010年08月01日,Vol.J93-D, No.8,pp.1313-1328

Also Published As

Publication number Publication date
US11836147B2 (en) 2023-12-05
WO2020194421A1 (ja) 2020-10-01
JPWO2020194421A1 (ja) 2020-10-01
US20220156261A1 (en) 2022-05-19

Similar Documents

Publication Publication Date Title
US8558903B2 (en) Accelerometer / gyro-facilitated video stabilization
KR101052207B1 (ko) 물체의 속도에 따른 카메라 모듈의 영상 녹화 속성 조절 방법 및 장치
JP6292122B2 (ja) オブジェクト情報抽出装置、オブジェクト情報抽出プログラム、及びオブジェクト情報抽出方法
US7567704B2 (en) Method and apparatus for identifying physical features in video
US11558549B2 (en) Methods and devices for capturing high-speed and high-definition videos
JP4835176B2 (ja) デジタルスチルカメラ
US20020131492A1 (en) Moving image coding device, moving image coding method and program thereof employing pre-analysis
US11748994B2 (en) People flow analysis apparatus, people flow analysis method, and storage medium
CN111937003A (zh) 用于人群估计技术的集成和自动切换的方法、系统和计算机可读介质
US11205078B2 (en) System for computationally efficient analysis of traffic details in traffic video stream and a method thereof
JP7180750B2 (ja) 情報処理装置、分析システム、データ集約方法及びデータ集約プログラム
CN112884805A (zh) 一种跨尺度自适应映射的光场成像方法
JP5002575B2 (ja) 非定常度推定装置、非定常度推定方法、非定常度推定プログラム
CN109643437B (zh) 图像处理装置、立体照相机装置以及图像处理方法
KR20140045834A (ko) 단일객체의 크기를 추정하는 영상 감시장치 및 방법
CN105631419B (zh) 人脸识别方法及装置
US11875518B2 (en) Object feature extraction device, object feature extraction method, and non-transitory computer-readable medium
JP7131690B2 (ja) 制御装置、制御方法、及びプログラム
JP2012128693A (ja) 映像処理装置、映像処理方法およびプログラム
CN113160027A (zh) 一种图像处理模型训练方法及装置
CN110383295B (zh) 图像处理装置、图像处理方法以及计算机能读取的存储介质
EP4199495A1 (en) Regulating frame processing rates
US11631183B2 (en) Method and system for motion segmentation
US11716541B2 (en) Image capturing apparatus, method of controlling image capturing apparatus, system, and non-transitory computer-readable storage medium
WO2024079904A1 (ja) 処理制御システム、処理制御装置、および処理制御方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210908

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210908

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221018

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221031

R151 Written notification of patent or utility model registration

Ref document number: 7180750

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151