JP7006809B2 - 動線補正装置、動線補正方法、および動線追跡プログラム - Google Patents

動線補正装置、動線補正方法、および動線追跡プログラム Download PDF

Info

Publication number
JP7006809B2
JP7006809B2 JP2020554734A JP2020554734A JP7006809B2 JP 7006809 B2 JP7006809 B2 JP 7006809B2 JP 2020554734 A JP2020554734 A JP 2020554734A JP 2020554734 A JP2020554734 A JP 2020554734A JP 7006809 B2 JP7006809 B2 JP 7006809B2
Authority
JP
Japan
Prior art keywords
reliability
flow line
similarity
attribute
movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020554734A
Other languages
English (en)
Other versions
JPWO2020090111A1 (ja
Inventor
有紀江 海老山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2020090111A1 publication Critical patent/JPWO2020090111A1/ja
Application granted granted Critical
Publication of JP7006809B2 publication Critical patent/JP7006809B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/187Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Description

動線補正装置、動線補正方法、および記録媒体に関し、例えば、分断した動線を補正する動線補正装置に関する。
特許文献1~4に示された関連する技術では、カメラが撮影した映像に映る人物を追跡して、一人の人物につき一つの動線(軌跡とも呼ぶ)を生成する。このようにして得られた人物の動線は、店舗内における顧客の行動を分析したり、従業員による業務活動を監視したりするために利用されている。
特開2014-186547号公報 特開2017- 40530号公報 特開2008-250999号公報 国際公開第2014/125882号
図12は、関連する技術が追跡する人物の動線の一例を示している。追跡対象の人物とカメラとの間に遮蔽物が存在する場合、関連する技術は、映像中における人物の領域の位置を正確に検出することができなくなる。その結果、図12に示すように、人物の動線に分断が生じ得る。
関連する技術では、人物の見た目の特徴(服装など)の検出結果に基づいて、分断した動線を補正する。しかしながら、人物に関する特徴の検出結果がどれぐらい信頼できるのかを考慮していないため、誤った動線同士を連結する可能性がある。
本発明は、上記の課題に鑑みてなされたものであり、その目的は、物体の動線をより正確に補正することが可能な動線補正装置を提供することにある。
本発明の一態様に係わる動線補正装置は、映像中の一つ以上の物体を追跡して得られる複数の動線の信頼度を表すパラメータを算出する信頼度算出手段と、前記複数の動線のうちの任意の二つの動線の類似度を表すパラメータを算出する類似度算出手段と、前記類似度を表すパラメータを、前記信頼度を表すパラメータで重み付けした値を、スコアとして算出するスコア算出手段と、前記スコアに基づいて、前記複数の動線のうちの同一物体の動線同士を連結する連結手段と、を備えている。
本発明の一態様に係わる動線補正方法は、映像中の一つ以上の物体を追跡して得られる複数の動線の信頼度を表すパラメータを算出し、前記複数の動線のうちの任意の二つの動線の類似度を表すパラメータを算出し、前記類似度を表すパラメータを、前記信頼度を表すパラメータで重み付けした値を、スコアとして算出し、前記スコアに基づいて、前記複数の動線のうちの同一物体の動線同士を連結することを含む。
本発明の一態様に係わる記録媒体は、映像中の一つ以上の物体を追跡して得られる複数の動線の信頼度を表すパラメータを算出することと、前記複数の動線のうちの任意の二つの動線の類似度を表すパラメータを算出することと、前記類似度を表すパラメータを、前記信頼度を表すパラメータで重み付けした値を、スコアとして算出することと、前記スコアに基づいて、前記複数の動線のうちの同一物体の動線同士を連結することとを、前記コンピュータに実行させるための動線追跡プログラムを記録している。
本発明の一態様によれば、物体の動線をより正確に補正することができる。
実施形態1に係わる追跡装置の構成を示すブロック図である。 動線の平滑化を説明する図である。 一つの動線上に、映像の各フレームにおいて検出された人物の属性を示す情報を点で表している。 実施形態1に係わる動線補正装置が実行する動線補正方法の流れを示すフローチャートである。 分断した4つの動線を示す。 動きの類似度および属性の類似度を表すテーブルである。 動きの信頼度および属性の信頼度を表すテーブルである。 動線のペアごとのスコアを表すテーブルである。 4つの動線が連結された二つの動線の一例を示す。 実施形態2に係わる動線補正装置の構成を示すブロック図である。 実施形態3に係わる動線補正装置のハードウェア構成を示す図である。 関連する技術の課題を説明する図である。
〔実施形態1〕
図1~図9を参照して、本発明の実施形態1について、以下で説明する。
(追跡装置1)
図1は、本実施形態に係わる追跡装置1の構成を示すブロック図である。図1に示すように、追跡装置1は、入力部10と、動線補正装置20と、出力部30とを備えている。また、追跡装置1は、図示しない動線生成部をさらに備えている。
追跡装置1は、映像に映る人物を追跡する。追跡装置1は、人物を含む映像をどのように取得してもよい。人物を含む映像は、例えば、小売店の防犯カメラが撮影した映像であってもよいし、あるいは公共の場所に設置された監視カメラが撮影した映像であってもよい。なお、追跡装置1が追跡する対象は人物に限られない。追跡装置1は人物以外の移動可能な任意の物体を追跡してもよい。
図示しない動線生成部は、追跡装置1が取得した映像を解析することによって、映像に映る人物の動線情報を生成する。動線情報には、時刻、ID、人物の位置および属性を示す時系列の情報が含まれる。人物の属性とは、例えば、服装、荷物、性別、年齢などを、任意のカテゴリーごと(例えば、衣服の色)に分類したものである。動線生成部は、一般的な画像解析法により、このような動線情報を生成することができる。ここでは、動線生成部が映像を解析して動線情報を生成する手法の詳細な説明を省略する。ここで、追跡対象の人物とカメラとの間に遮蔽物が存在する場合、動線生成部は、映像中における人物の領域の位置を、正確に追跡することができなくなる。その結果、動線情報において、人物の動線に分断が生じ得る。
入力部10は、図示しない動線生成部が生成した動線情報を取得し、取得した動線情報を動線補正装置20へ送信する。
動線補正装置20は、ペアリング部21、類似度算出部22、信頼度算出部23、スコア算出部24、および連結部25を備えている。
動線補正装置20は、入力部10から動線情報を受信して、分断した同一人物の動線同士を連結する。動線補正装置20は、このようにして補正した動線情報を、出力部30へ送信する。動線補正装置20の構成要素が実行する処理については、後に提示する「動線補正方法」に関するフローの中で説明するため、それらの処理の説明をここでは省略する。
出力部30は、動線補正装置20の連結部25から、補正された動線情報を受信して、受信した動線情報を外部機器へ出力する。例えば、出力部30は、補正された動線情報を、図示しない表示装置へ出力してもよいし、ネットワーク上のサーバへ送信してもよい。
(信頼度の計算)
動線補正装置20の信頼度算出部23は、後述する動線補正方法のフローにおいて、以下で説明する二つのパラメータを計算する。信頼度算出部23は、後述する類似度算出部22が計算する二つ以上の類似度と対応する数の信頼度を計算する。本実施形態および後の実施形態において、信頼度は、一つの物体を正しく追跡して一つの動線が得られた可能性を示す値(パラメータ)である。信頼度算出部23は、信頼度を表す三つ以上のパラメータを計算してもよい。また、以下では、信頼度算出部23が、動きの信頼度および属性の信頼度をどちらも計算する例を説明するが、動きの信頼度を表すパラメータのみを二つ以上、または属性の信頼度を表すパラメータのみを二つ以上計算してもよい。
(第1のパラメータ:動きの信頼度)
第1のパラメータは、映像のフレーム間での人物の位置のばらつきを表す。信頼度算出部23は、位置のばらつきを小さくするように、動線を平滑化する。例えば、信頼度算出部23は、動線の移動平均線を求めてもよい。
図2は、動線の平滑化を説明する図である。図2は、位置のばらつきが大きい動線の例、および、位置のばらつきが小さい動線の例を示す。図2に示す例から分かるように、位置のばらつきが大きい動線のほうが、位置のばらつきが小さい動線よりも、平滑化の前後における長さの変化が大きい。
信頼度算出部23は、以下の式1にしたがって、人物の位置のばらつきを表す第1のパラメータを算出する。
[式1]
Figure 0007006809000001
式1によれば、信頼度算出部23による平滑化の前後で、動線の長さの変化がない場合、第1のパラメータは最大値1になる。第1のパラメータが0に近づくにつれて、動線生成部が一人の人物を正しく追跡できなかった蓋然性が高くなる。なぜならば、第1のパラメータが小さいことは、平滑化前の動線における人物の位置のばらつきが大きいことを示すからである。第1のパラメータのことを、「動きの信頼度」と呼ぶ。
(第2のパラメータ:属性の信頼度)
第2のパラメータは、映像のフレーム間での人物の属性のばらつきを表す。信頼度算出部23は、動線生成部が生成した一つの動線情報から、映像の各フレームにおける人物の属性を表す情報を抽出する。そして、信頼度算出部23は、抽出した属性を、類似した属性ごとに分類して、クラスタを形成する。
図3は、一つの動線上に、映像の各フレームにおいて検出された人物の属性を示す情報を点で表している。また図3には、動線上の属性を、類似する属性毎に分類したクラスタAおよびクラスタBを示している。クラスタAは、白丸で示す3つの要素を含み、クラスタBは、黒丸で示す5つの要素を含む。
信頼度算出部23は、以下の式2にしたがって、動線情報に含まれる人物の属性のばらつきを表す第2のパラメータを算出する。
[式2]
Figure 0007006809000002
式2によれば、動線情報から抽出された人物の属性の全要素が、1つのクラスタに含まれる場合、第2のパラメータは最大値1になる。第2のパラメータが0に近づくにつれて、動線生成部が一人の人物を正しく追跡できなかった蓋然性が高くなる。なぜならば、第2のパラメータが小さいことは、人物の属性のばらつきが大きいことを示すからである。第2のパラメータのことを、「属性の信頼度」と呼ぶ。
(動線補正方法)
図4~図10を参照して、動線補正装置20の各構成要素が実行する処理を説明する。図4は、動線補正装置20が実行する動線補正方法の流れを示すフローチャートである。
図4に示すように、ペアリング部21は、入力部10から動線情報を取得する。これらの動線情報の中には、分断した動線が含まれている。
図5は、分断した動線の一例を示す。図5は、4つの分断した動線a~dを含む。ペアリング部21は、動線情報に含まれる時刻の情報に基づいて、動線aは、動線cおよび動線dのどちらか一方と連結すべきであり、動線bは、動線cおよび動線dの他方と連結すべきであると判定する。したがって、ペアリング部21は、動線の4通りの組み合わせ、すなわちa-c、a-d、b-c、およびb-dを生成(ペアリング)する(S1)。
類似度算出部22は、ペアリングした二つの動線についての動線情報から、人物の動きに関する特徴、および人物の属性に関する特徴を抽出する(S2)。ここでいう人物の動きに関する特徴は、例えば、人物の移動方向または速さである。また、人物の属性に関する特徴は、例えば、人物の服装の色を表すヒストグラムである。
次に、類似度算出部22は、ペアリング部21が生成した動線のペアに関して、類似度を算出する(S3)。具体的には、類似度算出部22は、人物の動きの類似度と、人物の属性の類似度とをそれぞれ算出する。
図6は、類似度算出部22が算出する動き/属性の類似度(動きの類似度および属性の類似度を意味する)を表すテーブルである。
図6に示す動きの類似度は、ペアリングされた二つの動線が、どれぐらい自然につながるのかを表す。類似度算出部22は、人物の時空間距離の近さおよび動きの向きに加えて、例えば歩行の速度に基づいて、人物の動きの類似度を算出してもよい。具体的には、類似度算出部22は、人物の時空間距離の近さや人物の動きの向き等をパラメータとする特徴量空間において、人物の特徴量ベクトル間の距離、又は特徴量ベクトルのなす角に基づいて、動きの類似度を計算する。特徴量ベクトル間の距離が小さいほど、また特徴量ベクトルのなす角が小さいほど、類似度は高くなる。ここでは、類似度の計算方法に関する詳細な説明を省略する。
図6に示す属性の類似度は、ペアリングされた二つの動線と対応する二人の人物の属性が、どれぐらい類似しているのかを表す。例えば、一つのペアa-cについて、二人の人物の動きの類似度は0.8(1が最大値)である。また同じペアa-cについて、二人の人物の属性の類似度は0.3(1が最大値)である。なお、図6に示す例では、人物の動きまたは属性の類似度は、0から1までの値で表されるように、正規化されている。
ステップS3の後、信頼度算出部23は、動線がただ一人の人物を追跡して得られたことの確からしさを示す信頼度を算出する(S4)。具体的には、信頼度算出部23は、上述した第1のパラメータである動きの信頼度、および、上述した第2のパラメータである属性の信頼度を算出する。また、信頼度算出部23は、動線のペアごとの信頼度も算出する。式1、式2から分かるように、第1のパラメータ、第2のパラメータは、0以上かつ1以下の値である。
図7は、動線ごとの動き/属性の信頼度(0~1)と、動線のペアごとの動き/属性の信頼度(0~1)とを表すテーブルである。図7に示す動線ごとの動き/属性の信頼度は、動線生成部が一人の人物を正しく追跡することができた、換言すれば、動線はただ一人の人物から得られたことが、どれくらい確からしいかを表す。動きの信頼度は、人物の位置のばらつき(図2)に着目して得られる一方、属性の信頼度は、人物の属性のばらつきに着目して得られる。
図7に示す動線のペアごとの動き/属性の信頼度は、信頼度算出部23によって、ペアリングされた二つの動線の動き/属性の信頼度に基づいて算出される。具体的には、動線のペアごとの動き/属性の信頼度は、ペアリングされた二つの動線の動き/属性の信頼度のうちの小さい方である。例えば、動線aの動きの信頼度は0.2であり、動線cの動きの信頼度は0.8である。この場合、動線のペアa-cの動きの信頼度は、動線aの動きの信頼度と同じ、すなわち0.2である。
信頼度算出部23は、このようにして算出した動線のペアごとの動き/属性の信頼度を正規化する。すなわち、信頼度算出部23は、動線のペアごとに、動きの信頼度と属性の信頼度との総和が1になるように、動き/属性の信頼度をそれぞれ補正する。具体的には、正規化された動き/属性の信頼度は、元の動き/属性の信頼度を、動き/属性の信頼度の総和で割った値である。例えば、図7において、動線のペアa-cについて、元の動きの信頼度が0.2であり、元の属性の信頼度が0.5である。この場合、正規化後の動きの信頼度は、0.2/(0.2+0.5)(イコール0.29)であり、正規化後の属性の信頼度は、0.5/(0.2+0.5)(イコール0.71)である。
ステップS4の後、スコア算出部24は、類似度算出部22が算出した類似度と、信頼度算出部23が算出した動き/属性の信頼度とを用いて、動線のペアごとのスコアを算出する(S5)。
具体的には、スコア算出部24は、以下の式3にしたがって、動線のペアごとのスコアを算出する。
[式3]
Figure 0007006809000003
図8は、スコア算出部24によって算出される、動線のペアごとのスコアを表すテーブルである。例えば、動線のペアa-cについて、動きの類似度は0.8であり、動きの信頼度(正規化)は0.29である。また、属性の類似度は0.3であり、属性の信頼度(正規化)は0.71である。したがって、動線のペアa-cについてのスコアは、0.8×0.29+0.3×0.71(イコール0.445)である。
ステップS5の後、連結部25は、スコア算出部24がそれぞれの動線のペアについて算出したスコア(図8)を比較する(S7)。
そして、連結部25は、ペアリング部21が生成した全ての動線のペアの中から、最もスコアが高い動線のペアを選択する。例えば、図8に示す例では、スコアが最も高い動線のペアa-dを選択する。続いて、連結部25は、残った動線のペアの中から、最もスコアが高い動線のペアを選択する。図8では、動線aおよび動線dを除いた動線のペアはb-cのみが残るので、この動線のペアb-cを選択する。連結部25は、全ての動線の相手が決まるまで、一連の処理を繰り返す。
連結部25は、このようにして全ての動線の相手を決めた後、各動線をその相手の動線と連結する(S7)。例えば、連結部25は、動線とその相手の動線との間を、直線の動線によって補完してもよい。あるいは、連結部25は、動線の一方の端における人物の移動方向および速さと、その相手の動線の一方の端における人物の移動方向および速さとによって決まる任意の曲線形状の動線によって、動線とその相手の動線との間を補完してもよい。
図9は、4つの動線が連結された二つの動線の一例を示す。図9では、図5に示す4つの分断した動線a~dは、それぞれ、連結部25によって選択された相手と連結されている。より詳細には、図5に示す動線aは、動線dと連結されており、また図5に示す動線bは、動線cと連結されている。
以上で、動線補正方法のフローは終了する。
(本実施形態の作用効果)
本実施形態の構成によれば、類似度を信頼度で重み付したスコアに基づいて、同一物体の動線同士を連結する。このように、動線同士の類似度だけでなく、各動線がただ一つの物体を正しく追跡して得られたことの確からしさを示す信頼度も考慮するので、物体の動線をより正確に補正することができる。
〔実施形態2〕
図10を参照して、本発明の実施形態2について、以下で説明する。
(動線補正装置200)
図10は、本実施形態に係わる動線補正装置200の構成を示すブロック図である。動線補正装置200は、映像中の一つ以上の物体を追跡して得られる複数の動線を取得し、それらの動線を補正する。図10に示すように、動線補正装置200は、類似度算出部222と、信頼度算出部223と、スコア算出部224と、連結部225とを備えている。
類似度算出部222は、複数の動線のうちの任意の二つの動線の類似度を表すパラメータを算出する。
信頼度算出部223は、映像中の一つ以上の物体を追跡して得られる複数の動線の信頼度を表すパラメータを算出する。
スコア算出部224は、類似度を表すパラメータを、信頼度を表すパラメータで重み付けした値を、スコアとして算出する。
連結部225は、スコアに基づいて、複数の動線のうちの同一物体の動線同士を連結する。
(本実施形態の作用効果)
本実施形態の構成によれば、複数の動線のうちの任意の二つの動線の類似度を表すパラメータを算出する。さらに、それらの類似度を、信頼度を表すパラメータによって重み付することによって、スコアを算出する。こうして算出したスコアに基づいて、同一物体の動線である可能性が高い二つの動線を判定することができる。したがって、分断された物体の動線をより正確に補正することができる。
〔実施形態3〕
図11を参照して、本発明の実施形態3について、以下で説明する。
本実施形態に係わる動線補正装置は、前記実施形態1または2で説明した動線補正装置20または動線補正装置200と同じ構成を備える。
本実施形態に係わる動線補正装置の各構成要素の一部又は全部は、例えば図11に示すような情報処理装置900とプログラムとの任意の組み合わせにより実現される。図11は、情報処理装置900のハードウェア構成の一例を示すブロック図である。
図11に示すように、情報処理装置900は、一例として、以下のような構成を含む。
・CPU(Central Processing Unit)901
・ROM(Read Only Memory)902
・RAM(Random Access Memory)903
・RAM903にロードされるプログラム904
・プログラム904を格納する記憶装置905
・記録媒体906の読み書きを行うドライブ装置907
・通信ネットワーク909と接続する通信インターフェース908
・データの入出力を行う入出力インターフェース910
・各構成要素を接続するバス911
上述した各実施形態における各装置の各構成要素は、各構成要素の動作を実現するプログラム904をCPU901が取得して実行することで実現される。各装置の各構成要素の機能を実現するプログラム904は、例えば、予め記憶装置905やROM902に格納されており、必要に応じてCPU901がRAM903にロードして実行される。なお、プログラム904は、通信ネットワーク909を介してCPU901に供給されてもよいし、予め記録媒体906に格納されており、ドライブ装置907が当該プログラムを読み出してCPU901に供給してもよい。
(本実施形態の効果)
本実施形態の構成によれば、前記のいずれかの実施形態において説明した装置が、ハードウェアとして実現される。したがって、前記のいずれかの実施形態において説明した効果と同様の効果を奏することができる。
以上、実施形態(及び実施例)を参照して本発明を説明したが、本発明は上記実施形態(及び実施例)に限定されるものではない。上記実施形態の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
1 追跡装置
2 動線補正装置
20 動線補正装置
21 ペアリング部
22 類似度算出部
23 信頼度算出部
24 スコア算出部
25 連結部
222 類似度算出部
223 信頼度算出部
224 スコア算出部
225 連結部

Claims (7)

  1. 映像中の一つ以上の物体を追跡して得られる複数の動線の信頼度を表すパラメータを算出する信頼度算出手段と、
    前記複数の動線のうちの任意の二つの動線の類似度を表すパラメータを算出する類似度算出手段と、
    前記類似度を表すパラメータを、前記信頼度を表すパラメータで重み付けした値を、スコアとして算出するスコア算出手段と、
    前記スコアに基づいて、前記複数の動線のうちの同一物体の動線同士を連結する連結手段と、
    を備え
    前記信頼度は、前記物体の位置のばらつきの小ささを表す動きの信頼度と、前記物体の属性のばらつきの小ささを表す属性の信頼度とを含み、
    前記類似度を表すパラメータは、前記物体の動きの特徴の類似度を表す第1のパラメータと、前記物体の属性の特徴の類似度を表す第2のパラメータとを含み、
    前記スコア算出手段は、前記動きの信頼度と前記属性の信頼度との和に基づいて、前記動きの信頼度および前記属性の信頼度の値を正規化した後、前記動きの信頼度により、前記第1のパラメータを重み付けし、前記属性の信頼度により、前記第2のパラメータを重み付けすることによって、前記スコアを算出する
    動線補正装置。
  2. 前記信頼度は、一つの物体を正しく追跡して一つの動線が得られた可能性を示す値である
    ことを特徴とする請求項1に記載の動線補正装置。
  3. 前記動きの信頼度は、前記動線が表す前記物体の位置のばらつきが小さいほど高い
    ことを特徴とする請求項2に記載の動線補正装置。
  4. 前記属性の信頼度は、前記動線と紐付けられた前記物体の属性のばらつきが小さいほど高い
    ことを特徴とする請求項2に記載の動線補正装置。
  5. 前記属性の特徴の類似度は、前記二つの動線とそれぞれ紐付けられている物体に関する特徴同士が、どれぐらい類似しているかを表す
    ことを特徴とする請求項1から4のいずれか1項に記載の動線補正装置。
  6. 映像中の一つ以上の物体を追跡して得られる複数の動線の信頼度を表すパラメータを算出し、
    前記複数の動線のうちの任意の二つの動線の類似度を表すパラメータを算出し、
    前記類似度を表すパラメータを、前記信頼度を表すパラメータで重み付けした値を、スコアとして算出し、
    前記スコアに基づいて、前記複数の動線のうちの同一物体の動線同士を連結することを含み
    前記信頼度は、前記物体の位置のばらつきの小ささを表す動きの信頼度と、前記物体の属性のばらつきの小ささを表す属性の信頼度とを含み、
    前記類似度を表すパラメータは、前記物体の動きの特徴の類似度を表す第1のパラメータと、前記物体の属性の特徴の類似度を表す第2のパラメータとを含み、
    前記動きの信頼度と前記属性の信頼度との和に基づいて、前記動きの信頼度および前記属性の信頼度の値を正規化した後、前記動きの信頼度により、前記第1のパラメータを重み付けし、前記属性の信頼度により、前記第2のパラメータを重み付けすることによって、前記スコアを算出する
    動線補正方法。
  7. 映像中の一つ以上の物体を追跡して得られる複数の動線の信頼度を表すパラメータを算出することと、
    前記複数の動線のうちの任意の二つの動線の類似度を表すパラメータを算出することと、
    前記類似度を表すパラメータを、前記信頼度を表すパラメータで重み付けした値を、スコアとして算出することと、
    前記スコアに基づいて、前記複数の動線のうちの同一物体の動線同士を連結することとを、
    コンピュータに実行させ
    前記信頼度は、前記物体の位置のばらつきの小ささを表す動きの信頼度と、前記物体の属性のばらつきの小ささを表す属性の信頼度とを含み、
    前記類似度を表すパラメータは、前記物体の動きの特徴の類似度を表す第1のパラメータと、前記物体の属性の特徴の類似度を表す第2のパラメータとを含み、
    前記動きの信頼度と前記属性の信頼度との和に基づいて、前記動きの信頼度および前記属性の信頼度の値を正規化した後、前記動きの信頼度により、前記第1のパラメータを重み付けし、前記属性の信頼度により、前記第2のパラメータを重み付けすることによって、前記スコアを算出することをコンピュータに実行させる
    ための動線追跡プログラム。
JP2020554734A 2018-11-02 2018-11-02 動線補正装置、動線補正方法、および動線追跡プログラム Active JP7006809B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/040858 WO2020090111A1 (ja) 2018-11-02 2018-11-02 動線補正装置、動線補正方法、および記録媒体

Publications (2)

Publication Number Publication Date
JPWO2020090111A1 JPWO2020090111A1 (ja) 2021-09-16
JP7006809B2 true JP7006809B2 (ja) 2022-01-24

Family

ID=70463069

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020554734A Active JP7006809B2 (ja) 2018-11-02 2018-11-02 動線補正装置、動線補正方法、および動線追跡プログラム

Country Status (3)

Country Link
US (1) US20220005207A1 (ja)
JP (1) JP7006809B2 (ja)
WO (1) WO2020090111A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016071534A (ja) 2014-09-29 2016-05-09 Kddi株式会社 オブジェクト追跡方法、装置およびプログラム
JP2016162075A (ja) 2015-02-27 2016-09-05 Kddi株式会社 オブジェクト追跡方法、装置およびプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3750184B2 (ja) * 1996-04-03 2006-03-01 松下電器産業株式会社 移動物体の抽出装置及び抽出方法
US9582895B2 (en) * 2015-05-22 2017-02-28 International Business Machines Corporation Real-time object analysis with occlusion handling

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016071534A (ja) 2014-09-29 2016-05-09 Kddi株式会社 オブジェクト追跡方法、装置およびプログラム
JP2016162075A (ja) 2015-02-27 2016-09-05 Kddi株式会社 オブジェクト追跡方法、装置およびプログラム

Also Published As

Publication number Publication date
US20220005207A1 (en) 2022-01-06
WO2020090111A1 (ja) 2020-05-07
JPWO2020090111A1 (ja) 2021-09-16

Similar Documents

Publication Publication Date Title
US11747898B2 (en) Method and apparatus with gaze estimation
JP4830650B2 (ja) 追跡装置
JP5554984B2 (ja) パターン認識方法およびパターン認識装置
US8184914B2 (en) Method and system of person identification by facial image
JP5404918B2 (ja) 移動軌跡算出方法およびその装置、ならびに領域分割方法
JP6032921B2 (ja) 物体検出装置及びその方法、プログラム
US11915518B2 (en) Facial authentication device, facial authentication method, and program recording medium
JP5077164B2 (ja) 追跡装置及び追跡方法
US20090290791A1 (en) Automatic tracking of people and bodies in video
US9262672B2 (en) Pattern recognition apparatus and pattern recognition method that reduce effects on recognition accuracy, and storage medium
MX2012010602A (es) Aparato para el reconocimiento de la cara y metodo para el reconocimiento de la cara.
KR102338486B1 (ko) 3d 골격 정보를 이용한 사용자 동작 인식 방법 및 시스템
JP2013065119A (ja) 顔認証装置及び顔認証方法
US20220237943A1 (en) Method and apparatus for adjusting cabin environment
Yang et al. Facial expression recognition based on dual-feature fusion and improved random forest classifier
TWI776176B (zh) 手部作業動作評分裝置、方法及電腦可讀取存儲介質
Maddalena et al. Self-organizing background subtraction using color and depth data
CN111898571A (zh) 动作识别系统及方法
WO2022009301A1 (ja) 画像処理装置、画像処理方法、及びプログラム
JP7006809B2 (ja) 動線補正装置、動線補正方法、および動線追跡プログラム
JP2014119879A (ja) 顔表情評価結果平滑化装置および顔表情評価結果平滑化プログラム
US20220309704A1 (en) Image processing apparatus, image processing method and recording medium
JP7103443B2 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2021157133A1 (ja) 再同定装置、再同定プログラム、および再同定方法
Kalirajan et al. Opponent colour median-based scale invariant local ternary pattern: a new feature descriptor for moving object detection

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210324

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210324

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211005

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20211022

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211220