JP7391150B1 - 同定装置、同定方法及び同定プログラム - Google Patents

Abstract

【課題】動画を構成するフレーム間で同一の人を適切に特定可能にする。【解決手段】方向推定部２４は、動画を構成する複数のフレームのうちの対象フレームに映った人を対象人として、対象人の向きを推定する。範囲設定部２５は、方向推定部２４によって推定された向きに応じて探索範囲を設定する。同一人特定部２７は、複数のフレームのうちの対象フレームよりも前の過去フレームに映った人のうち、範囲設定部２５によって設定された探索範囲にいる人から対象人と同一の人を特定する。【選択図】図１

Description

本開示は、動画を構成するフレーム間で同一の人を特定する技術に関する。

動画を構成するフレーム間で同一の人を特定することが行われている。連続する複数のフレーム間で同一の人を特定することにより、人の行動等を特定することが可能になる。特許文献１には、人物画像が示す特徴である人物特徴量に基づきフレーム間で同一の人を特定することが記載されている。

同一の人を特定する際、対象フレームにおける人の位置と、対象フレームの前の過去フレームにおける人の位置とが考慮されることがある。例えば、対象フレームにおける対象人の位置を基準位置として、過去フレームにおける基準位置の周囲における基準範囲にいる人から対象人と同一の人を特定するといったことが行われている。

特許６７９４５７５号公報

基準範囲を狭く設定した場合には、過去フレームにおいて対象人と同一の人は基準範囲外にいる可能性が高くなる。フレームレートが低いほど、この可能性が高くなる。その結果、対象人と同一の人を特定できない可能性が高くなる。一方、基準範囲を広く設定した場合には、対象人とは異なる人が基準範囲に入ってしまう可能性が高くなる。その結果、適切に対象人と同一の人を特定できない可能性が高くなる。
本開示は、動画を構成するフレーム間で同一の人を適切に特定可能にすることを目的とする。

本開示に係る同定装置は、
動画を構成する複数のフレームのうちの対象フレームに映った人を対象人として、前記対象人の向きを推定する方向推定部と、
前記方向推定部によって推定された前記向きに応じて探索範囲を設定する範囲設定部と、
前記複数のフレームのうちの前記対象フレームよりも前の過去フレームに映った人のうち、前記範囲設定部によって設定された前記探索範囲にいる人から前記対象人と同一の人を特定する同一人特定部と
を備える。

本開示では、対象フレームに映った対象人の向きに応じて探索範囲が設定される。これにより、適切な範囲から対象人と同一の人が特定される。その結果、対象人と同一の人を適切に特定可能になる。

実施の形態１に係る同定装置１０の構成図。 実施の形態１に係る同定装置１０の全体的な処理のフローチャート。 実施の形態１に係る同定処理のフローチャート。 実施の形態１に係る探索範囲の説明図。 実施の形態１に係る座標系の説明図。 実施の形態１に係る足の長さＬの説明図。 実施の形態１に係る具体例の説明図。 実施の形態１に係る具体例の説明図。 実施の形態１に係る具体例の説明図。 実施の形態１に係る具体例の説明図。 変形例１に係る同定装置１０の構成図。 実施の形態２に係る同定装置１０の構成図。 実施の形態２に係る同定装置１０の全体的な処理のフローチャート。

実施の形態１．
＊＊＊構成の説明＊＊＊
図１を参照して、実施の形態１に係る同定装置１０の構成を説明する。
同定装置１０は、コンピュータである。
同定装置１０は、プロセッサ１１と、メモリ１２と、ストレージ１３と、通信インタフェース１４とのハードウェアを備える。プロセッサ１１は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。

プロセッサ１１は、プロセッシングを行うＩＣである。ＩＣはＩｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略である。プロセッサ１１は、具体例としては、ＣＰＵ、ＤＳＰ、ＧＰＵである。ＣＰＵは、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略である。ＤＳＰは、Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒの略である。ＧＰＵは、Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略である。

メモリ１２は、データを一時的に記憶する記憶装置である。メモリ１２は、具体例としては、ＳＲＡＭ、ＤＲＡＭである。ＳＲＡＭは、Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略である。ＤＲＡＭは、Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略である。

ストレージ１３は、データを保管する記憶装置である。ストレージ１３は、具体例としては、ＨＤＤである。ＨＤＤは、Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅの略である。また、ストレージ１３は、ＳＤ（登録商標）メモリカード、ＣｏｍｐａｃｔＦｌａｓｈ（登録商標）、ＮＡＮＤフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク、ＤＶＤといった可搬記録媒体であってもよい。ＳＤは、Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌの略である。ＤＶＤは、Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋの略である。

通信インタフェース１４は、外部の装置と通信するためのインタフェースである。通信インタフェース１４は、具体例としては、Ｅｔｈｅｒｎｅｔ（登録商標）、ＵＳＢ、ＨＤＭＩ（登録商標）のポートである。ＵＳＢは、Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓの略である。ＨＤＭＩは、Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅの略である。

同定装置１０は、通信インタフェース１４を介して、カメラ４１が接続されている。

同定装置１０は、機能構成要素として、フレーム取得部２１と、骨格抽出部２２と、同定部２３とを備える。同定部２３は、方向推定部２４と、範囲設定部２５と、特徴量計算部２６と、同一人特定部２７と、ＩＤ付与部２８とを備える。同定装置１０の各機能構成要素の機能はソフトウェアにより実現される。
ストレージ１３には、同定装置１０の各機能構成要素の機能を実現するプログラムが格納されている。このプログラムは、プロセッサ１１によりメモリ１２に読み込まれ、プロセッサ１１によって実行される。これにより、同定装置１０の各機能構成要素の機能が実現される。

図１では、プロセッサ１１は、１つだけ示されていた。しかし、プロセッサ１１は、複数であってもよく、複数のプロセッサ１１が、各機能を実現するプログラムを連携して実行してもよい。

＊＊＊動作の説明＊＊＊
図２から図１０を参照して、実施の形態１に係る同定装置１０の動作を説明する。
実施の形態１に係る同定装置１０の動作手順は、実施の形態１に係る同定方法に相当する。また、実施の形態１に係る同定装置１０の動作を実現するプログラムは、実施の形態１に係る同定プログラムに相当する。

図２を参照して、実施の形態１に係る同定装置１０の全体的な処理を説明する。
（ステップＳ１１：終了判定処理）
フレーム取得部２１は、カメラ４１により得られた動画が終了したか否かを判定する。
フレーム取得部２１は、動画が終了していない場合には、処理をステップＳ１２に進める。一方、フレーム取得部２１は、動画が終了した場合には、処理を終了する。

（ステップＳ１２：フレーム取得処理）
フレーム取得部２１は、カメラ４１により得られた動画を構成する複数のフレームのうち、最新のフレームの画像データを対象フレームとして取得する。

ステップＳ１３からステップＳ１４の処理が、ステップＳ１２で取得された対象フレームに映った１人以上の人それぞれを対象人として実行される。

（ステップＳ１３：骨格抽出処理）
骨格抽出部２２は、対象人の関節の位置を示す骨格情報を抽出する。骨格情報は、対象フレームにおける関節の座標値（Ｘ座標及びＹ座標）を示す。骨格情報の抽出には、既存の技術を用いればよい。なお、骨格情報は、関節の位置だけでなく、目、口、鼻、耳といった体の部位の位置も示していてもよい。骨格抽出部２２は、抽出された骨格情報を、対象フレームと対応付けてメモリ１２に書き込む。

（ステップＳ１４：同定処理）
同定部２３は、ステップＳ１２で取得された対象フレームに映った１人以上の人それぞれを順に対象人に設定する。同定部２３は、動画を構成する複数のフレームのうちの対象フレームよりも１つ前のフレームである過去フレームから、対象人と同一の人を特定する。

図３を参照して、実施の形態１に係る同定処理（図２のステップＳ１４）を説明する。
（ステップＳ２１：フレーム判定処理）
同定部２３は、対象フレームが動画の最初のフレームであるか否かを判定する。
同定部２３は、対象フレームが最初のフレームでない場合には、処理をステップＳ２２に進める。一方、同定部２３は、対象フレームが最初のフレームである場合には、処理をステップＳ２７に進める。

（ステップＳ２２：方向推定処理）
方向推定部２４は、対象人の向きを推定する。
実施の形態１では、方向推定部２４は、骨格情報を入力として向きを推論する学習済モデルを用いて、対象人の向きを推定する。学習済モデルは、例えば、ニューラルネットワークを用いて構成される。具体的には、方向推定部２４は、学習済モデルに対して、ステップＳ１３で抽出された対象人の骨格情報を入力として与える。方向推定部２４は、学習済モデルによって出力された向きを、対象人の向きとして推定する。ここでは、対象人の向きは、図４に示すように、対象人を中心としたＸ軸の正方向に対する、対象人が向いている方向の角度である。
学習済モデルは、対象人の骨格情報と、正解データである対象人の向きとの組を学習データとして与えることにより生成される。

向きの推定方法は、学習済モデルを用いた方法に限定されるものではない。例えば、方向推定部２４は、ステップＳ１３で抽出された対象人の骨格情報における右肩と左肩とを結ぶ線に対する法線を特定し、法線の向きを対象人の向きとして特定する等してもよい。なお、肩の骨格情報により対象人の肩が右か左かが分かるため、法線は正面方向の１方向に定まる。

（ステップＳ２３：範囲設定処理）
範囲設定部２５は、ステップＳ２２で推定された対象人の向きに応じて、対象人についての探索範囲を設定する。探索範囲は、対象人と同一の人を探索する範囲である。
具体的には、図４に示すように、範囲設定部２５は、対象人の周囲に設定された基準範囲を、向きの逆方向に拡張することにより、探索範囲を設定する。基準範囲は、対象人の位置を中心とする円Ｘであり、従来の探索範囲である。範囲設定部２５は、対象人の位置を中心とし、中心角γかつ半径ｒの扇形Ｙを向きの逆方向に設定する。逆方向に設定するとは、扇形Ｙの中心角γを２等分する２等分線Ｚが向きの逆方向に重なるように扇形Ｙを設定することを意味する。そして、範囲設定部２５は、円Ｘと扇形Ｙとの少なくともいずれかに含まれる領域を探索範囲に設定する。ここで、扇形Ｙの半径ｒは、円Ｘの半径よりも長い。

扇形Ｙの中心角γは、カメラ４１の俯角等によって最適な値が異なる。したがって、扇形Ｙの中心角γは、カメラ４１の俯角等に応じて事前に設定される。

扇形Ｙの半径ｒは、（１）から（４）に応じて設定される。（１）対象人の向き。（２）対象フレームにおける対象人の奥行方向の位置。（３）対象人の足の長さ。（４）過去フレームから対象フレームまでの経過時間。つまり、（１）から（４）に応じた距離だけ、基準範囲を向きの逆方向に拡張して探索範囲が設定される。
なお、実施の形態１では、扇形Ｙの半径ｒは、（１）から（４）に応じて設定されるものとして説明する。しかし、扇形Ｙの半径ｒは、（１）から（４）のいずれか１つ以上だけに応じて設定されてもよい。

具体的には、範囲設定部２５は、式１により扇形Ｙの半径ｒを設定する。
（式１）
ｒ＝ｆ（φ）・ｇ（ｙ_ｆ）・足の長さＬ・経過時間Δｔ

ｆ（φ）は、（１）の対象人の向きを考慮した補正関数である。つまり、ｆ（φ）を用いて半径ｒが計算されるため、対象人の向きに応じて半径ｒが設定されることになる。カメラ４１によって取得された画像データでは、奥行方向は圧縮される。そのため、画像データにおける上下方向に移動する場合よりも、左右方向に移動する場合の方が、同じ距離を移動しても画像データにおける移動量が多くなる。そこで、範囲設定部２５は、上下方向に移動する場合よりも左右方向に移動する場合の方が半径ｒが大きくなるように、ｆ（φ）により半径ｒを補正する。ｆ（φ）は、式２に示す式である。
（式２）
ｆ（φ）＝ｍａｘ｛｜ｃｏｓ（φ）｜，Ｋ｝
φは、図４に示すように、画像データの横方向（対象人を中心にＸ軸の正の方向）に対する向きの角度である。｜ｃｏｓ（φ）｜は、向きが対象人の位置から画像データの上下方向（Ｙ軸）に近くなるほど値が小さくなり、向きが対象人の位置から画像データの左右方向（Ｘ軸）に近くなるほど値が大きくなる。Ｋは定数であり、下限値を示す。Ｋの最適な値は、カメラの俯角等によって異なる。したがって、Ｋは、カメラ４１の俯角等に応じて事前に設定される。

ｇ（ｙ_ｆ）は、（２）の対象フレームにおける対象人の奥行方向の位置を考慮した補正関数である。つまり、ｇ（ｙ_ｆ）を用いて半径ｒが計算されるため、対象フレームにおける対象人の奥行方向の位置に応じて半径ｒが設定されることになる。カメラ４１から離れた位置に映っている人よりも、カメラ４１に近い位置に映っている人の方が、同じ距離を移動しても画像データにおける移動量が多くなる。そこで、範囲設定部２５は、カメラ４１に近い位置に映っている人ほど半径ｒが大きくなるように、ｇ（ｙ_ｆ）により半径ｒを補正する。ｇ（ｙ_ｆ）は、式３に示す式である。
（式３）
ｇ（ｙ_ｆ）＝αｙ_ｆ
αは、補正係数である。αの最適な値は、カメラの俯角等によって異なる。したがって、αは、カメラ４１の俯角等に応じて事前に設定される。なお、αは正の値である。ｙ_ｆは、対象人の両足首のｙ座標の平均値である。実施の形態１では、図５に示すように、画像データの左上を原点とする座標系で対象人の位置が示されるものとする。そのため、画像データの下側ほどｙ_ｆの値は大きくなる。その結果、ｇ（ｙ_ｆ）は足首のｙ座標が下側になるほど大きな値になる。足首のｙ座標が下側になることは、対象人の奥行方向の位置が手前側になることであり、対象人の位置がカメラ４１に近づくことである。

足の長さＬは、（３）に対応している。足の長さＬは、対象人の左右の足の長さの平均値である。実施の形態１では、範囲設定部２５は、ステップＳ１３で抽出された対象人の骨格情報から足の長さＬを計算する。具体的には、図６に示すように、範囲設定部２５は、左腰と左ひざの間の長さと、左ひざと左足首の間の長さとの和を左足の長さとして計算する。同様に、範囲設定部２５は、右腰と右ひざの間の長さと、右ひざと右足首の間の長さとの和を右足の長さとして計算する。そして、範囲設定部２５は、左足の長さと右足の長さとの平均値を足の長さＬとして計算する。
足が長い人ほど移動速度が速くなる傾向がある。そこで、範囲設定部２５は、足の長さＬが長いほど半径ｒが大きくなるように、足の長さＬにより半径ｒを補正する。

経過時間は、（４）に対応している。経過時間は、過去フレームから対象フレームまでの時間である。つまり、経過時間は、フレーム間の時間である。したがって、経過時間は、フレームレートによって定まる時間である。経過時間が長いと、同じ移動速度でも移動量が多くなる。そこで、範囲設定部２５は、経過時間が長いほど半径ｒが大きくなるように、経過時間により半径ｒを補正する。

（ステップＳ２４：特徴量計算処理）
特徴量計算部２６は、対象フレームに映った対象人の特徴量εと、過去フレームにおけるステップＳ２３で設定された探索範囲に映った人である過去人との特徴量ε＿とを計算する。
実施の形態１では、特徴量計算部２６は、ステップＳ１３で抽出された対象人の骨格情報から特徴量εを計算する。同様に、特徴量計算部２６は、過去に実行されたステップＳ１３で抽出された過去人の骨格情報から特徴量ε＿を計算する。
具体的には、図６に示すように、特徴量計算部２６は、左腰と左ひざの間の長さと、左ひざと左足首の間の長さとの和を左足の長さとして計算する。同様に、特徴量計算部２６は、右腰と右ひざの間の長さと、右ひざと右足首の間の長さとの和を右足の長さとして計算する。そして、特徴量計算部２６は、左足の長さと右足の長さとの合計値を特徴量ε（又はε＿）として計算する。
人の奥行方向の位置によって画像データにおける足の長さは変化してしまう。そこで、特徴量計算部２６は、対象人と過去人との奥行方向の位置の差異に基づき、過去人の特徴量ε＿を補正する。具体的には、特徴量計算部２６は、式４により、特徴量ε＿を補正して特徴量ε＿’を計算する。
（式４）
ε＿’＝ε＿（１＋β（ｙ_ｆ＋－ｙ_ｆ－））
ここで、βは補正係数である。βの最適な値は、カメラの俯角等によって異なる。したがって、βは、カメラ４１の俯角等に応じて事前に設定される。なお、βは、正の値である。ｙ_ｆ＋は、対象フレームにおける対象人の両足首のｙ座標の平均値である。ｙ_ｆ－は、過去フレームにおける過去人の両足首のｙ座標の平均値である。画像データの下側ほどｙ_ｆ＋及びｙ_ｆ－の値は大きくなる。したがって、対象人の位置が過去人の位置よりも下側にある場合には、特徴量ε＿’は、特徴量ε＿よりも大きな値に補正される。

なお、特徴量は、左足の長さと右足の長さとの合計値に限定されるものではない。例えば、他の部分の長さが特徴量として用いられてもよい。また、骨格情報ではなく、人の画像データから得られる情報が特徴量として用いられてもよい。

（ステップＳ２５：同一人特定処理）
同一人特定部２７は、過去フレームに映った人のうち、ステップＳ２３で設定された探索範囲にいる人から対象人と同一の人を特定する。
具体的には、同一人特定部２７は、対象人の特徴量εと、補正した過去人の特徴量ε＿’との差が閾値以内であれば、過去人を対象人と同一の人として特定する。差が閾値以内である過去人が複数存在する場合には、同一人特定部２７は、差が最も小さい過去人を対象人と同一の人として特定する。差が閾値以内である過去人がいない場合には、同一人特定部２７は、対象人と同一の人はいないと判定する。

（ステップＳ２６：ＩＤ付与処理）
ＩＤ付与部２８は、対象人にＩＤを付与する。ＩＤは、ＩＤｅｎｔｉｆｉｅｒの略である。
この際、ＩＤ付与部２８は、ステップＳ２５で対象人と同一の人が特定された場合には、同一の人と特定された過去人のＩＤを対象人に付与する。一方、ＩＤ付与部２８は、ステップＳ２５で対象人と同一の人が特定されなかった場合には、新たなＩＤを対象人に付与する。

（ステップＳ２７：ＩＤ付与処理）
ＩＤ付与部２８は、新たなＩＤを対象人に付与する。

図７から図１０を参照して動作の具体例を説明する。
図７に示すように、対象フレームには、人ａと人ｂとの２人が映っているとする。人ａは、過去フレームでは人ａ－の位置にいたとする。人ｂは、過去フレームでは人ｂ－の位置にいたとする。このとき、人ａ，ｂ，ａ－，ｂ－それぞれの特徴量と、両足首のｙ座標の平均値は、図８に示す値であるとする。また、閾値は１０であり、式４における補正係数βは１／２０００であるとする。

人ａが対象人であるとする。この場合には、図９に示すように、人ａの周囲の基準範囲である円Ｘと、人ａの向きと逆方向に設定された扇形Ｙとを合わせた領域が探索範囲になる。なお、ここでは、各人の首の位置を、その人の位置としている。そのため、人ａを対象人とした場合の探索範囲には、人ａ－及び人ｂ－が入る。
そこで、人ａ－と人ｂ－との特徴量ε＿が補正される。人ａ－の場合には、補正後の特徴量ε＿’＝９３×（１＋１／２０００（１８００－１７００））＝９７．６５である。人ｂ－の場合には、補正後の特徴量ε＿’＝８０×（１＋１／２０００（１８００－１７００））＝８４である。そして、対象人である人ａの特徴量ε＝９９との差が計算される。すると、差が閾値１０以内である人ａ－が人ａと同一の人として特定される。

人ｂが対象人であるとする。この場合には、図１０に示すように、人ｂの周囲の基準範囲である円Ｘと、人ｂの向きと逆方向に設定された扇形Ｙとを合わせた領域が探索範囲になる。そのため、人ｂを対象人とした場合の探索範囲には、人ｂ－だけが入る。
そこで、人ｂ－の特徴量ε＿が補正される。補正後の特徴量ε＿’＝８０×（１＋１／２０００（１６００－１７００））＝７６である。そして、対象人である人ａの特徴量ε＝７６との差が計算される。すると、差が閾値１０以内であるため、人ｂ－が人ｂと同一の人として特定される。

＊＊＊実施の形態１の効果＊＊＊
以上のように、実施の形態１に係る同定装置１０は、対象フレームに映った対象人の向きに応じて探索範囲を設定する。
これにより、適切な範囲から対象人と同一の人が特定される。その結果、対象人と同一の人を適切に特定可能になる。

特に実施の形態１に係る同定装置１０は（１）から（４）に応じた距離だけ、基準範囲を向きの逆方向に拡張して探索範囲を設定する。（１）対象人の向き。（２）対象フレームにおける対象人の奥行方向の位置。（３）対象人の足の長さ。（４）過去フレームから対象フレームまでの経過時間。
これにより、適切な範囲から対象人と同一の人が特定される。その結果、対象人と同一の人を適切に特定可能になる。

実施の形態１に係る同定装置１０は、設定された探索範囲にいる人から、特徴量に基づき対象人と同一の人を特定する。つまり、同定装置１０は、単に位置が近いというだけでなく、特徴量を考慮して対象人と同一の人を特定する。
これにより、対象人と同一の人を適切に特定可能になる。

特に実施の形態１に係る同定装置１０は、対象人と過去人との奥行方向の位置の差異により過去人の特徴量を補正した上で、特徴量に基づき対象人と同一の人を特定する。
これにより、特徴量の比較を精度よく行うことが可能になる。その結果、対象人と同一の人を適切に特定可能になる。

＊＊＊他の構成＊＊＊
＜変形例１＞
実施の形態１では、各機能構成要素がソフトウェアで実現された。しかし、変形例１として、各機能構成要素はハードウェアで実現されてもよい。この変形例１について、実施の形態１と異なる点を説明する。

図１１を参照して、変形例１に係る同定装置１０の構成を説明する。
各機能構成要素がハードウェアで実現される場合には、同定装置１０は、プロセッサ１１とメモリ１２とストレージ１３とに代えて、電子回路１５を備える。電子回路１５は、各機能構成要素と、メモリ１２と、ストレージ１３との機能とを実現する専用の回路である。

電子回路１５としては、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックＩＣ、ＧＡ、ＡＳＩＣ、ＦＰＧＡが想定される。ＧＡは、Ｇａｔｅ Ａｒｒａｙの略である。ＡＳＩＣは、Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略である。ＦＰＧＡは、Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙの略である。
各機能構成要素を１つの電子回路１５で実現してもよいし、各機能構成要素を複数の電子回路１５に分散させて実現してもよい。

＜変形例２＞
変形例２として、一部の各機能構成要素がハードウェアで実現され、他の各機能構成要素がソフトウェアで実現されてもよい。

プロセッサ１１とメモリ１２とストレージ１３と電子回路１５とを処理回路という。つまり、各機能構成要素の機能は、処理回路により実現される。

実施の形態２．
実施の形態２は、行動を特定する点が実施の形態１と異なる。実施の形態２では、この異なる点を説明し、同一の点については説明を省略する。

＊＊＊構成の説明＊＊＊
図１２を参照して、実施の形態２に係る同定装置１０の構成を説明する。
同定装置１０は、機能構成要素として、行動解析部２９を備える点が図１に示す同定装置１０と異なる。また、ストレージ１３に行動解析ルール３１が記憶されている点が図１に示す同定装置１０と異なる。

＊＊＊動作の説明＊＊＊
図１３を参照して、実施の形態２に係る同定装置１０の動作を説明する。
ステップＳ３１からステップＳ３４の処理は、図２のステップＳ１１からステップＳ１４の処理と同じである。但し、ステップＳ３３からステップＳ３５の処理がステップＳ３２で取得された対象フレームに映った１人以上の人それぞれを対象人として実行される。

（ステップＳ３５：行動解析処理）
行動解析部２９は、行動解析ルール３１を参照して、対象人の行動内容を特定する。この際、行動解析部２９は、ステップＳ３４の同定処理で同一の人であると特定された結果を利用する。
行動解析ルール３１は、行動内容毎に解析条件が設定されている。解析条件は、骨格情報に基づき定められている。解析条件は、関節間の位置関係と、関節の移動距離と等により定められている。関節間の位置関係は、ステップＳ３３で抽出された骨格情報だけで特定可能である。一方、関節の移動距離は、ステップＳ３４の同定処理で同一の人であると特定された結果を利用して特定される。例えば、対象フレームにおける対象人の足首の位置と、過去フレームにおける対象人と同一の人の足首の位置とから、足首の移動距離が特定される。
行動解析部２９は、解析条件を満たす行動内容を対象人が行っていると特定する。

＊＊＊実施の形態２の効果＊＊＊
以上のように、実施の形態２に係る同定装置１０は、同定処理で同一の人であると特定された結果を利用して、対象人の行動内容を特定する。
同定処理では適切に同一の人が特定されている。そのため、適切に対象人の行動内容を特定可能である。

なお、以上の説明における「部」を、「回路」、「工程」、「手順」、「処理」又は「処理回路」に読み替えてもよい。

以上、本開示の実施の形態及び変形例について説明した。これらの実施の形態及び変形例のうち、いくつかを組み合わせて実施してもよい。また、いずれか１つ又はいくつかを部分的に実施してもよい。なお、本開示は、以上の実施の形態及び変形例に限定されるものではなく、必要に応じて種々の変更が可能である。

以下、本開示の諸態様を付記としてまとめて記載する。
（付記１）
動画を構成する複数のフレームのうちの対象フレームに映った人を対象人として、前記対象人の向きを推定する方向推定部と、
前記方向推定部によって推定された前記向きの逆方向に探索範囲を設定する範囲設定部と、
前記複数のフレームのうちの前記対象フレームよりも前の過去フレームに映った人のうち、前記範囲設定部によって設定された前記探索範囲にいる人から前記対象人と同一の人を特定する同一人特定部と
を備える同定装置。
（付記２）
前記範囲設定部は、前記対象人の周囲に設定された基準範囲を、前記向きの逆方向に拡張することにより、前記探索範囲を設定する
付記１に記載の同定装置。
（付記３）
前記範囲設定部は、前記向きに応じた距離だけ、前記基準範囲を前記逆方向に拡張する
付記２に記載の同定装置。
（付記４）
前記範囲設定部は、前記対象フレームにおける前記対象人の奥行方向の位置に応じた距離だけ、前記基準範囲を前記逆方向に拡張する
付記２又は３に記載の同定装置。
（付記５）
前記範囲設定部は、前記対象人の足の長さに応じた距離だけ、前記基準範囲を前記逆方向に拡張する
付記２から４までのいずれか１項に記載の同定装置。
（付記６）
前記範囲設定部は、前記過去フレームから前記対象フレームまでの経過時間に応じた距離だけ、前記基準範囲を前記逆方向に拡張する
付記２から５までのいずれか１項に記載の同定装置。
（付記７）
前記同一人特定部は、前記探索範囲にいる人のうち前記対象人と特徴量の差が閾値以内の人を、前記対象人と同一の人として特定する
付記１から６までのいずれか１項に記載の同定装置。
（付記８）
前記同一人特定部は、前記探索範囲にいる人である過去人について、前記過去フレームにおける過去人の位置と前記対象フレームにおける前記対象人の位置との奥行方向の差異により、前記過去人の特徴量を補正した上で、前記対象人と特徴量の差が閾値以内の人を、前記対象人と同一の人として特定する
付記７に記載の同定装置。
（付記９）
前記特徴量は、関節の位置を示す骨格情報から計算された
付記７又は８に記載の同定装置。
（付記１０）
前記方向推定部は、関節の位置を示す骨格情報を入力として向きを推論する学習済モデルに対して、前記対象人の前記骨格情報を入力として与えることにより、前記向きを推定する
付記１から９までのいずれか１項に記載の同定装置。
（付記１１）
コンピュータが、動画を構成する複数のフレームのうちの対象フレームに映った人を対象人として、前記対象人の向きを推定し、
コンピュータが、前記向きの逆方向に探索範囲を設定し、
コンピュータが、前記複数のフレームのうちの前記対象フレームよりも前の過去フレームに映った人のうち、前記探索範囲にいる人から前記対象人と同一の人を特定する同定方法。
（付記１２）
動画を構成する複数のフレームのうちの対象フレームに映った人を対象人として、前記対象人の向きを推定する方向推定処理と、
前記方向推定処理によって推定された前記向きの逆方向に探索範囲を設定する範囲設定処理と、
前記複数のフレームのうちの前記対象フレームよりも前の過去フレームに映った人のうち、前記範囲設定処理によって設定された前記探索範囲にいる人から前記対象人と同一の人を特定する同一人特定処理と
を行う同定装置としてコンピュータを機能させる同定プログラム。

１０ 同定装置、１１ プロセッサ、１２ メモリ、１３ ストレージ、１４ 通信インタフェース、１５ 電子回路、２１ フレーム取得部、２２ 骨格抽出部、２３ 同定部、２４ 方向推定部、２５ 範囲設定部、２６ 特徴量計算部、２７ 同一人特定部、２８ ＩＤ付与部、２９ 行動解析部、３１ 行動解析ルール、４１ カメラ。

Claims (12)

1. 動画を構成する複数のフレームのうちの対象フレームに映った人を対象人として、前記対象人の向きを推定する方向推定部と、
   前記方向推定部によって推定された前記向きの逆方向に探索範囲を設定する範囲設定部と、
   前記複数のフレームのうちの前記対象フレームよりも前の過去フレームに映った人のうち、前記範囲設定部によって設定された前記探索範囲にいる人から前記対象人と同一の人を特定する同一人特定部と
   を備える同定装置。
2. 前記範囲設定部は、前記対象人の周囲に設定された基準範囲を、前記向きの逆方向に拡張することにより、前記探索範囲を設定する
   請求項１に記載の同定装置。
3. 前記範囲設定部は、前記向きに応じた距離だけ、前記基準範囲を前記逆方向に拡張する
   請求項２に記載の同定装置。
4. 前記範囲設定部は、前記対象フレームにおける前記対象人の奥行方向の位置に応じた距離だけ、前記基準範囲を前記逆方向に拡張する
   請求項２に記載の同定装置。
5. 前記範囲設定部は、前記対象人の足の長さに応じた距離だけ、前記基準範囲を前記逆方向に拡張する
   請求項２に記載の同定装置。
6. 前記範囲設定部は、前記過去フレームから前記対象フレームまでの経過時間に応じた距離だけ、前記基準範囲を前記逆方向に拡張する
   請求項２に記載の同定装置。
7. 前記同一人特定部は、前記探索範囲にいる人のうち前記対象人と特徴量の差が閾値以内の人を、前記対象人と同一の人として特定する
   請求項１に記載の同定装置。
8. 前記同一人特定部は、前記探索範囲にいる人である過去人について、前記過去フレームにおける過去人の位置と前記対象フレームにおける前記対象人の位置との奥行方向の差異により、前記過去人の特徴量を補正した上で、前記対象人と特徴量の差が閾値以内の人を、前記対象人と同一の人として特定する
   請求項７に記載の同定装置。
9. 前記特徴量は、関節の位置を示す骨格情報から計算された
   請求項７に記載の同定装置。
10. 前記方向推定部は、関節の位置を示す骨格情報を入力として向きを推論する学習済モデルに対して、前記対象人の前記骨格情報を入力として与えることにより、前記向きを推定する
    請求項１に記載の同定装置。
11. コンピュータが、動画を構成する複数のフレームのうちの対象フレームに映った人を対象人として、前記対象人の向きを推定し、
    コンピュータが、前記向きの逆方向に探索範囲を設定し、
    コンピュータが、前記複数のフレームのうちの前記対象フレームよりも前の過去フレームに映った人のうち、前記探索範囲にいる人から前記対象人と同一の人を特定する同定方法。
12. 動画を構成する複数のフレームのうちの対象フレームに映った人を対象人として、前記対象人の向きを推定する方向推定処理と、
    前記方向推定処理によって推定された前記向きの逆方向に探索範囲を設定する範囲設定処理と、
    前記複数のフレームのうちの前記対象フレームよりも前の過去フレームに映った人のうち、前記範囲設定処理によって設定された前記探索範囲にいる人から前記対象人と同一の人を特定する同一人特定処理と
    を行う同定装置としてコンピュータを機能させる同定プログラム。

Images