JPWO2022079841A5 - グループ特定装置、グループ特定方法、及びプログラム - Google Patents

Description

本発明は、撮影された画像から人物のグループを特定するための、グループ特定装置、及びグループ特定方法に関し、更には、これらを実現するためのプログラムに関する。

本発明の目的の一例は、上記問題を解消し、人物の追跡処理を必要とすることなく、グループを特定し得る、グループ特定装置、グループ特定方法、及びプログラムを提供することにある。

更に、上記目的を達成するため、本発明の一側面におけるプログラムは、コンピュータによって撮影画像からグループを特定するためのプログラムであって、
前記コンピュータに、
第１の撮影画像において、その中の複数の人物の中から人物を選択し、選択した人物を基準にして、他の人物の位置を規定する空間的条件及び前記他の人物の状態を規定する状態条件に基づいて、第１のグループ候補を設定する、第１のグループ候補設定ステップと、
前記第１の撮影画像とは撮影時刻が異なる第２の撮影画像において、その中の複数の人物の中から、前記第１のグループ候補設定ステップによって選択された前記人物の属性を用いて、人物を選択し、選択した人物を基準にして、前記空間的条件及び前記状態条件に基づいて、第２のグループ候補を設定する、第２のグループ候補設定ステップと、
前記第１のグループ候補を構成する人物それぞれの属性を含む第１の属性構成情報と、前記第２のグループ候補を構成する人物それぞれの属性を含む第２の属性構成情報とを対比し、前記第１のグループ候補と前記第２のグループ候補との類似度を算出する、類似度算出ステップと、
算出された前記類似度が設定条件を満たす場合に、前記第１のグループ候補を構成する人物を１つのグループとして特定する、グループ特定ステップと、
を実行させる、
ことを特徴とする。

（付記２７）
コンピュータによって撮影画像からグループを特定するためのプログラムであって、
前記コンピュータに、
第１の撮影画像において、その中の複数の人物の中から人物を選択し、選択した人物を基準にして、他の人物の位置を規定する空間的条件及び前記他の人物の状態を規定する状態条件に基づいて、第１のグループ候補を設定する、第１のグループ候補設定ステップと、
前記第１の撮影画像とは撮影時刻が異なる第２の撮影画像において、その中の複数の人物の中から、前記第１のグループ候補設定ステップによって選択された前記人物の属性を用いて、人物を選択し、選択した人物を基準にして、前記空間的条件及び前記状態条件に基づいて、第２のグループ候補を設定する、第２のグループ候補設定ステップと、
前記第１のグループ候補を構成する人物それぞれの属性を含む第１の属性構成情報と、前記第２のグループ候補を構成する人物それぞれの属性を含む第２の属性構成情報とを対比し、前記第１のグループ候補と前記第２のグループ候補との類似度を算出する、類似度算出ステップと、
算出された前記類似度が設定条件を満たす場合に、前記第１のグループ候補を構成する人物を１つのグループとして特定する、グループ特定ステップと、
を実行させる、プログラム。

（付記２８）
付記２７に記載のプログラムであって、
前記第２のグループ候補設定ステップにおいて、撮影時刻が互いに異なる複数の前記第２の撮影画像それぞれ毎に、前記第２のグループ候補を設定し、
前記類似度算出ステップにおいて、複数の前記第２の撮影画像それぞれ毎に、前記第１の属性構成情報に含まれる、前記第１のグループ候補を構成する人物それぞれの属性と、前記第２の属性構成情報に含まれる、当該第２のグループ候補を構成する人物それぞれの属性とを対比し、前記類似度を算出し、
前記グループ特定ステップにおいて、複数の前記第２の撮影画像それぞれ毎に算出された前記類似度それぞれを用いて、前記設定条件を満たすかどうかを判定し、前記設定条件を満たす場合に、前記第１のグループ候補を構成する人物を１つのグループとして特定する、
ことを特徴とするプログラム。

（付記２９）
付記２７または２８に記載のプログラムであって、
前記空間的条件は、前記他の人物が選択された人物を中心とした設定範囲内に存在していることを含み、
前記状態条件は、前記他の人物が、選択された人物と向き合っていること、又は選択された人物と同一の方向を向いていることを含む、
ことを特徴とするプログラム。

（付記３０）
付記２９に記載のプログラムであって、
前記状態条件は、更に、前記他の人物の大きさが、選択された人物の大きさを基準とした設定範囲内にあることを含む、
ことを特徴とするプログラム。

（付記３１）
付記２７～３０のいずれかに記載のプログラムであって、
前記第１の属性構成情報が、前記第１のグループ候補を構成する人物それぞれの属性を表すラベルデータで構成され、
前記第２の属性構成情報が、前記第２のグループ候補を構成する人物それぞれの属性を表すラベルデータで構成され、
前記類似度算出ステップにおいて、前記類似度として、前記第１のグループ候補及び前記第２のグループ候補を合わせた全人物の数に対する、同じ属性を持つ人物の割合を算出する、
ことを特徴とするプログラム。

（付記３２）
付記２７～３０のいずれかに記載のプログラムであって、
前記第１の属性構成情報が、前記第１のグループ候補を構成する人物それぞれの属性を、属性に対する人物の数で整理した形で構成され、
前記第２の属性構成情報が、前記第２のグループ候補を構成する人物それぞれの属性を、属性に対する人物の数で整理した形で構成され、
前記類似度算出ステップにおいて、前記類似度として、前記第１の属性構成情報と前記第２の属性構成情報との内積、又は両者間のユークリッド距離を算出する、
ことを特徴とするプログラム。

（付記３３）
付記２７～３２のいずれかに記載のプログラムであって、
前記グループ特定ステップにおいて、前記第１のグループ候補を構成する人物を１つのグループとして特定する場合に、前記第１のグループ候補を構成する人物それぞれにおける、位置、大きさ、向き、属性、及び前記第１の属性構成情報のうち、少なくとも１つを出力する、
ことを特徴とするプログラム。

（付記３４）
付記２７～３３のいずれかに記載のプログラムであって、
前記第２の撮影画像の撮影時刻が、前記第１の撮影画像の撮影時刻よりも過去であり、
前記第１の撮影画像及び前記第２の撮影画像は、同一の撮像装置によって撮影されている、
ことを特徴とするプログラム。

（付記３５）
付記２７～３３のいずれかに記載のプログラムであって、
前記第１の撮影画像及び前記第２の撮影画像は、異なる撮像装置によって撮影されており、
前記第１の撮影画像を撮影した撮像装置と、前記第２の撮影画像を撮影した撮像装置とは、所定の時間範囲内で同一の被写体を撮影できるように配置されている、
ことを特徴とするプログラム。

（付記３６）
付記２７～３５のいずれかに記載のプログラムであって、
前記第２のグループ候補設定ステップにおいて、前記第１の撮影画像の撮影時刻、前記第２の撮影画像の撮影時刻、及び前記第１のグループ候補設定ステップによって選択された前記人物の位置に基づいて、前記第２の撮影画像の一部の領域を探索範囲に設定し、設定した前記探索範囲の中から、人物を選択する、
ことを特徴とするプログラム。

（付記３７）
付記２７～３６のいずれかに記載のプログラムであって、
前記グループ特定ステップにおいて、前記第１のグループ候補を構成する人物を１つのグループとして特定する場合に、複数のサンプルとなるグループとその属性構成情報とが予め登録されているデータベースに、前記第１のグループ候補の前記第１の属性構成情報を照合して、前記第１のグループ候補に適合する、前記サンプルとなるグループを特定する、
ことを特徴とするプログラム。

（付記３８）
付記２７～３７のいずれかに記載のプログラムであって、
前記グループ特定ステップにおいて、１つのグループとして特定した第１のグループ候補が複数存在する場合に、１つのグループとして特定された複数の第１のグループ候補それぞれに共通の人物が存在しているかどうかを判定し、共通の人物が存在していると判定した第１のグループ候補を統合して１つのグループとする、
ことを特徴とするプログラム。

（付記３９）
付記２７～３８のいずれかに記載のプログラムであって、
前記グループ特定ステップにおいて、前記第１のグループ候補を構成する人物を１つのグループとして特定しなかった場合に、前記第１のグループ候補設定ステップは、第１の撮影画像中の複数の人物の中から、未だ選択されていない人物を新たに選択して、新たに、前記第１のグループ候補を設定し、
前記第２のグループ候補設定ステップにおいて、前記第１のグループ候補が新たに設定されると、前記第２のグループ候補を新たに設定し、
前記類似度算出ステップにおいて、前記第１のグループ候補及び前記第２のグループ候補が新たに設定されると、前記類似度を新たに算出し、
前記グループ特定ステップにおいて、新たに算出された前記類似度を用いて、グループを特定する、
ことを特徴とするプログラム。

Claims (10)

1. 撮影画像からグループを特定するための装置であって、
   第１の撮影画像において、その中の複数の人物の中から人物を選択し、選択した人物を基準にして、他の人物の位置を規定する空間的条件及び前記他の人物の状態を規定する状態条件に基づいて、第１のグループ候補を設定する、第１のグループ候補設定部と、
   前記第１の撮影画像とは撮影時刻が異なる第２の撮影画像において、その中の複数の人物の中から、前記第１のグループ候補設定部によって選択された前記人物の属性を用いて、人物を選択し、選択した人物を基準にして、前記空間的条件及び前記状態条件に基づいて、第２のグループ候補を設定する、第２のグループ候補設定部と、
   前記第１のグループ候補を構成する人物それぞれの属性を含む第１の属性構成情報と、前記第２のグループ候補を構成する人物それぞれの属性を含む第２の属性構成情報とを対比し、前記第１のグループ候補と前記第２のグループ候補との類似度を算出する、類似度算出部と、
   算出された前記類似度が設定条件を満たす場合に、前記第１のグループ候補を構成する人物を１つのグループとして特定する、グループ特定部と、
   を備えている、ことを特徴とするグループ特定装置。
2. 請求項１に記載のグループ特定装置であって、
   前記第２のグループ候補設定部が、撮影時刻が互いに異なる複数の前記第２の撮影画像それぞれ毎に、前記第２のグループ候補を設定し、
   前記類似度算出部が、複数の前記第２の撮影画像それぞれ毎に、前記第１の属性構成情報に含まれる、前記第１のグループ候補を構成する人物それぞれの属性と、前記第２の属性構成情報に含まれる、当該第２のグループ候補を構成する人物それぞれの属性とを対比し、前記類似度を算出し、
   前記グループ特定部が、複数の前記第２の撮影画像それぞれ毎に算出された前記類似度それぞれを用いて、前記設定条件を満たすかどうかを判定し、前記設定条件を満たす場合に、前記第１のグループ候補を構成する人物を１つのグループとして特定する、
   ことを特徴とするグループ特定装置。
3. 請求項１または２に記載のグループ特定装置であって、
   前記空間的条件は、前記他の人物が選択された人物を中心とした設定範囲内に存在していることを含み、
   前記状態条件は、前記他の人物が、選択された人物と向き合っていること、又は選択された人物と同一の方向を向いていることを含む、
   ことを特徴とするグループ特定装置。
4. 請求項３に記載のグループ特定装置であって、
   前記状態条件は、更に、前記他の人物の大きさが、選択された人物の大きさを基準とした設定範囲内にあることを含む、
   ことを特徴とするグループ特定装置。
5. 請求項１～４のいずれかに記載のグループ特定装置であって、
   前記第１の属性構成情報が、前記第１のグループ候補を構成する人物それぞれの属性を表すラベルデータで構成され、
   前記第２の属性構成情報が、前記第２のグループ候補を構成する人物それぞれの属性を表すラベルデータで構成され、
   前記類似度算出部が、前記類似度として、前記第１のグループ候補及び前記第２のグループ候補を合わせた全人物の数に対する、同じ属性を持つ人物の割合を算出する、
   ことを特徴とするグループ特定装置。
6. 請求項１～４のいずれかに記載のグループ特定装置であって、
   前記第１の属性構成情報が、前記第１のグループ候補を構成する人物それぞれの属性を、属性に対する人物の数で整理した形で構成され、
   前記第２の属性構成情報が、前記第２のグループ候補を構成する人物それぞれの属性を、属性に対する人物の数で整理した形で構成され、
   前記類似度算出部が、前記類似度として、前記第１の属性構成情報と前記第２の属性構成情報との内積、又は両者間のユークリッド距離を算出する、
   ことを特徴とするグループ特定装置。
7. 請求項１～６のいずれかに記載のグループ特定装置であって、
   前記グループ特定部は、前記第１のグループ候補を構成する人物を１つのグループとして特定する場合に、前記第１のグループ候補を構成する人物それぞれにおける、位置、大きさ、向き、属性、及び前記第１の属性構成情報のうち、少なくとも１つを出力する、
   ことを特徴とするグループ特定装置。
8. 請求項１～７のいずれかに記載のグループ特定装置であって、
   前記第２の撮影画像の撮影時刻が、前記第１の撮影画像の撮影時刻よりも過去であり、
   前記第１の撮影画像及び前記第２の撮影画像は、同一の撮像装置によって撮影されている、
   ことを特徴とするグループ特定装置。
9. 撮影画像からグループを特定するための方法であって、
   第１の撮影画像において、その中の複数の人物の中から人物を選択し、選択した人物を基準にして、他の人物の位置を規定する空間的条件及び前記他の人物の状態を規定する状態条件に基づいて、第１のグループ候補を設定し、
   前記第１の撮影画像とは撮影時刻が異なる第２の撮影画像において、その中の複数の人物の中から、前記第１のグループ候補の設定の際に選択された前記人物の属性を用いて、人物を選択し、選択した人物を基準にして、前記空間的条件及び前記状態条件に基づいて、第２のグループ候補を設定し、
   前記第１のグループ候補を構成する人物それぞれの属性を含む第１の属性構成情報と、前記第２のグループ候補を構成する人物それぞれの属性を含む第２の属性構成情報とを対比し、前記第１のグループ候補と前記第２のグループ候補との類似度を算出し、
   算出された前記類似度が設定条件を満たす場合に、前記第１のグループ候補を構成する人物を１つのグループとして特定する、
   ことを特徴とするグループ特定方法。
10. コンピュータによって撮影画像からグループを特定するためのプログラムであって、
    前記コンピュータに、
    第１の撮影画像において、その中の複数の人物の中から人物を選択し、選択した人物を基準にして、他の人物の位置を規定する空間的条件及び前記他の人物の状態を規定する状態条件に基づいて、第１のグループ候補を設定させ、
    前記第１の撮影画像とは撮影時刻が異なる第２の撮影画像において、その中の複数の人物の中から、前記第１のグループ候補の設定の際に選択された前記人物の属性を用いて、人物を選択し、選択した人物を基準にして、前記空間的条件及び前記状態条件に基づいて、第２のグループ候補を設定させ、
    前記第１のグループ候補を構成する人物それぞれの属性を含む第１の属性構成情報と、前記第２のグループ候補を構成する人物それぞれの属性を含む第２の属性構成情報とを対比し、前記第１のグループ候補と前記第２のグループ候補との類似度を算出させ、
    算出された前記類似度が設定条件を満たす場合に、前記第１のグループ候補を構成する人物を１つのグループとして特定させる、
    プログラム。

Images