JP6800509B1 - 撮影システム、及び、撮影方法 - Google Patents

Abstract

【課題】隣接するカメラ間に撮影領域の重複部分を形成することができない場合においても、被検知体とする人物が一の撮影領域から他の撮影領域に移動する場合に、当該被検知体を高い精度で追跡撮影することができる撮影システムを提供すること。【解決手段】継続撮影領域予測部２５が、ニューラルネットワークを有する機械学習型の推論装置を含んで構成されていて、被検知体の速度ベクトルを当該推論装置によって解析することによって被検知体の所定時間後の予測到達位置を算出して、当該予測到達位置と部分撮影領域情報を照合することによって継続撮影領域を予測し、同一性判定部２６が、一の部分撮影領域内で認識された被検知体の属性情報と継続撮影領域内で認識された被検知体の属性情報を照合することによって同一性を判定する、撮影システム１とする。【選択図】図１

Description

本発明は、撮影システム、及び、撮影方法に関する。

従来、店舗や遊興施設等の管理対象領域内に設置した監視カメラ等で撮影された画像から、当該管理対象領域に出入りする人物の属性や、当該領域内での移動態様に係る情報を収集・解析して、マーケティング活動に活用することが行われている（特許文献１参照）。

ここで、上記の監視カメラは、多くの場合、それぞれが管理対象領域の一部を撮影可能な複数のカメラからなる撮影システムとして配置されている。この場合において、あるカメラの撮影領域内で認識された一の人物が、他のカメラの撮影領域に移動する場合に、撮影システムは、当該人物の同一性を把握しながら、当該人物の撮影領域間の移動を一連の移動として追跡撮影する必要がある。しかしながら、上記のような複数のカメラで構成される撮影システムにおいて、各カメラ毎の撮影領域間を移動していく人物の同一性の認識判断を誤ることなく追跡撮影を行うことは容易ではない。

上記のような追跡撮影を行うための技術的手段として、例えば、特許文献２に記載の「監視システム」がある。この「監視システム」では、予め被検知体の仮想導線を手動によって設定し、この仮想導線に対応するカメラが選択されて、選択されたカメラに対して被検知体の追跡情報が設定されることにより、被検知体が一の撮影領域から他の撮影領域に移動する場合に、容易に被検知体の追跡情報を設定することができるとされている。

しかしながら、特許文献２に開示されている監視システムにおいては、被検知体が、予め規定されている単一の仮想導線に沿った移動経路を外れて移動した場合に、異なる撮影領域間において、被検知体の同一性の認識判断を誤ることなく追跡撮影を継続させることは困難である。

ここで、例えば、図５に示すように、管理対象領域内に複数のカメラを配置して、それぞれのカメラがそれぞれの撮影領域を分担して撮影する場合に、隣接するカメラ間に撮影領域の重複部分（図５における斜線部分）が存在するように全てのカメラを配置することができれば、当該重複部分内において、共通の位置を示す座標に存在する被検知体を同一の被検知体として、認定してカメラ間で情報を共有することによって、被検知体が一の撮影領域から他の撮影領域に移動する場合に、被検知体を高い精度で追跡撮影することができる。

特開２００４−３４８６１８号公報 特開２０１９−１７６３７８号公報

しかしながら、例えば、多数の店舗や施設が集合して形成されていて、導線も複雑に入り組んでいる巨大な施設の全域を管理対象領域とする場合、撮影システムを構成する全てのカメラ間に重複領域が形成されるように全てのカメラを配置することは困難、或いは、物理的に不可能なことが多い。

本発明は、管理対象領域内に複数のカメラを配置して、それぞれのカメラが、それぞれの撮影領域を分担して撮影する態様で、管理対象領域内を撮影する場合において、例えば、隣接するカメラ間に撮影領域の重複部分を形成することができない場合においても、被検知体とする人物が一の撮影領域から他の撮影領域に移動する場合に、当該被検知体を高い精度で追跡撮影することができる撮影システムを提供することを目的とする。

本発明者は、撮影システムを構成する複数のカメラにおいて隣接するカメラ間に撮影領域の重複部分が存在しない場合において、ニューラルネットワークを有する機械学習型の推論装置、所謂、人工知能（ＡＩ）による移動体の移動先の予測と、画像から抽出した人の属性情報の領域間移動前後での照合とを組合せて、人物の同一性の判定を行うことにより、撮影領域を超えて移動する人の同一性を高精度で把握しながら、正確に追跡撮影することができることに想到し、本発明を完成するに至った。本発明は、具体的に、以下の解決手段により、上述の課題を解決する。

（１） 管理対象領域の一部であって相互に重複しない個々の部分撮影領域を撮影するカメラが前記管理対象領域内に複数配置されている撮影システムであって、複数の前記カメラからなる撮影部と、個々の前記部分撮影領域の範囲を示す部分撮影領域情報が記憶されている、部分撮影領域情報記憶部と、前記撮影部が撮影した撮影画像中の人物を被検知体として認識する、人物認識部と、前記被検知体の属性情報を前記撮影画像から抽出する、属性情報抽出部と、前記被検知体の速度ベクトルを前記撮影画像から抽出する、速度ベクトル抽出部と、前記被検知体の移動先である継続撮影領域を予測する継続撮影領域予測部と、複数の被検知体同士の同一性を判定する、同一性判定部と、を備え、前記継続撮影領域予測部は、ニューラルネットワークを有する機械学習型の推論装置を含んで構成されていて、前記速度ベクトルを前記推論装置によって解析することによって前記被検知体の所定時間後の予測到達位置を算出して、前記予測到達位置と前記部分撮影領域情報を照合することによって継続撮影領域を予測し、前記同一性判定部は、一の部分撮影領域内で認識された前記被検知体の前記属性情報と該部分撮影領域の前記継続撮影領域内で認識された被検知体の前記属性情報とを照合することによって前記同一性を判定する、撮影システム。

（１）の撮影システムによれば、管理対象領域内に複数のカメラを配置して、それぞれのカメラが、それぞれの撮影領域を分担して撮影する態様で、管理対象領域内を撮影する場合において、例えば、隣接するカメラ間に撮影領域の重複部分を形成することができない場合においても、被検知体とする人物が一の撮影領域から他の撮影領域に移動する場合に、当該被検知体を高い精度で追跡撮影することができる。

（２） 前記属性情報抽出部は、ニューラルネットワークを有する機械学習型の画像認識装置を含んで構成されていて、前記属性情報として、身長及び服装の色と、性別及び年齢を含む複数の属性情報を抽出する、（１）に記載の撮影システム。

（２）の撮影システムによれば、身長及び服装の色と、性別及び年齢と、を把握することによって、複数の被検知体同士の同一性の判定精度を十分に高めることができる。又、性別及び年齢を把握することによって、管理施設内での、年齢・性別群毎の動きに係る統計データを作成することが可能となり、このデータをマーケティング活動に活用することができるようになる。

（３） 前記同一性判定部において同一性が肯定された撮影画像中の被検知体に、該被検知体が同一人物であることを示すタグ情報を付与するタグ情報付与部を更に備える、（１）又は（２）に記載の撮影システム。

（３）の撮影システムによれば、タグ情報の付与により付与後の同一人物の再確認が不要、或いは、極めて容易になり、撮影システム稼働中の演算処理量を縮小して、システムのハードウェア資源・リソースを節約することができる。

（４） 前記被検知体から、骨格を抽出する骨格抽出部を更に備え、前記速度ベクトル抽出部においては、前記骨格によって特定される特徴点の動きを解析することによって、前記速度ベクトルを抽出する、（１）から（３）の何れかに記載の撮影システム。

（４）の撮影システムによれば、被検知体の動きの解析を骨格の特徴点の動きから効率良く、且つ、高い精度で解析することができる。又、被検知体を全て骨格情報として取り扱うのでプライバシー保護の要求に対応しやすい点でも有効である。

（５） （１）から（４）の何れかに記載の撮影システムを含んでなる、マーケティング活動支援システムであって、共通する属性を有する被検知体群の前記管理対象領域内における移動態様に係る統計量を算出する、属性別移動データ算出手段を備える、マーケティング活動支援装置。

（５）のマーケティング活動支援装置によれば、（１）から（４）の何れかに記載の撮影システムによって得る管理対象内の映像情報を、有用なマーケティング情報として活用することができる。

（６） 管理対象領域の一部であって相互に重複しない個々の部分撮影領域を撮影するカメラが前記管理対象領域内に複数配置されている撮影システムにおける撮影方法であって、前記カメラによって構成される撮影部が、前記部分撮影領域を撮影する撮影ステップと、人物認識部が、前記撮影部が撮影した撮影画像中の人物を被検知体として認識する、人物識別ステップと、属性情報抽出部が、前記被検知体の属性情報を前記撮影画像から抽出する、属性情報抽出ステップと、速度ベクトル抽出部が、前記被検知体の速度ベクトルを、前記撮影画像から抽出する、速度ベクトル抽出ステップと、ニューラルネットワークを有する機械学習型の推論装置を含んで構成される継続撮影領域予測部が、前記被検知体の移動先である継続撮影領域を予測する継続撮影領域予測ステップと、同一性判定部が、複数の被検知体同士の同一性を判定する同一性判定ステップと、を含んでなり、前記継続撮影領域予測ステップにおいては、前記速度ベクトルを前記推論装置によって解析することによって前記被検知体の所定時間後の予測到達位置を算出して、前記予測到達位置と部分撮影領域情報を照合することによって継続撮影領域を予測し、前記同一性判定ステップにおいては、一の部分撮影領域内で認識された前記被検知体の前記属性情報と該部分撮影領域の前記継続撮影領域内で認識された被検知体の前記属性情報とを照合することによって前記同一性を判定する、撮影方法。

（６）の撮影方法によれば、管理対象領域内に複数のカメラを配置して、それぞれのカメラが、それぞれの撮影領域を分担して撮影する態様で、管理対象領域内を撮影する場合において、例えば、隣接するカメラ間に撮影領域の重複部分を形成することができない場合においても、被検知体とする人物が一の撮影領域から他の撮影領域に移動する場合に、当該被検知体を高い精度で追跡撮影することができる。

（７） 前記属性情報抽出部は、ニューラルネットワークを有する機械学習型の画像認識装置を含んで構成されていて、前記属性情報抽出ステップにおいては、前記属性情報として、身長及び服装の色と、性別及び年齢を含む複数の属性情報を抽出する、（６）に記載の撮影方法。

（７）の撮影方法によれば、身長及び服装の色と、性別及び年齢と、を把握することによって、複数の被検知体同士の同一性の判定精度を十分に高めることができる。又、性別及び年齢を把握することによって、管理施設内での、年齢・性別群毎の動きに係る統計データを作成することが可能となり、このデータをマーケティング活動に活用することができるようになる。

（８） タグ情報付与部が、前記同一性判定部において同一性が肯定された複数の被検知体に、該人物が同一人物であることを示すタグ情報を付与する、タグ情報付与ステップを更に含んでなる、（６）又は（７）に記載の撮影方法。

（８）の撮影方法によれば、タグ情報の付与により付与後の同一人物の再確認が不要、或いは、極めて容易になり、撮影システム稼働中の演算処理量を縮小して、システムのハードウェア資源・リソースを節約することができる。

（９） 前記被検知体から、骨格を抽出する骨格抽出部を更に備え、前記速度ベクトル抽出ステップにおいては、前記骨格によって特定される特徴点の動きを解析することによって、前記速度ベクトルが抽出される、（６）から（８）の何れかに記載の撮影方法。

（９）の撮影方法によれば、被検知体の動きの解析を骨格の特徴点の動きから効率良く、且つ、高い精度で解析することができる。又、被検知体を全て骨格情報として取り扱うのでプライバシー保護の要求に対応しやすい点でも有効である。

（１０） 属性別移動データ算出手段が、（６）から（９）の何れかに記載の撮影方法において抽出された前記被検知体の前記属性情報に基づいて、共通の属性を有する被検知体群の前記管理対象領域内における移動態様に係る統計量を算出する、属性別移動データ算出ステップを行う、マーケティング活動支援方法。

（１０）のマーケティング活動支援方法によれば、（６）から（９）の何れかに記載の撮影方法によって得る管理対象内の映像情報を、有用なマーケティング情報として活用することができる。

（１１） （６）から（９）の何れかに記載の撮影方法において、前記人物識別ステップ、前記属性情報抽出ステップ、前記速度ベクトル抽出ステップ、前記継続撮影領域予測ステップ、及び、前記同一性判定ステップを、前記人物認識部、前記属性情報抽出部、前記速度ベクトル抽出部、前記継続撮影領域予測部、及び、前記同一性判定部を含んで構成される演算処理部に実行させる、撮影システム用のプログラム。

（１１）の撮影システム用のプログラムによれば、管理対象領域内に複数のカメラを配置して、それぞれのカメラが、それぞれの撮影領域を分担して撮影する態様で、管理対象領域内を撮影する場合において、例えば、隣接するカメラ間に撮影領域の重複部分を形成することができない場合においても、被検知体とする人物が一の撮影領域から他の撮影領域に移動する場合に、当該被検知体を高い精度で追跡撮影することができる。

本発明によれば、管理対象領域内に複数のカメラを配置して、それぞれのカメラがそれぞれの部分撮影領域を分担して撮影する態様で、管理対象全域を撮影する場合において、隣接するカメラ間に撮影領域の重複部分を形成することができない場合においても、被検知体が一の撮影領域から他の撮影領域に移動する場合に、被検知体を高い精度で追跡撮影することができる。

本発明の撮影システムの構成を示すブロック図である。 本発明の撮影システムを構成する複数のカメラの設置態様の一例を模式的に示す平面図である。 図２に示す撮影システムの元での移動体の追跡態様の実施態様の説明に供する図面である。 本発明の撮影システムの動作、本発明の撮影方法の処理の流れを示すフローチャートである。 従来の撮影システムを構成する複数のカメラの設置態様の一例を模式的に示す平面図である。

以下、本発明を実施するための最良の形態について適宜図面を参照しながら説明する。

＜撮影システム＞
図１は、本発明の撮影システムの好ましい実施形態の一例である撮影システム１の構成を示すブロック図である。以下の説明では、撮影システム１について、その具体的な構成の一例を示して説明を行う。但し、本発明の撮影システムの技術的範囲は、以下の実施形態に限定されるものではなく、本発明の技術的範囲内において適宜変更して実施することができる。

撮影システム１は、撮影を行う撮影装置によって構成される撮影部１０と、各種の情報処理装置によって構成される演算処理部２０によって構成される。演算処理部２０は、部分撮影領域情報記憶部２１、人物認識部２２、属性情報抽出部２３、速度ベクトル抽出部２４、継続撮影領域予測部２５、及び、同一性判定部２６を最小限の必須の構成要件とする。又、演算処理部２０は、好ましくは、更に、タグ情報付与部２７、及び、骨格抽出部２８を備える。

［撮影部］
撮影部１０は、複数のカメラ１１（１１Ａ、１１Ｂ、１１Ｃ）によって構成される。これらの各カメラは撮影した画像をデジタル情報として演算処理部に向けて出力できるものであれば、従来公知の種々のデジタル撮影方式のカメラによって構成することができる。撮影部１０を構成する個々のカメラ１１（１１Ａ、１１Ｂ、１１Ｃ）は、図２に示すように、管理対象領域１００の一部である個々の部分撮影領域１２（１２Ａ、１２Ｂ、１２Ｃ）を、それぞれのカメラが撮影することができる位置に設置される。尚、個々の部分撮影領域１２（１２Ａ、１２Ｂ、１２Ｃ）の範囲を特定する情報である部分撮影領域情報は、演算処理部２０を構成する部分撮影領域情報記憶部２１に記憶される。

そして、撮影システム１においては、図５に示すような撮影システム１Ｂとは異なり、個々の部分撮影領域１２（１２Ａ、１２Ｂ、１２Ｃ）が相互に重複しない、即ち、部分撮影領域の重複部分が存在しない態様で各カメラが配置される。換言すれば、撮影システム１は、システムを構成する個々のカメラ間に、部分撮影領域の重複部分を確保することができない場合においても、被検知体が一の部分撮影領域から他の部分撮影領域に移動する場合に、被検知体を容易、且つ、高い精度で追跡撮影することができるシステムである。尚、一部の部分撮影領域間に重複部分が存在する撮影システムであっても、重複部分が存在しない部分撮影領域において本発明の構成が充足されているならば、そのような撮影システムも当然に本発明の技術的範囲に属するものである。

［演算処理部］
演算処理部２０は、撮影部１０から送信された画像データに対して、撮影システム１の動作に必要な演算処理を行う。演算処理部２０は、例えば、パーソナルコンピュータ、或いは、上記動作に特化した専用の情報処理装置によって構成することができる。これらの何れの構成においても、演算処理部２０は、ＣＰＵ、メモリ、通信部等のハードウェアを備えている。そして、以上の構成からなる演算処理部２０は、コンピュータプログラムを実行することにより、以下に説明する各種動作、及び、撮影方法を撮影システム１に具体的に実行させることができる。

演算処理部２０は、撮影部１０から画像データを受信することができるように撮影部１０と接続されている。この接続は、専用の通信ケーブルを利用した有線接続、或いは、有線ＬＡＮによる接続とすることができる。又、有線接続に限らず、無線ＬＡＮや近距離無線通信、携帯電話回線等の各種無線通信を用いた接続としてもよい。尚、演算処理部２０は、撮影部１０の近傍に配置せずに、撮影部１０から離れた遠隔地に配置することもできる。

（部分撮影領域情報記憶部）
部分撮影領域情報記憶部２１は、個々のカメラ１１（１１Ａ、１１Ｂ、１１Ｃ）の部分撮影領域１２（１２Ａ、１２Ｂ、１２Ｃ）の範囲を特定可能な位置情報を記憶し、必要に応じて当該位置情報を出力する。部分撮影領域情報記憶部２１は、そのような機能を発揮し得る従来工程の各種の情報記憶媒体や情報記憶デバイス等によって構成することできる。

（人物認識部）
人物認識部２２は、撮影部１０を構成するカメラ１１（１１Ａ、１１Ｂ、１１Ｃ）によって撮影された撮影画像中の「人物」を被検知体として認識する。人物認識部２２は、具体的には、従来公知の様々な画像認識手段の何れか、又は、それらの組合せによって構成することができる。画像認識手段として、例えば、背景差分によって監視領域内の「人物」を認識する手段を用いることができる。この背景差分は公知の技術であり、監視カメラで取得された画像データと、事前に取得しておいた監視領域の背景画像との差分をとることで、動きのある人物を認識する技術である。

（属性情報抽出部）
属性情報抽出部２３は、被検知体の属性情報、即ち、人物認識部２２によって認識された撮影画像中の「人物」の属性情報を、当該撮影画像から抽出する。この属性情報は、身長、体重、服装の色、性別、年齢、及び、その他の画像からの抽出が可能な被検知体固有のあらゆる情報のうちから選択される複数の属性情報の任意の組合せであればよい。但し、属性情報抽出部２３によって抽出する属性情報は、上記のうちでも、身長及び服装の色と、性別及び年齢を含む複数の属性情報であることが好ましい。属性情報としてこれらの組合せを得ることによって、同一性判定部における個々の被検知体の同一性の判定精度を高めることができる。

これらの各属性情報を撮影画像から抽出する属性情報抽出部２３は、「ニューラルネットワークを有する機械学習型の画像認識装置」を含んで構成することが好ましい。「ニューラルネットワークを有する機械学習型の画像認識装置」、所謂ディープラーニング型の画像認識装置は、近年、画像認識分野において、認識率の飛躍的向上が注目を集めている装置である。このような画像認識技術を活用することにより、撮影画像中の「人物」の様々な属性情報を、自動的に、且つ、極めて高い認識正解率で抽出することができる。このような画像認識技術として、例えば、下記に公開されている技術を利用することができる。
「ディープラーニングと画像認識、オペレーションズ・リサーチ」
（ｈｔｔｐ：／／ｗｗｗ．ｏｒｓｊ．ｏ．ｊｐ／ａｒｃｈｉｖｅ２／ｏｒ６０−４／ｏｒ６０＿４＿１９８．ｐｄｆ）

（速度ベクトル抽出部）
速度ベクトル抽出部２４は、被検知体の速度ベクトル、即ち、人物認識部２２によって認識された撮影画像中の「人物」の速度ベクトルを撮影画像から抽出する。ここで、本明細書における被検知体（人物）の「速度ベクトル」とは、２次元の撮影画像内における被検知体の動きを、当該部分撮影領域に対応する実際の３次元空間内での動きに換算した場合における被検体の実際の移動方向とその速さとを表すベクトル量である。例えば、速度ベクトル抽出部２４に、２次元画像である撮影画像上のＸＹ方向に対応する座標を、更に奥行情報も加えた３次元座標に変換する座標設定機能を備えさせ、このようにして設定された座標上における被検知体の所定単位時間毎の位置を検出することによって、撮影画像から被検知体の「速度ベクトル」を抽出することができる。

上記の座標変換機能としては、より具体的には、例えば、特許第６５８１２８０号公報に開示されている座標設定動作を採用することができる。この座標設定動作は、撮影画像中の床面又は地面に相当する位置を、撮影画像に映っている実空間中での実寸法と関連付けて特定可能な座標を設定する動作である。これにより、設定される座標は、ある任意の位置を特定し、その位置が床面又は地面にあるとしたときに、その床面又は地面が実際の監視領域の空間においてどの位置に相当するのか特定可能な座標である。撮影画像は、二次元の画像情報であることから、撮影画像中である位置を特定したとしても、実際の三次元空間上のどの位置であるのかを特定することができない。しかし、床面、又は、地面上に実寸法と関連付けた座標を設定した上で、撮影画像中で選択特定する位置を、床面、又は、地面であると限定すれば、撮影画像中で特定された位置が実空間のどの位置の床面、又は、地面であるのかが特定可能となる。

（継続撮影領域予測部）
継続撮影領域予測部２５は、被検知体、即ち、人物認識部２２によって認識された撮影画像中の「人物」の移動先である継続撮影領域を予測する。本明細書において「継続撮影領域」とは、ある時点において一の部分撮影領域内に存在する被検知体が移動して、次に侵入する「他の部分撮影領域」が存在するときにおける移動先にあたる部分撮影領域のことを言う。つまり、「一の部分撮影領域」から「他の部分撮影領域」に被検知体が移動する場合に、当該「他の部分撮影領域」は、当該「一の部分撮影領域」の「継続撮影領域」である。

上記機能を発揮するために、継続撮影領域予測部２５は、ニューラルネットワークを有する機械学習型の推論装置を含んで構成される。そして、被検知体の速度ベクトルをこの推論装置によって解析することによって、被検知体の所定時間後の予測到達位置を算出して、更に、この予測到達位置と部分撮影領域情報を照合することによって継続撮影領域を予測する。

通常、任意の一の部分撮影領域から、当該領域の外縁の何れかの地点を経由して、当該領域外の何れかの方向に向けて出ていく被検知体の移動のパターンは、当該領域に対応する実空間内の建造物の壁、出入り口、通路等の構造に基づく物理的制約によって有限種の導線パターンに分類することができる。そこで、ニューラルネットワークを有する機械学習型の推論装置に、予め、上記の各物理的制約に係る情報（被検知体の動きを規定する要因となる建造物等の構造等）を学習させておくことにより、ある部分撮影領域内における被検知体の動きに係る上記の速度ベクトルから、当該被検知体が領域外においてどのような導線に沿って移動するかということを予想する仮想導線を自動的に想定することができる。その仮想導線上を動く被検知体の速度が分かれば、被検知体の所定時間後の予測到達位置を算出することが可能である。

そして、この予測到達位置に係る位置ベクトルと、部分撮影領域情報（位置ベクトル）とを照合することによって、継続撮影領域を予測することができる。尚、より詳しくは、上記の２つの位置ベクトル、即ち、予測到達位置の位置ベクトルと、部分撮影領域情報（位置ベクトル）とを、管理対象領域内での位置を表す共通の基準座標、又は世界座標上のベクトルに変換する座標変換機能を、継続撮影領域予測部２５又は、演算処理部２０内の何れかの構成部分に備えさせ、変換後の座標を照合することにより、任意の被検知体についての継続撮影領域を予測することができる。

尚、複数のカメラの撮影画像中の固有の座標上のベクトル値を、世界座標等の共通の座標上の値に変換する手法は従来公知の各手段を用いることができる。例えば、個々のカメラの部分撮影領域内に存在する個々の被検知体の世界座標上の位置を特定するには、個々のカメラのキャリブレーションを行い、画像上の座標と世界座標との変換を行うのに必要な内部パラメータ（カメラ毎に固有の撮影に係る機能）と外部パラメータ（設置場所と撮影方向等）等を予め計算しておくことにより実行可能である。

被検知体の継続撮影領域の予測は、一例として、図３における被検知体１３の速度ベクトル抽出部２４によって抽出された速度ベクトルが、「ベクトルａ」である場合には、被検知体１３の移動先を示す仮想導線はａ´に向かう破線として想定され、被検知体１３の継続撮影領域は部分撮影領域１２Ａであることが予測される。一方、速度ベクトルとして、「ベクトルｂ」が抽出された場合には、被検知体１３の移動先を示す仮想導線はｂ´に向かう破線として想定され、被検知体１３の継続撮影領域は部分撮影領域１２Ｃであることが予測される。

（同一性判定部）
同一性判定部２６は、一の部分撮影領域内で認識された人物と、他の部分撮影領域内で認識された人物との同一性を判定する。「人物の同一性を判定する」とは、具体的には、図３における部分撮影領域１２Ｂ内で人物認識部２２によって被検知体（人物）１３が認識された場合において、所定時間後に、他の部分撮影領域１２Ａ内で認識された被検知体（人物）が、上述の被検知体（人物）１３と同一の人物か否かを判定することである。

同一性判定部２６においては、一の部分撮影領域内で認識された被検知体の継続撮影領域と属性情報との組合せが、当該継続撮影領域を部分撮影領域とする他のカメラの部分撮影領域と該部分撮影領域内で認識された被検知体の属性情報との組合せとを照合して、これらが同一であるか否かに基づいて、上記の同一性が判定される。

同一性判定部２６において、被検知体の移動先の予測と、属性情報の照合とを重ねて行うことで、撮影範囲間を移動した被検知体の同一性判断の誤りを極めて少なくして、異なる部分撮影領域に係る複数の撮影画像内の人物の追跡撮影を高い精度で行うことができる。

（タグ情報付与部）
タグ情報付与部２７は、同一性判定部２６において同一性が肯定された撮影画像中の複数の人物に、当該人物同士が同一人物であることを示すタグ情報を付与する。

（骨格抽出部）
骨格抽出部２８は、撮影画像から、複数の特徴点を連接する骨格線で構成される人物の骨格を抽出する。骨格抽出部２８を備えることにより、被検知体の画像から抽出した骨格によって特定される特徴点の動きを解析して、当該被検知体の速度ベクトルを算出することができる。尚、本明細書において、監視対象人物の「骨格」とは、監視対象人物の複数の特徴点とこれらを連接してなる線状の図形である。

骨格抽出部２８は、具体的には、従来公知の様々な手法の何れか、又は、それらを組合せによることができる。一例として、下記文献に開示されている「ＯｐｅｎＰｏｓｅ」と称される技術を用いることにより、２次元の撮影画像から任意の特徴点を結んで形成される人物の骨格を抽出することができる。
「Ｚｈｅ Ｃａｏ 他 Ｒｅａｌｔｉｍｅ Ｍｕｌｔｉ−Ｐｅｒｓｏｎ ２Ｄ Ｈｕｍａｎ Ｐｏｓｅ Ｅｓｔｉｍａｔｉｏｎ ｕｓｉｎｇ Ｐａｒｔ Ａｆｆｉｎｉｔｙ Ｆｉｅｌｄｓ， ＣＶＰＲ ２０１７」

＜撮影方法＞
本発明の撮影方法は上記において詳細を説明した本発明の撮影システムを用いて行うことができるプロセスである。以下においては、本発明の撮影システムを用いた実施態様について、詳細を説明する。但し、本発明の撮影方法の技術的範囲は、当該実施態様に限定されるものではなく、本発明の技術的範囲内において適宜変更して実施することができる。

本発明の撮影方法は、撮影ステップＳＴ１、人物識別ステップＳＴ２、属性情報抽出ステップＳＴ３、速度ベクトル抽出ステップＳＴ５、継続撮影領域予測ステップＳＴ６、及び、同一性判定ステップを、最小限の必須の構成要件とする。又、この撮影方法は、更に、タグ情報付与ステップＳＴ８、骨格抽出ステップＳＴ４が行われるプロセスとすることがより好ましい。以下、本発明の撮影方法として、図４に示す通り、撮影システム１を用いて、上記の全てのステップが順次行われる場合の実施態様について説明する。

（撮影ステップ）
撮影ステップＳＴ１では、撮影部１０を構成する個々のカメラ１１（１１Ａ、１１Ｂ、１１Ｃ）が、管理対象領域の一部であって相互に重複しない個々の部分撮影領域である、それぞれの部分撮影領域１２（１２Ａ、１２Ｂ、１２Ｃ）を撮影する。この撮影は、静止画の撮影を所定間隔で連続して行ってもよいし、撮影間隔を非常に短くすることにより、実質的には、動画撮影として行ってもよい。

（人物識別ステップ）
人物識別ステップＳＴ２では、撮影ステップＳＴ１で取得した撮影画像中の人物を被検知体として特定する。より具体的には、人物認識部２２が、撮影部１０が撮影した撮影画像中の人物を被検知体として認識して特定したか否かについて判断を行う。人物を検知して特定した場合には、属性情報抽出ステップＳＴ３へ進み、人物が特定されていない場合には、撮影ステップＳＴ１へ戻り、撮影を継続する。人物の検知は、上述した背景差分による抽出方法の他、公知の各種の映像解析技術によることができる。

（属性情報抽出ステップ）
属性情報抽出ステップＳＴ３では、属性情報抽出部２３が、被検知体の属性情報を撮影画像から抽出する。上述の通り、「ニューラルネットワークを有する機械学習型の画像認識装置」、所謂ディープラーニング型の画像認識装置を用いることにより、撮影画像中の「人物」の様々な属性情報を、自動的に、且つ、極めて高い認識正解率で抽出することができる。

（骨格抽出ステップ）
骨格抽出ステップＳＴ４では、骨格抽出部２８が、人物識別ステップＳＴ２で被検知体として特定された人物について、複数の特徴点とそれらの複数の特徴点を連接する骨格線とで構成される各人物の骨格を抽出する。

（速度ベクトル抽出ステップ）
速度ベクトル抽出ステップＳＴ５では、速度ベクトル抽出部２４が、人物識別ステップＳＴ２において抽出された人物の位置の経時的変化を示す速度ベクトルを、撮影画像から抽出する。速度ベクトルの抽出は下記の通り人物の骨格の特徴点の位置情報から得ることが好ましいが、必ずしもこれに限られない。被検知体の位置と動きを検出可能な公知の画像解析技術によるものであってもよく、その場合は、上記の骨格抽出ステップＳＴ４は必ずしも必須の処理ではない。

但し、被検知体である人物の足元を示す特徴点の位置を、３次元情報（奥行情報）を含む上述の「位置座標」上で特定できれば、２次元の画像データから、人物の位置や移動に係るより正確な三次元データ（奥行方向を含むデータ）を取得することができる。例えば、上述の「ＯｐｅｎＰｏｓｅ」を用いることにより、２次元の撮影画像から、被検知体となる人物の骨格を抽出することが可能であり、この骨格を構成する各特徴点の位置座標上の位置から、各特徴点の「管理対象領域３次元空間内における位置」を特定し、これにより被検知体の位置情報を得ることができる。

（継続撮影領域予測ステップ）
継続撮影領域予測ステップＳＴ６では、速度ベクトル抽出ステップＳＴ５において抽出された一の撮影領域内における被検知体の速度ベクトルと、部分撮影領域情報記憶部２１に記憶されている撮影領域情報及び撮影領域の範囲に係る位置情報から、被検知体の継続撮影領域を予測する。予測処理の実施態様は上述した通りである。

（同一性判定ステップ）
同一性判定ステップＳＴ７では、同一性判定部２６が、一の部分撮影領域内と他の部分撮影領域内に存在する人物との同一性を、判定する。この判定は、一の部分撮影領域内で認識された被検知体の継続撮影領域と属性情報との組合せと、継続撮影領域である他の部分撮影領域と当該部分撮影領域内で認識された被検知体の属性情報との組合せとを照合し、それらが同一であるか否かに基づいて、判定される。

（タグ情報付与ステップ）
タグ情報付与ステップＳＴ８では、タグ情報付与部２７が、同一性判定ステップＳＴ７において同一性が肯定された複数の被検知体に、該人物が同一人物であることを示すタグ情報が付与される。

［マーケティング活動支援システム・マーケティング活動支援方法］
本発明は、上記において、その詳細を説明した「撮影システム」を含んでなる、「マーケティング活動支援システム」或いは、「マーケティング活動支援方法」としても実施することができる。この「マーケティング活動支援システム（マーケティング活動支援方法）」は、共通の属性を有する被検知体群の管理対象領域内における移動態様に係る統計量を算出する属性別移動データ算出手段を備える。

一例として、上述のタグ情報に基づいて、属性別移動データ算出手段によって算出される統計量は、例えば、管理対象領域内に滞留する顧客の、年齢・性別毎の管理対象領域内での動き方の傾向やその差異を示す統計データである。又、年齢・性別等の個人の属性毎に色分けした導線で、顧客の動きを示し、導線の太さで、そのように動いた顧客の数を対比して示すことにより、直感的に顧客の流れを把握しやすいマーケットデータを作成することもできる。

１ 撮影システム
１０ 撮影部
１１（１１Ａ、１１Ｂ、１１Ｃ） カメラ
１２（１２Ａ、１２Ｂ、１２Ｃ） 部分撮影領域
２０ 演算処理部
２１ 部分撮影領域情報記憶部
２２ 人物認識部
２３ 属性情報抽出部
２４ 速度ベクトル抽出部
２５ 継続撮影領域予測部
２６ 同一性判定部
２７ タグ情報付与部
２８ 骨格抽出部
１００ 管理対象領域
ＳＴ１ 撮影ステップ
ＳＴ２ 人物識別ステップ
ＳＴ３ 属性情報抽出ステップ
ＳＴ４ 骨格抽出ステップ
ＳＴ５ 速度ベクトル抽出ステップ
ＳＴ６ 継続撮影領域予測ステップ
ＳＴ７ 同一性判定ステップ
ＳＴ８ タグ情報付与ステップ

Claims (11)

1. 管理対象領域の一部であって相互に重複しない個々の部分撮影領域を撮影するカメラが前記管理対象領域内に複数配置されている撮影システムであって、
   複数の前記カメラからなる撮影部と、
   個々の前記部分撮影領域の範囲を示す部分撮影領域情報が記憶されている、部分撮影領域情報記憶部と、
   前記撮影部が撮影した撮影画像中の人物を被検知体として認識する、人物認識部と、
   前記被検知体の属性情報を前記撮影画像から抽出する、属性情報抽出部と、
   前記被検知体の速度ベクトルを前記撮影画像から抽出する、速度ベクトル抽出部と、
   前記被検知体の移動先である継続撮影領域を予測する継続撮影領域予測部と、
   複数の被検知体同士の同一性を判定する、同一性判定部と、を備え、
   前記継続撮影領域予測部は、ニューラルネットワークを有する機械学習型の推論装置を含んで構成されていて、前記速度ベクトルを前記推論装置によって解析することによって前記被検知体の所定時間後の予測到達位置を算出して、前記予測到達位置と前記部分撮影領域情報を照合することによって継続撮影領域を予測し、
   前記同一性判定部は、一の部分撮影領域内で認識された前記被検知体の前記属性情報と該部分撮影領域の前記継続撮影領域内で認識された被検知体の前記属性情報とを照合することによって前記同一性を判定する、
   撮影システム。
2. 前記属性情報抽出部は、ニューラルネットワークを有する機械学習型の画像認識装置を含んで構成されていて、前記属性情報として、身長及び服装の色と、性別及び年齢を含む複数の属性情報を抽出する、
   請求項１に記載の撮影システム。
3. 前記同一性判定部において同一性が肯定された撮影画像中の被検知体に、該被検知体が同一人物であることを示すタグ情報を付与するタグ情報付与部を更に備える、
   請求項１又は２に記載の撮影システム。
4. 前記被検知体から、骨格を抽出する骨格抽出部を更に備え、前記速度ベクトル抽出部においては、前記骨格によって特定される特徴点の動きを解析することによって、前記速度ベクトルを抽出する、請求項１から３の何れかに記載の撮影システム。
5. 請求項１から４の何れかに記載の撮影システムを含んでなる、マーケティング活動支援システムであって、共通する属性を有する被検知体群の前記管理対象領域内における移動態様に係る統計量を算出する、属性別移動データ算出手段を備える、マーケティング活動支援装置。
6. 管理対象領域の一部であって相互に重複しない個々の部分撮影領域を撮影するカメラが前記管理対象領域内に複数配置されている撮影システムにおける撮影方法であって、
   前記カメラによって構成される撮影部が、前記部分撮影領域を撮影する撮影ステップと、
   人物認識部が、前記撮影部が撮影した撮影画像中の人物を被検知体として認識する、人物識別ステップと、
   属性情報抽出部が、前記被検知体の属性情報を前記撮影画像から抽出する、属性情報抽出ステップと、
   速度ベクトル抽出部が、前記被検知体の速度ベクトルを、前記撮影画像から抽出する、速度ベクトル抽出ステップと、
   ニューラルネットワークを有する機械学習型の推論装置を含んで構成される継続撮影領域予測部が、前記被検知体の移動先である継続撮影領域を予測する継続撮影領域予測ステップと、
   同一性判定部が、複数の被検知体同士の同一性を判定する同一性判定ステップと、を含んでなり、
   前記継続撮影領域予測ステップにおいては、前記速度ベクトルを前記推論装置によって解析することによって前記被検知体の所定時間後の予測到達位置を算出して、前記予測到達位置と部分撮影領域情報を照合することによって継続撮影領域を予測し、
   前記同一性判定ステップにおいては、一の部分撮影領域内で認識された前記被検知体の前記属性情報と該部分撮影領域の前記継続撮影領域内で認識された被検知体の前記属性情報とを照合することによって前記同一性を判定する、
   撮影方法。
7. 前記属性情報抽出部は、ニューラルネットワークを有する機械学習型の画像認識装置を含んで構成されていて、前記属性情報抽出ステップにおいては、前記属性情報として、身長及び服装の色と、性別及び年齢を含む複数の属性情報を抽出する、
   請求項６に記載の撮影方法。
8. タグ情報付与部が、前記同一性判定部において同一性が肯定された複数の被検知体に、該人物が同一人物であることを示すタグ情報を付与する、タグ情報付与ステップを更に含んでなる、請求項６又は７に記載の撮影方法。
9. 前記被検知体から、骨格を抽出する骨格抽出部を更に備え、
   前記速度ベクトル抽出ステップにおいては、前記骨格によって特定される特徴点の動きを解析することによって、前記速度ベクトルが抽出される、請求項６から８の何れかに記載の撮影方法。
10. 属性別移動データ算出手段が、請求項６から９の何れかに記載の撮影方法において抽出された前記被検知体の前記属性情報に基づいて、共通の属性を有する被検知体群の前記管理対象領域内における移動態様に係る統計量を算出する、属性別移動データ算出ステップを行う、
    マーケティング活動支援方法。
11. 請求項６から９の何れかに記載の撮影方法において、
    前記人物識別ステップ、前記属性情報抽出ステップ、前記速度ベクトル抽出ステップ、前記継続撮影領域予測ステップ、及び、前記同一性判定ステップを、前記人物認識部、前記属性情報抽出部、前記速度ベクトル抽出部、前記継続撮影領域予測部、及び、前記同一性判定部を含んで構成される演算処理部に実行させる、撮影システム用のプログラム。

Images