JP6593949B1 - 情報処理装置、及び、マーケティング活動支援装置 - Google Patents

Abstract

【課題】膨大な録画済画像から有用なデータのみを効率よく抽出して解析する手段を提供すること。【解決手段】カテゴリー指定部１０と、解析対象オブジェクトを録画済画像２から抽出する、オブジェクト抽出部２０と、解析対象オブジェクトの属性及び／又は動きを分析する、オブジェクト分析部３０と、解析対象オブジェクトの属性及び又は動きの統計量を解析する、解析部４０と、解析結果を含んで構成される統計データを表示する、ダッシュボード５０と、を備え、オブジェクト抽出部２０による解析対象オブジェクトの抽出、及び、オブジェクト分析部３０による解析対象オブジェクトの属性及び／又は動きの分析が、何れも、ニューラルネットワークを有する機械学習型の画像認識手段により実行される、情報処理装置１とする。【選択図】図１

Description

本発明は、情報処理装置、及び、マーケティング活動支援装置に関する。本発明は、より詳しくは録画済の画像から有用な情報を抽出し解析して表示する、情報処理装置、及び、それを含んで構成されるマーケティング活動支援装置に関する。

店舗内を撮影した監視画像から、購買者の行動を検出し、購買者がどんな商品に興味を持っているか等をマーケティングデータとして取得しようという市場調査用の機器の開発が行われている（特許文献１）参照。

又、取得したマーケティングデータをより有効に活用できるように、購買者が何れの客層（顧客属性）に属するか等を判定し、更には、その客層のエリア分析データ等を取得して、顧客属性や地域を考慮したマーケティング戦略の立案を可能にするシステムも提案されている。（特許文献２）。

或いは、陳列棚等の画像中の各商品を、画像認識技術を利用して検出、照合することにより、在庫管理の効率を高め、顧客が実店舗内で買い物し易いようにするためのアシストも行う画像認識システムも提案されている（特許文献３）。

特開２００６−２９３７８６号公報 特開２００９−１５１４０８号公報 特開２０１４−２１８３１８号公報

特許文献１に記載の機器は、画像からマーケティングデータを抽出する処理の一案としては有用である。特許文献２に記載のシステムも、そのようにして得たデータの活用方法の具体的手段としては有用である。又、特許文献３も刻一刻と変化する在庫等の状況を画像処理技術によってリアルタイムで把握する手段としては有用である。

ここで、近年、公共スペースの各所における防犯用の監視カメラの設置数の増大に伴って、録画済の画像の蓄積量も膨大なものとなっている。しかしながら、例えば、過去の一定期間（数日から数年）にまで遡って、これらの膨大な録画済画像から有用なデータのみを効率よく抽出して解析する手段については上記何れの文献においても言及されていない。

上記のような膨大な蓄積画像から効率よく有用な情報を短時間で抽出して解析する手段の開発が望まれていた。本発明は、膨大な録画済画像から有用なデータのみを効率よく抽出して解析する手段を提供することを目的とする。

本発明は、以下の解決手段により、上述の課題を解決する。尚、理解を容易にするために、本発明の実施形態に対応する符号を付して説明するが、これに限定されるものではない。

（１） 特定の解析対象カテゴリーを指定することができる、カテゴリー指定部と、前記カテゴリー指定部によって指定されている前記解析対象カテゴリーに属する解析対象オブジェクトを録画済画像から抽出する、オブジェクト抽出部と、抽出された前記解析対象オブジェクトの属性及び／又は動きを分析する、オブジェクト分析部と、分析された前記解析対象オブジェクトの属性及び又は動きの統計量を解析する、解析部と、前記統計量の解析結果を含んで構成される統計データを表示する、ダッシュボードと、を備え、前記オブジェクト抽出部による前記解析対象オブジェクトの抽出、及び、前記オブジェクト分析部による前記解析対象オブジェクトの属性及び／又は動きの分析が、何れも、ニューラルネットワークを有する機械学習型の画像認識手段により実行される、情報処理装置。

（１）の発明は、膨大な量の録画済画像から有用なデータを得るための画像データの抽出と分析とにおいて、膨大な録画済画像を視認可能に再生するプロセスを省き、ニューラルネットワークを有する機械学習型の画像認識手段（所謂ディープラーニング型の画像認識手段）を用いて完全に自動的に上記の抽出と分析を行うこととした。これにより、短い処理時間で、使用者が理解容易な形式に加工されている有用なデータを得ることができる。

（２） 前記オブジェクト抽出部には、前記録画済画像がデジタルデータとして入力され、人間が視認可能な二次元画像への変換処理を経由せずに、該デジタルデータから解析対象オブジェクトが直接抽出される、（１）に記載の情報処理装置。

（２）の発明は、（１）の発明における画像からの必要データの抽出と分析の過程に人間の視認が必要な作業を一切介在させない構成とした。これにより、極めて短い処理時間で、使用者が理解容易な形式に加工されている有用なデータを得ることができる。

（３） 前記オブジェクト分析部は、人の顔に係る画像情報から当該人の年齢及び性別を分析することができる顔認証情報取得部を含んで構成されている、（１）又は（２）に記載の情報処理装置。

（３）の発明は、（１）又は（２）の発明において、解析対象オブジェクト（人）の固有の顔認証情報を取得する顔認証情報取得部を、更に備える構成とした。これにより、解析対象オブジェクトの属性の分析を、自動的な処理のみにより高い精度で効率よく実行することができる。

（４） 前記オブジェクト分析部は、２次元画像である前記録画済画像中における位置と、録画対象とされている３次元空間内における実際の位置とを関連づける座標を、前記録画済画像中に設定する座標設定部を含んで構成されている、（１）から（３）の何れかに記載のマーケティング情報処理装置。

（４）の発明によれば、例えば、距離測定デバイスや３Ｄカメラ等を導入することなく廉価で取得可能な単眼カメラによってのみ取得された２次元情報のみを有する画像からであっても、解析対象オブジェクトの動きの分析を、自動的な処理のみにより高い精度で効率よく実行することができる。

（５） 前記オブジェクト分析部は、複数の特徴点を連接する骨格線で構成される前記解析対象オブジェクトの骨格を抽出する骨格抽出部を含んで構成されていて、前記特徴点の位置変動から個々の前記解析対象オブジェクトの動きを認識する、（１）から（４）の何れかに記載の情報処理装置。

（５）の発明は、例えば、後述の「ＯｐｅｎＰｏｓｅ」等の画像解析手段を用いることにより、特に解析対象オブジェクトが人である場合に、当該解析対象オブジェクト（人）の複数の特徴点が連接されてなる骨格を抽出し、これら各特徴点の位置や速度を解析することによって、解析対象オブジェクトの動きを認識することができる構成としたものである。これによれば、解析対象オブジェクトの各種の動きを、解析対象オブジェクトの体形（形状）等に関わらずより高い精度でもれなく認識することができる。

（６） （１）から（５）の何れかに記載の情報処理装置であって、前記統計データがマーケティングデータである、マーケティング活動支援装置。

（６）の発明によれば、既に蓄積されている膨大な画像情報から、使用者が理解容易な形式に加工されている有用なマーケティングデータを極めて短い処理時間で得ることができる。

（７） 特定の解析対象カテゴリーを選択して指定することができる、カテゴリー指定部と、前記カテゴリー指定部によって指定されている前記解析対象カテゴリーに属する解析対象オブジェクトを録画済画像から抽出する、オブジェクト抽出部と、抽出された個々の前記解析対象オブジェクトの属性及び／又は動きを分析する、オブジェクト分析部と、分析された前記解析対象オブジェクトの属性及び／又は動きの統計量を解析する、解析部と、前記統計量の解析結果を含んで構成される統計データを表示する、ダッシュボードと、を備え、前記オブジェクト抽出部による前記抽出、及び前記オブジェクト分析部による前記分析が、何れも、ニューラルネットワークを有する機械学習型の画像認識手段により実行される、情報処理システム。

（７）の発明は、膨大な量の録画済画像から有用なデータを得るための画像データの抽出と分析とにおいて、膨大な録画済画像を視認可能に再生するプロセスを省き、ニューラルネットワークを有する機械学習型の画像認識手段（所謂ディープラーニング型の画像認識手段）を用いて完全に自動的に上記の抽出と分析を行うこととした。これにより、短い処理時間で、使用者が理解容易な形式に加工されている有用なデータを得ることができる。

（８） （７）に記載の情報処理システムであって、前記統計データがマーケティングデータである、マーケティング活動支援システム。

（８） （７）の発明によれば、既に蓄積されている膨大な画像情報から、使用者が理解容易な形式に加工されている有用なマーケティングデータを極めて短い処理時間で得ることができる。

（９） カテゴリー指定部において、特定の解析対象カテゴリーを指定するカテゴリー指定ステップと、オブジェクト抽出部が、録画済画像から、前記カテゴリー指定ステップにおいて指定された解析対象カテゴリーに属する解析対象オブジェクトを抽出する、オブジェクト抽出ステップと、オブジェクト分析部が、抽出された個々の前記解析対象オブジェクトの属性及び／又は動きを分析する、オブジェクト分析ステップと、解析部が、分析された前記属性及び／又は動きの統計量を解析する、解析ステップと、ダッシュボードが、前記統計量の解析結果を表示する、統計データ表示ステップと、を備え、前記オブジェクト抽出ステップによる前記解析対象オブジェクトの抽出、及び、前記オブジェクト分析ステップによる前記解析対象オブジェクトの属性及び／又は動きの分析が、何れも、ニューラルネットワークを有する機械学習型の画像認識手段により実行される、情報処理方法。

（９）の発明は、膨大な量の録画済画像から有用なデータを得るための画像データの抽出と分析とにおいて、膨大な録画済画像を視認可能に再生するプロセスを省き、ニューラルネットワークを有する機械学習型の画像認識手段（所謂ディープラーニング型の画像認識手段）を用いて完全に自動的に上記の抽出と分析を行うこととした。これにより、短い処理時間で、使用者が理解容易な形式に加工されている有用なデータを得ることができる。

（１０） 前記オブジェクト抽出ステップにおいて、前記オブジェクト抽出部には、前記録画済画像がデジタルデータとして入力され、人間が視認可能な二次元画像への変換処理を経由せずに、該デジタルデータから解析対象オブジェクトが直接抽出される、（９）に記載の情報処理方法。

（１０）の発明は、膨大な量の録画済画像から有用なデータを得るための画像データの抽出と分析とにおいて、膨大な録画済画像を視認可能に再生するプロセスを省き、ニューラルネットワークを有する機械学習型の画像認識手段（所謂ディープラーニング型の画像認識手段）を用いて完全に自動的に上記の抽出と分析を行うこととした。これにより、短い処理時間で、使用者が理解容易な形式に加工されている有用なデータを得ることができる。

（１１） 前記オブジェクト分析ステップにおいて、顔認証情報取得部が、人の顔に係る画像情報から当該人の年齢及び性別を分析する、（９）又は（１０）に記載の情報処理方法。

（１１）の発明は、（９）又は（１０）の発明において、解析対象オブジェクトが人である場合に、その固有の顔認証情報を取得する顔認証情報取得部を、更に備える構成とした。これにより、解析対象オブジェクトの属性の分析を、自動的な処理のみにより高い精度で効率よく実行することができる。

（１２） 前記オブジェクト分析ステップにおいて、座標設定部が、２次元画像である前記録画済画像中における位置と、録画対象とされている３次元空間内における実際の位置とを関連づける座標を、前記録画済画像中に設定する、（９）から（１１）の何れかに記載の情報処理方法。

（１２）の発明によれば、例えば、距離測定デバイスや３Ｄカメラ等を導入することなく廉価で取得可能な単眼カメラによってのみ取得された２次元情報のみを有する画像からであっても、解析対象オブジェクトの動きの分析を、自動的な処理のみにより高い精度で効率よく実行することができる。

（１３） 前記オブジェクト分析ステップにおいて、骨格抽出部が、複数の特徴点を連接する骨格線で構成される前記解析対象オブジェクトの骨格を抽出し、前記特徴点の位置変動から個々の前記解析対象オブジェクトの動きが認識される、（９）から（１２）の何れかに記載の情報処理方法。

（１３）の発明は、例えば、後述の「ＯｐｅｎＰｏｓｅ」等の画像解析手段を用いることにより、解析対象オブジェクトの複数の特徴点が連接されてなる骨格を抽出し、これら各特徴点の位置や速度を解析することによって、解析対象オブジェクト）の動きを正確に認識することができる構成としたものである。これによれば、解析対象オブジェクトの各種の動きを、解析対象オブジェクトの体形（形状）等に関わらずより高い精度で認識することができる。

（１４） （９）から（１３）の何れかに記載の情報処理方法であって、前記統計データがマーケティングデータである、マーケティング活動支援方法。

（１４）の発明によれば、既に蓄積されている膨大な画像情報から、使用者が理解容易な形式に加工されている有用なデータを極めて短い処理時間で得ることができる。

（１５） 録画済画像から、特定の解析対象カテゴリーに属する解析対象オブジェクトを、ニューラルネットワークを有する機械学習型の画像認識手段によって抽出する、オブジェクト抽出ステップと、抽出された個々の前記解析対象オブジェクトの属性及び／又は動きを、ニューラルネットワークを有する機械学習型の画像認識手段によって分析する、オブジェクト分析ステップと、分析された前記属性及び／又は動きの統計量を解析する、解析ステップと、前記統計量の解析結果を含んで構成される統計データをダッシュボードに表示する、統計データ表示ステップと、を実行させるプログラム。

（１５）の発明は、膨大な量の録画済画像から有用なデータを得るための画像データの抽出と分析とにおいて、膨大な録画済画像を視認可能に再生するプロセスを省き、ニューラルネットワークを有する機械学習型の画像認識手段（所謂ディープラーニング型の画像認識手段）を用いて完全に自動的に上記の抽出と分析を行うこととした。これにより、短い処理時間で、使用者が理解容易な形式に加工されている有用なデータを得ることができる。

（１６） （１５）に記載のプログラムであって、前記統計データがマーケティングデータである、マーケティング活動支援用のプログラム。

（１６）の発明によれば、既に蓄積されている膨大な画像情報から、使用者が理解容易な形式に加工されている有用なデータを極めて短い処理時間で得ることができる。

本発明によれば、膨大な録画済画像から有用なデータのみを効率よく抽出して解析する手段を提供することができる。

本発明の情報処理装置の構成を示すブロック図である。 本発明の情報処理装置を構成するダッシュボードの一例を模式的に示す図である。 本発明の情報処理装置が備えるオブジェクト抽出部によって、録画済画像の解析対象オブジェクト（人Ｈと物Ｍ）が抽出されている状態を示す図である。 本発明の情報処理装置が備えるオブジェクト分析部によって、解析対象オブジェクトの骨格の特徴点が、３次元情報（奥行情報）を含む座標上に重ね合わされている状態を示す図である。 上記の特徴点の位置の変動に係る情報に基づいて、解析対象オブジェクトの動きが、認識されている状態を示す図である。 オブジェクト分析部によって分析された、解析対象オブジェクトの速度ベクトルの状態を示す図である。

以下、本発明を実施するための最良の形態について適宜図面を参照しながら説明する。

＜情報処理装置（マーケティング活動支援装置）＞
本発明の情報処理装置は、録画済画像を入力データとして、その解析結果を使用者が利用し易い任意の形式で出力する情報処理装置全般に広く適用することができる情報処理技術である。本発明の情報処理装置によれば、録画済画像に含まれる様々な対象物から任意の対象カテゴリーを選択して指定することによって、当該カテゴリーについて有用な解析結果を自動的に得ることができる。

このような、本発明の情報処理装置は、特には、公共スペースに設置されている監視用カメラ等によって撮影された膨大な量の録画済画像から、マーケティング活動に有用なデータ（例えば、特定エリアにおける特定の属性の人の通行量、特定のアイテムに対する注目度）を抽出、解析、表示する「マーケティング活動支援装置」として用いる実施形態を、その好ましい実施形態の一例として挙げることができる。以下、本発明の情報処理装置を「マーケティング活動支援装置」として用いる実施形態を、本発明最良の形態として、その詳細を説明する。

［全体構成］
マーケティング活動支援装置１は、過去から現在に至るまでの何れかの一定期間に亘って録画されていて、再生可能な状態で保持されている録画済画像２を、分析用の入力データとして用いる。そして、録画済画像２から得ることができ、マーケティング活動において有用な統計データを解析結果（マーケティングデータ）３として、人が理解し易い視聴覚情報として出力する。尚、本明細書における、「マーケティングデータ」とは、所定の領域内における人や物の動きに係る特徴的な量を解析して得ることが可能な統計データであって、マーケティング活動を行う上で、判断の根拠や参考情報となりうる、あらゆるデータのことを言う。

マーケティング活動支援装置１の基本構成は、図１に示す通りである。マーケティング活動支援装置１は、特定の解析対象カテゴリーを選択して指定することができるカテゴリー指定部１０、録画済画像２から解析対象とする個々のオブジェクトを抽出するオブジェクト抽出部２０、オブジェクト抽出部２０によって抽出された個々の解析対象オブジェクトの属性及び／又は動きを分析するオブジェクト分析部３０、分析された解析対象オブジェクトの属性及び又は動きの統計量を解析する解析部４０、及び、統計量の解析結果を含んで構成される統計データであるマーケティングデータを表示するダッシュボード５０を含んで構成される。尚、以後、本明細書においては、カテゴリー指定部１０、オブジェクト抽出部２０、オブジェクト分析部３０及び解析部４０をまとめて「演算処理部」とも総称する。

「演算処理部」は、録画済画像２の画像データを入力することができるように録画済画像２の画像データを出力可能な再生装置等と接続されている。この接続は、専用の通信ケーブルを利用した有線接続、或いは、有線ＬＡＮによる接続とすることができる。又、有線接続に限らず、無線ＬＡＮや近距離無線通信、携帯電話回線等の各種無線通信を用いた接続としてもよい。

尚、マーケティング活動支援装置１には、録画済画像２が、視認可能な映像の形態としてではなく、情報処理機器によって演算処理が可能なデジタルデータの形態として演算処理部（オブジェクト抽出部２０）に直接入力されるような構成とすることが好ましい。人間が視認可能な二次元画像の形式への変換処理とそのような二次元画像の表示処理を経由せずに、デジタル形式の入力データから解析対象オブジェクトが直接抽出される構成とすることで、膨大な画像データから、より短い時間で解析対象オブジェクトを、自動的に抽出することができる。

そして、マーケティング活動支援装置１において、演算処理部を構成する上記各部のうち、オブジェクト抽出部２０、及び、オブジェクト分析部３０については、何れも、ニューラルネットワークを有する機械学習型の画像認識手段（所謂、ディープラーニング型の画像認識手段）によって各抽出、分析に係る処理が実行される構成とする。これらの各部の動作の詳細については後述する。

又、マーケティング活動支援装置１は、少なくとも、使用者に解析結果を表示するダッシュボード５０を含む構成部分が、独立した装置として、その他の構成部分とは離間した別の場所に配置されていて、尚且つ、それらの上記両構成部分が、上述において例示したような有線又は無線回線で接続されている分散型の「マーケティング活動支援システム」の形態として実施することもできる。

或いは、マーケティング活動支援装置１は、上述のダッシュボード５０を含む構成部分が、複数の情報処理端末によって構成されていて、一の演算処理部の機能を複数のダッシュボード５０で共有する、「マーケティング活動支援システム」の形態として実施することもできる。例えば、複数のダッシュボード５０の一部又は全部は、携帯可能な小型の情報処理端末であってもよい。これらの各形態で実施することにより、マーケティング活動支援装置１を構成する各部分を経済効率性や使用者の利便性等に配慮して、それぞれの装置を最適な場所に分散配置することができる。

［録画済画像］
マーケティング活動支援装置１に入力する録画済画像２は、特定の内容・形式・情報量の画像に限定されない。解析データの使用目的に応じうる可能性のあるデータが含まれているあらゆる画像を用いることが可能である。近年、膨大な量の画像の蓄積が進んでいる公共スペース等における監視画像は、録画済画像２として最適なデータ源の一例である。このような監視画像は、人の流れ、商品の動き、店員の動き等を把握することができる画像が大量に蓄積されているマーケティングデータの宝庫であり、マーケティング活動支援装置１を用いることにより、これを、効率良く有効活用することが可能となる。

マーケティング活動支援装置１は、例えば上記の監視画像のように膨大なデータが無作為の状態で含まれている画像について、分析作業者が視認可能な再生処理を伴わずに、有用な解析結果のみを得ることができる。よって、抽出対象となる被撮影人物のプライバシーを侵害せずに、マーケティング活動にとって有用な情報のみを得ることができる。

［演算処理部］
カテゴリー指定部１０、オブジェクト抽出部２０、オブジェクト分析部３０及び解析部４０を含んで構成される「演算処理部」は、例えば、パーソナルコンピュータやタブレット端末、スマートフォン等を利用して構成することができる。或いは、「演算処理部」は、画像処理動作に特化した専用の装置により構成することもできる。これらの何れの構成においても、「演算処理部」は、ＣＰＵ、メモリ、通信部等のハードウェアを備えている。

そして、上記構成を有する「演算処理部」は、コンピュータ用の「プログラム」を実行することにより、以下に説明するマーケティング活動支援装置の各種動作、及び、マーケティング活動支援方法を具体的に実行することができる。

［カテゴリー指定部］
カテゴリー指定部１０は、解析部４０において解析対象とする特定の解析対象カテゴリーを指定する。この指定は、作業者がマーケティング活動支援装置１を用いる度毎に、都度、手動操作で任意の対象を設定する構成としてもよいし、或いは、予め、特定の解析対象カテゴリーがデフォルトで設定されていて、必要な場合だけ当該設定を手動で変更する構成とすることもできる。何れにしても、カテゴリー指定部１０において選択されている解析対象カテゴリーが、オブジェクト抽出部２０に指令として伝達され、その指令に従って、録画済画像２から解析対象カテゴリーに属するオブジェクトが抽出される。

例えば、オブジェクト抽出部２０において、「人」と「ボトル」とを個別に認識することができる場合であって、それらの動きや属性等の分析及び解析によって、マーケティングデータを得ることを企図する場合であれば、カテゴリー指定部において、解析対象カテゴリー１を「人」とし、解析対象カテゴリー２を「ボトル」と指定すればよい。或いは、オブジェクト抽出部２０が顔認証機能によって人の性別や年齢を個別に認識することが可能な機能を有する場合であれば、例えば、カテゴリー指定ステップにおいて、解析対象カテゴリーを「３０代女性」と指定することも可能である。

［オブジェクト抽出部］
オブジェクト抽出部２０は、カテゴリー指定部１０によって指定されている解析対象カテゴリーに属する解析対象オブジェクトを録画済画像２から抽出する。このオブジェクト抽出部２０による抽出は、ニューラルネットワークを有する機械学習型の画像認識手段、所謂、ディープラーニング型の画像認識手段によって高速で実行される。

オブジェクト抽出部２０は、録画済画像２中のなかに存在する「人及び動植物」や「物」（以下、これらを総称して「オブジェクト」とも言う）のうち、カテゴリー指定部１０によって指定されている解析対象カテゴリーに属するオブジェクト（解析対象オブジェクト）を、ディープラーニング型の画像認識手段によって抽出する。オブジェクト抽出部２０は、例えば、図３に示すように、録画済画像２の中に存在する解析対象オブジェクト（人Ｈと物Ｍ）を抽出する。但し、図３は抽出に係る概念図であって、実際にこのような映像をリアルタイム視認可能な状態で再生することは、本発明の装置、システム、方法においては、必須のプロセスではない。

録画済画像２から解析対象オブジェクトの抽出を行う画像認識処理手段のアルゴリズムは特に限定されないが、「Ｙｏｕ ｏｎｌｙ ｌｏｏｋ ｏｎｃｅ （ＹＯＬＯ）」を好ましく用いることができる。例えば、オブジェクト抽出部２０において解析対象オブジェクトを抽出して特定する画像認識手段として「Ｙｏｕ ｏｎｌｙ ｌｏｏｋ ｏｎｃｅ （ＹＯＬＯ）」を用いることにより、例えば、１０００種類程度の解析対象オブジェクトを同時に並行して個別に抽出することも可能となり、過去の一定以上の時間に蓄積されている膨大な画像情報から、現時点において解析に必要とする有用なオブジェクトのみを高速で且つ人の視認による手動の作業よりも正確に抽出することができる。

［オブジェクト分析部］
オブジェクト分析部３０は、オブジェクト抽出部２０によって抽出された個々の解析対象オブジェクトの属性及び／又は動きを分析する、このオブジェクト分析部３０による分析も、ニューラルネットワークを有する機械学習型の画像認識手段、所謂、ディープラーニング型の画像認識手段によって実行される。尚、ニューラルネットワークを有する機械学習型の画像認識手段（ディープラーニングを用いた画像認識手段）を用いた画像認識技術については、例えば、下記に公開されている。
「ディープラーニングと画像認識、オペレーションズ・リサーチ」
（ｈｔｔｐ：／／ｗｗｗ．ｏｒｓｊ．ｏ．ｊｐ／ａｒｃｈｉｖｅ２／ｏｒ６０−４／ｏｒ６０＿４＿１９８．ｐｄｆ）

又、オブジェクト分析部３０は、その内部構成として、顔認証情報取得部３１、座標設定部３２、骨格抽出部３３を更に備えるものであることが好ましい。

解析対象オブジェクトの属性及び／又は動きの分析を行うニューラルネットワークを有する機械学習型の画像認識手段（ディープラーニングを用いた画像認識手段）のアルゴリズムは特定のアルゴリズムには限定されないが、オブジェクト分析部３０を骨格抽出部３３を備える構成とし、骨格を抽出する画像認識処理手段のアルゴリズムとしては、「Ｏｐｅｎ Ｐｏｓｅ」を用いることが好ましい。

（顔認証情報取得部）
オブジェクト分析部３０は、人の顔に係る画像情報から当該人の年齢及び性別を分析することができる顔認証情報取得部３１を備えることが好ましい。顔認証情報取得部３１としては、従来の公知の各種の顔認証情報取得装置を用いることができる。オブジェクト分析部３０が顔認証情報取得部３１を備えることにより、解析対象カテゴリーが「人」である場合に、解析対象カテゴリーに属する解析対象オブジェクト（人）の年齢や性別等の属性を、高い精度で自動的に分析することができる。

（座標設定部）
オブジェクト分析部３０は、録画済画像２が２次元情報のみを有する画像データからなるものである場合、画像中の解析対象オブジェクトの位置を、録画対象とされている３次元空間内における実際の位置と関連付けて特定可能な座標を設定する座標設定部３２を、備えることが好ましい。

この座標設定部３２は、２次元画像である録画済画像２の画像中における床面に相当する位置を実寸法と関連付けて特定可能な座標を設定する処理を行う。この座標設定部３２が設定する座標とは、録画済画像２中において、ある任意の位置を特定し、その位置が床面にあるとしたときに、その床面が実際の監視領域の空間においてどの位置に相当するのか特定可能な座標である。即ち、この設定される座標上の位置は、実寸法と関連付けて設定される。撮影部１２０が撮影する録画済画像２は、二次元の画像情報であることから、録画済画像２中である位置を選択（特定）したとしても、実際の三次元空間上のどの位置であるのかを特定することができない。しかし、床面上に実寸法と関連付けた座標を設定した上で、録画済画像２中で選択（特定）する位置を、床面であると限定すれば、録画済画像２中で選択（特定）された位置が実空間（監視領域）のどの位置の床面であるのかを特定可能となる。そこで、座標設定部３２は、床面に対応させた座標を設定する。

（骨格抽出部）
又、オブジェクト分析部３０は、上述の通り、複数の特徴点を連接する骨格線で構成される解析対象オブジェクトの骨格を抽出する骨格抽出部３３を備えることが好ましい。骨格抽出部３３は、オブジェクト抽出部２０が抽出した解析対象オブジェクト（例えば、図３における人Ｈと、物Ｍ）について、複数の特徴点とそれらの複数の特徴点を連接する骨格線とで構成される各解析対象の骨格を抽出する処理を行う。

本明細書において、解析対象オブジェクトの「骨格」とは、解析対象オブジェクトの複数の特徴点とこれらを連接してなる線状の図形である。図４は、解析対象である人Ｈから骨格が抽出されている状態を示す図である。図４において、解析対象オブジェクトである人Ｈの頭頂部、左手Ｈ_２、及び、その他の四肢の先端や主たる関節部分に対応する位置が特徴点（ｈ_１、・・・、ｈ_ｎ）として把握されており、これらの複数の特徴点と、それらを連接する線分とによって形成される解析対象Ｈの「骨格」が、録画済画像２内の解析対象オブジェクトの「骨格」として認識されている。

オブジェクト分析部３０が骨格抽出部３３を備えることにより、抽出された骨格を構成する特徴点の「位置」の変動に係る情報に基づいて、解析対象オブジェクトの「動き」を認識することができる。尚、ここでいう「動き」には、解析対象オブジェクトの位置変動、位置変動を伴わない姿勢の変化等、骨格の特徴点の位置変動によって把握することが可能な解析対象オブジェクトのあらゆる動きが含まれる（図５、図６参照）。

又、解析対象カテゴリーが「人」及び「物」を含んでいる場合に、「人」の骨格を構成する特徴点の速度ベクトルと「物」の骨格を構成する特徴点の速度ベクトルとの差分を入力値とし、この入力値と既定の閾値との比較によっても、解析対象の動きに係る特徴を分析することができる。これにより、例えば、「人が物を掴んでそのまま持ち去る」というような「人」の「物」に対する動作を含めた解析対象オブジェクトの動きを統合的に分析することができる（図５、６参照）。

解析対象オブジェクトの骨格の抽出は、具体的には、従来公知の様々な手法の何れか、又は、それらを組合せて行うことができる。一例として、下記文献に開示されている「ＯｐｅｎＰｏｓｅ」と称される技術を用いることにより、２次元の録画済画像２から「人」の骨格を抽出することができる。
「Ｚｈｅ Ｃａｏ 他 Ｒｅａｌｔｉｍｅ Ｍｕｌｔｉ−Ｐｅｒｓｏｎ ２Ｄ Ｈｕｍａｎ Ｐｏｓｅ Ｅｓｔｉｍａｔｉｏｎ ｕｓｉｎｇ Ｐａｒｔ Ａｆｆｉｎｉｔｙ Ｆｉｅｌｄｓ， ＣＶＰＲ ２０１７」

図４は、オブジェクト抽出部２０によって解析対象オブジェクトとして抽出された人Ｈ及び物Ｍについて、抽出されたそれぞれの骨格の特徴点（ｈ１、ｈ２、・・・ｈ５）、（ｍ１）が、座標設定部３２によって設定されている３次元情報（奥行情報）を含む座標上に重ね合わされている状態を示す図である。

そして、人Ｈの立ち位置が、３次元情報（奥行情報）を含む座標上で特定できれば、例えば、録画済画像２内での人Ｈのサイズや形状から、実際の３次元空間内における人Ｈの実際のサイズや立体形状を算出して把握することができる。つまり、２次元の画像データ（録画済画像２内の座標上に重ね合わされた特徴点の位置情報）から、人Ｈや物Ｍの位置や運動に係る三次元データを取得することができる。

図６は、各解析対象オブジェクトの骨格を構成する各特徴点の３次元位置の変動に係る情報に基づいて、各解析対象オブジェクトの動きが認識される状態を示す図である。ここでは、解析対象オブジェクトとして特定された人Ｈの左手Ｈ２の位置が、実際の３次元空間内において位置ｈ２_０（ｘｈ２_０、ｙｈ２_０、ｚｈ２_０）から位置ｈ２_１（ｘｈ２_１、ｙｈ２_１、ｚｈ２_１）に移動したこと、及び、同じく解析対象オブジェクトである物Ｍについては位置ｍ１_０（ｘｍ１_０、ｙｍ１_０、ｚｍ１_０）に静止していること、そして、「人Ｈの左手Ｈ２の移動後の位置ｈ２_１と、物Ｍの位置ｍ１_０とが、実際の３次元空間内において一致していること」が認識されている。

尚、オブジェクト分析部３０は、骨格抽出部３３を備えることによって、監視対象オブジェクト（人）の視線方向を検知することもできる。例えば、監視対象オブジェクト（人）に係る両耳と鼻の位置に対応する「３か所の視線方向検知用特徴点」を結んで形成される三角形の「３次元位置情報」から、当該監視対象オブジェクト（人）の視線方向を検知することができる。具体的には、上記の三角形において両耳の位置に対応する点を結んでなる底辺の中点から、鼻の位置に対応する点である頂点に向かう方向を、監視対象人物の３次元空間内での視線方向として検知することができる。尚、視線方向の検知は、上記方法に限らず従来公知のその他の視線検出手段を適宜本発明に組合せて用いることもできる。

［解析部］
解析部４０は、オブジェクト分析部３０において分析された解析対象オブジェクトの属性及び又は動きの統計量を解析してデータ化する。そして、解析対象オブジェクトの属性、動きの解析結果として得ることができる統計量に係る数値データを、ダッシュボード５０に出力する。尚、解析対象オブジェクトの解析結果である統計量の具体例として、例えば、特定の売り場の特定の位置における年齢・性別毎の人の流れや滞留時間と、当該位置に陳列されている商品の売り上げとの相関等を挙げることができる。

解析部４０は、ダッシュボードとは独立したサーバー内に構成してもよいし、パーソナルコンピュータやタブレット端末、スマートフォン等を利用して、クライアント側に構成することもできる。何れの構成においても、解析部４０は、ＣＰＵ、メモリ、通信部等のハードウェアを備ることによって、上記解析処理を行う。

［ダッシュボード］
ダッシュボード５０は、解析部４０による統計量の解析結果を含んで構成される統計データ（例えば、図２における３ａ〜３ｅ）を表示する。ダッシュボード５０は、マーケティングデータを分析用にグラフ等で可視化して経営数値等を分析し易く表示する装置である。

ダッシュボード５０は、マーケティングデータを管理する業務アプリケーション（例えば、Ｗｅｂアプリケーション等）がインストールされた市販のデスクトップ型パーソナルコンピュータや、市販のノート型パーソナルコンピュータ、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、スマートフォン、タブレット型パーソナルコンピュータ等の携帯型情報処理装置によって構成することもできる。

［マーケティング活動支援装置の動作］
マーケティング活動支援装置１の動作により実行される本発明の情報処理方法（マーケティング活動支援方法）は、カテゴリー指定部１０において実行されるカテゴリー指定ステップ、オブジェクト抽出部２０において実行されるオブジェクト抽出ステップ、オブジェクト分析部３０において実行されるオブジェクト分析ステップ、解析部４０において実行される解析ステップ、及び、ダッシュボードにおいて実行される統計データ表示ステップと、が順次行われることによって、全体プロセスとして実行される。

そして、本発明の情報処理方法（マーケティング活動支援方法）においては、上記各ステップのうち、オブジェクト抽出ステップ及びオブジェクト分析ステップが、ニューラルネットワークを有する機械学習型の画像認識手段（ディープラーニング型の画像認識手段）によって実行される。

（カテゴリー指定ステップ）
カテゴリー指定ステップにおいては、解析部４０において解析対象とする特定の解析対象カテゴリーが指定される。この解析対象カテゴリーの指定は、オブジェクト抽出部２０が録画済画像２中において個別に分類抽出することが可能な任意のカテゴリーを選択することにより行われる。この解析対象カテゴリーの指定は、上述の通り、作業者がマーケティング活動支援装置１を用いる度毎に、都度、手動操作で任意の対象を指定することによって行うこともできるし、或いは、予め、特定の解析対象カテゴリーをデフォルトで設定しておき、必要な場合だけ当該設定を手動で変更して指定することによって行うこともできる。

（オブジェクト抽出ステップ）
オブジェクト抽出ステップにおいては、録画済画像２から、カテゴリー指定ステップにおいて指定された解析対象カテゴリーに属する個々の解析対象オブジェクトが、オブジェクト抽出部２０によって抽出される。オブジェクト抽出ステップは、上述の通り、ニューラルネットワークを有する機械学習型の画像認識手段によって実行される。

（オブジェクト分析ステップ）
オブジェクト分析ステップにおいては、オブジェクト抽出ステップにおいて抽出された個々の解析対象オブジェクトの属性及び／又は動きが、オブジェクト分析部３０によって分析される。オブジェクト分析ステップも、ニューラルネットワークを有する機械学習型の画像認識手段によって実行される。

尚、オブジェクト分析ステップにおいては、解析対象オブジェクトの分析に先行して、予め座標設定部３２による座標設定処理が行われることが好ましい。但し、距離センサー等の測距手段や３Ｄカメラ等によって録画済画像２に予め３次元情報が付与されている場合であれば、座標設定部３２による座標設定処理は、本発明の監視方法において必ずしも必須の処理ではない。

（解析ステップ）
解析ステップにおいては、解析部４０が、オブジェクト抽出ステップにおいて抽出された解析対象オブジェクトについて、オブジェクト分析ステップにおいて分析された属性及び／又は動きの統計量を解析する。

（統計データ表示ステップ）
統計データ表示ステップにおいては、ダッシュボード５０に、解析部４０によって解析された統計量の解析結果を含んで構成される統計データが表示される。

本発明の情報処理方法（マーケティング活動支援方法）においては、最終的にダッシュボード５０に表示させたい統計データの内容に応じて、適宜、適切な解析対象カテゴリーを解析対象カテゴリー指定ステップにおいて指定すればよい。

例えば、店舗の店員の動きについての解析結果を得たい場合であれば、解析対象カテゴリーとして「人」を指定し、予め店員の顔認証情報等の固有の生体情報をオブジェクト分析部に登録しておくことにより、抽出された「人」の中から店員だけを特定して、その動きを分析し、分析された動きを統計的に解析することで、録画済画像から、店舗の店員の動きについての解析結果を得て、この結果を、ダッシュボード５０に使用者が理解し易いグラフ等の任意の形式で表示することができる。或いは、特定の物品（商品）と、その商品の近くに位置する「人」の属性と動きを解析することにより、当該商品の近辺での人の流れに係る統計データ（特定場所における特定の属性の人の通過率、平均滞在時間等）を上記同様に理解容易なグラフや表の形式で表示することができる。

１ 情報処理装置（マーケティング活動支援装置）
１０ カテゴリー指定部
２０ オブジェクト抽出部
３０ オブジェクト分析部
３１ 顔認証情報取得部
３２ 座標設定部
３３ 骨格抽出部
４０ 解析部
５０ ダッシュボード
２ 録画済画像
３、３ａ、３ｂ、３ｃ 解析結果（マーケティングデータ）

Claims (14)

1. 特定の解析対象カテゴリーを指定することができる、カテゴリー指定部と、
   前記カテゴリー指定部によって指定されている前記解析対象カテゴリーに属する解析対象オブジェクトを録画済画像から抽出する、オブジェクト抽出部と、
   抽出された前記解析対象オブジェクトの属性及び／又は動きを分析する、オブジェクト分析部と、
   分析された前記解析対象オブジェクトの属性及び又は動きの統計量を解析する、解析部と、
   前記統計量の解析結果を含んで構成される統計データを表示する、ダッシュボードと、
   を備え、
   前記オブジェクト抽出部による前記解析対象オブジェクトの抽出、及び、前記オブジェクト分析部による前記解析対象オブジェクトの属性及び／又は動きの分析が、何れも、ニューラルネットワークを有する機械学習型の画像認識手段により実行され、
   前記オブジェクト分析部は、２次元画像である前記録画済画像中における位置と、録画対象とされている３次元空間内における実際の位置とを関連づける座標を、前記録画済画像中に設定する座標設定部を含んで構成されている、
   情報処理装置。
2. 前記オブジェクト抽出部には、前記録画済画像がデジタルデータとして入力され、人間が視認可能な二次元画像への変換処理を経由せずに、該デジタルデータから解析対象オブジェクトが直接抽出される、
   請求項１に記載の情報処理装置。
3. 前記オブジェクト分析部は、人の顔に係る画像情報から当該人の年齢及び性別を分析することができる顔認証情報取得部を含んで構成されている、
   請求項１又は２に記載の情報処理装置。
4. 前記オブジェクト分析部は、複数の特徴点を連接する骨格線で構成される前記解析対象オブジェクトの骨格を抽出する骨格抽出部を含んで構成されていて、前記特徴点の位置変動から個々の前記解析対象オブジェクトの動きを認識する、
   請求項１から３の何れかに記載の情報処理装置。
5. 請求項１から４の何れかに記載の情報処理装置であって、前記統計データがマーケティングデータである、マーケティング活動支援装置。
6. 特定の解析対象カテゴリーを指定することができる、カテゴリー指定部と、
   前記カテゴリー指定部によって指定されている前記解析対象カテゴリーに属する解析対象オブジェクトを録画済画像から抽出する、オブジェクト抽出部と、
   抽出された個々の前記解析対象オブジェクトの属性及び／又は動きを分析する、オブジェクト分析部と、
   分析された前記解析対象オブジェクトの属性及び／又は動きの統計量を解析する、解析部と、
   前記統計量の解析結果を含んで構成される統計データを表示する、ダッシュボードと、
   を備え、
   前記オブジェクト抽出部による前記抽出、及び前記オブジェクト分析部による前記分析が、何れも、ニューラルネットワークを有する機械学習型の画像認識手段により実行される、
   前記オブジェクト分析部は、２次元画像である前記録画済画像中における位置と、録画対象とされている３次元空間内における実際の位置とを関連づける座標を、前記録画済画像中に設定する座標設定部を含んで構成されている、
   情報処理システム。
7. 請求項６に記載の情報処理システムであって、前記統計データがマーケティングデータである、マーケティング活動支援システム。
8. カテゴリー指定部において、特定の解析対象カテゴリーを指定するカテゴリー指定ステップと、
   オブジェクト抽出部が、録画済画像から、前記カテゴリー指定ステップにおいて指定された解析対象カテゴリーに属する解析対象オブジェクトを抽出する、オブジェクト抽出ステップと、
   オブジェクト分析部が、抽出された個々の前記解析対象オブジェクトの属性及び／又は動きを分析する、オブジェクト分析ステップと、
   解析部が、分析された前記属性及び／又は動きの統計量を解析する、解析ステップと、
   ダッシュボードが、前記統計量の解析結果を含んで構成される統計データを表示する、統計データ表示ステップと、
   を備え、
   前記オブジェクト抽出ステップによる前記解析対象オブジェクトの抽出、及び、前記オブジェクト分析ステップによる前記解析対象オブジェクトの属性及び／又は動きの分析が、何れも、ニューラルネットワークを有する機械学習型の画像認識手段により実行され、
   前記オブジェクト分析ステップにおいて、座標設定部が、２次元画像である前記録画済画像中における位置と、録画対象とされている３次元空間内における実際の位置とを関連づける座標を、前記録画済画像中に設定する、
   情報処理方法。
9. 前記オブジェクト抽出ステップにおいて、前記オブジェクト抽出部には、前記録画済画像がデジタルデータとして入力され、人間が視認可能な二次元画像への変換処理を経由せずに、該デジタルデータから解析対象オブジェクトが直接抽出される、
   請求項８に記載の情報処理方法。
10. 前記オブジェクト分析ステップにおいて、顔認証情報取得部が、人の顔に係る画像情報から当該人の年齢及び性別を分析する、
    請求項８又は９に記載の情報処理方法。
11. 前記オブジェクト分析ステップにおいて、骨格抽出部が、複数の特徴点を連接する骨格線で構成される前記解析対象オブジェクトの骨格を抽出し、前記特徴点の位置変動から個々の前記解析対象オブジェクトの動きが認識される、
    請求項８から１０の何れかに記載の情報処理方法。
12. 請求項８から１１の何れかに記載の情報処理方法であって、前記統計データがマーケティングデータである、マーケティング活動支援方法。
13. 特定の解析対象カテゴリーを指定することができる、カテゴリー指定部と、
    前記カテゴリー指定部によって指定されている前記解析対象カテゴリーに属する解析対象オブジェクトを録画済画像から抽出する、オブジェクト抽出部と、
    抽出された前記解析対象オブジェクトの属性及び／又は動きを分析する、オブジェクト分析部と、
    分析された前記解析対象オブジェクトの属性及び又は動きの統計量を解析する、解析部と、
    前記統計量の解析結果を含んで構成される統計データを表示する、ダッシュボードと、
    を備え、
    前記オブジェクト分析部は、２次元画像である前記録画済画像中における位置と、録画対象とされている３次元空間内における実際の位置とを関連づける座標を、前記録画済画像中に設定する座標設定部を含んで構成されている、
    情報処理装置において、
    録画済画像から、特定の解析対象カテゴリーに属する解析対象オブジェクトを、ニューラルネットワークを有する機械学習型の画像認識手段によって抽出する、オブジェクト抽出ステップと、
    抽出された個々の前記解析対象オブジェクトの属性及び／又は動きを、ニューラルネットワークを有する機械学習型の画像認識手段によって分析する、オブジェクト分析ステップと、
    分析された前記属性及び／又は動きの統計量を解析する、解析ステップと、
    前記統計量の解析結果を含んで構成される統計データをダッシュボードに表示する、統計データ表示ステップと、
    を、前記情報処理装置に実行させるプログラム。
14. 請求項１３に記載のプログラムであって、前記統計データがマーケティングデータである、マーケティング活動支援用のプログラム。

Images