JP7378625B2 - 人間の社会的行動の分類を決定するための方法およびシステム - Google Patents

Description

本開示は、一般に小売店環境に関し、より詳細には、小売店環境における人間の社会的行動を分類することに関する。

ソーシャルスタイルは、人が世界でどのように動くか、伝達するか、決定を下すか、および他者と対話するかに関係する、観察可能な行動である。したがって、ソーシャルスタイルは、観察可能な環境内の異なる地点における人間行動を観察することを通じて容易に検出可能である。従来の広告方法は、的を絞った広告キャンペーンを顧客に対して最適化するために、パーソナリティスタイルを予測しようと試みる。しかし、ソーシャルスタイルは、パーソナリティスタイルとはかなり異なる。より具体的には、パーソナリティスタイルは、信念、気持ち、モラル、および態度など、外部から容易に観察できない人々の態様と共に、ソーシャルスタイルを含む。

小売店環境では、窃盗を減らすために、または顧客の購買行動を調査するためおよび広告を掲示するために、または意味があり迅速なリアルタイムのアドバイスを小売業者に提供する目的で、観察される人間行動のみに基づいて人間対象者のパーソナリティスタイルを正確に予測することが必要とされることがある。このような環境では、推定されるソーシャルスタイルの精度は、顧客がその環境で観察される継続時間に大きく依存する。特に、人の信念および気持ちのより見えにくい態様を明らかにするために、アンケートまたは他の質問方法が実施されることがある。しかし、そのような追加の質問システムを実施するのはコストがかさむ。さらに、消費者は、こうした方式で質問されることにますますうんざりしている。

上記に鑑みて、既存のシステムの限界を克服するシステムおよび方法であって、顧客にとってより低コストであり侵入的でない方式で小売店環境における顧客行動の調査を容易にするシステムおよび方法の必要性が存在する。

本開示の態様では、事前定義済みの閉じられた環境における人間対象者にソーシャルスタイルクラスを割り当てるためのシステムが提供される。システムは、人間対象者の画像およびビデオデータをリアルタイムで取り込むように構成された画像取込み構成要素を備える。システムは、画像およびビデオデータを分析することによって人間対象者の姿勢検出および追跡をリアルタイムで実施するように構成された姿勢検出構成要素をさらに備えてよい。システムは、姿勢検出構成要素によって検出された姿勢のシーケンスを関係付けて人間対象者のアクションを検出するように構成されたアクション検出構成要素をさらに備えてよい。システムは、アクション検出構成要素によって検出されたアクションのシーケンスを関係付けて人間対象者のアクティビティを検出するように構成されたアクティビティ検出構成要素をさらに備えてよい。システムは、ソーシャルスタイル分類構成要素をさらに備えてよく、このソーシャルスタイル分類構成要素は、姿勢検出、アクション検出、およびアクティビティ検出構成要素の出力に基づいて人間対象者の平均速度ｓを第１のソーシャル属性として決定することと、対話時間Ｔ_intを第２のソーシャル属性として決定することであって、対話時間は事前定義済みの閉じられた環境で人間対象者が１人または複数の他の人間対象者と対話することによって費やされた平均時間である、決定することと、分析時間Ｔ_analを第３のソーシャル属性として決定することであって、分析時間は人間対象者がアイテムを分析することによって費やされた平均時間である、決定することと、第１、第２、および第３のソーシャル属性の値に基づいて人間対象者にソーシャルスタイルクラスを自動的に割り当てることとを行うように構成される。

本開示の別の態様では、事前定義済みの閉じられた環境における人間対象者にソーシャルスタイルクラスを割り当てる方法が提供される。方法は、人間対象者の画像およびビデオデータをリアルタイムで取り込むことを含む。方法は、画像およびビデオデータを分析することによって人間対象者の姿勢検出および追跡をリアルタイムで実施することをさらに含んでよい。方法は、検出された姿勢のシーケンスを関係付けることによって人間対象者のアクションを検出することをさらに含んでよい。方法は、検出されたアクションのシーケンスを関係付けることによって人間対象者のアクティビティを検出することをさらに含んでよい。方法は、姿勢検出、アクション検出、およびアクティビティ検出に基づいて人間対象者の平均速度ｓを第１のソーシャル属性として決定することをさらに含んでよい。方法は、対話時間Ｔ_intを第２のソーシャル属性として決定することをさらに含んでよく、対話時間は、事前定義済みの閉じられた環境で人間対象者が１人または複数の他の人間対象者と対話することによって費やされた平均時間である。方法は、分析時間Ｔ_analを第３のソーシャル属性として決定することをさらに含んでよく、分析時間は、人間対象者がアイテムを分析することによって費やされた平均時間である。方法は、第１、第２、および第３のソーシャル属性の値に基づいて人間対象者にソーシャルスタイルクラスを自動的に割り当てることをさらに含んでよい。

本開示のさらに別の態様では、事前定義済みの閉じられた環境における人間対象者にソーシャルスタイルクラスを割り当てるためのコンピュータプログラム可能製品が提供される。コンピュータプログラム可能製品は命令のセットを備え、命令のセットは、プロセッサによって実行されたとき、プロセッサに、人間対象者の画像およびビデオデータをリアルタイムで取り込むことと、画像およびビデオデータを分析することによって人間対象者の姿勢検出および追跡をリアルタイムで実施することと、検出された姿勢のシーケンスを関係付けることによって人間対象者のアクションを検出することと、検出されたアクションのシーケンスを関係付けることによって人間対象者のアクティビティを検出することと、姿勢検出、アクション検出、およびアクティビティ検出に基づいて人間対象者の平均速度ｓを第１のソーシャル属性として決定することと、対話時間Ｔ_intを第２のソーシャル属性として決定することであって、対話時間は事前定義済みの閉じられた環境で人間対象者が１人または複数の他の人間対象者と対話することによって費やされた平均時間である、決定することと、分析時間Ｔ_analを第３のソーシャル属性として決定することであって、分析時間は人間対象者がアイテムを分析することによって費やされた平均時間である、決定することと、第１、第２、および第３のソーシャル属性の値に基づいて人間対象者にソーシャルスタイルクラスを自動的に割り当てることとを行わせる。

本発明の様々な実施形態は、所与の小売環境内の個々の顧客のソーシャルスタイルクラスのリアルタイム分類を提供する。より具体的には、本発明は、小売店エリア内のほぼ頭上にあるカメラの視野内の各顧客のソーシャルスタイル分類のリアルタイム推定を提供する。これは、小売業者が、迅速で応答性があり場合によっては先制的なアクションを講じて、顧客に近接する小売環境を調整し、それによって顧客のためのカスタマイズされた小売体験を提供するのを可能にする。しかし、本発明において採用される方法は小売環境に制限されないことは理解されるであろう。反対に、本発明は、多くの異なる環境で人間によって発現される行動の理解に基づく。したがって、本発明は、ほぼ外乱のない人間行動が観察されることのある任意の環境に、潜在的に適用可能である。

別の態様では、本発明は、最小限のハードウェア費用と、顧客のプライバシーへの最小限の侵入および最小限の関連する顧客混乱とを伴って、ソーシャルスタイルの推定を可能にするのに十分な顧客行動属性の観察を可能にする。外乱や干渉なしに顧客を観察することによって、本発明は、影響を受けないソーシャルスタイル類型の検出を可能にし、それにより、本発明は、必要とされる広告メッセージが顧客によって取り込まれるのを向上させるように適切な環境影響の設計において使用するための、小売業者の顧客に関する他の形の汚染されていない理解を小売業者に提供する。また、店への訪問途中にリアルタイムで人間のソーシャルスタイルを分類するための、以前の訪問からの顧客情報の記憶を必要しないメカニズムが提供される。これは、対象者のソーシャルスタイルのコンテキスト感度に対応することと、個々の顧客の個人データを記憶することによって呈示されるデータ保護およびロジスティック課題を回避することとを容易にする。

本開示の特徴が、添付の特許請求の範囲によって定義される本開示の範囲を逸脱することなく様々な組合せで組み合わせられることが可能であることは認識されるであろう。

上記の概要、ならびに例証的な実施形態に関する後続の詳細な説明は、添付図面と共に読まれたときにより良く理解される。本開示を例証する目的で、本開示の例示的な構成が図面に示される。しかし、本開示は、本明細書で開示される具体的な方法および手段に限定されない。さらに、図面が一定の縮尺ではないことを、当業者なら理解するであろう。可能な場合は常に、同様の要素は同一の数字によって示されている。

本発明の様々な実施形態が実践されることが可能な環境を示す図である。 本開示の実施形態に従った、人間における４つの異なるタイプのソーシャルスタイルクラスを示す社会的行動空間を示す図である。 本開示の別の実施形態に従った、社会的人間行動を分類および調査するためのシステムを示す図である。 本開示の実施形態に従った、速度、平均対話時間、および平均分析時間がそれぞれｘ、ｙ、およびｚ軸を形成する観察可能行動属性空間を示す図である。 本開示の実施形態に従った、小売店エリアにおける顧客のほぼ上から見下ろした眺めを取り込むように位置決めされた頭上カメラを示す図である。 本開示の実施形態に従った、ソーシャルスタイル分類を容易にするための、小売店エリアにおける顧客についての第１、第２、および第３のルートｘ、ｙ、およびｚを示す図である。 本開示の実施形態に従った、ソーシャルスタイル分類を容易にするための、小売店エリアにおける顧客についての第１、第２、および第３のルートｘ、ｙ、およびｚを示す図である。 本開示に従った、社会的人間行動を分類および調査する方法のステップを示す図である。

添付図面において、下線付きの番号は、下線付きの番号が上に位置決めされているアイテム、または下線付きの番号が隣接しているアイテムを表すために利用される。下線なしの番号は、下線なしの番号をアイテムにリンクする線によって識別されるアイテムに関係する。番号に下線が付いておらず、関連する矢印が付随するとき、この下線なしの番号は、矢印が指している全体的なアイテムを識別するために使用される。

後続の詳細な説明は、本開示の実施形態、およびそれらが実施されることが可能な方式を例証する。本開示を遂行する最良の形態が開示されているが、本開示を遂行または実践するための他の実施形態も可能であることを当業者なら認識するであろう。

図１は、本発明の様々な実施形態が実践されることが可能な環境１００を示す。環境１００は、小売店エリア１０２と、小売店エリア１０２に関係する画像およびビデオデータをリアルタイムで取り込むための画像取込み構成要素１０４と、小売店エリア１０２における顧客の行動を分類および調査するために小売店エリア１０２にある様々なコンピューティングデバイスおよび画像取込み構成要素１０４に通信可能に結合された中央制御ユニット１０６とを含む。

小売店エリア１０２は、第１から第６の顧客１０８ａ、１０８ｂ、１０８ｃ、１０８ｄ、１０８ｅ、および１０８ｆ（以下では顧客１０８と総称される）と、顧客１０８によって購入されるためのアイテムを格納するように構成された第１から第３の棚１１０ａ、１１０ｂ、および１１０ｃ（以下では棚１１０と総称される）と、顧客１０８がその製品の代金を後払いするのを可能にするための第１および第２の勘定カウンタ１１２ａおよび１１２ｂ（以下ではカウンタ１１２と総称される）とを含む。顧客は、以下では対象者と呼ばれることもある。

本発明は、顧客の最終目標が製品の評価および選択に関係している小売店エリア１０２に向けられているが、他の環境では、観察される対象者が別の目的を有してよいことが理解される。

本開示のコンテキストにおいて、カウンタ１１２は、小売店の上層管理者によって手動で操作されてよく、または顧客１０８自身によってセルフ操作されてよい。勘定カウンタ１１２の各々には、対応する顧客が１つまたは複数のアイテムを自分でスキャンするのを可能にするためのスキャナと、ユーザが１つまたは複数のアイテムの必要な選択および支払いを行うのを可能にするためのユーザディスプレイとが備わってよい。例では、スキャナは、バーコードのアイテムを識別するようにアイテムのバーコードをスキャンするためのバーコードスキャナであってよい。好ましくは、スキャナは、スーパーマーケットおよび他の小売店の精算カウンタ用に設計された、スキャンゾーンに置かれたアイテムをスキャンするための、壁またはテーブルに取り付けられた据置き型のスキャナである。本開示のコンテキストにおいて、スキャンゾーンは、ユーザがアイテムを購入する目的でスキャンのためにこれらのアイテムを持っていく、スキャナの正面のエリアである。カウンタ１１２の各々は、１つまたは複数のアイテムのスキャンを記録するため、およびスキャンされた１つまたは複数のアイテムの支払いに関する指示を対応するユーザディスプレイ上に提供するための、プロセッサ（図示せず）を備えてよい。

画像取込み構成要素１０４は、小売店エリア１０２の画像およびビデオデータをリアルタイムで取り込むために小売店エリア１０２に設置された１つまたは複数のカメラ（図示せず）を含む。本開示の実施形態では、画像取込み構成要素１０４は、１つまたは複数の頭上カメラを含む。本開示の別の実施形態では、画像取込み構成要素１０４は、１つまたは複数のトップダウンカメラを含む。画像取込み構成要素１０４のカメラは、顧客の特徴または各顧客の顔を必ずしも取り込むことなく各カメラの視野内で複数の顧客が取り込まれるのを可能にするように、顧客の顔に対して十分に高い高さで複数の方式で位置および角度が設定されてよいことは、当業者には明らかであろう。

本開示の実施形態では、小売店エリア１０２の様々なコンピューティングデバイスが、通信ネットワークを通じて中央制御ユニット１０６に通信可能に結合されてよい。例えば、勘定カウンタ１１２の各々のプロセッサおよびスキャナは、中央制御ユニット１０６に通信可能に結合されてよい。通信ネットワークは、本開示の範囲を限定することなく、任意の適切な有線ネットワーク、無線ネットワーク、これらの組合せ、または他の任意の従来型ネットワークであってよい。いくつかの例は、ローカルエリアネットワーク（ＬＡＮ）、無線ＬＡＮ接続、インターネット接続、ポイントツーポイント接続、または他のネットワーク接続、およびこれらの組合せを含んでよい。一例では、ネットワークは、モバイル通信ネットワーク、例えば２Ｇ、３Ｇ、４Ｇ、または５Ｇモバイル通信ネットワークを含んでよい。通信ネットワークは、１つまたは複数の他のネットワークに結合されてよく、それにより、より多くのデバイス間の結合を提供する。このようなことは、例えば、ネットワークがインターネットを介して共に結合されるとき現実となる可能性がある。

本開示の実施形態では、中央制御ユニット１０６は、メリルレイドの社会的行動モデルに従って顧客１０８の行動を分類および調査するように構成される。メリルおよびレイドの研究に従えば、人間は、４つの潜在的な社会的行動特性を呈し、すなわちこれらは、外向的、内向的、人間指向、およびタスク指向にカテゴリ化される。

図２は、人間における４つの異なるタイプのソーシャルスタイルクラスを示す社会的行動空間２００を示し、これらのソーシャルスタイルクラスは、社会的行動空間２００内での社会的行動の分布に依存する。第１のソーシャルスタイルクラス２０２は「ドライバ」と呼ばれることがあり、これに従えば、人は、外向的でタスク中心であり、目標中心、意欲的、果断、精力的、ペースが速いと特徴付けられる。第２のソーシャルスタイルクラス２０４は「アナリティカル」と呼ばれることがあり、これに従えば、人は、内向的でタスク中心であり、事実およびタスク指向、論理的、ベンチマークや統計などの根拠を必要とする、決定に時間を要すると特徴付けられる。第３のソーシャルスタイルクラス２０６は「エミアブル」と呼ばれることがあり、これに従えば、人は、内向的で人間中心であり、首尾一貫、信頼でき安定的、協力的で友好的、優柔不断、リスクを嫌うと特徴付けられる。第４のソーシャルスタイルクラス２０８は「エクスプレッシブ」と呼ばれることがあり、これに従えば、人は、外向的で人間中心であり、関係指向、話し上手で社交的、状況重視、大局的に考える人と特徴付けられる。

対象者によって発現されるソーシャルスタイルクラスは、外部状況および刺激、例えば、人が良い気分であるか、または人が混乱しているか、または人が自分の気を逸らしているかもしれない他の人々を同行させているか、などからの影響を受けやすいことは理解されるであろう。したがって、所与の対象者のソーシャルスタイル分類は、いくつかの状況では変動することがある。しかし、外因がもはや存在しなくなると、対象者の行動はその初期の形に戻ることがある。

図２に関して記述されたソーシャルスタイルモデルとは別に、計画的行動理論、健康信念モデル、多理論統合モデル、およびビッグファイブモデルなど、他のいくつかの人間行動モデルが使用されてよいことは、当業者には明らかであろう。また、個々の小売業者が、そのビジネスニーズに従って、上で言及された人間行動モデルに基づく独自の顧客分類モデルを使用してもよい。本発明はソーシャルスタイル類型の検出に関して記述されるが、本発明がこの分類モデルに限定されないことは当業者なら理解するであろう。反対に、本発明の方法は、関係のあるまたは無関係の複数の個人の各々の行動的に重要なアクティビティを検出することに関係するので、本発明の方法は、視覚的に観察可能な人間のアクティビティを検出することに依拠する任意の行動分類モデルと共に動作可能である。

図３は、本開示の実施形態に従った、社会的人間行動を分類および調査するためのシステム３００を示す。システム３００は、（図１の中央制御ユニット１０６と同様の）中央制御ユニット３０１、および（図１の画像取込み構成要素１０４と同様の）画像取込み構成要素３０２を備える。中央制御ユニット３０１は、中央処理装置（ＣＰＵ）３０３、メモリ３０４、および操作パネル３０５を備える。ＣＰＵ３０３は、操作パネル３０５やメモリ３０４など様々な構成要素の動作を制御するプロセッサ、マイクロコントローラ、または他の回路を含んでよい。ＣＰＵ３０３は、小売エリア店１０２における顧客１０８の行動を分類および調査するために、例えばメモリ３０４などの揮発性もしくは不揮発性メモリに記憶されているかまたは他の方法でＣＰＵ３０３に提供されるソフトウェア、ファームウェア、および／または他の命令を実行してよい。ＣＰＵ３０３は、１つまたは複数のシステムバス、ケーブル、または他のインタフェースなど、有線または無線接続を通じて、操作パネル３０５およびメモリ３０４に接続されてよい。操作パネル３０５は、ユーザインタフェースであってよく、物理キーパッドまたはタッチスクリーンの形をとってよい。操作パネル３０５は、選択された機能、選好、および／または認証に関係する入力を１人または複数のユーザから受け取ってよく、視覚的および／または聴覚的に入力を提供および／または受領してよい。

本開示の実施形態では、ＣＰＵ３０３は、姿勢検出構成要素３０６、アクション検出構成要素３０８、アクティビティ検出構成要素３１０、およびソーシャルスタイル分類構成要素３１２を備える。姿勢検出構成要素３０６は、画像取込み構成要素３０２によって取り込まれたビデオ場面の分析を通じて姿勢検出および追跡を実施して、所与の時点における肘、手首、および頭など対象者の関節の位置を突き止めるように構成される。姿勢検出構成要素３０６は、畳込みニューラルネットワーク（ＣＮＮ）および専用ロジック要素を含んでよく、それにより、時間の経過に伴う対象者の関節の動きが評価され、例えば右手と左手とを区別するために、具体的な姿勢に関連付けられるパターンが検出されて時間の経過に伴う対象者の姿勢の動きが追跡され、骨格に従って、または具体的な姿勢の採用に関連付けられる関節の動きのシーケンスに従って関節がリンクされる。本開示の実施形態では、画像取込み構成要素３０２は、異なる角度で配置された複数の頭上カメラを含んでよく、それにより、姿勢検出構成要素３０６が対象者の骨格構造の具体的な態様を分析して種々の身体部分接合部のモーション推定および動き予測を実施することができるようにする。

アクション検出構成要素３０８は、専用ロジック要素を使用して、姿勢変化のシーケンスを、製品を棚から選び取るなどの特定のアクションに関係付けるように構成される。より具体的には、アクション検出構成要素３０８は、リカレントニューラルネットワーク（ＲＮＮ）において姿勢検出構成要素３０６によって検出された姿勢変数を使用して、人間対象者によって行われた姿勢変更をビデオ場面から検出し、ロジック要素を適用して、検出された姿勢変更から、対象者によって実施された対応するアクションを識別する。

アクティビティ検出構成要素３１０は、事前定義済みのタスクの実施に関連付けられる、アクション検出構成要素３０８によって決定されたアクションの観察されたシーケンスの存在を検出するように構成される。例では、アイテム選択アクティビティは、アイテムを取り上げること、アイテムを買物カゴ／カートに移動させること、およびアイテムを買物カゴ／カートに入れることなど、複数のアクションを含むことがある。本開示の実施形態では、アクティビティ検出構成要素３１０は、リカレントニューラルネットワーク、または単一の多層分類器など他の分類器を使用して、アクティビティ検出を実施してよい。

本開示の実施形態では、姿勢、アクション、およびアクティビティ検出構成要素３０６、３０８、および３１０において使用される分類器およびロジック要素は、教師ありまたは半教師あり学習方法で利用される事前ラベル付け済みのビデオシーケンスに基づいて訓練されてよい。

本開示の実施形態では、ソーシャルスタイルおよび分類構成要素３１２は、画像取込み構成要素３０２からの視覚的入力および音など他の感覚的入力を使用して、顧客の行動特性を観察するように構成される。本開示の別の実施形態では、ソーシャルスタイルおよび分類構成要素３１２は、人工知能（ＡＩ）を使用して行動特性を観察して、行動タイプを策定し、それらの行動タイプに基づいて人間対話体験を個人化するように構成される。

本開示のさらに別の実施形態では、ソーシャルスタイルおよび分類構成要素３１２は、顧客１０８の速度（ｓ）、対話時間（Ｔ_int）、および分析時間（Ｔ_anal）など少数のソーシャル属性に基づく属性ベースの分類を使用して、顧客１０８の行動特性を観察するように構成される。速度属性（ｓ）は、小売店エリア１０２内の顧客１０８の動きの平均速度を含む。対話時間属性（Ｔ_int）は、顧客１０８が人々と対話することによって費やされた平均時間、または、トリガに応答することによって、例えば、店内掲示広告、もしくは店内の代替強制ルート、もしくは店への入口で顧客を出迎える人々に応答することによって費やされた平均時間である。分析時間属性（Ｔ_anal）は、製品を分析する際に顧客１０８によって費やされた平均時間を含む。

本開示の実施形態では、ソーシャルスタイルおよび分類構成要素３１２は、姿勢検出構成要素３０６、アクション検出構成要素３０８、およびアクティビティ検出構成要素３１０の出力に基づいて平均速度（ｓ）を決定する。平均速度（ｓ）属性は、観察される人間対象者による任意の種類の動きに関して算出され、例えば棚から箱が落ちてくるなど、外部の「危険な」刺激に応答するための対象者の時間は考慮しない。より具体的には、所与の時における具体的な人間対象者の関節の位置がビデオ場面からわかれば、頭、首、肩、手、および足など対象者のすべての関節の動きの速度が、時間の経過に伴って決定されてよい。いくつかの関節は他の関節よりもずっと速く対象者によって動かされることがあり、例えば、手の動きは胴または足の動きよりもはるかに速いことがあることが理解される。したがって、対象者のすべての関節の動きの速度が算出され集約されて、対象者の動きの平均速度の全体的な推定値が得られる。

本開示の実施形態では、関節の動きの組み合わされた速度を集約するプロセスは、定義済みしきい値を超える速度の関節の動きのみを含めることを含んでよい。本開示の別の実施形態では、集約するプロセスは、関節の動き全体の加重平均速度を得るなど、個々の関節に対する差分重み付けを使用することを含んでよい。本開示のさらに別の実施形態では、集約するプロセスは、特定のアクションを他のアクションとは別に評定すること、例えば、歩行に関連付けられる関節速度を、棚の上のアイテムを動かす際の手の動きとは異なるように重み付けすることを含んでよい。

本開示のコンテキストにおいて、対話時間属性（Ｔ_int）は、以下のように表される。
Ｔ_int＝ｆ（Ｔ_other，Ｔ_ear，Ｔ_face） （１）
上式で、
Ｔ_other＝他の人々と対面する際に対象者によって費やされた時間
（Ｔ_ear）＝電話機が耳に当てられた状態で費やされた時間
（Ｔ_face）＝電話機と対面することで、例えば自分の電話機画面を読むかまたは見ることで費やされた時間
ｆ＝荷重和または他の数学演算子

式（１）に基づき、ソーシャルスタイルおよび分類構成要素３１２は、人間対話アクティビティをそれらの継続時間に従って選択するためのしきい値と組み合わせられた姿勢検出構成要素３０６の出力を使用して、他の人々と対面することで費やされた時間（Ｔ_other）を測定する。例では、互いとぶつかるなどの短い偶発的な遭遇と、人々の間におけるより長い会話とは、異なる継続時間を有する。また、対象者が関与する人同士を区別することも有用なことがある。例えば、特定の製品への方向を得るために店員と関与することは、家族や友人などの同行者との対話とは異なる製品入手意図を示すことがある。店員が制服を着ている場合、または他の人が対象者の同行者と容易に区別されるのを可能にする衣類を身に着けている場合は、店員を家族と区別しやすいことがある。

ソーシャルスタイルおよび分類構成要素３１２は、姿勢検出構成要素３０６の出力を使用して、電話機が耳に当てられた状態で対象者によって費やされた時間（Ｔ_ear）を測定するように構成される。Ｔ_otherとは対照的に、Ｔ_earの算出には、個々の事象のしきい値処理は必要ない。すなわち、電話機と対話するという対象者の意図的な目的を反映しない、何らかの偶発的な受信呼への非常に短い応答を、そのようないずれかのしきい値が除外するよう意図されない限り、そうしたしきい値処理は必要ない。

ソーシャルスタイルおよび分類構成要素３１２は、姿勢検出構成要素３０６からの出力と、電話機の存在を識別するためのオブジェクト認識プロセスとを使用して、対象者が電話機と対面することによって費やされた時間（Ｔ_face）を測定するように構成される。この変数のオブジェクト認識態様は、対象者が電話機と対面することによって費やされた時間と、対象者が製品のラベルを読むことによって費やされた時間とが区別されるのを可能にするために必要である。

ソーシャルスタイルおよび分類構成要素３１２は、対象者が自分の手の中の製品を見ることによって費やされた時間と、棚を見ることで費やされた時間との組合せに基づいて、分析時間属性（Ｔ_anal）を決定するように構成される。分析時間属性（Ｔ_anal）は、手および腕の関節の動きに焦点を合わせて、製品を棚から取る、製品を見る、製品を回転させて製品の値札または原材料または他の特徴を見る、および製品をカゴ／カートに入れるかまたは棚に戻す、などの指定されたアクティビティを検出することによって決定される。本開示の実施形態では、分析時間属性（Ｔ_anal）は、姿勢検出構成要素３０６、アクション検出構成要素３０８、およびアクティビティ検出構成要素３１０の出力を、対象者の手に保持されていることのある異なるオブジェクト間を区別するように設計された１つまたは複数のオブジェクト認識アルゴリズム、例えば販売製品とユーザの携帯電話機とを区別するオブジェクト認識アルゴリズムと組み合わせることによって、決定される。この区別により、小売製品以外のアイテムを手に持っている対象者によって費やされた時間は除外される。

分析時間属性（Ｔ_anal）は、所与の製品よりも対象者のアクティビティの最終目標に焦点を合わせることを理解されたい。言い換えれば、分析時間（Ｔ_anal）は、具体的な製品との対象者の対話の観察に制限されない。その代わり、分析時間（Ｔ_anal）は、対象者のアクティビティの最終目標の観察可能な態様との、対象者の対話の継続時間を測定する。

図４は、観察可能行動属性空間４００を示す。この空間では、速度ｓ、対話時間Ｔ_int、および分析時間Ｔ_anal属性がそれぞれｘ、ｙ、およびｚ軸を形成し、４つのソーシャルスタイルクラスであるドライバ、エクスプレッシブ、エミアブル、アナリティカルが、第１、第２、および第３の属性ｓ、Ｔ_int、およびＴ_analの対応する値に基づいて行動属性空間４００中で示されている。

行動属性空間４００に従えば、第１のソーシャルスタイル「ドライバ」は、高いｓスコア、低いＴ_intスコア、および低いＴ_analスコアを呈する。さらに、第２のソーシャルスタイルクラス「エクスプレッシブ」は、高いｓスコア、高いＴ_intスコア、および低いＴ_analスコアを呈する。さらに、第３のソーシャルスタイルクラス「エミアブル」は、低いｓスコア、高いＴ_intスコア、および低いＴ_analスコアを呈する。さらに、「アナリティカル」は、低いｓスコア、低いＴ_intスコア、および高いＴ_analスコアを呈する。

本発明が、上で言及されたｓ、Ｔ_int、およびＴ_anal変数の測定値に限定されないことは、当業者には理解されるであろう。反対に、本発明は、小売店エリア１０２の各要素を用いて所与の人間対象者を観察することに基づいて算出されてよい任意の変数（および任意の数のそのような変数）を使用するように適応可能である。同様に、本発明は任意の行動モデルと共に動作可能であるので、当業者は、本発明がｓ、Ｔ_int、およびＴ_anal変数に基づく上記の提示および分類に限定されないことを理解するであろう。

本開示の実施形態では、少なくとも１０００ないし５０００人の顧客の統計的にランダムなセットに対してソーシャルスタイル属性のサンプル測定が行われて、第１、第２、および第３のソーシャルスタイル属性（ｓ、Ｔ_int、およびＴ_anal）とソーシャルスタイルクラスとの関係が較正されてよい。

本開示の実施形態では、２しきい値アプローチを使用して所与の対象者の潜在的なソーシャルスタイルクラス間が区別されてよく、適切に熟練した独立した人間行動専門家の助けにより、各ソーシャルスタイル属性につき２つのしきい値が確立される。第１の属性「速度ｓ」は、上方および下方しきい値

および

を有してよい。第２の属性「対話時間Ｔ_int」は、上方および下方しきい値

および

を有してよい。同様に、第３の属性「分析時間Ｔ_int」は、上方および下方しきい値

および

をそれぞれ有してよい。また、上で言及されたしきい値は、分類エラーを最小限に抑えたいという小売業者または広告主のリスク欲求に従って、より精緻に調整されることも可能であることは理解されるであろう。ソーシャル属性の、そのソーシャル属性に対応する上限しきい値を超える算出値は、「高い」と分類されてよい。これに対応して、ソーシャル属性の、そのソーシャル属性についての下限しきい値未満である算出値は、「低い」と分類されてよい。所与のソーシャルスタイル属性についての上限および下限しきい値の間にある算出値は、「不確定」と見なされてよい。

ソーシャルスタイルおよび分類構成要素３１２は、対象者の各ソーシャル属性について、値「高い」、「低い」、「不確定」のうちの１つを決定するように構成される。ソーシャル属性の「高い」、「低い」、および「不確定」値と、行動属性空間４００とに基づいて、ソーシャルスタイルおよび分類構成要素３１２は、対象者にソーシャルスタイルクラスを割り当てる。

図５は、本開示の実施形態に従った、小売店エリア５０４における顧客のほぼ上から見下ろした眺めを取り込むための、頭上方式で位置決めされたカメラ５００とカメラ５００の視野（ＦＯＶ）５０２とを示す。

ＦＯＶ５０２は、監視される小売店エリア５０４におけるｎ人の顧客ｐ₁からｐ_n、すなわち

を含む。本開示の実施形態では、頭上カメラ５００は、（図３のシステム３００と同様の）システム５０６に通信可能に結合され、それにより、システム５０６が顧客ｐ₁からｐ_nの各々にソーシャルスタイルクラスを割り当てることが可能にされる。システム５０６は、ｎ人の顧客についてｎ個のラベルのセットＬを生成し、ここで、

であり、各ラベルは各ソーシャルスタイルクラスについてのクラススコアを含み、したがって

であり、ｍはソーシャルスタイルクラスの数である。クラススコアは、高／低の２値インジケータとすることができ、または各ソーシャルスタイルクラスについてのアナログスコアを含むことができる。これらのクラススコアに基づいて、また小売業者の好ましい行動モデルまたは決定基準に応じて、システム５０６は、ＦＯＶ５０２内の各顧客にソーシャルスタイルクラスを割り当ててよい。これらの決定メトリクスが例として提供されるにすぎず本発明の範囲を決して限定しないことは、当業者なら理解するであろう。特に、本発明が任意の適切な決定基準と共に動作可能であることは、当業者なら理解するであろう。

本開示の別の実施形態では、システム５０６は、監視される小売店エリア５０４におけるｎ人の顧客ｐ₁からｐ_n、すなわち

の、ソーシャルスタイルクラスのリアルタイム推定を実施するように構成される。これは、個々の顧客のラベルにおける各ソーシャルスタイルクラスについてのリアルタイムのクラススコア

の提供を通じて達成される。ソーシャルスタイルクラスのリアルタイムラベル付けは、顧客のソーシャルスタイル分類と、同じＦＯＶ５０２中の関係のあるまたは無関係の他の個人との顧客の対話の影響との、発展していく見識を小売業者が得ることを可能にする。ソーシャルスタイルクラスのリアルタイムラベル付けはさらに、個々の顧客の観点からまたは集合的な顧客グループの観点から、顧客の局所的環境を変更することの影響を小売業者がリアルタイムで解釈するのを補助する。ソーシャルスタイルクラスのリアルタイムラベル付けはさらに、小売業者が顧客の環境を迅速に最適化して販売成果を最大限にするのを容易にする。

特定の個人についての所与のソーシャルスタイル分類の精度は、個人が観察される時間の量に少なくとも一部では依存し、調査される個人が最初にカメラ５００のＦＯＶ５０２に入ったときにソーシャルスタイルクラススコアの何らかの相当な変動が観察されることがあることが留意されてよい。しかし、調査される個人のソーシャルスタイルクラススコアは、時間の経過に伴って、また外部介入がなければ、ほぼ安定した状態／値に収束する（例えば、ｉ→∞として、Δｓｃｏｒｅ_dr＝｜ｓｃｏｒｅ_dr（ｔ_i）－ｓｃｏｒｅ_dr（ｔ_i-1）｜→０。したがって、所与の顧客についてのラベルはまた、推定されたソーシャルスタイル分類におけるエラーのインジケーションを含むこともでき、例えば、エラーは、ソーシャルスタイル分類スコアの一次導関数として表現されることが可能である。

したがって、本発明はまた、調査される各個人に関する提供されるリアルタイム分類におけるエラーの推定も提供する。特定の環境条件を調整するのに小売業者にかかる潜在的コストを念頭に置けば、本発明のこの態様は、小売業者が、アクションを講じるか否かを決定するためのしきい値を確立し、それにより、観察される顧客への販売を逃すリスクに対して環境変数を調整するコストのバランスを取ることができるようにする。

しかし、ソーシャルスタイル分類スコアにおけるエラーについての上記の表現は、例として提供されるにすぎず、決して本発明の範囲をこの表現に限定しないことは、当業者なら理解するであろう。反対に、本発明は、顧客のソーシャルスタイル分類における経時変動エラーを含むエラーを表現するための任意の適切なメトリックと共に動作可能であることは、当業者なら理解するであろう。

本開示のさらに別の実施形態では、システム５０６は、顧客が店内を回って店内の異なる局所的環境と対話するのに伴い顧客を実質的に追従することによって、顧客のソーシャルスタイルクラスのより包括的な見識を得るように構成されてよい。店を通じて顧客を追従するプロセスは、顧客の名前、住所、顧客番号の知識など、顧客の具体的な詳細識別を必要としなくてよい。その代わり、このプロセスは、近接するカメラの視野間で所与の髪色または衣類の色を有する人の前進を検出するなど、セッションベースの粗いパターン認識タスクとして扱われることが可能であり、ここで、セッションは、この店への顧客の訪問の具体的なインスタンスを表す。システム５０６は、粗いパターン認識識別アプローチおよび顔認識アプローチを使用して所与の顧客が近接するカメラの視野に入ったときを検出することによって、顧客の店内滞在中に顧客の一貫したラベル付けを維持するように構成されてよい。システム５０６は、顧客が小売店エリア５０２に入ったときに各顧客に一意のＩＤを割り当ててよく、このＩＤは、顧客が小売店エリア５０２に滞在する継続時間全体にわたって、例えば、店の入口から店の対象エリアを出るまでの顧客の道程全体の間、維持されてよい。顧客に割り当てられるソーシャルスタイルクラスは、いずれか所与の時に、顧客の道程におけるその地点までに観察された属性値の全履歴を使用して計算されてよい。広告パネルのある具体的な場所が店内にある場合は、顧客がそのようなパネルの前の具体的な位置に到達するたびに顧客のソーシャルスタイル分類が決定されてよい。この手順はまた、顧客の経路上に複数の広告パネルがある場合にソーシャルスタイル分類の精緻化／訂正も可能にする。

図６Ａは、本開示の実施形態に従った、（図３のシステム３００と同様の）システム６０４によるソーシャルスタイル分類を容易にするための、小売店エリア６０２における顧客についての第１および第２のルートｘおよびｙを示す。

システム６０４は、顧客によって選ばれたルートに基づいて顧客にソーシャルスタイルを割り当てるように構成される。第１のルートｘは、より長く、人がおらず、非常に低い人間対話の可能性を提示する設計を有するが、一方、第２のルートｙは、より短く、多くの人がおり、非常に高い人間対話の確率を有するように設計されている。選ばれた経路に基づいて、顧客は、タスク指向と人間指向のいずれかの特性を有するものとして顧客を部分的に分類してよい選好を呈することがある。また、第１のルートｘと第２のルートｙのうちの一方を選ぶオプションは、決定を早期に行わせるために、小売店の入口付近など、顧客との初期接触段階で実施されてよく、したがってこれは、導出されたマッピングに基づく体験を正しく変更するのを容易にし、または、前述の測定されたソーシャルスタイル変数を使用して精緻化されることが可能な初期段階分類としての働きをする。また、人間対象者によって単位当たりにカバーされる距離を使用して、人間対象者の動きの速度が決定されてもよい。

システム６０４はさらに、対象者が特価提供の棚上のラベルを読んで製品を検討することに費やす時間の量と、対象者が製品をカゴに入れるかまたは陳列に戻すかのいずれかを行う関心とを観察することによって、人間対象者を観察し、前の結果と組み合わせて特定のパーソナリティスタイルを示すように構成される。

図６Ｂは、ソーシャルスタイル分類を容易にするための、小売店エリア６０２における顧客についての第３のルートｚを示す。システム６０４は、無料サンプルまたは他の誘因を提供することによって顧客が第３のルートｚを通じて進むよう求められたときの、顧客の人間行動を観察するように構成されてよい。対象者が誘いを受け入れた場合、対象者はエクスプレッシブまたはエミアブル（人間指向）ソーシャルスタイルクラスを有する可能性が高いことがある。ソーシャルスタイルクラス間をさらに区別するために、対象者には、自分を公衆に見えるようにするよう顧客に求める方式で売り手と関与するための、さらに他の誘因が提供されることが可能である。例えば、顧客は、フェイスブック、インスタグラム、または他のソーシャルメディアプラットフォーム上で製品をタグ付けした場合に、さらに無料サンプルが提供されることが可能である。対象者が誘いを受け入れた場合は、対象者は、エクスプレッシブソーシャルスタイルクラスを有する可能性が最も高い。そうでない場合は、対象者は、エミアブルソーシャルスタイルを有する可能性が最も高い。というのは、エミアブルソーシャルスタイルクラスを有する個人は通常、公衆にさらされるのを楽しまないからである。

図７は、本開示に従った、社会的人間行動を分類および調査する方法のステップの例証である。この方法は、論理流れ図におけるステップの集まりとして描かれ、この論理流れ図は、ハードウェア、ソフトウェア、またはこれらの組合せにおいて実施されることが可能なステップのシーケンスを表す。

ステップ７０２で、１人または複数の人間対象者の画像およびビデオデータがリアルタイムで取り込まれる。本開示の実施形態では、画像およびビデオデータは、１つまたは複数の頭上カメラを使用して取り込まれてよく、このカメラは、顧客の顔の特徴を必ずしも取り込むことなく各カメラの視野内で複数の顧客が取り込まれるのを可能にするように、顧客の顔に対して十分に高い高さで複数の方式で位置および角度が設定されてよい。

ステップ７０４で、画像およびビデオデータを分析することによって人間対象者のリアルタイムの姿勢検出および追跡が実施される。姿勢検出は、ビデオおよび画像データを分析して、所与の時点における対象者の肘、腕、および頭などの関節の位置を突き止めることを通じて実施される。姿勢検出は、畳み込みニューラルネットワーク（ＣＮＮ）および専用ロジック要素を使用して実施されてよく、それにより、時間の経過に伴う対象者の関節の動きが評価され、例えば右手と左手とを区別するために、具体的な姿勢に関連付けられるパターンが検出されて時間の経過に伴う対象者の姿勢の動きが追跡され、骨格に従って、または具体的な姿勢の採用に関連付けられる関節の動きのシーケンスに従って関節がリンクされる。

ステップ７０６で、検出された姿勢のシーケンスを関係付けることによって人間対象者のアクションが検出される。アクション検出は、製品を棚から選び取るなどの特定のアクションに姿勢変化のシーケンスを関係付ける専用ロジック要素を使用して、実施されてよい。

ステップ７０８で、検出されたアクションのシーケンスを関係付けることによって人間対象者のアクティビティが検出される。アクティビティは、事前定義済みのタスクの実施に関連付けられるアクションの観察されたシーケンスの存在を検出することによって、検出されてよい。例では、アイテム選択アクティビティは、アイテムを取り上げること、アイテムを買物カゴ／カートに移動させること、およびアイテムを買物カゴ／カートに入れることなど、複数のアクションを含むことがある。本開示の実施形態では、アクティビティ検出は、リカレントニューラルネットワーク、または単一の多層分類器など他の分類器を使用して実施されてよい。

ステップ７１０で、姿勢検出、アクション検出、およびアクティビティ検出に基づいて、第１のソーシャル属性としての人間対象者の平均速度ｓが決定される。平均速度属性（ｓ）は、観察される人間対象者による任意の種類の意図的な動きに関係し、例えば棚から箱が落ちてくるなど、外部の「危険な」刺激に応答するための対象者の時間は考慮しない。より具体的には、所与の時における具体的な人間対象者の関節の位置がビデオ場面からわかれば、頭、首、肩、手、および足など対象者のすべての関節の動きの速度が、時間の経過に伴って決定されてよい。いくつかの関節は他の関節よりもずっと速く対象者によって動かされることがあり、例えば、手の動きは胴または足の動きよりもはるかに速いことがあることが理解される。したがって、対象者のすべての関節の動きの速度が算出され集約されて、対象者の動きの平均速度の全体的な推定値が得られる。

ステップ７１２で、第２のソーシャル属性としての対話時間Ｔ_intが決定される。対話時間は、事前定義済みの閉じられた環境で人間対象者が１人または複数の他の人間対象者と対話することによって費やされた平均時間である。本開示の実施形態では、対話時間属性は、人間対象者によって他の人間対象者と対面する際に費やされた時間と、電話機が人間対象者の耳に当てられた状態で費やされた時間と、人間対象者の電話機と対面することで費やされた時間とに基づいて決定される。他の人間対象者と対面することで費やされた時間は、姿勢検出と、人間対話アクティビティをそれに対応する継続時間に基づいて選択するための時間しきい値とに基づいて決定される。電話機が耳に当てられた状態で対象者によって費やされた時間は、姿勢検出に基づいて決定され、人間対象者が電話機と対面することによって費やされた時間は、姿勢検出と、電話機の存在を識別するためのオブジェクト認識プロセスとを使用して決定される。

ステップ７１４で、第３のソーシャル属性としての分析時間Ｔ_analが決定される。分析時間は、人間対象者がアイテムを分析することによって費やされた平均時間である。本開示の実施形態では、分析時間は、姿勢検出、アクション検出、およびアクティビティ検出の出力を、人間対象者の手に保持された１つまたは複数のオブジェクトを検出するように構成された１つまたは複数のオブジェクト認識アルゴリズムと組み合わせることによって決定される。

ステップ７１６で、第１、第２、および第３のソーシャル属性の値に基づいて、人間対象者にソーシャルスタイルクラスが自動的に割り当てられる。本開示の実施形態では、ソーシャルスタイルクラスは、「ドライバ」、「アナリティカル」、「エミアブル」、および「エクスプレッシブ」からなるグループから人間対象者に割り当てられる。本開示の実施形態では、クラススコアのセットが人間対象者について計算され、このセットは、第１、第２、および第３のソーシャル属性についての第１、第２、および第３のクラススコアをそれぞれ含む。また、ソーシャルスタイルクラス「ドライバ」は、高いｓスコア、低いＴ_intスコア、および低いＴ_analスコアを有し、第２のソーシャルスタイルクラス「エクスプレッシブ」は、高いｓスコア、高いＴ_intスコア、および低いＴ_analスコアを有し、第３のソーシャルスタイルクラス「エミアブル」は、低いｓスコア、高いＴ_intスコア、および低いＴ_analスコアを有し、第４のソーシャルスタイルクラス「アナリティカル」は、低いｓスコア、低いＴ_intスコア、および高いＴ_analスコアを有する。

本開示の様々な実施形態は、特定の環境における人間対象者のリアルタイムの観察された行動に基づいて、人間対象者の社会的行動類型を自動的に識別および策定する。したがって、本発明は、ほぼ外乱のない人間行動が観察されることのある任意の環境に、潜在的に適用可能である。本発明からの成果は、人間が情報を受け取って理解すること、およびおそらくその情報に基づいて決定を下すことが必要とされる任意の環境で、人間への情報送達を適合および最適化するのに使用されてよい。例えば、本発明は、所与の小売環境内の個々の顧客のソーシャルスタイルクラスのリアルタイム分類を提供するのに使用されることが可能であり、結果を使用して、具体的な顧客への広告材料の送達をカスタマイズすることが可能である。より一般には、本発明は、市場商人にその顧客に関する情報を提供することによって、例えば、その顧客のより良い理解に基づく店のインテリジェントな再設計を可能にすることによって、市場商人に力を与えるメカニズムを提供する。同様に、本発明はまた、被雇用者にアドバイスもしくは指示を提供すること、または、ストレスの多い環境で特に緊張もしくは動揺している参与者、例えば、空港チェックインにおいて非常に緊張している搭乗者を識別することに使用されることも可能であり、それにより、よりカスタマイズされた指示提供、または関係者との他の対話が可能にされる。

本発明によって提供されるソーシャルスタイルクラスの分類は、広告材料の送達を最適化するための、または他の方法で局所化環境を最適化するためのシステムおよび方法において使用されてよく、例えば、この最適化は、顧客の識別されたソーシャルスタイルクラスの属性に従って、照明、音楽／音、匂い、通知および陳列、顧客アシスタントの存在などを個々の顧客に合わせて改変することによって行われてよい。本発明がその適用において小売環境に制限されないという観察を踏まえて、本発明によって提供されるソーシャルスタイル分類は、人間が情報を受け取って理解すること、およびおそらくその情報に基づいて決定を下すかまたは特定の処置を講じることが必要とされる任意の環境で、人間への情報送達を適合および最適化するのに使用されることが可能であることを理解されたい。

添付の特許請求の範囲によって定義される本開示の範囲を逸脱することなく、上述された本開示の実施形態に対する修正が可能である。本開示を記述および主張するのに使用される「含む」、「備える」、「組み込む」、「からなる」、「有する」、「である」などの表現は、排他的でない方式で解釈されるように意図される。すなわち、明示的に記述されないアイテム、構成要素、または要素が存在することも可能にするように意図される。単数への言及は、複数にも関係すると解釈されるべきである。

Claims (20)

1. 事前定義済みの閉じられた環境における人間対象者にソーシャルスタイルクラスを割り当てるためのシステムであって、
   前記人間対象者の画像およびビデオデータをリアルタイムで取り込むように構成された画像取込み構成要素と、
   前記画像およびビデオデータを分析することによって前記人間対象者の姿勢検出および追跡をリアルタイムで実施するように構成された姿勢検出構成要素と、
   前記姿勢検出構成要素によって検出された姿勢のシーケンスを関係付けて前記人間対象者のアクションを検出するように構成されたアクション検出構成要素と、
   前記アクション検出構成要素によって検出されたアクションのシーケンスを関係付けて前記人間対象者のアクティビティを検出するように構成されたアクティビティ検出構成要素と、
   ソーシャルスタイル分類構成要素と
   を備え、前記ソーシャルスタイル分類構成要素は、
   前記姿勢検出、アクション検出、およびアクティビティ検出構成要素の出力に基づいて前記人間対象者の平均速度（ｓ）を第１のソーシャル属性として決定することであって、前記平均速度（ｓ）は、前記人間対象者による１つまたは複数の種類の動きに関して計算され、所与の時における前記人間対象者の関節の位置に基づいて時間の経過に伴って決定される、該決定することと、
   対話時間（Ｔint）を第２のソーシャル属性として決定することであって、前記対話時間（Ｔint）は前記事前定義済みの閉じられた環境で前記人間対象者が１人または複数の他の人間対象者と対話することによって費やされた平均時間であり、前記対話時間（Tint）は、前記姿勢検出構成要素の出力を使用して測定される、該決定することと、
   分析時間（Ｔanal）を第３のソーシャル属性として決定することであって、前記分析時間（Ｔanal）は前記人間対象者がアイテムを分析することによって費やされた平均時間であり、前記分析時間（Ｔanal）は、手および腕の関節の動きに焦点を合わせて、指定されたアクティビティを検出することによって決定され、前記姿勢検出、アクション検出、およびアクティビティ検出構成要素の出力を用いることによって、前記人間対象者の手に保持されている異なるオブジェクトを区別する、該決定することと、
   前記第１、第２、および第３のソーシャル属性の値と、行動属性空間と、に基づいて前記人間対象者にソーシャルスタイルクラスを自動的に割り当てることであって、前記第１、第２、および第３のソーシャル属性は、それぞれ、ｘ、ｙ、およびｚ軸由来であり、前記ソーシャルスタイル分類構成要素は、前記行動属性空間における前記第１、第２、および第３のソーシャル属性の決定された位置に基づいて前記ソーシャルスタイルクラスを割り当てる、該割り当てることと
   を行うように構成されたことを特徴とするシステム。
2. 前記画像取込み構成要素は、各カメラの視野内で１人または複数の顧客が取り込まれるのを可能にするように前記１人または複数の顧客に対して相対的に高い高さで位置決めされた、１つまたは複数の頭上カメラを備えたことを特徴とする請求項１に記載のシステム。
3. 前記対話時間は、前記人間対象者によって前記１人または複数の他の人間対象者と対面する際に費やされた時間と、電話機は前記人間対象者の耳に当てられた状態で費やされた時間と、前記人間対象者の電話機と対面することで費やされた時間とに基づいて決定され、前記１人または複数の他の人間対象者と対面することで費やされた前記時間は、前記姿勢検出構成要素の出力と、人間対話アクティビティを対応する継続時間に基づいて選択するための時間しきい値とに基づいて決定され、前記電話機は前記耳に当てられた状態で費やされた前記時間が、前記姿勢検出構成要素の出力に基づいて決定され、前記人間対象者は前記電話機と対面することによって費やされた前記時間は、前記姿勢検出構成要素からの出力と、前記電話機の存在を識別するためのオブジェクト認識プロセスとを使用して決定されることを特徴とする請求項１に記載のシステム。
4. 前記分析時間は、前記姿勢検出構成要素と前記アクション検出構成要素と前記アクティビティ検出構成要素との出力を、前記人間対象者の手に保持された１つまたは複数のオブジェクトを検出するように構成された１つまたは複数のオブジェクト認識アルゴリズムと組み合わせることによって決定されることを特徴とする請求項１に記載のシステム。
5. 前記ソーシャルスタイル分類構成要素は、ドライバとアナリティカルとエミアブルとエクスプレッシブとからなるソーシャルスタイルクラスのグループから、１つのソーシャルスタイルクラスを前記人間対象者に割り当てるように構成されたことを特徴とする請求項１に記載のシステム。
6. 前記ソーシャルスタイル分類構成要素は、前記人間対象者についてクラススコアのセットを計算するように構成され、前記セットは、第１、第２、および第３のソーシャル属性についての第１、第２、および第３のクラススコアをそれぞれ含むことを特徴とする請求項５に記載のシステム。
7. 第１の前記ソーシャルスタイルクラスであるドライバは、高い（ｓ）スコア、低い（Ｔ_int）スコア、および低い（Ｔ_anal）スコアを有し、第２の前記ソーシャルスタイルクラスであるエクスプレッシブは、高い（ｓ）スコア、高い（Ｔ_int）スコア、および低い（Ｔ_anal）スコアを有し、第３の前記ソーシャルスタイルクラスであるエミアブルは、低い（ｓ）スコア、高い（Ｔ_int）スコア、および低い（Ｔ_anal）スコアを有し、第４の前記ソーシャルスタイルクラスであるアナリティカルは、低い（ｓ）スコア、低い（Ｔ_int）スコア、および高い（Ｔ_anal）スコアを有することを特徴とする請求項６に記載のシステム。
8. 前記ソーシャルスタイル分類構成要素は、前記人間対象者にソーシャルスタイルクラスをリアルタイムで割り当てるために、前記人間対象者についてのクラススコアのセットをリアルタイムで計算するように構成され、前記セットは、第１、第２、および第３のソーシャル属性についての第１、第２、および第３のリアルタイムクラススコアをそれぞれ含むことを特徴とする請求項５に記載のシステム。
9. 前記ソーシャルスタイル分類構成要素は、前記人間対象者にソーシャルスタイルクラスを割り当てるために、前記人間対象者に対するセッションベースの粗いパターン認識と顔認識とのうちの少なくとも一方を実施するように構成されたことを特徴とする請求項１に記載のシステム。
10. 前記事前定義済みの閉じられた環境は、前記人間対象者によって選ばれ得る複数の物理的ルートを含み、前記ソーシャルスタイル分類構成要素は、前記事前定義済みの閉じられた環境をナビゲートする間に、前記人間対象者によって選ばれた物理的ルートに基づいて、前記人間対象者にソーシャルススタイルクラスを自動的に割り当てるように構成され、多数の人を含む短いルートを選択した人間対象者は人間指向に分類され、人のいない長いルートを選択した人間対象者はタスク指向に分類されることを特徴とする請求項１に記載のシステム。
11. 前記ソーシャルスタイル分類構成要素は、感覚的入力を使用して前記人間対象者の行動特性を観察し、人工知能（ＡＩ）を使用して前記人間対象者の行動特性を決定して行動タイプを策定し、特定の環境における前記人間対象者のリアルタイムの観察された行動に基づいて前記人間対象者の社会的行動類型を策定するように構成されたことを特徴とする請求項１に記載のシステム。
12. 事前定義済みの閉じられた環境における人間対象者にソーシャルスタイルクラスを割り当てる方法であって、
    画像取込み構成要素によって、前記人間対象者の画像およびビデオデータをリアルタイムで取り込むステップと、
    姿勢検出構成要素によって、前記画像およびビデオデータを分析することによって前記人間対象者の姿勢検出および追跡をリアルタイムで実施するステップと、
    アクション検出構成要素によって、検出された姿勢のシーケンスを関係付けることによって前記人間対象者のアクションを検出するステップと、
    アクティビティ検出構成要素によって、検出されたアクションのシーケンスを関係付けることによって前記人間対象者のアクティビティを検出するステップと、
    ソーシャルスタイル分類構成要素によって、前記姿勢検出、アクション検出、およびアクティビティ検出に基づいて前記人間対象者の平均速度（ｓ）を第１のソーシャル属性として決定するステップであって、前記平均速度（ｓ）は、前記人間対象者による１つまたは複数の種類の動きに関して計算され、所与の時における前記人間対象者の関節の位置に基づいて時間の経過に伴って決定される、該ステップと、
    前記ソーシャルスタイル分類構成要素によって、対話時間（Ｔint）を第２のソーシャル属性として決定するステップであって、前記対話時間（Ｔint）は前記事前定義済みの閉じられた環境で前記人間対象者が１人または複数の他の人間対象者と対話することによって費やされた平均時間であり、電話機が前記人間対象者の耳に当てられた状態で費やされた時間と前記人間対象者の電話機と対面することで費やされた時間とに基づいて決定され、前記対話時間（Tint）は、前記姿勢検出に基づいて測定される、該ステップと、
    前記ソーシャルスタイル分類構成要素によって、分析時間（Ｔanal）を第３のソーシャル属性として決定するステップであって、前記分析時間は前記人間対象者がアイテムを分析することによって費やされた平均時間であり、前記分析時間（Ｔanal）は、手および腕の関節の動きに焦点を合わせて、指定されたアクティビティを検出することによって決定され、前記姿勢検出、アクション検出、およびアクティビティ検出構成要素の出力を用いることによって、前記人間対象者の手に保持されている異なるオブジェクトを区別する、該ステップと、
    前記ソーシャルスタイル分類構成要素によって、前記第１、第２、および第３のソーシャル属性の値と、行動属性空間と、に基づいて前記人間対象者にソーシャルスタイルクラスを自動的に割り当てるステップであって、前記第１、第２、および第３のソーシャル属性は、それぞれ、ｘ、ｙ、およびｚ軸由来であり、前記ソーシャルスタイル分類構成要素は、前記行動属性空間における前記第１、第２、および第３のソーシャル属性の決定された位置に基づいて前記ソーシャルスタイルクラスを割り当てる、該ステップとを含むことを特徴とする方法。
13. 他の人間対象者と対面することで費やされた前記時間は、前記姿勢検出と、人間対話アクティビティを対応する継続時間に基づいて選択するための時間しきい値とに基づいて決定され、前記電話機は前記耳に当てられた状態で費やされた前記時間が、前記姿勢検出に基づいて決定され、前記人間対象者が電話機と対面することによって費やされた前記時間は、前記姿勢検出と、前記電話機の存在を識別するためのオブジェクト認識プロセスとを使用して決定されることを特徴とする請求項１２に記載の方法。
14. 前記分析時間は、前記姿勢検出と前記アクション検出と前記アクティビティ検出との出力を、前記人間対象者の手に保持された１つまたは複数のオブジェクトを検出するように構成された１つまたは複数のオブジェクト認識アルゴリズムと組み合わせることによって決定されることを特徴とする請求項１２に記載の方法。
15. ドライバとアナリティカルとエミアブルとエクスプレッシブとからなるソーシャルスタイルクラスのグループから、１つのソーシャルスタイルクラスを前記人間対象者に割り当てるステップをさらに含むことを特徴とする請求項１２に記載の方法。
16. 前記人間対象者についてクラススコアのセットを計算するステップをさらに含み、前記セットは、第１、第２、および第３のソーシャル属性についての第１、第２、および第３のクラススコアをそれぞれ含むことを特徴とする請求項１５に記載の方法。
17. 第１の前記ソーシャルスタイルクラスであるドライバは、高い（ｓ）スコア、低い（Ｔ_int）スコア、および低い（Ｔ_anal）スコアを有し、第２の前記ソーシャルスタイルクラスであるエクスプレッシブは、高い（ｓ）スコア、高い（Ｔ_int）スコア、および低い（Ｔ_anal）スコアを有し、第３の前記ソーシャルスタイルクラスであるエミアブルは、低い（ｓ）スコア、高い（Ｔ_int）スコア、および低い（Ｔ_anal）スコアを有し、第４の前記ソーシャルスタイルクラスであるアナリティカルは、低い（ｓ）スコア、低い（Ｔ_int）スコア、および高い（Ｔ_anal）スコアを有することを特徴とする請求項１６に記載の方法。
18. 前記人間対象者にソーシャルスタイルクラスをリアルタイムで割り当てるために、前記人間対象者についてのクラススコアのセットをリアルタイムで計算するステップをさらに含み、前記セットは、第１、第２、および第３のソーシャル属性についての第１、第２、および第３のリアルタイムクラススコアをそれぞれ含むことを特徴とする請求項１５に記載の方法。
19. 前記事前定義済みの閉じられた環境は、前記人間対象者によって選ばれ得る複数の物理的ルートを含み、前記ソーシャルスタイル分類構成要素は、前記事前定義済みの閉じられた環境をナビゲートする間に、前記人間対象者によって選ばれた物理的ルートに基づいて前記人間対象者にソーシャルスタイルクラスを自動的に割り当てるように構成され、多数の人を含む短いルートを選択した人間対象者は人間指向に分類され、人のいない長いルートを選択した人間対象者はタスク指向に分類されることを特徴とする請求項１２に記載の方法。
20. 事前定義済みの閉じられた環境における人間対象者にソーシャルスタイルクラスを割り当てるためのコンピュータプログラム可能製品であって、前記コンピュータプログラム可能製品は命令のセットを備え、命令の前記セットはプロセッサによって実行されたとき、前記プロセッサに、
    前記人間対象者の画像およびビデオデータをリアルタイムで取り込むことと、
    前記画像およびビデオデータを分析することによって前記人間対象者の姿勢検出および追跡をリアルタイムで実施することと、
    検出された姿勢のシーケンスを関係付けることによって前記人間対象者のアクションを検出することと、
    検出されたアクションのシーケンスを関係付けることによって前記人間対象者のアクティビティを検出することと、
    前記姿勢検出、アクション検出、およびアクティビティ検出に基づいて前記人間対象者の平均速度（ｓ）を第１のソーシャル属性として決定することであって、前記平均速度（ｓ）は、前記人間対象者による１つまたは複数の種類の動きに関して計算され、所与の時における前記人間対象者の関節の位置に基づいて時間の経過に伴って決定される、該決定することと、
    対話時間（Ｔint）を第２のソーシャル属性として決定することであって、前記対話時間（Ｔint）は前記事前定義済みの閉じられた環境で前記人間対象者が１人または複数の他の人間対象者と対話することによって費やされた平均時間であり、前記対話時間（Tint）は、前記姿勢検出構成要素の出力を使用して測定される、該決定することと、
    分析時間（Ｔanal）を第３のソーシャル属性として決定することであって、前記分析時間（Ｔanal）は前記人間対象者がアイテムを分析することによって費やされた平均時間であり、前記分析時間（Ｔanal）は、手および腕の関節の動きに焦点を合わせて、指定されたアクティビティを検出することによって決定され、前記姿勢検出、アクション検出、およびアクティビティ検出構成要素の出力を用いることによって、前記人間対象者の手に保持されている異なるオブジェクトを区別する、該決定することと、
    前記第１、第２、および第３のソーシャル属性の値と、行動属性空間と、に基づいて前記人間対象者にソーシャルスタイルクラスを自動的に割り当てることであって、前記第１、第２、および第３のソーシャル属性は、それぞれ、ｘ、ｙ、およびｚ軸由来であり、前記ソーシャルスタイル分類構成要素は、前記行動属性空間における前記第１、第２、および第３のソーシャル属性の決定された位置に基づいて前記ソーシャルスタイルクラスを割り当てる、該割り当てることと
    を行わせることを特徴とするコンピュータプログラム可能製品。

Images