JPWO2018097177A1 - エンゲージメント測定システム - Google Patents

Abstract

生徒や聴衆が授業あるいは講演にどの程度興味を持っているのかをリアルタイムで測定し、集計することができる、エンゲージメント測定システムを提供する。エンゲージメント測定装置は、単一あるいは少数の撮像装置を用いて多数の被写体である生徒を撮影し、生徒が授業にどの程度興味を持っているかを示すエンゲージメント値を測定する。エンゲージメント測定装置は被写体ＩＤと日時情報とエンゲージメント値をログテーブルに記録する。

Description

本発明は、特に学習塾等に好適な、エンゲージメント測定システムに関する。

テレビジョン放送（以下「ＴＶ放送」）において放送される映像コンテンツが、どれだけ視聴者に視聴されているのかを示す指標として、従来から「世帯視聴率」が用いられている。ＴＶ放送における世帯視聴率の計測は、サンプルとなる家庭に視聴率を測定するための機器を設置し、その機器が、テレビジョン受像機（以下「ＴＶ」）がオン状態で表示しているチャンネルに関する情報をほぼリアルタイムで集計拠点へ送信する。すなわち世帯視聴率とは、視聴時間と視聴チャンネルに関する情報を集計した結果であり、世帯視聴率という情報からは視聴者がどのような状態で番組（映像コンテンツ）を視聴したのかはわからない。
例えば、視聴者がＴＶ番組に対し、画面を注視せずラジオのように聞き流すような視聴形態である場合には、当該番組は視聴者にとって集中した状態で視聴されていないこととなる。このような視聴形態では、ＴＶ番組に挟まれるコマーシャル（以下「ＣＭ」）の宣伝効果はあまり期待できない。

視聴者がＴＶ番組をどの程度集中して視聴しているのかを知るための技術が、幾つか検討されている。
特許文献１には、ＴＶ番組に対し、視聴者がどの程度集中しているのかを「集中度」と定義し、その集中度を取得して利用する技術が開示されている。

特開２００３−１１１１０６号公報

発明者等は、これまで集中度を測定する機器を開発してきた。その機器の開発の過程において、人がある事象に対して集中するという状態は、能動的な要因のみならず、受動的な要因もあるということに気付いた。
例えば、人がある課題に直面して、その課題を解決するために集中するという行為は、能動的な要因である。つまり、当該行為は「当該事象に集中しなければならない」という感情に起因する。これに対し、人が面白いことや楽しいこと等の事象を見て、興味を惹かれるという行為は、ある意味で受動的な要因である。つまり、当該行為は「当該事象に思わず惹かれてしまう」という感情に起因する。
発明者等は、このように相反する感情に起因する行動を「集中度」という言葉で表現することが必ずしも適切ではないと考えた。そこで発明者等は、ある対象者が、ある事象に対し、能動的または受動的な要因の如何にかかわらず、注目している状態を、「エンゲージメント（Engagement）」という言葉として定義することとした。そして、発明者等は、これまで開発してきた機器を、集中度を測定する機器ではなく、エンゲージメントを測定する機器と定義することとした。
本明細書で説明する発明者等が開発したシステムは、このエンゲージメントを測定するシステムである。

エンゲージメントの測定は、前述のＴＶ放送に適用されることが想定されるが、これ以外にも様々な応用が考えられる。今般、発明者等は、エンゲージメントの測定を学習塾等の教育現場に適用することを考えた。すなわち、生徒が授業にどの程度興味を持っているのかをリアルタイムで測定し、集計することができれば、学習塾の顧客満足度向上や業績向上に寄与することができる。
これまで集中度を計測するシステムは何れも高額であり、しかも多数の機器を導入する必要がある学習塾等には普及し難いという問題があった。

本発明はかかる課題に鑑みてなされたものであり、本発明の目的は、生徒や聴衆が授業あるいは講演にどの程度興味を持っているのかをリアルタイムで測定し、集計することができる、エンゲージメント測定システムを提供することにある。

上記課題を解決するために、本発明のエンゲージメント測定システムは、複数の被撮影者の顔を撮影可能な撮像装置と、撮像装置から動画像データストリームを受信して、複数の被撮影者のエンゲージメント値を測定するエンゲージメント測定装置とよりなる。
エンゲージメント測定装置は、撮像装置から出力される画像データストリームから１画面分の画像データを格納するフレームバッファと、フレームバッファに格納されている画像データから複数の被撮影者の顔の存在を検出し、複数の被撮影者の顔だけを抽出するための顔検出アドレス情報を出力する顔検出処理部と、フレームバッファに格納されている画像データと顔検出アドレス情報から、複数の被撮影者の顔の二次元空間内における座標情報を有する特徴点の集合体である特徴点データを出力する特徴点抽出部とを具備する。更に、特徴点データから、被撮影者の顔の向きを示す顔方向ベクトルを生成するベクトル解析部と、顔方向ベクトルを演算して被撮影者が３次元空間内の何処を注視しているのかを示す注視方向ベクトルを算出し、注視方向ベクトルが所定の事象に向いているのか否かを判定し、判定結果の移動平均を算出してエンゲージメント値を出力するエンゲージメント算出部と、顔検出アドレス情報に基いて、画像データに含まれる複数の被撮影者毎にエンゲージメント値を算出させるべくエンゲージメント算出部を稼働させて、画像データの撮影日時情報または現在日時情報と、複数の被撮影者を画像データ内において一意に識別するＩＤ情報と共にログテーブルに記録する入出力制御部とを具備する。更に、エンゲージメント値の平均値を算出するエンゲージメント平均値算出部と、複数の被撮影者のエンゲージメント値の平均値を表示する表示部とを具備する。

本発明によれば、生徒や聴衆が授業あるいは講演にどの程度興味を持っているのかをリアルタイムで測定し、集計することができる、エンゲージメント測定システムを提供することができる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

本発明の第一の実施形態に係るエンゲージメント測定システムを所定の学習塾に設置し稼働させた状態を示す概略図である。 本発明の第一の実施形態に係るエンゲージメント測定システムの全体構成を示す概略図である。 ノートパソコン及び小型のシングルボードコンピュータで構成されるエンゲージメント測定装置の外観図である。 シングルボードコンピュータで構成されるエンゲージメント測定装置の、ハードウェア構成を示すブロック図である。 本発明の第一の実施形態に係るエンゲージメント測定システムのソフトウェア機能を示すブロック図である。 撮像装置から出力される画像データストリームの一例を示す概略図と、顔検出処理部が出力する顔抽出画像データの一例を示す概略図と、特徴点抽出部が出力する特徴点データの一例を示す概略図である。 サーバのハードウェア構成を示すブロック図である。 サーバのソフトウェア機能を示すブロック図である。 モニタ端末のハードウェア構成を示すブロック図である。 モニタ端末のソフトウェア機能を示すブロック図である。 モニタ端末の表示部に表示されるモニタ画面の表示例である。 本発明の第二の実施形態に係るエンゲージメント測定システムの全体構成を示すと共に、エンゲージメント測定システムを所定の学習塾に設置し稼働させた状態を示す概略図である。 エンゲージメント測定装置のハードウェア構成を示すブロック図である。 本発明の第二の実施形態に係るエンゲージメント測定装置のソフトウェア機能を示すブロック図である。 撮像装置から出力され、フレームバッファに格納される１画面分の画像データの一例を示す概略図と、顔検出処理部が出力する顔検出アドレス情報の一例を示す概略図と、特徴点抽出部が出力する特徴点データの一例を示す概略図である。 フレームバッファに格納されている画像データに対し、顔検出処理部が顔検出アドレス情報を生成する状態と、顔検出処理部が顔検出アドレス情報を生成した状態を示すイメージ図である。 エンゲージメント算出部の機能ブロック図である。 ログテーブルのフィールド構成を示す表である。 エンゲージメント測定装置の入出力制御部によって表示部に表示されるモニタ画面の表示例である。

出願人は、コンテンツを視聴するユーザをカメラで撮影し、ユーザの顔の向き及び視線の向きから集中度を算出する集中度処理システムについて、先に特許出願した（特願２０１６−１２４６１１、以下「第一の特許出願」）。この第一の特許出願における集中度処理システムは、ユーザの顔をカメラで撮影し、ユーザの顔と視線の向きを検出し、それらの向きがコンテンツを表示するディスプレイにどの程度向いているかを測定することで、ユーザのコンテンツに対する集中度を算出している。

これより説明する第一の実施形態は、第一の特許出願に開示した集中度処理システムを改良し、学習塾等に向けたアプリケーションとして構築したエンゲージメント測定システム及びエンゲージメント測定装置に係る。
この第一の実施形態におけるエンゲージメント測定システムは、カメラを内蔵するエンゲージメント測定装置を生徒の近傍に設置して、生徒のエンゲージメント値を測定し、その平均値を集計する。また、エンゲージメント測定装置は、内蔵カメラに映る生徒一人のエンゲージメント値を測定する。

そして、第一の実施形態の次に説明する第二の実施形態は、第一の実施形態におけるエンゲージメント測定システムを更に改良し、より簡易なシステム構成を実現すべく構築したエンゲージメント測定システムに係る。すなわち、生徒あるいは聴衆の一人に一台ずつカメラを配置するのではなく、教室あるいは講堂全体を撮影する高解像度カメラを一台設けて、一台のカメラで複数人のエンゲージメント値を測定する。

［第一の実施形態：設置稼働例］
図１は、本発明の第一の実施形態に係るエンゲージメント測定システム１０１を所定の学習塾に設置し稼働させた状態を示す概略図である。
学習塾１０２において、講師１０３は生徒１０４に対して授業を行っている。この時、生徒１０４の机１０５には所定の教材等を表示すると共にエンゲージメントを測定する、ノートパソコンであるエンゲージメント測定装置１０６が設置されている。
エンゲージメント測定装置１０６のＬＣＤディスプレイの枠には、カメラが装着あるいは埋設されており、カメラは生徒１０４の顔を撮影することが可能になっている。

エンゲージメント測定装置１０６には、後述するエンゲージメント測定プログラムが稼働しており、リアルタイムで生徒１０４のエンゲージメント値を測定し、測定したエンゲージメント値を無線ＬＡＮ経由でサーバ１０８に送信する。各生徒１０４のエンゲージメント値は無線ＬＡＮルータ１０７に接続されているサーバ１０８にてログ記録される。図１では、ノートパソコンでサーバ１０８を構成している。
更に、タブレットＰＣであるモニタ端末１０９は、無線ＬＡＮ経由でサーバ１０８に常時アクセスして、各生徒１０４のエンゲージメントの値と集計値を受信して、液晶ディスプレイに表示する。講師１０３はモニタ端末１０９を見ることで、授業中にリアルタイムでエンゲージメントを確認することができる。
図８にて後述するが、モニタ端末１０９とサーバ１０８は兼用することが可能である。すなわち、ノートパソコンに、サーバ１０８としての機能と、モニタ端末１０９としての機能の両方を搭載して稼働させることができる。

なお、図１では図示していないが、本発明の第一の実施形態に係るエンゲージメント測定システム１０１は、インターネットを通じて展開されるサテライト授業においても、前述の学習塾１０２と同様の実施が可能である。

［全体構成］
図２は、本発明の第一の実施形態に係るエンゲージメント測定システム１０１の全体構成を示す概略図である。
エンゲージメント測定装置１０６と、サーバ１０８と、モニタ端末１０９は、無線ＬＡＮルータ１０７を介して接続されている。ここで、無線ＬＡＮルータ１０７は小規模なＬＡＮを構成する。無線ＬＡＮルータ１０７の代わりにスイッチングハブ等を用いて、エンゲージメント測定装置１０６と、サーバ１０８と、モニタ端末１０９の全てを有線ＬＡＮで接続してもよい。
サテライト授業や通信講座等の場合は、エンゲージメント測定装置１０６とサーバ１０８が、ＬＡＮの代わりにインターネットで接続されることとなる。

エンゲージメント測定装置１０６を構成するノートパソコンには、後述するエンゲージメント測定プログラムが稼働しており、リアルタイムで生徒１０４のエンゲージメントを測定し、測定したエンゲージメントを無線ＬＡＮ経由でサーバ１０８に送信する。
サーバ１０８は、エンゲージメント測定装置１０６から受信したエンゲージメント値をログ記録する。
モニタ端末１０９は、サーバ１０８にアクセスし、所定のエンゲージメント測定装置１０６が出力するエンゲージメント値を受信して、集計値を算出し、リアルタイムで液晶ディスプレイに表示する。

［エンゲージメント測定装置１０６：外観］
エンゲージメント測定装置１０６は、必ずしもノートパソコンで構成されるものではなく、例えば近年急速に普及しているシングルボードコンピュータでも構成することが可能である。
図３Ａは、ノートパソコン３０１で構成されるエンゲージメント測定装置１０６の外観図である。
ノートパソコン３０１には、ネットワークＯＳと、ノートパソコン３０１をエンゲージメント測定装置１０６として稼働させるためのプログラムがインストールされている。
ノートパソコン３０１のＬＣＤディスプレイ３０２の枠には、ビデオチャット等に使用されるｗｅｂカメラ３０３が装着あるいは埋設されている。ノートパソコン３０１を生徒１０４の机１０５に設置すると、このｗｅｂカメラ３０３が生徒１０４の顔を撮影することで、生徒１０４のエンゲージメント値の測定が可能になる。

図３Ｂは、小型のシングルボードコンピュータ３０４で構成されるエンゲージメント測定装置１０６の外観図である。
シングルボードコンピュータ３０４には、ネットワークＯＳと、シングルボードコンピュータ３０４をエンゲージメント測定装置１０６として稼働させるためのプログラムがインストールされている。
シングルボードコンピュータ３０４を生徒１０４の机上に設置すると、シングルボードコンピュータ３０４の筐体に装着されたカメラ３０５が生徒１０４の顔を撮影することで、生徒１０４のエンゲージメントの測定が可能になる。
シングルボードコンピュータ３０４は、例えば英国ラズベリーパイ財団（http://www.raspberrypi.org/）が開発する「Ｒａｓｐｂｅｒｒｙ Ｐｉ」等が利用可能である。シングルボードコンピュータ３０４の演算処理能力は、例えばＬｉｎｕｘ（登録商標）等のネットワークＯＳが実用的な速度で稼働可能な程度であればよい。

［エンゲージメント測定装置１０６：ハードウェア構成］
図４は、シングルボードコンピュータ３０４で構成されるエンゲージメント測定装置１０６の、ハードウェア構成を示すブロック図である。
エンゲージメント測定装置１０６は、ＣＰＵ４０１、ＲＯＭ４０２、ＲＡＭ４０３、不揮発性ストレージ４０４、現在日時情報を出力するリアルタイムクロック（以下「ＲＴＣ」）４０５、無線ＬＡＮルータ１０７等に接続するための無線ＬＡＮインターフェース４０６とＮＩＣ（Network Interface Card）４０７がバス４０８に接続されている。 そして、エンゲージメント測定装置１０６において重要な役割を持つ撮像装置４０９（ｗｅｂカメラ３０３、カメラ３０５）もバス４０８に接続されている。
不揮発性ストレージ４０４には、シングルボードコンピュータ３０４をネットワークに接続するための、ＴＣＰ／ＩＰプロトコルスタックを含むネットワークＯＳと、エンゲージメント測定装置１０６として稼働させるためのプログラムが格納されている。

なお、エンゲージメント測定装置１０６をノートパソコン３０１で構成する場合は、図４のバス４０８に、更に液晶ディスプレイである表示部と、キーボードやマウス等のポインティングデバイスである操作部が接続される構成となる。

［エンゲージメント測定装置１０６：ソフトウェア機能］
図５は、本発明の第一の実施形態に係るエンゲージメント測定装置１０６の、ソフトウェア機能を示すブロック図である。
撮像装置４０９から出力される画像データストリームは、顔検出処理部５０１に供給される。
顔検出処理部５０１は、撮像装置４０９から出力される画像データストリームを時間軸上で連続する静止画として捉え、この時間軸上で連続する静止画の各画像データに対し、例えばＶｉｏｌａ−Ｊｏｎｅｓ法等の周知のアルゴリズムを用いて、生徒１０４の顔の存在を検出する。そして、生徒１０４の顔だけを抽出した顔抽出画像データを出力する。

顔検出処理部５０１が出力する顔抽出画像データは、特徴点抽出部５０２に供給される。
特徴点抽出部５０２は、顔抽出画像データに含まれる生徒１０４の顔の画像に、ポリゴン解析等の処理を施す。そして、生徒１０４の顔全体、眉、目、鼻、口等の輪郭と、瞳を示す顔の特徴点よりなる特徴点データを生成する。特徴点データの詳細については図６で後述する。

特徴点抽出部５０２が出力する特徴点データは、ベクトル解析部５０３に供給される。 ベクトル解析部５０３は、連続する２枚の顔抽出画像データに基づく特徴点データから、生徒１０４の顔の向きを示すベクトル（以下「顔方向ベクトル」）と、生徒１０４の顔における、視線の向きを示すベクトル（以下「視線方向ベクトル」）を生成する。

顔方向ベクトルと視線方向ベクトルは、エンゲージメント算出部５０４に供給される。 エンゲージメント算出部５０４は、顔方向ベクトルと視線方向ベクトルを加算して、生徒１０４がコンテンツを表示するディスプレイと撮像装置４０９を含む３次元空間内の何処を注視しているのかを示す、注視方向ベクトルを算出して、生徒１０４の注視方向がディスプレイに向いているのか否かを判定する。この判定結果は、生徒１０４の注視方向がディスプレイに向いているのか（論理の「真」）否か（論理の「偽」）を示す、２値である。
エンゲージメント算出部５０４は、この注視方向判定結果を例えば１００ｍｓｅｃ毎に算出する。そして、例えば直近１秒間の注視方向判定結果の移動平均を算出する。このように演算することで、２値の注視方向判定結果を疑似アナログ的な値として取得することが可能になる。この、注視方向判定結果の移動平均値が、エンゲージメント値である。

エンゲージメント算出部５０４が出力するエンゲージメント値は、入出力制御部５０５に供給される。
入出力制御部５０５は、エンゲージメント値にＲＴＣ４０５が出力する現在日時情報とＩＤ情報５０６を付加して、送信パケットを生成する。
送信パケットは、インターフェース選択部５０７を通じて、無線ＬＡＮインターフェース４０６またはＮＩＣ４０７の、ネットワークに接続されているサーバ１０８へ、ＨＴＴＰ（Hyper Text Transfer Protocol）を用いて送信される。すなわち、入出力制御部５０５には、ｗｅｂクライアントとしての機能を有する。

インターフェース選択部５０７の実体は、ＯＳに備わっているＴＣＰ／ＩＰプロトコルスタックとＤＨＣＰ（Dynamic Host Configuration Protocol）クライアントである。すなわち、インターフェース選択部５０７は、ＩＰリーチャブルなネットワークに接続されているネットワークインターフェースを選択して、送信パケットをサーバ１０８へ送信する。
なお、本発明の第一の実施形態に係るエンゲージメント測定装置１０６では、ネットワークにおける通信に使用するプロトコルに、最も簡素で扱い易いＨＴＴＰを例示しているが、データストリームを送信するプロトコルはこれに限るものではない。

［送信データについて］
送信パケットには、１００ｍｓｅｃ毎に測定されるエンゲージメント値の他、ＲＴＣ４０５が出力する現在日時情報とＩＤ情報５０６が含まれる。
後述するモニタ端末１０９の表示画面にて、複数のエンゲージメント測定装置１０６が出力するエンゲージメント値と、その平均値をリアルタイムで表示される。ネットワークには遅延が伴うので、測定したエンゲージメント値に現在日時情報を付加することで、複数のエンゲージメント測定装置１０６が出力するエンゲージメント値の時間軸を揃えることが可能になる。また、このためにはエンゲージメント測定装置１０６にＮＴＰ（Network Time Protocol）クライアント等の日時情報較正機能を有するプログラムがインストールされ、実行されることで、ＲＴＣ４０５を正確に保つことが好ましい。

また、エンゲージメント測定装置１０６は生徒１０４の人数に応じて複数設置される。サーバ１０８は、複数のエンゲージメント測定装置１０６から同時にエンゲージメント値を受信するため、各々のエンゲージメント測定装置１０６について一意に識別する情報が必要である。このため、エンゲージメント測定装置１０６及び／または生徒１０４を一意に識別するＩＤ情報５０６が設けられている。なお、本発明の第一の実施形態に係るエンゲージメント測定システム１０１の学習塾１０２等における利用に際し、利用者である生徒１０４の識別を全く必要としない場合に限って、ＩＤ情報５０６に代えて、エンゲージメント測定装置１０６のＮＩＣ４０７または無線ＬＡＮインターフェース４０６に、ＤＨＣＰサーバによって付与される動的ＩＰアドレスを、エンゲージメント測定装置１０６を一意に識別する情報として利用することが可能である。ＩＤ情報５０６の代わりにＩＰアドレスを使用する場合、ＩＰアドレスはＩＰパケットのヘッダに含まれるので、送信パケットのペイロードには現在日時情報とエンゲージメント値のみとなる。

［特徴点データについて］
以下、顔検出処理部５０１、特徴点抽出部５０２、そしてベクトル解析部５０３の動作について説明する。
図６Ａは、撮像装置４０９から出力される画像データストリームの一例を示す概略図である。図６Ｂは、顔検出処理部５０１が出力する顔抽出画像データの一例を示す概略図である。図６Ｃは、特徴点抽出部５０２が出力する特徴点データの一例を示す概略図である。
先ず、撮像装置４０９から被撮影者６０１を含む画像データストリームがリアルタイムで出力される。これが図６Ａの画像データＰ６０２である。

次に、顔検出処理部５０１は、撮像装置４０９から出力される画像データＰ６０２から、例えばＶｉｏｌａ−Ｊｏｎｅｓ法等の周知のアルゴリズムを用いて、被撮影者６０１の顔の存在を検出する。そして、被撮影者６０１の顔だけを抽出した顔抽出画像データを出力する。これが図６Ｂの顔抽出画像データＰ６０３である。
そして、特徴点抽出部５０２は、顔抽出画像データＰ６０３に含まれる被撮影者６０１の顔の画像に、ポリゴン解析等の処理を施す。そして、被撮影者６０１の顔全体、眉、目、鼻、口等の輪郭と、瞳を示す顔の特徴点よりなる特徴点データを生成する。これが図６Ｃの特徴点データＰ６０４である。この特徴点データＰ６０４は、二次元空間内における座標情報を有する特徴点の集合体で構成される。

前述の通り、特徴点抽出部５０２が出力する特徴点データは、あくまで２次元の座標情報である。単眼のカメラである撮像装置４０９が出力する画像データストリームはあくまでも２次元の画像データであるため、このままでは３次元の立体である被撮影者６０１の顔の向きを検出することはできない。
しかし、標準的な顔の３Ｄモデル上に特徴点をプロットしたものを撮影して、特徴点が写った２次元の画像データが得られたと仮定すると、計算により撮影された顔の向きやカメラまでの距離を推定することができる。
このような、２次元の画像から３次元の立体を推定する技術は、ＰｎＰ（Perspective n Points）問題として既知である。そして、ＰｎＰ問題を解くための計算方法も、ＤＬＴ（Direct Linear Transform）法等で既知である。
ＰｎＰ問題を解くことにより、被撮影者６０１（図６Ａ参照）の顔の方向を算出することができる。これが顔方向ベクトルである。
また、目の輪郭に対する瞳の位置から、被撮影者６０１の顔に対するおおよその視線の方向を算出することができる。これが視線方向ベクトルである。
ベクトル解析部５０３は、以上のような処理にて、特徴点データから顔方向ベクトルと視線方向ベクトルを生成する。

［サーバ１０８：ハードウェア構成］
図７は、サーバ１０８のハードウェア構成を示すブロック図である。
サーバ１０８は、ＣＰＵ７０１、ＲＯＭ７０２、ＲＡＭ７０３、表示部７０４、操作部７０５、不揮発性ストレージ７０６、ＲＴＣ７０７とＮＩＣ７０８がバス７０９に接続されている。サーバ１０８には、図１、図２に示すようなノートパソコンや、図示はしていないがデスクトップパソコン等を利用することができる。また、不揮発性ストレージ７０６として大容量のハードディスク装置を利用可能であれば、前述のシングルボードコンピュータも利用可能である。
不揮発性ストレージ７０６には、サーバ１０８をネットワークに接続するための、ＴＣＰ／ＩＰプロトコルスタックを含むネットワークＯＳと、サーバ１０８として稼働させるためのプログラムが格納されている。
なお、ノートパソコンでサーバ１０８を実現する場合、バス７０９には無線ＬＡＮインターフェースが接続されていることが多い。

サーバ１０８をサーバとしての機能に特化する場合は、表示部７０４と操作部７０５は必ずしも必要ではない。但し、ノートパソコンにサーバ１０８とモニタ端末１０９とを兼用する場合は、表示部７０４と操作部７０５が必要になる。

［サーバ１０８：ソフトウェア機能］
図８Ａは、サーバ１０８ａのソフトウェア機能を示すブロック図である。
サーバ１０８ａは、ｗｅｂサーバとしての機能と、データベースサーバとしての機能を有する。
入出力制御部８０１の実体はｗｅｂサーバプログラムであり、ＨＴＴＰクライアントであるエンゲージメント測定装置１０６やモニタ端末１０９の要求を受信し、要求に応じた応答データを返信する。
エンゲージメント測定装置１０６から送信されるエンゲージメント値を含む情報は、入出力制御部８０１を経て、不揮発性ストレージ７０６に設けられるログテーブル８０２に記録される。
入出力制御部８０１は、モニタ端末１０９から受信する、全てのエンゲージメント測定装置１０６のエンゲージメント値の要求に対し、全てのエンゲージメント測定装置１０６のエンゲージメント値を、日時情報とＩＤ情報５０６と共に返信する。

図８Ｂは、モニタ端末１０９の機能を兼用するサーバ１０８ｂのソフトウェア機能を示すブロック図である。
図８Ｂに示すサーバ１０８ｂの、図８Ａに示したサーバ１０８ａとの相違点は、入出力制御部８０３に表示部７０４に表示する内容を生成する表示処理部８０４の機能が含まれていることと、入出力制御部８０３に集計処理部８０５と表示部７０４が接続されていることである。
入出力制御部８０３の実体はｗｅｂサーバプログラムであり、ＨＴＴＰクライアントであるエンゲージメント測定装置１０６が送信する送信パケットを受信する。
エンゲージメント測定装置１０６から送信される送信パケットに含まれる、エンゲージメント値、日時情報及びＩＤ情報５０６は、入出力制御部８０３を経てログテーブル８０２に記録される。また、集計処理部８０５は時間軸を揃えた複数のエンゲージメント値の平均値を算出する。
表示処理部８０４は、全てのエンゲージメント測定装置１０６のエンゲージメント値と平均値に基づいて表示内容を生成し、表示部７０４に表示させる。

［モニタ端末１０９：ハードウェア構成］
図９は、モニタ端末１０９のハードウェア構成を示すブロック図である。
モニタ端末１０９は、ＣＰＵ９０１、ＲＯＭ９０２、ＲＡＭ９０３、表示部９０４、操作部９０５、不揮発性ストレージ９０６、ＲＴＣ９０７と無線ＬＡＮインターフェース９０８がバス９０９に接続されている。
不揮発性ストレージ９０６には、サーバ１０８をネットワークに接続するための、ＴＣＰ／ＩＰプロトコルスタックを含むネットワークＯＳと、モニタ端末１０９として稼働させるためのプログラムが格納されている。
タブレットＰＣであるモニタ端末１０９の、図７に示したサーバ１０８とのハードウェア構成の相違点は、ＮＩＣ７０８が無線ＬＡＮインターフェース９０８に代わっている点のみである。もし、タブレットＰＣの代わりにノートパソコンを用いる場合、図７と同一の構成になる。

［モニタ端末１０９：ソフトウェア機能］
図１０は、モニタ端末１０９のソフトウェア機能を示すブロック図である。
入出力制御部１００１の実体はｗｅｂサーバクライアントであり、ｗｅｂサーバであるサーバ１０８に対し、全てのエンゲージメント測定装置１０６のエンゲージメント値を返信する要求を送信する。そして、サーバ１０８から返信される、全てのエンゲージメント測定装置１０６のエンゲージメント値を受信する。
集計処理部１００２は、図８Ｂの集計処理部８０５と同様に、受信した複数のエンゲージメント値の時間軸を揃えた上で、その平均値を算出する。
表示処理部１００３は、図８Ｂの表示処理部８０４と同様に、全てのエンゲージメント測定装置１０６のエンゲージメント値と平均値に基づいて表示内容を生成し、表示部７０４に表示させる。

［モニタ端末１０９：表示例］
図１１は、モニタ端末１０９の表示部７０４に表示されるモニタ画面の表示例である。
画面下半分の表示領域Ａ１１０１は、全てのエンゲージメント測定装置１０６が出力するエンゲージメント値の棒グラフである。棒グラフは、例えば１秒毎、あるいは０．５秒毎にリフレッシュされ、その時点での最新のエンゲージメント値を棒グラフで表示する。そして、エンゲージメント値が６６．６％以上の時は棒グラフを緑色に表示し（色Ｐ１１０１ａ）、エンゲージメント値が３３．３％以上６６．６％未満の時は棒グラフをオレンジ色に表示し（色Ｐ１１０１ｂ）、エンゲージメント値が３３．３％未満の時は棒グラフを赤色に表示する（色Ｐ１１０１ｃ）。この様に、エンゲージメント値を色分けして表示することで、生徒１０４のエンゲージメント値の状態を瞬時に把握することが可能になる。
棒グラフの下に表示される数字は、エンゲージメント測定装置１０６を一意に識別する番号である。数字も棒グラフと同じ色で表示される。生徒１０４が欠席していて、エンゲージメント値を測定できないエンゲージメント測定装置１０６の番号は、灰色で表示される（色Ｐ１１０１ｄ）。
例えば、全ての生徒１０４が授業に興味を持っている場合、欠席のエンゲージメント測定装置１０６の欄を除き、全ての棒グラフが一斉に緑色に染まる。
例えば、生徒１０４の多くが授業に対する集中力を失っている場合、多くの棒グラフがオレンジ色や赤色に染まる。

画面左上の表示領域Ａ１１０２は、全てのエンゲージメント測定装置１０６が出力するエンゲージメント値の平均値の数値表示である。この数値も、折れ線グラフと同様の色分け表示を行う。
画面右上の表示領域Ａ１１０３は、全てのエンゲージメント測定装置１０６が出力するエンゲージメント値の平均値の推移を示す折れ線グラフである。横軸は時間であり、縦軸はエンゲージメント値である。折れ線グラフを設けることで、エンゲージメント値の現在値のみならず、エンゲージメント値の推移も把握できるので、講師１０３は現在の講義が生徒１０４達にどの程度興味を惹かれているのか、どの話題で生徒１０４達の興味が惹かれたり、あるいは削がれたのかを把握することができる。

サーバ１０８にログ記録されたエンゲージメント値には絶対時間情報が含まれているので、後からモニタ端末１０９で再生することが可能である。また、別途動画カメラで授業を録画しておき、動画データに録画を開始した日時情報を付加しておけば、ログテーブル８０２に記録されているエンゲージメント値との同期再生も可能である。

本発明の第一の実施形態においては、エンゲージメント測定システム１０１を開示した。
エンゲージメント測定装置１０６は、被写体である生徒１０４が授業にどの程度興味を持っているかを示すエンゲージメント値を測定し、サーバ１０８に送信する。サーバ１０８は複数のエンゲージメント測定装置１０６から送信される、エンゲージメント値と日時情報とＩＤ情報５０６を含む送信パケットを受信し、ログテーブル８０２に記録する。モニタ端末１０９は、複数のエンゲージメント測定装置１０６から送信されるエンゲージメント値とその平均値をリアルタイムでグラフィカルに表示する。

本発明の第一の実施形態におけるエンゲージメント測定装置１０６の演算処理は従来と比べて極めて軽い。更に、エンゲージメント測定システム１０１が送信するデータは、極めてデータ容量が少ないエンゲージメント値と日時情報とＩＤ情報５０６である。したがって、エンゲージメント測定システム１０１がＬＡＮ及び／またはインターネットに流すデータ量は極めて少ない。

［第二の実施形態：エンゲージメント測定システム１２０１：全体構成及び設置稼働例］
図１２は、本発明の第二の実施形態に係るエンゲージメント測定システム１２０１の全体構成を示すと共に、エンゲージメント測定システム１２０１を所定の学習塾に設置し稼働させた状態を示す概略図である。
エンゲージメント測定システム１２０１は、撮像装置１２０２とエンゲージメント測定装置１２０３よりなる。撮像装置１２０２とエンゲージメント測定装置１２０３は、ＵＳＢまたはネットワーク等のケーブル１２０４で接続されている。
学習塾の教室１２０５において、講師１２０６は生徒１２０７に対して授業を行っている。教室１２０５の天井には、撮像装置１２０２が設置されている。この撮像装置１２０２は教室１２０５に着席する複数の生徒１２０７の顔を、撮像装置１２０２の画角及び解像度に応じて撮影することが可能である。

エンゲージメント測定装置１２０３には、後述するエンゲージメント測定プログラムが稼働しており、リアルタイムで複数の生徒１２０７のエンゲージメント値を測定し、測定したエンゲージメント値を表示部１２０８に表示する。図１２では、ノートパソコンでエンゲージメント測定装置１２０３を構成している。

［エンゲージメント測定装置１２０３：ハードウェア構成］
図１３は、エンゲージメント測定装置１２０３のハードウェア構成を示すブロック図である。
エンゲージメント測定装置１２０３は、バス１３０８に接続されたＣＰＵ１３０１、ＲＯＭ１３０２、ＲＡＭ１３０３、表示部１２０８、操作部１３０４、不揮発性ストレージ１３０５、現在日時情報を出力するリアルタイムクロック（以下「ＲＴＣ」）１３０６とＮＩＣ（Network Interface Card）１３０７を備える。エンゲージメント測定装置１２０３には、図１２に示すようなノートパソコンや、図示はしていないがデスクトップパソコン等を利用することができる。
不揮発性ストレージ１３０５には、エンゲージメント測定装置１２０３をネットワークに接続するための、ＴＣＰ／ＩＰプロトコルスタックを含むネットワークＯＳと、エンゲージメント測定装置１２０３として稼働させるためのプログラムが格納されている。
そして、エンゲージメント測定装置１２０３において重要な役割を持つ撮像装置１２０２もバス１３０８に接続されている。

なお、撮像装置１２０２とエンゲージメント測定装置１２０３との距離が離れている場合、周知のＵＳＢインターフェースはケーブルの長さが最大５ｍであり、エンゲージメント測定装置１２０３の設置場所が制約を受ける可能性が高い。そのような場合には、撮像装置１２０２にシングルボードコンピュータを装備し、エンゲージメント測定装置１２０３とシングルボードコンピュータとをネットワークで接続する。
そして、撮像装置１２０２が出力する動画像データストリームをネットワーク経由でエンゲージメント測定装置１２０３に送信する。これにより、ケーブルの長さを延長した状態を実現することが可能になる。
本発明のエンゲージメント測定システム１２０１では、エンゲージメント測定装置１２０３にネットワークの機能は必ずしも必要ではないが、上述のような理由で必要になる場合もある。

［エンゲージメント測定装置１２０３：ソフトウェア機能］
図１４は、本発明の第二の実施形態に係るエンゲージメント測定装置１２０３のソフトウェア機能を示すブロック図である。
撮像装置１２０２から出力される画像データストリームは、一旦１画面分の画像データがフレームバッファ１４０１に格納される。
顔検出処理部１４０２は、フレームバッファ１４０１に格納された１画面分の画像データに対し、例えばＶｉｏｌａ−Ｊｏｎｅｓ法等の周知のアルゴリズムを用いて、１画面分の画像データに写っている全ての生徒１２０７の顔の存在を検出する。そして、生徒１２０７の顔だけを抽出するための、顔検出アドレス情報を出力する。

顔検出アドレス情報は、特徴点抽出部１４０３と入出力制御部１４０４に供給される。
特徴点抽出部１４０３は、顔検出処理部１４０２から得られた顔検出アドレス情報に基づいてフレームバッファ１４０１から生徒１２０７の顔だけを抽出した顔抽出画像データを読み出す。そして、顔抽出画像データに含まれる生徒１２０７の顔の画像に、ポリゴン解析等の処理を施す。このポリゴン解析処理は、生徒１２０７の顔全体、眉、目、鼻、口等の輪郭と、瞳を示す顔の特徴点よりなる特徴点データを生成する処理である。

特徴点抽出部１４０３が出力する特徴点データは、ベクトル解析部１４０５に供給される。
ベクトル解析部１４０５は、顔抽出画像データに基づく特徴点データから、生徒１２０７の顔の向きを示すベクトル（以下「顔方向ベクトル」）と、生徒１２０７の顔における、視線の向きを示すベクトル（以下「視線方向ベクトル」）を生成する。

前述の通り、特徴点抽出部１４０３が出力する特徴点データは、あくまで２次元の座標情報である。単眼のカメラである撮像装置１２０２が出力する画像データストリームはあくまでも２次元の画像データであるため、このままでは３次元の立体である生徒１２０７の顔の向きを検出することはできない。
しかし、標準的な顔の３Ｄモデル上に特徴点をプロットしたものを撮影して、特徴点が写った２次元の画像データが得られたと仮定すると、計算により撮影された顔の向きやカメラまでの距離を推定することができる。
このような、２次元の画像から３次元の立体を推定する技術は、ＰｎＰ（Perspective n Points）問題として既知である。そして、ＰｎＰ問題を解くための計算方法も、ＤＬＴ（Direct Linear Transform）法等で既知である。
ＰｎＰ問題を解くことにより、被撮影者１５０１（図１５Ａ参照）の顔の方向を算出することができる。これが顔方向ベクトルである。
また、目の輪郭に対する瞳の位置から、被撮影者１５０１の顔に対するおおよその視線の方向を算出することができる。これが視線方向ベクトルである。
ベクトル解析部１４０５は、以上のような処理にて、特徴点データから顔方向ベクトルと視線方向ベクトルを生成する。

［特徴点データについて］
以下、顔検出処理部１４０２、特徴点抽出部１４０３、そしてベクトル解析部１４０５の動作について説明する。
図１５Ａは、撮像装置１２０２から出力され、フレームバッファ１４０１に格納される１画面分の画像データの一例を示す概略図である。図１５Ｂは、顔検出処理部１４０２が出力する顔検出アドレス情報の一例を示す概略図である。図１５Ｃは、特徴点抽出部１４０３が出力する特徴点データの一例を示す概略図である。
先ず、撮像装置１２０２から被撮影者１５０１を含む画像データストリームがリアルタイムで出力され、フレームバッファ１４０１に格納される。これが図１５Ａの画像データＰ１５０２である。

次に、顔検出処理部１４０２は、フレームバッファ１４０１に格納されている画像データＰ１５０２から、例えばＶｉｏｌａ−Ｊｏｎｅｓ法等の周知のアルゴリズムを用いて、被撮影者１５０１の顔の存在を検出する。そして、被撮影者１５０１の顔だけを抽出するための顔検出アドレス情報Ｐ１５０３を出力する。
顔検出アドレス情報Ｐ１５０３は、被撮影者１５０１の顔を取り囲む長方形状の領域である。始点アドレスＰ１５０３ａは長方形状の領域の左上の頂点のアドレス情報であり、終点アドレスＰ１５０３ｂは長方形状の領域の右下の頂点のアドレス情報である。
そして、特徴点抽出部１４０３は、顔検出アドレス情報Ｐ１５０３で特定される部分画像データに含まれる被撮影者１５０１の顔の画像に、ポリゴン解析等の処理を施す。そして、被撮影者１５０１の顔全体、眉、目、鼻、口等の輪郭と、瞳を示す顔の特徴点よりなる特徴点データを生成する。これが図１５Ｃの特徴点データＰ１５０４である。この特徴点データＰ１５０４は、二次元空間内における座標情報を有する特徴点の集合体で構成される。そして、この特徴点データＰ１５０４は、顔検出アドレス情報Ｐ１５０３の範囲に含まれている。

［顔検出アドレス情報Ｐ１５０３について］
図１６Ａは、フレームバッファ１４０１に格納されている画像データに対し、顔検出処理部１４０２が顔検出アドレス情報Ｐ１５０３を生成する状態を示すイメージ図である。
図１６Ｂは、フレームバッファ１４０１に格納されている画像データに対し、顔検出処理部１４０２が顔検出アドレス情報Ｐ１５０３を生成した状態を示すイメージ図である。
顔検出処理部１４０２は、画像データに含まれている人の顔と思しき画像領域の存在全てを、画像データの解像度が許す限り検出し、それら複数の画像領域をそれぞれ長方形状に囲む。この長方形状の領域の、長方形の左上の頂点と右下の頂点のアドレス情報が、顔検出アドレス情報Ｐ１５０３になる。

図１４に戻って、ブロック図の説明を続ける。
後述するエンゲージメント算出部１４０６では、エンゲージメント値の算出処理の中で、移動平均の演算処理を行う。移動平均を計算するということは、ある被験者から算出したエンゲージメント値の基となる値を、ある時間幅だけ、継続して加算する必要がある。すなわち、顔検出アドレス情報Ｐ１５０３か、あるいは別の情報を用いて、フレームバッファ１４０１に格納されている画像データに含まれる複数の顔の存在を特定する必要がある。
そこで、顔検出アドレス情報Ｐ１５０３は入出力制御部１４０４に含まれるアドレス情報処理部１４０７に供給される。
アドレス情報処理部１４０７は、顔検出処理部１４０２から出力された顔検出アドレス情報Ｐ１５０３から、情報形状の領域の中心点、すなわち顔検出アドレス情報Ｐ１５０３の中心点を算出する。これ以降、この中心点を顔検出中心点と呼ぶ。この顔検出中心点は、授業や講義、講演等において、撮像装置１２０２に写る人の顔の中心を示す点である。
アドレス情報処理部１４０７が出力する顔検出中心点は、入出力制御部１４０４に含まれるエンゲージメント算出部１４０６に供給される。エンゲージメント算出部１４０６は、後述するエンゲージメント算出処理に際し、顔検出中心点を個々人の識別子として取り扱う。

［エンゲージメント値算出処理について］
ベクトル解析部１４０５が出力する顔方向ベクトルと視線方向ベクトルは、入出力制御部１４０４に含まれるエンゲージメント算出部１４０６に供給される。エンゲージメント算出部１４０６は、顔方向ベクトルと視線方向ベクトルから、エンゲージメント値を算出する。
図１７は、エンゲージメント算出部１４０６の機能ブロック図である。
ベクトル解析部１４０５が出力する顔方向ベクトルと視線方向ベクトルは、ベクトル加算部１７０１に入力される。ベクトル加算部１７０１は、顔方向ベクトルと視線方向ベクトルを加算して、注視方向ベクトルを算出する。この注視方向ベクトルは、生徒１２０７がコンテンツを表示する表示部１２０８と撮像装置１２０２を含む３次元空間内の何処を注視しているのかを示すベクトルである。

ベクトル加算部１７０１が算出した注視方向ベクトルは、注視方向判定部１７０２に入力される。注視方向判定部１７０２は、生徒１２０７が注視する対象を指し示す注視方向ベクトルが表示部１２０８に向いているか否かを判定する、２値の注視方向判定結果を出力する。
なお、撮像装置１２０２が表示部１２０８の近傍から離れた場所に設置されている場合は、不揮発性ストレージ１３０５に記憶されている初期補正値１７０３によって、注視方向判定部１７０２の判定処理に補正が加えられる。初期補正値１７０３には、生徒１２０７の顔と視線が表示部１２０８に正しく向かっているか否かを検出するために、予め生徒１２０７の顔と視線が表示部１２０８に正しく向かっている時の、撮像装置１２０２から見た生徒１２０７の顔と視線の向きの情報が、不揮発性ストレージ１３０５に記憶されている。

注視方向判定部１７０２が出力する２値の注視方向判定結果は、第一平滑化処理部１７０４に入力される。注視方向判定部１７０２が出力する注視方向判定結果には、特徴点抽出部１４０３が生成する特徴点データに含まれるノイズに由来する外乱がしばしば発生する。このため、第一平滑化処理部１７０４によってノイズの影響を抑え、生徒１２０７の挙動に極めて近い状態を示す「ライブエンゲージメント値」を得る。
第一平滑化処理部１７０４は、例えば現在の注視方向判定結果を含む数サンプルの移動平均を算出し、ライブエンゲージメント値を出力する。

第一平滑化処理部１７０４が出力するライブエンゲージメント値は、第二平滑化処理部１７０５に入力される。
第二平滑化処理部１７０５は、入力されたライブエンゲージメント値に対し、予め指定されたサンプル数１７０６の数に基づく平滑化処理を行い、「エンゲージメント基礎値」を出力する。例えば、サンプル数１７０６に「５」と記述されていれば、５個のライブエンゲージメント値に対して移動平均を算出する。また、平滑化処理では、加重移動平均、指数加重移動平均等の別のアルゴリズムを使用してもよい。このサンプル数１７０６及び平滑化処理のアルゴリズムは、本発明の第二の実施形態に係るエンゲージメント測定システム１２０１が適用されるアプリケーションに応じて、適切に設定される。
第二平滑化処理部１７０５が出力するエンゲージメント基礎値は、エンゲージメント演算処理部１７０７に入力される。

一方、顔方向ベクトルはよそ見判定部１７０８にも入力される。よそ見判定部１７０８は、生徒１２０７の顔の向きを示す顔方向ベクトルが表示部１２０８に向いているか否かを判定し、２値のよそ見判定結果を生成する。そして、このよそ見判定結果を、ベクトル解析部１４０５が出力する顔方向ベクトルと視線方向ベクトルのサンプリングレートにしたがって、よそ見判定部１７０８に内蔵される不図示の２個のカウンタで計数する。

すなわち、第一のカウンタは、生徒１２０７がよそ見をしている判定結果を計数し、第二のカウンタは、生徒１２０７がよそ見をしていない判定結果を計数する。第一のカウンタは、第二のカウンタが所定の計数値に至るとリセットされる。第二のカウンタは、第一のカウンタが所定の計数値に至るとリセットされる。第一のカウンタと第二のカウンタの論理値が、生徒１２０７がよそ見をしているか否かを示す判定結果として出力される。
また、方向別に第一のカウンタを複数持つ事で、アプリケーションに応じて、例えば手元でノートを取ることはよそ見と判定しないようにすることもできる。

また、視線方向ベクトルは目瞑り判定部１７０９にも入力される。目瞑り判定部１７０９は、生徒１２０７の視線の向きを示す視線方向ベクトルが検出できているか否かを判定する、２値の目瞑り判定結果を生成する。
視線方向ベクトルは生徒１２０７の目が開いている状態のときだけ検出される。つまり、生徒１２０７が目を瞑っていると、視線方向ベクトルは検出できなくなる。そこで、目瞑り判定部１７０９は、生徒１２０７が目を瞑っているか否かを示す、２値の目瞑り判定結果を生成する。
目瞑り判定部１７０９もよそ見判定部１７０８と同様に不図示の２個のカウンタを内蔵しており、この目瞑り判定部１７０９による目瞑り判定結果を、ベクトル解析部１４０５が出力する顔方向ベクトルと視線方向ベクトルのサンプリングレートにしたがって、２個のカウンタで計数する。

第一のカウンタは、生徒１２０７が目を瞑っている判定結果を計数し、第二のカウンタは、生徒１２０７が目を開いている（目を瞑っていない）判定結果を計数する。第一のカウンタは、第二のカウンタが所定の計数値に至るとリセットされる。第二のカウンタは、第一のカウンタが所定の計数値に至るとリセットされる。第一のカウンタと第二のカウンタの論理値が、生徒１２０７が目を瞑っているか否かを示す判定結果として出力される。

第二平滑化処理部１７０５が出力するエンゲージメント基礎値と、よそ見判定部１７０８が出力するよそ見判定結果と、目瞑り判定部１７０９が出力する目瞑り判定結果は、エンゲージメント演算処理部１７０７に入力される。
エンゲージメント演算処理部１７０７は、エンゲージメント基礎値と、よそ見判定結果と、目瞑り判定結果に対し、アプリケーションに応じた重み付け係数１７１０を乗算した上で加算して、最終的なエンゲージメント値を出力する。

サンプル数１７０６及び重み付け係数１７１０を調整することで、エンゲージメント測定システム１２０１を様々なアプリケーションに対応することができる。例えば、サンプル数１７０６を「０」に設定し、よそ見判定部１７０８及び目瞑り判定部１７０９に対する重み付け係数１７１０もそれぞれ「０」に設定すれば、第一平滑化処理部１７０４が出力するライブエンゲージメントそのものがそのままエンゲージメント値としてエンゲージメント演算処理部１７０７から出力される。
特に、第二平滑化処理部１７０５は、サンプル数１７０６の設定によって無効化することもできる。そこで、第一平滑化処理部１７０４と第二平滑化処理部１７０５は、単一の平滑化処理部として上位概念でみなすことができる。

［ログテーブル１４０８について］
本発明の第二の実施形態に係るエンゲージメント測定装置１２０３は、複数の生徒１２０７あるいは聴衆等に対し、個別にエンゲージメント値を算出するために、入出力制御部１４０４が顔検出アドレス情報Ｐ１５０３とログテーブル１４０８を用いて、被写体の匿名性を維持しつつ個別のエンゲージメント値の算出を実現する。
図１８は、ログテーブル１４０８のフィールド構成を示す表である。
ログテーブル１４０８は、被写体ＩＤフィールド、日時情報フィールド、顔検出アドレス情報フィールド、顔検出中心点フィールド、特徴点データフィールド、顔方向ベクトルフィールド、視線方向ベクトルフィールド、エンゲージメント値フィールドを有する。

被写体ＩＤフィールドには、被写体である人を画像データ内において一意に識別するＩＤ情報である被写体ＩＤが格納される。この被写体ＩＤは、単に画像データ内に写っている人を、エンゲージメント値算出の際に混同しないために用いられるものであり、個人を厳密に特定する目的のものではない。
日時情報フィールドには、フレームバッファ１４０１に格納されている画像データが撮影された日時が格納される。画像データが撮影された日時は、ＲＴＣ１３０６が出力する現在日時情報から撮像装置１２０２とフレームバッファ１４０１との間のデータ転送速度等を考慮して算出することができる。また、撮像装置１２０２がシングルボードコンピュータを有する場合、シングルボードコンピュータが内蔵するＲＴＣが出力する撮影日時情報を用いることができる。なお、画像データが撮影された日時に代わり、ＲＴＣ１３０６が出力する現在日時情報でも実質的には問題ない。

顔検出アドレス情報フィールドには、顔検出処理部１４０２が出力した顔検出アドレス情報Ｐ１５０３が格納される。
顔検出中心点フィールドには、アドレス情報処理部１４０７が顔検出アドレス情報Ｐ１５０３を基に算出した顔検出中心点が格納される。この顔検出中心点が、被写体ＩＤの根拠となる。

特徴点データフィールドには、特徴点抽出部１４０３が生成する特徴点データが格納される。
顔方向ベクトルフィールドには、ベクトル解析部１４０５が出力する顔方向ベクトルが格納される。
視線方向ベクトルフィールドには、ベクトル解析部１４０５が出力する視線方向ベクトルが格納される。
エンゲージメント値フィールドには、顔方向ベクトルと視線方向ベクトルに基づいてエンゲージメント算出部１４０６が算出するエンゲージメント値が格納される。

入出力制御部１４０４のアドレス情報処理部１４０７は、顔検出アドレス情報Ｐ１５０３を基に算出した顔検出中心点と被写体ＩＤを紐付ける。
授業中あるいは講演中、被写体である生徒１２０７や受講者は着席しており、顔の位置が大きく動くことはあまりない。そこで入出力制御部１４０４は、被写体が聴講中において顔検出中心点が移動する範囲を閾値として予め定めておく。そして、顔検出中心点がその閾値の範囲内に存在するのであれば、入出力制御部１４０４は当該顔検出中心点を同一の被写体ＩＤに属するものと判断する。

顔検出中心点と被写体ＩＤが紐付けられたら、顔検出中心点の基になった顔検出アドレス情報Ｐ１５０３、顔検出アドレス情報Ｐ１５０３の範囲内に存在する特徴点データ、その特徴点データに基づいて算出された顔方向ベクトル及び視線方向ベクトルが一意に紐付けられるので、これらをログテーブル１４０８の同一レコードに記録する。
ログテーブル１４０８に記録された、ある被写体ＩＤにおける顔方向ベクトル及び視線方向ベクトルは、エンゲージメント算出部１４０６に読み込まれ、エンゲージメント値が算出され、ログテーブル１４０８の同一レコードに記録される。

エンゲージメント平均値算出部１４０９は、ログテーブル１４０８の日時情報フィールドに記録されている同一の日時情報に属する、複数のレコードのエンゲージメント値の平均値を算出する。
入出力制御部１４０４は、エンゲージメント平均値算出部１４０９が出力したエンゲージメント値の平均値に所定の加工処理を施して、表示部１２０８に表示する。

［エンゲージメント測定装置１２０３：表示例］
図１９は、エンゲージメント測定装置１２０３の入出力制御部１４０４によって表示部１２０８に表示されるモニタ画面の表示例である。
画面下半分の表示領域Ａ１９０１は、個々人のエンゲージメント値の棒グラフである。棒グラフは、例えば１秒毎、あるいは０．５秒毎にリフレッシュされ、その時点での最新のエンゲージメント値を棒グラフで表示する。そして、エンゲージメント値が６６．６％以上の時は棒グラフを緑色に表示し（色Ｐ１９０１ａ）、エンゲージメント値が３３．３％以上６６．６％未満の時は棒グラフをオレンジ色に表示し（色Ｐ１９０１ｂ）、エンゲージメント値が３３．３％未満の時は棒グラフを赤色に表示する（色Ｐ１９０１ｃ）。この様に、エンゲージメント値を色分けして表示することで、生徒１２０７のエンゲージメント値の状態を瞬時に把握することが可能になる。

棒グラフの下に表示される数字は、生徒１２０７を画像データ内において一意に識別する番号である。番号は被写体ＩＤそのものであってもよい。数字も棒グラフと同じ色で表示される。生徒１２０７が途中退席した場合、エンゲージメント値を測定できないエンゲージメント測定装置１２０３の番号は、灰色で表示される（色Ｐ１９０１ｄ）。
例えば、全ての生徒１２０７が授業に興味を持っている場合、欠席のエンゲージメント測定装置１２０３の欄を除き、全ての棒グラフが一斉に緑色に染まる。
例えば、生徒１２０７の多くが授業に対する集中力を失っている場合、多くの棒グラフがオレンジ色や赤色に染まる。

画面左上の表示領域Ａ１９０２は、全てのエンゲージメント値の平均値の数値表示である。この数値も、折れ線グラフと同様の色分け表示を行う。
画面右上の表示領域Ａ１９０３は、全てのエンゲージメント値の平均値の推移を示す折れ線グラフである。横軸は時間であり、縦軸はエンゲージメント値である。折れ線グラフを設けることで、エンゲージメント値の現在値のみならず、エンゲージメント値の推移も把握できるので、講師１２０６は現在の講義が生徒１２０７達にどの程度興味を惹かれているのか、どの話題で生徒１２０７達の興味が惹かれたり、あるいは削がれたのかを把握することができる。

エンゲージメント測定装置１２０３のログテーブル１４０８にログ記録されたエンゲージメント値には日時情報、すなわち絶対時間情報が含まれているので、後からエンゲージメント測定装置１２０３や他の情報処理装置で再生することが可能である。また、別途動画撮像装置で授業を録画しておき、動画データに録画を開始した日時情報を付加しておけば、ログテーブル１４０８に記録されているエンゲージメント値との同期再生も可能である。

以上に説明した本発明の第二の実施形態は、以下のような変形例が可能である。
（１）エンゲージメント測定システム１２０１に使用する撮像装置１２０２は、複数の被写体を撮影し、顔の特徴点データを抽出する。このため、撮像装置１２０２はできる限り高解像度であることが望ましく、また、撮像装置１２０２と被写体との距離によっては、顔の特徴点データを取得できない場合もある。そこで、エンゲージメント測定システム１２０１を設置する教室あるいは講堂には、撮像装置１２０２が撮影可能な画角及び範囲を考慮して、複数の撮像装置１２０２を配置する。そして、それら複数の撮像装置１２０２が出力する同画像データストリームを、適宜合成したり、あるいはトリミング処理を施す。その後、フレームバッファ１４０１に合成した画像データを格納すれば、広範囲で複数の被写体のエンゲージメント値を測定することが可能になる。

（２）フレームバッファ１４０１に格納されている画像データと顔検出アドレス情報Ｐ１５０３を、公知の顔認識処理に処理させることで、より精緻な個人の特定が可能になる。個人の特定が精緻にできる、ということは、エンゲージメント値の算出精度も向上することが期待できる。

（３）入出力制御部１４０４のエンゲージメント平均値算出部１４０９と表示部１２０８とを、例えばタブレットＰＣ等の別の装置に実装して、相互を無線ＬＡＮ等のネットワークで接続し、ネットワークを通してログテーブル１４０８に記録されるデータを送ることで、遠隔地でもエンゲージメント測定装置１２０３の表示を行うことができる。複数の表示装置にデータを送れば、複数地点での表示を行うこともできる。また、送られたデータをサーバに記録して、後から再生しても良い。これらによって、エンゲージメント測定が行われている教室１２０５と場所や時間が異なる、例えば事務室や遠隔地の本部や、後日でもエンゲージメント測定の結果を確認できる。
（４）図１９に示したエンゲージメント測定値の平均値は、あくまで平均値である。つまり、必ずしも撮像装置１２０２が教室や講堂に着席している生徒１２０７や聴衆の全員を撮影する必要はない。撮像装置１２０２の解像度でエンゲージメント値を測定可能な人数が、平均値を算出するに十分なサンプル数であればよい。

本発明の第二の実施形態においては、エンゲージメント測定システム１２０１を開示した。
エンゲージメント測定装置１２０３は、単一あるいは少数の撮像装置１２０２を用いて多数の被写体である生徒１２０７を撮影し、生徒１２０７が授業にどの程度興味を持っているかを示すエンゲージメント値を測定する。エンゲージメント測定装置１２０３は被写体ＩＤと日時情報とエンゲージメント値をログテーブル１４０８に記録する。エンゲージメント測定装置１２０３は、エンゲージメント値の平均値をリアルタイムでグラフィカルに表示する。

以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、請求の範囲に記載した本発明の要旨を逸脱しない限りにおいて、他の変形例、応用例を含む。

１０１…エンゲージメント測定システム、１０２…学習塾、１０３…講師、１０４…生徒、１０５…机、１０６…エンゲージメント測定装置、１０７…無線ＬＡＮルータ、１０８…サーバ、１０９…モニタ端末、３０１…ノートパソコン、３０２…ＬＣＤディスプレイ、３０３…ｗｅｂカメラ、３０４…シングルボードコンピュータ、３０５…カメラ、４０１…ＣＰＵ、４０２…ＲＯＭ、４０３…ＲＡＭ、４０４…不揮発性ストレージ、４０５…ＲＴＣ、４０６…無線ＬＡＮインターフェース、４０７…ＮＩＣ、４０８…バス、４０９…撮像装置、５０１…顔検出処理部、５０２…特徴点抽出部、５０３…ベクトル解析部、５０４…エンゲージメント算出部、５０５…入出力制御部、５０６…ＩＤ情報、５０７…インターフェース選択部、６０１…被撮影者、７０１…ＣＰＵ、７０２…ＲＯＭ、７０３…ＲＡＭ、７０４…表示部、７０５…操作部、７０６…不揮発性ストレージ、７０７…ＲＴＣ、７０８…ＮＩＣ、７０９…バス、８０１…入出力制御部、８０２…ログテーブル、８０３…入出力制御部、８０４…表示処理部、８０５…集計処理部、９０１…ＣＰＵ、９０２…ＲＯＭ、９０３…ＲＡＭ、９０４…表示部、９０５…操作部、９０６…不揮発性ストレージ、９０７…ＲＴＣ、９０８…無線ＬＡＮインターフェース、９０９…バス、１００１…入出力制御部、１００２…集計処理部、１００３…表示処理部、１２０１…エンゲージメント測定システム、１２０２…撮像装置、１２０３…エンゲージメント測定装置、１２０４…ケーブル、１２０５…教室、１２０６…講師、１２０７…生徒、１２０８…表示部、１３０１…ＣＰＵ、１３０２…ＲＯＭ、１３０３…ＲＡＭ、１３０４…操作部、１３０５…不揮発性ストレージ、１３０６…ＲＴＣ、１３０７…ＮＩＣ、１３０８…バス、１４０１…フレームバッファ、１４０２…顔検出処理部、１４０３…特徴点抽出部、１４０４…入出力制御部、１４０５…ベクトル解析部、１４０６…エンゲージメント算出部、１４０７…アドレス情報処理部、１４０８…ログテーブル、１４０９…エンゲージメント平均値算出部、１５０１…被撮影者、１７０１…ベクトル加算部、１７０２…注視方向判定部、１７０３…初期補正値、１７０４…第一平滑化処理部、１７０５…第二平滑化処理部、１７０６…サンプル数、１７０７…エンゲージメント演算処理部、１７０８…よそ見判定部、１７０９…目瞑り判定部、１７１０…重み付け係数

Claims (5)

1. 複数の被撮影者の顔を撮影可能な撮像装置と、
   前記撮像装置から動画像データストリームを受信して、前記複数の被撮影者のエンゲージメント値を測定するエンゲージメント測定装置と
   よりなるエンゲージメント測定システムであり、
   前記エンゲージメント測定装置は、
   前記撮像装置から出力される画像データストリームから１画面分の画像データを格納するフレームバッファと、
   前記フレームバッファに格納されている前記画像データから前記複数の被撮影者の顔の存在を検出し、前記複数の被撮影者の顔だけを抽出するための顔検出アドレス情報を出力する顔検出処理部と、
   前記フレームバッファに格納されている前記画像データと前記顔検出アドレス情報から、前記複数の被撮影者の顔の二次元空間内における座標情報を有する特徴点の集合体である特徴点データを出力する特徴点抽出部と、
   前記特徴点データから、前記被撮影者の顔の向きを示す顔方向ベクトルを生成するベクトル解析部と、
   前記顔方向ベクトルを演算して前記被撮影者が３次元空間内の何処を注視しているのかを示す注視方向ベクトルを算出し、前記注視方向ベクトルが所定の事象に向いているのか否かを判定し、判定結果の移動平均を算出してエンゲージメント値を出力するエンゲージメント算出部と、
   前記顔検出アドレス情報に基いて、前記画像データに含まれる前記複数の被撮影者毎に前記エンゲージメント値を算出させるべく前記エンゲージメント算出部を稼働させて、前記画像データの撮影日時情報または現在日時情報と、前記複数の被撮影者を画像データ内において一意に識別するＩＤ情報と共にログテーブルに記録する入出力制御部と、
   前記エンゲージメント値の平均値を算出するエンゲージメント平均値算出部と、
   前記複数の被撮影者の前記エンゲージメント値の平均値を表示する表示部と
   を具備する、エンゲージメント測定システム。
2. 前記ベクトル解析部は、前記特徴点データから、前記被撮影者の顔の向きを示す顔方向ベクトルに加え、前記被撮影者の顔における視線の向きを示す視線方向ベクトルを生成するものであり、
   前記エンゲージメント算出部は、前記顔方向ベクトルに加え、前記視線方向ベクトルを加算して、前記被撮影者が３次元空間内の何処を注視しているのかを示す注視方向ベクトルを算出するものである、
   請求項１に記載のエンゲージメント測定システム。
3. 前記入出力制御部は、前記複数の被撮影者の前記エンゲージメント値及び前記平均値を、所定の閾値に基づいて色分け表示する、
   請求項２に記載のエンゲージメント測定システム。
4. 複数の被撮影者のエンゲージメント値を測定する複数のエンゲージメント測定装置と、
   前記エンゲージメント測定装置から送信パケットを受信してログ記録を行うサーバと、
   前記エンゲージメント測定装置が出力する前記エンゲージメント値をリアルタイムで表示するモニタ端末と
   よりなるエンゲージメント測定システムであり、
   前記エンゲージメント測定装置は、
   被撮影者の顔を撮影可能な撮像装置と、
   前記撮像装置から出力される画像データストリームから前記被撮影者の顔の存在を検出し、前記被撮影者の顔を抽出した顔抽出画像データを出力する顔検出処理部と、
   前記顔抽出画像データから、前記被撮影者の顔の二次元空間内における座標情報を有する特徴点の集合体である特徴点データを出力する特徴点抽出部と、
   前記特徴点データから、前記被撮影者の顔の向きを示す顔方向ベクトルと、前記被撮影者の顔における視線の向きを示す視線方向ベクトルを生成する、ベクトル解析部と、
   前記顔方向ベクトルと前記視線方向ベクトルを加算して、前記被撮影者が３次元空間内の何処を注視しているのかを示す注視方向ベクトルを算出し、前記注視方向ベクトルが所定の事象に向いているのか否かを判定し、判定結果の移動平均を算出してエンゲージメント値を出力する、エンゲージメント算出部と、
   現在日時情報を出力するリアルタイムクロックと、
   前記エンゲージメント算出部が出力する前記エンゲージメント値と、前記リアルタイムクロックが出力する前記現在日時情報と、被撮影者または他のエンゲージメント測定装置との個体を一意に識別するＩＤ情報をまとめて送信パケットを生成し、前記サーバに送信する入出力制御部と
   を具備し、
   前記サーバは、
   複数の前記エンゲージメント測定装置から送信される前記送信パケットがログ記録されるログテーブルと、
   複数の前記エンゲージメント測定装置から送信される前記送信パケットを受信して、前記ログテーブルにログ記録する入出力制御部と
   を具備し、
   前記モニタ端末は、
   複数の前記エンゲージメント測定装置または前記サーバから複数の前記エンゲージメント測定装置によって生成された前記送信パケットを受信する入出力制御部と、
   前記サーバが複数の前記エンゲージメント測定装置から受信した前記送信パケットに含まれる前記エンゲージメント値の平均値を算出する集計処理部と、
   前記エンゲージメント値と前記平均値を表示する表示部と、
   前記表示部に表示する、前記エンゲージメント値と前記平均値の表示画面を形成する表示処理部と
   を具備する、エンゲージメント測定システム。
5. 前記モニタ端末の前記表示処理部は、前記エンゲージメント値及び前記平均値を、所定の閾値に基づいて色分け表示する、
   請求項４に記載のエンゲージメント測定システム。
   

Images