JP4232486B2

JP4232486B2 - Image data processing apparatus and program

Info

Publication number: JP4232486B2
Application number: JP2003061441A
Authority: JP
Inventors: 洋一小林
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2003-03-07
Filing date: 2003-03-07
Publication date: 2009-03-04
Anticipated expiration: 2023-03-07
Also published as: JP2004272529A

Description

【０００１】
【発明の属する技術分野】
本発明は、催しに出席した出席者の様子を撮影した画像データに基づいて、出席者の参加状態や催しに対する評価を行う画像データ処理装置及びプログラムに関する。
【０００２】
【従来の技術】
従来、特定の場所や区域の様子を監視するため、監視区域の様子をカメラで撮影し、管理室のモニタに表示する監視システムが利用されている。例えば、特許文献１には、人のいる部分を目立たせ、更に人のいる部分でも人の動きのない部分の色を落とし、色の濃さという相対的な識別によって監視しなければならない部分を一目で把握することができるようにする監視システムが開示されている。
【０００３】
【特許文献１】
特開平１０−１３６３４３号公報
【０００４】
【発明が解決しようとする課題】
監視システムは、特許文献１のように、監視区域内の事象の発生等を知らせる目的の他、例えば進学塾等において、経営者が講師の授業内容や教室内の雰囲気を把握する目的としても利用されている。
【０００５】
しかしながら、従来の監視システムは監視場所の様子を表示するのみであるので、例えば、進学塾における授業内容等、その場所で行われている催しの有効性を客観的に評価して分析することは困難であった。また、表示された画像から催しの各出席者の参加意欲や集中度を評価して分析することは困難であった。
【０００６】
本発明の課題は、催しの有効性や出席者の参加状態の評価、分析を容易に行うことができるようにすることである。
【０００７】
【課題を解決するための手段】
上記課題を解決するため、請求項１に記載の発明は、出席者が撮像された画像データから、前記出席者の眼球の動きが予め設定された基準レベル以上か否かを判定することにより出席者の意識レベルを判定する意識レベル判定手段と、この意識レベル判定手段により意識レベルが判定できなかった場合に、前記画像データから出席者の動作の動作レベルを判定する動作レベル判定手段と、前記意識レベル判定手段或いは前記動作レベル判定手段による判定を複数の出席者に対して行い、前記複数の出席者の判定結果を記憶する記憶手段と、この記憶手段に記憶される前記複数の出席者の判定結果を集計して、集計された集計結果を出力する集計結果出力手段と、を備えることを特徴とする。
更に、コンピュータに対して、上述した請求項１記載の発明に示した各手段を実現させるためのプログラムを提供する（請求項３記載の発明）。
【０００８】
請求項２に記載の発明は、請求項１に記載の画像データ処理装置において、前記集計結果出力手段は、所定の時間帯別に変更される前記複数の出席者の判定結果を集計して、集計された集計結果を出力することを特徴とする。
【００１０】
【発明の実施の形態】
以下、図を参照して本発明の実施の形態を詳細に説明する。
まず、構成を説明する。
図１に、本発明に係る画像データ処理装置１００の構成を示す。この画像データ処理装置１００は、ある会場において行われる催しに出席した出席者の様子を撮影し、撮影した画像から出席者の参加状態の評価を行って、各出席者の参加状態（参加意欲の有無又は強さ、集中度等）、催しの有効性、その実行者のパフォーマンス等を評価する装置である。催しは、ある場所に人を集めて、集まった出席者が見たり聞いたりするものであればよく、例えば、講演会、学校・塾・予備校等の授業、プレゼンテーション、舞台、発表会、映画、コンサート、セミナー、会議等が含まれる。
【００１１】
図１に示すように、画像データ処理装置１００は、会場全体を撮影する画像撮影装置２と、画像撮影装置２により撮影された画像データを取り込んで各出席者や催しの評価を行う本体１とが画像撮影装置接続部１４を介して接続されて構成されている。画像撮影装置２は会場の各出席者の動作を撮影できればよく、１つの会場に複数設置する構成としてもよいし、画像撮影装置２として球面体カメラ等を利用して、１つの会場に１つ設置する構成としてもよい。画像撮影装置２は、動画を撮影するものとして説明するが、静止画を撮影するものであってもよい。
【００１２】
図２は、本体１の機能的構成を示すブロック図である。図２に示すように、本体１は、ＣＰＵ１１、入力部１２、表示部１３、画像撮影装置接続部１４、ＲＡＭ１５、記録部１６、印刷部１７、通信部１８等により構成され、各部はバス１９により接続されている。
【００１３】
ＣＰＵ（Central Processing Unit）１１は、記録部１６に記憶されているシステムプログラムを読み出し、ＲＡＭ１５内に形成されたワークエリアに展開し、該システムプログラムに従って各部を制御する。また、ＣＰＵ１１は、記録部１６に記憶されている各種処理プログラムを読み出してワークエリアに展開し、後述する出席者情報生成処理、表情評価処理、動作評価処理、進学塾講師評価表出力処理を始めとする各種処理を実行し、それらの処理結果をＲＡＭ１５のワークメモリに記憶する。そして、ワークエリアに格納した処理結果を記録部１６内の指定の保存先に保存させる。
【００１４】
入力部１２は、文字／英数字入力キー、カーソルキー、及び各種機能キー等を備えたキーボードと、ポインティングデバイスであるマウスと、を備えて構成され、キーボードで押下操作されたキーの押下信号とマウスによる操作信号とを、入力信号としてＣＰＵ１１に出力する。
【００１５】
表示部１３は、出力手段であり、ＬＣＤ（Liquid Crystal Display）やＣＲＴ（Cathode Ray Tube）等により構成され、ＣＰＵ１１から入力される表示信号の指示に従って、表示画面上に、画像撮影装置２から入力される画像データ、出席者別の参加度評価情報、会場全体の参加度評価情報、進学塾講師評価表等を表示する。
【００１６】
画像撮影装置接続部１４は、本体１に画像撮影装置２を接続するためのインターフェースである。
【００１７】
ＲＡＭ（Random Access Memory）１５は、ＣＰＵ１１により実行されるシステムプログラム、各種処理プログラム、各処理において処理中のデータ、処理結果などを一時的に記憶するワークエリアを形成する。
【００１８】
記録部１６は、本体１に対応するシステムプログラム、各種処理プログラム、各種データ等が予め記憶されており、この記録部１６は、磁気的、光学的記録媒体、若しくは半導体メモリなどＣＰＵ１１で読取り可能な記録媒体を含んだ構成である。この記録媒体はＣＤ-ＲＯＭ（Compact Disc Read Only Memory）、メモリカード等の可搬型の媒体やハードディスク等の固定的な媒体を含む。また、記録媒体に格納するプログラム、データ等の一部若しくは全部をサーバやクライアントからＷＡＮ、ＬＡＮなどの通信ネットワークを介して受信する構成にしてもよく、更に、記録媒体は通信ネットワーク上に構築されたサーバやクライアントの記録媒体であってもよい。
【００１９】
本実施の形態において、記録部１６は、図２に示すように、事前登録情報Ｆ２０、位置定義情報Ｆ２１を格納している。
事前登録情報Ｆ２０は、評価対象となる催しの出席者集団が予め決まっている場合、その集団に属する各会員（集団が会社であれば社員、学校であれば生徒等）の情報が格納されているファイルである。図３（ａ）に、事前登録情報Ｆ２０に格納される事前登録情報レコードＲ２０の構造を示す。図３（ａ）に示すように、事前登録情報レコードＲ２０は、個人を特定するために一意的に割り当てられた識別コードである登録ＮＯ．と、顔貌画像データ、氏名、性別、年齢等により構成されている。
【００２０】
位置定義情報Ｆ２１は、会場において出席者が存在する可能性がある位置（例えば、教室が会場の場合は座席位置）の定義情報が格納されているファイルである。図３（ｂ）に、位置定義情報Ｆ２１に格納される位置定義レコードＲ２１の構造を示す。図３（ｂ）に示すように、位置定義情報レコードＲ２１は、位置管理名称（位置Ｘ、位置Ｙ）及び予め定められた原点からの距離（Ｘ距離、Ｙ距離；物理位置）により構成されている。例えば、図３（ｃ）において、会場平面図における原点にあたる位置からたて４ｍ、よこ２．５ｍ毎に座席が配置されているとすると、位置Ａを定義するレコードＲ２１は、図３（ｄ）に示すように、（位置Ｘ、位置Ｙ、Ｘ距離、Ｙ距離＝２、３、５、１２）となる。なお、出席者が存在する位置が自由の場合、例えば、座席が移動可能な会場や座席なしの会場の場合は、想定される出席者存在密度（混雑度）に併せて位置定義を行う。
【００２１】
また、記録部１６は、後述する講師評価テーブルＴ１（図１３参照）を記憶する。
【００２２】
印刷部１７は、出力手段として、ドットインパクト方式、熱転写方式、レーザ方式、インクジェット方式等の各種印刷方式により紙等の印刷記録媒体に印刷を行う。
【００２３】
通信部１８は、ネットワークインターフェースカード、モデム、ＴＡ(Terminal Adapter）等により構成され、通信ネットワークワーク上の外部機器と各種情報の送受信を行う。例えば、通信部１８は、ＣＰＵ１１からの指示に応じて、生成された出席者別参加度評価情報Ｆ５、会場全体参加度評価情報Ｆ６等を通信ネットワークに接続されたＰＣ（Personal Computer）やプリンタ等へ送信する。
【００２４】
次に、画像データ処理装置１００の動作について説明する。
図４に、画像データ処理装置１００における参加度評価データ作成手順を示す。
【００２５】
まず、撮影手段としての画像撮影装置２により会場全体が撮影され、本体１に入力される。本体１においては、ＣＰＵ１１と記録部１６に記憶されているプログラムの協働によるソフトウエア処理により、出席者評価手段、催し評価手段、位置情報取得手段として、以下の処理が実行される。
【００２６】
まず、会場画像取込処理により、画像撮影装置２より入力された会場画像データから所定時間毎に画像データが取り込まれ、撮影された日時が付加され、図５のＲ１に示す構造のレコードＲ１が生成され（Ｍ１）、記録部１６に会場画像トランザクションＦ１として順次格納される。
【００２７】
次に、出席者情報生成処理が実行される（Ｍ２）。図６に、ＣＰＵ１１により実行される出席者情報生成処理を示す。
会場画像トランザクションＦ１に格納された先頭のレコードＲ１が読み込まれ（ステップＳ１）、ＲＡＭ１５の位置ポインタが初期化され、Ｘ＝１、Ｙ＝１が格納される（ステップＳ２）。次いで、位置ポインタの顔貌抽出処理が実行される（ステップＳ３）。
【００２８】
図７に、位置ポインタの顔貌抽出処理を示す。まず、記録部１６に記憶されている位置定義情報Ｆ２１を参照することにより、位置ポインタに相当する物理位置（Ｘ距離、Ｙ距離）が確定される（ステップＳ１０１）。次いで、物理位置（Ｘ距離、Ｙ距離）に対応する画像が、レコードＲ１の会場画像から抽出される（ステップＳ１０２）。そして、抽出された画像に含まれる出席者の顔貌画像が抽出され（ステップＳ１０３）、図６のステップＳ４に移行する。確定された物理位置に人が存在しない場合は、抽出結果は空となる。
【００２９】
図６のステップＳ４においては、出席者情報処理が実行される。
図８に、出席者情報処理を示す。位置ポインタの顔貌抽出処理において顔貌画像が抽出されず、空の場合（ステップＳ１１０；ＹＥＳ）、本処理は終了し、図６のステップＳ５に移行する。顔貌画像が空でなく（ステップＳ１１０；ＮＯ）、今回の出席者情報生成処理において初めて出席者情報処理が行われ、まだ記録部１６に出席者顔貌情報Ｆ２２が生成されていない場合（ステップＳ１１１；ＮＯ）、処理はステップＳ１１４に移行し、出席者顔貌情報Ｆ２２が生成され、当該顔貌画像のシリアルＮＯ．が決定されて顔貌画像とともにＲ２２として登録される。出席者顔貌情報Ｆ２２が既存の場合（ステップＳ１１１；ＹＥＳ）、出席者顔貌情報Ｆ２２に当該抽出された顔貌画像と近似した顔貌画像が存在するかの照合が行われる（ステップＳ１１２）。出席者顔貌情報Ｆ２２に当該顔貌画像と近似した顔貌画像が存在しない場合（ステップＳ１１３；ＮＯ）、当該顔貌画像のシリアルＮＯ．が決定され、顔貌画像と対応付けてＲ２２が生成され、出席者顔貌情報Ｆ２２に新規のレコードとして追加登録される（ステップＳ１１４）。図９（ａ）にレコードＲ２２の構造を示す。
【００３０】
次いで、事前登録情報Ｆ２０に当該顔貌画像と近似する顔貌画像が存在するかの照合が行われ、存在した場合は、該当する登録ＮＯ．が読み出される（ステップＳ１１５）。そして、出席者情報Ｆ２３に新規のＲ２３が追加され、シリアルＮＯ．、登録ＮＯ．、位置Ｘ、Ｙ（＝位置ポインタ）、開始日時（＝Ｒ１の日時）が登録される（ステップＳ１１６）。なお、今回の出席者情報生成処理において初めて出席者情報処理が行われ、まだ記録部１６に出席者情報Ｆ２３が生成されていない場合、出席者情報Ｆ２３が生成され、シリアルＮＯ．、登録ＮＯ．、位置Ｘ、Ｙ（＝位置ポインタ）、開始日時（＝Ｒ１の日時）からなるＲ２３が登録され記録部１６に保存される。図９（ｂ）にレコードＲ２３の構造を示す。
【００３１】
一方、ステップＳ１１３において、位置ポインタの顔貌抽出処理で抽出された顔貌画像と近似した画像が出席者顔貌情報Ｆ２２に存在した場合、近似した画像の画像のシリアルＮＯ．が取得され（ステップＳ１１７）、出席者情報Ｆ２３において、取得されたシリアルＮＯ．を含むレコードＲ２３が選択される（ステップＳ１１８）。複数のＲ２３が存在する場合は、シリアルＮＯ．の新しいレコードＲ２３が選択される。次いで、選択されたレコードＲ２３の位置Ｘ，Ｙと位置ポインタとの比較が行われ（ステップＳ１１９）、比較の結果、一致しない場合、即ち、その顔貌の人物の位置が移動していた場合（ステップＳ１２０；ＹＥＳ）、出席者情報Ｆ２３に新規のＲ２３が追加され、シリアルＮＯ．、登録ＮＯ．、位置Ｘ、Ｙ（＝位置ポインタ）、開始日時（＝Ｒ１の日時）が登録され（ステップＳ１２２）、処理は図６のステップＳ５に移行する。比較の結果、一致した場合、即ち、その顔貌の人物の位置が移動していない場合（ステップＳ１２０；ＮＯ）、レコードＲ２３の終了日時がレコードＲ１の日時で更新され（ステップＳ１２１）、処理は図６のステップＳ５に移行する。
【００３２】
図６のステップＳ５においては、上述した位置ポインタの顔貌抽出処理、出席者情報処理の終了後、位置ポインタがＸ＝ｎ、Ｙ＝ｍ、即ち最終ポインタか否かが判断され、最終ポインタでない場合（ステップＳ５；ＮＯ）、位置ポインタが次ポインタに進められ（ステップＳ６）、そのポインタについて上述した位置ポインタの顔貌抽出処理、出席者情報処理が実行される。最終ポインタである場合は、会場画像トランザクションＦ１に処理していないレコードＲ１が残っているか否かが判断され、残っている場合は（ステップＳ７；ＹＥＳ）、処理はステップＳ１に戻り、ステップＳ１〜Ｓ７が繰り返し実行される。会場画像トランザクションＦ１に処理していないレコードＲ１が残っていない場合は（ステップＳ７；ＮＯ）、本処理は終了する。
【００３３】
上記出席者情報生成処理により、出席者情報Ｆ２３が生成される。なお、座席の移動などで出席者の存在位置に変化が生じた場合、出席者が途中退席した後、再度出席した場合は、一人の出席者（一つのシリアルＮＯ．）に対して複数のレコードＲ２３が生成される。
【００３４】
図４の出席者情報生成処理（Ｍ２）で出席者情報Ｆ２３が生成された後、会場画像トランザクションＦ１と出席者情報Ｆ２３を入力として表情評価処理（Ｍ３）、動作評価処理（Ｍ４）が実行される。
【００３５】
図１０に、ＣＰＵ１１により実行される表情評価処理の一例を示す。なお、当該表情評価処理は、シリアルＮＯ．、即ち出席者毎に実行される処理であり、結果として生成される出席者別表情評価情報Ｆ３は、出席者数分生成される。
まず、評価対象の時間帯が所定の単位時間の時間帯に区切られ、各時間帯にシリアルの時間帯ＮＯ．が設定される（ステップＳ１０）。次いで、出席者情報Ｆ２３から、シリアルＮＯ．順に、シリアルＮＯ．毎のレコードＲ２３が読み出され（ステップＳ１１）、時間帯ＮＯ．毎にステップＳ１２〜１５の処理が実行される。
【００３６】
ステップＳ１２において、読み出されたレコードＲ２３の開始日時と終了日時に基づいて時間帯ＮＯ．に対応するレコードＲ２３が選択され、出席者の位置が抽出される。続いて会場画像トランザクションＦ１から日時に基づいて時間帯ＮＯ．に対応するレコードＲ１が読み出され、ステップＳ１２で抽出された出席者の位置に該当する画像データが抽出される（ステップＳ１３）。抽出された画像データから、出席者の顔貌データが抽出され、抽出された顔貌データから眼球の動きが予め設定された基準レベル以上か否かが判定されることにより意識レベルが決定され（ステップＳ１４）、これを評価１とする。そして、時間帯ＮＯ．と評価１がレコードＲ３に登録され、シリアルＮＯ．毎に出席者別表情評価情報Ｆ３が生成されてレコードＲ３が格納される（ステップＳ１５）。時間帯ＮＯ．が最終でない場合は（ステップＳ１６；ＮＯ）、次の時間帯ＮＯ．に移行し（ステップＳ１７）、ステップＳ１２〜Ｓ１７が繰り返し実行される。時間帯ＮＯ．が最終である場合は、最終のシリアルＮＯ．であるかが判断され、最終のシリアルＮＯ．でなければ次のシリアルＮＯ．に移行してステップＳ１１〜１８が繰り返し実行される。最終のシリアルＮＯ．の処理が終了すると、本処理は終了する。
【００３７】
図１１（ａ）に、出席者別表情評価レコードＲ３のレコード構造を示す。ステップＳ１４における意識レベルの判定は、図１１（ａ）に示すように、本実施の形態においては、意識レベルは良好（眼球に適切な動きがある、即ち眼球の動きが予め設定された基準レベル以上である）と不良（眼球に動きが少ない、即ち眼球の動きが予め設定された基準レベルに満たない）の２段階で評価される。結果（評価１）は、意識レベル良好の場合は０、意識レベル不良の場合は１が格納される。また、出席者の姿勢により眼球の画像が得られない場合は、意識レベルは不明と判定され、結果（評価１）は２が格納される。なお、眼球の動きの判定は、２段階に限らず、より細分化するようにしてもよい。
【００３８】
次に、ＣＰＵ１１により実行される動作評価処理について説明する。なお、動作評価処理の処理手順は、図１０で説明した表情評価処理とほぼ同じであり、図１４で判定する評価と出力レコードが異なるのみであるので、相違点のみ説明する。
【００３９】
動作評価処理においては、図１０のステップＳ１３で抽出された画像データからまず顔貌データが抽出され、眼球測定が不可能である場合に、画像データから予め設定された基準に基づいて動作を判定することにより動作レベルが決定される。この結果を評価２とする。そして、時間帯ＮＯ．と評価２がレコードＲ４に登録され、シリアルＮＯ．毎に出席者別動作評価情報Ｆ４が生成されてレコードＲ４が格納される。
【００４０】
図１１（ｂ）に、出席者別動作評価レコードＲ４のレコード構造を示す。動作レベルの判定は、図１１（ｂ）に示すように、本実施の形態においては、動作レベルは良好（許容される動作：筆記動作、キーボード動作等）と不良（うつむく、横を向く等、許容される動作以外の動作）の２段階で評価される。例えば、許容される動作の画像データを記録部１６に記憶しておき、抽出された画像データが近似しているか否かにより動作レベルが良好か不良かが判断される。結果（評価２）は、意識レベル良好の場合は１、意識レベル不良の場合は２が格納される。また、意識レベルが測定可能である場合は、結果（評価２）に０が優先して格納される。このように意識レベルが測定可能である場合に動作レベルの結果を格納しないのは、後述する参加度評価処理１、２等において、動作レベルに対して意識レベル優先を優先するためである。なお、動作レベルの判定は２段階に限らず、より細分化するようにしてもよい。
【００４１】
出席者別表情評価情報Ｆ３と出席者別動作評価情報Ｆ４が作成されると、この２つの情報を入力として参加度評価１処理（図４のＭ５）が実行され、出席者毎に各時間帯の参加度評価が行われて出席者別参加度評価情報Ｆ５が生成される。参加度評価により、各出席者の出席者別表情評価情報Ｆ３と出席者別動作評価情報Ｆ４から時間帯ＮＯ．が同一のレコードＲ２３とレコードＲ２４が読み出され、評価１、評価２に格納されている数値から、図１１（ｃ）に示す表のルールに基づいて、出席者がその時間帯に実質的に催しに参加していたか、参加していなかったかが評価され、結果は評価３として、時間帯ＮＯ．と対応付けられレコードＲ５に登録され、出席者別参加度評価情報Ｆ５に格納される。即ち、参加度評価は、各出席者の時間帯別の参加状態を評価するものである。表の０は参加、１は不参加である。表の黒塗り部分の組み合わせは存在しない。例えば、評価２が「０」、即ち意識レベルが測定可能であるときは、評価１が「２」、即ち意識レベル不明となることはない。また、評価２が「１」又は「２」、即ち動作レベルの良好、不良が判定されている場合は、評価１が「０」又は「１」、即ち意識レベルが測定されている、ということはない。図１１（ｄ）に出席者別参加度評価情報Ｆ５に格納されるレコードＲ５の構成を示す。なお、出席者別参加度評価情報Ｆ５には、ヘッダ情報として、出席者のシリアルＮＯ．、登録ＮＯ．及び氏名、性別、年齢等の個人情報が格納される。
【００４２】
出席者別参加度評価情報Ｆ５が生成されると、各出席者の出席者別参加度評価情報Ｆ５を入力として、参加度評価２処理（図４のＭ６）が実行され、会場全体の参加度評価が行われて会場別参加度評価情報Ｆ６が生成される。会場全体の参加度評価の結果は、催しに対する出席者の実質的な参加率を示すものであり、催しに対する評価である。具体的には、時間帯毎に各出席者の評価３が集計され、参加率が計算され、時間帯ＮＯ．とともにレコードＲ６に登録され、会場者別参加度評価情報Ｆ６に格納される。図１１（ｅ）に会場全体参加度評価情報Ｆ６に格納される会場全体参加度評価レコードＲ６の構成を示す。会場全体参加度評価情報Ｆ６には、ヘッダ情報として、日付と評価対象時間が格納される。
【００４３】
以上説明した手順により、出席者別参加度評価情報Ｆ５、会場全体参加度評価情報Ｆ６が生成される。出席者別参加度評価情報Ｆ５は、出席者の参加状態を個別に評価するために利用することができ、会場全体参加度評価情報Ｆ６は、催しや催しの実行者を評価するために利用することができる。
【００４４】
以下、会場全体参加度評価情報Ｆ６を活用する例として、塾講師の授業評価について説明する。
図１２に、ＣＰＵ１１により実行される進学塾講師評価表出力処理を示す。
【００４５】
入力部１２からの指示により進学塾講師評価表の出力が指示されると、表示部１３に進学塾講師評価表のタイトル行（講師名、授業（科目、月日、時限）、参加率％（平均、最高、最低）からなるフィールド）が出力される（ステップＳ２０）。次に、講師名、授業（科目、月日、時限）が出力される（ステップＳ２１）。続いて、月日、時限に対応する会場全体参加度評価情報Ｆ６の全てのレコード（レコード１からｎ）が読み込まれ、各レコードの参加率が比較されて参加率の最高及び最低が決定され、参加率％の最高、最低フィールドに出力される（ステップＳ２２）。また、レコード１からｎの参加率の平均が、下記の式により計算されて参加率％の平均フィールドに出力される（ステップＳ２３）。

【００４６】
次いで、出力された平均、最高、最低の参加率が、記録部１６に記憶されている講師評価テーブルＴ１を参照することにより評価され、ランクが決定され、ランク記号（◎、○、△、×）が評価フィールドに出力される（ステップＳ２４）。図１３に、講師評価テーブルＴ１の一例を示す。評価は、講師評価テーブルＴ１のランクＮＯ．１から順にＡＮＤ条件で行われ、ランクＮＯ．３までに該当しない場合にランクＮＯ．４とされる。評価が出力された後、他の講師や時間について評価を行う場合は（ステップＳ２５；ＮＯ）、ステップＳ２１〜Ｓ２５が繰り返し実行される。評価を終了する場合は（ステップＳ２５；ＹＥＳ）、本処理は終了する。
【００４７】
なお、Ｔ１は変更可能であり、評価基準値の変更、ランクの追加・削除、評価項目の追加・削除、評価記号の変更等は随時可能である。また、評価結果は、表示部１３に出力するだけでなく、印刷部１７から出力することが望ましい。また、通信ネットワークを介してプリンタやＰＣ等の外部機器に出力し、印刷したり加工したりすることができる。
【００４８】
図１４に、上述した進学塾講師評価表出力処理により出力される進学塾講師評価表の一例を示す。このように、講師の各時間帯の授業に対する生徒の実質的な参加率及びその評価が表として出力されることにより、塾経営者の塾講師の評価や、生徒及び父兄の講師選択の参考資料として活用することができる。
【００４９】
塾講師の授業において生成される会場全体参加度評価情報Ｆ６は、その他、下記のようにして利用することもできる。
・画像撮影装置２から本体１に会場画像データが入力されたらただちに上述した手順で会場全体参加度評価情報Ｆ６を生成し、リアルタイムで講師に伝達する。即ち、画像データ処理装置１００は、伝達手段として、参加率の値、参加率を評価した記号、参加率を示す色等を表示する表示装置（モニタ、ランプ等）備えるようにし、講師の見えるところに設置する。これにより、講師はリアルタイムに参加率を把握可能となり、参加率アップを目的とした授業内容の調整等が可能となる。
【００５０】
・Ｆ６を利用し、時間帯による参加率の変化を表やグラフにして授業を行った講師に提供する。他の講師の時間帯による参加率の変化との比較や、同一講師による他の複数授業の時間帯による参加率の変化との比較を表、グラフ等にして提供すると、より効果的な情報となる。このようにして講師が授業内容と参加率の関係を知ることにより、授業の改善に役立てることができる。
【００５１】
また、塾講師の授業において生成される出席者別参加度評価情報Ｆ５を活用することもできる。例えば、ある生徒の時間帯ごとの実質的な参加／不参加を表やグラフにして表示部１３に出力して、ある生徒の授業参加状態を講師が把握したり、印刷部１７により出力して生徒の父兄に提供したりすることができる。その授業における生徒全体の参加率変化と比較して表やグラフにし、その授業の時間帯ごとの授業評価も併せて提供するようにすると、より効果的な情報とすることができる。このように、出席者別参加度評価情報Ｆ５により、生徒の参加度を把握して、以降の生徒の指導に活用することができる。更に、出席者別参加度評価情報Ｆ５の位置情報の変化から、生徒の入退室、移動等についても時系列で分析することができる。
【００５２】
以上説明したように、画像データ処理装置１００によれば、画像撮影装置２により入力される会場画像データから、時間帯毎に各出席者の顔貌データ、画像データを抽出して表情評価、動作評価を行って、これらの評価に基づいて出席者別に時間帯毎の参加度評価を行い、出席者別参加度情報Ｆ５を生成する。また、各出席者の出席者別参加度評価情報Ｆ５から会場全体の時間帯毎の参加率評価を計算し、会場全体参加度評価情報Ｆ６を生成する。生成された各出席者の出席者別参加度評価情報Ｆ５、会場全体参加度評価情報Ｆ６は、加工して表示したり印刷物として出力したりすることで、催しの実行者や各出席者の評価情報を提供することができる。
【００５３】
従って、従来の出席者数や出席率による評価と比べて、催しの内容に立脚してその有効性の評価を行うことができる。また、時間帯毎に評価を分析することができるので、パフォーマンスの手法等の研究に役立てることができる。また、催しの実行者のみならず、各出席者を特定して参加状態、集中度を評価することができる。出席者の入退室、移動等についても時系列で分析することができる。
【００５４】
なお、上記実施の形態における記述内容は、本実施の形態における好適な一例であり、これに限定されるものではない。また、画像データ処理装置１００の細部構成及び細部動作に関しても、本発明の趣旨を逸脱することのない範囲で適宜変更可能である。
【００５５】
【発明の効果】
本発明によれば、出席者が撮像された画像データから、出席者の眼球の動きを判定することにより出席者の意識レベルを判定し、意識レベルが判定できなかった場合に、前記画像データから出席者の動作の動作レベルを判定し、これらの判定を複数の出席者に対して行い、この判定結果を集計したものを出力したので、より精度が高い催しの有効性や出席者の参加状態の評価、分析を容易に行うことができる。
【図面の簡単な説明】
【図１】本発明の一実施の形態における画像データ処理装置１００の全体構成を示す図である。
【図２】図１の本体１の機能的構成を示すブロック図である。
【図３】（ａ）は、図２の事前登録情報Ｆ２０に格納されるレコードＲ２０のレコード構造を示す図、（ｂ）は、図２の位置定義情報Ｆ２１に格納されるレコードＲ２１のレコード構造を示す図、（ｃ）は会場平面図における位置Ａの位置定義方法の一例を説明する図、（ｄ）はＲ２１の一例として、（ｃ）の位置Ａの定義情報を登録したＲ２１を示す図である。
【図４】図１の画像データ処理装置１００の参加度評価データ作成手順を模式的に示す図である。
【図５】図４の会場画像トランザクションＦ１に格納されるレコードＲ１の構造を示す図である。
【図６】図２のＣＰＵ１１により実行される出席者情報生成処理を示すフローチャートである。
【図７】図２のＣＰＵ１１により実行される位置ポインタの顔貌抽出処理を示すフローチャートである。
【図８】図２のＣＰＵ１１により実行される出席者情報処理を示すフローチャートである。
【図９】（ａ）は、図４の出席者顔貌情報Ｆ２２に格納されるレコードＲ２２の構造を示す図、（ｂ）は、図４の出席者情報Ｆ２３に格納されるレコードＲ２３の構造を示す図である。
【図１０】図２のＣＰＵ１１により実行される表情評価処理を示すフローチャートである。
【図１１】（ａ）は、図４の出席者別表情評価情報Ｆ３に格納されるレコードＲ３の構造を示す図、（ｂ）は、図４の出席者別動作評価情報Ｆ４に格納されるレコードＲ４の構造を示す図、（ｃ）は出席者別参加度評価の評価テーブル、（ｄ）は図４の出席者別参加度評価情報Ｆ５に格納されるレコードＲ５の構造を示す図、（ｅ）は図４の会場全体参加度評価情報Ｆ６に格納されるレコードＲ６の構造を示す図である。
【図１２】図２のＣＰＵ１１により実行される進学塾講師評価表出力処理を示すフローチャートである。
【図１３】図２の記録部１６に格納される講師評価テーブルＴ１の一例を示す図である。
【図１４】図１２の進学塾講師評価表出力処理により出力される進学塾講師評価表の一例を示す図である。
【符号の説明】
１００画像データ処理装置
１本体
１１ＣＰＵ
１２入力部
１３表示部
１４画像撮影装置接続部
１５ＲＡＭ
１６記録部
１７印刷部
１８通信部
１９バス
２画像撮影装置[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image data processing apparatus and a program for evaluating an attendee's participation state and an event based on image data obtained by photographing attendees attending the event.
[0002]
[Prior art]
Conventionally, in order to monitor the state of a specific place or area, a monitoring system that captures the state of the monitoring area with a camera and displays it on a monitor in a management room has been used. For example, in Patent Document 1, a portion where a person is conspicuous, a portion where a person does not move is dropped even in a portion where a person is present, and a portion that must be monitored by relative identification of color intensity is detected. A monitoring system is disclosed that allows the user to grasp at a glance.
[0003]
[Patent Document 1]
JP-A-10-136343
[0004]
[Problems to be solved by the invention]
The monitoring system is used not only for the purpose of notifying the occurrence of an event in the monitoring area, as in Patent Document 1, but also for the purpose of the manager to understand the lecturer's class content and the atmosphere in the classroom, for example, at a preparatory school. Has been.
[0005]
However, since the conventional monitoring system only displays the state of the monitoring place, for example, it is not possible to objectively evaluate and analyze the effectiveness of the events being held at that place, such as the content of classes at a preparatory school. It was difficult. In addition, it is difficult to evaluate and analyze the participation intention and the degree of concentration of each attendee of the event from the displayed image.
[0006]
An object of the present invention is to make it possible to easily evaluate and analyze the effectiveness of an event and the participation status of attendees.
[0007]
[Means for Solving the Problems]
  In order to solve the above-mentioned problem, the invention described in claim 1Consciousness level determination means for determining the attendee's consciousness level by determining whether the eyeball movement of the attendee is equal to or higher than a preset reference level from image data obtained by capturing the attendee, and this consciousness level When the consciousness level cannot be determined by the determining means, the behavior level determining means for determining the motion level of the attendee's motion from the image data, and the determination by the consciousness level determining means or the motion level determining means are performed in a plurality of attendances. A storage means for storing the determination results of the plurality of attendees, and aggregating the determination results of the plurality of attendees stored in the storage means and outputting the totaled result And a result output means.
  Further, a program for realizing the respective means shown in the above-described invention according to claim 1 is provided to the computer (the invention according to claim 3).
[0008]
  According to a second aspect of the present invention, in the image data processing device according to the first aspect, the totaling result output means totals the determination results of the plurality of attendees changed for each predetermined time period, and totalizes The totaled result is output.
[0010]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
First, the configuration will be described.
FIG. 1 shows a configuration of an image data processing apparatus 100 according to the present invention. The image data processing apparatus 100 takes pictures of attendees attending an event held at a certain venue, evaluates the attendance status of attendees from the taken images, and determines the attendance status (participation willingness of each attendee). Presence / absence / strength, concentration, etc.), the effectiveness of the event, the performance of the performer, etc. The event may be anything that gathers people in a certain place and the attendees gathered to see or hear, such as lectures, classes at schools, cram schools, prep schools, presentations, stages, presentations, movies, Includes concerts, seminars, meetings, etc.
[0011]
As shown in FIG. 1, an image data processing apparatus 100 includes an image capturing apparatus 2 that captures the entire venue, and a main body 1 that captures image data captured by the image capturing apparatus 2 and evaluates each attendee or event. Are connected via an image capturing device connection unit 14. The image capturing device 2 only needs to be able to capture the actions of the attendees at the venue, and may be configured to be installed in one venue. Alternatively, the image capturing device 2 uses a spherical camera or the like as one image capturing device 2. It is good also as a structure to install. Although the image capturing device 2 is described as capturing a moving image, the image capturing device 2 may capture a still image.
[0012]
FIG. 2 is a block diagram showing a functional configuration of the main body 1. As shown in FIG. 2, the main body 1 includes a CPU 11, an input unit 12, a display unit 13, an image capturing device connection unit 14, a RAM 15, a recording unit 16, a printing unit 17, a communication unit 18, and the like. Connected by.
[0013]
A CPU (Central Processing Unit) 11 reads a system program stored in the recording unit 16, develops it in a work area formed in the RAM 15, and controls each unit according to the system program. Further, the CPU 11 reads out various processing programs stored in the recording unit 16 and develops them in the work area, and starts attendee information generation processing, facial expression evaluation processing, motion evaluation processing, and preparatory school lecturer evaluation table output processing described later. Are stored in the work memory of the RAM 15. Then, the processing result stored in the work area is stored in a specified storage destination in the recording unit 16.
[0014]
The input unit 12 includes a keyboard having character / alphanumeric input keys, cursor keys, various function keys, and the like, and a mouse that is a pointing device. An operation signal from the mouse is output to the CPU 11 as an input signal.
[0015]
The display unit 13 is an output unit, and is configured by an LCD (Liquid Crystal Display), a CRT (Cathode Ray Tube), or the like, and is input from the image photographing device 2 on the display screen in accordance with an instruction of a display signal input from the CPU 11. Image data, participation degree evaluation information for each attendee, participation degree evaluation information for the entire venue, an entrance school lecturer evaluation table, etc. are displayed.
[0016]
The image capturing device connection unit 14 is an interface for connecting the image capturing device 2 to the main body 1.
[0017]
A RAM (Random Access Memory) 15 forms a work area for temporarily storing a system program executed by the CPU 11, various processing programs, data being processed in each processing, processing results, and the like.
[0018]
The recording unit 16 stores in advance a system program, various processing programs, various data, and the like corresponding to the main body 1, and the recording unit 16 can be read by the CPU 11 such as a magnetic or optical recording medium or a semiconductor memory. The configuration includes a recording medium. This recording medium includes a portable medium such as a CD-ROM (Compact Disc Read Only Memory) and a memory card, and a fixed medium such as a hard disk. In addition, a part or all of programs, data, and the like stored in the recording medium may be received from a server or client via a communication network such as WAN or LAN, and the recording medium is constructed on the communication network. It may be a server or client recording medium.
[0019]
In the present embodiment, the recording unit 16 stores pre-registration information F20 and position definition information F21 as shown in FIG.
The pre-registration information F20 stores information of each member (employee if the group is a company, student if it is a school, etc.) belonging to the group when the attendee group of the event to be evaluated is determined in advance. Is a file. FIG. 3A shows the structure of the pre-registration information record R20 stored in the pre-registration information F20. As shown in FIG. 3A, the pre-registration information record R20 includes a registration NO. ID that is an identification code uniquely assigned to identify an individual. And facial image data, name, gender, age, and the like.
[0020]
The position definition information F21 is a file that stores definition information of positions where attendees may exist at the venue (for example, seat positions when the classroom is the venue). FIG. 3B shows the structure of the position definition record R21 stored in the position definition information F21. As shown in FIG. 3B, the position definition information record R21 includes a position management name (position X, position Y) and a distance from a predetermined origin (X distance, Y distance; physical position). Yes. For example, in FIG. 3C, if seats are arranged every 4 m from the position corresponding to the origin in the venue plan view and every 2.5 m, the record R21 defining the position A is as shown in FIG. As shown in (3), (position X, position Y, X distance, Y distance = 2, 3, 5, 12). In the case where the position where the attendee exists is free, for example, in the case of a venue where the seat is movable or a venue where there is no seat, the location is defined in accordance with the expected attendance density (congestion degree).
[0021]
Moreover, the recording unit 16 stores a lecturer evaluation table T1 (see FIG. 13) described later.
[0022]
The printing unit 17 performs printing on a print recording medium such as paper by various printing methods such as a dot impact method, a thermal transfer method, a laser method, and an ink jet method as output means.
[0023]
The communication unit 18 includes a network interface card, a modem, a TA (Terminal Adapter), and the like, and transmits / receives various information to / from external devices on the communication network work. For example, in response to an instruction from the CPU 11, the communication unit 18 generates a PC-based personal computer (PC), a printer, or the like connected to the attendance evaluation information F5 by attendee, the entire venue participation evaluation information F6, and the like that are connected to a communication network. Send to.
[0024]
Next, the operation of the image data processing apparatus 100 will be described.
FIG. 4 shows a procedure for creating participation degree evaluation data in the image data processing apparatus 100.
[0025]
First, the entire venue is photographed by an image photographing device 2 as photographing means and input to the main body 1. In the main body 1, the following processing is executed as attendee evaluation means, event evaluation means, and position information acquisition means by software processing by the cooperation of the programs stored in the CPU 11 and the recording unit 16.
[0026]
First, image data is captured every predetermined time from the venue image data input from the image capturing device 2 by the venue image capturing process, and the date and time when the image was captured is added, and a record R1 having a structure indicated by R1 in FIG. (M1) and sequentially stored in the recording unit 16 as the venue image transaction F1.
[0027]
Next, attendee information generation processing is executed (M2). FIG. 6 shows attendee information generation processing executed by the CPU 11.
The first record R1 stored in the venue image transaction F1 is read (step S1), the position pointer of the RAM 15 is initialized, and X = 1 and Y = 1 are stored (step S2). Next, a face pointer facial appearance extraction process is executed (step S3).
[0028]
FIG. 7 shows the face pointer face extraction process. First, the physical position (X distance, Y distance) corresponding to the position pointer is determined by referring to the position definition information F21 stored in the recording unit 16 (step S101). Next, an image corresponding to the physical position (X distance, Y distance) is extracted from the venue image of the record R1 (step S102). Then, the facial image of the attendee included in the extracted image is extracted (step S103), and the process proceeds to step S4 in FIG. If no person is present at the determined physical position, the extraction result is empty.
[0029]
In step S4 of FIG. 6, attendee information processing is executed.
FIG. 8 shows attendee information processing. If no facial image is extracted in the position pointer facial extraction process and is empty (step S110; YES), this process ends, and the process proceeds to step S5 in FIG. When the facial image is not empty (step S110; NO), the attendee information processing is performed for the first time in the present attendee information generation process, and the attendee facial information F22 is not yet generated in the recording unit 16 (step S111; NO), the process proceeds to step S114, the attendee's facial information F22 is generated, and the serial NO. Is registered as R22 together with the facial image. If the attendee facial information F22 already exists (step S111; YES), it is checked whether or not there is a facial image approximate to the extracted facial image in the attendee facial information F22 (step S112). If there is no facial image approximate to the facial image in the attendee facial information F22 (step S113; NO), the serial NO. R22 is generated in association with the facial image, and is additionally registered as a new record in the attendee facial information F22 (step S114). FIG. 9A shows the structure of the record R22.
[0030]
Next, the pre-registration information F20 is checked to see if there is a facial image that is similar to the facial image. Is read (step S115). Then, a new R23 is added to the attendee information F23, and the serial no. Registration NO. , Position X, Y (= position pointer), start date and time (= date and time of R1) are registered (step S116). If attendee information processing is performed for the first time in the present attendee information generation process and the attendee information F23 has not yet been generated in the recording unit 16, the attendee information F23 is generated, and the serial number. Registration NO. , Position X, Y (= position pointer), start date and time (= date and time of R1) R23 is registered and stored in the recording unit 16. FIG. 9B shows the structure of the record R23.
[0031]
On the other hand, when an image approximated to the facial image extracted by the facial pointer extraction process of the position pointer is present in the attendee facial information F22 in step S113, the serial number of the approximated image is displayed. Is acquired (step S117), and in the attendee information F23, the acquired serial No. Is selected (step S118). When there are a plurality of R23, the serial No. New record R23 is selected. Next, the positions X and Y of the selected record R23 are compared with the position pointer (step S119). If the comparison results in a mismatch, that is, the position of the person on the face has moved (step S119). S120; YES), a new R23 is added to the attendee information F23, and the serial No. Registration NO. , Position X, Y (= position pointer), start date and time (= date and time of R1) are registered (step S122), and the process proceeds to step S5 in FIG. As a result of comparison, if they match, that is, if the position of the person of the face has not moved (step S120; NO), the end date and time of record R23 is updated with the date and time of record R1 (step S121), and the processing is as shown in FIG. The process proceeds to step S5 in FIG.
[0032]
In step S5 of FIG. 6, after the position pointer facial face extraction process and attendee information processing described above are completed, it is determined whether or not the position pointer is X = n, Y = m, that is, the final pointer. (Step S5; NO), the position pointer is advanced to the next pointer (Step S6), and the position pointer face extraction processing and attendee information processing described above are executed for the pointer. If it is the final pointer, it is determined whether or not there is an unprocessed record R1 in the venue image transaction F1, and if it remains (step S7; YES), the process returns to step S1, and steps S1 to S1 are performed. S7 is repeatedly executed. If there is no record R1 that has not been processed in the venue image transaction F1 (step S7; NO), this process ends.
[0033]
Attendee information F23 is generated by the attendee information generation process. If there is a change in the location of the attendee due to the movement of the seat, etc., if the attendee leaves and then attends again, multiple records are recorded for one attendee (one serial number). R23 is generated.
[0034]
After the attendee information F23 is generated in the attendee information generation process (M2) of FIG. 4, the facial expression evaluation process (M3) and the action evaluation process (M4) are executed with the venue image transaction F1 and the attendee information F23 as inputs. The
[0035]
FIG. 10 shows an example of facial expression evaluation processing executed by the CPU 11. The facial expression evaluation process is serial NO. In other words, the facial expression evaluation information F3 for each attendee generated as a result is generated for the number of attendees.
First, the time zone to be evaluated is divided into time zones of a predetermined unit time, and serial time zones NO. Is set (step S10). Next, from the attendee information F23, the serial number. Serial NO. Each record R23 is read (step S11), and the time zone NO. The processing of steps S12 to 15 is executed every time.
[0036]
In step S12, based on the start date and time and end date and time of the read record R23, the time zone NO. The record R23 corresponding to is selected, and the attendees' positions are extracted. Subsequently, the time zone NO. Is read, and image data corresponding to the attendee's position extracted in step S12 is extracted (step S13). The facial image data of the attendee is extracted from the extracted image data, and the consciousness level is determined by determining whether or not the eye movement is equal to or higher than a preset reference level from the extracted facial data (step S14). ), This is evaluated as 1. And time zone NO. And evaluation 1 are registered in the record R3, and the serial No. Each time the attendance-specific facial expression evaluation information F3 is generated and the record R3 is stored (step S15). Time zone NO. Is not final (step S16; NO), the next time zone NO. (Step S17), and Steps S12 to S17 are repeatedly executed. Time zone NO. Is the final serial number. Is determined, and the final serial No. is determined. Otherwise, the next serial No. Steps S11 to S18 are repeatedly executed. Final serial number. When the process is completed, this process ends.
[0037]
FIG. 11A shows the record structure of the attendee-specific facial expression evaluation record R3. As shown in FIG. 11A, the determination of the consciousness level in step S14 has a good consciousness level (the eyeball has an appropriate movement, that is, a reference level in which the movement of the eyeball is set in advance). It is evaluated in two stages, that is, the above) and defective (the eyeball has little movement, that is, the movement of the eyeball does not satisfy the preset reference level). As the result (evaluation 1), 0 is stored when the consciousness level is good, and 1 is stored when the consciousness level is poor. When the eyeball image cannot be obtained due to the posture of the attendee, the consciousness level is determined to be unknown, and 2 is stored as the result (evaluation 1). The determination of the movement of the eyeball is not limited to two stages, and may be further subdivided.
[0038]
Next, the operation evaluation process executed by the CPU 11 will be described. Note that the processing procedure of the motion evaluation process is almost the same as the facial expression evaluation process described with reference to FIG. 10, and only the difference between the evaluation determined in FIG. 14 and the output record will be described.
[0039]
In the motion evaluation process, facial image data is first extracted from the image data extracted in step S13 of FIG. 10, and when the eyeball measurement is impossible, the motion is determined based on a preset criterion from the image data. As a result, the operation level is determined. This result is set as evaluation 2. And time zone NO. And evaluation 2 are registered in the record R4, and the serial No. Each time the attendee-specific operation evaluation information F4 is generated and the record R4 is stored.
[0040]
FIG. 11B shows the record structure of the attendee-specific action evaluation record R4. As shown in FIG. 11B, the operation level is determined as follows. In this embodiment, the operation level is good (permitted operation: writing operation, keyboard operation, etc.) and poor (depressed, facing sideways, etc.) It is evaluated in two stages (operation other than the allowable operation). For example, image data of an allowable operation is stored in the recording unit 16, and it is determined whether the operation level is good or bad depending on whether or not the extracted image data is approximate. As the result (evaluation 2), 1 is stored when the consciousness level is good, and 2 is stored when the consciousness level is poor. Further, when the consciousness level can be measured, 0 is preferentially stored in the result (evaluation 2). The reason why the result of the action level is not stored when the consciousness level is measurable in this way is to prioritize the consciousness level over the action level in the participation

degree evaluation processes

1 and 2 described later. The determination of the operation level is not limited to two stages, and may be further subdivided.
[0041]
When the facial expression evaluation information F3 by attendee and the motion evaluation information F4 by attendee are created, the participation degree evaluation 1 process (M5 in FIG. 4) is executed with these two pieces of information as input. Participation degree evaluation information F5 by attendee is generated. Based on the evaluation of the degree of participation, the time zone No. is determined from the facial expression evaluation information F3 by participant and the movement evaluation information F4 by participant. The record R23 and the record R24 having the same value are read out, and from the numerical values stored in the evaluation 1 and the evaluation 2, the attendee is substantially in the time zone based on the rule of the table shown in FIG. It was evaluated whether or not they participated in the event, and the result was evaluated as 3 and the time zone NO. Are registered in the record R5 and stored in the participation degree evaluation information F5 by attendee. That is, the participation degree evaluation is for evaluating the participation state of each attendee for each time zone. In the table, 0 is participation and 1 is non-participation. There is no combination of black parts in the table. For example, when the evaluation 2 is “0”, that is, the consciousness level is measurable, the evaluation 1 is not “2”, that is, the consciousness level is unknown. In addition, when the evaluation 2 is “1” or “2”, that is, when the operation level is good or defective, the evaluation 1 is “0” or “1”, that is, the consciousness level is measured. There is no. FIG. 11 (d) shows the configuration of the record R5 stored in the participation degree evaluation information F5 by attendee. In addition, the attendee participation degree evaluation information F5 includes the attendee's serial number as header information. Registration No. In addition, personal information such as name, gender, and age is stored.
[0042]
When the participation degree evaluation information F5 for each attendee is generated, the participation degree evaluation 2 process (M6 in FIG. 4) is executed with the participation degree evaluation information F5 for each attendee as input. The evaluation is performed, and the participation degree evaluation information F6 for each venue is generated. The result of the participation degree evaluation of the entire venue shows the substantial participation rate of the attendees for the event, and is an evaluation for the event. Specifically, each attendee's evaluation 3 is tabulated for each time zone, the participation rate is calculated, and the time zone NO. At the same time, it is registered in the record R6 and stored in the participation degree evaluation information F6 by venue. FIG. 11E shows the configuration of the entire venue participation evaluation record R6 stored in the entire venue participation evaluation information F6. In the entire venue participation evaluation information F6, a date and an evaluation target time are stored as header information.
[0043]
By the procedure described above, attendance-by-participant participation evaluation information F5 and overall venue participation evaluation information F6 are generated. Participant participation degree evaluation information F5 can be used to individually evaluate the participation status of attendees, and the entire venue participation degree evaluation information F6 is used to evaluate an event or event performer. be able to.
[0044]
Hereinafter, as an example of utilizing the entire venue participation degree evaluation information F6, a class evaluation of a cram school lecturer will be described.
FIG. 12 shows the preparatory school lecturer evaluation table output process executed by the CPU 11.
[0045]
When the instruction from the input unit 12 instructs the output of the preparatory school lecturer evaluation table, the title line of the preparatory school lecturer evaluation table on the display unit 13 (instructor name, class (subject, date, time), participation rate% ( (Field consisting of average, highest, lowest) is output (step S20). Next, the instructor name and class (subject, date, time) are output (step S21). Subsequently, all records (records 1 to n) of the entire venue participation evaluation information F6 corresponding to the date and time are read, the participation rates of each record are compared, and the highest and lowest participation rates are determined. It is output to the highest and lowest fields of the participation rate% (step S22). Further, the average participation rate of records 1 to n is calculated by the following formula and output to the average field of participation rate% (step S23).

[0046]
Next, the output average, highest, and lowest participation rates are evaluated by referring to the lecturer evaluation table T1 stored in the recording unit 16, the rank is determined, and rank symbols (◎, ○, Δ, × ) Is output to the evaluation field (step S24). FIG. 13 shows an example of the lecturer evaluation table T1. The evaluation is based on the rank No. of the teacher evaluation table T1. 1 in order from AND, and rank NO. If it is not applicable up to 3, rank No. 4. After evaluation is output, when evaluating about another lecturer and time (step S25; NO), steps S21-S25 are repeatedly performed. When the evaluation is finished (step S25; YES), this process is finished.
[0047]
Note that T1 can be changed, and the evaluation reference value can be changed, the rank can be added / deleted, the evaluation item can be added / deleted, and the evaluation symbol can be changed at any time. The evaluation result is desirably output not only from the display unit 13 but also from the printing unit 17. Further, it can be output to an external device such as a printer or a PC via a communication network, and can be printed or processed.
[0048]
FIG. 14 shows an example of the preparatory school lecturer evaluation table output by the above-described preparatory school lecturer evaluation table output process. In this way, the actual participation rate and evaluation of students in each lecturer's class for each class are output as a table, so that the evaluation of the cram school teacher by the cram school manager and the reference materials for selecting the teachers of the students and parents Can be used as
[0049]
In addition, the entire venue participation degree evaluation information F6 generated in the class of the cram school lecturer can be used as follows.
As soon as the venue image data is input from the image capturing device 2 to the main body 1, the entire venue participation evaluation information F6 is generated according to the procedure described above, and is transmitted to the lecturer in real time. That is, the image data processing apparatus 100 includes a display device (a monitor, a lamp, etc.) that displays a participation rate value, a symbol that evaluates the participation rate, a color indicating the participation rate, etc. as a transmission means, and is visible to the instructor. Install in. As a result, the lecturer can grasp the participation rate in real time and adjust the lesson content for the purpose of increasing the participation rate.
[0050]
・ Using F6, provide changes in participation rate over time to tables and graphs for teachers who conducted classes. Providing a comparison with changes in the participation rate due to the time of other teachers and changes in the participation rate due to the time of other classes by the same instructor in a table, graph, etc. Become. In this way, the instructor knows the relationship between the lesson content and the participation rate, which can be used to improve the lesson.
[0051]
In addition, participation degree evaluation information F5 by attendee generated in the class of the cram school teacher can be used. For example, the actual participation / non-participation of a certain student for each time zone is output to the display unit 13 as a table or graph, and the instructor grasps the class participation status of a certain student, or the printing unit 17 outputs it to the student. Or offer to their parents. It is possible to obtain more effective information by making a table or a graph in comparison with the change in the participation rate of all students in the class and providing a class evaluation for each time zone of the class. As described above, the participation degree evaluation information F5 by attendee can grasp the participation degree of the student and can use it for the subsequent instruction of the student. Furthermore, from the change of the position information of the participation degree evaluation information F5 by attendee, it is possible to analyze the entrance / exit, movement, etc. of the student in time series.
[0052]
As described above, according to the image data processing device 100, facial data and image data of each attendee are extracted from the venue image data input by the image capturing device 2 for each time period, and facial expression evaluation and motion evaluation are performed. Based on these evaluations, participation degree evaluation for each time zone is performed for each attendee to generate attendance information for each attendee F5. Further, the participation rate evaluation for each time zone of the entire venue is calculated from the participation degree evaluation information F5 by attendee of each attendee, and the overall venue participation evaluation information F6 is generated. The generated attendance evaluation information F5 and attendance evaluation information F6 for each attendee are processed and displayed or output as printed matter, so that the performance of the event performer and each attendee can be evaluated. Information can be provided.
[0053]
Therefore, compared with the conventional evaluation based on the number of attendees and the attendance rate, the effectiveness can be evaluated based on the content of the event. In addition, since the evaluation can be analyzed for each time zone, it can be used for research on performance methods and the like. Moreover, not only the person who performs the event but also each attendee can be specified to evaluate the participation state and the degree of concentration. It is possible to analyze attendees' entry / exit, movement, etc. in chronological order.
[0054]
Note that the description content in the above embodiment is a preferred example in the present embodiment, and the present invention is not limited to this. Further, the detailed configuration and detailed operation of the image data processing apparatus 100 can be changed as appropriate without departing from the spirit of the present invention.
[0055]
【The invention's effect】
According to the present invention,The attendee's consciousness level is determined by judging the movement of the attendee's eyeball from the image data of the attendee, and when the consciousness level cannot be determined, the behavior of the attendee's action is determined from the image data. The level is judged, these judgments are made for multiple attendees, and the results of the judgment are aggregated and output, so the accuracy is higherEvaluate and analyze the effectiveness of events and attendance status of attendees.
[Brief description of the drawings]
FIG. 1 is a diagram showing an overall configuration of an image data processing apparatus 100 according to an embodiment of the present invention.
2 is a block diagram showing a functional configuration of a main body 1 in FIG.
3A is a diagram showing a record structure of a record R20 stored in the pre-registration information F20 in FIG. 2, and FIG. 3B is a record structure of a record R21 stored in the position definition information F21 in FIG. (C) is a figure explaining an example of the position definition method of the position A in a meeting place top view, (d) is a figure which shows R21 which registered the definition information of the position A of (c) as an example of R21 It is.
4 is a diagram schematically showing a participation degree evaluation data creation procedure of the image data processing apparatus 100 of FIG. 1;
FIG. 5 is a diagram showing a structure of a record R1 stored in a venue image transaction F1 in FIG.
6 is a flowchart showing attendee information generation processing executed by CPU 11 of FIG.
7 is a flowchart showing a face pointer face extraction process executed by the CPU 11 of FIG. 2; FIG.
FIG. 8 is a flowchart showing attendee information processing executed by the CPU 11 of FIG. 2;
9A is a diagram showing a structure of a record R22 stored in the attendee facial information F22 in FIG. 4, and FIG. 9B is a diagram showing a structure of the record R23 stored in the attendee information F23 in FIG. FIG.
10 is a flowchart showing facial expression evaluation processing executed by CPU 11 of FIG.
11A is a diagram showing a structure of a record R3 stored in the facial expression evaluation information F3 by attendee in FIG. 4, and FIG. 11B is stored in action evaluation information F4 by attendee in FIG. 4; The figure which shows the structure of record R4, (c) is the evaluation table of participation degree evaluation according to attendee, (d) is the figure which shows the structure of record R5 stored in participation degree evaluation information F5 according to attendee of FIG. e) is a diagram showing the structure of a record R6 stored in the overall venue participation evaluation information F6 in FIG.
12 is a flowchart showing a preparatory school lecturer evaluation table output process executed by the CPU 11 of FIG. 2;
13 is a diagram showing an example of a lecturer evaluation table T1 stored in the recording unit 16 of FIG.
14 is a diagram showing an example of a preparatory school lecturer evaluation table output by the preparatory school lecturer evaluation table output process of FIG. 12; FIG.
[Explanation of symbols]
100 Image data processing apparatus
1 Body
11 CPU
12 Input section
13 Display section
14 Image capture device connection
15 RAM
16 Recording section
17 Printing department
18 Communication Department
19 Bus
2 Image shooting device

Claims

Consciousness level determining means for determining the consciousness level of the attendee by determining whether or not the movement of the eyeball of the attendee is equal to or higher than a preset reference level from the image data obtained by capturing the attendee;
When the consciousness level cannot be determined by the consciousness level determining means, the action level determining means for determining the action level of the attendee's action from the image data;
Storage means for performing determination by the consciousness level determination means or the action level determination means for a plurality of attendees, and storing determination results of the plurality of attendees;
Aggregation result output means for aggregating the determination results of the plurality of attendees stored in the storage means and outputting the aggregated aggregation results;
An image data processing apparatus comprising:

The counting result output means includes
The image data processing apparatus according to claim 1, wherein the determination results of the plurality of attendees changed for each predetermined time period are totaled, and the totaled results are output.

Computer
Consciousness level determination means for determining an attendee's consciousness level by determining whether or not the attendee's eye movement is equal to or higher than a preset reference level from image data obtained by capturing the attendee;
An action level determination means for determining an action level of an attendee's action from the image data when the awareness level cannot be determined by the awareness level determination means;
Storage means for performing determination by the consciousness level determination means or the action level determination means for a plurality of attendees, and storing the determination results of the plurality of attendees;
Aggregation result output means for aggregating the determination results of the plurality of attendees stored in the storage means and outputting the aggregated aggregation results;
Program to function as.