JP7369946B2 - 集中度計測装置、集中度計測方法、およびプログラム - Google Patents

集中度計測装置、集中度計測方法、およびプログラム Download PDF

Info

Publication number
JP7369946B2
JP7369946B2 JP2019108778A JP2019108778A JP7369946B2 JP 7369946 B2 JP7369946 B2 JP 7369946B2 JP 2019108778 A JP2019108778 A JP 2019108778A JP 2019108778 A JP2019108778 A JP 2019108778A JP 7369946 B2 JP7369946 B2 JP 7369946B2
Authority
JP
Japan
Prior art keywords
subject
concentration
task
habit
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019108778A
Other languages
English (en)
Other versions
JP2020201755A (ja
Inventor
スクサコン ブンヨン
元貴 吉岡
海友 鈴木
邦博 今村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2019108778A priority Critical patent/JP7369946B2/ja
Publication of JP2020201755A publication Critical patent/JP2020201755A/ja
Priority to JP2023141633A priority patent/JP2023160899A/ja
Application granted granted Critical
Publication of JP7369946B2 publication Critical patent/JP7369946B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本開示は、集中度計測装置および集中度計測方法に関する。
従来、人の集中度を算出する情報処理装置が知られている。例えば、特許文献1に記載された情報処理装置では、集中度の最大値を100として、表情の変化量と動作の変化量との和に顔向き率を乗じたものを減算することで集中度を算出する。
特開2014-120137号公報
上記従来の情報処理装置では、1つの対象物を集中して見ている程、算出される集中度が高い値になる。しかしながら、現実では、1つの対象物を見ている対象者の集中度が必ず高いという訳でもなく、複数の対象物を見ている対象者の集中度が必ず低いという訳でもない。例えば、学習または執務作業などの知的作業を行う対象者がテレビに見入っている場合、集中している状況とは言えないにも関わらず、上記従来の情報処理装置では高い集中度が算出される。また、学習において参考書とノートとを交互に見ている場合は、学習に集中している状況と言えるにも関わらず、上記従来の情報処理装置では低い集中度が算出される。このように、上記従来の情報処理装置では、算出される集中度の精度が低いという問題がある。
そこで、本開示は、集中度を高精度で計測することができる集中度計測装置および集中度計測方法を提供する。
上記課題を解決するために、本開示の一態様に係る集中度計測装置は、対象者が撮像された画像を取得する取得部と、前記取得部が取得した前記画像において、前記対象者の体の2以上の部分のそれぞれについて位置を認識し、認識された前記対象者の体の2以上の部分の位置からそれぞれの位置関係である対象位置関係を算出する体パーツ認識部と、前記体パーツ認識部により算出された前記対象位置関係と、人が集中状態にある場合にとり得る癖であって、人の体の2以上の部分の位置関係によって規定される癖とに基づいて、前記対象者が集中状態であるか否かを判定する集中癖判定部と、前記集中癖判定部による判定結果を用いて前記対象者の集中度を算出する集中度算出部と、を備える。
また、本開示の一態様に係る集中度計測装置方法は、対象者が撮像された画像を取得する取得ステップと、前記取得ステップで取得された前記画像において、前記対象者の体の2以上の部分のそれぞれについて位置を認識し、認識された前記対象者の体の2以上の部分の位置からそれぞれの位置関係である対象位置関係を算出する認識ステップと、前記認識ステップで算出された前記対象位置関係と、人が集中状態にある場合にとり得る癖であって、人の体の2以上の部分の位置関係によって規定される癖とに基づいて、前記対象者が集中状態であるか否かを判定する判定ステップと、前記判定ステップにおける判定結果を用いて前記対象者の集中度を算出する算出ステップと、を含む。
また、本開示の一態様は、上記集中度計測方法をコンピュータに実行させるためのプログラムとして実現することができる。あるいは、当該プログラムを格納したコンピュータ読み取り可能な記録媒体として実現することもできる。
本開示によれば、集中度を高精度で計測することができる。
図1は、実施の形態1に係る集中度計測装置を説明する図である。 図2は、実施の形態1に係る集中度計測装置の構成を示すブロック図である。 図3は、実施の形態1に係る集中度計測方法を示すフローチャートである。 図4は、実施の形態1に係る集中状態の判定について説明するための図である。 図5は、実施の形態1に係る集中度の算出について説明する図である。 図6は、実施の形態1に係る記憶部への癖情報の格納を説明するフローチャートである。 図7は、実施の形態1に係る対象者のタスクの実績と対象者の癖との関係を説明する図である。 図8は、標準的な癖の例を示す図である。 図9は、実施の形態1に係る処理テーブルを例示する図である。 図10は、実施の形態1の変形例に係る記憶部への癖情報の格納を説明するフローチャートである。 図11は、実施の形態2に係る集中度計測装置の構成を示すブロック図である。 図12は、実施の形態2に係る記憶部への癖情報の格納を説明するフローチャートである。
(本開示を得るに至った知見)
特許文献1に示すように、従来、人の集中度を算出する情報処理装置が知られている。特許文献1に開示された情報処理装置は、特定の状況においてのみ集中度を算出することができる。具体的には、当該情報処理装置では、1つの対象物を集中して見ている程、算出される集中度が高い値になる。したがって、作業中の対象者に対して当該情報処理装置を用い、作業に対する対象者の集中度を算出するためには、対象者の行う作業が1つの対象物に注視しながら行う作業である必要があり、限られた用途にしか適用できない。
また、対象者が作業に対して集中した際にとり得る動作には個人差があり、当該情報処理装置では、このような個人差に対応することは困難である。したがって、当該情報処理装置を用いて算出された集中度は、精度が高いとはいえない。
本開示は、以上の状況に鑑みてなされ、幅広い用途に適用でき、かつ対象者ごとの集中時の動作に適合できる集中度計測装置を提供する。本開示によれば、様々な状況にある対象者の集中度を高精度で計測することができる集中度計測装置等が提供される。
以下、本開示の実施の形態について、図面を参照して説明する。なお、以下に説明する実施の形態は、いずれも本開示の包括的または具体的な例を示すものである。したがって、以下の実施の形態で示される、数値、構成要素、構成要素の配置位置および接続形態、並びに、ステップおよびステップの順序等は、一例であって本開示を限定する主旨ではない。よって、以下の実施の形態における構成要素のうち、本開示の独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
また、各図は、模式図であり、必ずしも厳密に図示されたものではない。したがって、各図において縮尺などは必ずしも一致していない。各図において、実質的に同一の構成に対しては同一の符号を付しており、重複する説明は省略または簡略化する。
(実施の形態1)
[集中度計測装置]
はじめに、図1を用いて、実施の形態1に係る集中度計測装置について説明する。図1は、実施の形態1に係る集中度計測装置を説明する図である。
図1に示すように、本実施の形態における集中度計測装置100は、例えば。対象者101が利用するコンピュータ等に内蔵されて実現される。集中度計測装置100を対象者101が利用するコンピュータ等に内蔵する形態で実現することにより、コンピュータに搭載されるカメラおよびディスプレイ等を用いることができる。
すなわち、集中度計測装置100への入力を、カメラを用いて取得でき、かつ、集中度計測装置100からの出力を、ディスプレイを用いて提示できる。また、対象者101が行う作業が、コンピュータを用いる作業である場合、作業に用いるコンピュータを用いて、当該作業と並行して対象者101の集中度の算出を実施できる。
本開示における集中度計測装置100は、対象者101が撮像された画像を用いて、当該画像上の対象者101の集中度を算出する装置である。したがって、集中度計測装置100は、対象者101が撮像された画像を取得できれば、対象者101がどのような状態であっても集中度の算出を行うことができる。つまり、集中度計測装置100は、幅広い対象者101に対して適用できる。
また、集中度計測装置100は、対象者101が集中状態にある場合にとり得る癖を用いて、当該対象者101が集中状態であるか否かを判定する。例えば、図中に示す対象者101は、集中状態にある場合に、顔の一部101aを手101bで触れる癖を有する。図中の一例のように、対象者101は、対象者101ごとに異なる癖を有する。本実施の形態における集中度計測装置100は、対象者101の癖を用いて集中度の算出を行う。これによれば、特定の動作に着目して集中度を算出する、従来の場合においてみられるような個人差に基づく精度の低下を抑制でき、個人ごとに合わせて集中度をより高精度で計測することができる。
次に、図2を用いて、本実施の形態における集中度計測装置100を詳しく説明する。図2は、実施の形態1に係る集中度計測装置の構成を示すブロック図である。
図2に示すように、本実施の形態における集中度計測装置100は、取得部11、体パーツ認識部13、集中癖判定部15、および集中度算出部17を備える。取得部11は、対象者101が撮像された画像を取得する通信インタフェースである。取得部11は、一例として、入力部201に接続され、入力部201を介して対象者101が撮像された画像を取得する。入力部201は、例えばカメラであり、入力部201において画像が撮像される。
なお、入力部201は、取得部11に対して画像を提供できればどのように実現されてもよい。例えば、入力部201は、外部記憶装置であってもよい。外部記憶装置にあらかじめ格納された画像が、取得部11によって取得され、当該画像を用いて対象者101の集中度が計測されてもよい。したがって、集中度計測装置100による集中度の計測は即時的でなくてもよい。取得部11は、取得した画像を体パーツ認識部13へと送信する。
体パーツ認識部13は、取得部11が取得した画像において、対象者101の体の2以上の部分のそれぞれについて位置を認識する。また、体パーツ認識部13は、認識された対象者101の体の2以上の部分の位置からそれぞれの位置関係である対象位置関係を算出する処理装置である。体パーツ認識部13は、例えば、プロセッサと記憶装置と、当該記憶装置に格納されたプログラムとによって実現される。
体パーツ認識部13は、取得部11から受信した画像上において対象者101の体と、その他とを画像認識により識別する。また、体パーツ認識部13は、識別した対象者101の体を部分ごとに識別し、各部分のそれぞれについて画像上の位置を認識する。これにより、画像上において、対象者101の体の2以上の部分の位置関係である対象位置関係を算出する。ここで、2以上の部分の位置関係とは、2以上の部分どうしが成す距離によって示される。例えば、2以上の部分が「対象者101の顔の一部」および「対象者101の手」である場合、体パーツ認識部13は、「顔の一部と手とが特定の距離以内」のように対象位置関係を算出する。
集中癖判定部15は、対象位置関係と対象者101の癖とに基づいて、対象者101が集中状態であるか否かを判定する処理装置である。集中癖判定部15は、例えば、プロセッサと記憶装置と、当該記憶装置に格納されたプログラムとによって実現される。
集中癖判定部15は、あらかじめ対象者101の癖を把握しており、体パーツ認識部13において算出された対象位置関係が、対象者101の癖であるか否かを判定する。対象位置関係が対象者101の癖と一致する場合、対象者101は、集中状態である場合にとり得る動作をとっていると判断できる。言い換えると、集中癖判定部15は、対象者101が当該動作をとっているため、対象者101が集中状態にあると判定できる。
なお、本明細書中において、癖とは、人が集中状態にある場合にとり得る動作であり、人の体の2以上の部分の位置関係(つまり距離)から推定される動作である。したがって、癖は、人の体の2以上の部分の位置関係、または当該位置関係から推定される動作として規定可能である。
集中度算出部17は、集中癖判定部15による、対象者101が集中状態であるか否かの判定結果を用いて、対象者101の集中度を算出する処理装置である。集中度算出部17は、例えば、プロセッサと記憶装置と、当該記憶装置に格納されたプログラムとによって実現される。集中癖判定部15は、取得部11において取得された、対象者101が撮像された画像1つについて、対象者101が集中状態であるか否かの判定を行う。
画像は、複数取得され、そのそれぞれについて対象者101が集中状態であるか否かの判定が行われる。より詳しくは、取得部11において取得される画像は、画像が時系列に沿って連続的に並ぶ動画像である。したがって、集中癖判定部15は、当該動画像に含まれる1フレームごとの画像について、対象者101が集中状態であるか否かの判定を行う。つまり、集中癖判定部15では、対象者101が撮像された動画像に対応する、集中状態、または集中状態ではない非集中状態のいずれかを示す値が時系列に沿って連続的に並ぶ数値列が判定に基づいて出力される。
集中度算出部17は、対象者101の集中度として、集中癖判定部15により出力された数値列を用いて、あらかじめ設定された時間範囲に対する、対象者101が集中状態であった時間の比を算出する。例えば、5分間の動画像のうち、対象者101が集中状態であった時間の合計が4分間であった場合、4/5=0.8が集中度として算出される。また、例えば、集中度算出部17は、百分率を用いて0.8×100=80%を集中度として算出してもよい。
以上の結果は、集中度算出部17と接続された出力部202において出力される。出力部202は、例えば、コンピュータに備えられたディスプレイ等の表示装置である。出力部202は、算出された集中度を画面に表示することにより、対象者101または対象者101を管理する管理者等に提示する。なお、出力部202は、サーバ装置であってもよい。出力部202がサーバ装置である場合、算出された集中度は、出力部202の記憶装置内に格納される。対象者101または対象者101を管理する管理者等は、サーバ装置と通信することにより、格納された集中度を参照することができる。
また、本実施の形態における集中度計測装置100は、記憶部21と、集中状態判定部25と、タスク実績取得部23とを備えてもよい。これらは、集中癖判定部15において体パーツ認識部13により算出された対象位置関係と比較するための、対象者101の癖を予め取得し、記憶部21に格納しておくための構成である。
記憶部21は、癖を規定する人の体の2以上の部分の位置関係に関する癖情報が、予め格納される記憶装置である。つまり、記憶部21には、人が集中状態であるときにとり得る癖による動作の情報が格納されている。したがって、集中癖判定部15は、記憶部21を参照することにより、記憶部21に格納された癖情報を取得し、対象位置関係と癖情報とに基づいて対象者101が集中状態であるか否かを判定してもよい。
タスク実績取得部23は、対象者101が実施するタスクの実績を取得する処理装置である。タスク実績取得部23は、例えば、プロセッサと記憶装置と、当該記憶装置に格納されたプログラムとによって実現される。なお、タスクとは、計算問題、クイズ等、実施する際に集中状態となり得る知的活動である。また、タスクの実績とは、例えば、タスクの進捗速度、処理量、スコア、および正誤率等、対象者101によるタスクの実施を評価するための、定量化された数値である。したがって、タスク実績取得部23は、対象者101が実施するタスク、およびその評価方法に応じて形態が異なる。タスク実績取得部23は、例えば、タッチパネルおよびキーボード等の入力装置、カメラ、重量センサ等のセンサ、ならびに、タスク実施用の外部端末と通信するための通信インタフェース等で実現される。
例えば、対象者101によって実施されるタスクがコンピュータ上において実施される場合、タスク実績取得部23は、タスクの実施のためにコンピュータに対する入力を行うユーザインタフェースとして実現されてもよい。この場合、タスク実績取得部23は、対象者101がタスクの実施のために入力装置を用いて行った入力をタスクの実績として取得してもよい。
集中状態判定部25は、対象者101が実施したタスクの実績に基づいて、当該対象者101が集中状態であるか否かを判定する処理装置である。集中状態判定部25は、例えば、プロセッサと記憶装置と、当該記憶装置に格納されたプログラムとによって実現される。例えば、集中状態判定部25は、タスク実績取得部23において取得された対象者101が実施したタスクの進捗速度が所定速度よりも大きい場合に、対象者101が集中状態であると判定する。
[集中度計測方法]
以下では、上記に説明した集中度計測装置100を用いた対象者101の集中度を計測する集中度計測方法について図3を用いて説明する。図3は、実施の形態1に係る集中度計測方法を示すフローチャートである。
本実施の形態における取得部11は、接続された入力部201を介して、対象者101が撮像された画像を受信することで当該画像を取得し、取得ステップ(S101)を実施する。取得部11は、また、取得した画像を体パーツ認識部13へと送信する。
続いて、体パーツ認識部13は、取得部11から受信した画像について、画像認識により、対象者101の体とその他の部分とを識別し、さらに、対象者101の体を部分ごとに識別する。体パーツ認識部13は、対象者101の体の部分のそれぞれに対して、画像上の位置を認識する。体パーツ認識部13は、さらに、画像上における対象者101の体の部分のうち2以上の部分の組み合わせについて、認識された位置からそれぞれの位置関係である対象位置関係を算出する認識ステップ(S102)を実施する。
続いて、集中癖判定部15は、取得した画像における対象位置関係と、当該対象者101の癖を規定する体の2以上の部分の位置関係とに基づいて、当該対象者101が集中状態であるか否かを判定する判定ステップを実施する。集中癖判定部15は、例えば、記憶部21に格納された対象者101の癖情報を用いて対象者101の癖を規定する体の2以上の部分の位置関係を取得する。集中癖判定部15は、さらに、対象者101の癖に該当する位置関係が、画像から算出された対象位置関係に含まれないか否かを判定することにより(S103)、対象者101が集中状態であるか否かの判定を実施する。
例えば、対象者101の癖に該当する位置関係が、画像から算出された対象位置関係と対応する(一致するまたは同等とみなせる)場合(S103でYes)、集中癖判定部15は、対象者101が集中状態であると判定する(S104)。また、例えば、対象者101の癖に該当する位置関係が、画像から算出された対象位置関係と対応しない場合(S103でNo)、集中癖判定部15は、対象者101が集中状態ではないと判定する(S105)。
集中癖判定部15における、対象者101の集中状態であるか否かの判定について、図4を用いてさらに詳しく説明する。図4は、実施の形態1に係る集中状態の判定について説明するための図である。図4の(a)は、集中状態である場合における対象者101が撮像された画像を示す図である。また、図4の(b)は、集中状態でない場合における対象者101が撮像された画像を示す図である。なお、ここでの対象者101の集中時における癖は、顎(つまり顔の一部101a)を手101bで触る動作である。以下の説明では、顎を顔の一部と同じ符号101aで参照する。
図4の(a)に示すように、体パーツ認識部13により、画像上の対象者101は、体の一の部分である顎101aと他の部分である手101bとの位置が画像上の座標として認識される。さらに、対象者101の集中時における癖である顎101aを手101bで触る動作に基づき、集中癖判定部15は、顎101aと手101bとにおける最短距離が0または0と同等とみなせる距離以内であるかを判定する。図4の(a)では、対象者101は、顎101aと、手101bとにおける画像上の座標の最短距離が0である。したがって、図4の(a)における対象者101は、集中時の癖を示す集中状態であると判定される。
一方で、図4の(b)に示すように、体パーツ認識部13により、画像上の対象者101は、体の一の部分である顎101aのみの位置が画像上の座標として認識される。手101bが画像中に認識されなかったため、顎101aと手101bとの距離が算出されず、対象者101の集中時における癖である顎101aを手101bで触る動作は示されていない。したがって、図4の(b)における対象者101は、集中時の癖を示す集中状態ではないと判定される。
図3に戻り、集中癖判定部15は、取得部11において取得される画像1フレームごとに対象者101が集中状態であるか否かの判定を実施する。ここで、本実施の形態における集中度計測装置100は、あらかじめ設定された時間範囲において対象者101の集中度を算出する。つまり、あらかじめ設定された時間範囲に対応する所定の数(フレーム数)の画像について、集中癖判定部15は、対象者101が集中状態か否かの判定を行う。
したがって、集中癖判定部15は、判定が実施された画像の数が所定の数に達したか否かの判定を行い(S106)、所定の数に達していない場合(S106でNo)、取得ステップ(S101)~ステップ(S106)を繰り返す。これにより、集中癖判定部15は、判定が実施された画像の数が所定の数に達するまで、画像の取得および画像中の対象者101が集中状態であるか否かの判定を行う。
判定が実施された画像の数が所定の数に達した際に(S106でYes)、集中度算出部17は、所定の数の画像において判定された、対象者101が集中状態であるか否かの判定結果を用いて、対象者101の集中度を算出する算出ステップ(S107)を実施する。これにより、集中度計測装置100は、対象者101があらかじめ設定された時間範囲内でどの程度集中していたかを数値化することができる。集中度算出部17は、算出した対象者101の集中度に関する情報を出力部202へと送信する。これにより、対象者101または対象者101を管理する管理者等は、集中度計測装置100によって計測された集中度を確認することができる。
集中度の算出について、図5を用いて以下に説明する。図5は、実施の形態1に係る集中度の算出について説明する図である。図5に示す矩形のそれぞれは、取得された1つの画像を示し、各々に撮像された対象者101が含まれている。また、各矩形は、ハッチングを付した矩形および白抜き矩形に分けられ、ハッチングを付した矩形に含まれる対象者101が集中状態であると判定され、白抜き矩形に含まれる対象者101が集中状態でないと判定されたフレームであることをそれぞれ示している。
例えば、前述した時間範囲が5分(300秒)であり、画像の撮像間隔が30フレーム/秒である場合、集中度計測装置100は、300(秒)×30(フレーム/秒)=9000フレームの画像を用いて集中度の算出を行う。時間範囲は、長いほど、瞬間的な誤検出等による集中状態の判定等の誤差が低減され、短いほど、出力される集中度の即時性が増大する。したがって、時間範囲の設定は、集中度計測装置100を使用する使用者によって、目的に合わせて任意に設定されてもよい。
また、例えば、1~9000フレームまでの9000フレーム分の画像が取得された以降、2~9001フレーム、3~9002フレーム、4~9003フレームのように、1フレームごとに9000フレーム分の長さの画像に基づく集中度が算出されてもよい。
以上に説明したように、本実施の形態における集中度計測装置100は、対象者101が撮像された画像を用いて、対象者101の集中度の計測を行う。このとき、集中度計測装置100は、画像上に現れる対象者101の癖を用いて、当該対象者101が集中状態であるか否かの判定に基づく集中度の計測を行う。集中度計測装置100は、対象者101が、示す癖の動作の画像を取得できれば、対象者101がいかなる作業を行っていても集中度を計測することができる。よって、集中度計測装置100は、幅広い用途に適用できる。
また、対象者101の癖を用いて、当該対象者101が集中状態であるか否かの判定に基づく集中度の計測を行うことにより、本実施の形態における集中度計測装置100は、対象者101ごとに合わせた集中度の計測を行うことができる。よって、本実施の形態における集中度計測装置100は、集中時の動作における個人差を低減させ、対象者101の集中度を高精度で計測することができる。
[記憶部への癖情報の格納]
以下では、さらに、記憶部21への癖情報の格納について、図6~図9を用いて説明する。図6は、実施の形態1に係る記憶部への癖情報の格納を説明するフローチャートである。図6の(a)は、タスクの実績としてタスクの進捗速度を取得する場合のフローチャートを示している。また、図6の(b)は、タスクの実績としてタスクのスコアを取得する場合のフローチャートを示している。
集中度計測装置100は、対象者101の集中度を計測するにあたり、事前に対象者101の癖を規定する、対象者101の体の2以上の部分の位置関係である対象位置関係を記憶部21に格納しておくことができる。対象位置関係が事前に記憶部21に格納されていることで、集中度計測装置100は、対象者101の集中度をより高精度で計測することができる。対象位置関係を事前に記憶部21に格納するために、対象者101が集中状態にある画像を取得する必要がある。このため、集中度計測装置100は、対象者101が集中し得る状況において、対象者101の画像の取得を実施する。対象者101が集中し得る状況は、例えば、対象者101がタスクを実施している状況である。
以下では、対象者101がタスクを実施している間に画像を取得することにより、集中状態にある対象者101が撮像された画像を取得する例について説明する。なお、対象者101が集中し得る状況のその他の例については、変形例を用いて後述する。
対象位置関係を記憶部21に格納するため、取得部11は、タスクを実施する対象者101が撮像された実施画像を取得する(S201)。また、タスク実績取得部23は、対象者101が実施しているタスクの実績を取得する。本実施の形態においては、取得したタスクの実績に基づき、対象者101が集中状態にあるときの実施画像から対象者101の癖を対象位置関係として算出する。
図7は、実施の形態1に係る対象者のタスクの実績と対象者の癖との関係を説明する図である。図7では、対象者101が実施するタスクについて、経過時間に対するタスクの実績の変動のグラフが示されている。図7に一点鎖線で示すように、タスクの実績には、あらかじめ閾値が設定されている。なお、閾値は、取得されるタスクの実績に応じるものであってもよい。例えば、タスクの実績としてタスクの進捗速度が取得される場合、閾値は所定速度である。また、例えば、タスクの実績としてタスクのスコアが取得される場合、閾値は所定値である。
図中では、対象者101のタスクの実績が所定速度または所定値よりも大きい、タスクの実績が上に凸のピークを示す少なくとも3箇所(細破線の円形で囲む箇所)において、対象者101が癖である顎を手で触る動作を行ったことが示されている。また、タスクの実績が下向きの凸のピークを示す少なくとも3箇所(長破線の円形で囲む箇所)を含むその他の箇所においては、対象者101は、上記の癖を行わなかったことが示されている。このように、集中状態判定部25は、取得されるタスクの実績が所定速度または所定値等の閾値よりも大きいか否かによる、対象者101が集中状態であるか否かの判定を行う。
図6に戻り、例えば、図6の(a)では、タスク実績取得部23は、タスクの実績としてタスクの進捗速度を取得する(S202)。また、例えば、図6の(b)では、タスク実績取得部23は、タスクの実績としてタスクのスコアを取得する(S202a)。
続いて、集中度計測装置100は、図7において説明したように取得したタスクの実績に基づいて、対象者101が集中状態であるか否かの判定を行う。例えば、図6の(a)では、取得したタスクの進捗速度が所定速度よりも大きいか否かの判定を行う(S203)。所定速度は、対象者101の年齢や性別を考慮して設定された、統計的な進捗速度であってもよく、あらかじめ実験的に定められた進捗速度であってもよい。また、所定速度は、対象者101がタスクを実施している最中に、タスクの進捗速度の平均速度から決定されてもよい。つまり、実施中のタスクのうち、実施済みの一部における進捗速度から算出される平均速度を所定速度として定め、未実施の他部において対象者101が集中状態であるか否かの判定に用いてもよい。言い換えると、所定速度は、対象者101によるタスクの進捗速度の平均速度であってもよい。
また、例えば、図6の(b)では、取得したタスクのスコアが所定値よりも高いか否かの判定を行う(S203a)。所定値は、対象者101の年齢や性別を考慮して設定された、統計的なスコアであってもよく、あらかじめ実験的に定められたスコアであってもよい。例えば、所定値は、対象者101によってあらかじめ実施された1以上のタスクのスコアの平均値であってもよい。
例えば、集中状態判定部25により、対象者101のタスクの進捗速度が所定速度よりも大きいと判定された場合(S203でYes)、体パーツ認識部13は、当該進捗速度が取得された時点の実施画像において対象位置関係を算出する(S204)。さらに、算出された対象位置関係を示す情報が含まれた癖情報が、記憶部21に格納される(S205)。
一方で、集中状態判定部25により、対象者101のタスクの進捗速度が所定速度以下と判定された場合(S203でNo)、集中度計測装置100は、処理を終了する。以上の処理は、タスク実績取得部23により、タスクの実績である進捗速度が取得されるごとに繰り返し実施される。
また、例えば、集中状態判定部25により、対象者101のタスクのスコアが所定値よりも高いと判定された場合(S203aでYes)、体パーツ認識部13は、当該スコアが取得された時点の実施画像において対象位置関係を算出する(S204)。さらに、算出された対象位置関係を示す情報が含まれた癖情報が、記憶部21に格納される(S205)。
一方で、集中状態判定部25により、対象者101のタスクのスコアが所定値以下と判定された場合(S203aでNo)、集中度計測装置100は、処理を終了する。
以上の処理により記憶部21には、対象者101がタスクを実施しながら集中状態であるときに取得された実施画像において算出された対象位置関係を示す情報が含まれる癖情報が格納される。
なお、記憶部21に格納される癖情報は、対象者101の癖を規定する対象者101の体の2以上の部分の位置関係に関する癖情報でなくてもよい。より具体的には、複数の人の癖を統計処理して得られる標準的な癖を規定する、人の体の2以上の部分の位置関係を示す情報が癖情報として記憶部21に格納されてもよい。
図8は、標準的な癖の例を示す図である。図8の(a)は、顎を手で触る癖を例示している。図8の(a)には、集中時における人の標準的な行動パターンの例として、顔の一部である顎を手で触る動作が示されている。また、図8の(b)は、口周辺を手で触る癖を例示している。図8の(b)には、集中時における人の標準的な行動パターンの例として、顔の一部である口周辺を手で触る動作が示されている。また、図8の(c)は、首を手で撫でる癖を例示している。図8の(c)には、集中時における人の標準的な行動パターンの例として、首を手で覆うように撫でる動作が示されている。また、図8の(d)は、額を手で触る癖を例示している。図8の(d)には、集中時における人の標準的な行動パターンの例として、顔の一部である額を手で触る動作が示されている。
また、図8の(e)は、両手を合わせる癖を例示している。図8の(e)には、集中時における人の標準的な行動パターンの例として、顔の一部である口周辺を手で触るとともに、顔の前で両手を合わせる動作が示されている。また、図8の(f)は、髪(髪の毛)を手で触る癖を例示している。図8の(f)には、集中時における人の標準的な行動パターンの例として、両手を組むとともに、髪の毛を手で触る動作が示されている。また、図8の(g)は、眉間を手で触る癖を例示している。図8の(g)には、集中時における人の標準的な行動パターンの例として、顔の一部である眉間を手で触る動作が示されている。また、図8の(h)は、両腕を組む癖を例示している。図8の(h)には、集中時における人の標準的な行動パターンの例として、両腕を組む動作が示されている。
以上に例示したような標準的な癖を規定する、人の体の2以上の部分の位置関係を示す情報が癖情報として記憶部21に格納されてもよい。これによれば、集中時に人が一般的にとり得る癖を用いて、対象者101の集中度を計測することができる。事前に対象者101に特化した癖を記憶部21に格納する処理を実施する必要がなく、より簡易に対象者101の集中度を計測することができる。また、集中時に人が一般的にとり得る癖を用いても、当該癖が統計的に得られる癖であるため対象者101の癖も十分含まれ得る。
さらに、集中度計測装置100は、集中時に人が一般的にとり得る癖を記憶部21に複数格納してもよい。つまり、記憶部21に格納された複数の癖のいずれかが対象者101の癖と一致していればよく、記憶部21に格納された癖は、複数であることにより対象者101がとり得る癖と一致する可能性が高まる。つまり、集中度計測装置100は、より多様な対象者101に対して集中度の計測を行うことができる。
記憶部21に複数の癖を示す癖情報が格納されている場合における集中癖判定部15の動作について説明する。図9は、実施の形態1に係る処理テーブルを例示する図である。図9の処理テーブルには、「クラス番号」、「行動パターン名」、「集中時の癖フラグ」が示されている。
図9の処理テーブルに示された「行動パターン名」は、複数の癖を示す癖情報に対応する、複数の行動パターン(つまり癖)を具体的な行動名として示している。なお、実際には、処理テーブルは、集中度計測装置100内部の処理に用いられるデータであるため、行動パターン名の箇所には、各行動パターンを規定する体の2以上の部分の位置関係を示す情報が格納される。
また、図9の処理テーブルに示された「クラス番号」は、各行動パターンに対応する通し番号である。
また、図9の処理テーブルに示された「集中時の癖フラグ」は、対象位置関係が、処理テーブルに含まれる行動パターンと一致したか否かを示す2値のデータである。より具体的には、取得された画像において、対象位置関係が、行動パターンに規定された人の体の2以上の部分の位置関係と一致した場合に、「集中時の癖フラグ」に1が記録され、その他の場合に、「集中時の癖フラグ」に0が記録される。
ここで、1つの処理テーブルは、1つの画像に対応し、各画像から対象者101が集中状態または非集中状態のいずれであるかの2値の判定結果が得られる。したがって、1つの処理テーブルにおいて、複数の行動パターンについて「集中時の癖フラグ」に1が記録された場合でも、対応する画像は、集中状態であることの1つの値のみが判定結果として出力される。より具体的には、例えば、図8の(e)に示す画像が取得され、図9に示すように処理テーブルにおいて、「クラス番号」が0および5の「口周辺を触る」および「手を合わせる」のいずれについても「集中時の癖フラグ」に1が記録された場合でも、対応する画像は、単に集中状態であるという判定結果のみが得られる。
以上のように、記憶部21に格納されている癖情報に、複数の癖のそれぞれにおける人の体の2以上の部分の位置関係を示す情報が格納されている場合は、取得された画像ごとに、対象位置関係と、複数の癖のそれぞれにおける人の体の2以上の部分の位置関係とを比較する。これにより、取得された画像ごとに「集中時の癖フラグ」に0または1が記録された「クラス番号」の情報が生成される。少なくとも1つの「クラス番号」の「集中時の癖フラグ」に1が記録された処理テーブルに対応する画像は、対象者101が集中状態であると判定される。あらかじめ設定された時間範囲において、判定結果を集計することで、当該時間範囲における対象者101の集中度が算出される。
なお、画像ごとの処理テーブルを直接集計することにより、いずれの「行動パターン名」の癖がより多く検出されたか等、対象者101の癖の内容に関する出力を行ってもよい。
[効果等]
以上説明したように、本実施の形態における集中度計測装置100の一態様は、対象者101が撮像された画像を取得する取得部11と、取得部11が取得した画像において、対象者101の体の2以上の部分のそれぞれについて位置を認識し、認識された対象者101の体の2以上の部分の位置からそれぞれの位置関係である対象位置関係を算出する体パーツ認識部13と、体パーツ認識部13により算出された対象位置関係と、人が集中状態にある場合にとり得る癖であって、人の体の2以上の部分の位置関係によって規定される癖とに基づいて、対象者101が集中状態であるか否かを判定する集中癖判定部15と、集中癖判定部15による判定結果を用いて対象者101の集中度を算出する集中度算出部17と、を備える。
これによれば、集中度の計測を実施したい対象者101の画像を取得し、当該画像内に含まれる対象者101の体の2以上の部分それぞれの位置を認識して、各部分の位置関係を算出することができる。体の2以上の部分の位置関係により規定された、集中状態にある人の癖と、算出された対象者101の位置関係とを用いて、対象者101が集中状態であるか否かを判定できる。集中状態にある人の癖によって、対象者101が集中状態であるか否かの判定が行われるため、対象者101が集中状態にある場合にとり得る動作がどのようなものであっても対象者101が集中状態であるか否かの判定を行うことができる。したがって、対象者101が集中状態にあるときにとり得る動作に依存することなく、対象者101が集中状態であるか否かを高精度に判定できる。よって、集中度計測装置100は、高精度に判定された集中状態の判定結果を用いて、集中度を高精度に計測できる。
また、例えば、集中度計測装置100は、さらに、癖を規定する人の体の2以上の部分の位置関係に関する癖情報が予め格納される記憶部21を備え、集中癖判定部15は、対象位置関係と、記憶部21に格納された癖情報とに基づいて、対象者が集中状態であるか否かを判定してもよい。
これによれば、あらかじめ記憶部21に格納された、癖を規定する人の体の2以上の部分の位置関係に関する情報を、対象者101の集中状態の判定に用いることができる。よって、対象者101の集中状態の判定に際して新たに癖を規定する人の体の2以上の部分の位置関係に関する情報を外部から取得する必要がないため、集中度計測装置100を単一の装置として実現することができる。
また、例えば、記憶部21に格納される癖情報には、複数の人の癖を統計処理して得られる標準的な癖を規定する、人の体の2以上の部分の位置関係を示す情報が含まれてもよい。
これによれば、あらかじめ記憶部21に格納される癖を、より一般化された標準的な癖とすることができる。したがって、対象者101の癖が特定されていない状況において、一般的な癖を用いて対象者101が集中状態を判定できる。よって、癖が特定されていない対象者101についても集中状態の判定を実施できるため、集中度計測装置100を幅広い対象者101に適用することができる。
また、例えば、記憶部21に格納される癖情報は、標準的な癖による動作であって、人が顔の一部を手で触る動作、首を手で撫でる動作、両手を合わせる動作、髪の毛を手で触る動作、および、両腕を組む動作の少なくとも一つにおける人の体の2以上の部分の位置関係を示していてもよい。
これによれば、人が顔の一部を手で触る動作、首を手で撫でる動作、両手を合わせる動作、髪の毛を手で触る動作、および、両腕を組む動作の少なくとも一つの標準的な癖による動作を用いて対象者101の集中状態を判定することができる。よって、癖が特定されていない対象者101についても、いずれかの動作をもとに集中状態の判定を実施できるため、集中度計測装置100を幅広い対象者101に適用することができる。
また、例えば、集中度計測装置100は、さらに、対象者101が実施するタスクの実績を取得するタスク実績取得部23と、タスクの実績に基づいて、対象者101が集中状態であるか否かを判定する集中状態判定部25と、を備え、取得部11は、画像として、タスクを実施している対象者101が撮像された実施画像を取得し、記憶部21に格納される癖情報には、集中状態判定部25によって対象者101が集中状態であると判定されたときに取得された実施画像において算出された対象位置関係を示す情報が含まれてもよい。
これによれば、対象者101が実施したタスクの実績に基づく判定により、集中状態と判定された時点において、タスクを実施している対象者101が撮像された実施画像が取得される。当該実施画像上の対象者101は、集中状態であるため集中状態にある場合にとり得る動作をとっていると推定される。したがって、当該実施画像上の対象者101の体の2以上の部分の位置関係は、対象者101の癖を規定していると考えられる。あらかじめ対象者101の癖による体の2以上の部分の位置関係を記憶部21に格納しておくことができ、これを用いて対象者101の集中状態を判定できる。よって、集中度計測装置100は、対象者101自身の癖をもとに対象者101の集中度をより高精度に計測することができる。
また、例えば、タスク実績取得部23は、タスクの実績として、対象者101が実施したタスクの進捗速度を取得し、集中状態判定部25は、タスクの進捗速度が所定速度よりも大きい場合に、対象者101が集中状態であると判定してもよい。
これによれば、対象者101がタスクを実施する際に、集中状態であるか否かを、タスクの実績として取得したタスクの進捗速度をもとに判定することができる。タスクの進捗速度が所定速度よりも大きい場合に、対象者101が集中状態であると判定し、このとき取得された実施画像における対象者101の体の2以上の部分の位置関係を用いて対象者101の集中状態を判定できる。よって、集中度計測装置100は、対象者101自身の癖をもとに対象者101の集中度をより高精度に計測することができる。
また、例えば、所定速度は、対象者101によるタスクの進捗速度の平均速度であってもよい。
これによれば、対象者101がタスクを実施する際に、集中状態であるか否かを、タスクの実績として取得したタスクの進捗速度をもとに判定することができる。タスクの進捗速度が平均速度よりも大きい場合に、対象者101が集中状態であると判定し、このとき取得された実施画像における対象者101の体の2以上の部分の位置関係を用いて対象者101の集中状態を判定できる。よって、集中度計測装置100は、対象者101自身の癖をもとに対象者101の集中度をより高精度に計測することができる。
また、例えば、タスク実績取得部23は、タスクの実績として、対象者101が実施したタスクのスコアを取得し、集中状態判定部25は、タスクのスコアが所定値よりも高い場合に、対象者101が集中状態であると判定してもよい。
これによれば、対象者101がタスクを実施する際に、集中状態であるか否かを、タスクの実績として取得したタスクのスコアをもとに判定することができる。タスクのスコアが所定値よりも大きい場合に、対象者101が集中状態であると判定し、このとき取得された実施画像における対象者101の体の2以上の部分の位置関係を用いて対象者101の集中状態を判定できる。よって、集中度計測装置100は、対象者101自身の癖をもとに対象者101の集中度をより高精度に計測することができる。
また、例えば、所定値は、対象者101によって実施された1以上のタスクのスコアの平均値であってもよい。
これによれば、対象者101がタスクを実施する際に、集中状態であるか否かを、タスクの実績として取得したタスクのスコアをもとに判定することができる。タスクのスコアが平均値よりも大きい場合に、対象者101が集中状態であると判定し、このとき取得された実施画像における対象者101の体の2以上の部分の位置関係を用いて対象者101の集中状態を判定できる。よって、集中度計測装置100は、対象者101自身の癖をもとに対象者101の集中度をより高精度に計測することができる。
また、本実施の形態における集中度計測方法の一態様は、対象者が撮像された画像を取得する取得ステップと、取得ステップで取得された画像において、対象者の体の2以上の部分のそれぞれについて位置を認識し、認識された対象者の体の2以上の部分の位置からそれぞれの位置関係である対象位置関係を算出する認識ステップと、認識ステップで算出された対象位置関係と、人が集中状態にある場合にとり得る癖であって、人の体の2以上の部分の位置関係によって規定される癖とに基づいて、対象者が集中状態であるか否かを判定する判定ステップと、判定ステップにおける判定結果を用いて対象者の集中度を算出する算出ステップと、を含む。
これによれば、集中度の計測を実施したい対象者101の画像を取得し、当該画像内に含まれる対象者101の体の2以上の部分それぞれの位置を認識して、各部分の位置関係を算出することができる。体の2以上の部分の位置関係により規定された、集中状態にある人の癖と、算出された対象者101の位置関係とを用いて、対象者101が集中状態であるか否かを判定できる。集中状態にある人の癖によって、対象者101が集中状態であるか否かの判定が行われるため、対象者101が集中状態にある場合にとり得る動作がどのようなものであっても対象者101が集中状態であるか否かの判定を行うことができる。したがって、対象者101が集中状態にあるときにとり得る動作に依存することなく、対象者101が集中状態であるか否かを高精度に判定できる。よって、集中度計測装置100は、高精度に判定された集中状態の判定結果を用いて、集中度を高精度に計測できる。
また、例えば、上記に記載の集中度計測方法をコンピュータに実行させるためのプログラムとしてもよい。
これによれば、上記に記載の集中度計測方法をコンピュータに実行させることができる。
[変形例]
次に、実施の形態1の変形例について、図10を用いて説明する。図10は、実施の形態1の変形例に係る記憶部への癖情報の格納を説明するフローチャートである。図10の(a)は、タスクの実績としてタスクの進捗速度を取得する場合のフローチャートを示している。また、図10の(b)は、タスクの実績としてタスクのスコアを取得する場合のフローチャートを示している。
本変形例においては、対象者101が実施するタスクを中断した場合に、当該対象者101が集中状態であるか否かの判定に基づき、対象位置関係を記憶部21に格納する集中度計測装置100の動作を説明する。したがって、上記実施の形態1において、図6を用いて説明した、記憶部21への癖情報の格納に対応する集中度計測装置100の処理について説明し、その他については省略または簡略化して説明する。
まず、取得部11は、対象者101がタスクの実施を中断したことをタスク実績取得部23が検知した時に、タスクの実施を中断する対象者101を撮像した中断画像を取得する(S401)。その後、タスク実績取得部23は、対象者101のタスクの実施の中断時間が第2時間以上であるか否かの判定を行う(S402)。
ここで、タスクの実施を中断した対象者101は、タスクを実施するための思考状態であることが推定される。思考状態である対象者101は、集中状態である可能性が高いため、タスクの実施を中断した対象者101が集中状態であることが推定される。この際、体調不良等の他の原因により、対象者101がタスクの実施を中断している場合を区別するため、集中状態判定部25は、さらに、タスクの再開後におけるタスクの実績を用いて、対象者101が集中状態であるか否かの判定を行う。
タスクの実施の中断時にタスクを実施するための思考状態であった場合、タスクの再開後におけるタスクの実績は、所定速度または所定値等の閾値よりも大きくなることが予想される。したがって、タスクの実施を中断し、かつ、再開後のタスクの実績が所定速度または所定値等の閾値よりも大きい場合に、集中状態判定部25は、タスクの実施の中断時における対象者101が集中状態であったと判定する。
中断時間が第2時間より短いと判定された場合(S402でNo)、タスクの中断と対象者101の集中状態との相関が不確かであるため、集中度計測装置100は、処理を終了する。なお、第2時間とは、対象者101がタスクの実施に対する思考が可能とみなせる十分な時間である。第2時間は、対象者101ごとに個別に設定されてもよく、タスクの内容ごとに標準的な時間が設定されてもよい。
一方で、中断時間が第2時間以上であると判定された場合(S402でYes)、対象者101が集中状態であるか否かの判定を行う。つまり、集中状態判定部25は、タスクの実施を第2時間以上中断している対象者101が撮像された中断画像を用いて集中状態であるか否かの判定を行う。
まず、タスク実績取得部23は、対象者101がタスクを再開した際に、タスクの実績を取得する。タスクの実績は、上記実施の形態1と同様に、タスクの進捗速度またはタスクのスコア等である。例えば、図10の(a)では、タスク実績取得部23は、タスクの実績としてタスクの進捗速度を取得する(S403)。また、例えば、図10の(b)では、タスク実績取得部23は、タスクの実績としてタスクのスコアを取得する(S403a)。
続いて、集中状態判定部25は、取得したタスクの実績に基づいて、対象者101が集中状態であるか否かの判定を行う。例えば、図10の(a)では、取得したタスクの進捗速度が所定速度よりも大きいか否かの判定を行う(S404)。所定速度は、上記実施の形態1と同様に設定されてもよく、タスクの実施が中断される前のタスクの実績をもとに設定されてもよい。また、所定速度は、対象者101によるタスクの進捗速度の平均速度であってもよい。
また、例えば、図10の(b)では、取得したタスクのスコアが所定値よりも高いか否かの判定を行う(S404a)。所定値は、上記実施の形態1と同様に設定されてもよく、タスクの実施が中断される前のタスクの実績をもとに設定されてもよい。また、所定値は、対象者101によってあらかじめ実施された1以上のタスクのスコアの平均値であってもよい。
例えば、集中状態判定部25により、対象者101のタスクの進捗速度が所定速度よりも大きいと判定された場合(S404でYes)、体パーツ認識部13は、取得された中断画像において対象位置関係を算出する(S405)。さらに、算出された対象位置関係を示す情報が含まれた癖情報が、記憶部21に格納される(S406)。
一方で、集中状態判定部25により、対象者101のタスクの進捗速度が所定速度以下と判定された場合(S404でNo)、集中度計測装置100は、処理を終了する。
また、例えば、集中状態判定部25により、対象者101のタスクのスコアが所定値よりも高いと判定された場合(S404aでYes)、体パーツ認識部13は、取得された中断画像において対象位置関係を算出する(S405)。さらに、算出された対象位置関係を示す情報が含まれた癖情報が、記憶部21に格納される(S406)。
一方で、集中状態判定部25により、対象者101のタスクのスコアが所定値以下と判定された場合(S404aでNo)、集中度計測装置100は、処理を終了する。
以上の処理により記憶部21には、対象者101がタスクを実施するために、タスクを中断し、集中状態であったときに取得された中断画像において算出された対象位置関係を示す情報が含まれる癖情報が格納される。よって、本変形例における集中度計測装置100は、対象者101の集中度の計測の際に、対象者101の癖を用いて、当該対象者101が集中状態であるか否かの判定に基づく集中度の計測を実施できるため、幅広い用途に適用できる。さらに、集中度計測装置100は、集中時の動作における個人差を低減させ、対象者101の集中度を高精度で計測することができる。
以上説明したように、例えば、集中度計測装置100は、さらに、対象者が実施するタスクの実績を取得するタスク実績取得部と、タスクの実績に基づいて、対象者が集中状態であるか否かを判定する集中状態判定部と、を備え、取得部は、タスクの実施を第2時間以上中断している対象者を撮像した中断画像を取得し、記憶部に格納される癖情報には、タスクの実施を中断したあとにタスクを再開した対象者のタスクの実績に基づいて、タスクの中断中における対象者が集中状態であると判定された場合の中断画像において算出された対象位置関係を示す情報が含まれてもよい。
これによれば、対象者101がタスクの実施を中断したあとにおけるタスクの実績に基づく判定により、タスクを中断し、思考のための集中状態であると判定された対象者101が撮像された中断画像が取得される。当該中断画像上の対象者101は、集中状態であるため集中状態にある場合にとり得る動作をとっていると推定される。したがって、当該中断画像上の対象者101の体の2以上の部分の位置関係は、対象者101の癖を規定していると考えられる。あらかじめ対象者101の癖による体の2以上の部分の位置関係を記憶部21に格納しておくことができ、これを用いて対象者101の集中状態を判定できる。よって、集中度計測装置100は、対象者101自身の癖をもとに対象者101の集中度をより高精度に計測することができる。
また、例えば、タスク実績取得部は、タスクの実績として、対象者が実施したタスクの進捗速度を取得し、集中状態判定部は、タスクの進捗速度が所定速度よりも大きい場合に、タスクの中断中における対象者が集中状態であると判定してもよい。
これによれば、対象者101がタスクを実施する際に、集中状態であるか否かを、タスクの実績として取得したタスクの進捗速度をもとに判定することができる。タスクの進捗速度が所定速度よりも大きい場合に、中断画像上の対象者101が集中状態であると判定し、対象者101の体の2以上の部分の位置関係を用いて対象者101の集中状態を判定できる。よって、集中度計測装置100は、対象者101自身の癖をもとに対象者101の集中度をより高精度に計測することができる。
また、例えば、所定速度は、対象者によるタスクの進捗速度の平均速度であってもよい。
これによれば、対象者101がタスクを実施する際に、集中状態であるか否かを、タスクの実績として取得したタスクの進捗速度をもとに判定することができる。タスクの進捗速度が平均速度よりも大きい場合に、中断画像上の対象者101が集中状態であると判定し、対象者101の体の2以上の部分の位置関係を用いて対象者101の集中状態を判定できる。よって、集中度計測装置100は、対象者101自身の癖をもとに対象者101の集中度をより高精度に計測することができる。
また、例えば、タスク実績取得部は、タスクの実績として、対象者が実施したタスクの成績を取得し、集中状態判定部は、タスクの成績が所定値よりも高い場合に、タスクの中断中における対象者が集中状態であると判定してもよい。
これによれば、対象者101がタスクを実施する際に、集中状態であるか否かを、タスクの実績として取得したタスクのスコアをもとに判定することができる。タスクのスコアが所定値よりも大きい場合に、中断画像上の対象者101が集中状態であると判定し、対象者101の体の2以上の部分の位置関係を用いて対象者101の集中状態を判定できる。よって、集中度計測装置100は、対象者101自身の癖をもとに対象者101の集中度をより高精度に計測することができる。
また、例えば、所定値は、対象者によって過去に実施された1以上のタスクにおける成績の平均値であってもよい。
これによれば、対象者101がタスクを実施する際に、集中状態であるか否かを、タスクの実績として取得したタスクのスコアをもとに判定することができる。タスクのスコアが平均値よりも大きい場合に、中断画像上の対象者101が集中状態であると判定し、対象者101の体の2以上の部分の位置関係を用いて対象者101の集中状態を判定できる。よって、集中度計測装置100は、対象者101自身の癖をもとに対象者101の集中度をより高精度に計測することができる。
(実施の形態2)
次に、実施の形態2について、図11および図12を用いて説明する。図11は、実施の形態2に係る集中度計測装置の構成を示すブロック図である。また図12は、実施の形態2に係る記憶部への癖情報の格納を説明するフローチャートである。
本実施の形態では、対象位置関係を事前に記憶部21に格納するために、集中状態にある対象者101を撮像する際の、対象者101が集中し得る状況の別の例を説明する。したがって、本実施の形態における集中度計測装置100aは、対象者101が集中し得る別の状況の例に対応可能な構成要素を備える。以下、上記実施の形態1と比較して異なる箇所について説明し、実施の形態1と実質的に同一の箇所については、省略または簡略化して説明する。
図11に示すように、本実施の形態における集中度計測装置100aは、上記実施の形態1と比較して検知部27と集中状態判定部25aとを備える点で異なる。また、本実施の形態における集中度計測装置100aは、上記実施の形態1と比較してタスク実績取得部23と集中状態判定部25とを備えない点で異なる。
検知部27は、対象者101の顔向きを検知する処理装置である。検知部27は、例えば、プロセッサと記憶装置と、当該記憶装置に格納されたプログラムとによって実現される。検知部27は、取得部11に接続され、取得部11において取得した、対象者101が撮像された画像を受信する。検知部27は、受信した画像において対象者101の顔向きを検知する。
集中状態判定部25aは、対象者101が集中状態であるか否かを判定する処理装置である。集中状態判定部25aは、例えば、プロセッサと記憶装置と、当該記憶装置に格納されたプログラムとによって実現される。集中状態判定部25aは、検知部27により検知された対象者101の顔向きが第1時間だけ変化しない場合に、受信した画像において対象者101が集中状態であると判定する。
本実施の形態における集中度計測装置100aは、記憶部21への癖情報の格納において、タスク等の実施を必要とせず、対象者101が撮像された画像から、対象者101の姿勢を取得するのみでよい。
具体的には、検知部27は、図12に示すように対象者101が撮像された画像を取得部11から受信する。検知部27は、取得した画像における対象者101の顔向きを検知する(S301)。ここで、検知部27による画像の受信および対象者101の顔向きの検知は、時系列に沿って連続的に実施される。つまり、検知部27では、対象者101の顔向きの経時変化を示すデータが生成される。
集中状態判定部25aにおいて、生成された顔向きの経時変化を示すデータを用いて、対象者101の顔向きが第1時間以上変化していないか、すなわち、第1時間以上顔向きが一定であるか否かの判定が実施される(S302)。第1時間は、例えば、対象者101の集中状態の持続時間の平均時間である。また、第1時間は、例えば、対象者101の集中状態の持続時間の最短時間であってもよい。また、第1時間は、例えば、標準的な集中状態の持続時間の平均時間であってもよい。
集中状態判定部25aにおいて、対象者101の顔向きが第1時間以上変化していない、すなわち、第1時間以上顔向きが一定であると判定された場合(S302でYes)、体パーツ認識部13は、取得された画像において対象位置関係を算出する(S303)。さらに、算出された対象位置関係を示す情報が含まれた癖情報が、記憶部21に格納される(S304)。
一方で、集中状態判定部25aにより、対象者101の顔向きが第1時間より短い時間で変化した、すなわち、第1時間経過するよりも前に顔向きが変化したと判定された場合
(S302でNo)、集中度計測装置100aは、処理を終了する。
以上の処理により記憶部21には、対象者101の顔向きが第1時間以上一定であり、対象者101が集中状態であったときに取得された画像において算出された対象位置関係を示す情報が含まれる癖情報が格納される。
よって、本変形例における集中度計測装置100aは、対象者101の集中度の計測の際に、対象者101の癖を用いて、当該対象者101が集中状態であるか否かの判定に基づく集中度の計測を実施できるため、幅広い用途に適用できる。さらに、集中度計測装置100aは、集中時の動作における個人差を低減させ、対象者101の集中度を高精度で計測することができる。
以上説明したように、本実施の形態における集中度計測装置100aの一態様は、さらに、対象者の顔向きを検知する検知部と、対象者の顔向きが第1時間以上変化しない場合に、対象者が集中状態であると判定する集中状態判定部と、を備え、記憶部に格納される癖情報には、集中状態判定部によって対象者が集中状態であると判定されたときに取得部によって取得された画像において、体パーツ認識部により算出された対象位置関係を示す情報が含まれる。
これによれば、対象者101の顔向きが変化するまでの時間に基づく判定により、第1時間以上顔向きが変化せずに、集中状態であると判定された対象者101が撮像された画像が取得される。当該画像上の対象者101は、集中状態であるため集中状態にある場合にとり得る動作をとっていると推定される。したがって、当該画像上の対象者101の体の2以上の部分の位置関係は、対象者101の癖を規定していると考えられる。あらかじめ対象者101の癖による体の2以上の部分の位置関係を記憶部21に格納しておくことができ、これを用いて対象者101の集中状態を判定できる。よって、集中度計測装置100aは、対象者101自身の癖をもとに対象者101の集中度をより高精度に計測することができる。
また、例えば、前記第1時間は、前記対象者における前記顔向きが変化しない時間の平均時間であってもよい。
これによれば、対象者101が集中状態であるか否かを、対象者101の顔向きが変化するまでの時間をもとに判定することができる。対象者101の顔向きが変化するまでの時間が平均時間よりも長い場合に、画像上の対象者101が集中状態であると判定し、対象者101の体の2以上の部分の位置関係を用いて対象者101の集中状態を判定できる。よって、集中度計測装置100aは、対象者101自身の癖をもとに対象者101の集中度をより高精度に計測することができる。
(その他の実施の形態)
以上、本開示に係る集中度計測装置、集中度計測方法、およびプログラムにについて、上記実施の形態等に基づいて説明したが、本開示は、上記の実施の形態に限定されるものではない。例えば、各実施の形態等に対して当業者が思いつく各種変形を施して得られる形態や、本開示の趣旨を逸脱しない範囲で各実施の形態における構成要素および機能を任意に組み合わせることで実現される形態も本開示に含まれる。
上記実施の形態等において、対象者が実施するタスクの実績および対象者の顔向きにより対象者が集中状態にあるときの癖を対象位置関係として算出する例を説明したが、対象位置関係を算出できれば、対象者の行動に特に制限はない。例えば、対象者がスポーツ等の活動を行っていてもよい。
また、上記実施の形態では、対象者が撮像された一時点の画像を用いて集中状態であるか否かの判定を行ったが、例えば、画像は、動画像であってもよい。集中度計測装置は、対象者の集中時の癖による、体の2以上の部分の位置変化を用い、動画像上の対象者における体の2以上の部分の位置変化と一致するか否かにより対象者が集中状態であるか否かの判定を行ってもよい。
また、例えば、より複雑な判定基準により、対象者の集中時の癖を規定してもよい。例えば、対象者の「手と口とが特定の距離以内」かつ対象者の「頬の筋肉が動いている」かつ対象者の「手の指が伸びている」の3条件がすべて満たされたか否かにより、対象者の集中時の癖である「爪を噛む動作」が規定されてもよい。
また、例えば、体の2以上の部分の位置関係は、距離によって規定されることを説明したが、距離のみから規定されなくてもよく、距離を用いずに規定されてもよい。例えば、対象者の「手と口とが特定の距離以内」かつ、「手よりも口の方が下側」の2条件により、対象者の集中時の癖である「上口唇を触る」が規定されてもよい。また、例えば、「額よりも手が上側」等の1条件により、対象者の集中時の癖である「頭部を触る」が規定されてもよい。
また、例えば、本開示は、集中度計測装置として実現できるだけでなく、集中度計測装置の各構成要素が行う処理をステップとして含むプログラム、および、そのプログラムを記録したコンピュータ読み取り可能な記録媒体として実現することもできる。プログラムは、記録媒体に予め記録されていてもよく、あるいは、インターネットなどを含む広域通信網を介して記録媒体に供給されてもよい。
つまり、上述した包括的または具体的な態様は、システム、装置、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能な記録媒体で実現されてもよく、システム、装置、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
本開示の集中度計測装置等は、住宅、オフィス、学習塾等の建物内、自動車等の移動体内等に設置され、対象者の集中度を高精度に計測する目的等に利用される。
11 取得部
13 体パーツ認識部
15 集中癖判定部
17 集中度算出部
21 記憶部
23 タスク実績取得部
25、25a 集中状態判定部
27 検知部
100、100a 集中度計測装置
101 対象者
101a 顔の一部(顎)
101b 手
201 入力部
202 出力部

Claims (16)

  1. 対象者が撮像された画像を取得する取得部と、
    前記取得部が取得した前記画像において、前記対象者の体の2以上の部分のそれぞれについて位置を認識し、認識された前記対象者の体の2以上の部分の位置からそれぞれの位置関係である対象位置関係を算出する体パーツ認識部と、
    前記体パーツ認識部により算出された前記対象位置関係と、人が集中状態にある場合にとり得る癖であって、人の体の2以上の部分の位置関係によって規定される癖とに基づいて、前記対象者が集中状態であるか否かを判定する集中癖判定部と、
    前記集中癖判定部による判定結果を用いて前記対象者の集中度を算出する集中度算出部と、
    前記癖を規定する人の体の2以上の部分の位置関係に関する癖情報が予め格納される記憶部と、
    前記対象者が実施するタスクの実績を取得するタスク実績取得部と、
    前記タスクの実績に基づいて、前記対象者が集中状態であるか否かを判定する集中状態判定部と、を備え、
    前記集中癖判定部は、
    前記対象位置関係と、前記記憶部に格納された前記癖情報とに基づいて、前記対象者が集中状態であるか否かを判定し、
    前記対象者が、異なる2以上の癖をいずれもとっている場合に、前記対象者が集中状態であると判定し、
    前記取得部は、前記タスクの実施を第2時間以上中断している前記対象者を撮像した中断画像を取得し、
    前記記憶部に格納される前記癖情報には、前記タスクの実施を中断したあとに前記タスクを再開した前記対象者の前記タスクの実績に基づいて、前記タスクの中断中における前記対象者が集中状態であると判定された場合の前記中断画像において算出された前記対象位置関係を示す情報が含まれる
    集中度計測装置。
  2. 前記記憶部に格納される前記癖情報には、複数の人の癖を統計処理して得られる標準的な癖を規定する、人の体の2以上の部分の位置関係を示す情報が含まれる
    請求項に記載の集中度計測装置。
  3. 前記記憶部に格納される前記癖情報は、前記標準的な癖による動作であって、前記人が顔の一部を手で触る動作、首を手で撫でる動作、両手を合わせる動作、髪の毛を手で触る動作、および、両腕を組む動作の少なくとも一つにおける人の体の2以上の部分の位置関係を示す
    請求項に記載の集中度計測装置。
  4. さらに、前記対象者が実施するタスクの実績を取得するタスク実績取得部と、
    前記タスクの実績に基づいて、前記対象者が集中状態であるか否かを判定する集中状態判定部と、を備え、
    前記取得部は、前記画像として、タスクを実施している前記対象者が撮像された実施画像を取得し、
    前記記憶部に格納される前記癖情報には、前記集中状態判定部によって前記対象者が集中状態であると判定されたときに取得された前記実施画像において算出された前記対象位置関係を示す情報が含まれる
    請求項に記載の集中度計測装置。
  5. 前記タスク実績取得部は、前記タスクの実績として、前記対象者が実施した前記タスクの進捗速度を取得し、
    前記集中状態判定部は、前記タスクの進捗速度が所定速度よりも大きい場合に、前記対象者が集中状態であると判定する
    請求項に記載の集中度計測装置。
  6. 前記所定速度は、前記対象者による前記タスクの進捗速度の平均速度である
    請求項に記載の集中度計測装置。
  7. 前記タスク実績取得部は、前記タスクの実績として、前記対象者が実施した前記タスクのスコアを取得し、
    前記集中状態判定部は、前記タスクのスコアが所定値よりも高い場合に、前記対象者が集中状態であると判定する
    請求項に記載の集中度計測装置。
  8. 前記所定値は、前記対象者によって実施された1以上の前記タスクのスコアの平均値である
    請求項に記載の集中度計測装置。
  9. さらに、前記対象者の顔向きを検知する検知部と、
    前記対象者の前記顔向きが第1時間以上変化しない場合に、前記対象者が集中状態であると判定する集中状態判定部と、を備え、
    前記記憶部に格納される前記癖情報には、前記集中状態判定部によって前記対象者が集中状態であると判定されたときに前記取得部によって取得された前記画像において、前記体パーツ認識部により算出された前記対象位置関係を示す情報が含まれる
    請求項に記載の集中度計測装置。
  10. 前記第1時間は、前記対象者における前記顔向きが変化しない時間の平均時間である
    請求項に記載の集中度計測装置。
  11. 前記タスク実績取得部は、前記タスクの実績として、前記対象者が実施した前記タスクの進捗速度を取得し、
    前記集中状態判定部は、前記タスクの進捗速度が所定速度よりも大きい場合に、前記タスクの中断中における前記対象者が集中状態であると判定する
    請求項に記載の集中度計測装置。
  12. 前記所定速度は、前記対象者による前記タスクの進捗速度の平均速度である
    請求項11に記載の集中度計測装置。
  13. 前記タスク実績取得部は、前記タスクの実績として、前記対象者が実施した前記タスクの成績を取得し、
    前記集中状態判定部は、前記タスクの成績が所定値よりも高い場合に、前記タスクの中断中における前記対象者が集中状態であると判定する
    請求項に記載の集中度計測装置。
  14. 前記所定値は、前記対象者によって過去に実施された1以上のタスクにおける成績の平均値である
    請求項13に記載の集中度計測装置。
  15. コンピュータによって実行される集中度計測方法であって、
    対象者が撮像された画像を取得する取得ステップと、
    前記取得ステップで取得された前記画像において、前記対象者の体の2以上の部分のそれぞれについて位置を認識し、認識された前記対象者の体の2以上の部分の位置からそれぞれの位置関係である対象位置関係を算出する認識ステップと、
    前記認識ステップで算出された前記対象位置関係と、人が集中状態にある場合にとり得る癖であって、人の体の2以上の部分の位置関係によって規定される癖とに基づいて、前記対象者が集中状態であるか否かを判定する判定ステップと、
    前記判定ステップにおける判定結果を用いて前記対象者の集中度を算出する算出ステップと、
    前記癖を規定する人の体の2以上の部分の位置関係に関する癖情報が予め格納するステップと、
    前記対象者が実施するタスクの実績を取得するステップと、
    前記タスクの実績に基づいて、前記対象者が集中状態であるか否かを判定するステップと、を含み、
    前記判定ステップでは、
    前記対象位置関係と、格納された前記癖情報とに基づいて、前記対象者が集中状態であるか否かを判定し、
    前記対象者が、異なる2以上の癖をいずれもとっている場合に、前記対象者が集中状態であると判定し、
    前記取得ステップでは、前記タスクの実施を第2時間以上中断している前記対象者を撮像した中断画像を取得し、
    格納される前記癖情報には、前記タスクの実施を中断したあとに前記タスクを再開した前記対象者の前記タスクの実績に基づいて、前記タスクの中断中における前記対象者が集中状態であると判定された場合の前記中断画像において算出された前記対象位置関係を示す情報が含まれる
    集中度計測方法。
  16. 請求項15に記載の集中度計測方法をコンピュータに実行させるための
    プログラム。
JP2019108778A 2019-06-11 2019-06-11 集中度計測装置、集中度計測方法、およびプログラム Active JP7369946B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019108778A JP7369946B2 (ja) 2019-06-11 2019-06-11 集中度計測装置、集中度計測方法、およびプログラム
JP2023141633A JP2023160899A (ja) 2019-06-11 2023-08-31 集中度計測装置、集中度計測方法、およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019108778A JP7369946B2 (ja) 2019-06-11 2019-06-11 集中度計測装置、集中度計測方法、およびプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023141633A Division JP2023160899A (ja) 2019-06-11 2023-08-31 集中度計測装置、集中度計測方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2020201755A JP2020201755A (ja) 2020-12-17
JP7369946B2 true JP7369946B2 (ja) 2023-10-27

Family

ID=73743405

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019108778A Active JP7369946B2 (ja) 2019-06-11 2019-06-11 集中度計測装置、集中度計測方法、およびプログラム
JP2023141633A Pending JP2023160899A (ja) 2019-06-11 2023-08-31 集中度計測装置、集中度計測方法、およびプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023141633A Pending JP2023160899A (ja) 2019-06-11 2023-08-31 集中度計測装置、集中度計測方法、およびプログラム

Country Status (1)

Country Link
JP (2) JP7369946B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023032617A1 (ja) * 2021-08-30 2023-03-09 パナソニックIpマネジメント株式会社 判定システム、判定方法、及び、プログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012230535A (ja) 2011-04-26 2012-11-22 Nikon Corp 電子機器および電子機器の制御プログラム
JP2012235887A (ja) 2011-05-11 2012-12-06 Nikon Corp 電子機器及びプログラム
JP2013097311A (ja) 2011-11-04 2013-05-20 Zenrin Datacom Co Ltd 学習支援装置、学習支援方法および学習支援プログラム
JP2014063128A (ja) 2012-08-31 2014-04-10 Panasonic Corp 集中度計測装置、プログラム
JP2014230717A (ja) 2013-05-30 2014-12-11 トヨタ自動車株式会社 集中度推定装置
JP2019082311A (ja) 2017-10-30 2019-05-30 ダイキン工業株式会社 集中度推定装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012230535A (ja) 2011-04-26 2012-11-22 Nikon Corp 電子機器および電子機器の制御プログラム
JP2012235887A (ja) 2011-05-11 2012-12-06 Nikon Corp 電子機器及びプログラム
JP2013097311A (ja) 2011-11-04 2013-05-20 Zenrin Datacom Co Ltd 学習支援装置、学習支援方法および学習支援プログラム
JP2014063128A (ja) 2012-08-31 2014-04-10 Panasonic Corp 集中度計測装置、プログラム
JP2014230717A (ja) 2013-05-30 2014-12-11 トヨタ自動車株式会社 集中度推定装置
JP2019082311A (ja) 2017-10-30 2019-05-30 ダイキン工業株式会社 集中度推定装置

Also Published As

Publication number Publication date
JP2020201755A (ja) 2020-12-17
JP2023160899A (ja) 2023-11-02

Similar Documents

Publication Publication Date Title
US11650659B2 (en) User input processing with eye tracking
TWI457793B (zh) 即時動作辨識方法及其慣性感測與軌跡重建裝置
GB2600289A (en) Interactive personal training system
JP5317415B2 (ja) 画像出力装置、画像出力方法、および画像出力プログラム
CN104023802B (zh) 使用神经分析的电子装置的控制
JP5958825B2 (ja) 感性評価システム、感性評価方法、およびプログラム
US9498123B2 (en) Image recording apparatus, image recording method and image recording program stored on a computer readable medium
JP2023160899A (ja) 集中度計測装置、集中度計測方法、およびプログラム
Cabrera et al. Kinect as an access device for people with cerebral palsy: A preliminary study
WO2007114405A1 (en) Image recording apparatus, image recording method and image recording program
JP7408562B2 (ja) プログラム、情報処理装置、定量化方法及び情報処理システム
Tanaka et al. Nekoze!-monitoring and detecting head posture while working with laptop and mobile phone
Manresa-Yee et al. Usability of vision-based interfaces
US20230108486A1 (en) Concentration-level estimation device, concentration-level estimation method, and recording medium
WO2023032335A1 (ja) 支援システム、支援方法、及び、プログラム
JP5246496B2 (ja) 計算機
US20230137366A1 (en) Multimodal Dialog-Based Remote Patient Monitoring of Motor Function
WO2021200284A1 (ja) 学習支援装置および学習支援システム
US11733781B2 (en) Leveraging machine learning and fractal analysis for classifying motion
Sultana Understanding Age-related Selection Difficulties with Touch Input
Senthilkumar et al. Integrating AI and Computer Vision for Creating a Virtual Mouse
Kurosu Human-Computer Interaction. Interaction Techniques and Novel Applications: Thematic Area, HCI 2021, Held as Part of the 23rd HCI International Conference, HCII 2021, Virtual Event, July 24–29, 2021, Proceedings, Part II
JP2022176841A (ja) 情報処理装置および情報処理方法
Kwok Understanding user engagement level during tasks via facial responses, eye gaze and mouse movements
Kobayashi et al. Eye Contact as a New Modality for Man-machine Interface

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220215

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230307

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230428

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230606

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230831

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230908

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230919

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231004

R151 Written notification of patent or utility model registration

Ref document number: 7369946

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151