JPWO2007135796A1 - Control device for evaluating user response to content - Google Patents

Control device for evaluating user response to content Download PDF

Info

Publication number
JPWO2007135796A1
JPWO2007135796A1 JP2008516571A JP2008516571A JPWO2007135796A1 JP WO2007135796 A1 JPWO2007135796 A1 JP WO2007135796A1 JP 2008516571 A JP2008516571 A JP 2008516571A JP 2008516571 A JP2008516571 A JP 2008516571A JP WO2007135796 A1 JPWO2007135796 A1 JP WO2007135796A1
Authority
JP
Japan
Prior art keywords
information
content
subject
viewpoint
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008516571A
Other languages
Japanese (ja)
Other versions
JP4874332B2 (en
Inventor
光一 菊池
光一 菊池
誠司 尾崎
誠司 尾崎
直幹 金森
直幹 金森
裕之 金田
裕之 金田
渡 倉島
渡 倉島
花村 剛
剛 花村
Original Assignee
株式会社Vis総研
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2006164019 priority Critical
Priority to JP2006164019 priority
Priority to JP2006254889 priority
Priority to JP2006254889 priority
Application filed by 株式会社Vis総研 filed Critical 株式会社Vis総研
Priority to JP2008516571A priority patent/JP4874332B2/en
Priority to PCT/JP2007/054093 priority patent/WO2007135796A1/en
Publication of JPWO2007135796A1 publication Critical patent/JPWO2007135796A1/en
Application granted granted Critical
Publication of JP4874332B2 publication Critical patent/JP4874332B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement

Abstract

課題:提示されるコンテンツに対する被験者の応答の結果を評価する際に、結果の有効性と操作性を向上させる。解決手段:コンテンツ提示用のディスプレイ100と、被験者600の眼球を撮像するカメラ200と、制御部300、提示コンテンツ用データベース310、取得データ用データベース320、およびデータを表示するためのモニタ画面400と、被験者が提示コンテンツに対して応答するための入力部500とを備え、制御部300は、提示コンテンツ用データベース310からコンテンツを読み出して、ディスプレイ100に対して提示コンテンツを出力し,同時に、被験者応答入力部500からの被験者応答データと、赤外線カメラ200からの眼球画像の取り込みとを同期して行うと共に、これら取得したデータを取得データ用データベース320に同期情報と共に蓄積する。そして、取得したデータに基づいてデータ解析およびモニタ表示などを行う。Problem: When evaluating the result of a subject's response to the presented content, the effectiveness and operability of the result are improved. SOLUTION: A display 100 for content presentation, a camera 200 for imaging an eyeball of a subject 600, a control unit 300, a presentation content database 310, an acquisition data database 320, and a monitor screen 400 for displaying data, The control unit 300 reads out the content from the presentation content database 310, outputs the presentation content to the display 100, and simultaneously inputs the subject response. The subject response data from the unit 500 and the acquisition of the eyeball image from the infrared camera 200 are performed in synchronization, and the acquired data is stored in the acquired data database 320 together with the synchronization information. Then, data analysis and monitor display are performed based on the acquired data.

Description

関連出願のクロスリファレンスCross reference of related applications
本出願は、日本国特許出願2006−164019号(2006年5月18日出願)および日本国特許出願2006−254889号(2006年9月20日出願)の優先権を要求し、これらを参照することにより当該出願を本明細書に合体させるものである。   This application requests and refers to the priority of Japanese Patent Application No. 2006-164019 (filed on May 18, 2006) and Japanese Patent Application No. 2006-254889 (filed on September 20, 2006). The application is incorporated herein by reference.
本発明は、提示コンテンツに対する被験者応答の評価システムに関し、さらに詳しく言えば、ディスプレイに所定のコンテンツを提示し、それを観察して被験者が応答する状況を、被験者の生理反応と関連づけて測定し、その測定結果に基づいて評価する技術に関するものである。   The present invention relates to a system for evaluating a subject's response to presented content. More specifically, the present invention presents a predetermined content on a display, observes it and measures the situation in which the subject responds in relation to the physiological response of the subject, The present invention relates to a technique for evaluating based on the measurement result.
眼球運動に関する情報を取得し提示コンテンツの評価を行うシステムは、特許文献1などに見られるように、一方的に提示された映像コンテンツによる被験者の受動的な反応を測定し映像コンテンツを評価するものであり、被験者の応答を評価するものではなかった。   The system that acquires information about eye movements and evaluates the presented content measures the passive content of the subject by the unilaterally presented video content and evaluates the video content, as seen in Patent Document 1 and the like. And did not evaluate the subject's response.
また、アンケート調査やテスト問題、ゲームなどの対話型システムでは、マウスなどのポインティングデバイスやキーボードなどを用いた被験者の応答を入力デバイスへのデータ入力として取得するだけであった。   In interactive systems such as questionnaire surveys, test questions, and games, the response of the subject using a pointing device such as a mouse or a keyboard is only acquired as data input to the input device.
被験者が、提示されるコンテンツの内容に関心を持たずに質問に安易に回答した場合、そのような回答を選別する手段がなく、全体の結果の信頼性を下げてしまう。   If the subject answers the question easily without being interested in the content of the presented content, there is no means for selecting such an answer, and the reliability of the overall result is lowered.
従来、これらの安易な回答と信用できる回答とを選別すること、即ち有効な回答を抽出することは非常に困難であり、たとえ可能であっても心理学などの専門家による精細な評価が必要であった。   Traditionally, it has been very difficult to sort out these easy answers and reliable answers, that is, to extract valid answers. Even if possible, detailed evaluation by experts such as psychology is necessary. Met.
また、生理反応を測定することで有効な回答を抽出する場合であっても、被験者にセンサやマーカなどを装着するようにしているため、その場の雰囲気により被験者に緊張感などの特定の意識を抱かせることがあり、評価の信頼性が損われたり回答を拒否されたりするおそれがある。   In addition, even if effective responses are extracted by measuring physiological responses, the subject is equipped with sensors, markers, etc., so that the subject has a specific consciousness such as a sense of tension due to the atmosphere in the place. , And the reliability of the evaluation may be impaired or the answer may be rejected.
つまり、コンテンツを提示し被験者の応答の有効性を評価するシステムに適応することは出来なかった。   In other words, it could not be applied to a system that presents content and evaluates the effectiveness of subjects' responses.
特開2004−282471号公報JP 2004-282471 A
したがって、本発明の課題は、提示されるコンテンツに対する被験者の応答の結果を評価する際に、結果の有効性と操作性を向上させることにある。   Therefore, the subject of this invention is improving the effectiveness and operativity of a result, when evaluating the result of the test subject's response with respect to the content shown.
本発明は、被験者に対してコンテンツを提示し、それに対して被験者の応答を測定する際に、応答データと連動して被験者の生理反応(例えば眼球運動)を測定、解析するものである。これにより、被験者の応答結果の有効性を判定することができる。特に、アンケート収集の評価に好適である。   The present invention measures and analyzes a subject's physiological reaction (for example, eye movement) in conjunction with response data when presenting content to the subject and measuring the subject's response to the content. Thereby, the effectiveness of a test subject's response result can be determined. In particular, it is suitable for evaluation of questionnaire collection.
例えば、被験者に自然な姿勢での提示コンテンツの視聴を求め、被験者の応答を測定するのと同時に、集中の度合いを瞬目発生頻度の変化から、情動の変化を自律神経系反応である瞳孔の変化から、それぞれ判定する。   For example, the subject is asked to view the presentation content in a natural posture, and the response of the subject is measured.At the same time, the degree of concentration is changed from the change in the blink occurrence frequency, and the change in the emotion is changed to the autonomic nervous system reaction. Judgment is made from each change.
その根拠として、まず、人間の興味を反映する指標では、生理心理学の分野において、瞬目の変化が知られている。すなわち、興味ある対象を視聴している際には瞬目回数は減少し、その前後に増加する。   As the basis for this, first, changes in blinks are known in the field of physiological psychology for indices reflecting human interest. That is, the number of blinks decreases when viewing an object of interest, and increases before and after that.
次に、情動の変化は、自律神経系との深い関わりがあり、簡易に測定できる指標としては、瞳孔反応が知られている。さらに、ユーザーインタフェースの操作性の客観評価では、人間工学の分野において、視線運動に基づく視点の軌跡および視点の滞留時間を手がかりに分析される場合が多い。   Next, emotional changes are closely related to the autonomic nervous system, and pupil response is known as an index that can be easily measured. Furthermore, objective evaluation of user interface operability is often analyzed in the field of ergonomics based on viewpoint trajectory and viewpoint dwell time based on eye movement.
本発明による制御装置は、上記の知見に基づくもので、ディスプレイに所定のコンテンツを提示し、その提示コンテンツを観察している生理反応を測定して、そのデータに基づいて提示コンテンツに対する被験者の応答を評価するにあたって、すなわち、コンテンツを観察している被験者の応答を評価するにあたって、コンテンツを被験者へ提示するコンテンツ提示部と、前記提示されたコンテンツに対する被験者の生理反応情報を取り込む情報取込部と、前記取り込まれた生理反応情報に基づいて、被験者の応答を評価するための評価情報を生成する処理部と、前記例示されたコンテンツと前記生成された評価情報とを同期させ、該コンテンツおよび評価情報を含む画面表示情報を生成する表示処理部とを備えたことを特徴とする。   The control device according to the present invention is based on the above knowledge, presents predetermined content on a display, measures a physiological reaction of observing the presented content, and responds to the subject on the presented content based on the data. In evaluating the response of the subject who is observing the content, that is, in evaluating the response of the subject, a content presenting unit that presents the content to the subject, and an information capturing unit that captures the physiological response information of the subject with respect to the presented content, The processing unit that generates the evaluation information for evaluating the response of the subject based on the captured physiological response information is synchronized with the exemplified content and the generated evaluation information. And a display processing unit that generates screen display information including the information.
本発明によれば、まず、被験者に測定用センサやマーカを装着する必要がなく、測定に伴う被験者の負担が軽減された状態の下で、自然な視聴での応答データを取得できることが期待される。次に、コンテンツの提示から測定、解析および表示までの各機能が1台の制御装置に集約されているため、特に高度な専門知識を必要とすることなく、コンテンツに対する被験者の応答を評価することができる。   According to the present invention, first, it is not necessary to attach a measurement sensor or marker to a subject, and it is expected that response data in natural viewing can be obtained under a state where the burden on the subject accompanying measurement is reduced. The Next, since each function from content presentation to measurement, analysis, and display is integrated into one control device, the response of the subject to the content can be evaluated without requiring a high level of specialized knowledge. Can do.
また、被験者の瞬目の発生頻度を測定、解析した場合には、提示コンテンツに対して興味を持たれたか、あまり興味をもたれなかったかなどを判断し、被験者の応答が正当なものかどうかを評価することができる。   In addition, when measuring and analyzing the blink frequency of the subject, it is determined whether the subject's response is legitimate by judging whether he / she is interested in the presented content. Can be evaluated.
本発明において、被験者へ提示されるコンテンツは、映像データ、ウェブページデータ、コンピュータゲームデータまたはコンピュータプログラムの出力するデータから成り、かつ、文字列、図、記号、絵、写真および動画のうちの少なくとも一つの、被験者に応答させるための喚起情報を含むことを特徴とする。これにより、被験者は、容易に応答することができる。   In the present invention, the content presented to the subject consists of video data, web page data, computer game data, or data output by a computer program, and at least one of a character string, a figure, a symbol, a picture, a photograph, and a video It includes one piece of arousal information for making the subject respond. Thereby, the test subject can respond easily.
また、本発明において、前記情報取込部は、提示されたコンテンツに対し、ボタン、キーボード、マウス、タッチパネル、リモコンおよびゲーム機器付属コントローラのうちのいずれか一つによる被験者の操作に伴う応答情報を取り込むことを特徴とする。   Further, in the present invention, the information capturing unit receives response information associated with the operation of the subject by any one of a button, a keyboard, a mouse, a touch panel, a remote controller, and a game device attached controller with respect to the presented content. It is characterized by capturing.
また、本発明において、前記処理部は、生理反応情報を被験者の眼球画像とした場合に、眼球画像に基づいて、瞬目発生頻度、瞳孔の大きさおよび視点運動データのうちの少なくとも一つを時間軸に関連付けたデータとして算出し、該データに基づいて評価情報を生成することを特徴とする。   Further, in the present invention, when the physiological reaction information is an eyeball image of the subject, the processing unit obtains at least one of blink frequency, pupil size, and viewpoint movement data based on the eyeball image. It is calculated as data associated with a time axis, and evaluation information is generated based on the data.
また、本発明において、前記処理部は、生理反応情報に基づいて、被験者のコンテンツに対する注目度、集中度、好感度または嫌悪感の度合いを算出し、該度合いを、被験者の応答を評価するための評価情報とすることを特徴とする。   In the present invention, the processing unit calculates a degree of attention, concentration, likability, or disgust with respect to the content of the subject based on the physiological reaction information, and evaluates the degree of the subject's response based on the degree. It is characterized by making it evaluation information.
本発明によれば、提示されるコンテンツに対する被験者の応答の結果を評価する際に、結果の有効性および操作性を向上させることができる。   According to the present invention, it is possible to improve the effectiveness and operability of the results when evaluating the result of the test subject's response to the presented content.
本発明の実施の形態によるコンテンツの利用者応答評価システムの基本的な構成を示す模式図である。It is a schematic diagram which shows the basic composition of the user response evaluation system of the content by embodiment of this invention. 視点の軌跡および選択結果の画面例を示す図である。It is a figure which shows the example of a screen of the locus | trajectory of a viewpoint, and a selection result. 問題文を読んでいない場合の画面例を示す図である。It is a figure which shows the example of a screen when not reading the question sentence. 図1に示した制御手段300の構成を示す図である。It is a figure which shows the structure of the control means 300 shown in FIG. コンテンツ評価段361により生成された画面例を示す図である。6 is a diagram illustrating an example of a screen generated by a content evaluation stage 361. FIG. コンテンツ評価段361により生成された画面例を示す図である。6 is a diagram illustrating an example of a screen generated by a content evaluation stage 361. FIG. WEB評価段362により生成された画面例を示す図である。It is a figure which shows the example of a screen produced | generated by the WEB evaluation stage 362. FIG. WEB評価段362により生成された画面例を示す図である。It is a figure which shows the example of a screen produced | generated by the WEB evaluation stage 362. FIG. WEB評価段362により生成された画面例を示す図である。It is a figure which shows the example of a screen produced | generated by the WEB evaluation stage 362. FIG. WEB評価段362により生成された画面例を示す図である。It is a figure which shows the example of a screen produced | generated by the WEB evaluation stage 362. FIG. アンケート評価段363により生成された画面例を示す図である。It is a figure which shows the example of a screen produced | generated by the questionnaire evaluation stage 363. FIG. アンケート評価段363により生成された画面例を示す図である。It is a figure which shows the example of a screen produced | generated by the questionnaire evaluation stage 363. FIG. 教育・研修用処理段364により生成された画面例を示す図である。It is a figure which shows the example of a screen produced | generated by the process step 364 for education and training. 投稿コンテンツ評価段365を用いる場合のネットワークシステムの構成例を示す図である。It is a figure which shows the structural example of the network system in the case of using the contribution content evaluation stage 365. FIG. 投稿コンテンツ評価段365により生成された画面例を示す図である。It is a figure which shows the example of a screen produced | generated by the contribution content evaluation stage 365. FIG. 本発明の実施の形態によるコンテンツの利用者応答評価システムの基本的な構成(他の構成)を示す模式図である。It is a schematic diagram which shows the basic composition (other composition) of the user response evaluation system of contents by an embodiment of the invention. 図16に示した制御手段301の構成を示す図である。It is a figure which shows the structure of the control means 301 shown in FIG. カーソル計測の場合の画面例を示す図である。It is a figure which shows the example of a screen in the case of cursor measurement. カーソル計測の場合の画面例を示す図である。It is a figure which shows the example of a screen in the case of cursor measurement. カーソル計測の場合の画面例を示す図である。It is a figure which shows the example of a screen in the case of cursor measurement. カーソル計測の場合の画面例を示す図である。It is a figure which shows the example of a screen in the case of cursor measurement. カーソル計測の場合の画面例を示す図である。It is a figure which shows the example of a screen in the case of cursor measurement. アンケート評価段363に用いるコンテンツの画面例(選択肢が2つの場合)を示す図である。It is a figure which shows the example of a content screen (when there are two choices) used for the questionnaire evaluation stage 363. FIG. アンケート評価段363により生成された画面例(選択肢が2つの場合)を示す図である。It is a figure which shows the example of a screen produced | generated by the questionnaire evaluation stage 363 (when there are two choices). アンケート評価段363により生成された画面例(選択肢が2つの場合)を示す図である。It is a figure which shows the example of a screen produced | generated by the questionnaire evaluation stage 363 (when there are two choices). アンケート評価段363により生成された画面例(選択肢が4つの場合)を示す図である。It is a figure which shows the example of a screen produced | generated by the questionnaire evaluation stage 363 (when there are four choices). アンケート評価段363により生成された画面例(選択肢が4つの場合)を示す図である。It is a figure which shows the example of a screen produced | generated by the questionnaire evaluation stage 363 (when there are four choices). 教育・研修用処理段364により生成された画面例を示す図である。It is a figure which shows the example of a screen produced | generated by the process step 364 for education and training. スクロール停止位置の推移とその滞留時間を表示する画面例を示す図である。It is a figure which shows the example of a screen which displays transition of a scroll stop position, and its residence time.
符号の説明Explanation of symbols
100 コンテンツ提示用ディスプレイ
200 眼球撮像用カメラ
210 赤外線ランプ
220 顎台
300,301 制御手段
310 提示コンテンツ用データベース
320 取得データ用データベース
330,335 コンテンツ読出表示手段
340,370 情報取込手段
350,380 データ処理手段
351 視点・瞳孔・瞬目処理段
352 興味・関心度算出段
353 IDASポイント算出段
360,390 表示処理手段
361 コンテンツ評価段
362 WEB評価段
363 アンケート評価段
364 教育・研修用処理段
365 投稿コンテンツ評価段
400 モニタ画面
500 被験者応答入力手段
600 被験者
1010,1110,7001,8001,11001 視点の軌跡
1020,1120 マウスクリックした位置
1301,5001,6001 領域
1302,5002 円
1303,5003 パワーゲージ
1304,1305,5004,5005,6003〜6006 グラフ
1306 危険指示表示
1307 ボタン押下表示
29001〜29003 画面スクロール停止位置
6002 波形グラフ
DESCRIPTION OF SYMBOLS 100 Display for content 200 Camera for eyeball imaging 210 Infrared lamp 220 Jaw stage 300, 301 Control means 310 Presented content database 320 Acquisition data database 330, 335 Content reading display means 340, 370 Information capturing means 350, 380 Data processing Means 351 Viewpoint / pupil / blink processing stage 352 Interest / interest degree calculation stage 353 IDAS point calculation stage 360, 390 Display processing means 361 Content evaluation stage 362 Web evaluation stage 363 Questionnaire evaluation stage 364 Education / training processing stage 365 Posted content Evaluation stage 400 Monitor screen 500 Subject response input means 600 Subject 1010, 1110, 7001, 8001, 11001 Viewpoint locus 1020, 1120 Position of mouse click 13 1,5001,6001 regions 1302,5002 yen 1303,5003 power gauge 1304,1305,5004,5005,6003~6006 graph 1306 Critical display 1307 button pressing the display 29001-29003 scroll stop position 6002 waveform graph
次に、図面を参照しながら、本発明を実施するための最良の形態について説明するが、本発明はこれに限定されるものではない。   Next, the best mode for carrying out the present invention will be described with reference to the drawings, but the present invention is not limited thereto.
図1に示すように、このコンテンツに対する利用者応答を評価するシステムは、その基本的な構成要素として、コンテンツ提示用のディスプレイ100と、被験者600の眼球を撮像するためのカメラ200と、制御手段300と、提示コンテンツ用データベース310と、取得データ用データベース320と、表示手段としてのモニタ画面400と、被験者600が提示コンテンツに対して応答するための入力手段500とを備えている。   As shown in FIG. 1, the system for evaluating the user response to this content includes, as its basic components, a display 100 for content presentation, a camera 200 for imaging the eyeball of a subject 600, and control means. 300, a presentation content database 310, an acquisition data database 320, a monitor screen 400 as a display unit, and an input unit 500 for the subject 600 to respond to the presentation content.
コンテンツ提示用のディスプレイ100は、通常のブラウン管受像器のほかにプロジェクタのスクリーン画面それに液晶表示パネルなどを使用できる。カメラ200は、赤外線ランプ210を備えた赤外線カメラであることが好ましく、この例では、赤外線カメラとして説明する。   The display 100 for presenting contents can use a screen screen of a projector, a liquid crystal display panel, etc. in addition to a normal cathode ray tube receiver. The camera 200 is preferably an infrared camera provided with an infrared lamp 210. In this example, the camera 200 will be described as an infrared camera.
一例として、赤外線カメラ200は、被験者600から50〜100cmほど離れた位置に、被験者600の眼球を撮像するようにスタンドなどを用いてセットされる。なお、被験者600の頭部の位置を固定するために、顎台220を用意することもできる。また、顔と眼球の位置を自動追尾し眼球運動を計測することも可能である。   As an example, the infrared camera 200 is set using a stand or the like so as to image the eyeball of the subject 600 at a position about 50 to 100 cm away from the subject 600. In addition, in order to fix the position of the head of the subject 600, the chin rest 220 can be prepared. It is also possible to automatically track the position of the face and eyeball and measure eye movement.
これとは別に、ヘッドマウント型装置を用いて赤外線カメラ200を被験者600の頭部に装着させることも可能である。この場合、視聴する対象を、予め撮影した映像とするのではなく、被験者600が視認可能な一般の情景とすることも可能である。その際には、赤外線カメラ200と逆向きに装着させるカメラにより被験者600の視野角内にある情景が同時に撮影され、その撮影された映像が、提示コンテンツと同等のものとして後述する処理に用いられる。   Alternatively, the infrared camera 200 can be attached to the head of the subject 600 using a head-mounted device. In this case, the object to be viewed may be a general scene that can be visually recognized by the subject 600, instead of a pre-captured video. In that case, a scene within the viewing angle of the subject 600 is simultaneously photographed by a camera attached in the opposite direction to the infrared camera 200, and the photographed video is used in the processing described later as being equivalent to the presented content. .
制御手段300は、提示コンテンツ用データベース310からコンテンツを読み出して、ディスプレイ100に対して提示コンテンツを出力し,同時に、被験者応答入力手段500からの被験者応答情報と、赤外線カメラ200からの眼球画像である眼球運動情報の取り込みとを同期して行うと共に、これら取得したデータを取得データ用データベース320に同期情報と共に蓄積する。そして、取得したデータに基づいてデータ解析およびモニタ表示などを行う。この制御手段300は、パーソナルコンピュータ(パソコン)クラスのものであってよい。入力手段500は、ボタン、キーボード、マウス、タッチパネル、リモコン、ゲーム機器に付属のコントローラなどのどれかであってよい。しかし、これらのうちのいずれかに限定されるものではない。   The control means 300 reads the content from the presentation content database 310 and outputs the presentation content to the display 100. At the same time, the control means 300 is subject response information from the subject response input means 500 and an eyeball image from the infrared camera 200. The eye movement information is taken in synchronously, and the acquired data is stored in the acquisition data database 320 together with the synchronization information. Then, data analysis and monitor display are performed based on the acquired data. The control means 300 may be of a personal computer (personal computer) class. The input unit 500 may be any one of a button, a keyboard, a mouse, a touch panel, a remote controller, a controller attached to the game device, and the like. However, it is not limited to any of these.
なお、提示コンテンツ用データベース310と取得データ用データベース320は、インターネットやLANなどのネットワークで接続された、制御手段300とは異なる場所に設置される装置であってよい。   It should be noted that the presentation content database 310 and the acquired data database 320 may be devices installed in a different place from the control means 300 connected by a network such as the Internet or a LAN.
すなわち、例えば異なる場所にホストコンピュータを設置して、そこに上記各フェーズで使用するファイルを持たせ、測定する際に、制御手段300を通信回線を介してホストコンピュータにつなげて必要なファイルなどをダウンロードするようにしてもよく、このような態様も本発明に含まれる。   That is, for example, a host computer is installed in a different location, and the files used in the above phases are held there. When measuring, the control means 300 is connected to the host computer via a communication line, and necessary files are stored. Such a mode may be included in the present invention.
また、本発明は、大型のディスプレイを備えた例えばデスクトップ型のコンピュータばかりでなく、カメラを備えた携帯電話機をはじめとする携帯情報端末にも適用可能である。一例として、上記の各フェーズ機能を備えた制御手段としてのパソコンとカメラ付き携帯情報端末とをインターネット回線を介して接続し、パソコン側から提示コンテンツを送信して、携帯情報端末側からそれに反応する眼球画像を受信するようにしてもよい。   Further, the present invention is applicable not only to a desktop computer having a large display, but also to a portable information terminal such as a mobile phone having a camera. As an example, a personal computer as a control means having each phase function described above and a portable information terminal with a camera are connected via an Internet line, the presentation content is transmitted from the personal computer side, and the mobile information terminal side reacts to it. An eyeball image may be received.
次に、被験者の回答データの有効性を確認する手法について説明する。一例として、説明文である質問とそれに対する回答の選択肢とを画面に表示したアンケートにより、被験者からマウス応答を得るための提示コンテンツを用いる。   Next, a method for confirming the validity of the answer data of the subject will be described. As an example, a presentation content for obtaining a mouse response from a subject is used by a questionnaire in which a question which is an explanatory sentence and a choice of an answer to the question are displayed on the screen.
図2および図3が、図1に示した利用者応答評価システムにより生成された画面例である。生理反応としての眼球運動の解析結果から得る視点の軌跡を折れ線1010、1110に、選択結果をマウスクリックした箇所1020,1120に示している。この結果からわかるとおり、図2においては問題文を読みかつ二つの選択肢を確認したうえで選択している。一方で図3は問題文も読まず、単にひとつの選択肢だけを見ただけで選択している。この場合、図3の示す例では提示コンテンツに注目せずに反応していることが明確であるため、有効なデータでないとしてアンケート調査のサンプルから排除することが可能である。   2 and 3 are examples of screens generated by the user response evaluation system shown in FIG. The trajectory of the viewpoint obtained from the analysis result of eye movement as a physiological reaction is indicated by broken lines 1010 and 1110, and the selection result is indicated by locations 1020 and 1120 where the mouse is clicked. As can be seen from this result, in FIG. 2, the question sentence is read and checked after two options are selected. On the other hand, FIG. 3 does not read the question sentence but selects only one option. In this case, in the example shown in FIG. 3, since it is clear that the reaction is made without paying attention to the presented content, it can be excluded from the questionnaire survey sample as not valid data.
このときの有効であるかどうかの判定としては、問題文の上を視線が忠実に移動したかどうかを、視線運動による視点の軌跡と提示コンテンツの文字列との一致度を測定することで判定する。   To determine whether it is valid at this time, determine whether the line of sight has faithfully moved over the question sentence by measuring the degree of coincidence between the locus of the viewpoint by the line of sight movement and the character string of the presented content. To do.
また、同時に瞳孔径の大小変動は、提示コンテンツに対して興味をもっている(または注目している)かどうかを示す指標として利用可能であることが知られており、この指標を用いてアンケートに対しての注目度を判断する。   At the same time, it is known that the fluctuation of the pupil diameter can be used as an index indicating whether or not you are interested in (or paying attention to) the presented content. Judge the degree of attention.
眼球運動に基づいて得られる、瞬目発生頻度データ、瞳孔径データ、視線運動データに基づく視点の移動速度、および視線運動データから得られる視点の軌跡と予め設定された見るべき視点の軌跡との距離をそれぞれ時間変動値とし、それぞれ、a(t),b(t),c(t),d(t)とする(d(t)は軌道からの外れた距離の逆数を示す)。なお、瞳孔径データの代わりに瞳孔面積データを用いるようにしてもよい。そうすると、提示コンテンツに対する注目度および集中度などを示す興味・関心度の時間変動f(t)は、
f(t)=g(a(t)、b(t),c(t),d(t))
として定義し、この数値の大小により、ある時刻tでの被験者の提示コンテンツに対する興味・関心度を測定できる。
Eye blink frequency data, pupil diameter data, viewpoint movement speed based on eye movement data, and viewpoint trajectory obtained from eye movement data and preset viewpoint trajectory to be obtained based on eye movement The distances are assumed to be time variation values, and are respectively a (t), b (t), c (t), and d (t) (d (t) indicates the reciprocal of the distance off the trajectory). Note that pupil area data may be used instead of pupil diameter data. Then, the time variation f (t) of the interest / interest level indicating the attention level and the concentration level with respect to the presented content is
f (t) = g (a (t), b (t), c (t), d (t))
The degree of interest / interest in the presented content of the subject at a certain time t can be measured by the magnitude of this numerical value.
ここで、p,q,r,sを定数として、w,x,y,zを変数とする関数g(w,x,y,z)を線形結合により、
g(w,x,y,z)=p・w+q・x+r・y+s・z
と定義して単純化することもできるし、w,x,y,zの任意の関数とすることもできる(条件判定つき多項式などの非線形関数でもよい)。
Here, a function g (w, x, y, z) having p, q, r, and s as constants and w, x, y, and z as variables is linearly combined.
g (w, x, y, z) = p · w + q · x + r · y + s · z
It is possible to simplify the definition, and it is also possible to use an arbitrary function of w, x, y, and z (a nonlinear function such as a polynomial with a condition determination may be used).
また、f(t)をある特定時間の間で積分し、その積分値を単位時間当たりに正規化した数値として用いることで、その時間の区間での集中度とすることも可能である。例えば、アンケートの設問毎に応答時の集中度を算出し、あらかじめ設定した閾値以上であるかどうかを比較して被験者の応答が有効であるかどうかを判定できる。   Further, by integrating f (t) during a specific time and using the integrated value as a numerical value normalized per unit time, it is possible to obtain the degree of concentration in the time interval. For example, it is possible to determine whether or not the subject's response is valid by calculating the degree of concentration at the time of response for each question of the questionnaire and comparing whether or not the value is equal to or greater than a preset threshold value.
また、設問に対する集中度が低いと判定した場合には、興味・関心度を高めるようにあらかじめプログラムで組み込んでおき、制御手段300が提示コンテンツを変化させるよう制御することも可能である。   Further, when it is determined that the degree of concentration on the question is low, it is possible to control the control unit 300 to change the presented content by incorporating the program in advance so as to increase the interest / interest level.
なお、被験者600の眼球を撮像するための撮像手段は、例えば瞬目発生頻度のみを測定するのであれば、通常のカメラを使用してもよいが、瞳孔径や視線運動を測定するには、赤外線カメラが好ましく採用される。赤外線カメラによれば、虹彩に写り込んだ外部映像を排除した高コントラスト画像が得られるため、画像処理およびデータ解析を安定かつ高速に実行することができる。   In addition, as for the imaging means for imaging the eyeball of the subject 600, for example, if only the blink occurrence frequency is measured, a normal camera may be used, but in order to measure the pupil diameter and the eye movement, An infrared camera is preferably employed. According to the infrared camera, since a high-contrast image excluding the external image reflected in the iris is obtained, image processing and data analysis can be executed stably and at high speed.
また、制御手段300は、上記生理反応データをパラメータとする多項式または判定式を用いて測定時の被験者の興味・関心度を算出し、被験者が提示コンテンツに対して継続して集中しているかどうかを判定して、被験者応答データの有効性を確認する機能を有している。そして、その有効性に基づいて提示コンテンツのシナリオを変更させることが可能である。   Further, the control means 300 calculates the interest / interest level of the subject at the time of measurement using a polynomial or determination formula using the physiological response data as a parameter, and whether the subject is continuously concentrated on the presented content. And has a function of confirming the validity of the subject response data. And it is possible to change the scenario of a presentation content based on the effectiveness.
また、制御手段300は、提示コンテンツと、それに対応する被験者応答データおよび生理反応データとを関連付けて取得するが、眼球運動の前後関係を知るうえで、提示コンテンツないし眼球運動データを時系列的に表示するようにし、しかも所定のコンテンツの長さにわたってスクロール可能であることが好ましい。   Further, the control means 300 obtains the presentation content and the corresponding subject response data and physiological response data in association with each other. However, in order to know the context of the eye movement, the presentation content or the eye movement data is time-sequentially acquired. It is preferable that the content is displayed and scrollable over the length of the predetermined content.
また、データの解析により回答結果に高い信頼性を持たせるため、制御手段300は、眼球運動データから被験者の注視点位置を算出し、その注視点を提示コンテンツにスーパーインポーズして表示させることもできる。   Further, in order to make the answer result highly reliable by analyzing the data, the control means 300 calculates the position of the gazing point of the subject from the eye movement data, and superimposes the gazing point on the presented content for display. You can also.
〔制御手段〕
次に、図1に示した制御手段300の詳細について、より具体的に説明する。図4は、制御手段300の構成を示す図である。この制御手段300は、コンテンツ読出表示手段330、情報取込手段340、データ処理手段350、および表示処理手段360を備えている。コンテンツ読出表示手段330は、提示コンテンツ用データベース310からコンテンツを読み出し、被験者600にコンテンツを提示するための提示用ディスプレイ100に出力して表示する。また、コンテンツ読出表示手段330は、読み出したコンテンツを表示処理手段360に出力すると共に、コンテンツにおけるフレームの番号などの時間情報を情報取込手段340に出力する。この時間情報は、情報取込手段340において、被験者応答情報aおよび眼球運動情報bとの間の同期情報を生成するために用いられる。
[Control means]
Next, the details of the control means 300 shown in FIG. 1 will be described more specifically. FIG. 4 is a diagram illustrating a configuration of the control unit 300. The control unit 300 includes a content read / display unit 330, an information capture unit 340, a data processing unit 350, and a display processing unit 360. The content read / display unit 330 reads the content from the presentation content database 310, and outputs and displays the content on the presentation display 100 for presenting the content to the subject 600. Further, the content read / display unit 330 outputs the read content to the display processing unit 360 and outputs time information such as a frame number in the content to the information capturing unit 340. This time information is used by the information capturing means 340 to generate synchronization information between the subject response information a and the eye movement information b.
情報取込手段340は、マウスカーソル位置(座標)およびマウスクリック位置(座標)を含む被験者応答情報aを、被験者600のマウス操作およびクリック操作に応じてそれぞれ入力すると共に、カメラ200により撮影された眼球画像である眼球運動情報bを入力する。また、情報取込手段340は、コンテンツの時間情報をコンテンツ読出表示手段330から入力し、被験者応答情報および眼球運動情報とコンテンツとの間の対応付けができるように、入力したコンテンツの時間情報に基づいて同期情報を生成する。そして、情報取込手段340は、被験者応答情報a(マウスカーソル位置およびマウスクリック位置)、眼球運動情報bおよび同期情報を取得データ用データベース320に蓄積すると共に、データ処理手段350に出力する。なお、ここでは、被験者応答情報aを、マウスカーソル位置およびマウスクリック位置としているが、これに限定されるものではない。例えば、図1に示した入力手段500がマウスではなく、ボタン、キーボード、タッチパネル、リモコン、ゲーム機器付属コントローラなどの場合には、被験者600の操作によりこれらの機器から取り込むことが可能な位置情報(マウスカーソル位置に相当する情報およびマウスクリック位置に相当する情報)であってもよい。   The information capturing unit 340 inputs subject response information a including a mouse cursor position (coordinates) and a mouse click position (coordinates) according to the mouse operation and click operation of the subject 600, and is taken by the camera 200. The eye movement information b which is an eyeball image is input. In addition, the information fetching unit 340 inputs the time information of the content from the content reading / displaying unit 330, and adds the time information of the input content so that the subject response information and the eye movement information can be associated with the content. Based on this, synchronization information is generated. Then, the information capturing means 340 accumulates the subject response information a (mouse cursor position and mouse click position), eye movement information b, and synchronization information in the acquisition data database 320 and outputs them to the data processing means 350. Here, the subject response information a is the mouse cursor position and the mouse click position, but is not limited to this. For example, when the input unit 500 shown in FIG. 1 is not a mouse but a button, a keyboard, a touch panel, a remote controller, a controller attached to a game device, or the like, position information that can be captured from these devices by the operation of the subject 600 ( Information corresponding to the mouse cursor position and information corresponding to the mouse click position).
データ処理手段350は、被験者応答情報a(マウスカーソル位置およびマウスクリック位置)、眼球運動情報bおよび同期情報を情報取込手段340から入力し、または、取得データ用データベース320から読み出し、コンテンツと共にモニタ画面400に表示するためのデータを生成し、生成したデータを表示処理手段360に出力する。データ処理手段350は、視点・瞳孔・瞬目処理段351、興味・関心度算出段352およびIDASポイント算出段353を備えている。   The data processing means 350 inputs the subject response information a (mouse cursor position and mouse click position), eye movement information b and synchronization information from the information capturing means 340 or reads it from the acquired data database 320 and monitors it together with the contents. Data to be displayed on the screen 400 is generated, and the generated data is output to the display processing unit 360. The data processing means 350 includes a viewpoint / pupil / blink processing stage 351, an interest / interest degree calculation stage 352, and an IDAS point calculation stage 353.
視点・瞳孔・瞬目処理段351は、情報取込手段340または取得データ用データベース320からの眼球運動情報bおよび同期情報に基づいて、コンテンツに対応したその時間における視線運動データ、瞳孔径データおよび瞬目発生頻度データを算出する。具体的には、視点・瞳孔・瞬目処理段351は、眼球運動情報bである眼球画像から瞳孔画像を抽出し、瞳孔の中心位置および予め設定された画面上の位置情報などに基づいて視点位置を算出する。なお、視点位置の算出手法は公知技術であるので、ここでは詳細な説明を省略する。詳細については、本出願時以前に公開された特開2004−282471号公報を参照されたい。この場合、時間変化における視点位置を算出することにより、視点の移動速度や視点の軌跡などの視線運動データを求めることもできる。また、抽出した瞳孔画像に基づいて、瞳孔径を算出する。さらに、抽出した瞳孔画像の時間的変化に基づいて、瞬目発生頻度を算出する。この場合、瞬目回数を求めることもできる。   The viewpoint / pupil / blink processing stage 351 is based on the eye movement information b and the synchronization information from the information capturing means 340 or the acquired data database 320, and the eye movement data, pupil diameter data, Blink occurrence frequency data is calculated. Specifically, the viewpoint / pupil / blink processing stage 351 extracts the pupil image from the eyeball image that is the eye movement information b, and based on the center position of the pupil and preset position information on the screen. Calculate the position. Since the viewpoint position calculation method is a known technique, detailed description thereof is omitted here. For details, see Japanese Patent Application Laid-Open No. 2004-282471 published before the present application. In this case, it is also possible to obtain line-of-sight movement data such as the moving speed of the viewpoint and the locus of the viewpoint by calculating the viewpoint position in time change. Also, the pupil diameter is calculated based on the extracted pupil image. Furthermore, the blink occurrence frequency is calculated based on the temporal change of the extracted pupil image. In this case, the number of blinks can also be obtained.
興味・関心度算出段352は、視点・瞳孔・瞬目処理段351により算出された瞳孔径を用いて、興味・関心度を算出する。具体的には、P(t)を時刻tにおける瞳孔径、I(t)を時刻tにおける興味・関心度とすると、興味・関心度算出段352は、まず、瞳孔径P(t)に対して、高周波成分および測定ノイズを除去するために、移動平均などの演算を施すことにより、低域フィルタ処理を行う。   The interest / interest level calculation stage 352 calculates the interest / interest level using the pupil diameter calculated by the viewpoint / pupil / blink processing stage 351. Specifically, when P (t) is the pupil diameter at time t and I (t) is the interest / interest level at time t, the interest / interest degree calculation stage 352 first calculates the pupil diameter P (t). In order to remove high-frequency components and measurement noise, low-pass filtering is performed by performing operations such as moving average.
そして、興味・関心度算出段352は、以下の式により、興味・関心度I(t)を算出する。
P(t)>thのとき、
それ以外のとき、
ここで、所定時間内における測定データ系列中の瞳孔径P(t)の最大値をPmax、最小値をPmin、閾値をthとする。
Then, the interest / interest degree calculation stage 352 calculates the interest / interest degree I (t) by the following equation.
When P (t)> th,
Otherwise
Here, it is assumed that the maximum value of the pupil diameter P (t) in the measurement data series within a predetermined time is P max , the minimum value is P min , and the threshold is th.
閾値thは、例えば以下の式のように、最大値Pmaxと最小値Pminとの間の中間値が用いられる。
As the threshold th, an intermediate value between the maximum value P max and the minimum value P min is used, for example, as in the following equation.
なお、興味・関心度算出段352は、視点・瞳孔・瞬目処理段351により算出された瞬目発生頻度が、予め設定された閾値よりも大きいか否かを判断し、連続的に閾値よりも大きくなっている連続的瞬目発生区間については興味・関心度I(t)を強制的に0にするようにしてもよい。   Note that the interest / interest level calculation stage 352 determines whether or not the blink occurrence frequency calculated by the viewpoint / pupil / blink processing stage 351 is greater than a preset threshold, and continuously from the threshold. For the continuous blink generation interval that is also larger, the interest / interest degree I (t) may be forced to zero.
IDASポイント算出段353は、I(Interest:興味関心)ポイント、D(Desire:願望要求)ポイント、A(Action:行動結果)ポイントおよびS(Stay:「滞留時間」)を算出する。   The IDAS point calculation stage 353 calculates an I (Interest: interest) point, a D (Desire: desire request) point, an A (Action: action result) point, and an S (Stay: “dwell time”).
具体的には、IDASポイント算出段353は、Iポイントの算出に際し、興味・関心度算出段352により算出された興味・関心度I(t)の視点を中心とした領域において、以下の条件を満足する場合の視点位置および興味・関心度I(t)をIポイントとして生成する。   Specifically, the IDAS point calculation stage 353 has the following conditions in the area centered on the viewpoint of the interest / interest degree I (t) calculated by the interest / interest degree calculation stage 352 when calculating the I point. The viewpoint position and interest / interest degree I (t) when satisfied are generated as I points.
すなわち、視点・瞳孔・瞬目処理段351により算出された視点位置に対し、所定の時間Δtにおける視点位置の移動量Δd(視点位置の移動速度)が、以下の式のように、予め設定された閾値thよりも小さいか否かを判断する。
また、興味・関心度I(t)が、以下の式のように、予め設定された閾値th以上であるか否かを判断する。
That is, with respect to the viewpoint position calculated by the viewpoint / pupil / blink processing stage 351, the movement amount Δd (movement speed of the viewpoint position) of the viewpoint position at a predetermined time Δt is preset as in the following equation. decides whether the smaller than the threshold value th v.
Further, it is determined whether the interest / interest level I (t) is equal to or greater than a preset threshold th i as in the following equation.
つまり、IDASポイント算出段353は、Iポイントの算出に際し、視点位置の移動速度が、予め設定された閾値thよりも小さく、かつ、興味・関心度I(t)が、予め設定された閾値th以上である場合に、Iポイントとして視点位置およびそのときの興味・関心度I(t)を生成する。That is, when calculating the I point, the IDAS point calculation stage 353 has a moving speed of the viewpoint position smaller than the preset threshold th v and the interest / interest degree I (t) is a preset threshold. When it is equal to or more than th i , the viewpoint position and the interest level I (t) at that time are generated as the I point.
ここで、Iポイントは、興味・関心があったときに瞳孔が散大する原理を活用して抽出される、被計測物であるコンテンツに対する瞳孔の散大ポイントであり、視覚的効果に対する反応を分析するために用いられる。   Here, the I point is a dilation point of the pupil with respect to the content to be measured, which is extracted by utilizing the principle that the pupil dilates when there is an interest, and has a response to the visual effect. Used for analysis.
また、IDASポイント算出段353は、Dポイントの算出に際し、前述のように生成したIポイントに対して、以下の条件を満足する場合の視点位置および興味・関心度I(t)をDポイントとして生成する。   Further, the IDAS point calculation stage 353 uses the viewpoint position and interest / interest degree I (t) when the following conditions are satisfied as the D point for the I point generated as described above when calculating the D point. Generate.
すなわち、第1の条件は、Iポイントであることである。そして、第2の条件は、Iポイントにおける視点位置
と、マウスカーソル位置
との間の距離が、以下の式のように、予め設定された閾値thCIよりも短いこと、
および、その距離が、以下の式のように、時間変化と共に短くなっていることである。
That is, the first condition is that the point is I. The second condition is the viewpoint position at the I point.
And mouse cursor position
The distance between and is shorter than a preset threshold th CI as in the following equation:
And that distance is shortening with time change like the following formula | equation.
すなわち、IDASポイント算出段353は、Dポイントの算出に際し、Iポイントにおいて、その視点位置とマウスカーソル位置との間の距離が閾値thCIよりも短く、かつ、その距離が時間的に短くなっている場合に、Dポイントとして視点位置およびそのときの興味・関心度I(t)を生成する。That is, when calculating the D point, the IDAS point calculation stage 353 makes the distance between the viewpoint position and the mouse cursor position shorter than the threshold th CI at the I point, and the distance becomes shorter in time. If it is, the viewpoint position and the interest / interest degree I (t) at that time are generated as the D point.
ここで、Dポイントは、Iポイントを追いかけるようにマウスカーソル位置が一致したポイントであり、マウスクリックアクションの前段階として捉えて抽出され、被験者600がマウスをクリックするかしないかの「迷い」やIポイントから一段階進んだ「行動誘導」のポイントを分析するために用いられる。   Here, the D point is a point where the mouse cursor position is matched so as to follow the I point, and is extracted as a pre-stage of the mouse click action. It is used to analyze the points of “behavior induction” that is advanced one step from the I point.
また、IDASポイント算出段353は、入力したマウスカーソル位置である、Iポイントを含むリンクボタンなどの操作対象に対して、Aポイントとして被験者600が発火した位置およびそのときの興味・関心度I(t)を生成する。   In addition, the IDAS point calculation stage 353 is a position where the subject 600 fired as the A point and the interest / interest degree I (at that time) for the operation target such as the link button including the I point, which is the input mouse cursor position. t).
ここで、Aポイントは、被験者600の行動結果である「クリック」したポイントが抽出され、コンテンツ制作・運営の目的どおりに被験者を誘導できているか否かを分析するために用いる。   Here, the A point is used to analyze whether or not the “clicked” point, which is the action result of the subject 600, is extracted and the subject can be guided according to the purpose of content production / management.
また、IDASポイント算出段353は、前述のように生成したIポイント、Dポイントについて、視点位置が滞留した時間Sを算出する。また、前述のように生成したAポイントについて、マウスクリックされたマウスカーソル位置(マウスクリック位置)が滞留した時間Sを算出する。具体的には、視点位置およびマウスカーソル位置が、予め設定された位置範囲内にあるか否かを判断し、その位置範囲内にある場合の滞留時間Sを算出する。   Further, the IDAS point calculation stage 353 calculates the time S during which the viewpoint position stays for the I point and D point generated as described above. Further, for the A point generated as described above, the time S during which the mouse cursor position (mouse click position) where the mouse was clicked is calculated. Specifically, it is determined whether or not the viewpoint position and the mouse cursor position are within a preset position range, and the dwell time S when the position is within the position range is calculated.
ここで、滞留時間Sは、Iポイント、DポイントおよびAポイントに付加されるデータであり、例えば、テキストを読むという「行動」や「迷い」など、時間軸における分析のために用いられる。   Here, the residence time S is data added to the I point, the D point, and the A point, and is used for analysis on the time axis, such as “behavior” or “maze” of reading a text.
このように、データ処理手段350は、視点・瞳孔・瞬目処理段351により算出された視点位置、瞳孔径および瞬目発生頻度、興味・関心度算出段352により算出された興味・関心度、並びに、IDASポイント算出段353により算出されたIポイント(視点位置,興味・関心度)、Dポイント(視点位置,興味・関心度)、Aポイント(マウスクリック位置,興味・関心度)およびS(視点位置,マウスクリック位置,滞留時間)を表示処理手段360に出力すると共に、入力した被験者応答情報a(マウスカーソル位置およびマウスクリック位置)および同期情報を表示処理手段360に出力する。   In this way, the data processing means 350 includes the viewpoint position calculated by the viewpoint / pupil / blink processing stage 351, the pupil diameter and the blink occurrence frequency, the interest / interest degree calculated by the interest / interest degree calculation stage 352, In addition, the I point (viewpoint position, interest / interest degree), D point (viewpoint position, interest / interest degree), A point (mouse click position, interest / interest degree), and S (calculated by the IDAS point calculation stage 353 are calculated. (Viewpoint position, mouse click position, dwell time) are output to the display processing means 360, and the input subject response information a (mouse cursor position and mouse click position) and synchronization information are output to the display processing means 360.
表示処理手段360は、コンテンツをコンテンツ読出表示手段330から入力し、マウスカーソル位置、マウスクリック位置、同期情報、視点位置、瞳孔径、瞬目発生頻度、興味・関心度、Iポイント(視点位置,興味・関心度)、Dポイント(視点位置,興味・関心度)、Aポイント(マウスクリック位置,興味・関心度)およびS(視点位置,マウスクリック位置,滞留時間)をデータ処理手段350から入力する。そして、同期情報に基づいてコンテンツとマウスカーソル位置などとを対応付け、画面に表示するための情報を生成し、画面情報としてモニタ画面400に出力して表示する。表示処理手段360は、コンテンツ評価段361、WEB評価段362、アンケート評価段363、教育・研修用処理段364、および投稿コンテンツ評価段365を備えている。   The display processing unit 360 inputs content from the content readout display unit 330, and performs mouse cursor position, mouse click position, synchronization information, viewpoint position, pupil diameter, blink occurrence frequency, interest / interest level, I point (viewpoint position, Interest (interest / degree of interest), D point (viewpoint position, interest / interest degree), A point (mouse click position, interest / interest degree) and S (viewpoint position, mouse click position, dwell time) are input from the data processing means 350. To do. Then, the contents are associated with the mouse cursor position based on the synchronization information, information for display on the screen is generated, and is output and displayed on the monitor screen 400 as screen information. The display processing unit 360 includes a content evaluation stage 361, a WEB evaluation stage 362, a questionnaire evaluation stage 363, an education / training processing stage 364, and a posted content evaluation stage 365.
図5および図6は、コンテンツ評価段361により生成された画面例を示す図である。これらの画面は、コンテンツに対する感性を計測するためのものであり、これらの画面により、コンテンツ提供者の意図と受験者600である視聴者の興味や関心とが狙いどおりの効果を発揮しているか否か、また、注目点がターゲットを適確に捉えているか否かと解析・分析することができる。   5 and 6 are diagrams showing examples of screens generated by the content evaluation stage 361. FIG. These screens are for measuring the sensibility of the content. Whether these screens have the intended effect of the intention of the content provider and the interest and interest of the viewer who is the examinee 600. It is possible to analyze and analyze whether or not the attention point accurately captures the target.
図5において、コンテンツ評価段361は、コンテンツ画像を領域5001に表示し、そのときのIポイントを円の形態にて表示する。また、Iポイントの興味・関心度をパワーゲージ5003−1,2に表示し、興味・関心度の時間的変化をグラフ5004−1,2およびグラフ5005−1,2に表示する。領域5001において、視点位置に、興味・関心度の大きさに比例した径(直径または半径)の円が表示される。円5002−1は第1の被験者の興味・関心度を示し、円5002−2は第2の被験者の興味・関心度を示す。これらの円は、コンテンツ画像の時間的変化(動画像として領域5001に表示される画像が変わること)に伴う視点の軌跡どおりに、そのときの興味・関心度の値が径に反映されながら移動する。パワーゲージ5003−1は第1の被験者の興味・関心度、パワーゲージ5003−2は第2の被験者の興味・関心度を示す。グラフ5004−1,2は、それぞれ第1,2の被験者の興味・関心度の推移が時系列の折線として表示される。グラフが表示されている領域内のタイムバーは、領域5001に表示されているコンテンツ画像に連動しており、そのときの時間位置および興味・関心度を示している。グラフ5005−1,2は、それぞれグラフ5004−1,2内のカーソル付近(現在点付近)の興味・関心度について横軸の時間を拡大したものである。また、グラフ5004−1,2およびグラフ5005−1,2が表示されている領域内のタイムバーを移動させることにより、その時間位置におけるコンテンツ画像およびIポイントが領域5001に表示される。   In FIG. 5, the content evaluation stage 361 displays a content image in an area 5001, and displays the I point at that time in the form of a circle. Further, the interest / interest level of the I point is displayed on the power gauges 5003-1 and 5003, and the temporal change of the interest / interest level is displayed on the graphs 5004-1 and 5005-1 and 5005-1 and 5005-2. In a region 5001, a circle having a diameter (diameter or radius) proportional to the magnitude of interest / interest is displayed at the viewpoint position. A circle 5002-1 indicates the interest / interest level of the first subject, and a circle 5002-2 indicates the interest / interest level of the second subject. These circles move according to the trajectory of the viewpoint according to the temporal change of the content image (the image displayed in the area 5001 as a moving image changes) while reflecting the value of interest / interest at that time in the diameter. To do. The power gauge 5003-1 indicates the interest / interest level of the first subject, and the power gauge 5003-2 indicates the interest / interest level of the second subject. In graphs 5004-1 and 5002, the transitions of the interests of the first and second subjects are displayed as time-series broken lines. The time bar in the area where the graph is displayed is linked to the content image displayed in the area 5001, and indicates the time position and interest / interest level at that time. Graphs 5005-1 and 5002 are obtained by enlarging the time on the horizontal axis for the interest / degree of interest near the cursor (near the current point) in the graphs 5004-1 and 5002, respectively. Further, by moving the time bar in the area where the graphs 5004-1 and 5005-1 and 5005-1 and 5005-2 are displayed, the content image and the I point at the time position are displayed in the area 5001.
図6において、コンテンツ評価段361は、コンテンツのサムネイルを時系列に領域6001に表示し、コンテンツに付加された音声周波数のデータを、右(R)の音声周波数の波形グラフ6002−1および左(L)の音声周波数の波形グラフ6002−2として表示する。また、コンテンツ評価段361は、それぞれの被験者の興味・関心度の時間的変化をグラフ6003〜6006として表示する。この場合、横軸は時間を示し、コンテンツのサムネイル、音声周波数の波形グラフ6002−1,2、およびグラフ6003〜6006は同じ時間軸上に対応して表示される。   In FIG. 6, the content evaluation stage 361 displays content thumbnails in an area 6001 in time series, and displays audio frequency data added to the content on the right (R) audio frequency waveform graph 6002-1 and left ( L) is displayed as a waveform graph 6002-2 of the audio frequency. Further, the content evaluation stage 361 displays the temporal changes in the interest / interest level of each subject as graphs 6003 to 6006. In this case, the horizontal axis indicates time, and the content thumbnail, the audio frequency waveform graphs 6002-1 and 6002, and the graphs 6003 to 6006 are displayed correspondingly on the same time axis.
図7〜図10は、WEB評価段362により生成された画面例を示す図である。これらの画面は、WEB(ウェブページ)画面に対する感性を計測するためのものであり、これらの画面により、被験者600であるユーザがWEB画面内で多く見ていた場所、注目していた場所、マウスカーソルの動きなどを明らかにすることができる。   7 to 10 are diagrams showing examples of screens generated by the WEB evaluation stage 362. FIG. These screens are for measuring the sensitivity to the WEB (web page) screen, and by these screens, the place where the user who is the subject 600 often viewed, the place where the user was paying attention, the mouse The movement of the cursor can be clarified.
図7において、WEB評価段362は、コンテンツであるWEB画面を表示し、その画面における視点の軌跡7001を表示すると共に、Iポイントを円の形態にて表示する。Iポイントは、その視点位置に、興味・関心度の大きさに比例した径の円として表示される。図7から、WEBサイトのページ毎の視点の軌跡やIポイントの推移および興味・関心度を把握することができ、ユーザの興味関心の推移を分析することができる。   In FIG. 7, the WEB evaluation stage 362 displays a WEB screen as content, displays a locus 7001 of the viewpoint on the screen, and displays an I point in the form of a circle. The I point is displayed at the viewpoint position as a circle having a diameter proportional to the degree of interest and interest. From FIG. 7, the trajectory of the viewpoint for each page of the WEB site, the transition of the I point and the interest / interest level can be grasped, and the transition of the interest of the user can be analyzed.
なお、WEB評価段362は、視点の軌跡7001を表示するに際し、その視点移動の速度に応じた形態で表示するようにしてもよい。一般に、人が画面上の対象物を認識する際に、視点の軌跡は、滞留→速い移動→滞留を繰り返すこととなる。この視点の軌跡から以下の傾向を導き出すことができる。
(1)興味ある箇所では視点の滞留時間が長くなる。
(2)全体的に認識しようとする場合、速い視点移動となる。視点の軌跡は直線になる。
(3)じっくりと見ようとする場合や読もうとする場合、視点移動は遅くなる、または滞留する。視点の軌跡は曲線になる。
Note that the WEB evaluation stage 362 may display the viewpoint trajectory 7001 in a form corresponding to the speed of the viewpoint movement. In general, when a person recognizes an object on a screen, the locus of the viewpoint repeats stay → fast movement → stay. The following tendencies can be derived from the trajectory of this viewpoint.
(1) The staying time of the viewpoint becomes long in the part of interest.
(2) When trying to recognize as a whole, the viewpoint moves quickly. The locus of the viewpoint becomes a straight line.
(3) The viewpoint movement becomes slow or stays when looking carefully or reading. The trajectory of the viewpoint becomes a curve.
WEB評価段362は、前述の(1)〜(3)を区別するための処理を行い画面に表示する。具体的には、視点の軌跡7001から一定のサンプリングにおける標本を選定し、隣り合う標本点間の距離を算出し、その距離が予め設定された閾値よりも大きい場合の標本間を点線で表示し、その距離が予め設定された閾値以下の場合の標本間を実線で表示する。これにより、(2)および(3)を区別することができる。この場合、点線および実線の代わりに線の太さで区別するようにしてもよい。また、(1)についてはIポイントを表示する。なお、このような(1)〜(3)を区別するための表示処理については、WEB評価段362による処理だけでなく、視点の軌跡を表示する処理(図11、図12など)についても適用がある。また、後述する、マウスカーソル位置の軌跡を視点の軌跡とみなして表示する処理(図19など)についても適用がある。   The WEB evaluation stage 362 performs a process for distinguishing the above (1) to (3) and displays it on the screen. Specifically, a sample at a certain sampling is selected from the viewpoint locus 7001, the distance between adjacent sample points is calculated, and the distance between samples when the distance is larger than a preset threshold value is displayed with a dotted line. The distance between the samples when the distance is equal to or less than a preset threshold is displayed with a solid line. Thereby, (2) and (3) can be distinguished. In this case, you may make it distinguish by the thickness of a line instead of a dotted line and a continuous line. For (1), an I point is displayed. Note that the display process for distinguishing between (1) to (3) is applied not only to the process by the WEB evaluation stage 362 but also to the process of displaying the locus of the viewpoint (FIGS. 11, 12, etc.). There is. In addition, the present invention can be applied to processing (for example, FIG. 19) for displaying the locus of the mouse cursor position as a viewpoint locus, which will be described later.
図8において、WEB評価段362は、コンテンツであるWEB画面を表示し、その画面における視点の軌跡8001を表示すると共に、Iポイント、DポイントおよびAポイントを円の形態にて表示する。Iポイント、DポイントおよびAポイントは、その視点位置に、興味・関心度の大きさに比例した径の円として表示される。図8から、WEBサイトのページ毎に、I(興味関心)→D(願望欲求)→A(行動結果)というユーザの感情の推移を分析することができる。   In FIG. 8, a WEB evaluation stage 362 displays a WEB screen as content, displays a viewpoint locus 8001 on the screen, and displays an I point, a D point, and an A point in the form of a circle. The I point, the D point, and the A point are displayed as circles having a diameter proportional to the degree of interest / interest at the viewpoint position. From FIG. 8, it is possible to analyze a user's emotional transition of I (interest) → D (desired desire) → A (action result) for each page of the WEB site.
図9において、WEB評価段362は、コンテンツであるWEB画面を表示し、その画面の領域a〜hにおける滞留時間を表示する。この場合、WEB評価段362は、領域a〜h毎に、入力した時系列の視点位置に基づいて、その視点位置の滞留時間を算出する。領域a〜hは、予め設定されており、滞留時間は、視点位置がそれぞれの領域a〜hに滞留した積算時間を示す。   In FIG. 9, the WEB evaluation stage 362 displays the WEB screen as the content, and displays the residence time in the areas a to h of the screen. In this case, the WEB evaluation stage 362 calculates the dwell time at the viewpoint position based on the input time-series viewpoint position for each of the areas a to h. The areas a to h are set in advance, and the residence time indicates the accumulated time that the viewpoint position stays in each of the areas a to h.
図10において、WEB評価段362は、アンケート質問および回答形式のWEB画面に対する被験者600であるユーザの応答から、データを集計して表示する。具体的には、回答をマウスクリックで選択する場合に、視点位置がどちらの回答の側に滞留していたかを示す回答度合いを滞留時間として積算し、予め設定された重み係数を用いて補正して表示する。図10の左側には、複数の被験者600の回答に対する度合いの集計結果が表示されている。また、図10の右側には、複数の被験者600の回答に対する度合いの頻度がグラフとして表示されている。図10から、アンケート質問に対するアクションである回答の有効性を、ユーザが選択する際の感性を含めて、一層正確に分析することができる。   In FIG. 10, the WEB evaluation stage 362 aggregates and displays data from the response of the user who is the subject 600 to the questionnaire question and the WEB screen in the answer format. Specifically, when selecting an answer with a mouse click, the answer level indicating which answer position the viewpoint position was staying on is accumulated as the staying time and corrected using a preset weighting factor. To display. On the left side of FIG. 10, the total results of the degrees with respect to the responses of the plurality of subjects 600 are displayed. In addition, on the right side of FIG. 10, the frequency of the degree to the responses of the plurality of subjects 600 is displayed as a graph. From FIG. 10, it is possible to analyze the effectiveness of the answer, which is an action for the questionnaire question, including the sensitivity when the user selects, more accurately.
図11、図12、図23ないし図27は、アンケート評価段363により生成された画面例を示す図である。これらの画面は、アンケート質問および回答形式の画面に対する感性を計測するためのものである。   FIGS. 11, 12, and 23 to 27 are diagrams showing examples of screens generated by the questionnaire evaluation stage 363. These screens are used to measure the sensibility of the questionnaire question and answer format screens.
図11において、アンケート評価段363は、コンテンツの画面を表示し、その画面における視点の軌跡11001を表示する。図11に示した画面は、質問に関する商品が表示され、アンケート質問および回答形式で構成されている。図11から、商品を見ながら回答しているか否か、視点の軌跡から有効な回答か否かを判断することができ、商品を見ない回答および有効でない回答を抽出して回答集計から除外することにより、回答集計結果の有効性を向上させることができる。   In FIG. 11, a questionnaire evaluation stage 363 displays a content screen and displays a viewpoint trajectory 11001 on the screen. The screen shown in FIG. 11 displays products related to the question, and is configured in a questionnaire question and answer format. From FIG. 11, it can be determined whether or not the response is made while viewing the product, and whether or not the response is valid from the trajectory of the viewpoint. Responses that do not see the product and responses that are not valid are extracted and excluded from the response aggregation. As a result, the effectiveness of the answer count result can be improved.
図12において、アンケート評価段363は、コンテンツの画面を表示し、その画面における視点の軌跡を表示すると共に、Iポイントを円の形態にて表示する。図12に示した画面は、図11と同様に、商品が表示され、アンケート質問および回答形式で構成されている。図12から、例えば、回答が「はい」「いいえ」「どちらでもない」の3択である場合に、視点の軌跡およびIポイントの円の大きさにより、その回答が「自信をもった回答」であるか「迷い回答」であるかを判断することができる。図12の実線で示す視点の軌跡の回答の場合は、視点の軌跡が複数の回答の間で行き来していないから、「自信をもった回答」であると判断できる。一方、点線で示す視点の軌跡の回答の場合は、視点の軌跡が複数の回答の間で行き来しているから、「迷い回答」であると判断できる。   In FIG. 12, the questionnaire evaluation stage 363 displays the content screen, displays the locus of the viewpoint on the screen, and displays the I point in the form of a circle. The screen shown in FIG. 12 displays products as in FIG. 11, and is configured in a questionnaire question and answer format. From FIG. 12, for example, when the answer is “Yes”, “No”, or “None”, the answer is “confident answer” depending on the locus of the viewpoint and the size of the circle of the I point. It is possible to determine whether it is a “question answer”. In the case of the viewpoint trajectory answer indicated by the solid line in FIG. 12, the viewpoint trajectory does not go back and forth between a plurality of answers, so it can be determined that the answer is a “confident answer”. On the other hand, in the case of the response of the viewpoint trajectory indicated by the dotted line, it can be determined that the viewpoint trajectory moves between a plurality of answers, so that it is a “lost answer”.
図23および図24において、コンテンツ読出表示手段330が図23に示すコンテンツを提示用ディスプレイ100に出力して表示し、被験者600によりAまたはBの仮選択操作(関心の高い方の枠内にマウスのカーソルを置いてクリック操作(選択操作した後にキャンセルして再選択する操作を含む))が行われ、選択されたことを示す表示(枠に色を付ける、枠を太くする表示など)がなされ、そして選択の確定操作が行われると、情報取込手段340およびデータ処理手段350が前述した各種処理を行う。このような処理を複数の被験者600を対象にして行い、複数の被験者600による被験者応答情報aおよび眼球運動情報bが取得され格納される。この場合、情報取込手段340は、被験者応答情報aとして、最終的に被験者600が選択した確定操作(AまたはB)の情報だけでなく、確定操作の前の仮選択操作の情報およびその回数(Aを選択した回数およびBを選択した回数)の情報も取り込む。   23 and FIG. 24, the content readout display means 330 outputs and displays the content shown in FIG. 23 on the display for display 100, and the subject 600 performs a temporary selection operation of A or B (with the mouse in the frame of higher interest). Is clicked (including the operation to cancel and then reselect after selecting), and the display indicating that it has been selected (coloring the frame, displaying the frame thicker, etc.) When the selection confirmation operation is performed, the information fetching unit 340 and the data processing unit 350 perform the various processes described above. Such processing is performed for a plurality of subjects 600, and subject response information a and eye movement information b by the subjects 600 are acquired and stored. In this case, the information capturing unit 340 not only includes information on the confirmation operation (A or B) finally selected by the subject 600 as the subject response information a, but also information on the provisional selection operation before the confirmation operation and the number of times. Information of (the number of times A is selected and the number of times B is selected) is also captured.
図24は、アンケート評価段363により生成された画面例(選択肢が2つの場合)を示す図である。アンケート評価段363は、コンテンツの画面、その画面における視点の軌跡、並びに、興味・関心度の度合いに応じて円の形態に表したIポイントおよびAポイントを合成した画面情報を生成して表示する。図24において、中抜きの円が仮選択操作時の注目点を示すIポイントであり、斜線の円が確定操作時の注目点を示すAポイントである。図24によれば、被験者600が確定操作までの間に、どの箇所に注目していたかが明確になる。   FIG. 24 is a diagram illustrating an example of a screen generated by the questionnaire evaluation stage 363 (when there are two options). The questionnaire evaluation stage 363 generates and displays screen information obtained by synthesizing the I point and the A point expressed in the form of a circle according to the content screen, the locus of the viewpoint on the screen, and the degree of interest / interest. . In FIG. 24, a hollow circle is an I point indicating a point of interest at the time of a temporary selection operation, and a hatched circle is an A point indicating a point of interest at the time of a confirmation operation. According to FIG. 24, it becomes clear which part the subject 600 was paying attention to before the confirmation operation.
また、アンケート評価段363は、被験者600毎に、被験者応答情報aに基づいてA,Bの選択を区別して確信度を算出し、A,Bを選択した被験者600をそれぞれ集計して確信度の頻度分布および平均値などを算出する。確信度の算出手法については後述する。そして、これらの算出データを用いて確信度の頻度分布グラフを生成し、図25に示す画面を表示する。   Further, the questionnaire evaluation stage 363 calculates the certainty factor for each subject 600 by distinguishing the selection of A and B based on the subject response information a, and totals the subjects 600 who selected A and B, respectively. Calculate frequency distribution and average value. A method of calculating the certainty factor will be described later. And the frequency distribution graph of a certainty factor is produced | generated using such calculation data, and the screen shown in FIG. 25 is displayed.
図25において、横軸は確信度を示しており、縦軸は選択した人数の割合を示している。つまり、この折線グラフは、左半分にAの確信度頻度分布(中心部分から左に向かって確信度は高くなる。)を、右半分にBの確信度頻度分布(中心部分から右に向かって確信度は高くなる。)をそれぞれ示している。また、点線は、それぞれの確信度頻度分布における確信度の平均値を示している。確信度の頻度分布グラフの下に表示されたバーグラフは選択率を示している。   In FIG. 25, the horizontal axis indicates the certainty factor, and the vertical axis indicates the ratio of the selected number of people. That is, in this line graph, the reliability frequency distribution of A (the reliability increases from the central part to the left) on the left half, and the reliability frequency distribution of B (the central part toward the right) on the right half. The confidence level is high.) Moreover, the dotted line has shown the average value of the reliability in each reliability frequency distribution. The bar graph displayed below the certainty frequency distribution graph indicates the selectivity.
図25によれば、選択肢Aの確信度の平均値が77、選択肢Bの確信度の平均値が49であり、Aを選択した被験者600は全体の70%であり、確信度が比較的高いことがわかる。このように、A,Bをそれぞれ選択した被験者600における確信度の平均値および頻度分布がわかり、被験者600の選択の傾向を分析することができ、コンテンツのデザイン評価などに新たな指標を追加することができる。   According to FIG. 25, the average value of the certainty factor of the option A is 77, the average value of the certainty factor of the option B is 49, 70% of the subjects 600 who have selected A, and the certainty factor is relatively high. I understand that. In this way, the average value and frequency distribution of the certainty factor in the subject 600 who respectively selects A and B can be known, and the selection tendency of the subject 600 can be analyzed, and a new index is added to content design evaluation and the like. be able to.
次に、選択肢が2つ(A,B)の場合における確信度の算出手法について説明する。ある被験者600において、領域A,Bに対する計測中のサンプル時刻iにおける興味・関心度をI(i),I(i)とすると、注目滞留度G,Gを以下の式により算出する。
ここで、滞留点判定値δ(i),δ(i)、すなわちδは以下のように定義される。
滞留点判定値δは、視点が領域内に存在する場合に1、領域外に存在する場合に0であることを示している。
Next, a method for calculating the certainty factor when there are two options (A, B) will be described. In a subject 600, when the interest / interest degrees at the sample time i during measurement for the areas A and B are I A (i) and I B (i), the staying degrees of interest G A and G B are calculated by the following equations. To do.
Here, the stay point determination values δ A (i), δ B (i), that is, δ p are defined as follows.
The residence point determination value [delta] p is 1 when the viewpoint is present in the region, indicating a 0 when present in the extracellular region.
そして、選択肢Aへの(選択肢Bに対する)注目偏度D、および、選択肢Bへの(選択肢Aに対する)注目偏度Dを以下の式により算出する。
ここで、注目偏度D,Dの値域は[0,1]である。
The choice of the A (with respect to choice B) noted Hendo D A, and calculates to alternative B (for option A) noted Hendo D B by the following equation.
Here, attention Hendo D A, range of D B is [0,1].
そして、選択肢A,Bを仮選択した回数をそれぞれC,Cとすると、Aを選択した場合の選択偏度k、および、Bを選択した場合の選択偏度kを以下の式により算出する。
ここで、選択偏度k,kは、確定操作による最終選択までの仮選択操作の回数を評価し、確信度を重み付けするための係数であり、その値域は(0,1)である。この選択偏度k,kは、確定操作による最終選択と異なる選択肢を選択すればするほど、その値が小さくなる。
If the number of times the options A and B are provisionally selected are C A and C B , respectively, the selection bias k A when A is selected and the selection bias k B when B is selected are expressed by the following equations: Calculated by
Here, the selection biases k A and k B are coefficients for evaluating the number of temporary selection operations up to the final selection by the confirmation operation and weighting the certainty factor, and the value range is (0, 1). . The selection biases k A and k B become smaller as an option different from the final selection by the confirmation operation is selected.
そして、確定操作による最終選択肢がAである場合の確信度wa、および、確定操作による最終選択肢がBである場合の確信度waを、注目偏度D,Dおよび選択偏度k,kから以下の式により算出する。
ここで、確信度wa,waの値域は[0,100]であり、その値が大きいほど確信度が高い。
The confidence wa A when the final choice by deciding operation is A, and the confidence wa B when the final choice by deciding operation is B, attention Hendo D A, D B and selected Hendo k a, is calculated by the following equation from k B.
Here, the value ranges of the certainty factors wa A and wa B are [0, 100], and the greater the value, the higher the certainty factor.
次に、選択肢が3以上の場合における確信度の算出手法について説明する。この説明は、前述した選択肢が2の場合にも適用がある。以下、領域j(0≦j≦n)は、選択肢jを囲む四角形で囲まれた部分とする。ある被験者600において、領域Pに対する計測中のサンプル時刻iにおける興味・関心度をI(i)とすると、注目滞留度Gを以下の式により算出する。
ここで、滞留点判定値δ(i)、すなわちδは以下のように定義される。
滞留点判定値δは、視点が領域内に存在する場合に1、領域外に存在する場合に0であることを示している。
Next, a method for calculating the certainty factor when there are three or more options will be described. This explanation also applies to the case where the above-mentioned option is 2. Hereinafter, the region j (0 ≦ j ≦ n) is a portion surrounded by a rectangle surrounding the option j. In a certain subject 600, if the interest / interest level at the sample time i during measurement for the region P is I p (i), the attention staying degree GP is calculated by the following equation.
Here, the stay point determination value δ P (i), that is, δ p is defined as follows.
The residence point determination value [delta] p is 1 when the viewpoint is present in the region, indicating a 0 when present in the extracellular region.
画面中の領域jに対する注目滞留度Gは以下のとおりである。
Attention residence of G j for the area j of the screen is as follows.
そして、選択肢jへの(全選択肢に対する)注目偏度Dを以下の式により算出する。
ここで、注目偏度Dの値域は[0,1]である。
Then, the attention bias D j (with respect to all the options) for the option j is calculated by the following equation.
Here, the range of the target bias D j is [0, 1].
そして、選択肢jを仮選択した回数をそれぞれCとすると、jを選択した場合の選択偏度kを以下の式により算出する。
ここで、選択偏度kは、確定操作による最終選択までの仮選択操作の回数を評価し、確信度を重み付けするための係数であり、その値域は(0,1)である。この選択偏度kは、確定操作による最終選択と異なる選択肢を選択すればするほど、その値が小さくなる。
Then, assuming that the number of times the option j is temporarily selected is C j , the selection bias k j when j is selected is calculated by the following equation.
Here, the selection bias k j is a coefficient for evaluating the number of temporary selection operations until the final selection by the confirmation operation and weighting the certainty factor, and its value range is (0, 1). The selection bias k j becomes smaller as an option different from the final selection by the confirmation operation is selected.
そして、確定操作による最終選択肢がjである場合の確信度waを、注目偏度Dおよび選択偏度kから以下の式により算出する。
ここで、確信度waの値域は[0,100]であり、その値が大きいほど確信度が高い。
Then, the certainty factor wa j when the final option by the confirmation operation is j is calculated from the attention bias D j and the selection bias k j by the following formula.
Here, the range of the confidence wa j is [0, 100], high confidence greater the value.
このように、アンケート評価段363は、被験者600毎に、被験者応答情報aに基づいてj(2以上の選択肢)の選択を区別して確信度を算出し、jを選択した被験者600をそれぞれ集計して確信度の頻度分布および平均値などを算出する。そして、これらの算出データを用いて確信度の頻度分布グラフを生成し、表示する。   In this way, the questionnaire evaluation stage 363 calculates the certainty factor for each subject 600 by distinguishing the selection of j (two or more options) based on the subject response information a, and totals the subjects 600 who selected j. To calculate the frequency distribution and average value of certainty. Then, using these calculated data, a frequency distribution graph of confidence is generated and displayed.
図26および図27は、アンケート評価段363により生成された画面例(選択肢が4つの場合)を示す図である。アンケート評価段363は、コンテンツの画面、その画面における視点の軌跡、並びに、興味・関心度の大きさに応じて円の形態に表したIポイントおよびAポイントを合成した画面情報を生成して表示する。図において、中抜きの円が仮選択操作時の注目点を示すIポイントであり、斜線の円が確定操作時の注目点を示すAポイントである。本図によれば、被験者600が確定操作までの間に、どの箇所に注目していたかが明確になる。また、視点の軌跡およびIポイントの表示から、図26では、視点の動きが多く仮選択の数も多いことから、「迷い回答」(迷いの多い回答)であることがわかる。また、図27では、視点の動きが少なく仮選択の数も少ないことから「自信をもった回答」(迷いの少ない回答)であることがわかる。   26 and 27 are diagrams showing examples of screens generated by the questionnaire evaluation stage 363 (when there are four options). The questionnaire evaluation stage 363 generates and displays screen information obtained by synthesizing the I point and A point expressed in a circle according to the content screen, the locus of the viewpoint on the screen, and the degree of interest / interest. To do. In the figure, a hollow circle is an I point that indicates a point of interest during a temporary selection operation, and a hatched circle is an A point that indicates a point of interest during a confirmation operation. According to this figure, it becomes clear which part the subject 600 was paying attention to before the confirmation operation. In addition, from the viewpoint trajectory and the display of the I point, it can be seen that in FIG. 26, the viewpoint movement is large and the number of provisional selections is large, so that it is a “question answer” (an answer with many questions). Further, in FIG. 27, since the movement of the viewpoint is small and the number of provisional selections is small, it can be understood that the answer is “a confident answer” (an answer with little confusion).
図13および図28は、教育・研修用処理段364により生成された画面例を示す図である。この画面は、安全教育などの様々な教育および研修に対し、感性計測という指標を加えたものである。   FIG. 13 and FIG. 28 are diagrams showing examples of screens generated by the education / training processing stage 364. In this screen, an index called sensitivity measurement is added to various education and training such as safety education.
図13において、教育・研修用処理段364は、コンテンツを領域1301に表示し、そのときのIポイントを円の形態にて表示する。また、興味・関心度(注目度)をパワーゲージ1303−1,2に表示し、興味・関心度(注目度)の時間的変化をグラフ1304−1,2およびグラフ5005−1,2に表示する。図13に示す領域1301、パワーゲージ1303−1,2、グラフ1304−1,2、グラフ1305−1,2は、図5に示した領域5001、パワーゲージ5003−1,2、グラフ5004−1,2、グラフ5005−1,2にそれぞれ相当する。図13に示す画面は、図5に示した画面と同じ構成および内容であるので、ここでは説明を省略する。図13では、熟練運転者を第1の被験者とし、無免許運転者を第2の被験者とした場合の興味・関心度(注目度)の時間変化がグラフ5004−1,2にそれぞれ示されている。このグラフから、熟練運転者の興味・関心度(注目度)は比較的平均しているのに対し、無免許運転者の興味・関心度(注目度)は平均しておらず変動が激しいことがわかる。   In FIG. 13, the education / training processing stage 364 displays the content in the area 1301 and displays the I point at that time in the form of a circle. Also, the interest / interest level (attention level) is displayed on the power gauges 1303-1 and 1303, and the temporal changes in the interest / interest level (attention level) are displayed on the graphs 1304-1 and 1305-1 and 5005-1 and 500-5. To do. The region 1301, the power gauges 1303-1 and 1302, the graphs 1304-1 and 1305-2, and the graphs 1305-1 and 1302 shown in FIG. 13 are the region 5001, the power gauges 5003-1 and 5002, and the graph 5004-1 shown in FIG. , 2 and graphs 5005-1 and 5005-2, respectively. The screen shown in FIG. 13 has the same configuration and contents as the screen shown in FIG. In FIG. 13, graphs 5004-1 and 5002 show temporal changes in interest and interest (attention level) when the skilled driver is the first subject and the unlicensed driver is the second subject. Yes. From this graph, the interest / interest level (attention level) of skilled drivers is relatively average, whereas the interest / interest level (attention level) of unlicensed drivers is not average, and the fluctuation is severe. I understand.
図28において、教育・研修用処理段364は、図13に示した画面情報を生成して表示する際に、さらに、コンテンツに付随した危険指示情報を危険指示表示1306として表示する。この場合、教育・研修用処理段364が入力するコンテンツには危険指示情報が含まれており、この危険指示情報は、危険であることを判断すべきタイミングで表示されるようになっている。また、被験者600が、コンテンツを見て危険であると判断したときにマウス操作などによりボタンを押下すると、教育・研修用処理段364は、危険であると判断したことを示す被験者応答情報aを入力し、そのボタン押下したタイミングでボタン押下表示1307を表示する。このように、車の運転教育を受ける被験者600は、コンテンツを見ながら危険を判断した場合に、マウス操作などによりボタンを押下する。このとき、教育・研修用処理段364は、車の運転教育を受ける被験者600の感性を、危険指示表示1306の表示タイミングと、被験者600のボタン操作などによるボタン押下タイミングとにより計測することができる。また、被験者600は、これらの表示タイミングを確認することにより、自らによる車の運転が安全であるか否かを判断することができる。   28, when the screen information shown in FIG. 13 is generated and displayed, the education / training processing stage 364 further displays the danger instruction information attached to the content as the danger instruction display 1306. In this case, the content input by the education / training processing stage 364 includes danger instruction information, and this danger instruction information is displayed at a timing at which it should be determined that it is dangerous. When the subject 600 depresses a button by operating a mouse or the like when judging that the content is dangerous, the education / training processing stage 364 displays subject response information a indicating that the content is judged dangerous. A button press display 1307 is displayed when the input is made and the button is pressed. In this way, the subject 600 receiving car driving education presses the button by operating the mouse or the like when judging the danger while viewing the content. At this time, the education / training processing stage 364 can measure the sensibility of the subject 600 who receives driving education from the display timing of the danger instruction display 1306 and the button press timing by the button operation of the subject 600 or the like. . In addition, the subject 600 can determine whether or not the driving of the vehicle by himself / herself is safe by checking these display timings.
図14は、投稿コンテンツ評価段365を用いる場合のネットワークシステムの構成例を示す図である。このネットワークシステムは、図1に示したコンテンツの利用者応答評価システムが設置された感性計測設備と、投稿コンテンツ評価サービスを受ける利用者(投稿者)が操作するPC(パーソナルコンピュータ)またはモバイル端末とから構成され、感性計測設備内の利用者応答評価システムとPCまたはモバイル端末とがインターネットにより接続される。   FIG. 14 is a diagram illustrating a configuration example of a network system when the posted content evaluation stage 365 is used. This network system includes a sensibility measurement facility in which the content user response evaluation system shown in FIG. 1 is installed, a PC (personal computer) or a mobile terminal operated by a user (poster) who receives a posted content evaluation service, and The user response evaluation system in the sensibility measurement facility and the PC or mobile terminal are connected via the Internet.
PCなどは、投稿コンテンツ評価サービスを受ける利用者の操作により、指定された被験者600の年代情報、評価される画像などをインターネットを介して利用者応答評価システムへ送信する。この場合、利用者は本サービスの会員になってIDおよびパスワードを感性計測設備の制御手段300に予め登録しておき、利用者のメールアドレスと関連付けておくようにしてもよい。利用者応答評価システムは、これらの情報を受信し、指定された年代の複数の被験者600、または評価される画像コンテンツの分野における指導者などの当業者から情報を収集して診断結果を生成し、その診断結果(評価した画像、視点の軌跡、興味・関心度など)を、インターネットを介してPCなどへ返信する。この場合、診断結果をメールに添付し、利用者のメールアドレス宛に返信するようにしてもよい。   The PC or the like transmits the age information of the designated subject 600, the image to be evaluated, etc. to the user response evaluation system via the Internet by the operation of the user who receives the posted content evaluation service. In this case, the user may become a member of this service, register the ID and password in the control unit 300 of the sensibility measurement facility in advance, and associate them with the user's email address. The user response evaluation system receives these pieces of information, collects information from a plurality of subjects 600 of a specified age, or a person skilled in the art such as a leader in the field of image content to be evaluated, and generates a diagnosis result. The diagnosis result (evaluated image, viewpoint trajectory, interest / degree of interest, etc.) is returned to a PC or the like via the Internet. In this case, the diagnosis result may be attached to the mail and sent back to the user's mail address.
図15は、図14に示した感性計測設備内の利用者応答評価システムにおける投稿コンテンツ評価段365により生成された画面例を示す図である。投稿者により送信された自らの写真の画像に基づいて評価した結果が、顔の視点位置に円の形態で表示されているIポイント、および画面右側に表示されている複数の被験者600によって集計された情報である。利用者応答評価システムは、投稿者により送信された画像を提示コンテンツ用データベース310に蓄積すると、コンテンツ読出表示手段330、情報取込手段340およびデータ処理手段350により、被験者応答情報aおよび眼球運動情報bを、対象となった複数の被験者600から取り込み、被験者600毎に視点位置、瞳孔径、興味・関心度、Iポイントなどの各種データを生成する。そして、表示処理手段360の投稿コンテンツ評価段365は、複数の被験者600の視点位置、瞳孔径などの各種データに基づいて、画面に表示するためのIポイントを集計し、顔の部位(右目、左目など)毎に興味・関心度を集計する。なお、投稿コンテンツ評価段365は、図24ないし図27に示した画面情報を生成し、これらの情報を診断結果としてPCなどへ返信し、診断結果を利用者へ提示するようにしてもよい。   FIG. 15 is a diagram showing an example of a screen generated by the posted content evaluation stage 365 in the user response evaluation system in the sensitivity measurement facility shown in FIG. The result of evaluation based on the image of his / her own photograph sent by the contributor is tabulated by the I point displayed in the form of a circle at the face viewpoint position and the plurality of subjects 600 displayed on the right side of the screen. Information. When the user response evaluation system accumulates the images transmitted by the poster in the presentation content database 310, the subject response information a and the eye movement information are obtained by the content reading display means 330, the information capturing means 340, and the data processing means 350. b is taken from a plurality of subjects 600 as subjects, and various data such as a viewpoint position, a pupil diameter, an interest / interest level, and an I point are generated for each subject 600. Then, the posted content evaluation stage 365 of the display processing unit 360 aggregates the I points to be displayed on the screen based on various data such as the viewpoint positions and pupil diameters of the plurality of subjects 600, and the facial part (right eye, For each left eye etc.), add up the interest and interest level. The posted content evaluation stage 365 may generate the screen information shown in FIG. 24 to FIG. 27, return the information as a diagnosis result to a PC or the like, and present the diagnosis result to the user.
〔変形例〕
次に、利用者応答評価システムの変形例について説明する。図16は、本発明の実施の形態によるコンテンツの利用者応答評価システムの基本的な構成(他の構成)を示す模式図である。図16に示すように、この利用者応答評価システムは、その基本的な構成要素として、コンテンツ提示用のディスプレイ100と、制御手段301と、提示コンテンツ用データベース310と、取得データ用データベース320と、表示手段としてのモニタ画面400と、被験者600が提示コンテンツに対して応答するための入力手段500とを備えている。図1に示した利用者応答評価システムと図16に示す利用者応答評価システムとを比較すると、図16では被験者600の眼球を撮像するためのカメラ200、それに伴う赤外線ランプ210および顎台220を備えていない点で相違する。ディスプレイ100、提示コンテンツ用データベース310、取得データ用データベース320、モニタ画面400および入力手段500は、図1に示したそれらと同等であるから、ここでは説明を省略する。
[Modification]
Next, a modification of the user response evaluation system will be described. FIG. 16 is a schematic diagram showing a basic configuration (another configuration) of the content user response evaluation system according to the embodiment of the present invention. As shown in FIG. 16, this user response evaluation system includes, as its basic components, a display 100 for content presentation, a control means 301, a presentation content database 310, an acquired data database 320, A monitor screen 400 as display means and an input means 500 for the subject 600 to respond to the presented content are provided. Comparing the user response evaluation system shown in FIG. 1 with the user response evaluation system shown in FIG. 16, in FIG. 16, a camera 200 for imaging the eyeball of the subject 600, an accompanying infrared lamp 210 and a chin rest 220 are shown. It differs in that it does not have. Since the display 100, the presentation content database 310, the acquired data database 320, the monitor screen 400, and the input means 500 are the same as those shown in FIG. 1, their descriptions are omitted here.
図16に示す利用者応答評価システムは、マウスカーソル位置の軌跡と視点の軌跡とが同等であるとみなして、眼球運動情報bを用いることなく被験者応答情報aのみから利用者応答を評価するものである。   The user response evaluation system shown in FIG. 16 evaluates the user response only from the subject response information a without using the eye movement information b, assuming that the locus of the mouse cursor position is equivalent to the locus of the viewpoint. It is.
〔変形例/制御手段〕
次に、図16に示した制御手段301の詳細について説明する。図17は、制御手段301の構成を示す図である。この制御手段301は、コンテンツ読出表示手段335、情報取込手段370、データ処理手段380、および表示処理手段390を備えている。
[Modification / Control means]
Next, details of the control means 301 shown in FIG. 16 will be described. FIG. 17 is a diagram illustrating a configuration of the control unit 301. The control unit 301 includes a content read / display unit 335, an information fetch unit 370, a data processing unit 380, and a display processing unit 390.
コンテンツ読出表示手段335は、提示コンテンツ用データベース310からコンテンツを読み出し、情報取込手段370からマウスカーソル位置を入力し、コンテンツにおける所定のテキストデータに対し、マウスカーソル位置に基づいて、被験者600が認識し難いようにぼかし加工を施し、被験者600にコンテンツを提示するための提示用ディスプレイ100に出力して表示する。また、コンテンツ読出表示手段335は、読み出したコンテンツを表示処理手段390に出力すると共に、コンテンツにおけるフレームの番号などの時間情報を情報取込手段370に出力する。   The content reading / display unit 335 reads the content from the presentation content database 310, inputs the mouse cursor position from the information capturing unit 370, and the subject 600 recognizes predetermined text data in the content based on the mouse cursor position. It is blurred so that it is difficult to do so, and is output and displayed on the display for presentation 100 for presenting the content to the subject 600. The content read / display unit 335 outputs the read content to the display processing unit 390 and outputs time information such as a frame number in the content to the information capturing unit 370.
図18は、コンテンツ読出表示手段335が提示用ディスプレイ100に表示する画面例を示す図である。図18において、テキストデータ「あなたは」「朝食を食べる」「朝食を食べない」は、マウスカーソル位置に応じて、ぼかした形態またはくっきりした形態で表示される。コンテンツ読出表示手段335は、マウスカーソル位置を入力し、マウスカーソル位置とテキストデータの表示位置とを比較し、その間の距離が予め設定された閾値よりも短くなった場合に、そのテキストデータに対して、コンテンツの本来の表示形態になるように、くっきりした形態で表示する。また、その間の距離が閾値以上の場合に、そのテキストデータに対して、ぼかした形態で表示する。例えば、そのテキストデータと白色画像とを画素毎に重ね合わせて(加重平均して)、ぼかした形態で表示する。この場合、一層ぼかした形態で表示するには、白色画像の重みを大きくすればよい。   FIG. 18 is a diagram showing an example of a screen displayed on the presentation display 100 by the content read / display unit 335. In FIG. 18, the text data “you eat”, “eat breakfast”, and “do not eat breakfast” are displayed in a blurred or clear form according to the position of the mouse cursor. The content readout display means 335 inputs the mouse cursor position, compares the mouse cursor position with the display position of the text data, and when the distance between them becomes shorter than a preset threshold value, the text data is displayed. The content is displayed in a clear form so as to be the original display form of the content. When the distance between them is equal to or greater than the threshold value, the text data is displayed in a blurred form. For example, the text data and the white image are superimposed on each pixel (weighted average) and displayed in a blurred form. In this case, in order to display in a more blurred form, the weight of the white image may be increased.
情報取込手段370は、マウスカーソル位置(座標)およびマウスクリック位置(座標)を含む被験者応答情報aを、被験者600のマウス操作およびクリック操作に応じてそれぞれ入力する。また、情報取込手段370は、コンテンツの時間情報をコンテンツ読出表示手段335から入力し、被験者応答情報aとコンテンツとの間の対応付けができるように、入力したコンテンツの時間情報に基づいて同期情報を生成する。そして、情報取込手段370は、被験者応答情報a(マウスカーソル位置およびマウスクリック位置)および同期情報を取得データ用データベース320に蓄積し、データ処理手段380に出力する。また、情報取込手段370は、被験者応答情報aのうちのマウスカーソル位置をコンテンツ読出表示手段335に出力する。   The information fetching means 370 inputs subject response information a including a mouse cursor position (coordinates) and a mouse click position (coordinates) according to the mouse operation and click operation of the subject 600, respectively. In addition, the information fetching unit 370 receives content time information from the content readout display unit 335, and synchronizes based on the input content time information so that the subject response information a can be associated with the content. Generate information. Then, the information fetching means 370 accumulates the subject response information a (mouse cursor position and mouse click position) and synchronization information in the acquired data database 320 and outputs them to the data processing means 380. Further, the information fetching unit 370 outputs the mouse cursor position in the subject response information a to the content reading / displaying unit 335.
データ処理手段380は、被験者応答情報a(マウスカーソル位置およびマウスクリック位置)および同期情報を情報取込手段370から入力し、または、取得データ用データベース320から読み出し、コンテンツと共にモニタ画面400に表示するためのデータを生成し、生成したデータを表示処理手段390に出力する。   The data processing means 380 inputs the subject response information a (mouse cursor position and mouse click position) and synchronization information from the information fetching means 370 or reads them from the acquired data database 320 and displays them together with the contents on the monitor screen 400. Data is generated, and the generated data is output to the display processing means 390.
具体的には、データ処理手段380は、情報取込手段370または取得データ用データベース320からの被験者応答情報aにおけるマウスカーソル位置について、予め設定された移動範囲内において予め設定された時間以上滞留した場合に、その位置を視点滞留点に設定し、その積算した滞留時間を視点滞留時間に設定する。そして、データ処理手段380は、マウスカーソル位置、マウスクリック位置、視点滞留点、視点滞留時間および同期情報を表示処理手段390に出力する。   Specifically, the data processing means 380 stays for a preset time within a preset movement range with respect to the mouse cursor position in the subject response information a from the information capturing means 370 or the acquired data database 320. In this case, the position is set as the viewpoint dwell point, and the accumulated dwell time is set as the viewpoint dwell time. Then, the data processing unit 380 outputs the mouse cursor position, mouse click position, viewpoint dwell point, viewpoint dwell time, and synchronization information to the display processing unit 390.
表示処理手段390は、コンテンツをコンテンツ読出表示手段335から入力し、マウスカーソル位置、マウスクリック位置、視点滞留点、視点滞留時間および同期情報をデータ処理手段380から入力する。そして、同期情報に基づいてコンテンツとマウスカーソル位置などとを対応付け、画面に表示するための情報を生成し、画面情報としてモニタ画面400に出力して表示する。   The display processing unit 390 inputs content from the content read / display unit 335, and inputs the mouse cursor position, mouse click position, viewpoint dwell point, viewpoint dwell time, and synchronization information from the data processing unit 380. Then, the contents are associated with the mouse cursor position based on the synchronization information, information for display on the screen is generated, and is output and displayed on the monitor screen 400 as screen information.
図19〜図22は、表示処理手段390により生成された画面例を示す図である。これらの画面は、マウスカーソル位置を視点位置とみなし、その位置データに基づいてコンテンツに対する感性を計測するためのものである。これらの画面により、眼球運動情報bを用いることなく、マウスである被験者応答入力手段500からの被験者応答情報aのみにより、簡易な手法で感性計測を実現することができる。   19 to 22 are diagrams showing examples of screens generated by the display processing unit 390. These screens are for measuring the sensitivity to the content based on the position data by regarding the mouse cursor position as the viewpoint position. By using these screens, sensibility measurement can be realized by a simple method using only the subject response information a from the subject response input means 500 that is a mouse without using the eye movement information b.
図19において、表示処理手段390は、コンテンツの画面上に、視点位置とみなしたマウスカーソル位置の軌跡を表示する。また、図20において、表示処理手段390は、コンテンツの画面上に、視点滞留点に、その視点滞留時間に比例した面積を有する円を表示する。また、図21において、表示処理手段390は、アンケート質問および回答形式のコンテンツ画面に対する被験者600であるユーザの応答から、データを集計して表示する。具体的には、回答をマウスクリックで選択する場合に、視点位置(とみなしたマウスカーソル位置)がどちらの回答の側に滞留していたかを示す回答度合いを滞留時間として積算し、予め設定された重み係数を用いて補正して表示する。図21の上側には、複数の被験者600の回答に対する度合いの集計結果が表示されている。また、図21の下側には、複数の被験者600の回答に対する度合いの頻度がグラフとして表示されている。図21から、アンケート質問に対するアクションである回答を、ユーザが選択する際の感性を含めて、一層正確に分析することができる。   In FIG. 19, the display processing means 390 displays the locus of the mouse cursor position regarded as the viewpoint position on the content screen. In FIG. 20, the display processing unit 390 displays a circle having an area proportional to the viewpoint dwell time on the viewpoint dwell point on the content screen. In FIG. 21, the display processing unit 390 aggregates and displays data from the response of the user who is the subject 600 to the questionnaire question and answer type content screen. Specifically, when selecting an answer with a mouse click, the answer level indicating which answer position the viewpoint position (the mouse cursor position considered) was staying on is accumulated as a residence time, and is set in advance. Corrected by using the weighting factor displayed. On the upper side of FIG. 21, the tabulation results of the degrees with respect to the responses of the plurality of subjects 600 are displayed. Moreover, the frequency of the degree with respect to the answers of a plurality of subjects 600 is displayed as a graph on the lower side of FIG. From FIG. 21, it is possible to analyze the answer, which is an action for the questionnaire question, including the sensitivity when the user selects, more accurately.
また、図22において、表示処理手段390は、コンテンツの画面を表示し、視点位置とみなしたマウスカーソル位置の軌跡を表示すると共に、視点滞留点に、その視点滞留時間に比例した面積を有する円を表示する。図22から、例えば、回答が「朝食を食べる」「朝食を食べない」の2択である場合に、視点の軌跡および視点滞留時間を示す円の大きさにより、その回答が「自信をもった回答」であるか「迷い回答」であるかを判断することができる。これは、図12に示したように、視点の軌跡およびIポイントから判断する場合と同様である。   In FIG. 22, the display processing means 390 displays a content screen, displays the locus of the mouse cursor position regarded as the viewpoint position, and has a circle having an area proportional to the viewpoint residence time at the viewpoint residence point. Is displayed. From FIG. 22, for example, when the answer is “eating breakfast” or “not eating breakfast”, the answer is “confident” depending on the trajectory of the viewpoint and the size of the circle indicating the viewpoint residence time. It is possible to determine whether it is an “answer” or a “questioned answer”. As shown in FIG. 12, this is the same as the case where the determination is made based on the locus of the viewpoint and the I point.
〔他の変形例〕
次に、利用者応答評価システムの他の変形例について説明する。この利用者応答評価システムの他の変形例は、図16に示した構成と同等の構成の下で、被験者600によるマウスなどの画面スクロール操作によって、画面スクロールが停止して表示された部分画面、その部分画面が表示されている滞留時間、および表示された部分画面の順番を画面情報として生成し、利用者応答を評価するものである。
[Other variations]
Next, another modification of the user response evaluation system will be described. Another modified example of this user response evaluation system is a partial screen that is displayed with the screen scrolling stopped by a screen scroll operation such as a mouse by the subject 600 under a configuration equivalent to the configuration shown in FIG. The residence time in which the partial screen is displayed and the order of the displayed partial screens are generated as screen information, and the user response is evaluated.
〔他の変形例/制御手段〕
次に、制御手段301について説明する。図17を参照して、この制御手段301は、コンテンツ読出表示手段335、情報取込手段370、データ処理手段380、および表示処理手段390を備えている。
[Other modifications / control means]
Next, the control means 301 will be described. Referring to FIG. 17, this control means 301 includes a content reading / display means 335, an information fetching means 370, a data processing means 380, and a display processing means 390.
コンテンツ読出表示手段335は、提示コンテンツ用データベース310からコンテンツを読み出し、情報取込手段370から画面スクロール情報を入力し、コンテンツの全体画面のうち画面スクロール情報の示す部分画面を表示するように、提示用ディスプレイ100に出力する。図17において、コンテンツ読出表示手段335は、マウスカーソル位置の代わりに画面スクロール情報を入力する。また、コンテンツ読出表示手段335は、読み出したコンテンツを表示処理手段390に出力すると共に、コンテンツにおけるフレームの番号などの時間情報を情報取込手段370に出力する。   The content reading / display unit 335 reads the content from the presentation content database 310, inputs the screen scroll information from the information capturing unit 370, and displays the partial screen indicated by the screen scroll information in the entire content screen. Output to the display 100. In FIG. 17, the content readout display means 335 inputs screen scroll information instead of the mouse cursor position. The content read / display unit 335 outputs the read content to the display processing unit 390 and outputs time information such as a frame number in the content to the information capturing unit 370.
情報取込手段370は、被験者600の操作によるマウスカーソル位置(座標)、マウスクリック位置(座標)および画面スクロール情報を含む被験者応答情報aを、被験者600のマウス操作およびクリック操作などに応じてそれぞれ入力する。以下、被験者応答情報aを画面スクロール情報として説明する。情報取込手段370は、コンテンツの時間情報をコンテンツ読出表示手段335から入力し、被験者応答情報aとコンテンツとの間の対応付けができるように、入力したコンテンツの時間情報に基づいて同期情報を生成する。そして、情報取込手段370は、被験者応答情報a(画面スクロール情報)および同期情報を取得データ用データベース320に蓄積し、データ処理手段380に出力する。また、情報取込手段370は、画面スクロール情報をコンテンツ読出表示手段335に出力する。   The information capturing means 370 receives subject response information a including the mouse cursor position (coordinates), mouse click position (coordinates), and screen scroll information by the operation of the subject 600 according to the mouse operation and the click operation of the subject 600, respectively. input. Hereinafter, the subject response information a will be described as screen scroll information. The information fetching means 370 inputs the time information of the content from the content reading and displaying means 335, and the synchronization information is obtained based on the input time information of the content so that the subject response information a and the content can be associated with each other. Generate. Then, the information capturing unit 370 accumulates the subject response information a (screen scroll information) and the synchronization information in the acquired data database 320 and outputs the acquired data to the data processing unit 380. Further, the information fetching unit 370 outputs screen scroll information to the content reading / displaying unit 335.
データ処理手段380は、被験者応答情報a(画面スクロール情報)および同期情報を情報取込手段370から入力し、または、取得データ用データベース320から読み出し、コンテンツと共にモニタ画面400に表示するためのデータを生成し、生成したデータを表示処理手段390に出力する。   The data processing means 380 inputs the subject response information a (screen scroll information) and the synchronization information from the information fetching means 370 or reads it from the acquired data database 320 and displays data to be displayed on the monitor screen 400 together with the content. The generated data is output to the display processing means 390.
具体的には、データ処理手段380は、情報取込手段370または取得データ用データベース320からの画面スクロール情報に基づいて、画面がスクロールしないで停止して表示されている時間を計測する。そして、画面がスクロールしないで停止している位置、その場合の滞留時間(停止時間)および停止位置の順番を算出し、被験者応答情報a、同期情報、停止位置、停留時間および停止位置の順番を表示処理手段390に出力する。   Specifically, the data processing unit 380 measures the time during which the screen is stopped and displayed without scrolling based on the screen scroll information from the information fetching unit 370 or the acquired data database 320. And the position where the screen is stopped without scrolling, the stay time (stop time) in that case, and the order of the stop position are calculated, and the subject response information a, the synchronization information, the stop position, the stop time and the order of the stop position are calculated. The data is output to the display processing unit 390.
表示処理手段390は、コンテンツをコンテンツ読出表示手段335から入力し、被験者応答情報a、同期情報、停止位置、停留時間および停止位置の順番をデータ処理手段380から入力する。そして、同期情報に基づいてコンテンツと停止位置などとを対応付け、コンテンツの全体画面のうち停止位置の示す部分画面を特定すると共に、その滞留時間および順番を含む情報を生成し、画面情報としてモニタ画面400に出力して表示する。   The display processing unit 390 inputs content from the content reading display unit 335, and inputs the subject response information a, the synchronization information, the stop position, the stop time, and the stop position from the data processing unit 380. Then, the content is associated with the stop position based on the synchronization information, the partial screen indicated by the stop position is specified in the entire content screen, and information including the staying time and order is generated and monitored as screen information. Output and display on the screen 400.
図29は、表示処理手段390により生成された画面例を示す図であり、スクロール停止位置の推移とその滞留時間を表示する画面例であることを示している。図29によれば、コンテンツの全体画面のうちの画面スクロール停止位置29001〜29003により表される部分画面が、この順番で表示されたことがわかる。また、それぞれの滞留時間が10秒、30秒、20秒であることがわかる。これにより、視点の軌跡や興味・関心度が表示されなくても、被験者600がその領域をどの程度注目していたかについて分析することができる。   FIG. 29 is a diagram showing an example of a screen generated by the display processing means 390, and shows an example of a screen that displays the transition of the scroll stop position and the staying time. According to FIG. 29, it can be seen that the partial screens represented by the screen scroll stop positions 29001 to 29003 in the entire content screen are displayed in this order. Moreover, it turns out that each residence time is 10 seconds, 30 seconds, and 20 seconds. Thus, it is possible to analyze how much the subject 600 has paid attention to the region even if the trajectory of the viewpoint and the interest / degree of interest are not displayed.
以上説明したように、本発明の実施の形態によれば、被験者600に評価すべきコンテンツを提示し、それを視聴した被験者600の被験者応答情報aを取得するのと同期して、生理反応の一つである眼球運動を撮像して眼球運動情報bを取得し、得られたデータ(視点位置、瞳孔径および瞬目発生頻度)から被験者600の興味・関心度を判定し、IDAポイントなどを算出し、提示コンテンツに対する被験者600の応答の有効性を評価するようにした。これにより、少ない被験者数で、従来行われていた紙面やウェブによるアンケート手法よりも、はるかに信頼性のある有効な調査を行うことができ、特にWEBコンテンツに対する利用者の応答を評価するのに好適である。   As described above, according to the embodiment of the present invention, the content to be evaluated is presented to the subject 600, and the physiological response of the subject 600 is acquired in synchronization with the acquisition of the subject response information a of the subject 600 who has viewed the content. One eye movement is imaged to obtain eye movement information b, and the interest / interest level of the subject 600 is determined from the obtained data (viewpoint position, pupil diameter and blink occurrence frequency), and IDA points and the like are obtained. The effectiveness of the response of the subject 600 with respect to the presented content is calculated and evaluated. This makes it possible to conduct a much more reliable and effective survey with a small number of subjects than the conventional paper and web questionnaire methods, particularly for evaluating user responses to web content. Is preferred.
また、評価対象であるコンテンツが提示されてから、それに対する被験者600の応答および生理反応の測定、解析、評価指標の可視化に至るまでの一連の処理を1台の装置で実施することができる。このため、特別高度な専門知識を備えていない一般人でも、アンケートによる調査を短時間かつ低コストにて行うことができる。   In addition, a series of processes from the presentation of the content to be evaluated to the measurement and analysis of the response and physiological response of the subject 600 to the visualization of the evaluation index can be performed by a single device. For this reason, even ordinary people who do not have special advanced expertise can conduct surveys by questionnaire in a short time and at low cost.
なお、制御手段300,301は、CPU、RAMなどの揮発性の記憶媒体、ROMなどの不揮発性の記憶媒体、マウス500やキーボード、ポインティングデバイスなどの入力装置、画像やデータを表示する提示用ディスプレイ100およびモニタ画面400、並びに眼球撮像用カメラ200と通信するためのインタフェースを備えたコンピュータによって構成される。制御手段300に備えたコンテンツ読出表示手段330、情報取込手段340、データ処理手段350および表示処理手段360の各機能、並びに、制御手段301に備えたコンテンツ読出表示手段335、情報取込手段370、データ処理手段380および表示処理手段390の各機能は、これらの機能を記述したプログラムをCPUに実行させることによりそれぞれ実現される。また、これらのプログラムは、磁気ディスク(フロッピィーディスク、ハードディスクなど)、光ディスク(CD−ROM、DVDなど)、半導体メモリなどの記憶媒体に格納して頒布することもできる。   The control means 300 and 301 are a volatile storage medium such as a CPU and a RAM, a non-volatile storage medium such as a ROM, an input device such as a mouse 500, a keyboard, and a pointing device, and a display for displaying images and data. 100, a monitor screen 400, and a computer having an interface for communicating with the eyeball imaging camera 200. The functions of the content read / display unit 330, the information capture unit 340, the data processing unit 350 and the display processing unit 360 provided in the control unit 300, and the content read / display unit 335 and the information capture unit 370 provided in the control unit 301 are provided. The functions of the data processing unit 380 and the display processing unit 390 are realized by causing the CPU to execute a program describing these functions. These programs can also be stored and distributed in a storage medium such as a magnetic disk (floppy disk, hard disk, etc.), optical disk (CD-ROM, DVD, etc.), semiconductor memory, or the like.
【0003】
眼球画像を取り込む情報取込部と、前記取り込まれた眼球画像に基づいて、視点位置及び第1の興味関心度を算出し、視点位置から視点位置の移動速度を算出し、視点位置の移動速度が所定の閾値よりも小さく、かつ前記興味関心度が所定の閾値以上である場合に、視点位置及び該視点位置における第2の興味関心度を、被験者の応答を評価するための評価情報として生成する処理部と、前記提示されたコンテンツと前記生成された評価情報とを同期させ、コンテンツ及び評価情報を含む画面表示情報を生成する表示処理部とを備えたことを特徴とする。
[0016]
本発明によれば、まず、被験者に測定用センサやマーカを装着する必要がなく、測定に伴う被験者の負担が軽減された状態の下で、自然な視聴での応答データを取得できることが期待される。次に、コンテンツの提示から測定、解析および表示までの各機能が1台の制御装置に集約されているため、特に高度な専門知識を必要とすることなく、コンテンツに対する被験者の応答を評価することができる。
[0017]
また、被験者の瞬目の発生頻度を測定、解析した場合には、提示コンテンツに対して興味を持たれたか、あまり興味をもたれなかったかなどを判断し、被験者の応答が正当なものかどうかを評価することができる。
[0018]
本発明において、被験者へ提示するコンテンツは、映像データ、音響データ、ウェブページデータ、コンピュータゲームデータまたはコンピュータプログラムの出力するデータから成り、かつ、文字列、図、記号、絵、写真、動画および音のうちの少なくとも一つの、被験者に応答させるための喚起情報を含むことを特徴とする。これにより、被験者は、容易に応答することができる。
[0019]
また、本発明において、前記情報取込部は、提示されたコンテンツに対し、ボタン、キーボード、マウス、タッチパネル、リモコンおよびゲーム機器付属コントローラのうちのいずれか一つによる被験者の操作に伴う応答情報を取り込むことを特徴とする。
[0020]
また、本発明において、前記処理部は、眼球画像に基づいて、瞬目発生頻度、瞳孔の大きさおよび視点運動データのうちの少なくとも一つのデータを算出し、該データに基づいて前記第1の興味関心度を算出することを特徴とする。
[0021]
発明の効果
[0003]
An information capturing unit that captures an eyeball image, a viewpoint position and a first interest level are calculated based on the captured eyeball image, a movement speed of the viewpoint position is calculated from the viewpoint position, and a movement speed of the viewpoint position Is smaller than a predetermined threshold value and the degree of interest is greater than or equal to the predetermined threshold value, the viewpoint position and the second interest level at the viewpoint position are generated as evaluation information for evaluating the response of the subject. And a display processing unit that synchronizes the presented content and the generated evaluation information and generates screen display information including the content and the evaluation information.
[0016]
According to the present invention, first, it is not necessary to attach a measurement sensor or marker to a subject, and it is expected that response data in natural viewing can be obtained under a state where the burden on the subject accompanying measurement is reduced. The Next, since each function from content presentation to measurement, analysis, and display is integrated into one control device, the response of the subject to the content can be evaluated without requiring a high level of specialized knowledge. Can do.
[0017]
In addition, when measuring and analyzing the blink frequency of the subject, it is determined whether the subject's response is legitimate by judging whether he / she is interested in the presented content. Can be evaluated.
[0018]
In the present invention, the content to be presented to the subject consists of video data, audio data, web page data, computer game data, or data output by a computer program, and includes character strings, diagrams, symbols, pictures, photographs, videos, and sounds. Including at least one arousing information for making the subject respond. Thereby, the test subject can respond easily.
[0019]
Further, in the present invention, the information capturing unit receives response information associated with the operation of the subject by any one of a button, a keyboard, a mouse, a touch panel, a remote controller, and a game device attached controller with respect to the presented content. It is characterized by capturing.
[0020]
In the present invention, the processing unit calculates at least one of eye blink occurrence frequency, pupil size, and viewpoint movement data based on an eyeball image, and the first data is calculated based on the data. The interest level is calculated.
[0021]
The invention's effect
本発明は、コンテンツに対する被験者応答の評価システムに関し、さらに詳しく言えば、コンテンツを観察して被験者が応答する状況を、被験者の生理反応と関連づけて測定し、その測定結果に基づいて評価する技術に関するものである。 The present invention relates to a rating system of the subject responses to content, more particularly, a situation in which the responding subject by observing the co pentene Tsu, measured in association with the physiological response of the subject, based on the measurement result evaluation It is related to the technology.
〔関連出願のクロスリファレンス〕
本出願は、日本国特許出願2006−164019号(2006年5月18日出願)および日本国特許出願2006−254889号(2006年9月20日出願)の優先権を要求し、これらを参照することにより当該出願を本明細書に合体させるものである。
[Cross-reference of related applications]
This application requests and refers to the priority of Japanese Patent Application No. 2006-164019 (filed on May 18, 2006) and Japanese Patent Application No. 2006-254889 (filed on September 20, 2006). The application is incorporated herein by reference.
眼球運動に関する情報を取得し提示コンテンツの評価を行うシステムは、特許文献1などに見られるように、一方的に提示された映像コンテンツによる被験者の受動的な反応を測定し映像コンテンツを評価するものであり、被験者の応答を評価するものではなかった。   The system that acquires information about eye movements and evaluates the presented content measures the passive content of the subject by the unilaterally presented video content and evaluates the video content, as seen in Patent Document 1 and the like. And did not evaluate the subject's response.
また、アンケート調査やテスト問題、ゲームなどの対話型システムでは、マウスなどのポインティングデバイスやキーボードなどを用いた被験者の応答を入力デバイスへのデータ入力として取得するだけであった。   In interactive systems such as questionnaire surveys, test questions, and games, the response of the subject using a pointing device such as a mouse or a keyboard is only acquired as data input to the input device.
被験者が、提示されるコンテンツの内容に関心を持たずに質問に安易に回答した場合、そのような回答を選別する手段がなく、全体の結果の信頼性を下げてしまう。   If the subject answers the question easily without being interested in the content of the presented content, there is no means for selecting such an answer, and the reliability of the overall result is lowered.
従来、これらの安易な回答と信用できる回答とを選別すること、即ち有効な回答を抽出することは非常に困難であり、たとえ可能であっても心理学などの専門家による精細な評価が必要であった。   Traditionally, it has been very difficult to sort out these easy answers and reliable answers, that is, to extract valid answers. Even if possible, detailed evaluation by experts such as psychology is necessary. Met.
また、生理反応を測定することで有効な回答を抽出する場合であっても、被験者にセンサやマーカなどを装着するようにしているため、その場の雰囲気により被験者に緊張感などの特定の意識を抱かせることがあり、評価の信頼性が損われたり回答を拒否されたりするおそれがある。   In addition, even if effective responses are extracted by measuring physiological responses, the subject is equipped with sensors, markers, etc., so that the subject has a specific consciousness such as a sense of tension due to the atmosphere in the place. , And the reliability of the evaluation may be impaired or the answer may be rejected.
つまり、コンテンツを提示し被験者の応答の有効性を評価するシステムに適応することは出来なかった。   In other words, it could not be applied to a system that presents content and evaluates the effectiveness of subjects' responses.
特開2004−282471号公報JP 2004-282471 A
したがって、本発明の課題は、コンテンツに対する被験者の応答の結果を評価する際に、結果の有効性と操作性を向上させることにある。 Accordingly, an object of the present invention, when evaluating the results of the subject's response to content, is to improve the effectiveness and operation of the results.
本発明は、コンテンツに対して被験者の応答を測定する際に、応答データと連動して被験者の生理反応(例えば眼球運動)を測定、解析するものである。これにより、被験者の応答結果の有効性を判定することができる。特に、アンケート収集の評価に好適である。 The present invention, when measuring the response of the subject against the co pentene tool, measure the physiological response of the subject (e.g., eye movement) in conjunction with the response data, and analyzes. Thereby, the effectiveness of a test subject's response result can be determined. In particular, it is suitable for evaluation of questionnaire collection.
例えば、被験者に自然な姿勢でのコンテンツの視聴を求め、被験者の応答を測定するのと同時に、集中の度合いを瞬目発生頻度の変化から、情動の変化を自律神経系反応である瞳孔の変化から、それぞれ判定する。 For example, obtains the viewing of content in a natural posture in the subject, at the same time to measure the response of the subject, the degree of concentration from the change in blink frequency, of the pupil is the autonomic nervous system response to changes in the emotional Judgment is made from each change.
その根拠として、まず、人間の興味を反映する指標では、生理心理学の分野において、瞬目の変化が知られている。すなわち、興味ある対象を視聴している際には瞬目回数は減少し、その前後に増加する。   As the basis for this, first, changes in blinks are known in the field of physiological psychology for indices reflecting human interest. That is, the number of blinks decreases when viewing an object of interest, and increases before and after that.
次に、情動の変化は、自律神経系との深い関わりがあり、簡易に測定できる指標としては、瞳孔反応が知られている。さらに、ユーザーインタフェースの操作性の客観評価では、人間工学の分野において、視線運動に基づく視点の軌跡および視点の滞留時間を手がかりに分析される場合が多い。   Next, emotional changes are closely related to the autonomic nervous system, and pupil response is known as an index that can be easily measured. Furthermore, objective evaluation of user interface operability is often analyzed in the field of ergonomics based on viewpoint trajectory and viewpoint dwell time based on eye movement.
本発明による制御装置は、上記の知見に基づくもので、コンテンツを観察している生理反応を測定して、そのデータに基づいてコンテンツに対する被験者の応答を評価するにあたって、すなわち、コンテンツを観察している被験者の応答を評価するにあたって、前記コンテンツに対する被験者の眼球画像、および、前記コンテンツに対する被験者の操作に伴う応答情報を取り込む情報取込部と、前記取り込まれた眼球画像に基づいて、被験者の視点位置および前記コンテンツに対する興味関心度を算出し、前記視点位置及び興味関心度を、被験者の応答を評価するための評価情報として生成し、さらに、前記取り込まれた応答情報における被験者の操作および前記視点位置に基づいて、被験者の操作時における応答を評価するための評価情報を生成する処理部と、前記コンテンツと前記生成された評価情報とを同期させ、該コンテンツおよび評価情報を含む画面表示情報を生成する表示処理部とを備えたことを特徴とする。 Control apparatus according to the present invention is based on the above findings, by measuring the physiological response that observes the content, in order to evaluate the response of the subject to content based on the data, that is, observing the contents hit to assess the response of a subject that is, the content subject of the eye image with respect to, and an information acquisition unit for capturing the response information associated with the subject's operation on the content, based on the captured eye image Te calculates the interest interest for the viewpoint position and the content of the subject, the viewpoint position and interests of, generated as evaluation information for evaluating the response of the subject, further, the subject in the captured response information Evaluation information for evaluating the response of the subject during the operation based on the operation and the viewpoint position A processing unit to be generated before is synchronized with the logger content and the generated evaluation information, characterized by comprising a display processor for generating a screen display information including the content and rating information.
本発明によれば、まず、被験者に測定用センサやマーカを装着する必要がなく、測定に伴う被験者の負担が軽減された状態の下で、自然な視聴での応答データを取得できることが期待される。次に、測定、解析および表示までの各機能が1台の制御装置に集約されているため、特に高度な専門知識を必要とすることなく、コンテンツに対する被験者の応答を評価することができる。 According to the present invention, first, it is not necessary to attach a measurement sensor or marker to a subject, and it is expected that response data in natural viewing can be obtained under a state where the burden on the subject accompanying measurement is reduced. The Next, measurement, because each function to analysis and display are integrated into a single controller without requiring a particularly high level of expertise, it is possible to evaluate the response of the subject to the content.
また、被験者の瞬目の発生頻度を測定、解析した場合には、コンテンツに対して興味を持たれたか、あまり興味をもたれなかったかなどを判断し、被験者の応答が正当なものかどうかを評価することができる。 In addition, measuring the frequency of occurrence of the blink of the subject, in the case of the analysis is, if they were interested for the content, it is judged and whether was not so much interested, whether or not the response of the subject is legitimate Can be evaluated.
本発明において、コンテンツは、映像データ、音響データ、ウェブページデータ、コンピュータゲームデータまたはコンピュータプログラムの出力するデータから成り、かつ、文字列、図、記号、絵、写真、動画および音のうちの少なくとも一つの、被験者に応答させるための喚起情報を含むことを特徴とする。これにより、被験者は、容易に応答することができる。 In the present invention, content is video data, audio data, web page data, consists data output from the computer game data or computer program, and a character string, graphics, symbols, pictures, photos, of the video and sound It contains at least one alerting information for making a subject respond. Thereby, the test subject can respond easily.
また、本発明において、前記情報取込部は、コンテンツに対し、ボタン、キーボード、マウス、タッチパネル、リモコンおよびゲーム機器付属コントローラのうちのいずれか一つによる被験者の操作に伴う応答情報を取り込むことを特徴とする。 Further, in the present invention, the information acquisition section, compared content, the incorporation button, a keyboard, a mouse, a touch panel, the response information associated with the subject of the operation by any one of the remote control and game equipment accessories controller It is characterized by.
また、本発明において、前記処理部は、眼球画像に基づいて、瞬目発生頻度、瞳孔の大きさおよび視点運動データのうちの少なくとも一つのデータを算出し、該データに基づいて前記興味関心度を算出することを特徴とする。   In the present invention, the processing unit calculates at least one of eye blink frequency, pupil size, and viewpoint movement data based on an eyeball image, and based on the data, the degree of interest Is calculated.
本発明によれば、コンテンツに対する被験者の応答の結果を評価する際に、結果の有効性および操作性を向上させることができる。 According to the present invention, when evaluating the results of the subject's response to content, it is possible to improve the effectiveness and operation of the results.
次に、図面を参照しながら、本発明を実施するための最良の形態について説明するが、本発明はこれに限定されるものではない。   Next, the best mode for carrying out the present invention will be described with reference to the drawings, but the present invention is not limited thereto.
図1に示すように、このコンテンツに対する利用者応答を評価するシステムは、その基本的な構成要素として、コンテンツ提示用のディスプレイ100と、被験者600の眼球を撮像するためのカメラ200と、制御手段300と、提示コンテンツ用データベース310と、取得データ用データベース320と、表示手段としてのモニタ画面400と、被験者600が提示コンテンツに対して応答するための入力手段500とを備えている。   As shown in FIG. 1, the system for evaluating the user response to this content includes, as its basic components, a display 100 for content presentation, a camera 200 for imaging the eyeball of a subject 600, and control means. 300, a presentation content database 310, an acquisition data database 320, a monitor screen 400 as a display unit, and an input unit 500 for the subject 600 to respond to the presentation content.
コンテンツ提示用のディスプレイ100は、通常のブラウン管受像器のほかにプロジェクタのスクリーン画面それに液晶表示パネルなどを使用できる。カメラ200は、赤外線ランプ210を備えた赤外線カメラであることが好ましく、この例では、赤外線カメラとして説明する。   The display 100 for presenting contents can use a screen screen of a projector, a liquid crystal display panel, etc. in addition to a normal cathode ray tube receiver. The camera 200 is preferably an infrared camera provided with an infrared lamp 210. In this example, the camera 200 will be described as an infrared camera.
一例として、赤外線カメラ200は、被験者600から50〜100cmほど離れた位置に、被験者600の眼球を撮像するようにスタンドなどを用いてセットされる。なお、被験者600の頭部の位置を固定するために、顎台220を用意することもできる。また、顔と眼球の位置を自動追尾し眼球運動を計測することも可能である。   As an example, the infrared camera 200 is set using a stand or the like so as to image the eyeball of the subject 600 at a position about 50 to 100 cm away from the subject 600. In addition, in order to fix the position of the head of the subject 600, the chin rest 220 can be prepared. It is also possible to automatically track the position of the face and eyeball and measure eye movement.
これとは別に、ヘッドマウント型装置を用いて赤外線カメラ200を被験者600の頭部に装着させることも可能である。この場合、視聴する対象を、予め撮影した映像とするのではなく、被験者600が視認可能な一般の情景とすることも可能である。その際には、赤外線カメラ200と逆向きに装着させるカメラにより被験者600の視野角内にある情景が同時に撮影され、その撮影された映像が、提示コンテンツと同等のものとして後述する処理に用いられる。   Alternatively, the infrared camera 200 can be attached to the head of the subject 600 using a head-mounted device. In this case, the object to be viewed may be a general scene that can be visually recognized by the subject 600, instead of a pre-captured video. In that case, a scene within the viewing angle of the subject 600 is simultaneously photographed by a camera attached in the opposite direction to the infrared camera 200, and the photographed video is used in the processing described later as being equivalent to the presented content. .
制御手段300は、提示コンテンツ用データベース310からコンテンツを読み出して、ディスプレイ100に対して提示コンテンツを出力し,同時に、被験者応答入力手段500からの被験者応答情報と、赤外線カメラ200からの眼球画像である眼球運動情報の取り込みとを同期して行うと共に、これら取得したデータを取得データ用データベース320に同期情報と共に蓄積する。そして、取得したデータに基づいてデータ解析およびモニタ表示などを行う。この制御手段300は、パーソナルコンピュータ(パソコン)クラスのものであってよい。入力手段500は、ボタン、キーボード、マウス、タッチパネル、リモコン、ゲーム機器に付属のコントローラなどのどれかであってよい。しかし、これらのうちのいずれかに限定されるものではない。   The control means 300 reads the content from the presentation content database 310 and outputs the presentation content to the display 100. At the same time, the control means 300 is subject response information from the subject response input means 500 and an eyeball image from the infrared camera 200. The eye movement information is taken in synchronously, and the acquired data is stored in the acquisition data database 320 together with the synchronization information. Then, data analysis and monitor display are performed based on the acquired data. The control means 300 may be of a personal computer (personal computer) class. The input unit 500 may be any one of a button, a keyboard, a mouse, a touch panel, a remote controller, a controller attached to the game device, and the like. However, it is not limited to any of these.
なお、提示コンテンツ用データベース310と取得データ用データベース320は、インターネットやLANなどのネットワークで接続された、制御手段300とは異なる場所に設置される装置であってよい。   It should be noted that the presentation content database 310 and the acquired data database 320 may be devices installed in a different place from the control means 300 connected by a network such as the Internet or a LAN.
すなわち、例えば異なる場所にホストコンピュータを設置して、そこに上記各フェーズで使用するファイルを持たせ、測定する際に、制御手段300を通信回線を介してホストコンピュータにつなげて必要なファイルなどをダウンロードするようにしてもよく、このような態様も本発明に含まれる。   That is, for example, a host computer is installed in a different location, and the files used in the above phases are held there. When measuring, the control means 300 is connected to the host computer via a communication line, and necessary files are stored. Such a mode may be included in the present invention.
また、本発明は、大型のディスプレイを備えた例えばデスクトップ型のコンピュータばかりでなく、カメラを備えた携帯電話機をはじめとする携帯情報端末にも適用可能である。一例として、上記の各フェーズ機能を備えた制御手段としてのパソコンとカメラ付き携帯情報端末とをインターネット回線を介して接続し、パソコン側から提示コンテンツを送信して、携帯情報端末側からそれに反応する眼球画像を受信するようにしてもよい。   Further, the present invention is applicable not only to a desktop computer having a large display, but also to a portable information terminal such as a mobile phone having a camera. As an example, a personal computer as a control means having each phase function described above and a portable information terminal with a camera are connected via an Internet line, the presentation content is transmitted from the personal computer side, and the mobile information terminal side reacts to it. An eyeball image may be received.
次に、被験者の回答データの有効性を確認する手法について説明する。一例として、説明文である質問とそれに対する回答の選択肢とを画面に表示したアンケートにより、被験者からマウス応答を得るための提示コンテンツを用いる。   Next, a method for confirming the validity of the answer data of the subject will be described. As an example, a presentation content for obtaining a mouse response from a subject is used by a questionnaire in which a question which is an explanatory sentence and a choice of an answer to the question are displayed on the screen.
図2および図3が、図1に示した利用者応答評価システムにより生成された画面例である。生理反応としての眼球運動の解析結果から得る視点の軌跡を折れ線1010、1110に、選択結果をマウスクリックした箇所1020,1120に示している。この結果からわかるとおり、図2においては問題文を読みかつ二つの選択肢を確認したうえで選択している。一方で図3は問題文も読まず、単にひとつの選択肢だけを見ただけで選択している。この場合、図3の示す例では提示コンテンツに注目せずに反応していることが明確であるため、有効なデータでないとしてアンケート調査のサンプルから排除することが可能である。   2 and 3 are examples of screens generated by the user response evaluation system shown in FIG. The trajectory of the viewpoint obtained from the analysis result of eye movement as a physiological reaction is indicated by broken lines 1010 and 1110, and the selection result is indicated by locations 1020 and 1120 where the mouse is clicked. As can be seen from this result, in FIG. 2, the question sentence is read and checked after two options are selected. On the other hand, FIG. 3 does not read the question sentence but selects only one option. In this case, in the example shown in FIG. 3, since it is clear that the reaction is made without paying attention to the presented content, it can be excluded from the questionnaire survey sample as not valid data.
このときの有効であるかどうかの判定としては、問題文の上を視線が忠実に移動したかどうかを、視線運動による視点の軌跡と提示コンテンツの文字列との一致度を測定することで判定する。   To determine whether it is valid at this time, determine whether the line of sight has faithfully moved over the question sentence by measuring the degree of coincidence between the locus of the viewpoint by the line of sight movement and the character string of the presented content. To do.
また、同時に瞳孔径の大小変動は、提示コンテンツに対して興味をもっている(または注目している)かどうかを示す指標として利用可能であることが知られており、この指標を用いてアンケートに対しての注目度を判断する。   At the same time, it is known that the fluctuation of the pupil diameter can be used as an index indicating whether or not you are interested in (or paying attention to) the presented content. Judge the degree of attention.
眼球運動に基づいて得られる、瞬目発生頻度データ、瞳孔径データ、視線運動データに基づく視点の移動速度、および視線運動データから得られる視点の軌跡と予め設定された見るべき視点の軌跡との距離をそれぞれ時間変動値とし、それぞれ、a(t),b(t),c(t),d(t)とする(d(t)は軌道からの外れた距離の逆数を示す)。なお、瞳孔径データの代わりに瞳孔面積データを用いるようにしてもよい。そうすると、提示コンテンツに対する注目度および集中度などを示す興味・関心度の時間変動f(t)は、
f(t)=g(a(t)、b(t),c(t),d(t))
として定義し、この数値の大小により、ある時刻tでの被験者の提示コンテンツに対する興味・関心度を測定できる。
Eye blink frequency data, pupil diameter data, viewpoint movement speed based on eye movement data, and viewpoint trajectory obtained from eye movement data and preset viewpoint trajectory to be obtained based on eye movement The distances are assumed to be time variation values, and are respectively a (t), b (t), c (t), and d (t) (d (t) indicates the reciprocal of the distance off the trajectory). Note that pupil area data may be used instead of pupil diameter data. Then, the time variation f (t) of the interest / interest level indicating the attention level and the concentration level with respect to the presented content is
f (t) = g (a (t), b (t), c (t), d (t))
The degree of interest / interest in the presented content of the subject at a certain time t can be measured by the magnitude of this numerical value.
ここで、p,q,r,sを定数として、w,x,y,zを変数とする関数g(w,x,y,z)を線形結合により、
g(w,x,y,z)=p・w+q・x+r・y+s・z
と定義して単純化することもできるし、w,x,y,zの任意の関数とすることもできる(条件判定つき多項式などの非線形関数でもよい)。
Here, a function g (w, x, y, z) having p, q, r, and s as constants and w, x, y, and z as variables is linearly combined.
g (w, x, y, z) = p · w + q · x + r · y + s · z
It is possible to simplify the definition, and it is also possible to use an arbitrary function of w, x, y, and z (a nonlinear function such as a polynomial with a condition determination may be used).
また、f(t)をある特定時間の間で積分し、その積分値を単位時間当たりに正規化した数値として用いることで、その時間の区間での集中度とすることも可能である。例えば、アンケートの設問毎に応答時の集中度を算出し、あらかじめ設定した閾値以上であるかどうかを比較して被験者の応答が有効であるかどうかを判定できる。   Further, by integrating f (t) during a specific time and using the integrated value as a numerical value normalized per unit time, it is possible to obtain the degree of concentration in the time interval. For example, it is possible to determine whether or not the subject's response is valid by calculating the degree of concentration at the time of response for each question of the questionnaire and comparing whether or not the value is equal to or greater than a preset threshold value.
また、設問に対する集中度が低いと判定した場合には、興味・関心度を高めるようにあらかじめプログラムで組み込んでおき、制御手段300が提示コンテンツを変化させるよう制御することも可能である。   Further, when it is determined that the degree of concentration on the question is low, it is possible to control the control unit 300 to change the presented content by incorporating the program in advance so as to increase the interest / interest level.
なお、被験者600の眼球を撮像するための撮像手段は、例えば瞬目発生頻度のみを測定するのであれば、通常のカメラを使用してもよいが、瞳孔径や視線運動を測定するには、赤外線カメラが好ましく採用される。赤外線カメラによれば、虹彩に写り込んだ外部映像を排除した高コントラスト画像が得られるため、画像処理およびデータ解析を安定かつ高速に実行することができる。   In addition, as for the imaging means for imaging the eyeball of the subject 600, for example, if only the blink occurrence frequency is measured, a normal camera may be used, but in order to measure the pupil diameter and the eye movement, An infrared camera is preferably employed. According to the infrared camera, since a high-contrast image excluding the external image reflected in the iris is obtained, image processing and data analysis can be executed stably and at high speed.
また、制御手段300は、上記生理反応データをパラメータとする多項式または判定式を用いて測定時の被験者の興味・関心度を算出し、被験者が提示コンテンツに対して継続して集中しているかどうかを判定して、被験者応答データの有効性を確認する機能を有している。そして、その有効性に基づいて提示コンテンツのシナリオを変更させることが可能である。   Further, the control means 300 calculates the interest / interest level of the subject at the time of measurement using a polynomial or determination formula using the physiological response data as a parameter, and whether the subject is continuously concentrated on the presented content. And has a function of confirming the validity of the subject response data. And it is possible to change the scenario of a presentation content based on the effectiveness.
また、制御手段300は、提示コンテンツと、それに対応する被験者応答データおよび生理反応データとを関連付けて取得するが、眼球運動の前後関係を知るうえで、提示コンテンツないし眼球運動データを時系列的に表示するようにし、しかも所定のコンテンツの長さにわたってスクロール可能であることが好ましい。   Further, the control means 300 obtains the presentation content and the corresponding subject response data and physiological response data in association with each other. However, in order to know the context of the eye movement, the presentation content or the eye movement data is time-sequentially acquired. It is preferable that the content is displayed and scrollable over the length of the predetermined content.
また、データの解析により回答結果に高い信頼性を持たせるため、制御手段300は、眼球運動データから被験者の注視点位置を算出し、その注視点を提示コンテンツにスーパーインポーズして表示させることもできる。   Further, in order to make the answer result highly reliable by analyzing the data, the control means 300 calculates the position of the gazing point of the subject from the eye movement data, and superimposes the gazing point on the presented content for display. You can also.
〔制御手段〕
次に、図1に示した制御手段300の詳細について、より具体的に説明する。図4は、制御手段300の構成を示す図である。この制御手段300は、コンテンツ読出表示手段330、情報取込手段340、データ処理手段350、および表示処理手段360を備えている。コンテンツ読出表示手段330は、提示コンテンツ用データベース310からコンテンツを読み出し、被験者600にコンテンツを提示するための提示用ディスプレイ100に出力して表示する。また、コンテンツ読出表示手段330は、読み出したコンテンツを表示処理手段360に出力すると共に、コンテンツにおけるフレームの番号などの時間情報を情報取込手段340に出力する。この時間情報は、情報取込手段340において、被験者応答情報aおよび眼球運動情報bとの間の同期情報を生成するために用いられ
る。
[Control means]
Next, the details of the control means 300 shown in FIG. 1 will be described more specifically. FIG. 4 is a diagram illustrating a configuration of the control unit 300. The control unit 300 includes a content read / display unit 330, an information capture unit 340, a data processing unit 350, and a display processing unit 360. The content read / display unit 330 reads the content from the presentation content database 310, and outputs and displays the content on the presentation display 100 for presenting the content to the subject 600. Further, the content read / display unit 330 outputs the read content to the display processing unit 360 and outputs time information such as a frame number in the content to the information capturing unit 340. This time information is used by the information capturing means 340 to generate synchronization information between the subject response information a and the eye movement information b.
情報取込手段340は、マウスカーソル位置(座標)およびマウスクリック位置(座標)を含む被験者応答情報aを、被験者600のマウス操作およびクリック操作に応じてそれぞれ入力すると共に、カメラ200により撮影された眼球画像である眼球運動情報bを入力する。また、情報取込手段340は、コンテンツの時間情報をコンテンツ読出表示手段330から入力し、被験者応答情報および眼球運動情報とコンテンツとの間の対応付けができるように、入力したコンテンツの時間情報に基づいて同期情報を生成する。そして、情報取込手段340は、被験者応答情報a(マウスカーソル位置およびマウスクリック位置)、眼球運動情報bおよび同期情報を取得データ用データベース320に蓄積すると共に、データ処理手段350に出力する。なお、ここでは、被験者応答情報aを、マウスカーソル位置およびマウスクリック位置としているが、これに限定されるものではない。例えば、図1に示した入力手段500がマウスではなく、ボタン、キーボード、タッチパネル、リモコン、ゲーム機器付属コントローラなどの場合には、被験者600の操作によりこれらの機器から取り込むことが可能な位置情報(マウスカーソル位置に相当する情報およびマウスクリック位置に相当する情報)であってもよい。   The information capturing unit 340 inputs subject response information a including a mouse cursor position (coordinates) and a mouse click position (coordinates) according to the mouse operation and click operation of the subject 600, and is taken by the camera 200. The eye movement information b which is an eyeball image is input. In addition, the information fetching unit 340 inputs the time information of the content from the content reading / displaying unit 330, and adds the time information of the input content so that the subject response information and the eye movement information can be associated with the content. Based on this, synchronization information is generated. Then, the information capturing means 340 accumulates the subject response information a (mouse cursor position and mouse click position), eye movement information b, and synchronization information in the acquisition data database 320 and outputs them to the data processing means 350. Here, the subject response information a is the mouse cursor position and the mouse click position, but is not limited to this. For example, when the input unit 500 shown in FIG. 1 is not a mouse but a button, a keyboard, a touch panel, a remote controller, a controller attached to a game device, or the like, position information that can be captured from these devices by the operation of the subject 600 ( Information corresponding to the mouse cursor position and information corresponding to the mouse click position).
データ処理手段350は、被験者応答情報a(マウスカーソル位置およびマウスクリック位置)、眼球運動情報bおよび同期情報を情報取込手段340から入力し、または、取得データ用データベース320から読み出し、コンテンツと共にモニタ画面400に表示するためのデータを生成し、生成したデータを表示処理手段360に出力する。データ処理手段350は、視点・瞳孔・瞬目処理段351、興味・関心度算出段352およびIDASポイント算出段353を備えている。   The data processing means 350 inputs the subject response information a (mouse cursor position and mouse click position), eye movement information b and synchronization information from the information capturing means 340 or reads it from the acquired data database 320 and monitors it together with the contents. Data to be displayed on the screen 400 is generated, and the generated data is output to the display processing unit 360. The data processing means 350 includes a viewpoint / pupil / blink processing stage 351, an interest / interest degree calculation stage 352, and an IDAS point calculation stage 353.
視点・瞳孔・瞬目処理段351は、情報取込手段340または取得データ用データベース320からの眼球運動情報bおよび同期情報に基づいて、コンテンツに対応したその時間における視線運動データ、瞳孔径データおよび瞬目発生頻度データを算出する。具体的には、視点・瞳孔・瞬目処理段351は、眼球運動情報bである眼球画像から瞳孔画像を抽出し、瞳孔の中心位置および予め設定された画面上の位置情報などに基づいて視点位置を算出する。なお、視点位置の算出手法は公知技術であるので、ここでは詳細な説明を省略する。詳細については、本出願時以前に公開された特開2004−282471号公報を参照されたい。この場合、時間変化における視点位置を算出することにより、視点の移動速度や視点の軌跡などの視線運動データを求めることもできる。また、抽出した瞳孔画像に基づいて、瞳孔径を算出する。さらに、抽出した瞳孔画像の時間的変化に基づいて、瞬目発生頻度を算出する。この場合、瞬目回数を求めることもできる。   The viewpoint / pupil / blink processing stage 351 is based on the eye movement information b and the synchronization information from the information capturing means 340 or the acquired data database 320, and the eye movement data, pupil diameter data, Blink occurrence frequency data is calculated. Specifically, the viewpoint / pupil / blink processing stage 351 extracts the pupil image from the eyeball image that is the eye movement information b, and based on the center position of the pupil and preset position information on the screen. Calculate the position. Since the viewpoint position calculation method is a known technique, detailed description thereof is omitted here. For details, see Japanese Patent Application Laid-Open No. 2004-282471 published before the present application. In this case, it is also possible to obtain line-of-sight movement data such as the moving speed of the viewpoint and the locus of the viewpoint by calculating the viewpoint position in time change. Also, the pupil diameter is calculated based on the extracted pupil image. Furthermore, the blink occurrence frequency is calculated based on the temporal change of the extracted pupil image. In this case, the number of blinks can also be obtained.
興味・関心度算出段352は、視点・瞳孔・瞬目処理段351により算出された瞳孔径を用いて、興味・関心度を算出する。具体的には、P(t)を時刻tにおける瞳孔径、I(t)を時刻tにおける興味・関心度とすると、興味・関心度算出段352は、まず、瞳孔径P(t)に対して、高周波成分および測定ノイズを除去するために、移動平均などの演算を施すことにより、低域フィルタ処理を行う。   The interest / interest level calculation stage 352 calculates the interest / interest level using the pupil diameter calculated by the viewpoint / pupil / blink processing stage 351. Specifically, when P (t) is the pupil diameter at time t and I (t) is the interest / interest level at time t, the interest / interest degree calculation stage 352 first calculates the pupil diameter P (t). In order to remove high-frequency components and measurement noise, low-pass filtering is performed by performing operations such as moving average.
そして、興味・関心度算出段352は、以下の式により、興味・関心度I(t)を算出する。
P(t)>thのとき、
それ以外のとき、
ここで、所定時間内における測定データ系列中の瞳孔径P(t)の最大値をPmax、最小値をPmin、閾値をthとする。
Then, the interest / interest degree calculation stage 352 calculates the interest / interest degree I (t) by the following equation.
When P (t)> th,
Otherwise
Here, the maximum value of the pupil diameter P (t) in the measurement data series within a predetermined time is Pmax, the minimum value is Pmin, and the threshold is th.
閾値thは、例えば以下の式のように、最大値Pmaxと最小値Pminとの間の中間値が用いられる。
As the threshold th, for example, an intermediate value between the maximum value Pmax and the minimum value Pmin is used as in the following equation.
なお、興味・関心度算出段352は、視点・瞳孔・瞬目処理段351により算出された瞬目発生頻度が、予め設定された閾値よりも大きいか否かを判断し、連続的に閾値よりも大きくなっている連続的瞬目発生区間については興味・関心度I(t)を強制的に0にするようにしてもよい。   Note that the interest / interest level calculation stage 352 determines whether or not the blink occurrence frequency calculated by the viewpoint / pupil / blink processing stage 351 is greater than a preset threshold, and continuously from the threshold. For the continuous blink generation interval that is also larger, the interest / interest degree I (t) may be forced to zero.
IDASポイント算出段353は、I(Interest:興味関心)ポイント、D(Desire:願望要求)ポイント、A(Action:行動結果)ポイントおよびS(Stay:「滞留時間」)を算出する。   The IDAS point calculation stage 353 calculates an I (Interest: interest) point, a D (Desire: desire request) point, an A (Action: action result) point, and an S (Stay: “dwell time”).
具体的には、IDASポイント算出段353は、Iポイントの算出に際し、興味・関心度算出段352により算出された興味・関心度I(t)の視点を中心とした領域において、以下の条件を満足する場合の視点位置および興味・関心度I(t)をIポイントとして生成する。   Specifically, the IDAS point calculation stage 353 has the following conditions in the area centered on the viewpoint of the interest / interest degree I (t) calculated by the interest / interest degree calculation stage 352 when calculating the I point. The viewpoint position and interest / interest degree I (t) when satisfied are generated as I points.
すなわち、視点・瞳孔・瞬目処理段351により算出された視点位置に対し、所定の時間Δtにおける視点位置の移動量Δd(視点位置の移動速度)が、以下の式のように、予め設定された閾値thvよりも小さいか否かを判断する。
また、興味・関心度I(t)が、以下の式のように、予め設定された閾値thi以上であるか否かを判断する。
That is, with respect to the viewpoint position calculated by the viewpoint / pupil / blink processing stage 351, the movement amount Δd (movement speed of the viewpoint position) of the viewpoint position at a predetermined time Δt is preset as in the following equation. It is determined whether it is smaller than the threshold value thv.
Further, it is determined whether the interest / interest level I (t) is equal to or greater than a preset threshold thi as in the following equation.
つまり、IDASポイント算出段353は、Iポイントの算出に際し、視点位置の移動速度が、予め設定された閾値thvよりも小さく、かつ、興味・関心度I(t)が、予め設定された閾値thi以上である場合に、Iポイントとして視点位置およびそのときの興味・関心度I(t)を生成する。   That is, when calculating the I point, the IDAS point calculation stage 353 has a moving speed of the viewpoint position smaller than the preset threshold thv and the interest / interest degree I (t) is set to the preset threshold thi. In the case described above, the viewpoint position and the interest / interest level I (t) at that time are generated as the I point.
ここで、Iポイントは、興味・関心があったときに瞳孔が散大する原理を活用して抽出される、被計測物であるコンテンツに対する瞳孔の散大ポイントであり、視覚的効果に対する反応を分析するために用いられる。   Here, the I point is a dilation point of the pupil with respect to the content to be measured, which is extracted by utilizing the principle that the pupil dilates when there is an interest, and has a response to the visual effect. Used for analysis.
また、IDASポイント算出段353は、Dポイントの算出に際し、前述のように生成したIポイントに対して、以下の条件を満足する場合の視点位置および興味・関心度I(t)をDポイントとして生成する。   Further, the IDAS point calculation stage 353 uses the viewpoint position and interest / interest degree I (t) when the following conditions are satisfied as the D point for the I point generated as described above when calculating the D point. Generate.
すなわち、第1の条件は、Iポイントであることである。そして、第2の条件は、Iポイントにおける視点位置
と、マウスカーソル位置
との間の距離が、以下の式のように、予め設定された閾値thCIよりも短いこと、
および、その距離が、以下の式のように、時間変化と共に短くなっていることである。
That is, the first condition is that the point is I. The second condition is the viewpoint position at the I point.
And mouse cursor position
The distance between and is shorter than a preset threshold thCI as in the following equation:
And that distance is shortening with time change like the following formula | equation.
すなわち、IDASポイント算出段353は、Dポイントの算出に際し、Iポイントにおいて、その視点位置とマウスカーソル位置との間の距離が閾値thCIよりも短く、かつ、その距離が時間的に短くなっている場合に、Dポイントとして視点位置およびそのときの興味・関心度I(t)を生成する。   In other words, when calculating the D point, the IDAS point calculation stage 353 has a distance between the viewpoint position and the mouse cursor position shorter than the threshold thCI at the I point, and the distance is shortened in terms of time. In this case, the viewpoint position and the interest / interest level I (t) at that time are generated as the D point.
ここで、Dポイントは、Iポイントを追いかけるようにマウスカーソル位置が一致したポイントであり、マウスクリックアクションの前段階として捉えて抽出され、被験者600がマウスをクリックするかしないかの「迷い」やIポイントから一段階進んだ「行動誘導」のポイントを分析するために用いられる。   Here, the D point is a point where the mouse cursor position is matched so as to follow the I point, and is extracted as a pre-stage of the mouse click action. It is used to analyze the points of “behavior induction” that is advanced one step from the I point.
また、IDASポイント算出段353は、入力したマウスカーソル位置である、Iポイントを含むリンクボタンなどの操作対象に対して、Aポイントとして被験者600が発火した位置およびそのときの興味・関心度I(t)を生成する。   In addition, the IDAS point calculation stage 353 is a position where the subject 600 fired as the A point and the interest / interest degree I (at that time) for the operation target such as the link button including the I point, which is the input mouse cursor position. t).
ここで、Aポイントは、被験者600の行動結果である「クリック」したポイントが抽出され、コンテンツ制作・運営の目的どおりに被験者を誘導できているか否かを分析するために用いる。   Here, the A point is used to analyze whether or not the “clicked” point, which is the action result of the subject 600, is extracted and the subject can be guided according to the purpose of content production / management.
また、IDASポイント算出段353は、前述のように生成したIポイント、Dポイントについて、視点位置が滞留した時間Sを算出する。また、前述のように生成したAポイントについて、マウスクリックされたマウスカーソル位置(マウスクリック位置)が滞留した時間Sを算出する。具体的には、視点位置およびマウスカーソル位置が、予め設定された位置範囲内にあるか否かを判断し、その位置範囲内にある場合の滞留時間Sを算出する。   Further, the IDAS point calculation stage 353 calculates the time S during which the viewpoint position stays for the I point and D point generated as described above. Further, for the A point generated as described above, the time S during which the mouse cursor position (mouse click position) where the mouse was clicked is calculated. Specifically, it is determined whether or not the viewpoint position and the mouse cursor position are within a preset position range, and the dwell time S when the position is within the position range is calculated.
ここで、滞留時間Sは、Iポイント、DポイントおよびAポイントに付加されるデータであり、例えば、テキストを読むという「行動」や「迷い」など、時間軸における分析のために用いられる。   Here, the residence time S is data added to the I point, the D point, and the A point, and is used for analysis on the time axis, such as “behavior” or “maze” of reading a text.
このように、データ処理手段350は、視点・瞳孔・瞬目処理段351により算出された視点位置、瞳孔径および瞬目発生頻度、興味・関心度算出段352により算出された興味・関心度、並びに、IDASポイント算出段353により算出されたIポイント(視点位置,興味・関心度)、Dポイント(視点位置,興味・関心度)、Aポイント(マウスクリック位置,興味・関心度)およびS(視点位置,マウスクリック位置,滞留時間)を表示処理手段360に出力すると共に、入力した被験者応答情報a(マウスカーソル位置およびマウスクリック位置)および同期情報を表示処理手段360に出力する。   In this way, the data processing means 350 includes the viewpoint position calculated by the viewpoint / pupil / blink processing stage 351, the pupil diameter and the blink occurrence frequency, the interest / interest degree calculated by the interest / interest degree calculation stage 352, In addition, the I point (viewpoint position, interest / interest degree), D point (viewpoint position, interest / interest degree), A point (mouse click position, interest / interest degree), and S (calculated by the IDAS point calculation stage 353 are calculated. (Viewpoint position, mouse click position, dwell time) are output to the display processing means 360, and the input subject response information a (mouse cursor position and mouse click position) and synchronization information are output to the display processing means 360.
表示処理手段360は、コンテンツをコンテンツ読出表示手段330から入力し、マウスカーソル位置、マウスクリック位置、同期情報、視点位置、瞳孔径、瞬目発生頻度、興味・関心度、Iポイント(視点位置,興味・関心度)、Dポイント(視点位置,興味・関心度)、Aポイント(マウスクリック位置,興味・関心度)およびS(視点位置,マウスクリック位置,滞留時間)をデータ処理手段350から入力する。そして、同期情報に基づいてコンテンツとマウスカーソル位置などとを対応付け、画面に表示するための情報を生成し、画面情報としてモニタ画面400に出力して表示する。表示処理手段360は、コンテンツ評価段361、WEB評価段362、アンケート評価段363、教育・研修用処理段364、および投稿コンテンツ評価段365を備えている。   The display processing unit 360 inputs content from the content readout display unit 330, and performs mouse cursor position, mouse click position, synchronization information, viewpoint position, pupil diameter, blink occurrence frequency, interest / interest level, I point (viewpoint position, Interest (interest / degree of interest), D point (viewpoint position, interest / interest degree), A point (mouse click position, interest / interest degree) and S (viewpoint position, mouse click position, dwell time) are input from the data processing means 350. To do. Then, the contents are associated with the mouse cursor position based on the synchronization information, information for display on the screen is generated, and is output and displayed on the monitor screen 400 as screen information. The display processing unit 360 includes a content evaluation stage 361, a WEB evaluation stage 362, a questionnaire evaluation stage 363, an education / training processing stage 364, and a posted content evaluation stage 365.
図5および図6は、コンテンツ評価段361により生成された画面例を示す図である。これらの画面は、コンテンツに対する感性を計測するためのものであり、これらの画面により、コンテンツ提供者の意図と受験者600である視聴者の興味や関心とが狙いどおりの効果を発揮しているか否か、また、注目点がターゲットを適確に捉えているか否かと解析・分析することができる。   5 and 6 are diagrams showing examples of screens generated by the content evaluation stage 361. FIG. These screens are for measuring the sensibility of the content. Whether these screens have the intended effect of the intention of the content provider and the interest and interest of the viewer who is the examinee 600. It is possible to analyze and analyze whether or not the attention point accurately captures the target.
図5において、コンテンツ評価段361は、コンテンツ画像を領域5001に表示し、そのときのIポイントを円の形態にて表示する。また、Iポイントの興味・関心度をパワーゲージ5003−1,2に表示し、興味・関心度の時間的変化をグラフ5004−1,2およびグラフ5005−1,2に表示する。領域5001において、視点位置に、興味・関心度の大きさに比例した径(直径または半径)の円が表示される。円5002−1は第1の被験者の興味・関心度を示し、円5002−2は第2の被験者の興味・関心度を示す。これらの円は、コンテンツ画像の時間的変化(動画像として領域5001に表示される画像が変わること)に伴う視点の軌跡どおりに、そのときの興味・関心度の値が径に反映されながら移動する。パワーゲージ5003−1は第1の被験者の興味・関心度、パワーゲージ5003−2は第2の被験者の興味・関心度を示す。グラフ5004−1,2は、それぞれ第1,2の被験者の興味・関心度の推移が時系列の折線として表示される。グラフが表示されている領域内のタイムバーは、領域5001に表示されているコンテンツ画像に連動しており、そのときの時間位置および興味・関心度を示している。グラフ5005−1,2は、それぞれグラフ5004−1,2内のカーソル付近(現在点付近)の興味・関心度について横軸の時間を拡大したものである。また、グラフ5004−1,2およびグラフ5005−1,2が表示されている領域内のタイムバーを移動させることにより、その時間位置におけるコンテンツ画像およびIポイントが領域5001に表示される。   In FIG. 5, the content evaluation stage 361 displays a content image in an area 5001, and displays the I point at that time in the form of a circle. Further, the interest / interest level of the I point is displayed on the power gauges 5003-1 and 5003, and the temporal change of the interest / interest level is displayed on the graphs 5004-1 and 5005-1 and 5005-1 and 5005-2. In a region 5001, a circle having a diameter (diameter or radius) proportional to the magnitude of interest / interest is displayed at the viewpoint position. A circle 5002-1 indicates the interest / interest level of the first subject, and a circle 5002-2 indicates the interest / interest level of the second subject. These circles move according to the trajectory of the viewpoint according to the temporal change of the content image (the image displayed in the area 5001 as a moving image changes) while reflecting the value of interest / interest at that time in the diameter. To do. The power gauge 5003-1 indicates the interest / interest level of the first subject, and the power gauge 5003-2 indicates the interest / interest level of the second subject. In graphs 5004-1 and 5002, the transitions of the interests of the first and second subjects are displayed as time-series broken lines. The time bar in the area where the graph is displayed is linked to the content image displayed in the area 5001, and indicates the time position and interest / interest level at that time. Graphs 5005-1 and 5002 are obtained by enlarging the time on the horizontal axis for the interest / degree of interest near the cursor (near the current point) in the graphs 5004-1 and 5002, respectively. Further, by moving the time bar in the area where the graphs 5004-1 and 5005-1 and 5005-1 and 5005-2 are displayed, the content image and the I point at the time position are displayed in the area 5001.
図6において、コンテンツ評価段361は、コンテンツのサムネイルを時系列に領域6001に表示し、コンテンツに付加された音声周波数のデータを、右(R)の音声周波数の波形グラフ6002−1および左(L)の音声周波数の波形グラフ6002−2として表示する。また、コンテンツ評価段361は、それぞれの被験者の興味・関心度の時間的変化をグラフ6003〜6006として表示する。この場合、横軸は時間を示し、コンテンツのサムネイル、音声周波数の波形グラフ6002−1,2、およびグラフ6003〜6006は同じ時間軸上に対応して表示される。   In FIG. 6, the content evaluation stage 361 displays content thumbnails in an area 6001 in time series, and displays audio frequency data added to the content on the right (R) audio frequency waveform graph 6002-1 and left ( L) is displayed as a waveform graph 6002-2 of the audio frequency. Further, the content evaluation stage 361 displays the temporal changes in the interest / interest level of each subject as graphs 6003 to 6006. In this case, the horizontal axis indicates time, and the content thumbnail, the audio frequency waveform graphs 6002-1 and 6002, and the graphs 6003 to 6006 are displayed correspondingly on the same time axis.
図7〜図10は、WEB評価段362により生成された画面例を示す図である。これらの画面は、WEB(ウェブページ)画面に対する感性を計測するためのものであり、これらの画面により、被験者600であるユーザがWEB画面内で多く見ていた場所、注目していた場所、マウスカーソルの動きなどを明らかにすることができる。   7 to 10 are diagrams showing examples of screens generated by the WEB evaluation stage 362. FIG. These screens are for measuring the sensitivity to the WEB (web page) screen, and by these screens, the place where the user who is the subject 600 often viewed, the place where the user was paying attention, the mouse The movement of the cursor can be clarified.
図7において、WEB評価段362は、コンテンツであるWEB画面を表示し、その画面における視点の軌跡7001を表示すると共に、Iポイントを円の形態にて表示する。Iポイントは、その視点位置に、興味・関心度の大きさに比例した径の円として表示される。図7から、WEBサイトのページ毎の視点の軌跡やIポイントの推移および興味・関心度を把握することができ、ユーザの興味関心の推移を分析することができる。   In FIG. 7, the WEB evaluation stage 362 displays a WEB screen as content, displays a locus 7001 of the viewpoint on the screen, and displays an I point in the form of a circle. The I point is displayed at the viewpoint position as a circle having a diameter proportional to the degree of interest and interest. From FIG. 7, the trajectory of the viewpoint for each page of the WEB site, the transition of the I point and the interest / interest level can be grasped, and the transition of the interest of the user can be analyzed.
なお、WEB評価段362は、視点の軌跡7001を表示するに際し、その視点移動の速度に応じた形態で表示するようにしてもよい。一般に、人が画面上の対象物を認識する際に、視点の軌跡は、滞留→速い移動→滞留を繰り返すこととなる。この視点の軌跡から以下の傾向を導き出すことができる。
(1)興味ある箇所では視点の滞留時間が長くなる。
(2)全体的に認識しようとする場合、速い視点移動となる。視点の軌跡は直線になる。
(3)じっくりと見ようとする場合や読もうとする場合、視点移動は遅くなる、または滞留する。視点の軌跡は曲線になる。
Note that the WEB evaluation stage 362 may display the viewpoint trajectory 7001 in a form corresponding to the speed of the viewpoint movement. In general, when a person recognizes an object on a screen, the locus of the viewpoint repeats stay → fast movement → stay. The following tendencies can be derived from the trajectory of this viewpoint.
(1) The staying time of the viewpoint becomes long in the part of interest.
(2) When trying to recognize as a whole, the viewpoint moves quickly. The locus of the viewpoint becomes a straight line.
(3) The viewpoint movement becomes slow or stays when looking carefully or reading. The trajectory of the viewpoint becomes a curve.
WEB評価段362は、前述の(1)〜(3)を区別するための処理を行い画面に表示する。具体的には、視点の軌跡7001から一定のサンプリングにおける標本を選定し、隣り合う標本点間の距離を算出し、その距離が予め設定された閾値よりも大きい場合の標本間を点線で表示し、その距離が予め設定された閾値以下の場合の標本間を実線で表示する。これにより、(2)および(3)を区別することができる。この場合、点線および実線の代わりに線の太さで区別するようにしてもよい。また、(1)についてはIポイントを表示する。なお、このような(1)〜(3)を区別するための表示処理については、WEB評価段362による処理だけでなく、視点の軌跡を表示する処理(図11、図12など)についても適用がある。また、後述する、マウスカーソル位置の軌跡を視点の軌跡とみなして表示する処理(図19など)についても適用がある。   The WEB evaluation stage 362 performs a process for distinguishing the above (1) to (3) and displays it on the screen. Specifically, a sample at a certain sampling is selected from the viewpoint locus 7001, the distance between adjacent sample points is calculated, and the distance between samples when the distance is larger than a preset threshold value is displayed with a dotted line. The distance between the samples when the distance is equal to or less than a preset threshold is displayed with a solid line. Thereby, (2) and (3) can be distinguished. In this case, you may make it distinguish by the thickness of a line instead of a dotted line and a continuous line. For (1), an I point is displayed. Note that the display process for distinguishing between (1) to (3) is applied not only to the process by the WEB evaluation stage 362 but also to the process of displaying the locus of the viewpoint (FIGS. 11, 12, etc.). There is. In addition, the present invention can be applied to processing (for example, FIG. 19) for displaying the locus of the mouse cursor position as a viewpoint locus, which will be described later.
図8において、WEB評価段362は、コンテンツであるWEB画面を表示し、その画面における視点の軌跡8001を表示すると共に、Iポイント、DポイントおよびAポイントを円の形態にて表示する。Iポイント、DポイントおよびAポイントは、その視点位置に、興味・関心度の大きさに比例した径の円として表示される。図8から、WEBサイトのページ毎に、I(興味関心)→D(願望欲求)→A(行動結果)というユーザの感情の推移を分析することができる。   In FIG. 8, a WEB evaluation stage 362 displays a WEB screen as content, displays a viewpoint locus 8001 on the screen, and displays an I point, a D point, and an A point in the form of a circle. The I point, the D point, and the A point are displayed as circles having a diameter proportional to the degree of interest / interest at the viewpoint position. From FIG. 8, it is possible to analyze a user's emotional transition of I (interest) → D (desired desire) → A (action result) for each page of the WEB site.
図9において、WEB評価段362は、コンテンツであるWEB画面を表示し、その画面の領域a〜hにおける滞留時間を表示する。この場合、WEB評価段362は、領域a〜h毎に、入力した時系列の視点位置に基づいて、その視点位置の滞留時間を算出する。領域a〜hは、予め設定されており、滞留時間は、視点位置がそれぞれの領域a〜hに滞留した積算時間を示す。   In FIG. 9, the WEB evaluation stage 362 displays the WEB screen as the content, and displays the residence time in the areas a to h of the screen. In this case, the WEB evaluation stage 362 calculates the dwell time at the viewpoint position based on the input time-series viewpoint position for each of the areas a to h. The areas a to h are set in advance, and the residence time indicates the accumulated time that the viewpoint position stays in each of the areas a to h.
図10において、WEB評価段362は、アンケート質問および回答形式のWEB画面に対する被験者600であるユーザの応答から、データを集計して表示する。具体的には、回答をマウスクリックで選択する場合に、視点位置がどちらの回答の側に滞留していたかを示す回答度合いを滞留時間として積算し、予め設定された重み係数を用いて補正して表示する。図10の左側には、複数の被験者600の回答に対する度合いの集計結果が表示されている。また、図10の右側には、複数の被験者600の回答に対する度合いの頻度がグラフとして表示されている。図10から、アンケート質問に対するアクションである回答の有効性を、ユーザが選択する際の感性を含めて、一層正確に分析することができる。   In FIG. 10, the WEB evaluation stage 362 aggregates and displays data from the response of the user who is the subject 600 to the questionnaire question and the WEB screen in the answer format. Specifically, when selecting an answer with a mouse click, the answer level indicating which answer position the viewpoint position was staying on is accumulated as the staying time and corrected using a preset weighting factor. To display. On the left side of FIG. 10, the total results of the degrees with respect to the responses of the plurality of subjects 600 are displayed. In addition, on the right side of FIG. 10, the frequency of the degree to the responses of the plurality of subjects 600 is displayed as a graph. From FIG. 10, it is possible to analyze the effectiveness of the answer, which is an action for the questionnaire question, including the sensitivity when the user selects, more accurately.
図11、図12、図23ないし図27は、アンケート評価段363により生成された画面例を示す図である。これらの画面は、アンケート質問および回答形式の画面に対する感性を計測するためのものである。   FIGS. 11, 12, and 23 to 27 are diagrams showing examples of screens generated by the questionnaire evaluation stage 363. These screens are used to measure the sensibility of the questionnaire question and answer format screens.
図11において、アンケート評価段363は、コンテンツの画面を表示し、その画面における視点の軌跡11001を表示する。図11に示した画面は、質問に関する商品が表示され、アンケート質問および回答形式で構成されている。図11から、商品を見ながら回答しているか否か、視点の軌跡から有効な回答か否かを判断することができ、商品を見ない回答および有効でない回答を抽出して回答集計から除外することにより、回答集計結果の有効性を向上させることができる。   In FIG. 11, a questionnaire evaluation stage 363 displays a content screen and displays a viewpoint trajectory 11001 on the screen. The screen shown in FIG. 11 displays products related to the question, and is configured in a questionnaire question and answer format. From FIG. 11, it can be determined whether or not the response is made while viewing the product, and whether or not the response is valid from the trajectory of the viewpoint. Responses that do not see the product and responses that are not valid are extracted and excluded from the response aggregation. As a result, the effectiveness of the answer count result can be improved.
図12において、アンケート評価段363は、コンテンツの画面を表示し、その画面における視点の軌跡を表示すると共に、Iポイントを円の形態にて表示する。図12に示した画面は、図11と同様に、商品が表示され、アンケート質問および回答形式で構成されている。図12から、例えば、回答が「はい」「いいえ」「どちらでもない」の3択である場合に、視点の軌跡およびIポイントの円の大きさにより、その回答が「自信をもった回答」であるか「迷い回答」であるかを判断することができる。図12の実線で示す視点の軌跡の回答の場合は、視点の軌跡が複数の回答の間で行き来していないから、「自信をもった回答」であると判断できる。一方、点線で示す視点の軌跡の回答の場合は、視点の軌跡が複数の回答の間で行き来しているから、「迷い回答」であると判断できる。   In FIG. 12, the questionnaire evaluation stage 363 displays the content screen, displays the locus of the viewpoint on the screen, and displays the I point in the form of a circle. The screen shown in FIG. 12 displays products as in FIG. 11, and is configured in a questionnaire question and answer format. From FIG. 12, for example, when the answer is “Yes”, “No”, or “None”, the answer is “confident answer” depending on the locus of the viewpoint and the size of the circle of the I point. It is possible to determine whether it is a “question answer”. In the case of the viewpoint trajectory answer indicated by the solid line in FIG. 12, the viewpoint trajectory does not go back and forth between a plurality of answers, so it can be determined that the answer is a “confident answer”. On the other hand, in the case of the response of the viewpoint trajectory indicated by the dotted line, it can be determined that the viewpoint trajectory moves between a plurality of answers, so that it is a “lost answer”.
図23および図24において、コンテンツ読出表示手段330が図23に示すコンテンツを提示用ディスプレイ100に出力して表示し、被験者600によりAまたはBの仮選択操作(関心の高い方の枠内にマウスのカーソルを置いてクリック操作(選択操作した後にキャンセルして再選択する操作を含む))が行われ、選択されたことを示す表示(枠に色を付ける、枠を太くする表示など)がなされ、そして選択の確定操作が行われると、情報取込手段340およびデータ処理手段350が前述した各種処理を行う。このような処理を複数の被験者600を対象にして行い、複数の被験者600による被験者応答情報aおよび眼球運動情報bが取得され格納される。この場合、情報取込手段340は、被験者応答情報aとして、最終的に被験者600が選択した確定操作(AまたはB)の情報だけでなく、確定操作の前の仮選択操作の情報およびその回数(Aを選択した回数およびBを選択した回数)の情報も取り込む。   23 and FIG. 24, the content readout display means 330 outputs and displays the content shown in FIG. 23 on the display for display 100, and the subject 600 performs a temporary selection operation of A or B (with the mouse in the frame of higher interest). Is clicked (including the operation to cancel and then reselect after selecting), and the display indicating that it has been selected (coloring the frame, displaying the frame thicker, etc.) When the selection confirmation operation is performed, the information fetching unit 340 and the data processing unit 350 perform the various processes described above. Such processing is performed for a plurality of subjects 600, and subject response information a and eye movement information b by the subjects 600 are acquired and stored. In this case, the information capturing unit 340 not only includes information on the confirmation operation (A or B) finally selected by the subject 600 as the subject response information a, but also information on the provisional selection operation before the confirmation operation and the number of times. Information of (the number of times A is selected and the number of times B is selected) is also captured.
図24は、アンケート評価段363により生成された画面例(選択肢が2つの場合)を示す図である。アンケート評価段363は、コンテンツの画面、その画面における視点の軌跡、並びに、興味・関心度の度合いに応じて円の形態に表したIポイントおよびAポイントを合成した画面情報を生成して表示する。図24において、中抜きの円が仮選択操作時の注目点を示すIポイントであり、斜線の円が確定操作時の注目点を示すAポイントである。図24によれば、被験者600が確定操作までの間に、どの箇所に注目していたかが明確になる。   FIG. 24 is a diagram illustrating an example of a screen generated by the questionnaire evaluation stage 363 (when there are two options). The questionnaire evaluation stage 363 generates and displays screen information obtained by synthesizing the I point and the A point expressed in the form of a circle according to the content screen, the locus of the viewpoint on the screen, and the degree of interest / interest. . In FIG. 24, a hollow circle is an I point indicating a point of interest at the time of a temporary selection operation, and a hatched circle is an A point indicating a point of interest at the time of a confirmation operation. According to FIG. 24, it becomes clear which part the subject 600 was paying attention to before the confirmation operation.
また、アンケート評価段363は、被験者600毎に、被験者応答情報aに基づいてA,Bの選択を区別して確信度を算出し、A,Bを選択した被験者600をそれぞれ集計して確信度の頻度分布および平均値などを算出する。確信度の算出手法については後述する。そして、これらの算出データを用いて確信度の頻度分布グラフを生成し、図25に示す画面を表示する。   Further, the questionnaire evaluation stage 363 calculates the certainty factor for each subject 600 by distinguishing the selection of A and B based on the subject response information a, and totals the subjects 600 who selected A and B, respectively. Calculate frequency distribution and average value. A method of calculating the certainty factor will be described later. And the frequency distribution graph of a certainty factor is produced | generated using such calculation data, and the screen shown in FIG. 25 is displayed.
図25において、横軸は確信度を示しており、縦軸は選択した人数の割合を示している。つまり、この折線グラフは、左半分にAの確信度頻度分布(中心部分から左に向かって確信度は高くなる。)を、右半分にBの確信度頻度分布(中心部分から右に向かって確信度は高くなる。)をそれぞれ示している。また、点線は、それぞれの確信度頻度分布における確信度の平均値を示している。確信度の頻度分布グラフの下に表示されたバーグラフは選択率を示している。   In FIG. 25, the horizontal axis indicates the certainty factor, and the vertical axis indicates the ratio of the selected number of people. That is, in this line graph, the reliability frequency distribution of A (the reliability increases from the central part to the left) on the left half, and the reliability frequency distribution of B (the central part toward the right) on the right half. The confidence level is high.) Moreover, the dotted line has shown the average value of the reliability in each reliability frequency distribution. The bar graph displayed below the certainty frequency distribution graph indicates the selectivity.
図25によれば、選択肢Aの確信度の平均値が77、選択肢Bの確信度の平均値が49であり、Aを選択した被験者600は全体の70%であり、確信度が比較的高いことがわかる。このように、A,Bをそれぞれ選択した被験者600における確信度の平均値および頻度分布がわかり、被験者600の選択の傾向を分析することができ、コンテンツのデザイン評価などに新たな指標を追加することができる。   According to FIG. 25, the average value of the certainty factor of the option A is 77, the average value of the certainty factor of the option B is 49, 70% of the subjects 600 who have selected A, and the certainty factor is relatively high. I understand that. In this way, the average value and frequency distribution of the certainty factor in the subject 600 who respectively selects A and B can be known, and the selection tendency of the subject 600 can be analyzed, and a new index is added to content design evaluation and the like. be able to.
次に、選択肢が2つ(A,B)の場合における確信度の算出手法について説明する。ある被験者600において、領域A,Bに対する計測中のサンプル時刻iにおける興味・関心度をIA(i),IB(i)とすると、注目滞留度GA,GBを以下の式により算出する。
ここで、滞留点判定値δA(i),δB(i)、すなわちδpは以下のように定義される。
滞留点判定値δpは、視点が領域内に存在する場合に1、領域外に存在する場合に0であることを示している。
Next, a method for calculating the certainty factor when there are two options (A, B) will be described. In a certain subject 600, when the interest / interest degrees at the sample time i during measurement for the regions A and B are IA (i) and IB (i), the attention retention degrees GA and GB are calculated by the following equations.
Here, the stay point determination values δA (i) and δB (i), that is, δp are defined as follows.
The staying point determination value δp indicates that the viewpoint is 1 when the viewpoint exists in the area and 0 when the viewpoint exists outside the area.
そして、選択肢Aへの(選択肢Bに対する)注目偏度DA、および、選択肢Bへの(選択肢Aに対する)注目偏度DBを以下の式により算出する。
ここで、注目偏度DA,DBの値域は[0,1]である。
Then, attention bias DA for option A (for option B) and attention bias DB for option B (for option A) are calculated by the following equations.
Here, the value ranges of the attentional biases DA and DB are [0, 1].
そして、選択肢A,Bを仮選択した回数をそれぞれCA,CBとすると、Aを選択した場合の選択偏度kA、および、Bを選択した場合の選択偏度kBを以下の式により算出する。
ここで、選択偏度kA,kBは、確定操作による最終選択までの仮選択操作の回数を評価し、確信度を重み付けするための係数であり、その値域は(0,1)である。この選択偏度kA,kBは、確定操作による最終選択と異なる選択肢を選択すればするほど、その値が小さくなる。
Then, assuming that CA and CB are the numbers of times the options A and B are temporarily selected, the selection bias kA when A is selected and the selection bias kB when B is selected are calculated by the following equations.
Here, the selection biases kA and kB are coefficients for evaluating the number of temporary selection operations up to the final selection by the confirmation operation and weighting the certainty factor, and their value ranges are (0, 1). The selection bias kA, kB becomes smaller as an option different from the final selection by the confirmation operation is selected.
そして、確定操作による最終選択肢がAである場合の確信度waA、および、確定操作による最終選択肢がBである場合の確信度waBを、注目偏度DA,DBおよび選択偏度kA,kBから以下の式により算出する。
ここで、確信度waA,waBの値域は[0,100]であり、その値が大きいほど確信度が高い。
Then, the certainty factor waA when the final option by the confirming operation is A and the certainty factor waB when the final option by the confirming operation is B are the following from the attention bias DA, DB and the selected biases kA, kB: It is calculated by the following formula.
Here, the range of values of the certainty factors waA and waB is [0, 100], and the greater the value, the higher the certainty factor.
次に、選択肢が3以上の場合における確信度の算出手法について説明する。この説明は、前述した選択肢が2の場合にも適用がある。以下、領域j(0≦j≦n)は、選択肢jを囲む四角形で囲まれた部分とする。ある被験者600において、領域Pに対する計測中のサンプル時刻iにおける興味・関心度をIp(i)とすると、注目滞留度GPを以下の式により算出する。
ここで、滞留点判定値δP(i)、すなわちδpは以下のように定義される。
滞留点判定値δpは、視点が領域内に存在する場合に1、領域外に存在する場合に0であることを示している。
Next, a method for calculating the certainty factor when there are three or more options will be described. This explanation also applies to the case where the above-mentioned option is 2. Hereinafter, the region j (0 ≦ j ≦ n) is a portion surrounded by a rectangle surrounding the option j. In a subject 600, if the interest / interest level at the sample time i being measured for the region P is Ip (i), the attention staying degree GP is calculated by the following equation.
Here, the staying point determination value δP (i), that is, δp is defined as follows.
The staying point determination value δp indicates that the viewpoint is 1 when the viewpoint exists in the area and 0 when the viewpoint exists outside the area.
画面中の領域jに対する注目滞留度Gjは以下のとおりである。
The attention staying degree Gj for the region j in the screen is as follows.
そして、選択肢jへの(全選択肢に対する)注目偏度Djを以下の式により算出する。
ここで、注目偏度Djの値域は[0,1]である。
Then, the attention bias Dj (with respect to all options) for the option j is calculated by the following equation.
Here, the range of the target bias Dj is [0, 1].
そして、選択肢jを仮選択した回数をそれぞれCjとすると、jを選択した場合の選択偏度kjを以下の式により算出する。
ここで、選択偏度kjは、確定操作による最終選択までの仮選択操作の回数を評価し、確信度を重み付けするための係数であり、その値域は(0,1)である。この選択偏度kjは、確定操作による最終選択と異なる選択肢を選択すればするほど、その値が小さくなる。
Then, assuming that the number of times the option j is temporarily selected is Cj, the selection bias kj when j is selected is calculated by the following equation.
Here, the selection bias kj is a coefficient for evaluating the number of temporary selection operations until the final selection by the confirmation operation and weighting the certainty factor, and its value range is (0, 1). The selection bias kj becomes smaller as an option different from the final selection by the confirmation operation is selected.
そして、確定操作による最終選択肢がjである場合の確信度wajを、注目偏度Djおよび選択偏度kjから以下の式により算出する。
ここで、確信度wajの値域は[0,100]であり、その値が大きいほど確信度が高い。
Then, the certainty factor waj when the final option by the confirmation operation is j is calculated from the attention bias Dj and the selection bias kj by the following formula.
Here, the value range of the certainty factor waj is [0, 100], and the greater the value, the higher the certainty factor.
このように、アンケート評価段363は、被験者600毎に、被験者応答情報aに基づいてj(2以上の選択肢)の選択を区別して確信度を算出し、jを選択した被験者600をそれぞれ集計して確信度の頻度分布および平均値などを算出する。そして、これらの算出データを用いて確信度の頻度分布グラフを生成し、表示する。   In this way, the questionnaire evaluation stage 363 calculates the certainty factor for each subject 600 by distinguishing the selection of j (two or more options) based on the subject response information a, and totals the subjects 600 who selected j. To calculate the frequency distribution and average value of certainty. Then, using these calculated data, a frequency distribution graph of confidence is generated and displayed.
図26および図27は、アンケート評価段363により生成された画面例(選択肢が4つの場合)を示す図である。アンケート評価段363は、コンテンツの画面、その画面における視点の軌跡、並びに、興味・関心度の大きさに応じて円の形態に表したIポイントおよびAポイントを合成した画面情報を生成して表示する。図において、中抜きの円が仮選択操作時の注目点を示すIポイントであり、斜線の円が確定操作時の注目点を示すAポイントである。本図によれば、被験者600が確定操作までの間に、どの箇所に注目していたかが明確になる。また、視点の軌跡およびIポイントの表示から、図26では、視点の動きが多く仮選択の数も多いことから、「迷い回答」(迷いの多い回答)であることがわかる。また、図27では、視点の動きが少なく仮選択の数も少ないことから「自信をもった回答」(迷いの少ない回答)であることがわかる。   26 and 27 are diagrams showing examples of screens generated by the questionnaire evaluation stage 363 (when there are four options). The questionnaire evaluation stage 363 generates and displays screen information obtained by synthesizing the I point and A point expressed in a circle according to the content screen, the locus of the viewpoint on the screen, and the degree of interest / interest. To do. In the figure, a hollow circle is an I point that indicates a point of interest during a temporary selection operation, and a hatched circle is an A point that indicates a point of interest during a confirmation operation. According to this figure, it becomes clear which part the subject 600 was paying attention to before the confirmation operation. In addition, from the viewpoint trajectory and the display of the I point, it can be seen that in FIG. 26, the viewpoint movement is large and the number of provisional selections is large, so that it is a “question answer” (an answer with many questions). Further, in FIG. 27, since the movement of the viewpoint is small and the number of provisional selections is small, it can be understood that the answer is “a confident answer” (an answer with little confusion).
図13および図28は、教育・研修用処理段364により生成された画面例を示す図である。この画面は、安全教育などの様々な教育および研修に対し、感性計測という指標を加えたものである。   FIG. 13 and FIG. 28 are diagrams showing examples of screens generated by the education / training processing stage 364. In this screen, an index called sensitivity measurement is added to various education and training such as safety education.
図13において、教育・研修用処理段364は、コンテンツを領域1301に表示し、そのときのIポイントを円の形態にて表示する。また、興味・関心度(注目度)をパワーゲージ1303−1,2に表示し、興味・関心度(注目度)の時間的変化をグラフ1304−1,2およびグラフ5005−1,2に表示する。図13に示す領域1301、パワーゲージ1303−1,2、グラフ1304−1,2、グラフ1305−1,2は、図5に示した領域5001、パワーゲージ5003−1,2、グラフ5004−1,2、グラフ5005−1,2にそれぞれ相当する。図13に示す画面は、図5に示した画面と同じ構成および内容であるので、ここでは説明を省略する。図13では、熟練運転者を第1の被験者とし、無免許運転者を第2の被験者とした場合の興味・関心度(注目度)の時間変化がグラフ5004−1,2にそれぞれ示されている。このグラフから、熟練運転者の興味・関心度(注目度)は比較的平均しているのに対し、無免許運転者の興味・関心度(注目度)は平均しておらず変動が激しいことがわかる。   In FIG. 13, the education / training processing stage 364 displays the content in the area 1301 and displays the I point at that time in the form of a circle. Also, the interest / interest level (attention level) is displayed on the power gauges 1303-1 and 1303, and the temporal changes in the interest / interest level (attention level) are displayed on the graphs 1304-1 and 1305-1 and 5005-1 and 500-5. To do. The region 1301, the power gauges 1303-1 and 1302, the graphs 1304-1 and 1305-2, and the graphs 1305-1 and 1302 shown in FIG. 13 are the region 5001, the power gauges 5003-1 and 5002, and the graph 5004-1 shown in FIG. , 2 and graphs 5005-1 and 5005-2, respectively. The screen shown in FIG. 13 has the same configuration and contents as the screen shown in FIG. In FIG. 13, graphs 5004-1 and 5002 show temporal changes in interest and interest (attention level) when the skilled driver is the first subject and the unlicensed driver is the second subject. Yes. From this graph, the interest / interest level (attention level) of skilled drivers is relatively average, whereas the interest / interest level (attention level) of unlicensed drivers is not average, and the fluctuation is severe. I understand.
図28において、教育・研修用処理段364は、図13に示した画面情報を生成して表示する際に、さらに、コンテンツに付随した危険指示情報を危険指示表示1306として表示する。この場合、教育・研修用処理段364が入力するコンテンツには危険指示情報が含まれており、この危険指示情報は、危険であることを判断すべきタイミングで表示されるようになっている。また、被験者600が、コンテンツを見て危険であると判断したときにマウス操作などによりボタンを押下すると、教育・研修用処理段364は、危険であると判断したことを示す被験者応答情報aを入力し、そのボタン押下したタイミングでボタン押下表示1307を表示する。このように、車の運転教育を受ける被験者600は、コンテンツを見ながら危険を判断した場合に、マウス操作などによりボタンを押下する。このとき、教育・研修用処理段364は、車の運転教育を受ける被験者600の感性を、危険指示表示1306の表示タイミングと、被験者600のボタン操作などによるボタン押下タイミングとにより計測することができる。また、被験者600は、これらの表示タイミングを確認することにより、自らによる車の運転が安全であるか否かを判断することができる。   28, when the screen information shown in FIG. 13 is generated and displayed, the education / training processing stage 364 further displays the danger instruction information attached to the content as the danger instruction display 1306. In this case, the content input by the education / training processing stage 364 includes danger instruction information, and this danger instruction information is displayed at a timing at which it should be determined that it is dangerous. When the subject 600 depresses a button by operating a mouse or the like when judging that the content is dangerous, the education / training processing stage 364 displays subject response information a indicating that the content is judged dangerous. A button press display 1307 is displayed when the input is made and the button is pressed. In this way, the subject 600 receiving car driving education presses the button by operating the mouse or the like when judging the danger while viewing the content. At this time, the education / training processing stage 364 can measure the sensibility of the subject 600 who receives driving education from the display timing of the danger instruction display 1306 and the button press timing by the button operation of the subject 600 or the like. . In addition, the subject 600 can determine whether or not the driving of the vehicle by himself / herself is safe by checking these display timings.
図14は、投稿コンテンツ評価段365を用いる場合のネットワークシステムの構成例を示す図である。このネットワークシステムは、図1に示したコンテンツの利用者応答評価システムが設置された感性計測設備と、投稿コンテンツ評価サービスを受ける利用者(投稿者)が操作するPC(パーソナルコンピュータ)またはモバイル端末とから構成され、感性計測設備内の利用者応答評価システムとPCまたはモバイル端末とがインターネットにより接続される。   FIG. 14 is a diagram illustrating a configuration example of a network system when the posted content evaluation stage 365 is used. This network system includes a sensibility measurement facility in which the content user response evaluation system shown in FIG. 1 is installed, a PC (personal computer) or a mobile terminal operated by a user (poster) who receives a posted content evaluation service, and The user response evaluation system in the sensibility measurement facility and the PC or mobile terminal are connected via the Internet.
PCなどは、投稿コンテンツ評価サービスを受ける利用者の操作により、指定された被験者600の年代情報、評価される画像などをインターネットを介して利用者応答評価システムへ送信する。この場合、利用者は本サービスの会員になってIDおよびパスワードを感性計測設備の制御手段300に予め登録しておき、利用者のメールアドレスと関連付けておくようにしてもよい。利用者応答評価システムは、これらの情報を受信し、指定された年代の複数の被験者600、または評価される画像コンテンツの分野における指導者などの当業者から情報を収集して診断結果を生成し、その診断結果(評価した画像、視点の軌跡、興味・関心度など)を、インターネットを介してPCなどへ返信する。この場合、診断結果をメールに添付し、利用者のメールアドレス宛に返信するようにしてもよい。   The PC or the like transmits the age information of the designated subject 600, the image to be evaluated, etc. to the user response evaluation system via the Internet by the operation of the user who receives the posted content evaluation service. In this case, the user may become a member of this service, register the ID and password in the control unit 300 of the sensibility measurement facility in advance, and associate them with the user's email address. The user response evaluation system receives these pieces of information, collects information from a plurality of subjects 600 of a specified age, or a person skilled in the art such as a leader in the field of image content to be evaluated, and generates a diagnosis result. The diagnosis result (evaluated image, viewpoint trajectory, interest / degree of interest, etc.) is returned to a PC or the like via the Internet. In this case, the diagnosis result may be attached to the mail and sent back to the user's mail address.
図15は、図14に示した感性計測設備内の利用者応答評価システムにおける投稿コンテンツ評価段365により生成された画面例を示す図である。投稿者により送信された自らの写真の画像に基づいて評価した結果が、顔の視点位置に円の形態で表示されているIポイント、および画面右側に表示されている複数の被験者600によって集計された情報である。利用者応答評価システムは、投稿者により送信された画像を提示コンテンツ用データベース310に蓄積すると、コンテンツ読出表示手段330、情報取込手段340およびデータ処理手段350により、被験者応答情報aおよび眼球運動情報bを、対象となった複数の被験者600から取り込み、被験者600毎に視点位置、瞳孔径、興味・関心度、Iポイントなどの各種データを生成する。そして、表示処理手段360の投稿コンテンツ評価段365は、複数の被験者600の視点位置、瞳孔径などの各種データに基づいて、画面に表示するためのIポイントを集計し、顔の部位(右目、左目など)毎に興味・関心度を集計する。なお、投稿コンテンツ評価段365は、図24ないし図27に示した画面情報を生成し、これらの情報を診断結果としてPCなどへ返信し、診断結果を利用者へ提示するようにしてもよい。   FIG. 15 is a diagram showing an example of a screen generated by the posted content evaluation stage 365 in the user response evaluation system in the sensitivity measurement facility shown in FIG. The result of evaluation based on the image of his / her own photograph sent by the contributor is tabulated by the I point displayed in the form of a circle at the face viewpoint position and the plurality of subjects 600 displayed on the right side of the screen. Information. When the user response evaluation system accumulates the images transmitted by the poster in the presentation content database 310, the subject response information a and the eye movement information are obtained by the content reading display means 330, the information capturing means 340, and the data processing means 350. b is taken from a plurality of subjects 600 as subjects, and various data such as a viewpoint position, a pupil diameter, an interest / interest level, and an I point are generated for each subject 600. Then, the posted content evaluation stage 365 of the display processing unit 360 aggregates the I points to be displayed on the screen based on various data such as the viewpoint positions and pupil diameters of the plurality of subjects 600, and the facial part (right eye, For each left eye etc.), add up the interest and interest level. The posted content evaluation stage 365 may generate the screen information shown in FIG. 24 to FIG. 27, return the information as a diagnosis result to a PC or the like, and present the diagnosis result to the user.
〔変形例〕
次に、利用者応答評価システムの変形例について説明する。図16は、本発明の実施の形態によるコンテンツの利用者応答評価システムの基本的な構成(他の構成)を示す模式図である。図16に示すように、この利用者応答評価システムは、その基本的な構成要素として、コンテンツ提示用のディスプレイ100と、制御手段301と、提示コンテンツ用データベース310と、取得データ用データベース320と、表示手段としてのモニタ画面400と、被験者600が提示コンテンツに対して応答するための入力手段500とを備えている。図1に示した利用者応答評価システムと図16に示す利用者応答評価システムとを比較すると、図16では被験者600の眼球を撮像するためのカメラ200、それに伴う赤外線ランプ210および顎台220を備えていない点で相違する。ディスプレイ100、提示コンテンツ用データベース310、取得データ用データベース320、モニタ画面400および入力手段500は、図1に示したそれらと同等であるから、ここでは説明を省略する。
[Modification]
Next, a modification of the user response evaluation system will be described. FIG. 16 is a schematic diagram showing a basic configuration (another configuration) of the content user response evaluation system according to the embodiment of the present invention. As shown in FIG. 16, this user response evaluation system includes, as its basic components, a display 100 for content presentation, a control means 301, a presentation content database 310, an acquired data database 320, A monitor screen 400 as display means and an input means 500 for the subject 600 to respond to the presented content are provided. Comparing the user response evaluation system shown in FIG. 1 with the user response evaluation system shown in FIG. 16, in FIG. 16, a camera 200 for imaging the eyeball of the subject 600, an accompanying infrared lamp 210 and a chin rest 220 are shown. It differs in that it does not have. Since the display 100, the presentation content database 310, the acquired data database 320, the monitor screen 400, and the input means 500 are the same as those shown in FIG. 1, their descriptions are omitted here.
図16に示す利用者応答評価システムは、マウスカーソル位置の軌跡と視点の軌跡とが同等であるとみなして、眼球運動情報bを用いることなく被験者応答情報aのみから利用者応答を評価するものである。   The user response evaluation system shown in FIG. 16 evaluates the user response only from the subject response information a without using the eye movement information b, assuming that the locus of the mouse cursor position is equivalent to the locus of the viewpoint. It is.
〔変形例/制御手段〕
次に、図16に示した制御手段301の詳細について説明する。図17は、制御手段301の構成を示す図である。この制御手段301は、コンテンツ読出表示手段335、情報取込手段370、データ処理手段380、および表示処理手段390を備えている。
[Modification / Control means]
Next, details of the control means 301 shown in FIG. 16 will be described. FIG. 17 is a diagram illustrating a configuration of the control unit 301. The control unit 301 includes a content read / display unit 335, an information fetch unit 370, a data processing unit 380, and a display processing unit 390.
コンテンツ読出表示手段335は、提示コンテンツ用データベース310からコンテンツを読み出し、情報取込手段370からマウスカーソル位置を入力し、コンテンツにおける所定のテキストデータに対し、マウスカーソル位置に基づいて、被験者600が認識し難いようにぼかし加工を施し、被験者600にコンテンツを提示するための提示用ディスプレイ100に出力して表示する。また、コンテンツ読出表示手段335は、読み出したコンテンツを表示処理手段390に出力すると共に、コンテンツにおけるフレームの番号などの時間情報を情報取込手段370に出力する。   The content reading / display unit 335 reads the content from the presentation content database 310, inputs the mouse cursor position from the information capturing unit 370, and the subject 600 recognizes predetermined text data in the content based on the mouse cursor position. It is blurred so that it is difficult to do so, and is output and displayed on the display for presentation 100 for presenting the content to the subject 600. The content read / display unit 335 outputs the read content to the display processing unit 390 and outputs time information such as a frame number in the content to the information capturing unit 370.
図18は、コンテンツ読出表示手段335が提示用ディスプレイ100に表示する画面例を示す図である。図18において、テキストデータ「あなたは」「朝食を食べる」「朝食を食べない」は、マウスカーソル位置に応じて、ぼかした形態またはくっきりした形態で表示される。コンテンツ読出表示手段335は、マウスカーソル位置を入力し、マウスカーソル位置とテキストデータの表示位置とを比較し、その間の距離が予め設定された閾値よりも短くなった場合に、そのテキストデータに対して、コンテンツの本来の表示形態になるように、くっきりした形態で表示する。また、その間の距離が閾値以上の場合に、そのテキストデータに対して、ぼかした形態で表示する。例えば、そのテキストデータと白色画像とを画素毎に重ね合わせて(加重平均して)、ぼかした形態で表示する。この場合、一層ぼかした形態で表示するには、白色画像の重みを大きくすればよい。   FIG. 18 is a diagram showing an example of a screen displayed on the presentation display 100 by the content read / display unit 335. In FIG. 18, the text data “you eat”, “eat breakfast”, and “do not eat breakfast” are displayed in a blurred or clear form according to the position of the mouse cursor. The content readout display means 335 inputs the mouse cursor position, compares the mouse cursor position with the display position of the text data, and when the distance between them becomes shorter than a preset threshold value, the text data is displayed. The content is displayed in a clear form so as to be the original display form of the content. When the distance between them is equal to or greater than the threshold value, the text data is displayed in a blurred form. For example, the text data and the white image are superimposed on each pixel (weighted average) and displayed in a blurred form. In this case, in order to display in a more blurred form, the weight of the white image may be increased.
情報取込手段370は、マウスカーソル位置(座標)およびマウスクリック位置(座標)を含む被験者応答情報aを、被験者600のマウス操作およびクリック操作に応じてそれぞれ入力する。また、情報取込手段370は、コンテンツの時間情報をコンテンツ読出表示手段335から入力し、被験者応答情報aとコンテンツとの間の対応付けができるように、入力したコンテンツの時間情報に基づいて同期情報を生成する。そして、情報取込手段370は、被験者応答情報a(マウスカーソル位置およびマウスクリック位置)および同期情報を取得データ用データベース320に蓄積し、データ処理手段380に出力する。また、情報取込手段370は、被験者応答情報aのうちのマウスカーソル位置をコンテンツ読出表示手段335に出力する。   The information fetching means 370 inputs subject response information a including a mouse cursor position (coordinates) and a mouse click position (coordinates) according to the mouse operation and click operation of the subject 600, respectively. In addition, the information fetching unit 370 receives content time information from the content readout display unit 335, and synchronizes based on the input content time information so that the subject response information a can be associated with the content. Generate information. Then, the information fetching means 370 accumulates the subject response information a (mouse cursor position and mouse click position) and synchronization information in the acquired data database 320 and outputs them to the data processing means 380. Further, the information fetching unit 370 outputs the mouse cursor position in the subject response information a to the content reading / displaying unit 335.
データ処理手段380は、被験者応答情報a(マウスカーソル位置およびマウスクリック位置)および同期情報を情報取込手段370から入力し、または、取得データ用データベース320から読み出し、コンテンツと共にモニタ画面400に表示するためのデータを生成し、生成したデータを表示処理手段390に出力する。   The data processing means 380 inputs the subject response information a (mouse cursor position and mouse click position) and synchronization information from the information fetching means 370 or reads them from the acquired data database 320 and displays them together with the contents on the monitor screen 400. Data is generated, and the generated data is output to the display processing means 390.
具体的には、データ処理手段380は、情報取込手段370または取得データ用データベース320からの被験者応答情報aにおけるマウスカーソル位置について、予め設定された移動範囲内において予め設定された時間以上滞留した場合に、その位置を視点滞留点に設定し、その積算した滞留時間を視点滞留時間に設定する。そして、データ処理手段380は、マウスカーソル位置、マウスクリック位置、視点滞留点、視点滞留時間および同期情報を表示処理手段390に出力する。   Specifically, the data processing means 380 stays for a preset time within a preset movement range with respect to the mouse cursor position in the subject response information a from the information capturing means 370 or the acquired data database 320. In this case, the position is set as the viewpoint dwell point, and the accumulated dwell time is set as the viewpoint dwell time. Then, the data processing unit 380 outputs the mouse cursor position, mouse click position, viewpoint dwell point, viewpoint dwell time, and synchronization information to the display processing unit 390.
表示処理手段390は、コンテンツをコンテンツ読出表示手段335から入力し、マウスカーソル位置、マウスクリック位置、視点滞留点、視点滞留時間および同期情報をデータ処理手段380から入力する。そして、同期情報に基づいてコンテンツとマウスカーソル位置などとを対応付け、画面に表示するための情報を生成し、画面情報としてモニタ画面400に出力して表示する。   The display processing unit 390 inputs content from the content read / display unit 335, and inputs the mouse cursor position, mouse click position, viewpoint dwell point, viewpoint dwell time, and synchronization information from the data processing unit 380. Then, the contents are associated with the mouse cursor position based on the synchronization information, information for display on the screen is generated, and is output and displayed on the monitor screen 400 as screen information.
図19〜図22は、表示処理手段390により生成された画面例を示す図である。これらの画面は、マウスカーソル位置を視点位置とみなし、その位置データに基づいてコンテンツに対する感性を計測するためのものである。これらの画面により、眼球運動情報bを用いることなく、マウスである被験者応答入力手段500からの被験者応答情報aのみにより、簡易な手法で感性計測を実現することができる。   19 to 22 are diagrams showing examples of screens generated by the display processing unit 390. These screens are for measuring the sensitivity to the content based on the position data by regarding the mouse cursor position as the viewpoint position. By using these screens, sensibility measurement can be realized by a simple method using only the subject response information a from the subject response input means 500 that is a mouse without using the eye movement information b.
図19において、表示処理手段390は、コンテンツの画面上に、視点位置とみなしたマウスカーソル位置の軌跡を表示する。また、図20において、表示処理手段390は、コンテンツの画面上に、視点滞留点に、その視点滞留時間に比例した面積を有する円を表示する。また、図21において、表示処理手段390は、アンケート質問および回答形式のコンテンツ画面に対する被験者600であるユーザの応答から、データを集計して表示する。具体的には、回答をマウスクリックで選択する場合に、視点位置(とみなしたマウスカーソル位置)がどちらの回答の側に滞留していたかを示す回答度合いを滞留時間として積算し、予め設定された重み係数を用いて補正して表示する。図21の上側には、複数の被験者600の回答に対する度合いの集計結果が表示されている。また、図21の下側には、複数の被験者600の回答に対する度合いの頻度がグラフとして表示されている。図21から、アンケート質問に対するアクションである回答を、ユーザが選択する際の感性を含めて、一層正確に分析することができる。   In FIG. 19, the display processing means 390 displays the locus of the mouse cursor position regarded as the viewpoint position on the content screen. In FIG. 20, the display processing unit 390 displays a circle having an area proportional to the viewpoint dwell time on the viewpoint dwell point on the content screen. In FIG. 21, the display processing unit 390 aggregates and displays data from the response of the user who is the subject 600 to the questionnaire question and answer type content screen. Specifically, when selecting an answer with a mouse click, the answer level indicating which answer position the viewpoint position (the mouse cursor position considered) was staying on is accumulated as a residence time, and is set in advance. Corrected by using the weighting factor displayed. On the upper side of FIG. 21, the tabulation results of the degrees with respect to the responses of the plurality of subjects 600 are displayed. Moreover, the frequency of the degree with respect to the answers of a plurality of subjects 600 is displayed as a graph on the lower side of FIG. From FIG. 21, it is possible to analyze the answer, which is an action for the questionnaire question, including the sensitivity when the user selects, more accurately.
また、図22において、表示処理手段390は、コンテンツの画面を表示し、視点位置とみなしたマウスカーソル位置の軌跡を表示すると共に、視点滞留点に、その視点滞留時間に比例した面積を有する円を表示する。図22から、例えば、回答が「朝食を食べる」「朝食を食べない」の2択である場合に、視点の軌跡および視点滞留時間を示す円の大きさにより、その回答が「自信をもった回答」であるか「迷い回答」であるかを判断することができる。これは、図12に示したように、視点の軌跡およびIポイントから判断する場合と同様である。   In FIG. 22, the display processing means 390 displays a content screen, displays the locus of the mouse cursor position regarded as the viewpoint position, and has a circle having an area proportional to the viewpoint residence time at the viewpoint residence point. Is displayed. From FIG. 22, for example, when the answer is “eating breakfast” or “not eating breakfast”, the answer is “confident” depending on the trajectory of the viewpoint and the size of the circle indicating the viewpoint residence time. It is possible to determine whether it is an “answer” or a “questioned answer”. As shown in FIG. 12, this is the same as the case where the determination is made based on the locus of the viewpoint and the I point.
〔他の変形例〕
次に、利用者応答評価システムの他の変形例について説明する。この利用者応答評価システムの他の変形例は、図16に示した構成と同等の構成の下で、被験者600によるマウスなどの画面スクロール操作によって、画面スクロールが停止して表示された部分画面、その部分画面が表示されている滞留時間、および表示された部分画面の順番を画面情報として生成し、利用者応答を評価するものである。
[Other variations]
Next, another modification of the user response evaluation system will be described. Another modified example of this user response evaluation system is a partial screen that is displayed with the screen scrolling stopped by a screen scroll operation such as a mouse by the subject 600 under a configuration equivalent to the configuration shown in FIG. The residence time in which the partial screen is displayed and the order of the displayed partial screens are generated as screen information, and the user response is evaluated.
〔他の変形例/制御手段〕
次に、制御手段301について説明する。図17を参照して、この制御手段301は、コンテンツ読出表示手段335、情報取込手段370、データ処理手段380、および表示処理手段390を備えている。
[Other modifications / control means]
Next, the control means 301 will be described. Referring to FIG. 17, this control means 301 includes a content reading / display means 335, an information fetching means 370, a data processing means 380, and a display processing means 390.
コンテンツ読出表示手段335は、提示コンテンツ用データベース310からコンテンツを読み出し、情報取込手段370から画面スクロール情報を入力し、コンテンツの全体画面のうち画面スクロール情報の示す部分画面を表示するように、提示用ディスプレイ100に出力する。図17において、コンテンツ読出表示手段335は、マウスカーソル位置の代わりに画面スクロール情報を入力する。また、コンテンツ読出表示手段335は、読み出したコンテンツを表示処理手段390に出力すると共に、コンテンツにおけるフレームの番号などの時間情報を情報取込手段370に出力する。   The content reading / display unit 335 reads the content from the presentation content database 310, inputs the screen scroll information from the information capturing unit 370, and displays the partial screen indicated by the screen scroll information in the entire content screen. Output to the display 100. In FIG. 17, the content readout display means 335 inputs screen scroll information instead of the mouse cursor position. The content read / display unit 335 outputs the read content to the display processing unit 390 and outputs time information such as a frame number in the content to the information capturing unit 370.
情報取込手段370は、被験者600の操作によるマウスカーソル位置(座標)、マウスクリック位置(座標)および画面スクロール情報を含む被験者応答情報aを、被験者600のマウス操作およびクリック操作などに応じてそれぞれ入力する。以下、被験者応答情報aを画面スクロール情報として説明する。情報取込手段370は、コンテンツの時間情報をコンテンツ読出表示手段335から入力し、被験者応答情報aとコンテンツとの間の対応付けができるように、入力したコンテンツの時間情報に基づいて同期情報を生成する。そして、情報取込手段370は、被験者応答情報a(画面スクロール情報)および同期情報を取得データ用データベース320に蓄積し、データ処理手段380に出力する。また、情報取込手段370は、画面スクロール情報をコンテンツ読出表示手段335に出力する。   The information capturing means 370 receives subject response information a including the mouse cursor position (coordinates), mouse click position (coordinates), and screen scroll information by the operation of the subject 600 according to the mouse operation and the click operation of the subject 600, respectively. input. Hereinafter, the subject response information a will be described as screen scroll information. The information fetching means 370 inputs the time information of the content from the content reading and displaying means 335, and the synchronization information is obtained based on the input time information of the content so that the subject response information a and the content can be associated with each other. Generate. Then, the information capturing unit 370 accumulates the subject response information a (screen scroll information) and the synchronization information in the acquired data database 320 and outputs the acquired data to the data processing unit 380. Further, the information fetching unit 370 outputs screen scroll information to the content reading / displaying unit 335.
データ処理手段380は、被験者応答情報a(画面スクロール情報)および同期情報を情報取込手段370から入力し、または、取得データ用データベース320から読み出し、コンテンツと共にモニタ画面400に表示するためのデータを生成し、生成したデータを表示処理手段390に出力する。   The data processing means 380 inputs the subject response information a (screen scroll information) and the synchronization information from the information fetching means 370 or reads it from the acquired data database 320 and displays data to be displayed on the monitor screen 400 together with the content. The generated data is output to the display processing means 390.
具体的には、データ処理手段380は、情報取込手段370または取得データ用データベース320からの画面スクロール情報に基づいて、画面がスクロールしないで停止して表示されている時間を計測する。そして、画面がスクロールしないで停止している位置、その場合の滞留時間(停止時間)および停止位置の順番を算出し、被験者応答情報a、同期情報、停止位置、停留時間および停止位置の順番を表示処理手段390に出力する。   Specifically, the data processing unit 380 measures the time during which the screen is stopped and displayed without scrolling based on the screen scroll information from the information fetching unit 370 or the acquired data database 320. And the position where the screen is stopped without scrolling, the stay time (stop time) in that case, and the order of the stop position are calculated, and the subject response information a, the synchronization information, the stop position, the stop time and the order of the stop position are calculated. The data is output to the display processing unit 390.
表示処理手段390は、コンテンツをコンテンツ読出表示手段335から入力し、被験者応答情報a、同期情報、停止位置、停留時間および停止位置の順番をデータ処理手段380から入力する。そして、同期情報に基づいてコンテンツと停止位置などとを対応付け、コンテンツの全体画面のうち停止位置の示す部分画面を特定すると共に、その滞留時間および順番を含む情報を生成し、画面情報としてモニタ画面400に出力して表示する。   The display processing unit 390 inputs the content from the content reading display unit 335 and inputs the subject response information a, the synchronization information, the stop position, the stop time, and the stop position from the data processing unit 380. Then, the content is associated with the stop position based on the synchronization information, the partial screen indicated by the stop position is specified in the entire content screen, and information including the staying time and order is generated and monitored as screen information. Output and display on the screen 400.
図29は、表示処理手段390により生成された画面例を示す図であり、スクロール停止位置の推移とその滞留時間を表示する画面例であることを示している。図29によれば、コンテンツの全体画面のうちの画面スクロール停止位置29001〜29003により表される部分画面が、この順番で表示されたことがわかる。また、それぞれの滞留時間が10秒、30秒、20秒であることがわかる。これにより、視点の軌跡や興味・関心度が表示されなくても、被験者600がその領域をどの程度注目していたかについて分析することができる。   FIG. 29 is a diagram showing an example of a screen generated by the display processing means 390, and shows an example of a screen that displays the transition of the scroll stop position and the staying time. According to FIG. 29, it can be seen that the partial screens represented by the screen scroll stop positions 29001 to 29003 in the entire content screen are displayed in this order. Moreover, it turns out that each residence time is 10 seconds, 30 seconds, and 20 seconds. Thus, it is possible to analyze how much the subject 600 has paid attention to the region even if the trajectory of the viewpoint and the interest / degree of interest are not displayed.
以上説明したように、本発明の実施の形態によれば、被験者600に評価すべきコンテンツを提示し、それを視聴した被験者600の被験者応答情報aを取得するのと同期して、生理反応の一つである眼球運動を撮像して眼球運動情報bを取得し、得られたデータ(視点位置、瞳孔径および瞬目発生頻度)から被験者600の興味・関心度を判定し、IDAポイントなどを算出し、提示コンテンツに対する被験者600の応答の有効性を評価するようにした。これにより、少ない被験者数で、従来行われていた紙面やウェブによるアンケート手法よりも、はるかに信頼性のある有効な調査を行うことができ、特にWEBコンテンツに対する利用者の応答を評価するのに好適である。   As described above, according to the embodiment of the present invention, the content to be evaluated is presented to the subject 600, and the physiological response of the subject 600 is acquired in synchronization with the acquisition of the subject response information a of the subject 600 who has viewed the content. One eye movement is imaged to obtain eye movement information b, and the interest / interest level of the subject 600 is determined from the obtained data (viewpoint position, pupil diameter and blink occurrence frequency), and IDA points are determined. The effectiveness of the response of the subject 600 to the presented content is evaluated. This makes it possible to conduct a much more reliable and effective survey with a small number of subjects than the conventional paper and web questionnaire methods, particularly for evaluating user responses to web content. Is preferred.
また、評価対象であるコンテンツが提示されてから、それに対する被験者600の応答および生理反応の測定、解析、評価指標の可視化に至るまでの一連の処理を1台の装置で実施することができる。このため、特別高度な専門知識を備えていない一般人でも、アンケートによる調査を短時間かつ低コストにて行うことができる。   Further, a series of processes from the presentation of the content to be evaluated to the measurement and analysis of the response and physiological response of the subject 600 to the visualization of the evaluation index can be performed by a single device. For this reason, even ordinary people who do not have special advanced expertise can conduct surveys by questionnaire in a short time and at low cost.
なお、制御手段300,301は、CPU、RAMなどの揮発性の記憶媒体、ROMなどの不揮発性の記憶媒体、マウス500やキーボード、ポインティングデバイスなどの入力装置、画像やデータを表示する提示用ディスプレイ100およびモニタ画面400、並びに眼球撮像用カメラ200と通信するためのインタフェースを備えたコンピュータによって構成される。制御手段300に備えたコンテンツ読出表示手段330、情報取込手段340、データ処理手段350および表示処理手段360の各機能、並びに、制御手段301に備えたコンテンツ読出表示手段335、情報取込手段370、データ処理手段380および表示処理手段390の各機能は、これらの機能を記述したプログラムをCPUに実行させることによりそれぞれ実現される。また、これらのプログラムは、磁気ディスク(フロッピィーディスク(登録商標)、ハードディスクなど)、光ディスク(CD−ROM、DVDなど)、半導体メモリなどの記憶媒体に格納して頒布することもできる。 The control means 300 and 301 are a volatile storage medium such as a CPU and a RAM, a non-volatile storage medium such as a ROM, an input device such as a mouse 500, a keyboard, and a pointing device, and a display for displaying images and data. 100, a monitor screen 400, and a computer having an interface for communicating with the eyeball imaging camera 200. The functions of the content read / display unit 330, the information capture unit 340, the data processing unit 350 and the display processing unit 360 provided in the control unit 300, and the content read / display unit 335 and the information capture unit 370 provided in the control unit 301 are provided. The functions of the data processing unit 380 and the display processing unit 390 are realized by causing the CPU to execute a program describing these functions. These programs can also be stored and distributed in a storage medium such as a magnetic disk (floppy disk (registered trademark) , hard disk, etc.), an optical disk (CD-ROM, DVD, etc.), semiconductor memory, or the like.
本発明の実施の形態によるコンテンツの利用者応答評価システムの基本的な構成を示す模式図である。It is a schematic diagram which shows the basic composition of the user response evaluation system of the content by embodiment of this invention. 視点の軌跡および選択結果の画面例を示す図である。It is a figure which shows the example of a screen of the locus | trajectory of a viewpoint, and a selection result. 問題文を読んでいない場合の画面例を示す図である。It is a figure which shows the example of a screen when not reading the question sentence. 図1に示した制御手段300の構成を示す図である。It is a figure which shows the structure of the control means 300 shown in FIG. コンテンツ評価段361により生成された画面例を示す図である。6 is a diagram illustrating an example of a screen generated by a content evaluation stage 361. FIG. コンテンツ評価段361により生成された画面例を示す図である。6 is a diagram illustrating an example of a screen generated by a content evaluation stage 361. FIG. WEB評価段362により生成された画面例を示す図である。It is a figure which shows the example of a screen produced | generated by the WEB evaluation stage 362. FIG. WEB評価段362により生成された画面例を示す図である。It is a figure which shows the example of a screen produced | generated by the WEB evaluation stage 362. FIG. WEB評価段362により生成された画面例を示す図である。It is a figure which shows the example of a screen produced | generated by the WEB evaluation stage 362. FIG. WEB評価段362により生成された画面例を示す図である。It is a figure which shows the example of a screen produced | generated by the WEB evaluation stage 362. FIG. アンケート評価段363により生成された画面例を示す図である。It is a figure which shows the example of a screen produced | generated by the questionnaire evaluation stage 363. FIG. アンケート評価段363により生成された画面例を示す図である。It is a figure which shows the example of a screen produced | generated by the questionnaire evaluation stage 363. FIG. 教育・研修用処理段364により生成された画面例を示す図である。It is a figure which shows the example of a screen produced | generated by the process step 364 for education and training. 投稿コンテンツ評価段365を用いる場合のネットワークシステムの構成例を示す図である。It is a figure which shows the structural example of the network system in the case of using the contribution content evaluation stage 365. FIG. 投稿コンテンツ評価段365により生成された画面例を示す図である。It is a figure which shows the example of a screen produced | generated by the contribution content evaluation stage 365. FIG. 本発明の実施の形態によるコンテンツの利用者応答評価システムの基本的な構成(他の構成)を示す模式図である。It is a schematic diagram which shows the basic composition (other composition) of the user response evaluation system of contents by an embodiment of the invention. 図16に示した制御手段301の構成を示す図である。It is a figure which shows the structure of the control means 301 shown in FIG. カーソル計測の場合の画面例を示す図である。It is a figure which shows the example of a screen in the case of cursor measurement. カーソル計測の場合の画面例を示す図である。It is a figure which shows the example of a screen in the case of cursor measurement. カーソル計測の場合の画面例を示す図である。It is a figure which shows the example of a screen in the case of cursor measurement. カーソル計測の場合の画面例を示す図である。It is a figure which shows the example of a screen in the case of cursor measurement. カーソル計測の場合の画面例を示す図である。It is a figure which shows the example of a screen in the case of cursor measurement. アンケート評価段363に用いるコンテンツの画面例(選択肢が2つの場合)を示す図である。It is a figure which shows the example of a content screen (when there are two choices) used for the questionnaire evaluation stage 363. FIG. アンケート評価段363により生成された画面例(選択肢が2つの場合)を示す図である。It is a figure which shows the example of a screen produced | generated by the questionnaire evaluation stage 363 (when there are two choices). アンケート評価段363により生成された画面例(選択肢が2つの場合)を示す図である。It is a figure which shows the example of a screen produced | generated by the questionnaire evaluation stage 363 (when there are two choices). アンケート評価段363により生成された画面例(選択肢が4つの場合)を示す図である。It is a figure which shows the example of a screen produced | generated by the questionnaire evaluation stage 363 (when there are four choices). アンケート評価段363により生成された画面例(選択肢が4つの場合)を示す図である。It is a figure which shows the example of a screen produced | generated by the questionnaire evaluation stage 363 (when there are four choices). 教育・研修用処理段364により生成された画面例を示す図である。It is a figure which shows the example of a screen produced | generated by the process step 364 for education and training. スクロール停止位置の推移とその滞留時間を表示する画面例を示す図である。It is a figure which shows the example of a screen which displays transition of a scroll stop position, and its residence time.
符号の説明Explanation of symbols
100 コンテンツ提示用ディスプレイ
200 眼球撮像用カメラ
210 赤外線ランプ
220 顎台
300,301 制御手段
310 提示コンテンツ用データベース
320 取得データ用データベース
330,335 コンテンツ読出表示手段
340,370 情報取込手段
350,380 データ処理手段
351 視点・瞳孔・瞬目処理段
352 興味・関心度算出段
353 IDASポイント算出段
360,390 表示処理手段
361 コンテンツ評価段
362 WEB評価段
363 アンケート評価段
364 教育・研修用処理段
365 投稿コンテンツ評価段
400 モニタ画面
500 被験者応答入力手段
600 被験者
1010,1110,7001,8001,11001 視点の軌跡
1020,1120 マウスクリックした位置
1301,5001,6001 領域
1302,5002 円
1303,5003 パワーゲージ
1304,1305,5004,5005,6003〜6006 グラフ
1306 危険指示表示
1307 ボタン押下表示
29001〜29003 画面スクロール停止位置
6002 波形グラフ
100 Content Presentation Display 200 Eyeball Imaging Camera 210 Infrared Lamp 220 Jaw Table 300, 301 Control Unit 310 Presented Content Database 320 Acquisition Data Database 330, 335 Content Reading Display Unit 340, 370 Information Capture Unit 350, 380 Data Processing Means 351 Viewpoint / pupil / blink processing stage 352 Interest / interest degree calculation stage 353 IDAS point calculation stage 360, 390 Display processing means 361 Content evaluation stage 362 Web evaluation stage 363 Questionnaire evaluation stage 364 Education / training processing stage 365 Posted content Evaluation stage 400 Monitor screen 500 Subject response input means 600 Subject 1010, 1110, 7001, 8001, 11001 Viewpoint locus 1020, 1120 Position 1301, 5001 where the mouse is clicked 001 regions 1302,5002 yen 1303,5003 power gauge 1304,1305,5004,5005,6003~6006 graph 1306 Critical display 1307 button pressing the display 29001-29003 scroll stop position 6002 waveform graph

Claims (26)

  1. コンテンツを観察している被験者の応答を評価するために用いる制御装置であって、
    コンテンツを被験者へ提示するコンテンツ提示部と、
    前記提示されたコンテンツに対する被験者の生理反応情報を取り込む情報取込部と、
    前記取り込まれた生理反応情報に基づいて、被験者の応答を評価するための評価情報を生成する処理部と、
    前記提示されたコンテンツと前記生成された評価情報とを同期させ、該コンテンツおよび評価情報を含む画面表示情報を生成する表示処理部とを備えたことを特徴とする制御装置。
    A control device used to evaluate the response of a subject observing content,
    A content presentation unit for presenting content to the subject;
    An information capturing unit for capturing physiological response information of the subject with respect to the presented content;
    A processing unit that generates evaluation information for evaluating the response of the subject based on the captured physiological response information;
    A control apparatus comprising: a display processing unit configured to synchronize the presented content and the generated evaluation information and generate screen display information including the content and the evaluation information.
  2. 請求項1に記載の制御装置において、
    前記被験者へ提示されるコンテンツは、映像データ、ウェブページデータ、コンピュータゲームデータまたはコンピュータプログラムが出力するデータから成り、かつ、文字列、図、記号、絵、写真および動画のうちの少なくとも一つの、被験者に応答させるための喚起情報を含むことを特徴とする制御装置。
    The control device according to claim 1,
    The content presented to the subject consists of video data, web page data, computer game data, or data output by a computer program, and at least one of a character string, diagram, symbol, picture, photo and video, The control apparatus characterized by including the awakening information for making a test subject respond.
  3. 請求項1に記載の制御装置において、
    前記処理部は、生理反応情報に基づいて、被験者のコンテンツに対する注目度、集中度、好感度または嫌悪感の度合いを算出し、該度合いを、被験者の応答を評価するための評価情報とすることを特徴とする制御装置。
    The control device according to claim 1,
    The processing unit calculates a degree of attention, concentration, liking or disgusting with respect to the content of the subject based on the physiological reaction information, and uses the degree as evaluation information for evaluating the response of the subject. A control device characterized by.
  4. 請求項1に記載の制御装置において、
    前記生理反応情報を、被験者の眼球画像とすることを特徴とする制御装置。
    The control device according to claim 1,
    A control apparatus characterized in that the physiological response information is an eyeball image of a subject.
  5. 請求項4に記載の制御装置において、
    前記処理部は、眼球画像に基づいて、瞬目発生頻度、瞳孔の大きさおよび視点運動データのうちの少なくとも一つを時間軸に関連付けたデータとして算出し、該データに基づいて評価情報を生成することを特徴とする制御装置。
    The control device according to claim 4,
    The processing unit calculates, based on the eyeball image, at least one of blink occurrence frequency, pupil size, and viewpoint movement data as data associated with a time axis, and generates evaluation information based on the data A control device.
  6. 請求項4に記載の制御装置において、
    前記処理部は、眼球画像に基づいてコンテンツに対する視点位置および興味関心度を算出し、前記視点位置および該視点位置における第1の興味関心度を評価情報として生成することを特徴とする制御装置。
    The control device according to claim 4,
    The control device, wherein the processing unit calculates a viewpoint position and an interest level of interest based on an eyeball image, and generates the viewpoint position and a first interest level at the viewpoint position as evaluation information.
  7. 請求項6に記載の制御装置において、
    前記処理部は、さらに、前記視点位置から視点位置の移動速度を算出し、該視点位置の移動速度および前記興味関心度を所定の閾値とそれぞれ比較し、視点位置および該視点位置における第2の興味関心度を評価情報として生成することを特徴とする制御装置。
    The control device according to claim 6,
    The processing unit further calculates a movement speed of the viewpoint position from the viewpoint position, compares the movement speed of the viewpoint position and the degree of interest with a predetermined threshold, respectively, and compares the viewpoint position and the second position at the viewpoint position. A control device that generates an interest level as evaluation information.
  8. 請求項7に記載の制御装置において、
    前記情報取込部は、さらに、提示されたコンテンツに対する被験者の操作に伴う応答情報を取り込み、
    前記処理部は、さらに、前記応答情報における被験者の操作位置および前記視点位置の間と距離と所定の閾値とを比較し、視点位置および該視点位置における第3の興味関心度を評価情報として生成することを特徴とする制御装置。
    The control device according to claim 7,
    The information capturing unit further captures response information accompanying the operation of the subject with respect to the presented content,
    The processing unit further compares the distance between the operation position of the subject and the viewpoint position in the response information and a predetermined threshold value, and generates the viewpoint position and the third interest level at the viewpoint position as evaluation information. A control device.
  9. 請求項8に記載の制御装置において、
    前記情報取込部は、提示されたコンテンツに対し、ボタン、キーボード、マウス、タッチパネル、リモコンおよびゲーム機器付属コントローラのうちのいずれか一つによる被験者の操作に伴う応答情報を取り込むことを特徴とする制御装置。
    The control device according to claim 8, wherein
    The information capture unit captures response information associated with the operation of the subject by any one of a button, a keyboard, a mouse, a touch panel, a remote controller, and a controller attached to a game device for the presented content. Control device.
  10. 請求項7に記載の制御装置において、
    前記情報取込部は、さらに、提示されたコンテンツに対する被験者の操作に伴う応答情報を取り込み、
    前記処理部は、さらに、前記応答情報から被験者の操作を抽出し、該操作があったときの視点位置、および該視点位置における第4の興味関心度を評価情報として生成することを特徴とする制御装置。
    The control device according to claim 7,
    The information capturing unit further captures response information accompanying the operation of the subject with respect to the presented content,
    The processing unit further extracts an operation of the subject from the response information, and generates a viewpoint position when the operation is performed and a fourth interest level at the viewpoint position as evaluation information. Control device.
  11. 請求項7に記載の制御装置において、
    前記処理部は、さらに、前記視点位置について視点の滞留時間を算出し、該視点の滞留時間を評価情報として生成することを特徴とする制御装置。
    The control device according to claim 7,
    The control unit further calculates a dwell time of a viewpoint for the viewpoint position, and generates the dwell time of the viewpoint as evaluation information.
  12. 請求項7に記載の制御装置において、
    前記表示処理部は、前記第2の興味関心度の大きさに応じた形態を前記視点位置に表示するための画面表示情報を生成することを特徴とする制御装置。
    The control device according to claim 7,
    The control device, wherein the display processing unit generates screen display information for displaying a form corresponding to the magnitude of the second degree of interest at the viewpoint position.
  13. 請求項12に記載の制御装置において、
    前記表示処理部は、さらに、前記視点位置により視点の軌跡を表示するための画面表示情報を生成することを特徴とする制御装置。
    The control device according to claim 12,
    The display processing unit further generates screen display information for displaying a locus of a viewpoint based on the viewpoint position.
  14. 請求項13に記載の制御装置において、
    前記表示処理部は、さらに、視点の速度に応じた形態で視点の軌跡を表示するための画面表示情報を生成することを特徴とする制御装置。
    The control device according to claim 13,
    The display processing unit further generates screen display information for displaying a viewpoint trajectory in a form corresponding to the speed of the viewpoint.
  15. 請求項8に記載の制御装置において、
    前記表示処理部は、前記第3の興味関心度の大きさに応じた形態を前記視点位置に表示すると共に、前記視点位置により視点の軌跡を表示するための画面表示情報を生成することを特徴とする制御装置。
    The control device according to claim 8, wherein
    The display processing unit generates a screen display information for displaying a trajectory of a viewpoint based on the viewpoint position while displaying a form corresponding to the magnitude of the third degree of interest at the viewpoint position. Control device.
  16. 請求項10に記載の制御部において、
    前記表示処理部は、前記第4の興味関心度の大きさに応じた形態を前記視点位置に表示すると共に、前記視点位置により視点の軌跡を表示するための画面表示情報を生成することを特徴とする制御装置。
    The control unit according to claim 10,
    The display processing unit generates a screen display information for displaying a trajectory of a viewpoint based on the viewpoint position while displaying a form corresponding to the magnitude of the fourth degree of interest at the viewpoint position. Control device.
  17. 請求項11に記載の制御装置において、
    前記表示処理部は、画面内における所定の領域毎に前記視点の滞留時間を算出し、前記領域毎の滞留時間または滞留度合いを表示するための画面表示情報を生成することを特徴とする制御装置。
    The control device according to claim 11,
    The display processing unit calculates a dwell time at the viewpoint for each predetermined area in a screen, and generates screen display information for displaying a dwell time or a dwell degree for each area. .
  18. 請求項13に記載の制御装置において、
    前記被験者へ提示されるコンテンツは、被験者により選択操作が行われる選択肢を含み、
    前記表示処理部は、前記コンテンツ、前記視点位置に表示される第2の興味関心度の大きさに応じた形態、および前記視点の軌跡を含む画面表示情報を生成することを特徴とする制御装置。
    The control device according to claim 13,
    The content presented to the subject includes an option for performing a selection operation by the subject,
    The display processing unit generates screen display information including the content, a form according to the second degree of interest displayed at the viewpoint position, and a locus of the viewpoint. .
  19. 請求項6に記載の制御装置において、
    前記被験者へ提示されるコンテンツは、被験者により選択操作が行われる領域を有する選択肢を含み、
    前記表示処理部は、前記選択操作を行った被験者の数を選択肢毎に算出し、前記領域内に視点があったときの第1の興味関心度を選択肢毎に集計し、前記算出した被験者の数および前記集計した第1の興味関心度に基づいて、選択肢を選択する確信度を選択肢毎に算出し、該確信度を含む画面表示情報を生成することを特徴とする制御装置。
    The control device according to claim 6,
    The content presented to the subject includes an option having a region where a selection operation is performed by the subject,
    The display processing unit calculates the number of subjects who performed the selection operation for each option, totals the first interest level when there is a viewpoint in the area for each option, and calculates the calculated subject's A control apparatus that calculates a certainty factor for selecting an option for each option on the basis of the number and the first degree of interest of interest, and generates screen display information including the certainty factor.
  20. 請求項12に記載の制御装置において、
    前記被験者へ提示されるコンテンツは、被験者の応答により安全性を評価するために用いられ、
    前記情報取込部は、さらに、前記コンテンツに対して被験者の操作により危険であることを示す応答情報を取り込み、
    前記表示処理部は、前記第1の興味関心度の大きさに応じた形態を前記視点位置に表示すると共に、前記コンテンツに付随した危険情報および前記被験者の操作により危険であることを示す応答情報を表示するための画面表示情報を生成することを特徴とする制御装置。
    The control device according to claim 12,
    The content presented to the subject is used to evaluate safety according to the subject's response,
    The information capturing unit further captures response information indicating that the content is dangerous due to a subject's operation,
    The display processing unit displays a form corresponding to the magnitude of the first degree of interest at the viewpoint position, and includes risk information attached to the content and response information indicating danger by the operation of the subject A control apparatus for generating screen display information for displaying a message.
  21. 請求項1に記載の制御装置において、
    前記コンテンツ提示部により被験者へ提示されるコンテンツを、該制御装置とネットワークを介して接続される端末装置から受信し、
    前記画面表示部により生成された画面表示情報を、前記端末装置へ送信することを特徴とする制御装置。
    The control device according to claim 1,
    The content presented to the subject by the content presentation unit is received from the terminal device connected to the control device via a network,
    A control device that transmits screen display information generated by the screen display unit to the terminal device.
  22. コンテンツを観察している被験者の応答を評価するために用いる制御装置であって、
    コンテンツを被験者へ提示するコンテンツ提示部と、
    前記提示されたコンテンツに対する被験者の操作に伴うカーソル位置の応答情報を取り込む情報取込部と、
    前記取り込まれた応答情報のカーソル位置を被験者の視点位置とみなし、被験者の応答を評価するための評価情報を生成する処理部と、
    前記提示されたコンテンツと前記生成された評価情報とを同期させ、該コンテンツおよび評価情報を含む画面表示情報を生成する表示処理部とを備えたことを特徴とする制御装置。
    A control device used to evaluate the response of a subject observing content,
    A content presentation unit for presenting content to the subject;
    An information capturing unit that captures response information of a cursor position accompanying the operation of the subject with respect to the presented content;
    Considering the cursor position of the captured response information as the viewpoint position of the subject, a processing unit that generates evaluation information for evaluating the response of the subject;
    A control apparatus comprising: a display processing unit configured to synchronize the presented content and the generated evaluation information and generate screen display information including the content and the evaluation information.
  23. 請求項22に記載の制御装置において、
    前記コンテンツ提示部は、前記カーソル位置に応じて、画面情報の一部をぼかした形態で表示することを特徴とする制御装置。
    The control device according to claim 22,
    The content presentation unit displays a part of the screen information in a blurred form in accordance with the cursor position.
  24. 請求項22に記載の制御装置において、
    前記処理部は、さらに、前記カーソル位置について滞留時間を算出し、該滞留時間を評価情報として生成し、
    前記表示処理部は、前記カーソル位置によりカーソルの軌跡を表示すると共に、前記滞留時間に応じた形態を前記カーソル位置に表示するための画面表示情報を生成することを特徴とする制御装置。
    The control device according to claim 22,
    The processing unit further calculates a residence time for the cursor position, generates the residence time as evaluation information,
    The display processing unit generates a screen display information for displaying a locus of a cursor according to the cursor position and displaying a form corresponding to the dwell time at the cursor position.
  25. 請求項22に記載の制御装置において、
    前記情報取込部は、カーソル位置の代わりに画面スクロール位置の応答情報を取り込み、
    前記処理部の代わりに、前記取り込まれた応答情報の画面スクロール位置の滞留時間を算出し、前記画面スクロール位置に基づいて、画面停止位置の推移および該画面停止位置の滞留時間を算出し、該画面停止位置の推移および該画面停止位置の滞留時間を評価情報として生成する処理部を備えたことを特徴とする制御装置。
    The control device according to claim 22,
    The information capture unit captures response information of the screen scroll position instead of the cursor position,
    Instead of the processing unit, a residence time at the screen scroll position of the captured response information is calculated. Based on the screen scroll position, a transition of the screen stop position and a residence time at the screen stop position are calculated, and A control device comprising a processing unit that generates transition of a screen stop position and a staying time of the screen stop position as evaluation information.
  26. コンテンツを観察している被験者の応答を入力する制御装置により、前記被験者の応答を評価するための情報を生成するプログラムであって、前記制御装置を構成するコンピュータに、
    コンテンツを被験者へ提示する処理と、
    前記提示したコンテンツに対する被験者の生理反応情報を取り込む処理と、
    前記取り込んだ生理反応情報に基づいて、被験者の応答を評価するための評価情報を生成する処理と、
    前記提示したコンテンツと前記生成した評価情報とを同期させ、該コンテンツおよび評価情報を含む画面表示情報を生成する処理とを実行させるプログラム。
    A program for generating information for evaluating the response of the subject by the control device that inputs the response of the subject who is observing the content, the computer constituting the control device,
    A process of presenting content to the subject;
    Processing to capture the physiological response information of the subject with respect to the presented content;
    Processing for generating evaluation information for evaluating the response of the subject based on the captured physiological response information;
    A program that synchronizes the presented content and the generated evaluation information and executes processing for generating screen display information including the content and the evaluation information.
JP2008516571A 2006-05-18 2007-03-02 Control device for evaluating user response to content Expired - Fee Related JP4874332B2 (en)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2006164019 2006-05-18
JP2006164019 2006-05-18
JP2006254889 2006-09-20
JP2006254889 2006-09-20
PCT/JP2007/054093 WO2007135796A1 (en) 2006-05-18 2007-03-02 Control device for evaluating user response to content
JP2008516571A JP4874332B2 (en) 2006-05-18 2007-03-02 Control device for evaluating user response to content

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008516571A JP4874332B2 (en) 2006-05-18 2007-03-02 Control device for evaluating user response to content

Publications (2)

Publication Number Publication Date
JPWO2007135796A1 true JPWO2007135796A1 (en) 2009-10-01
JP4874332B2 JP4874332B2 (en) 2012-02-15

Family

ID=38723109

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008516571A Expired - Fee Related JP4874332B2 (en) 2006-05-18 2007-03-02 Control device for evaluating user response to content

Country Status (2)

Country Link
JP (1) JP4874332B2 (en)
WO (1) WO2007135796A1 (en)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010094493A (en) * 2008-09-22 2010-04-30 Koichi Kikuchi System for deciding viewer's feeling on viewing scene
JP5185240B2 (en) * 2009-11-26 2013-04-17 楽天株式会社 Server apparatus, user interest level calculation method, user interest level calculation program, and information providing system
EP2466538A1 (en) * 2010-12-20 2012-06-20 Alcatel Lucent Media asset management system
JP4824837B1 (en) * 2011-05-26 2011-11-30 株式会社クリエイティブ・ブレインズ Market evaluation survey device and survey method
JP5689388B2 (en) * 2011-09-02 2015-03-25 花王株式会社 Image presenting apparatus, image presenting method, and visual line analyzing method
JP2013180076A (en) * 2012-03-02 2013-09-12 Dainippon Printing Co Ltd Analysis supporting device and program
JP5941764B2 (en) * 2012-06-22 2016-06-29 オリンパス株式会社 Content evaluation data generation system, content evaluation data generation method, and program
JP2014081913A (en) * 2012-09-27 2014-05-08 Dainippon Printing Co Ltd Questionnaire analysis device, questionnaire analysis system, questionnaire analysis method and program
JP2014089650A (en) * 2012-10-31 2014-05-15 Fujifilm Corp Electronic medical interview device, electronic medical interview system, electronic medical interview device control method, and control program
JP2014197373A (en) * 2013-03-05 2014-10-16 大日本印刷株式会社 Internet questionnaire system, and computer program
JP6722505B2 (en) * 2016-05-11 2020-07-15 富士通株式会社 Image control method, device, and program
JP6304348B2 (en) * 2016-11-14 2018-04-04 カシオ計算機株式会社 Content output apparatus and program
US10977674B2 (en) 2017-04-28 2021-04-13 Qualtrics, Llc Conducting digital surveys that collect and convert biometric data into survey respondent characteristics
WO2019187274A1 (en) * 2018-03-30 2019-10-03 株式会社 資生堂 Information processing device and program
WO2019220751A1 (en) * 2018-05-16 2019-11-21 オムロン株式会社 Information processing device, information processing method, and information processing program
WO2021084666A1 (en) * 2019-10-30 2021-05-06 日本電信電話株式会社 Display control device and display control method

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003196196A (en) * 2001-12-27 2003-07-11 Ricoh Co Ltd Electronic form control program and method, and information storage medium
JP4208614B2 (en) * 2003-03-17 2009-01-14 亀山 渉 Video content evaluation device
JP2004280673A (en) * 2003-03-18 2004-10-07 Takenaka Komuten Co Ltd Information providing device

Also Published As

Publication number Publication date
WO2007135796A1 (en) 2007-11-29
JP4874332B2 (en) 2012-02-15

Similar Documents

Publication Publication Date Title
JP4874332B2 (en) Control device for evaluating user response to content
Foulsham et al. What can saliency models predict about eye movements? Spatial and sequential aspects of fixations during encoding and recognition
JP4622702B2 (en) Video surveillance device
JP5926210B2 (en) Autism diagnosis support system and autism diagnosis support apparatus
KR101535432B1 (en) Contents valuation system and contents valuating method using the system
JP2009530071A (en) Visual attention and emotional reaction detection display system
JP5317415B2 (en) Image output apparatus, image output method, and image output program
US9538947B2 (en) Method, system and device for assisting diagnosis of autism
JP2007293818A (en) Image-recording device, image-recording method, and image-recording program
US7512289B2 (en) Apparatus and method for examination of images
US9532711B2 (en) Affective bandwidth measurement and affective disorder determination
JP6424357B2 (en) Visual target efficiency measurement device
JP2007068620A (en) Psychological condition measuring apparatus
JP5044237B2 (en) Image recording apparatus, image recording method, and image recording program
JP2015229040A (en) Emotion analysis system, emotion analysis method, and emotion analysis program
US20200121235A1 (en) Roadside impairment sensor
US20130262182A1 (en) Predicting purchase intent based on affect
Beringer et al. Reliability and validity of machine vision for the assessment of facial expressions
Stuart et al. Do you see what I see? Mobile eye-tracker contextual analysis and inter-rater reliability
US20130052621A1 (en) Mental state analysis of voters
KR20190041081A (en) Evaluation system of cognitive ability based on virtual reality for diagnosis of cognitive impairment
US20180242898A1 (en) Viewing state detection device, viewing state detection system and viewing state detection method
US9621847B2 (en) Terminal, system, display method, and recording medium storing a display program
JP2014081913A (en) Questionnaire analysis device, questionnaire analysis system, questionnaire analysis method and program
JP5829590B2 (en) Fatigue evaluation device, fatigue evaluation method, and program

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110902

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111024

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111115

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111122

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141202

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees