WO2015080063A1 - 電子機器 - Google Patents

電子機器 Download PDF

Info

Publication number
WO2015080063A1
WO2015080063A1 PCT/JP2014/080979 JP2014080979W WO2015080063A1 WO 2015080063 A1 WO2015080063 A1 WO 2015080063A1 JP 2014080979 W JP2014080979 W JP 2014080979W WO 2015080063 A1 WO2015080063 A1 WO 2015080063A1
Authority
WO
WIPO (PCT)
Prior art keywords
sight
line
information
unit
image data
Prior art date
Application number
PCT/JP2014/080979
Other languages
English (en)
French (fr)
Inventor
冨井宏美
小野里学
田井寿
羽曾部亮
関口政一
今水誠
大江隆之
亀原博
小宮大作
Original Assignee
株式会社ニコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ニコン filed Critical 株式会社ニコン
Publication of WO2015080063A1 publication Critical patent/WO2015080063A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Definitions

  • the present invention relates to an electronic device.
  • Patent Document 1 a system that estimates and tracks the line of sight of a subject (user) wearing glasses capable of detecting a person's line of sight is known (see, for example, Patent Document 1).
  • the present invention has been made in view of the above problems, and an object of the present invention is to provide an electronic device capable of providing information by comparing images captured from the user side.
  • the electronic device of the present invention includes an input unit that inputs first imaging information captured from the first user side, the first imaging information, and the second imaging information captured from the second user side. And an output unit for outputting the comparison result.
  • the output unit includes, as the comparison result, common information between the first imaging information and the second imaging information, and difference information between the first imaging information and the second imaging information. It is good also as outputting at least one of these.
  • the first and second imaging information includes at least one of the first and second user's gaze area, the gaze order, and the gaze time, and the output unit includes the first and second users. It is also possible to output at least one comparison result of the gaze area, the gaze order, and the gaze time.
  • the input unit may input the second imaging information.
  • the input unit may input the first imaging information and the second imaging information at substantially the same time.
  • the first user and the second user may be the same user, and the input unit may input the first imaging information and the second imaging information at different times.
  • the input unit inputs result information when the first user performs an operation for obtaining a predetermined result, and the result information indicates that the first user has obtained the predetermined result.
  • the first imaging information may be input as the second imaging information.
  • the input unit inputs result information when the first and second users perform the same task, and the output unit includes the first imaging information and the second imaging information.
  • the result information may be used when comparing with imaging information.
  • the electronic device of the present invention further includes a specifying unit that specifies a comparison portion used when comparing the first imaging information and the second imaging information, and the output unit includes the specifying unit.
  • a comparison result between the first imaging information and the second imaging information may be output with respect to the identified comparison portion.
  • the input unit may input information related to the movement or posture of the first user that is different from the first imaging information.
  • the first imaging information may be input based on the movement or posture of the first user.
  • the electronic device of the present invention may include an imaging unit that captures at least the first imaging information out of the first and second imaging information.
  • the electronic device of the present invention has an effect that information can be provided by comparing images taken from the user side.
  • FIG. 4A is a diagram illustrating a case where the student has jumped the jump box
  • FIG. 4B is a diagram illustrating a case where the student has not jumped the jump box
  • 5 (a) to 5 (f) are diagrams showing the reference line-of-sight image data of the first embodiment
  • FIGS. 5 (g) to 5 (l) are the line-of-sight images of the first embodiment.
  • It is a flowchart which shows the process of the mounting apparatus of 1st Embodiment.
  • FIG. 1 It is a flowchart which shows the process of the terminal of 1st Embodiment. It is a figure which shows an example of the table
  • FIG. 6 is a diagram showing ranges P1 to P13 set on a test sheet.
  • FIG. 15A and FIG. 15B are diagrams illustrating examples of a line-of-sight transition graph according to the second embodiment.
  • FIG. 16A is a diagram illustrating an example of an average line-of-sight transition graph of students who answered correctly
  • FIG. 16B is a diagram illustrating an example of an average line-of-sight transition graph of students who answered incorrectly. It is a figure which shows the example of a display of 2nd Embodiment. It is a figure for demonstrating the modification of 2nd Embodiment.
  • FIG. 1 is a block diagram showing the configuration of the information processing system 100.
  • the information processing system 100 includes a mounting device 10 and a terminal 40.
  • the wearing device 10 is a glasses-type terminal that the user wears on the face.
  • the terminal 40 is assumed to be a terminal such as a PC (Personal Computer) or a tablet terminal.
  • the information processing system 100 is used when evaluating the line of sight of a student who jumps a jump box in a school physical education class, that is, when comparing images captured from the eyes of the student is described. To do.
  • the wearing device 10 is worn by a student who jumps the jump box, and the terminal 40 is operated by a teacher. It is assumed that physical education classes are held in the gymnasium, and in the gymnasium, as shown in FIGS. 4 (a) and 4 (b), a jump box 200, a reuter board (crossing board) 210, a mat 220, , Is provided.
  • the mounting device 10 includes an imaging unit 11, a display unit 12, an operation unit 13, a microphone 14, a line-of-sight detection unit 18, a storage unit 15, a communication unit 16, and a control unit 17. And comprising.
  • the mounting device 10 is shown in a perspective view.
  • the mounting apparatus 10 includes a glasses-type frame 110. The configuration of the mounting device 10 illustrated in FIG. 1 and not illustrated in FIG. 2 is provided inside the frame 110 or a part of the frame 110.
  • the imaging unit 11 includes a lens, an imaging device, an image processing unit, and the like, and captures still images and moving images. As shown in FIG. 2, the imaging unit 11 is provided near the end of the frame 110 (near the user's right eye). For this reason, in a state where the user wears the mounting device 10, it is possible to capture an image in a direction in which the user is facing (viewing).
  • the display unit 12 includes a projector provided in or near the frame 110, and a prism for guiding a projection image from the projector to the eyes of the user.
  • the display unit 12 displays various information under the instruction of the control unit 17.
  • the operation unit 13 is a touch pad provided on the frame 110, detects the movement of the user's finger, receives an operation from the user, and transmits the received operation information to the control unit 17. Details of the imaging unit 11, the display unit 12, the operation unit 13, and the like are also disclosed in, for example, US Published Patent No. 2013/0044042.
  • the microphone 14 is provided in the frame 110 and collects voices uttered by the user.
  • the voice collected by the microphone 14 is voice-recognized by a voice recognition unit (not shown), and the voice recognition result is transmitted to the control unit 17.
  • the control unit 17 executes processing based on the voice recognition result (for example, command execution processing).
  • the control unit 17 may perform voice recognition.
  • the line-of-sight detection unit 18 includes an infrared irradiation unit and an infrared light receiving unit.
  • the line-of-sight detection unit 18 irradiates the eyeball with infrared light from the infrared irradiation unit, and receives the infrared light reflected by the eyeball at the infrared light receiving unit.
  • the line-of-sight direction is detected based on the light reception result in the infrared light receiving unit.
  • the line-of-sight detection unit 18 is provided on the back side (face side) of the imaging unit 11 in FIG. 2 as an example.
  • the storage unit 15 is, for example, a nonvolatile semiconductor memory such as a flash memory, and stores image data captured by the imaging unit 11, display data displayed on the display unit 12, and the like.
  • the communication unit 16 performs wireless communication (communication using a mobile phone line, a wireless LAN (Local Area Network), or the like) with another device. In the first embodiment, the communication unit 16 performs communication with the terminal 40.
  • the control unit 17 comprehensively controls the entire mounting device 10.
  • the control unit 17 includes a CPU (Central Processing Unit), a RAM (Random Access Memory), a ROM (Read Only Memory), and the like.
  • the control unit 17 functions as the line-of-sight information acquisition unit 20, the information processing unit 22, and the line-of-sight information transmission unit 24 illustrated in FIG.
  • the line-of-sight information acquisition unit 20 acquires image data captured by the imaging unit 11 and acquires information on the user's line-of-sight direction (line-of-sight data) from the line-of-sight detection unit 18.
  • the line-of-sight information acquisition unit 20 transmits the acquired image data and line-of-sight data to the information processing unit 22.
  • the information processing unit 22 creates image data (hereinafter referred to as line-of-sight image data) indicating a range in which the user is gazing by adding line-of-sight data acquired at the same timing to the image data.
  • line-of-sight image data image data
  • the information processing unit 22 creates line-of-sight image data in which the range that the user is viewing is indicated by an elliptical area.
  • the line-of-sight data does not need to be an image showing the range in which the user is gazing, and may be coordinate data indicating the range in which the user is gazing.
  • the line-of-sight image data is information obtained by adding coordinate data to the image data.
  • the coordinate data can be stored, for example, in the header portion of the image data.
  • the line-of-sight information transmission unit 24 transmits the line-of-sight image data created by the information processing unit 22 to the terminal 40 via the communication unit 16.
  • the mounting device 10 may include a posture detection unit 111.
  • the details of the posture detection unit 111 will be described in a second embodiment described later.
  • the terminal 40 includes a display unit 43, an input unit 44, a storage unit 41, a communication unit 42, and a control unit 45.
  • the display unit 43 includes a liquid crystal display or the like, and displays various types of information under the instruction of the control unit 45.
  • the input unit 44 includes a keyboard, a mouse, a touch panel, and the like, and accepts input according to the operation of the user of the terminal 40 (teacher in the first embodiment).
  • the storage unit 41 is, for example, a non-volatile semiconductor memory such as a flash memory and stores data transmitted from the mounting apparatus 10.
  • the communication unit 42 performs wireless communication (communication using a mobile phone line, a wireless LAN, or the like) with other devices. In the first embodiment, the communication unit 42 performs communication with the mounting device 10.
  • the control unit 45 controls the entire terminal 40 in an integrated manner.
  • the control unit 45 includes a CPU, RAM, ROM, and the like.
  • the control unit 45 when the CPU executes the program, the result acquisition unit 50, the reference gaze information accumulation unit 51, the gaze comparison unit 52, the important gaze information accumulation unit 53, the analysis unit 54, and the display control unit illustrated in FIG. 55.
  • the reference line-of-sight DB 60 and the important line-of-sight DB 62 stored in the storage unit 41 are also illustrated.
  • the result acquisition unit 50 acquires information (jump result information) whether or not the student wearing the mounting device 10 has jumped the jump box, which is input by the teacher using the input unit 44.
  • the result acquisition unit 50 transmits the jump result information to the reference line-of-sight information storage unit 51 and the analysis unit 54.
  • the jump result information when the student jumps the jump box in the case of FIG. 4 (a)
  • the jump result information in the case of not jumping in the case of FIG. 4 (b) It shall be described as failure.
  • the input of the jump result information is not necessarily performed by the teacher, and the result acquisition unit 50 may acquire the jump result information by image recognition using an image obtained by imaging a student jumping the jump box.
  • the reference line-of-sight information storage unit 51 acquires the line-of-sight image data (see FIG. 5A and the like) transmitted from the mounting device 10 from the communication unit 42. Then, when the jump result information corresponding to the acquired line-of-sight image data is successful, the reference line-of-sight information storage unit 51 stores the line-of-sight image data as reference line-of-sight image data in the reference line-of-sight DB 60.
  • the reference line-of-sight DB 60 stores one or a plurality of sets of reference line-of-sight image data as shown in FIGS. 5 (a) to 5 (f).
  • the reference line-of-sight information storage unit 51 is configured to input not-shown reference line-of-sight data created in advance, in addition to storing the line-of-sight image data transmitted from the mounting apparatus 10 via the communication unit 42 as reference line-of-sight image data. You may store via an interface.
  • the line-of-sight comparison unit 52 acquires the line-of-sight image data (for example, FIGS. 5G to 5L) transmitted from the mounting device 10 from the communication unit 42 and stores the reference line-of-sight stored in the reference line-of-sight DB 60. Compare with image data.
  • the line-of-sight comparison unit 52 transmits the comparison result between the acquired line-of-sight image data and the reference line-of-sight image data to the analysis unit 54. Note that, when a plurality of reference line-of-sight image data is stored in the reference line-of-sight DB 60, the line-of-sight comparison unit 52 compares each reference line-of-sight image data with the acquired line-of-sight image data.
  • the important line-of-sight information storage unit 53 receives information about the point of time at which the line of sight is important for jumping the jump box, that is, information on points for jumping the jump box, and stores it in the important line-of-sight DB 62. To do.
  • the important line-of-sight DB 62 stores information that the line of sight at the timings T4 and T5 in FIGS. 4A and 4B is important.
  • the important line-of-sight information storage unit 53 stores information on points for jumping jump boxes created in advance via an input interface (not shown), in addition to storing information on points for jumping jump boxes input from teachers. It may be stored.
  • the analysis unit 54 Based on the information stored in the important line-of-sight DB 62, the comparison result by the line-of-sight comparison unit 52, and the student jump result information (success or failure) acquired by the result acquisition unit 50, the analysis unit 54 Analyze the reason for the success or failure of the jump. The analysis unit 54 transmits the analysis result to the display control unit 55.
  • the display control unit 55 displays the analysis result transmitted from the analysis unit 54 on the display unit 43.
  • FIG. 6 is a flowchart showing processing of the mounting apparatus 10
  • FIG. 7 is a flowchart showing processing of the terminal 40.
  • the mounting device 10 is mounted by a student who is about to start jumping the jump box, and the terminal 40 is placed near the teacher, or It is held by a teacher. Further, it is assumed that the positional relationship between the point where the student starts running and the Reuters plate 210 and the jump box 200 is fixed.
  • step S ⁇ b> 10 the line-of-sight information acquisition unit 20 waits until operation start information is input from the operation unit 13.
  • the student performs a predetermined operation (such as tapping) on the operation unit 13 immediately before jumping the jump box, that is, immediately before starting the run.
  • the line-of-sight information acquisition unit 20 proceeds to Step S12 at the timing when the student performs a predetermined operation on the operation unit 13.
  • the operation start information may be information based on various sounds collected by the microphone 14 or an activation signal from the terminal 40.
  • the line-of-sight information acquisition unit 20 starts acquiring information from the imaging unit 11 and the line-of-sight detection unit 18 every predetermined time.
  • the predetermined time in this case can be set for each event, and 0.1 second can be employed in the present embodiment.
  • step S ⁇ b> 14 the line-of-sight information acquisition unit 20 waits until the operation end information is input from the operation unit 13.
  • the student performs a predetermined operation (such as tapping) on the operation unit 13 immediately after jumping the jump box.
  • the operation start information may be information based on various sounds collected by the microphone 14 or may be a stop signal from the terminal 40.
  • the line-of-sight information acquisition unit 20 ends information acquisition from the imaging unit 11 and the line-of-sight detection unit 18. Therefore, the line-of-sight information acquisition unit 20 repeats information acquisition from the imaging unit 11 and the line-of-sight detection unit 18 every predetermined time until a predetermined operation is performed on the operation unit 13 by the student.
  • the line-of-sight information acquisition unit 20 transmits the acquired information to the information processing unit 22.
  • step S18 the information processing unit 22 creates line-of-sight image data from the information acquired by the imaging unit 11 and the line-of-sight detection unit 18.
  • step S18 as an example, when the jumping of the jump box by the student is unsuccessful as shown in FIG. 4B, the line-of-sight image data shown in FIGS. 5G to 5L is created. Shall be. Also, as shown in FIG. 4A, when the jumping of the jump box by the student is successful, the line-of-sight image data similar to the reference line-of-sight image data of FIGS. 5A to 5F is created. .
  • the line-of-sight information acquisition unit 20 can acquire a large number of image data between the time when the student inputs motion start information and the time when motion end information is input. Further, since the time required for jumping differs depending on the speed of the student running, the number of image data to be acquired differs. Therefore, in the first embodiment, the line-of-sight image data is created using the image data and the line-of-sight data acquired at timings T1 to T6 shown in FIGS. 4 (a) and 4 (b).
  • the timing T1 means a timing after a predetermined time has elapsed after the student inputs the operation start information, that is, immediately after the start of the run.
  • the timing T6 means a timing before a student inputs the operation end information, that is, a timing immediately after the jumping box jumping operation is completed.
  • Timings T2 to T5 mean timings obtained by dividing the timing T1 and the timing T6 at a predetermined ratio. By doing so, for example, the operation of stepping and kicking the Reuters plate 210 can be made substantially coincident with the timing T4.
  • the timings T1 to T6 can be set based not only on the elapsed time but also on the distance from the start of the run. In this case, the mounting apparatus 10 captures an image at a timing when a predetermined distance passes after the start of the run.
  • the information processing unit 22 transmits the generated line-of-sight image data to the line-of-sight information transmission unit 24.
  • step S ⁇ b> 20 the line-of-sight information transmission unit 24 transmits the generated line-of-sight image data to the communication unit 42 of the terminal 40 via the communication unit 16.
  • the processing of FIG. 6 is repeatedly executed in the same manner as described above.
  • the mounting device 10 may be transferred from the student who jumped immediately before to the student in the next order.
  • step S ⁇ b> 30 the line-of-sight comparison unit 52 waits until it receives line-of-sight image data from the mounting apparatus 10. That is, the line-of-sight comparison unit 52 stands by until the mounting apparatus 10 executes step S20 of FIG.
  • the line-of-sight comparison unit 52 proceeds to step S32 and compares the acquired line-of-sight image data with the reference line-of-sight image data stored in the reference line-of-sight DB 60.
  • the line-of-sight comparison unit 52 transmits the comparison result to the analysis unit 54.
  • the acquired line-of-sight image data is data as shown in FIGS. 5 (g) to 5 (l)
  • the reference line-of-sight image data is shown in FIGS. 5 (a) to 5 (f). Assume that the data is as shown.
  • the data corresponding to the timing T1 are FIGS.
  • the line-of-sight comparison unit 52 creates a table as shown in FIG. 8 based on FIGS. 5 (a) to 5 (f) and FIGS. 5 (g) to 5 (l). As shown in the table of FIG.
  • the line-of-sight comparison unit 52 transmits information that there is a difference in the line-of-sight positions at timings T4, T5, and T6 to the analysis unit 54 as a comparison result. If a plurality of reference line-of-sight image data is stored in the reference line-of-sight DB 60, the line-of-sight comparison unit 52 compares each reference line-of-sight image data with the acquired line-of-sight image data, and analyzes each comparison result. 54 is transmitted. Note that different comparison results may occur due to comparison with a plurality of reference line-of-sight image data. In such a case, the line-of-sight comparison unit 52 may transmit the largest number of different comparison results to the analysis unit 54.
  • step S34 the analysis unit 54 waits until jump result information is input from the input unit 44.
  • the analysis unit 54 proceeds to step S36 at the stage where the information on whether or not the student who has just jumped the jump box has succeeded in jumping is input via the input unit 44.
  • the analysis unit 54 may perform display for prompting the display unit 43 to input jump result information via the display control unit 55. In the first embodiment, it is assumed that information indicating that the jump has failed is input as the jump result information.
  • step S36 the analysis unit 54 performs analysis using the comparison result by the line-of-sight comparison unit 52, the important line-of-sight information, and the jump result information.
  • the comparison result is information that the line-of-sight positions at timings T4, T5, and T6 are different
  • the important line-of-sight information is information that the line-of-sight at timings T4 and T5 is important.
  • the analysis unit 54 can derive an analysis result that the student failed to jump the jump box because the line of sight at the timings T4 and T5 was different from the student who succeeded in the jump.
  • the analysis unit 54 can derive an analysis result that the reason for the failure to jump is other than the line of sight. In this case, for example, when the interval between the timings T1 and T6 is long, the analysis unit 54 can derive an analysis result that the cause is in the approach speed. Further, when there is no cause for the jump failure in the line of sight or the approaching speed, the analysis unit 54 can derive an analysis result that the cause is in the crossing position or the position where the hand is pushed. Note that the analysis unit 54 may compare students having similar heights, physiques, sexes, and the like when comparing students who have succeeded in jumping and students who have failed.
  • a difference in line-of-sight at an unimportant timing for example, when looking at the front when starting a run or looking down Do not consider whether or not.
  • the jump analysis can be performed more appropriately.
  • analysis unit 54 transmits the analysis result to the display control unit 55.
  • step S38 the display control unit 55 displays the analysis result received from the analysis unit 54 on the display unit 43.
  • a screen of analysis results relating to jumping of the jump box as shown in FIG. 9 can be displayed.
  • the teacher can refer to the screen of FIG. 9 to know the cause of the failure of the student to jump the jump box, so that the teacher can appropriately guide the student.
  • the teacher can be informed.
  • the teacher can be notified that the line of sight is common (the line of sight is appropriate).
  • the score can be determined based on the degree of deviation between the student's line-of-sight image data and the reference line-of-sight image data.
  • the difference between the reference line-of-sight image data and the line-of-sight image data may be displayed using a radar chart or the like.
  • step S40 the reference line-of-sight information storage unit 51 determines whether or not the jump result information is successful. If the determination here is negative, the entire processing of FIG. 7 is terminated. If the determination is positive, the reference line-of-sight information storage unit 51 proceeds to step S42.
  • the reference line-of-sight information storage unit 51 stores the acquired line-of-sight image data in the reference line-of-sight DB 60 as reference line-of-sight image data. Thereby, the reference line-of-sight DB 60 can be updated.
  • the control unit 45 inputs the line-of-sight image data captured from the side of the student who jumped the jump box, The result of comparison with the line-of-sight image data (reference line-of-sight image data) taken from the student side is output.
  • the first embodiment it is possible to output good / bad information comparing the gaze (gaze image data) of the student who jumped the jump box with the gaze (reference gaze image data) of another student. It becomes possible.
  • the reference line-of-sight image data is sequentially accumulated (S42), the reference line-of-sight image data reflecting the actual environment (arrangement of jump boxes, number of steps, run-up distance, etc.) It can be used in comparison. As a result, the analysis accuracy can be improved.
  • the result acquisition unit 50 acquires the jump box jump result information (success or failure), and the analysis unit 54 performs analysis using the jump result information. As a result, it is possible to analyze whether or not the factor causing the jump result is in the line of sight.
  • the line-of-sight comparison unit 52 determines timings T1 to T6 and compares the line-of-sight image data and the reference line-of-sight image data at the timings T1 to T6. Thereby, appropriate comparison between the line-of-sight image data and the reference line-of-sight image data becomes possible.
  • the mounting device 10 includes the line-of-sight detection unit 18 .
  • the present invention is not limited to this.
  • the information processing unit 22 estimates the area that the student is watching from the center of the image captured by the imaging unit 11 and the distance between the attachment position of the imaging unit 11 and the right eye, and creates line-of-sight image data. It is good.
  • the timing T1 to T6 has been described in the case where the timings T1 to T6 are determined by dividing the timing T1 to the timing T6 by a predetermined ratio after the timings T1 and T6 are determined.
  • the timing T1 is 3 seconds after the start
  • the timing T2 is 5 seconds after the start
  • each timing may be determined in advance. Each timing may be determined based on the similarity of the image data.
  • the timing T1 is a timing at which the jump box 200 and the Reuter plate 210 are imaged at a predetermined size
  • the timing T3 is a timing at which the Reuter plate 210 is looked down from above
  • the timing may be determined. Even in this way, it is possible to compare the positions of the lines of sight using the line-of-sight image data obtained when each student reaches the same position.
  • the timings T1 to T6 are determined based on the position of the student acquired using the GPS module. It is good to do. Further, the position detection device is not limited to the GPS module, and a device that detects a position based on communication sensitivity with a plurality of wireless LAN base stations may be used. Further, when the number of steps from the start of the run to the end of the jump is almost the same among the students, the timings T1 to T6 may be determined based on the number of steps. In this case, the mounting apparatus 10 only needs to include an acceleration sensor or a gyro sensor for detecting the number of steps.
  • the timings T1 to T6 may be determined based on this. .
  • the teacher inputs the important line-of-sight information based on experience or the like.
  • the present invention is not limited to this.
  • it is also possible to obtain important line-of-sight information by comparing the line-of-sight image data of a large number of students who have succeeded in jumping the jump box and the line-of-sight image data of a large number of students who have failed, and statistically processing differences and common points. Good.
  • the present invention is not limited to this.
  • reference line-of-sight image data in addition to data of students who have successfully jumped in the jump box, data of students who have failed to jump in the jump box may be stored.
  • the line-of-sight comparison unit 52 may analyze the quality of the student's jump by executing both the comparison using the data of the successful student and the comparison using the data of the failed student. As a result, highly accurate analysis is possible.
  • the present invention is not limited to this. For example, it is possible to average one piece of line-of-sight image data of students who have succeeded in jumping to create one reference line-of-sight image data and store it in the reference line-of-sight DB 60.
  • the reference line-of-sight image data may be registered in the reference line-of-sight DB 60 in advance.
  • the reference line-of-sight information storage unit 51 may be omitted.
  • the present invention is not limited thereto, and the line-of-sight image data of a plurality of students is simply compared, and the comparison result is obtained. It is good also as outputting.
  • the line-of-sight image data of the same user may be compared.
  • the line-of-sight image data acquired at different times before and after improvement it becomes possible to analyze changes in the line of sight before and after improvement.
  • similar students may be grouped based on height, weight, sex, etc., and comparison and analysis may be performed within each group. This makes it possible to compare and analyze the line of sight more accurately.
  • the present invention is not limited to this.
  • people who perform gymnastics such as horizontal bars, floor exercises, horses, jumping horses, people who perform long jumps, high jumps, track jumps, etc., golf, baseball, archery, shooting, darts, curling, etc.
  • Wearing a person who performs various competitions makes it possible to analyze each person's line of sight (comparison with others).
  • it becomes possible to compare the line of sight with a skilled worker by attaching a mounting device to a worker working in a factory or the like, not limited to a competition.
  • the mounting device 10 may be a wearable terminal that is worn at an arbitrary position on the body or tool, instead of the glasses-type terminal.
  • the mounting device 10 includes a posture detection unit 111 (shown by a broken line frame in FIG. 1) including a gyro sensor that can detect the posture of the mounting device 10. It shall be. By using the posture detection unit 111, it is possible to detect whether the student wearing the mounting apparatus 10 is facing down or other than down. About another structure, it is substantially the same as 1st Embodiment mentioned above.
  • test sheet in FIG. 10 includes a sentence surrounded by a rectangular frame and question 1.
  • the student reads the text enclosed in the rectangular frame, reads question 1, and answers the answer sheet.
  • FIG. 11 shows a process of the mounting apparatus 10 in a flowchart
  • FIG. 12 shows a process of the terminal 40 in a flowchart.
  • step S110 the line-of-sight information acquisition unit 20 waits until the test start time is reached. It is assumed that the test start time is input in advance by the teacher. When the test start time is reached, the line-of-sight information acquisition unit 20 proceeds to step S112 and starts acquiring information at predetermined time intervals from the imaging unit 11, the line-of-sight detection unit 18, and the posture detection unit 111.
  • the mounting device 10 may be provided with a time measuring unit that measures the time, and an activation signal may be transmitted from the terminal 40. It is assumed that the predetermined time is, for example, from a comma several seconds to several seconds.
  • control unit 17 may cause the imaging unit 11 to capture an image when the student is facing downward (that is, gazing at the question sheet or the answer sheet) by the posture detection unit 111. Good. Thereby, when the student is looking at the front or looking at the ceiling, imaging by the imaging unit 11 can be omitted. Further, the control unit 17 may omit imaging by the imaging unit 11 when the gaze detection unit 18 detects that the student has closed his eyes. Note that the analysis unit 54 can analyze the time when the user looks at the front, looks at the ceiling, or closes his eyes as the student's thinking time.
  • step S114 the line-of-sight information acquisition unit 20 waits until the test end time is reached.
  • the test end time is input in advance by the teacher.
  • the line-of-sight information acquisition unit 20 proceeds to step S116 and ends information acquisition by the imaging unit 11, the line-of-sight detection unit 18, and the posture detection unit 111.
  • the imaging unit 11 captures images at predetermined time intervals. Image data, visual line data detected by the visual line detection unit 18, and posture data detected by the posture detection unit 111 are acquired.
  • step S118 the information processing unit 22 creates line-of-sight image data from the information acquired by the imaging unit 11 and the line-of-sight detection unit 18.
  • the line-of-sight image data in this case is assumed to be data as shown in FIG.
  • step S130 the line-of-sight comparison unit 52 stands by until line-of-sight image data is received from the wearing device 10 of each student.
  • the line-of-sight comparison unit 52 proceeds to step S132 and creates a line-of-sight transition graph for each student.
  • the line-of-sight comparison unit 52 divides the text described on the test sheet into equal parts and predefines the ranges P1 to P13.
  • the division of the ranges P1 to P13 by the line-of-sight comparison unit 52 may be, for example, page units, paragraph (section) units, several line units, or each line unit.
  • the line-of-sight comparison unit 52 may set (divide) various ranges for each question. Then, the line-of-sight comparison unit 52 acquires from the line-of-sight image data which of the ranges P1 to P13 the student's line of sight was at each time, and displays the line-of-sight transition graph as shown in FIGS. To express.
  • the line-of-sight comparison unit 52 excludes line-of-sight image data (line-of-sight image data with flag 0) at a time when the student is not facing down based on the posture information added to each line-of-sight image data. Assume that a line-of-sight transition graph is created.
  • FIGS. 15A and 15B represent the ranges P1 to P13
  • the horizontal axis represents time t.
  • FIGS. 15A and 15B show the gaze times in the respective ranges P1 to P13.
  • the line-of-sight transition graph of FIG. 15B it is shown that reading is performed more slowly in the ranges P6 and P7 than in other ranges, that is, reading is focused over a long time.
  • the line-of-sight transition graph of FIG. 15A shows that reading is performed at a constant speed over the entire range.
  • the question is related to the ranges P6 and P7. Actually, the student may read a part of the text repeatedly, read the text back, or skip a part, but here, for the sake of convenience of explanation, each student has the range P1. To P13 in order.
  • step S134 the important line-of-sight information storage unit 53 stands by until the correct / incorrect result of question 1 of each student is input.
  • the important line-of-sight information storage unit 53 proceeds to step S136 and creates an average line-of-sight transition graph for each correct / incorrect result.
  • the important line-of-sight information accumulating unit 53 averages the line-of-sight transition graphs of the students who answered the question correctly, and creates an average line-of-sight transition graph of the students who answered correctly as shown in FIG.
  • the important line-of-sight information storage unit 53 averages the line-of-sight transition graphs of students who answered the question incorrectly, and creates an average line-of-sight transition graph of students who answered incorrectly as shown in FIG.
  • step S138 the important line-of-sight information storage unit 53 compares the average line-of-sight transition graphs (FIGS. 16A and 16B) to acquire important line-of-sight information.
  • the important line-of-sight information storage unit 53 detects that there is a difference between the ranges P6 and P7 from FIGS. 16A and 16B, and acquires the ranges P6 and P7 as important line-of-sight information.
  • step S140 the line-of-sight comparison unit 52 compares the line-of-sight transition graph of each student with the average line-of-sight transition graph of correctly answered students (FIG. 16A).
  • the line-of-sight comparison unit 52 obtains common points and differences between the line-of-sight transition graph of each student and the average line-of-sight transition graph of correctly answered students, and transmits them to the analysis unit 54 as a comparison result.
  • step S142 the analysis unit 54 analyzes each student's gaze based on the comparison result and the important gaze information. For example, comparing the line-of-sight transition graph of the student who answered incorrectly and the average line-of-sight transition graph of the student who answered correctly, if there is a difference between the ranges P6 and P7, it is analyzed that the student is reading an important point. can do. In addition, when the gaze transition graph of the student who answered incorrectly and the average gaze transition graph of the student who answered correctly are similar, the student can analyze that there is no problem in how to read the sentence. The analysis unit 54 transmits the analysis result to the display control unit 55.
  • step S144 the display control unit 55 displays the received analysis result on the display unit 43.
  • the display control unit 55 generates a screen as shown in FIG. 17 and displays it on the display unit 43.
  • the analysis result is not limited to being displayed on the display unit 43, and the analysis result may be printed together when the test result is printed on a paper medium.
  • the control unit 45 captures the graph based on the line-of-sight image data captured from the side of the student who has received the test of the Japanese language, and captures from the other student's side.
  • a comparison result with a graph based on the line-of-sight image data (average line-of-sight transition graph of students who answered correctly) is output.
  • an average line-of-sight transition graph (FIG. 16 (a), FIG. 16 (b)) is created based on the line-of-sight image data of students who have taken the Japanese language test at the same time. Since the comparison is made with the student's line-of-sight transition graph, it is possible to compare the movement of the line of sight between students who have been tested in almost the same environment.
  • the analysis unit 54 compares the gaze times of the ranges P1 to P13, it is possible to compare which range is being read mainly after each birth.
  • the analysis unit 54 can also compare the time when the student is gazing at the question paper with the time when the student is gazing at the answer paper. Particularly, when the question sheet and the answer sheet are different, the analysis unit 54 can analyze the gaze time with higher accuracy.
  • the analysis unit 54 can also analyze a process of whether the answer is a correct answer by rewriting or an incorrect answer by rewriting in the selection question for selecting an answer.
  • the analysis unit 54 can also analyze the time from the start of description to the end of description, the presence / absence of rewriting, and the time for the problem of the description formula.
  • the analysis unit 54 can also extract the writing time by extracting the time during which the student was writing with the writing tool from the output of the imaging unit 11 and the microphone 14. In this case, the analysis unit 54 may analyze a process in which the student has drawn or marked a part of the question sentence (for example, an underline or a vertical line).
  • the line-of-sight image data) can be prevented from being uniformly used. As a result, the line-of-sight image data unnecessary for comparison and analysis can be easily excluded from the comparison and analysis targets.
  • the analysis unit 54 performs analysis using the correct / incorrect result, and thus can analyze whether or not the factor causing the correct / incorrect result is the movement of the line of sight.
  • the important line-of-sight information storage unit 53 uses the line-of-sight image data of the students who have been tested at the same time to generate an average line-of-sight transition graph (FIGS. 16A and 16B).
  • the teacher may input the important line-of-sight information to the important line-of-sight information storage unit 53 via the input unit 44 of the terminal 40.
  • the important line-of-sight information storage unit 53 may store various changes (time distribution, reading speed, writing speed, etc.) for each test of the same student.
  • the ranges P1 to P13 are equally divided as shown in FIG. 14 has been described.
  • the present invention is not limited to this.
  • the ranges P1 to P13 may be divided one sentence at a time. Even in this case, it is possible to perform the same analysis as in the second embodiment by comparing the time for each student to read each range.
  • the analysis unit 54 may compare the order of gaze in each range of the test paper. As a result, it is better to solve the questions in the simple order, the score is better to solve from the problem in the specific field (special field), the score is better to read the question sentence after looking at the options and questions first , And so on. Further, the analysis unit 54 may compare the time allocation for each question among the students, and may perform analysis such as lack of time because it took time for a problem that should not take much time. .
  • the information processing system 100 is used for analyzing the test results of the national language.
  • the present invention is not limited to this, and English, mathematics, physics, a mock test for obtaining qualification, and the like.
  • the information processing system 100 may be used in a scene where it is necessary to analyze how to read a sentence.
  • the analysis unit 54 can also time (estimate) the time during which a problem sentence was read and the time during which it was calculated for a science subject such as mathematics or physics. (Estimate).
  • the analysis unit 54 can also analyze (estimate) whether there is a memory error in the formula or theorem.
  • the analysis unit 54 can analyze the process (high-score students) solving the problem (keyword extraction, understanding, various speeds, various time allocations). In addition, it is possible to analyze a process in which low-score students and intermediate-score students cannot solve the problem.
  • the analysis result of the analysis unit 54 can be fed back to the teacher.
  • the analysis unit 54 may also analyze the student's grade for each teacher in charge (for example, the correct answer rate of question 1 is higher than the correct answer rate of the class assigned to teacher B in the class assigned to teacher A). it can.
  • the information processing system 100 can output a correlation between how to take the lesson and the test result (correct answer, wrong answer).
  • the present invention is not limited to this.
  • the terminal 40 may execute the process of the terminal 40 and provide the processing result to the terminal 40.
  • the terminal 40 or the server may execute a part of the processing (for example, processing of the information processing unit 22) that has been performed by the mounting apparatus 10.
  • the above processing functions can be realized by a computer.
  • a program describing the processing contents of the functions that the processing apparatus should have is provided.
  • the program describing the processing contents can be recorded on a computer-readable recording medium (except for a carrier wave).
  • the program When the program is distributed, for example, it is sold in the form of a portable recording medium such as a DVD (Digital Versatile Disc) or CD-ROM (Compact Disc Read Only Memory) on which the program is recorded. It is also possible to store the program in a storage device of a server computer and transfer the program from the server computer to another computer via a network.
  • a portable recording medium such as a DVD (Digital Versatile Disc) or CD-ROM (Compact Disc Read Only Memory) on which the program is recorded. It is also possible to store the program in a storage device of a server computer and transfer the program from the server computer to another computer via a network.
  • the computer that executes the program stores, for example, the program recorded on the portable recording medium or the program transferred from the server computer in its own storage device. Then, the computer reads the program from its own storage device and executes processing according to the program. The computer can also read the program directly from the portable recording medium and execute processing according to the program. Further, each time the program is transferred from the server computer, the computer can sequentially execute processing according to the received program.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

　本発明の電子機器は、第１ユーザの側から撮像した第１の撮像情報を入力する入力部（４２、４５）と、前記第１の撮像情報と、第２ユーザの側から撮像した第２の撮像情報との比較結果を出力する出力部（４３、４５）と、を備えている。

Description

電子機器
　本発明は、電子機器に関する。
　従来より、人物の視線を検出可能なメガネをかけた被験者（ユーザ）の視線を推定・追跡するシステムが知られている（例えば、特許文献１参照）。
特開２０１３－８１７６２号公報
　しかしながら、上記特許文献１では、ユーザの視線から商品などに対するユーザの注目度を評価するのにとどまっていた。
　本発明は上記の課題に鑑みてなされたものであり、ユーザの側から撮像した画像を比較して情報を提供することが可能な電子機器を提供することを目的とする。
　本発明の電子機器は、第１ユーザの側から撮像した第１の撮像情報を入力する入力部と、前記第１の撮像情報と、第２ユーザの側から撮像した第２の撮像情報との比較結果を出力する出力部と、を備えている。
　この場合において、前記出力部は、前記比較結果として前記第１の撮像情報と前記第２の撮像情報との共通情報と、前記第１の撮像情報と前記第２の撮像情報との差異情報との少なくとも一方を出力することとしてもよい。また、前記第１、第２の撮像情報は、前記第１、第２ユーザの注視領域、注視の順番、注視時間の少なくとも１つをそれぞれ含み、前記出力部は、前記第１、第２ユーザの注視領域、注視の順番、注視時間の少なくとも１つの比較結果を出力することとしてもよい。また、前記入力部は、前記第２の撮像情報を入力することとしてもよい。この場合、前記入力部は、前記第１の撮像情報と、前記第２の撮像情報とをほぼ同じ時刻に入力することとしてもよい。また、前記第１ユーザと前記第２ユーザとは同一のユーザであり、前記入力部は、前記第１の撮像情報と、前記第２の撮像情報とを異なる時刻に入力することとしてもよい。この場合、前記入力部は、前記第１ユーザが所定の結果を得るための動作を行ったときの結果情報を入力し、前記結果情報が、前記第１ユーザが前記所定の結果を得られたという情報であった場合に、前記第１の撮像情報を前記第２の撮像情報として入力してもよい。
　本発明の電子機器では、前記入力部は、前記第１、第２ユーザが同じ課題を行ったときの結果情報を入力し、前記出力部は、前記第１の撮像情報と、前記第２の撮像情報とを比較する際に、前記結果情報を用いることとしてもよい。
　また、本発明の電子機器では、前記第１の撮像情報と、前記第２の撮像情報とを比較する際に用いられる比較部分を特定する特定部を備え、前記出力部は、前記特定部が特定した前記比較部分に関して前記第１の撮像情報と前記第２の撮像情報との比較結果を出力することとしてもよい。
　また、前記入力部は、前記第１の撮像情報とは異なる前記第１ユーザの動きまたは姿勢に関する情報を入力することとしてもよい。この場合、前記第１ユーザの動き又は姿勢に基づいて、前記第１の撮像情報を入力してもよい。また、本発明の電子機器においては、前記第１、第２の撮像情報のうち、少なくとも前記第１の撮像情報を撮像する撮像部を備えていてもよい。
　本発明の電子機器は、ユーザの側から撮像した画像を比較して情報を提供することができるという効果を奏する。
第１の実施形態に係る情報処理システムの構成を示す図である。 装着装置の斜視図である。 装着装置及び端末の機能ブロック図である。 図４（ａ）は、生徒が跳び箱を跳べた場合を示す図であり、図４（ｂ）は、生徒が跳び箱を跳べなかった場合を示す図である。 図５（ａ）～図５（ｆ）は、第１の実施形態の基準視線画像データを示す図であり、図５（ｇ）～図５（ｌ）は、第１の実施形態の視線画像データを示す図である。 第１の実施形態の装着装置の処理を示すフローチャートである。 第１の実施形態の端末の処理を示すフローチャートである。 第１の実施形態の基準視線画像データと視線画像データを比較する際に作成される表の一例を示す図である。 第１の実施形態の表示例を示す図である。 第２の実施形態に係るテスト用紙の一例を示す図である。 第２の実施形態の装着装置の処理を示すフローチャートである。 第２の実施形態の端末の処理を示すフローチャートである。 第２の実施形態の視線画像データの一例を示す図である。 テスト用紙に設定された範囲Ｐ１～Ｐ１３を示す図である。 図１５（ａ）、図１５（ｂ）は、第２の実施形態の視線遷移グラフの例を示す図である。 図１６（ａ）は、正答した生徒の平均視線遷移グラフの一例を示す図であり、図１６（ｂ）は、誤答した生徒の平均視線遷移グラフの一例を示す図である。 第２の実施形態の表示例を示す図である。 第２の実施形態の変形例を説明するための図である。
《第１の実施形態》
　以下、第１の実施形態に係る情報処理システム１００について、図１～図９に基づいて、詳細に説明する。図１には、情報処理システム１００の構成がブロック図にて示されている。
　図１に示すように、情報処理システム１００は、装着装置１０と、端末４０と、を備える。装着装置１０は、ユーザが顔に装着する眼鏡型の端末である。また、端末４０は、ＰＣ（Personal Computer）やタブレット端末などの端末であるものとする。なお、本第１の実施形態では、学校の体育の授業において跳び箱の跳躍を行う生徒の視線の評価、すなわち生徒の目から撮像した画像を比較する場合に、情報処理システム１００を用いる場合について説明する。この場合、装着装置１０は、跳び箱を跳ぶ生徒が装着し、端末４０は、教員によって操作されるものとする。なお、体育の授業は体育館で行われるものとし、体育館内には、図４（ａ）、図４（ｂ）に示すように、跳び箱２００と、ロイター板（踏切板）２１０と、マット２２０と、が設けられている。
（装着装置１０）
　装着装置１０は、図１に示すように、撮像部１１と、表示部１２と、操作部１３と、マイク１４と、視線検出部１８と、記憶部１５と、通信部１６と、制御部１７と、を備える。なお、図２には、装着装置１０が斜視図にて示されている。図２に示すように、装着装置１０は、眼鏡型のフレーム１１０を備えている。なお、図１において図示され、図２において図示されていない装着装置１０の構成は、フレーム１１０の内部や、フレーム１１０の一部に設けられているものとする。
　撮像部１１は、レンズ、撮像素子、画像処理部などを備え、静止画や動画を撮像するものである。撮像部１１は、図２に示すようにフレーム１１０の端部近傍（ユーザの右目近傍）に設けられている。このため、ユーザが装着装置１０を装着した状態では、ユーザが向いている（見ている）方向の画像を撮像することができる。
　表示部１２は、フレーム１１０内部又はフレーム１１０近傍に設けられたプロジェクタと、プロジェクタからの投影像をユーザの目に導くためのプリズムとを有している。表示部１２は、制御部１７の指示の下、各種情報を表示する。
　操作部１３は、フレーム１１０に設けられたタッチパッドであり、ユーザの指の動きを検知して、ユーザからの操作を受け付け、受け付けた操作情報を制御部１７に送信する。なお、撮像部１１、表示部１２、操作部１３などについては、例えば米国公開特許２０１３／００４４０４２号にもその詳細が開示されている。
　マイク１４は、フレーム１１０に設けられ、ユーザが発した音声を収集する。マイク１４が収集した音声は、不図示の音声認識部により音声認識され、音声認識結果は、制御部１７に送信される。制御部１７は、音声認識結果に基づく処理（例えば、コマンドの実行処理など）を実行する。なお、制御部１７が音声認識を実行してもよい。
　視線検出部１８は、赤外線照射部と、赤外線受光部と、を有する。視線検出部１８は、赤外線照射部から眼球に対して赤外線を照射し、眼球にて反射した赤外線を赤外線受光部において受光する。そして、赤外線受光部における受光結果に基づいて、視線方向を検出する。なお、視線検出部１８は、一例として図２における撮像部１１の裏側（顔側）に設けられているものとする。
　記憶部１５は、例えば、フラッシュメモリ等の不揮発性の半導体メモリであり、撮像部１１が撮像した画像データや、表示部１２に表示する表示データなどを記憶する。
　通信部１６は、他の機器と無線通信（携帯電話回線や無線ＬＡＮ（Local Area Network）等を用いた通信）を行う。本第１の実施形態では、通信部１６は、端末４０との間で通信を行うものとする。
　制御部１７は、装着装置１０全体を統括的に制御する。制御部１７は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を備える。制御部１７では、ＣＰＵがプログラムを実行することで、図３に示す視線情報取得部２０、情報処理部２２、及び視線情報送信部２４として機能する。
　視線情報取得部２０は、撮像部１１が撮像した画像データを取得するとともに、視線検出部１８からユーザの視線方向の情報（視線データ）を取得する。視線情報取得部２０は、取得した画像データ及び視線データを情報処理部２２に送信する。
　情報処理部２２は、画像データに、同一のタイミングで取得された視線データを付加することで、ユーザが注視している範囲を示した画像データ（以下、視線画像データと呼ぶ）を作成する。例えば、情報処理部２２は、図５（ｇ）等に示すように、ユーザが見ている範囲を楕円領域にて示した視線画像データを作成する。なお、視線データは、ユーザが注視している範囲を示した画像である必要はなく、ユーザが注視している範囲を示す座標データであっても良い。この場合、視線画像データは、画像データに座標データが付加された情報となる。座標データは、例えば、画像データのヘッダ部分に格納されるようにすることができる。
　視線情報送信部２４は、情報処理部２２が作成した視線画像データを、通信部１６を介して、端末４０に送信する。
　なお、図１において破線にて示すように、装着装置１０は、姿勢検出部１１１を備えていてもよい。なお、姿勢検出部１１１の詳細については、後述する第２の実施形態において説明する。
（端末４０）
　端末４０は、図１に示すように、表示部４３と、入力部４４と、記憶部４１と、通信部４２と、制御部４５と、を備える。
　表示部４３は、液晶ディスプレイ等を含み、制御部４５の指示の下、各種情報を表示する。
　入力部４４は、キーボードやマウス、タッチパネル等を含み、端末４０のユーザ（本第１の実施形態では教員）の操作に応じた入力を受け付ける。
　記憶部４１は、例えば、フラッシュメモリ等の不揮発性の半導体メモリであり、装着装置１０から送信されてきたデータ等を記憶する。
　通信部４２は、他の装置と無線通信（携帯電話回線や無線ＬＡＮ等を用いた通信）を行う。本第１の実施形態では、通信部４２は、装着装置１０との間で通信を行うものとする。
　制御部４５は、端末４０全体を統括的に制御する。制御部４５は、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備える。制御部４５では、ＣＰＵがプログラムを実行することで、図３に示す、結果取得部５０、基準視線情報蓄積部５１、視線比較部５２、重要視線情報蓄積部５３、解析部５４、表示制御部５５、として機能する。なお、図３には、記憶部４１に格納されている基準視線ＤＢ６０及び重要視線ＤＢ６２も図示されている。
　結果取得部５０は、教員が入力部４４を用いて入力する、装着装置１０を装着した生徒が跳び箱を跳べたか否かの情報（跳躍結果情報）を取得する。結果取得部５０は、跳躍結果情報を基準視線情報蓄積部５１及び解析部５４に送信する。なお、以下においては、生徒が跳び箱を跳べた場合（図４（ａ）の場合）の跳躍結果情報を成功と記述し、跳べなかった場合（図４（ｂ）の場合）の跳躍結果情報を失敗と記述するものとする。跳躍結果情報の入力は、必ずしも教員が行う必要は無く、結果取得部５０は、生徒が跳び箱を跳ぶ姿を撮像した画像を用いて、画像認識により跳躍結果情報を取得するようにしてもよい。
　基準視線情報蓄積部５１は、装着装置１０から送信されてきた視線画像データ（図５（ａ）等参照）を通信部４２から取得する。そして、基準視線情報蓄積部５１は、取得した視線画像データに対応する跳躍結果情報が成功であった場合に、その視線画像データを基準視線画像データとして、基準視線ＤＢ６０に格納する。なお、基準視線ＤＢ６０には、図５（ａ）～図５（ｆ）に示すような基準視線画像データの組が１又は複数格納される。なお、基準視線情報蓄積部５１は、通信部４２を介して装着装置１０から送信されてきた視線画像データを基準視線画像データとして格納する以外に、事前に作成された基準視線データを図示しない入力インターフェースを介して格納してもよい。
　視線比較部５２は、装着装置１０から送信されてきた視線画像データ（例えば、図５（ｇ）～図５（ｌ））を通信部４２から取得し、基準視線ＤＢ６０に格納されている基準視線画像データと比較する。視線比較部５２は、取得した視線画像データと基準視線画像データとの比較結果を解析部５４に送信する。なお、視線比較部５２は、基準視線ＤＢ６０に複数の基準視線画像データが格納されている場合には、各基準視線画像データと、取得した視線画像データとを比較するものとする。
　重要視線情報蓄積部５３は、教員から入力された、どの時点での視線が跳び箱を跳ぶために重要であるかの情報、すなわち、跳び箱を跳ぶためのポイントの情報を受け付け、重要視線ＤＢ６２に格納する。例えば、重要視線ＤＢ６２には、図４（ａ）、図４（ｂ）のタイミングＴ４、Ｔ５における視線が重要であるという情報が格納される。なお、重要視線情報蓄積部５３は、教員から入力された跳び箱を跳ぶためのポイントの情報を格納する以外に、事前に作成された跳び箱を跳ぶためのポイントの情報を図示しない入力インターフェースを介して格納してもよい。
　解析部５４は、重要視線ＤＢ６２に格納されている情報と、視線比較部５２による比較結果と、結果取得部５０が取得した生徒の跳躍結果情報（成功又は失敗）とに基づいて、生徒が跳び箱の跳躍に成功した理由や失敗した理由を解析する。解析部５４は、解析結果を表示制御部５５に送信する。
　表示制御部５５は、解析部５４から送信されてきた解析結果を表示部４３上に表示する。
（情報処理システム１００の処理）
　次に、図６、図７に基づいて、情報処理システム１００の処理について詳細に説明する。なお、図６は、装着装置１０の処理を示すフローチャートであり、図７は、端末４０の処理を示すフローチャートである。
　なお、図６、図７の処理が開始される前提として、装着装置１０は、跳び箱の跳躍を開始しようとしている生徒によって装着されており、端末４０は、教員の近傍に置かれている、又は教員によって保持されているものとする。また、生徒が助走を開始する地点と、ロイター板２１０や跳び箱２００との位置関係は、固定であるものとする。
　図６の処理では、ステップＳ１０において、視線情報取得部２０が、動作開始情報が操作部１３から入力されるまで待機する。なお、生徒は、跳び箱を跳ぶ直前、すなわち、助走を開始する直前に、操作部１３に対する所定の操作（タップなど）を行う。視線情報取得部２０は、生徒が操作部１３に対して所定の操作を行ったタイミングで、ステップＳ１２に移行する。なお、動作開始情報はマイク１４にて収集される各種音声に基づく情報や、端末４０からの起動信号であってもよい。
　ステップＳ１２に移行すると、視線情報取得部２０は、撮像部１１及び視線検出部１８からの所定時間毎の情報取得を開始する。この場合の所定時間としては、種目毎に設定することができ、本実施形態においては０．１秒を採用することができる。
　次いで、ステップＳ１４では、視線情報取得部２０は、動作終了情報が操作部１３から入力されるまで待機する。なお、生徒は、跳び箱を跳んだ直後に、操作部１３に対する所定の操作（タップなど）を行う。なお、動作開始情報はマイク１４にて収集される各種音声に基づく情報であってもよく、端末４０からの停止信号であってもよい。
　ステップＳ１６に移行すると、視線情報取得部２０は、撮像部１１及び視線検出部１８からの情報取得を終了する。したがって、視線情報取得部２０は、生徒によって操作部１３に対する所定の操作が行われるまで、撮像部１１及び視線検出部１８から所定時間毎に情報取得を繰り返す。なお、視線情報取得部２０は、取得した情報を情報処理部２２に送信する。
　次いで、ステップＳ１８では、情報処理部２２が、撮像部１１及び視線検出部１８により取得された情報から視線画像データを作成する。なお、ステップＳ１８では、一例として、図４（ｂ）に示すように生徒による跳び箱の跳躍が失敗に終わった場合、図５（ｇ）～図５（ｌ）に示すような視線画像データが作成されるものとする。また、図４（ａ）に示すように生徒による跳び箱の跳躍が成功した場合、図５（ａ）～図５（ｆ）の基準視線画像データと同様の視線画像データが作成されるものとする。
　ここで、実際には、視線情報取得部２０は、生徒が動作開始情報を入力してから動作終了情報を入力するまでの間には、多数の画像データを取得することができる。また、生徒の走る速さによって、跳躍に要する時間は異なるため、取得される画像データの数は異なる。したがって、本第１の実施形態では、図４（ａ）、図４（ｂ）に示すタイミングＴ１～Ｔ６において取得された画像データ及び視線データを用いて視線画像データを作成することとする。
　タイミングＴ１は、生徒が動作開始情報を入力してから所定時間経過後、すなわち助走を開始した直後のタイミングを意味する。また、タイミングＴ６は、生徒が動作終了情報を入力する所定時間前、すなわち跳び箱の跳躍動作が終了した直後のタイミングを意味する。また、タイミングＴ２～Ｔ５は、タイミングＴ１とタイミングＴ６の間を予め定められた割合で分割したタイミングを意味する。このようにすることにより、例えば、ロイター板２１０を踏み蹴る動作をタイミングＴ４と概ね一致させることができる。なお、タイミングＴ１～Ｔ６は、経過時間だけでなく、助走を開始してからの距離に基づいて、設定することもできる。この場合は、装着装置１０は、助走を開始してから所定の距離を通過するタイミングで撮像を行う。
　また、このようにすることで、各生徒が跳び箱を跳んだときに所定タイミングＴ１～Ｔ６で撮像された視線画像データを作成することができる。これにより、生徒の跳躍ごとに得られる視線画像データを比較（対比）することが可能となる。なお、情報処理部２２は、作成した視線画像データを視線情報送信部２４に送信する。
　次いで、ステップＳ２０では、視線情報送信部２４は、作成した視線画像データを通信部１６を介して端末４０の通信部４２に送信する。
　その後は、上述したのと同様に、図６の処理が繰り返し実行されるようになっている。なお、次の順番の生徒が跳び箱の跳躍を行う際には、直前に跳躍を行った生徒から次の順番の生徒に装着装置１０を渡すようにしてもよい。
　次に、図７のフローチャートに沿って、端末４０の処理について説明する。
　図７の処理では、ステップＳ３０において、視線比較部５２が、装着装置１０から視線画像データを受信するまで待機する。すなわち、視線比較部５２は、装着装置１０において、図６のステップＳ２０が実行されるまで待機する。
　装着装置１０から視線画像データを受信すると、視線比較部５２は、ステップＳ３２に移行し、取得した視線画像データと、基準視線ＤＢ６０に格納されている基準視線画像データとを比較する。視線比較部５２は、比較結果を解析部５４に送信する。本第１の実施形態では、取得した視線画像データが図５（ｇ）～図５（ｌ）に示すようなデータであり、基準視線画像データが図５（ａ）～図５（ｆ）に示すようなデータであったとする。なお、タイミングＴ１に対応するデータが図５（ａ）、図５（ｇ）であり、タイミングＴ２に対応するデータが図５（ｂ）、図５（ｈ）であり、タイミングＴ３に対応するデータが図５（ｃ）、図５（ｉ）であり、タイミングＴ４に対応するデータが図５（ｄ）、図５（ｊ）であり、タイミングＴ５に対応するデータが図５（ｅ）、図５（ｋ）であり、タイミングＴ６に対応するデータが図５（ｆ）、図５（ｌ）である。この場合、視線比較部５２は、図５（ａ）～図５（ｆ）、及び図５（ｇ）～図５（ｌ）に基づいて、図８に示すような表を作成する。図８の表に示すように、タイミングＴ４、Ｔ５、Ｔ６の視線位置に差異がある。したがって、視線比較部５２は、比較結果として、タイミングＴ４、Ｔ５、Ｔ６の視線位置に差異があるという情報を解析部５４に対して送信する。なお、基準視線ＤＢ６０に基準視線画像データが複数格納されていた場合には、視線比較部５２は、各基準視線画像データと、取得した視線画像データとをそれぞれ比較し、各比較結果を解析部５４に対して送信する。なお、複数の基準視線画像データとの比較により、異なる比較結果が発生する場合がある。このような場合には、視線比較部５２は、異なる比較結果のうち最も多いものを解析部５４に対して送信するようにしてもよい。
　次いで、ステップＳ３４に移行すると、解析部５４は、入力部４４から跳躍結果情報が入力されるまで待機する。この場合、教員が直前に跳び箱を跳んだ生徒が跳躍に成功したか否かの情報を入力部４４を介して入力した段階で、解析部５４は、ステップＳ３６に移行する。なお、解析部５４は、表示制御部５５を介して表示部４３に跳躍結果情報の入力を促す表示を行うこととしてもよい。本第１の実施形態では、跳躍結果情報として、跳躍を失敗したという情報が入力されたものとする。
　ステップＳ３６に移行すると、解析部５４は、視線比較部５２による比較結果と、重要視線情報と、跳躍結果情報と、を用いて解析を行う。例えば、比較結果が、タイミングＴ４、Ｔ５、Ｔ６の視線位置に差異があるという情報であり、重要視線情報が、タイミングＴ４、Ｔ５における視線が重要であるという情報であったとする。この場合、解析部５４は、生徒が跳び箱の跳躍に失敗したのは、タイミングＴ４、Ｔ５における視線が、跳躍に成功した生徒とは異なっていたためである、という解析結果を導き出すことができる。
　なお、跳び箱の跳躍に失敗した生徒の視線画像データと、基準視線画像データとを比較した結果、タイミングＴ４、Ｔ５の視線に違いがない場合もある。このような場合には、解析部５４は、跳躍に失敗した理由が、視線以外にあるという解析結果を導き出すことができる。この場合、例えば、解析部５４は、タイミングＴ１とＴ６の間隔が長い場合には、助走スピードに原因があるという解析結果を導き出すことができる。また、視線にも助走スピードにも跳躍に失敗した原因が無い場合には、解析部５４は、踏み切り位置や、手を突く位置に原因があるという解析結果を導き出すことができる。なお、解析部５４は、跳躍に成功した生徒と、失敗した生徒とを比較する場合に身長や、体格、性別などが同じような生徒同士を比較するようにしてもよい。
　上述したように、本第１の実施形態では重要視線情報を用いた解析を行うことで、重要でないタイミングでの視線の差異、例えば、助走開始の際に前を見ているか、下を見ているかなどは考慮しないようになっている。すなわち、解析において、跳躍結果に影響を与えない要素を排除することで、跳躍に関する解析をより適切に行うことができる。
　なお、解析部５４は、解析結果を表示制御部５５に送信する。
　次いで、ステップＳ３８では、表示制御部５５は、解析部５４から受信した解析結果を表示部４３上に表示する。この場合、表示部４３上には、例えば、図９に示すような、跳び箱の跳躍に関する解析結果の画面を表示することができる。教員は、図９の画面を参照することで、生徒が跳び箱の跳躍に失敗した原因を知ることができるので、教員は、生徒の指導を適切に行うことが可能となる。また、跳躍に成功した生徒についても、跳躍時の視線が適切でなければ、その旨を教員に知らせることができる。あるいは、跳躍に成功した生徒の視線画像データが基準視線画像データとほぼ同一であれば、視線が共通している旨（視線が適切である旨）を教員に知らせることができる。
　なお、表示部４３に表示する情報としては、例えば、生徒の視線の得点が１００点満点のうち何点であるかを表示することとしてもよい。この場合、生徒の視線画像データと基準視線画像データとの乖離度に基づいて、得点を決定するなどすることができる。また、基準視線画像データと視線画像データとの違いをレーダーチャートなどを用いて表示することとしてもよい。
　次いで、ステップＳ４０では、基準視線情報蓄積部５１が、跳躍結果情報が成功であったか否かを判断する。ここでの判断が否定された場合には、図７の全処理を終了するが、肯定された場合には、基準視線情報蓄積部５１は、ステップＳ４２に移行する。
　ステップＳ４２に移行すると、基準視線情報蓄積部５１は、取得した視線画像データを基準視線画像データとして、基準視線ＤＢ６０に格納する。これにより、基準視線ＤＢ６０を更新することができる。
　以上、詳細に説明したように、本第１の実施形態によると、制御部４５は、跳び箱の跳躍を行った生徒の側から撮像した視線画像データを入力し、入力した視線画像データと、別の生徒の側から撮像した視線画像データ（基準視線画像データ）との比較結果を出力する。これにより、本第１の実施形態では、跳び箱の跳躍を行った生徒の視線（視線画像データ）の、別の生徒の視線（基準視線画像データ）と比較した良し悪しの情報を出力することが可能となる。
　また、本第１の実施形態では、比較結果として、跳び箱の跳躍を行った生徒の視線（視線画像データ）と、別の生徒の視線（基準視線画像データ）との共通情報、及び跳び箱の跳躍を行った生徒の視線（視線画像データ）と、別の生徒の視線（基準視線画像データ）との差異情報（図９参照）の少なくとも一方を出力する。これにより、教員は生徒の視線の良し悪しを適切に判断することができる。
　また、本第１の実施形態では、基準視線画像データを逐次蓄積している（Ｓ４２）ことから、実際の環境（跳び箱の配置、段数、助走距離など）を反映させた基準視線画像データを、比較において用いることが可能となる。これにより、解析精度を向上することが可能となる。
　また、本第１の実施形態では、結果取得部５０が跳び箱の跳躍結果情報（成功か失敗か）を取得し、解析部５４は、跳躍結果情報を用いた解析を行う。これにより、跳躍結果がもたらされた要因が視線にあるか否かを解析することが可能となる。
　また、本第１の実施形態では、視線比較部５２は、タイミングＴ１～Ｔ６を決定し、当該タイミングＴ１～Ｔ６における視線画像データと基準視線画像データとを比較することとしている。これにより、視線画像データと基準視線画像データとの適切な比較が可能となる。
　なお、上記第１の実施形態では、装着装置１０が視線検出部１８を備えている場合について説明したが、これに限られるものではない。例えば、情報処理部２２は、撮像部１１で撮像される画像の中心や、撮像部１１の取り付け位置と右目との距離から生徒が注視している領域を推定し、視線画像データを作成することとしてもよい。
　なお、上記第１の実施形態では、タイミングＴ１～Ｔ６を、タイミングＴ１、Ｔ６を定めた後に、タイミングＴ１からタイミングＴ６の間を所定割合で分割してタイミングＴ２～Ｔ５を定める場合について説明したが、これに限られるものではない。例えば、各生徒が助走を開始してから跳び箱を跳び終わるまでの時間がほぼ同一である場合には、タイミングＴ１は、スタートから３秒後、タイミングＴ２は、スタートから５秒後、…というように、各タイミングを予め定めておいてもよい。また、画像データの類似度に基づいて、各タイミングを定めることとしてもよい。例えば、タイミングＴ１は、跳び箱２００とロイター板２１０が所定大きさで撮像されるタイミングであり、タイミングＴ３は、ロイター板２１０を上側から見下ろすタイミングであり、というように、タイミングを定めることとしてもよい。このようにすることでも、各生徒が同一の位置に達したタイミングで得られた視線画像データを用いて、視線の位置を比較することが可能である。
　なお、上記第１の実施形態では、装着装置１０がＧＰＳモジュールなどの位置検出装置を備えている場合には、ＧＰＳモジュールを用いて取得される生徒の位置に基づいて、タイミングＴ１～Ｔ６を決定することとしてもよい。また、位置検出装置としては、ＧＰＳモジュールに限らず、複数の無線ＬＡＮ基地局との通信感度に基づいて位置を検出する装置を用いることとしてもよい。また、助走開始から跳躍を終えるまでの間の歩数が、各生徒間でほぼ同一である場合には、歩数に基づいてタイミングＴ１～Ｔ６を決定することとしてもよい。この場合、装着装置１０は、歩数を検出するための加速度センサやジャイロセンサを備えていればよい。また、加速度センサやジャイロセンサの検出結果を用いることで、助走開始、踏み切り、跳躍中、跳躍終了などを判別できる場合には、これに基づいて、タイミングＴ１～Ｔ６を決定するようにしてもよい。
　なお、上記第１の実施形態では、１回の跳躍で６つの視線画像データを取得する場合について説明したが、これに限らず、６つ未満又は６つ以上の視線画像データを取得することとしてもよい。
　なお、上記第１の実施形態では、重要視線情報は、教員が経験等に基づいて入力する場合について説明したが、これに限られるものではない。例えば、跳び箱の跳躍に成功した多数の生徒の視線画像データや、失敗した多数の生徒の視線画像データを比較し、差異点と共通点を統計処理することにより、重要視線情報を得ることとしてもよい。
　なお、上記第１の実施形態では、基準視線画像データとして、跳び箱の跳躍に成功した生徒のデータを基準視線ＤＢ６０に格納する場合について説明したが、これに限られるものではない。例えば、基準視線画像データとして、跳び箱の跳躍に成功した生徒のデータのほか、跳び箱の跳躍に失敗した生徒のデータを格納することとしてもよい。そして、視線比較部５２は、成功した生徒のデータを用いた比較と、失敗した生徒のデータを用いた比較の両方を実行することで、生徒の跳躍の良し悪しを解析することとしてもよい。これにより高精度な解析が可能となる。
　なお、上記第１の実施形態では、基準視線画像データを基準視線ＤＢ６０に複数格納してもよい場合について説明したが、これに限られるものではない。例えば、複数の跳躍に成功した生徒の視線画像データを平均して、１つの基準視線画像データを作成し、基準視線ＤＢ６０に格納することとしてもよい。
　なお、上記第１の実施形態では、基準視線画像データを逐次蓄積する場合について説明したが、これに限られるものではない。例えば、基準視線画像データを基準視線ＤＢ６０に予め登録しておいてもよい。この場合、基準視線情報蓄積部５１を省略してもよい。
　なお、上記第１の実施形態では、基準視線画像データと、視線画像データとを比較する場合について説明したが、これに限らず、単に複数人の生徒の視線画像データを比較し、比較結果を出力することとしてもよい。
　また、上記第１の実施形態では、同一のユーザの視線画像データを比較することとしてもよい。この場合、上達前後の異なる時刻に取得された視線画像データを比較することで、上達する前と上達した後での視線の変化を分析することが可能となる。
　また、上記第１の実施形態では、背の高さ、体重、性別などに基づいて同類の生徒をグループ化し、各グループ内で比較や分析を行うこととしてもよい。これにより、より精度よく視線の比較や分析を行うことが可能となる。
　なお、上記第１の実施形態では、跳び箱の跳躍を行う生徒が装着装置１０を装着する場合について説明したが、これに限られるものではない。例えば、鉄棒、床運動、鞍馬、跳馬などの体操競技を行う人、走り幅跳びや走り高跳び、棒高跳びなどの陸上競技を行う人、ゴルフや野球、アーチェリーや射撃、ダーツやカーリングなどの競技を行う人など様々な競技を行う人が装着することで、各人の視線の解析（他人との比較）を行うことができる。また、競技に限らず、工場などで働く作業者が装着装置を装着することで、熟練の作業者との視線の違いを比較することも可能となる。また、装着装置１０を眼鏡型の端末ではなく、体や道具の任意の位置に装着する装着型端末としてもよい。
《第２の実施形態》
　次に、第２の実施形態について、図１０～図１７に基づいて詳細に説明する。
　本第２の実施形態では、情報処理システム１００を学校や塾などの各種テスト（模擬テストは含むが、本実施形態では使用が許可されていない入学試験は除く）において利用する場合について説明する。この場合、装着装置１０は、テストを受ける生徒によって装着され、端末４０は、教員によって操作されるものとする。なお、本第２の実施形態では、装着装置１０は、装着装置１０の姿勢を検知することが可能なジャイロセンサなどを含む姿勢検出部１１１（図１において破線枠にて示している）を備えているものとする。姿勢検出部１１１を用いることで、装着装置１０を装着している生徒が下を向いているか、下以外を向いているかを検出することができる。その他の構成については、上述した第１の実施形態と実質的に同じである。
　本第２の実施形態では、生徒は、図１０に示すような国語のテストを受けるものとする。図１０のテスト用紙（問題用紙）には、矩形枠に囲まれた文章と、設問１とが記載されている。生徒は、矩形枠に囲まれた文章を読み、設問１を読んで、解答用紙に解答を行う。
　図１１には、装着装置１０の処理がフローチャートにて示され、図１２には、端末４０の処理がフローチャートにて示されている。
　図１１の処理では、ステップＳ１１０において、視線情報取得部２０は、テスト開始時刻になるまで待機する。なお、テスト開始時刻は予め教員によって入力されているものとする。テスト開始時刻になると、視線情報取得部２０は、ステップＳ１１２に移行し、撮像部１１、視線検出部１８及び姿勢検出部１１１から所定時間毎の情報取得を開始する。この場合、装着装置１０に時刻を計時する計時部を持たせてもよく、端末４０から起動信号を送信するようにしてもよい。なお、所定時間は、例えばコンマ数秒から数秒単位であるものとする。また、制御部１７は、姿勢検出部１１１により生徒が下を向いている（すなわち、問題用紙を注視したり、解答用紙を注視している）際に撮像部１１による撮像を行うようにしてもよい。これにより、生徒が正面を見たり、天井を見たりしている場合に撮像部１１による撮像を省略することができる。また、制御部１７は、視線検出部１８により生徒が目をつぶっていることを検出した際にも、撮像部１１による撮像を省略するようにしてもよい。なお、解析部５４は、正面を見たり、天井を見たり、目をつぶっている時間を生徒の思考時間と分析することができる。
　次いで、ステップＳ１１４では、視線情報取得部２０は、テスト終了時刻となるまで待機する。なお、テスト終了時刻は予め教員によって入力されているものとする。テスト終了時刻になると、視線情報取得部２０は、ステップＳ１１６に移行し、撮像部１１、視線検出部１８及び姿勢検出部１１１による情報取得を終了する。すなわち、本第２の実施形態では、ステップＳ１１０の判断が肯定された後、ステップＳ１１６の処理が行われるまでの間、すなわちテストが実施されている間、所定時間間隔で、撮像部１１により撮像される画像データ、視線検出部１８により検出される視線データ、及び姿勢検出部１１１により検出される姿勢データが取得される。
　次いで、ステップＳ１１８に移行すると、情報処理部２２は、撮像部１１及び視線検出部１８により取得された情報から視線画像データを作成する。この場合の視線画像データは、図１３に示すようなデータであるものとする。
　次いで、ステップＳ１２０では、視線情報送信部２４は、作成した視線画像データに姿勢情報を付加して端末４０に送信する。より具体的には、視線情報送信部２４は、各視線画像データに、各視線画像データが取得されたタイミングにおいて生徒が下を向いていたか否かを示すフラグ（例えば、下を向いていた場合＝１、下以外を向いていた場合＝０）を付して、通信部１６を介して、端末４０の通信部４２に送信し、図１１の処理が終了する。
　次に、図１２のフローチャートに沿って、端末４０の処理について説明する。
　図１２の処理では、ステップＳ１３０において、視線比較部５２は、各生徒の装着装置１０から視線画像データを受信するまで待機する。全生徒の装着装置１０から視線画像データを受信すると、視線比較部５２は、ステップＳ１３２に移行し、各生徒の視線遷移グラフを作成する。この場合、視線比較部５２は、図１４に示すように、テスト用紙に記載されている文章を等分割して、範囲Ｐ１～Ｐ１３を予め規定しておく。視線比較部５２による範囲Ｐ１～Ｐ１３の分割は、例えば頁単位でもよく、パラグラフ（節）単位でもよく、数行単位でもよく、各行単位でもよい。また、視線比較部５２は設問毎に各種範囲を設定（分割）するようにしてもよい。そして、視線比較部５２は、各時刻において範囲Ｐ１～Ｐ１３のいずれに生徒の視線があったかを視線画像データから取得し、図１５（ａ）、図１５（ｂ）に示すような視線遷移グラフに表す。なお、視線比較部５２は、各視線画像データに付加されている姿勢情報に基づいて、生徒が下を向いていない時刻の視線画像データ（フラグ０が付与された視線画像データ）を除外して、視線遷移グラフを作成するものとする。
　ここで、図１５（ａ），図１５（ｂ）の縦軸は、範囲Ｐ１～Ｐ１３を表し、横軸は、時刻ｔを表している。なお、図１５（ａ），図１５（ｂ）は、各範囲Ｐ１～Ｐ１３の注視時間を示しているといえる。図１５（ｂ）の視線遷移グラフでは、範囲Ｐ６，Ｐ７において他の範囲よりもゆっくり読んでいる、すなわち長い時間をかけて重点的に読んでいることが示されている。また、図１５（ａ）の視線遷移グラフでは、全範囲にわたって、一定の速さで読んでいることが示されている。本実施の形態においては、範囲Ｐ６，Ｐ７に関する設問であったとする。なお、実際には、生徒は、文章の一部を繰り返し読んだり、文章を元に戻ったり、一部を飛ばしたりして読む場合があるが、ここでは説明の便宜上、各生徒は、範囲Ｐ１からＰ１３を順番どおりに読んだものとする。
　次いで、ステップＳ１３４では、重要視線情報蓄積部５３は、各生徒の設問１の正誤結果が入力されるまで待機する。教員によって全生徒の正誤結果が入力されると、重要視線情報蓄積部５３は、ステップＳ１３６に移行し、正誤結果ごとに、平均視線遷移グラフを作成する。具体的には、重要視線情報蓄積部５３は、設問に正答した生徒の視線遷移グラフを平均化して、図１６（ａ）に示すような正答した生徒の平均視線遷移グラフを作成する。また、重要視線情報蓄積部５３は、設問に誤答した生徒の視線遷移グラフを平均化して、図１６（ｂ）に示すような誤答した生徒の平均視線遷移グラフを作成する。
　次いで、ステップＳ１３８では、重要視線情報蓄積部５３は、各平均視線遷移グラフ（図１６（ａ）、図１６（ｂ））を比較し、重要視線情報を取得する。この場合、重要視線情報蓄積部５３は、図１６（ａ）と図１６（ｂ）から、範囲Ｐ６，Ｐ７に差異があることを検出し、この範囲Ｐ６，Ｐ７を重要視線情報として取得する。
　次いで、ステップＳ１４０では、視線比較部５２が、各生徒の視線遷移グラフと、正答した生徒の平均視線遷移グラフ（図１６（ａ））とを比較する。この場合、視線比較部５２は、各生徒の視線遷移グラフと、正答した生徒の平均視線遷移グラフとの共通点や差異点を求め、それらを比較結果として解析部５４に送信する。
　次いで、ステップＳ１４２では、解析部５４は、比較結果と、重要視線情報とに基づいて、各生徒の視線の解析を行う。例えば、誤答した生徒の視線遷移グラフと正答した生徒の平均視線遷移グラフを比較して、範囲Ｐ６、Ｐ７に違いがあった場合には、その生徒は、重要なポイントを読み流していると解析することができる。また、誤答した生徒の視線遷移グラフと正答した生徒の平均視線遷移グラフが類似している場合には、その生徒は、文章の読み方には問題がないと解析することができる。なお、解析部５４は、解析結果を表示制御部５５に送信する。
　次いで、ステップＳ１４４では、表示制御部５５は、受信した解析結果を表示部４３上に表示する。この場合、表示制御部５５は、例えば、図１７に示すような画面を生成し、表示部４３上に表示するものとする。なお、解析結果は、表示部４３に表示する場合に限らず、テストの結果を紙媒体に印刷する際に、解析結果もあわせて印刷することとしてもよい。
　以上、詳細に説明したように、本第２の実施形態によると、制御部４５は、国語のテストを受けた生徒の側から撮像した視線画像データに基づくグラフと、別の生徒の側から撮像した視線画像データに基づくグラフ（正答した生徒の平均視線遷移グラフ）との比較結果を出力する。これにより、本第２の実施形態では、各生徒の視線の動きと、正答した生徒の視線の動きとを比較して、視線の良し悪しの情報を出力することが可能となる。
　また、本第２の実施形態では、同一時刻に国語のテストを受けた生徒の視線画像データに基づいて、平均視線遷移グラフ（図１６（ａ）、図１６（ｂ））を作成し、各生徒の視線遷移グラフと比較するので、ほぼ同一環境下でテストを受けた生徒間で視線の動きを比較することが可能となる。
　また、本第２の実施形態では、解析部５４が範囲Ｐ１～Ｐ１３それぞれの注視時間を比較するので、生後毎にどの範囲を重点的に読んでいるかの比較が可能となる。また、解析部５４は、生徒毎に問題用紙を注視している時間と、解答用紙を注視している時間とを比較することもできる。特に、問題用紙と解答用紙とが別の場合には、解析部５４は、より高精度に注視時間を解析することができる。また、解析部５４は、解答を選択する選択問題において、書き直して正解したか、書き直して誤答したかといったプロセスも解析することができる。また、解析部５４は、記述式の問題については、記述開始から記述終了までの時間や、書き直しの有無およびその時間なども解析することができる。また、解析部５４は、撮像部１１やマイク１４の出力から生徒が筆記具による筆記をしていた時間を抽出し、筆記時間を割り出すこともできる。この場合、解析部５４は、生徒が問題文の一部（例えばキーワード）に下線や縦線）を引いたり、マークしたなどのプロセスを解析するようにしてもよい。
　また、本第２の実施形態では、ユーザが下を向いていないときの視線画像データを用いないこととしているので、ユーザがテスト用紙を見ていない場合の視線画像データ（フラグ＝０が付与されている視線画像データ）を一律用いないようにすることができる。これにより、比較や解析に不要な視線画像データを比較や解析の対象から簡易に除外することができる。
　また、本第２の実施形態では、解析部５４は、正誤結果を用いた解析を行うため、正誤結果がもたらされた要因が視線の動きにあるか否かを解析することができる。
　なお、上記第２の実施形態では、重要視線情報蓄積部５３は、同時にテストを受けた生徒の視線画像データを用いて、平均視線遷移グラフ（図１６（ａ）、図１６（ｂ））を作成し、重要視線情報を取得する場合（Ｓ１３６、Ｓ１３８）について説明したが、これに限られるものではない。例えば、重要視線情報が、経験的に予め分かっている場合には、教員が端末４０の入力部４４を介して、重要視線情報を重要視線情報蓄積部５３に入力するようにしてもよい。また、重要視線情報蓄積部５３は、同一の生徒の試験毎の各種変化（時間配分、読む速度、筆記速度など）を蓄積するようにしてもよい。
　なお、上記第２の実施形態では、図１４のように、範囲Ｐ１～Ｐ１３を等分割する場合について説明したが、これに限られるものではない。例えば、図１８に示すように、範囲Ｐ１～Ｐ１３を１文ずつ分割することとしてもよい。このようにしても、各生徒が各範囲を読む時間を比較することで、上記第２の実施形態と同様の解析を行うことが可能となる。
　なお、上記第２の実施形態では、テスト用紙の各範囲の注視時間を比較する場合について説明したが、これに限られるものではない。例えば、解析部５４は、テスト用紙の各範囲の注視の順番を比較することとしてもよい。これにより、問題が簡単な順番に解いたほうが点数がよい、特定分野（得意分野）の問題から解いたほうが点数がよい、選択肢や設問を先に見てから問題文を読んだほうが点数がよい、といった傾向分析を行うことができる。また、解析部５４は、問題ごとの時間配分を各生徒間で比較して、時間をあまりかけてはいけない問題に時間をかけていたため、時間が足りなかったなどの分析を行うこととしてもよい。
　なお、上記第２の実施形態では、国語のテストの結果分析に情報処理システム１００を用いる場合について説明したが、これに限らず、英語、数学、物理や、資格取得のための模擬テスト、その他文章の読み方を分析する必要がある場面において情報処理システム１００を用いることとしてもよい。解析部５４は、数学や物理などの理系科目について、問題文を読んでいた時間、計算をしていた時間を計時（推定）することも可能であり、これに加え、考えていた時間を計時（推定）することもできる。また、解析部５４は、公式や定理の記憶間違いの有無を解析（推定）することもできる。
　更に、解析部５４は、高得点の生徒達が問題を解くプロセス（問題文のキーワードの抽出、理解、各種速度、各種時間配分）を解析することができる。また、低得点の生徒達および中間の得点の生徒達が問題を解けないプロセスを解析することができる。この解析部５４の解析結果は、教員にフィードバックすることができる。また、解析部５４は、担当教員毎の生徒の成績（例えば、教員Ａが担当したクラスは設問１の正答率が教員Ｂが担当したクラスの正答率よりも高い、など）を解析することもできる。
　なお、生徒に授業の際にも装着装置１０を装着させた場合には、情報処理システム１００は、授業の受け方とテストの結果（正解、誤答）との相関を出力することもできる。
　なお、上記各実施形態では、装着装置１０で取得された情報に基づいて、端末４０が比較や解析を行う場合について説明したが、これに限られるものではない。例えば、装着装置１０において、端末４０が実行していた処理の少なくとも一部を実行することとしてもよい。また、端末４０に代えて、サーバが端末４０の処理を実行し、処理結果を端末４０に提供するようにしてもよい。また、装着装置１０が実行していた処理の一部（例えば、情報処理部２２の処理）を、端末４０又はサーバが実行することとしてもよい。
　なお、上記の処理機能は、コンピュータによって実現することができる。その場合、処理装置が有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体（ただし、搬送波は除く）に記録しておくことができる。
　プログラムを流通させる場合には、例えば、そのプログラムが記録されたＤＶＤ（Digital Versatile Disc）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）などの可搬型記録媒体の形態で販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。
　プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。
　上述した各実施形態は本発明の好適な実施の例であり、適宜組み合わせることができる。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。なお、これまでの説明で引用した米国特許出願公開明細書の開示を援用して本明細書の記載の一部とする。
　　４２　通信部
　　４３　表示部
　　４５　制御部
　　４０　端末

Claims (12)

  1. 　第１ユーザの側から撮像した第１の撮像情報を入力する入力部と、
    　前記第１の撮像情報と、第２ユーザの側から撮像した第２の撮像情報との比較結果を出力する出力部と、
    を備える電子機器。
  2. 　前記出力部は、前記比較結果として前記第１の撮像情報と前記第２の撮像情報との共通情報と、前記第１の撮像情報と前記第２の撮像情報との差異情報との少なくとも一方を出力する請求項１記載の電子機器。
  3. 　前記第１、第２の撮像情報は、前記第１、第２ユーザの注視領域、注視の順番、注視時間の少なくとも１つをそれぞれ含み、
    　前記出力部は、前記第１、第２ユーザの注視領域、注視の順番、注視時間の少なくとも１つの比較結果を出力する請求項１または２記載の電子機器。
  4. 　前記入力部は、前記第２の撮像情報を入力する請求項１から３のいずれか一項に記載の電子機器。
  5. 　前記入力部は、前記第１の撮像情報と、前記第２の撮像情報とをほぼ同じ時刻に入力する請求項４記載の電子機器。
  6. 　前記第１ユーザと前記第２ユーザとは同一のユーザであり、
    　前記入力部は、前記第１の撮像情報と、前記第２の撮像情報とを異なる時刻に入力する請求項４記載の電子機器。
  7. 　前記入力部は、
    　前記第１ユーザが所定の結果を得るための動作を行ったときの結果情報を入力し、
    　前記結果情報が、前記第１ユーザが前記所定の結果を得られたという情報であった場合に、前記第１の撮像情報を前記第２の撮像情報として入力する請求項６に記載の電子機器。
  8. 　前記入力部は、前記第１、第２ユーザが同じ課題を行ったときの結果情報を入力し、
    　前記出力部は、前記第１の撮像情報と、前記第２の撮像情報とを比較する際に、前記結果情報を用いる請求項１から７のいずれか一項に記載の電子機器。
  9. 　前記第１の撮像情報と、前記第２の撮像情報とを比較する際に用いられる比較部分を特定する特定部を備え、
    　前記出力部は、前記特定部が特定した前記比較部分に関して前記第１の撮像情報と前記第２の撮像情報との比較結果を出力する請求項１から８のいずれか一項に記載の電子機器。
  10. 　前記入力部は、前記第１の撮像情報とは異なる前記第１ユーザの動きまたは姿勢に関する情報を入力する請求項１から９のいずれか一項に記載の電子機器。
  11. 　前記第１ユーザの動き又は姿勢に基づいて、前記第１の撮像情報を入力する請求項１０に記載の電子機器。
  12. 　前記第１、第２の撮像情報のうち、少なくとも前記第１の撮像情報を撮像する撮像部を備えた請求項１から１１のいずれか一項に記載の電子機器。
PCT/JP2014/080979 2013-11-27 2014-11-21 電子機器 WO2015080063A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-245429 2013-11-27
JP2013245429 2013-11-27

Publications (1)

Publication Number Publication Date
WO2015080063A1 true WO2015080063A1 (ja) 2015-06-04

Family

ID=53199004

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/080979 WO2015080063A1 (ja) 2013-11-27 2014-11-21 電子機器

Country Status (1)

Country Link
WO (1) WO2015080063A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018122956A1 (ja) * 2016-12-27 2018-07-05 日本電気株式会社 スポーツ動作解析支援システム、方法およびプログラム
WO2018122957A1 (ja) * 2016-12-27 2018-07-05 日本電気株式会社 スポーツ動作解析支援システム、方法およびプログラム
WO2019220751A1 (ja) * 2018-05-16 2019-11-21 オムロン株式会社 情報処理装置、情報処理方法、および情報処理プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1091325A (ja) * 1996-09-13 1998-04-10 Toshiba Corp 視線検出システム
JP2005338173A (ja) * 2004-05-24 2005-12-08 Advanced Telecommunication Research Institute International 外国語読解学習支援装置
JP2013223713A (ja) * 2012-03-21 2013-10-31 Hamamatsu Univ School Of Medicine 自閉症診断支援方法およびシステム並びに自閉症診断支援装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1091325A (ja) * 1996-09-13 1998-04-10 Toshiba Corp 視線検出システム
JP2005338173A (ja) * 2004-05-24 2005-12-08 Advanced Telecommunication Research Institute International 外国語読解学習支援装置
JP2013223713A (ja) * 2012-03-21 2013-10-31 Hamamatsu Univ School Of Medicine 自閉症診断支援方法およびシステム並びに自閉症診断支援装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YASUHITO SATO: "Kaiseki Hyoka Gijutsu", PANASONIC DENKO GIHO, vol. 58, no. 1, 31 March 2010 (2010-03-31), pages 68 - 73 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018122956A1 (ja) * 2016-12-27 2018-07-05 日本電気株式会社 スポーツ動作解析支援システム、方法およびプログラム
WO2018122957A1 (ja) * 2016-12-27 2018-07-05 日本電気株式会社 スポーツ動作解析支援システム、方法およびプログラム
JPWO2018122956A1 (ja) * 2016-12-27 2019-03-28 日本電気株式会社 スポーツ動作解析支援システム、方法およびプログラム
JPWO2018122957A1 (ja) * 2016-12-27 2019-03-28 日本電気株式会社 スポーツ動作解析支援システム、方法およびプログラム
WO2019220751A1 (ja) * 2018-05-16 2019-11-21 オムロン株式会社 情報処理装置、情報処理方法、および情報処理プログラム

Similar Documents

Publication Publication Date Title
Ahuja et al. EduSense: Practical classroom sensing at Scale
US10803762B2 (en) Body-motion assessment device, dance assessment device, karaoke device, and game device
US20210038069A1 (en) Systems and methods for determining distance from an object
Li et al. Massive open online proctor: Protecting the credibility of MOOCs certificates
WO2020118669A1 (zh) 检测学生专注度的方法、计算机存储介质及计算机设备
US10037708B2 (en) Method and system for analyzing exam-taking behavior and improving exam-taking skills
CN109685007B (zh) 用眼习惯的预警方法、用户设备、存储介质及装置
WO2015080063A1 (ja) 電子機器
CN110547756A (zh) 一种视力测试方法、装置和系统
KR102555922B1 (ko) 영상 수업의 주의 집중 여부를 모니터링 할 수 있는 영상 수업 시스템 및 방법
CN109410984A (zh) 一种朗读评分的方法及电子设备
KR20190143742A (ko) 학습 집중도 향상 장치
US12039879B2 (en) Electronic device and method for eye-contact training
CN111667128B (zh) 教学质量评估方法、装置及系统
WO2017064890A1 (ja) 情報処理装置、情報処理方法、およびプログラム
Cutter et al. Improving the accessibility of mobile OCR apps via interactive modalities
US11457864B2 (en) System, method, and non-transitory computer readable medium for calculating a brain activity value of a user and changing a level of brain training content being performed by the user
KR20230115649A (ko) 아동 청소년용 사회성 및 인지능력 발달을 위한 vr 기반 학습 시스템 및 방법
KR102363435B1 (ko) 골프 스윙 동작 피드백 제공 장치 및 방법
CN110414848A (zh) 体育项目测评方法、装置、可读存储介质及电子设备
RU2635170C1 (ru) Способ определения асимметрии зрительного восприятия движущихся объектов
KR102388735B1 (ko) 메타버스 환경에서의 평가에서 이미지 데이터 처리에 기반하여 부정행위를 검출하는 방법
CN211237230U (zh) 一种显示字符的书写板
CN111031232B (zh) 一种听写实时检测的方法及电子设备
US20230230417A1 (en) Learning assistance device and learning assistance system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14866599

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: JP

122 Ep: pct application non-entry in european phase

Ref document number: 14866599

Country of ref document: EP

Kind code of ref document: A1