WO2015159861A1 - 検出制御装置、装着具、眼電位情報処理システム、及びプログラム - Google Patents

検出制御装置、装着具、眼電位情報処理システム、及びプログラム Download PDF

Info

Publication number
WO2015159861A1
WO2015159861A1 PCT/JP2015/061382 JP2015061382W WO2015159861A1 WO 2015159861 A1 WO2015159861 A1 WO 2015159861A1 JP 2015061382 W JP2015061382 W JP 2015061382W WO 2015159861 A1 WO2015159861 A1 WO 2015159861A1
Authority
WO
WIPO (PCT)
Prior art keywords
electrooculogram
unit
user
acceleration
detection
Prior art date
Application number
PCT/JP2015/061382
Other languages
English (en)
French (fr)
Inventor
一鷹 井上
晋 一戸
淳子 中嶋
Original Assignee
株式会社ジェイアイエヌ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ジェイアイエヌ filed Critical 株式会社ジェイアイエヌ
Publication of WO2015159861A1 publication Critical patent/WO2015159861A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb

Definitions

  • the present invention relates to a detection control device, a wearing tool, an electrooculogram information processing system, and a program.
  • Patent Document 1 Japanese Patent Application Laid-Open No. 2012-093767
  • Patent Document 2 Japanese Patent Application Laid-Open No. 2006-136556 Japanese Patent Application Laid-Open No. 2012-532696
  • the power consumption may increase unnecessarily.
  • the detection control device continuously acquires the user's electrooculogram when the acquisition unit that acquires the user's acceleration or angular velocity and the acceleration or angular velocity acquired by the acquisition unit satisfy a predetermined condition. And a control unit for starting detection of the electrooculogram by the electrooculogram detection unit that detects automatically.
  • the electrooculogram detection unit may be provided in a wearing tool worn by the user.
  • the detection control device may be provided in the wearing tool.
  • the wearing tool may be eyewear worn by the user.
  • the detector may further include a detection unit that detects the acceleration or angular velocity of the mounting tool, and the control unit may acquire the acceleration or angular velocity detected by the detection unit.
  • the control unit continuously converts the electrooculogram by the electrooculogram detection unit. Detection of the electrooculogram by the electrooculogram detection unit without starting the continuous detection of the electrooculogram by the electrooculogram detection unit when the acquired acceleration or angular velocity does not satisfy a predetermined condition. May be maintained in a state that is not continuously performed.
  • the control unit determines that the acquired acceleration or angular velocity satisfies a predetermined condition when it is determined that the acquired acceleration or angular velocity time change pattern matches the predetermined time change pattern. Good.
  • the information processing apparatus further includes a transmission unit that transmits information on the electrooculogram continuously detected by the electrooculogram detection unit to an external electrooculogram information processing apparatus, and the control unit satisfies a predetermined condition for the acquired acceleration or angular velocity
  • the transmission unit may start transmission of information on the electrooculogram continuously detected by the electrooculogram detection unit.
  • the wearing tool includes the detection control device and is worn by the user.
  • the electrooculogram information processing system receives the information on the electrooculogram continuously detected by the detection control device and the electrooculogram detection unit, and processes the received electrooculogram information.
  • the detection control device is mounted on the user.
  • the program continuously obtains the electrooculogram of the user when the computer acquires the acceleration or angular velocity of the user and the acceleration or angular velocity acquired by the acquisition unit satisfies a predetermined condition. It is made to function as a control part which starts detection of electrooculogram by an electrooculogram detection part detected automatically.
  • An example of the utilization form of electrooculogram information processing system 10 in one embodiment is shown roughly.
  • the glasses 100 and the smartphone 40 are schematically shown.
  • the functional block configuration of the smart phone 40 and the functional block configuration of the processing unit 180 are schematically shown.
  • the positional relationship between the electrooculogram detection electrode of the glasses 100 and the user 20 is schematically shown.
  • An example of information used when control part 220 specifies a user's 20 movement is shown typically.
  • movement sequence of each part in the electrooculogram information processing system 10 is shown typically.
  • 3 is a flowchart illustrating processing executed in the control unit 220.
  • the flowchart showing the process performed in the smart phone 40 is shown.
  • FIG. 1 schematically shows an example of a usage pattern of an electrooculogram information processing system 10 according to an embodiment.
  • the electrooculogram information processing system 10 includes glasses 100 and a smartphone 40.
  • User 20 is a user of each of glasses 100 and smartphone 40.
  • the user 20 is a wearer who wears the glasses 100.
  • the smartphone 40 is an example of an electrooculogram information processing device.
  • the glasses 100 are worn on the face of the user 20.
  • the glasses 100 have a function of communicating with the smartphone 40.
  • the glasses 100 detect the electrooculogram of the user 20 via the electrode that contacts the user 20, and transmit the detected electrooculogram information to the smartphone 40. Further, the glasses 100 detect the acceleration of the glasses 100 and transmit the detected acceleration information to the smartphone 40. Further, the glasses 100 detect the angular velocity of the glasses 100 and transmit information on the detected angular velocity to the smartphone 40.
  • the smartphone 40 analyzes the electrooculogram received from the glasses 100.
  • the smartphone 40 analyzes the electrooculogram received from the glasses 100 together with at least one of acceleration and angular velocity received from the glasses 100.
  • the smartphone 40 provides information to the user 20 based on analysis results such as electrooculogram, acceleration, and angular velocity.
  • the smartphone 40 identifies the state of the user 20 by analyzing the electrooculogram, acceleration, angular velocity, and the like. Specifically, the smartphone 40 specifies the line-of-sight direction, the blink state, and the like of the user 20. For example, the smartphone 40 determines the state of the user 20 based on the line-of-sight direction and the blink state. Specifically, the smartphone 40 determines whether the user 20 is tired or the like based on the line-of-sight direction and the blink state. The smartphone 40 issues a warning to the user 20 when determining that the user 20 is tired or the like. For example, the smartphone 40 generates a warning sound when it is determined that the user 20 is tired or the like.
  • the electrooculogram information processing system 10 based on the acceleration detected by the glasses 100, it is determined whether or not the user 20 has started a predetermined operation such as a running operation. In response to the determination that the user 20 has started a predetermined operation, the eyeglasses 100 start an electrooculogram continuous detection operation, and the electrooculogram information processing system 10 detects the line of sight of the user 20. A process for determining fatigue or the like is started. For this reason, it is possible to suppress wasteful processing of detecting an electrooculogram, detecting a gaze direction, and determining fatigue when the running operation is not performed. Therefore, wasteful consumption of power in the glasses 100 and the smartphone 40 can be suppressed.
  • a predetermined operation such as a running operation.
  • various directions may be specified using the coordinate axes of the orthogonal coordinate system shown in FIG.
  • the z-axis plus direction is determined by the user 20 in the direction along the front.
  • the z-axis plus direction is an acceleration in a direction from the face of the user 20 toward the front portion of the glasses 100 of the glasses 100 attached to the face of the user 20.
  • the y-axis minus direction is defined as the vertical direction.
  • the x-axis, y-axis, and z-axis are right-handed orthogonal coordinate systems.
  • the z-axis plus direction may be referred to as the front direction.
  • the y-axis plus direction may be referred to as upward or the like.
  • the y-axis minus direction may be referred to as downward or the like.
  • the x-axis plus direction may be referred to as the left side or the like.
  • the x-axis minus direction may be referred to as the right side or the like.
  • FIG. 2 schematically shows the glasses 100 and the smartphone 40.
  • the glasses 100 include a lens 110 and a frame 120. Glasses 100 and frame 120 are examples of eyewear.
  • the frame 120 supports a pair of lenses 110.
  • the frame 120 includes a rim 122, a bridge 124, an alloy 126, a temple 130, a modern 132, a right nose pad 141, a left nose pad 142, a first electrode 151, a second electrode 152, a third electrode 153, a ground electrode 154, and a processing unit. 180 and a power supply unit 190.
  • the lens 110, the rim 122, the armor 126, the temple 130, and the modern 132 are each provided in a pair of left and right.
  • the rim 122, the bridge 124, the right nose pad 141, the left nose pad 142, and the armor 126 are referred to as a front portion of the glasses 100.
  • the rim 122 holds the lens 110.
  • the armor 126 is provided outside the rim 122 and holds the temple 130 movably.
  • the temple 130 presses the upper part of the user's 20 ear and pinches the pressed part.
  • the modern 132 is provided at the tip of the temple 130. The modern 132 contacts the upper part of the ear of the user 20.
  • the first electrode 151 is an example of an electrooculogram detection unit that detects electrooculogram.
  • the first electrode 151 is provided on the surface of the right nose pad 141.
  • the first electrode 151 is provided on the surface of the right nose pad 141 that faces the face of the user 20 when the user 20 wears the glasses 100.
  • the first electrode 151 contacts the skin of the user 20.
  • the first electrode 151 contacts the right side of the user 20 nose.
  • the first electrode 151 mainly detects the electrooculogram of the right eye of the user 20.
  • the second electrode 152 is an example of an electrooculogram detection unit that detects electrooculogram.
  • the second electrode 152 is provided on the surface of the left nose pad 142.
  • the second electrode 152 is provided on the surface of the left nose pad 142 that faces the face of the user 20 when the user 20 wears the glasses 100.
  • the second electrode 152 contacts the skin of the user 20.
  • the second electrode 152 contacts the left side of the user 20 nose.
  • the second electrode 152 mainly detects the electrooculogram of the left eye of the user 20.
  • the third electrode 153 is an example of an electrooculogram detection unit that detects electrooculogram.
  • the third electrode 153 is provided on the surface of the bridge 124.
  • the third electrode 153 is provided on the surface of the bridge 124 that faces the face of the user 20 when the user 20 wears the glasses 100.
  • the third electrode 153 contacts the skin of the user 20.
  • the electrooculogram detected by the third electrode 153 is used as a measurement reference for measuring the electrooculogram of the right eye and the electrooculogram of the left eye of the user 20.
  • the ground electrode 154 is provided on the surface of the modern 132.
  • the ground electrode 154 is provided on the surface of the modern 132 on the right side, for example.
  • the ground electrode 154 is provided on the surface of the modern 132 that faces the face of the user 20 when the user 20 wears the glasses 100.
  • the ground electrode 154 contacts the user 20's skin.
  • the ground electrode 154 contacts the upper part of the right ear of the user 20.
  • the potential of the ground electrode 154 provides the ground potential of the electric circuit included in the glasses 100.
  • the processing unit 180 is provided inside the left temple 130.
  • the electrooculogram of the user 20 detected by the first electrode 151, the second electrode 152, and the third electrode 153 is input to the processing unit 180.
  • the processing unit 180 processes the input electrooculogram and transmits the processed potential to the smartphone 40.
  • the power supply unit 190 is provided inside the temple 130 on the left side.
  • the power supply unit 190 includes a battery such as a secondary battery.
  • the power supply unit 190 supplies the electrical energy stored in the battery included in the power supply unit 190 to the processing unit 180.
  • the power supply unit 190 generates DC power based on the potential of the ground electrode 154 from the electrical energy stored in the battery.
  • the power supply unit 190 supplies DC power generated from the electrical energy stored in the battery to the processing unit 180.
  • the power supply unit 190 is provided inside the temple 130 on the side where the ground electrode 154 is provided.
  • the potential of the ground electrode 154 provides a negative potential of DC power supplied from the power supply unit 190 to the processing unit 180.
  • the right modern 132 has a charging port for charging the power supply unit 190.
  • the battery included in the power supply unit 190 is charged through a charging port provided in the modern 132 on the right side.
  • FIG. 3 schematically shows a functional block configuration of the smartphone 40 and a functional block configuration of the processing unit 180.
  • the processing unit 180 includes a processing unit 200, an angular velocity detection unit 260, an acceleration detection unit 270, a transmission / reception unit 280, and a substrate unit 290.
  • the processing unit 200 includes a detection processing unit 210 and a control unit 220.
  • the smartphone 40 includes a processing unit 300, a storage unit 360, a UI unit 370, a transmission / reception unit 380, and a power supply unit 390.
  • the processing unit 200 is realized by a processor such as an MPU.
  • Each unit of the smartphone 40 is mainly controlled by the processing unit 300.
  • the transmission / reception unit 280 has a function of performing wireless communication with the smartphone 40.
  • the transmission / reception unit 280 is realized by a communication processor.
  • the transmission / reception unit 280 is realized by a communication processor having a short-range wireless communication function such as Bluetooth (registered trademark).
  • the electric wire part 160 is provided inside the frame 120 of the glasses 100.
  • the electric wire part 160 electrically connects the first electrode 151, the second electrode 152, the third electrode 153, the ground electrode 154, the power supply unit 190, and the processing unit 180.
  • the electric wire unit 160 electrically connects the first electrode 151 and the processing unit 180, outputs an electrooculogram detected by the first electrode 151 to the processing unit 180, and the second electrode 152 and the processing unit 180.
  • the third electrode 153 and the processing unit 180 are electrically connected to the third electrode 153 by electrically connecting the electric wire that outputs the electrooculogram detected by the second electrode 152 to the processing unit 180.
  • the processing unit 200 acquires the electrooculogram of the user 20, and processes the acquired electrooculogram. Specifically, the detection processing unit 210 acquires the first electrooculogram that is the electrooculogram detected by the first electrode 151, and processes the acquired first electrooculogram. In addition, the detection processing unit 210 acquires a second ocular potential that is an ocular potential detected by the second electrode 152, and processes the acquired second ocular potential. Further, the detection processing unit 210 acquires a third ocular potential that is an ocular potential detected by the third electrode 153, and processes the acquired third ocular potential.
  • the detection processing unit 210 processes the first ocular potential based on the third ocular potential.
  • the first electrooculogram based on the third electrooculogram is referred to as V1.
  • the detection processing unit 210 samples V1 at a predetermined cycle and generates time series data of V1.
  • the detection processing unit 210 outputs the generated time series data of V1 to the transmission / reception unit 280.
  • the detection processing unit 210 processes the second electrooculogram based on the third electrooculogram.
  • the second ocular potential based on the third ocular potential is referred to as V2.
  • the detection processing unit 210 samples V2 at a predetermined cycle, and generates time-series data of V2.
  • the detection processing unit 210 outputs the generated V2 time-series data to the transmission / reception unit 280.
  • the acceleration detection unit 270 detects the acceleration of the glasses 100.
  • the acceleration detection unit 270 is, for example, a triaxial acceleration sensor.
  • the acceleration detection unit 270 detects the acceleration of the center of gravity of the glasses 100. When the glasses 100 are worn on the user 20, the acceleration of the center of gravity of the glasses 100 corresponds to the acceleration of the head of the user 20.
  • the acceleration detected by the acceleration detection unit 270 is input to the detection processing unit 210.
  • the acceleration detected by the acceleration detection unit 270 is also input to the control unit 220.
  • the angular velocity detection unit 260 detects the angular velocity of the glasses 100.
  • the angular velocity detection unit 260 is, for example, a triaxial angular velocity sensor.
  • the angular velocity detected by the angular velocity detector 260 is input to the detection processing unit 210.
  • the detection processing unit 210 acquires the acceleration detected by the acceleration detection unit 270 and processes the acquired acceleration.
  • the detection processing unit 210 samples acceleration at a predetermined cycle, and generates time-series acceleration data.
  • the detection processing unit 210 outputs the time series data of the generated acceleration to the transmission / reception unit 280.
  • the acceleration data output to the transmission / reception unit 280 includes time-series data of acceleration in each direction of the three axes.
  • the detection processing unit 210 acquires the angular velocity detected by the angular velocity detection unit 260 and processes the acquired angular velocity.
  • the detection processing unit 210 samples the angular velocity at a predetermined cycle, and generates time-series angular velocity data.
  • the detection processing unit 210 outputs the generated time-series data of the angular velocity to the transmission / reception unit 280.
  • the angular velocity data output to the transmission / reception unit 280 includes time-series data of angular velocities in the directions of the three axes.
  • the transmission / reception unit 280 transmits the V1 time series data, the V2 time series data, the acceleration time series data, and the angular velocity time series data acquired from the detection processing unit 210 to the transmission / reception unit 380 by radio signals. As described above, the transmission / reception unit 280 transmits the electrooculogram information, the acceleration information, and the angular velocity information that are continuously detected to the smartphone 40.
  • the processing in the detection processing unit 210 includes amplification processing for amplifying the input electro-oculogram, acceleration and angular velocity signals, and digitization processing for digitizing the input electro-oculogram, acceleration and angular velocity signals.
  • the detection processing unit 210 may include an amplifier circuit that amplifies analog signals of input electrooculogram, acceleration, and angular velocity.
  • the detection processing unit 210 may include an analog-to-digital conversion circuit that digitizes an analog signal of input ocular potential, acceleration, and angular velocity or an analog signal amplified by an amplifier circuit.
  • the control unit 220 is an example of a detection control device.
  • the control unit 220 acquires the acceleration of the user 20.
  • the control part 220 starts the detection of the electrooculogram by the electrooculogram detection part which detects the electrooculogram of the user 20 continuously, when the acquired acceleration satisfy
  • the control unit 220 drives the detection processing unit 210 when the acquired acceleration satisfies a predetermined condition, and the electrodes such as the first electrode 151, the second electrode 152, and the third electrode 153 are driven.
  • the detection of the electrooculogram is started. Note that starting the detection of the electrooculogram may be starting an operation such as an amplification process or a digitization process in the detection processing unit 210.
  • the detection of the electrooculogram may be started in the detection processing unit 210 by starting an operation of an amplification circuit that amplifies analog signals of the input electrooculogram, acceleration, and angular velocity. Further, starting the detection of the electrooculogram may be starting the operation of the above-described AD conversion circuit.
  • the control unit 220 starts the continuous detection of the electrooculogram when the acquired acceleration satisfies the predetermined condition when the electrooculogram is not continuously detected.
  • the predetermined condition is not satisfied, the state in which the detection of the electrooculogram is not continuously performed is maintained without starting the continuous detection of the electrooculogram.
  • the control unit 220 does not start the continuous detection of the electrooculogram by the electrodes such as the first electrode 151 and the detection processing unit 210, and the detection process. The state where the unit 210 is not operating is maintained.
  • the control unit 220 may determine that the acquired acceleration satisfies a predetermined condition when it is determined that the acquired time change pattern of the acceleration is suitable for the predetermined time change pattern. . In addition, the control unit 220 identifies the movement of the user 20 based on the time change of the acquired acceleration, and when the movement of the specified user 20 matches a predetermined movement, the acquired acceleration is It may be determined that a predetermined condition is satisfied.
  • the control unit 220 When the acquired acceleration satisfies a predetermined condition, the control unit 220 causes the transmission / reception unit 280 to start transmitting information on the electrooculogram detected continuously. Note that, similarly to the electrooculogram detection control, the control unit 220 may cause the detection processing unit 210 to start continuous angular velocity detection when the acquired acceleration satisfies a predetermined condition. Similarly to the transmission control of the electrooculogram information, the control unit 220 starts the transmission of the continuously detected angular velocity information to the transmission / reception unit 280 when the acquired acceleration satisfies a predetermined condition. You may let me.
  • the power supply unit 390 includes a battery such as a secondary battery.
  • the power supply unit 390 supplies power to each unit of the smartphone 40 including the processing unit 300, the transmission / reception unit 380, and the UI unit 370.
  • the UI unit 370 provides a user interface (UI) with the user 20.
  • UI user interface
  • the UI unit 370 includes a touch panel, operation keys, a sound generation device, and the like.
  • the storage unit 360 is realized by a storage medium. Examples of the recording medium include a volatile storage medium and a nonvolatile storage medium.
  • the storage unit 360 stores various parameters necessary for the operation of the processing unit 300.
  • the storage unit 360 stores various types of information generated by the processing unit 300.
  • the transmission / reception unit 380 has a function of performing wireless communication with the glasses 100.
  • the transmission / reception unit 380 is realized by a communication processor having a short-range wireless communication function such as Bluetooth (registered trademark).
  • the transmission / reception unit 380 and the transmission / reception unit 280 perform wireless communication in accordance with the Bluetooth (registered trademark) standard.
  • communication between the transmission / reception unit 280 and the transmission / reception unit 380 is not limited to Bluetooth (registered trademark) communication.
  • Communication between the transmission / reception unit 280 and the transmission / reception unit 380 can be realized by various types of wireless communication including, for example, a wireless LAN.
  • Communication between the transmission / reception unit 280 and the transmission / reception unit 380 can be realized by various types of wired communication including USB.
  • the transmission / reception unit 380 receives information indicating the electrooculogram transmitted from the glasses 100. In addition, the transmission / reception unit 380 receives information indicating the acceleration transmitted from the glasses 100. In addition, the transmission / reception unit 380 receives information indicating the angular velocity transmitted from the glasses 100. Specifically, the transmission / reception unit 380 receives the radio signal received from the transmission / reception unit 280, demodulates the received radio signal, and performs time series data of V1, time series data of V2, time series data of acceleration, and Receive data including time-series data of angular velocity is generated. The transmission / reception unit 380 outputs the generated reception data to the processing unit 300.
  • the processing unit 300 includes an electrooculogram acquisition unit 310, an acceleration acquisition unit 320, an angular velocity acquisition unit 322, and an analysis unit 350.
  • the electrooculogram acquisition unit 310 acquires the electrooculogram of the user 20 detected by the electrooculogram detection unit attached to the user 20. Specifically, the electrooculogram acquisition unit 310 acquires the electrooculogram of the user 20 detected by the first electrode 151, the second electrode 152, and the third electrode 153 provided in the glasses 100 worn by the user 20. To do. More specifically, the electrooculogram acquisition unit 310 acquires the electrooculogram detected by the glasses 100 by extracting the time series data of V1 and the time series data of V2 from the reception data output from the transmission / reception unit 380. To do.
  • the acceleration acquisition unit 320 acquires the acceleration of the glasses 100 detected by the glasses 100. Specifically, the acceleration acquisition unit 320 acquires the acceleration detected by the glasses 100 based on the information received by the transmission / reception unit 380. More specifically, the acceleration acquisition unit 320 acquires the acceleration detected by the glasses 100 by extracting the acceleration data from the reception data output from the transmission / reception unit 380.
  • the angular velocity acquisition unit 322 acquires the angular velocity of the glasses 100 detected by the glasses 100. Specifically, the angular velocity acquisition unit 322 acquires the angular velocity detected by the glasses 100 based on the information received by the transmission / reception unit 380. More specifically, the angular velocity acquisition unit 322 acquires the angular velocity detected by the glasses 100 by extracting the angular velocity data from the reception data output from the transmission / reception unit 380.
  • the analysis unit 350 analyzes the electrooculogram acquired by the electrooculogram acquisition unit 310. Specifically, the analysis unit 350 uses the continuous electrooculogram information acquired by the electrooculogram acquisition unit 310 to specify the state of the user 20 at a plurality of timings. For example, the analysis unit 350 specifies the state of the user 20 at a plurality of timings using information on the continuous first and second electrooculograms acquired by the electrooculogram acquisition unit 310. Examples of the state of the user 20 include the user's 20 line-of-sight direction and the blink state.
  • the analysis unit 350 analyzes the identified line-of-sight direction of the user 20 and identifies the state of the user 20. Moreover, the analysis part 350 specifies the presence or absence of a blink based on a 1st ocular potential or a 2nd ocular potential. The analysis unit 350 also analyzes the line-of-sight direction and the blink state of the user 20 to identify the state of the user 20. For example, the analysis unit 350 determines whether the user 20 is tired or the like as the state of the user 20. When the analysis unit 350 determines that the user 20 is tired or the like, the analysis unit 350 issues a warning to the user 20 through the UI unit 370.
  • the analysis unit 350 analyzes the information of at least one of the acceleration acquired by the acceleration acquisition unit 320 and the angular velocity acquired by the angular velocity acquisition unit 322, and identifies the movement of the user 20. For example, the analysis unit 350 specifies the running form of the body part of the user 20 based on at least one of acceleration and angular velocity.
  • the storage unit 360 causes the storage unit 360 to store the electrooculogram information analysis result described above and the information indicating the identified movement of the user 20 in association with each other.
  • the UI unit 370 may present information representing the total running posture based on the running form and the line-of-sight direction stored in the storage unit 360 to the user 20 using a video or the like. For example, the UI unit 370 may present an icon such as an arrow indicating the viewing direction of the user 20 to the user 20 together with an icon representing the running form.
  • the electrooculogram information processing system 10 when an acceleration of the user 20 that satisfies a predetermined condition is detected, a continuous detection operation such as an electrooculogram in the glasses 100 is started. Therefore, for example, in response to the user 20 starting a running operation, an electrooculogram continuous detection operation can be started.
  • an electrooculogram continuous detection operation can be started. Therefore, it is possible to suppress wasteful consumption of the power of the power supply unit 190 when performing an operation that does not require continuous detection of the electrooculogram.
  • FIG. 4 schematically shows the positional relationship between the electrooculogram detection electrode of the glasses 100 and the user 20.
  • FIG. 4 shows a contact position where the electrooculogram detection electrode contacts the user 20 when the user 20 is wearing the glasses 100.
  • the first contact position 451 represents a position where the first electrode 151 contacts the user 20.
  • the second contact position 452 represents a position where the second electrode 152 contacts the user 20.
  • the third contact position 453 represents a position where the third electrode 153 contacts the user 20.
  • the first contact position 451 and the second contact position 452 are located below the center of the cornea 411 of the right eyeball 401 and the center of the cornea 412 of the left eyeball 402.
  • the first contact position 451 and the second contact position 452 may be at positions where the distance between the first contact position 451 and the eyeball 401 and the distance between the second contact position 452 and the eyeball 402 are substantially equal. desirable. Further, it is desirable that the first contact position 451 and the second contact position 452 are separated from each other by a certain distance or more.
  • the third contact position 453 is located above the center of the cornea 411 of the right eyeball 401 and the center of the cornea 412 of the left eyeball 402.
  • the position of the third contact position 453 is a position where the distance between the third contact position 453 and the first contact position 451 and the distance between the third contact position 453 and the second contact position 452 are substantially equal. It may be.
  • the third contact position 453 is such that the distance between the third contact position 453 and the eyeball 401 is separated from the distance between the eyeball 401 and the first contact position 451, and the third contact position 453 and the eyeball 402 are separated from each other. May be at a position that is separated from the distance between the eyeball 402 and the second contact position 452.
  • the cornea side is positively charged and the retina side is negatively charged. Therefore, when the line-of-sight direction of the user 20 changes upward, V1 that is the potential of the first electrode 151 with respect to the third electrode 153 and V2 that is the potential of the second electrode 152 with respect to the third electrode 153 are Both will decline.
  • V1 and V2 rise.
  • V1 decreases and V2 increases.
  • V1 increases and V2 decreases.
  • the analysis unit 350 identifies the direction in which the line-of-sight direction has changed based on the change in V1 and the change in V2.
  • the detection processing unit 210 measures the right eye and left eye potential by detecting V1 and V2. Therefore, the influence of noise applied to the electrooculogram can be reduced.
  • the line-of-sight direction of the user 20 is determined by the direction of the eyeball 401 and the direction of the eyeball 402. Since the line-of-sight direction of the user 20 also changes depending on the direction of the head of the user 20, the global line-of-sight direction of the user 20 is determined by the direction of the eyeball 401, the direction of the eyeball 401 and the head of the user 20. In the description of the present embodiment, the line-of-sight direction determined by the direction of the eyeball 401 and the direction of the eyeball 401 may be simply referred to as the line-of-sight direction.
  • V1 changes according to the position of the cornea 411.
  • the analysis unit 350 specifies an angle change amount that is a change amount of the angle of the eyeball 401 in the rotation direction based on the change amount of V1.
  • the analysis unit 350 identifies the angle of the eyeball 401 after the rotation based on the angle of the eyeball 401 before the change and the specified angle change amount.
  • the analysis unit 350 specifies the orientation of the eyeball 401 based on the temporal change of V1.
  • the analysis unit 350 identifies the rotation angle in the other plane as well as the angle in the xy plane. For example, the analysis unit 350 identifies the angle of the eyeball 402 by a process similar to the process related to the angle of the eyeball 401. Specifically, the analysis unit 350 specifies the direction of the eyeball 402 based on the time change of V2.
  • the analysis unit 350 identifies the line-of-sight direction of the user 20 based on the orientation of the eyeball 401 and the orientation of the eyeball 402. For example, the analysis unit 350 may specify a direction in which a vector obtained by combining a vector of the direction of the eyeball 401 and a vector of the direction of the eyeball 402 faces as the line-of-sight direction of the user 20.
  • the orientation of the eyeball 401 and the orientation of the eyeball 402 are an example of an index that represents the visual line direction of the user 20.
  • the line-of-sight direction of the user 20 may be one line-of-sight direction determined from a vector of the direction of the eyeball 401, a vector of the direction of the eyeball 402, and the like. That is, the analysis unit 350 may specify the one line-of-sight direction from V1 and V2. In this case, the analysis unit 350 specifies one gaze direction by performing a predetermined calculation based on the change amount of V1 and the change amount of V2 without specifying the direction of the eyeball 401 and the direction of the eyeball 402. You can do it. For example, the analysis unit 350 may specify one gaze direction by performing a predetermined calculation that associates the variation amount of V1 and the variation amount of V2 with the variation amount of one gaze direction.
  • the direction of the eyeball 401 can be rephrased as the position of the cornea 411.
  • the direction of the eyeball 402 can be rephrased as the position of the cornea 412.
  • the change in the direction of the eyeball 401 can be rephrased as the eyeball movement of the eyeball 401.
  • a change in the direction of the eyeball 402 can be rephrased as eyeball movement. That is, the analysis unit 350 may specify the eye movement of the user 20 based on the electrooculogram detected by the glasses 100.
  • FIG. 5 schematically shows an example of information used when the control unit 220 identifies the movement of the user 20.
  • the information shown in FIG. 5 is stored in the storage unit 360.
  • the storage unit 360 stores a temporal change pattern P of acceleration and a movement in association with each other. Specifically, the storage unit 360 corresponds to the time change pattern Pz of the acceleration Az in the z direction, the time change pattern Py of the acceleration Ay in the y direction, and the time change pattern Px of the acceleration Ax in the x direction, and the user's movement. Are stored.
  • the user's movement includes running, walking, golf swing, baseball bat swing, driving a car, driving a bicycle, and the like.
  • the control unit 220 uses the acceleration detection unit 270 to detect the Az time change pattern, the Ay time change pattern, and the acceleration Ax time change pattern stored in association with each movement. Compare with the time change pattern. For example, the control unit 220 compares the Az time change pattern detected by the acceleration detection unit 270 with the Az time change pattern Pz stored in the storage unit 360 to calculate the degree of coincidence Mz. In addition, the control unit 220 compares the Ay time change pattern detected by the acceleration detection unit 270 with the Ay time change pattern stored in the storage unit 360 to calculate the matching degree My. In addition, the control unit 220 compares the Ax time change pattern detected by the acceleration detection unit 270 with the Ax time change pattern stored in the storage unit 360 to calculate the matching degree Mx.
  • the control unit 220 determines whether or not each of the coincidence degrees Mz, My, and Mx is higher than a predetermined coincidence degree for each direction of Az, Ay, and Ax. When an acceleration having a time change pattern that matches the time change patterns Pz, Py, and Px with a degree of coincidence higher than a predetermined degree of coincidence is detected, the control unit 220 detects that the user 20 corresponds to the time change pattern. It is determined that the movement stored in the storage unit 360 is associated with Pz, Py, and Px.
  • the time change pattern may include information indicating the peak value of the magnitude of acceleration.
  • the time change pattern may include information indicating a sign of acceleration.
  • the time change pattern may include information indicating the duration of acceleration.
  • the time change pattern may include information indicating a time between zero cross points at which acceleration continues.
  • the time change pattern may include information indicating various feature amounts in addition to these feature amounts.
  • the magnitude of acceleration used for determining the degree of coincidence may be a value obtained by normalizing the magnitudes of Az, Ay, and Ax to a predetermined magnitude.
  • the magnitude of the acceleration may be a relative value between Az, Ay, and Ax.
  • the length of the acceleration duration may be standardized to a predetermined length for each of Az, Ay, and Ax.
  • the length of the acceleration duration may be a relative value between Az, Ay, and Ax.
  • FIG. 6 schematically shows an operation sequence of each part in the electrooculogram information processing system 10.
  • the time evolution of Az, Ay, and Ax detected by the acceleration detection unit 270, the state of the detection operation of the electrooculogram and angular velocity by the detection processing unit 210, and the information of the electrooculogram and angular velocity from the transmission / reception unit 280 are shown.
  • movement analysis process are shown.
  • the controller 220 matches Az, Ay corresponding to the time change pattern 1, the time change pattern 2, and the time change pattern 3 associated with the running motion over a predetermined length of time from time t0 to time t1. It is determined that a time change of Ax is detected. In this case, the control unit 220 starts the operation of the detection processing unit 210 from time t1 to start continuous detection of V1 and V2. In addition, the control unit 220 starts the operation of the detection processing unit 210 from time t1 to start continuous angular velocity detection. Further, the control unit 220 controls the transmission / reception unit 280 to start transmission of the time series data of the electrooculogram and the time series data of the angular velocity to the smartphone 40 from time t1. In addition, the control unit 220 controls the transmission / reception unit 280 to transmit a signal indicating that a running motion has been detected to the smartphone 40.
  • the control unit 220 detects the time change of Az, Ay, and Ax corresponding to the time change pattern 1, the time change pattern 2, and the time change pattern 3 associated with the running movement after the time t1.
  • the operation of the processing unit 210 is continued, and continuous detection of V1 and V2 and continuous detection of angular velocity are continued. Further, the control unit 220 continues to transmit the time series data of the electrooculogram and the time series data of the angular velocity from the transmission / reception unit 280 to the smartphone 40.
  • the analysis unit 350 analyzes the time-series data of the electrooculogram received from the transmission / reception unit 280, the acceleration, and the angular velocity in response to receiving the signal indicating that the running motion is detected from the glasses 100.
  • the motion analysis of the user 20 based on each time-series data is started.
  • the storage unit 360 includes information such as the line of sight, blinking, and eye movement as the electrooculogram analysis result by the analysis unit 350, and the orientation of the head and the face of the user 20 as the motion analysis result by the analysis unit 350.
  • the direction and the time are stored in association with each other.
  • the analysis unit 350 determines that the user 20 is tired or painful by analyzing the time series data of the electrooculogram, the analysis unit 350 issues a warning to the user 20 through the UI unit 370.
  • the control unit 220 detects time changes of Az, Ay, and Ax that match the time change pattern 1, the time change pattern 2, and the time change pattern 3 associated with the running movement over a period of a predetermined length. When it disappears, the operation of the detection processing unit 210 is stopped, and continuous detection of V1 and V2 and continuous detection of angular velocity are stopped. In addition, the control unit 220 controls the transmission / reception unit 280 to stop transmission of the time series data of the electrooculogram and the time series data of the angular velocity to the smartphone 40. In addition, the control unit 220 controls the transmission / reception unit 280 to transmit a signal indicating that the running motion is no longer detected to the smartphone 40. In the smartphone 40, the analysis unit 350 analyzes the time-series data of the electrooculogram received from the transmission / reception unit 280, the acceleration, The motion analysis of the user 20 based on each time series data of the angular velocity is stopped.
  • the eyeglasses 100 and the detection processing of the electro-oculogram and the angular velocity and the data transmission processing of the detection result are started. Then, in response to the end of the running operation of the user 20, the eye potential and angular velocity detection processing and the detection result data transmission processing in the glasses 100 are stopped.
  • FIG. 7 is a flowchart showing processing executed in the control unit 220. The processing shown in this flowchart is started when a task for performing control processing based on acceleration for the detection processing unit 210 and the transmission / reception unit 280 is started in the processing unit 200.
  • step S700 the control unit 220 starts acquisition of acceleration output from the acceleration detection unit 270 and analysis processing of acceleration.
  • step S ⁇ b> 702 the control unit 220 determines whether or not there is a pattern that matches the time pattern of acceleration detected by the acceleration detection unit 270 in the time change pattern P stored in the storage unit 360. If there is a pattern that matches the detected time change pattern in the time change pattern P, the control unit 220 identifies the movement associated with the matched pattern as the movement of the user 20, and step S ⁇ b> 704 is performed. The process is transferred to. If there is no pattern in the time change pattern P that matches the detected acceleration time change pattern, the process proceeds to step S708.
  • step S704 the control unit 220 starts the operation of the detection processing unit 210 according to the identification of the movement of the user 20, and starts the detection operation of the electrooculogram and the angular velocity. Subsequently, the control unit 220 causes the transmission / reception unit 280 to transmit movement start information indicating that the identified movement has been started from the transmission / reception unit 280 to the transmission / reception unit 280, and causes the transmission / reception unit 280 to start transmission of the electrooculogram and angular velocity data (step S706). .
  • step S712 it is determined whether or not the time change of the acceleration that matches the pattern P specified in step S702 is continued.
  • the determination in step S712 is periodically repeated. If it is determined that the time change of the acceleration matching the pattern P is not continued, the process proceeds to step S714.
  • step S714 the control unit 220 stops the operation of the detection processing unit 210 and stops the detection operation of the electrooculogram and the angular velocity. Subsequently, the control unit 220 causes the transmission / reception unit 280 to transmit movement stop information indicating that the movement specified in step S704 is no longer performed to the smartphone 40, and stops transmission of ocular potential and angular velocity data from the transmission / reception unit 280. (Step S716). After step S716, the process proceeds to step S702.
  • step S708 the control unit 220 determines whether or not to end the control process based on the acceleration for the detection processing unit 210 and the transmission / reception unit 280. For example, when notified that the control process is to be ended, the control unit 220 determines to end the control process for the detection processing unit 210 and the transmission / reception unit 280. If it is determined not to end the control process, the process proceeds to step S702. If it is determined that the control process is to be terminated, the process of this flowchart is terminated.
  • FIG. 8 is a flowchart showing processing executed in the smartphone 40. The processing shown in this flowchart is started when a task for performing analysis processing related to a user's exercise is started in the processing unit 300.
  • step S802 the processing unit 300 determines whether or not the movement start information indicating that the user 20 has started a specific movement is received from the transmission / reception unit 280. If the movement start information has not been received, the process proceeds to step S808. When the movement start information is received, the process proceeds to step S804.
  • step S804 the processing unit 300 controls the transmission / reception unit 380 to start receiving ocular potential time-series data, acceleration time-series data, and angular velocity time-series data continuously transmitted from the glasses 100.
  • step S810 the processing unit 300 activates an analysis program corresponding to the movement started by the user 20.
  • an analysis program corresponding to the movement started by the user 20 For example, when the movement of the identified user 20 is a running movement, a running analysis program corresponding to the movement of the identified user 20 is selected from a plurality of analysis programs installed in the smartphone 40, and Starts the selected running analysis program.
  • the movement of the user 20 may be notified from the transmission / reception unit 280 by being included in the movement start information, or based on at least one of acceleration time-series data and angular velocity time-series data received by the transmission / reception unit 380. May be identified by analysis.
  • step S820 the analysis unit 350 determines whether V1 or V2 has changed in the analysis target time. If it is determined in step S820 that V1 or V2 has changed, the process proceeds to step S822. If it is determined in step S820 that neither V1 nor V2 has changed, the process proceeds to step S824.
  • step S822 based on the amount of change in V1 and the amount of change in V2, the state relating to the eyes of the user 20 is determined. Specifically, the analysis unit 350 identifies a new line-of-sight direction based on the currently set line-of-sight direction and the amount of change in V1 and the amount of change in V2. In step S822, analysis unit 350 determines the presence or absence of blinks based on the amount of change in V1 or the amount of change in V2.
  • the analysis unit 350 analyzes the operation and state of the user 20 based on the acceleration and angular velocity of the analysis target time. For example, the analysis unit 350 specifies the orientation of the head of the user 20, the orientation of the face, and the like. Moreover, the analysis part 350 analyzes operation
  • step S824 the analysis unit 350 analyzes the state of the user 20 based on the current gaze direction, blink, eye movement, and the like of the current user 20 specified in step S822, and performs processing according to the analysis result. Do. In addition, the analysis unit 350 determines whether the user 20 is tired, pained, or the like based on the visual line direction change history, blink frequency, or the like. If it is determined that the user 20 is present, a warning is issued to the user 20 through the UI unit 370. Note that the information such as the line-of-sight direction, blink, and eye movement analyzed in step S824 and the head direction and face direction of the user 20 as the result of motion analysis by the analysis unit 350 are associated with the detection time. It is stored in the storage unit 360 at any time.
  • step S830 the processing unit 300 determines whether or not the motion stop information indicating that the user 20 has stopped the specific motion has been received from the transmission / reception unit 280.
  • the analysis target time is advanced (step S832), and the process proceeds to step S820. If the motion stop information has not been received, the process proceeds to step S834.
  • step S834 the processing unit 300 controls the transmission / reception unit 380 to stop receiving the time series data of the electrooculogram, the time series data of the acceleration, and the time series data of the angular velocity continuously transmitted from the glasses 100. Subsequently, in step S836, the processing unit 300 stops the operation by the analysis program activated in step S10. Thereby, the analysis process of the electrooculogram and the like in the analysis unit 350 ends.
  • step S808 the processing unit 300 determines whether to end the analysis process related to the user's exercise. For example, when it is notified that a task for performing an analysis process related to the user's exercise is to be ended, it is determined that the analysis process related to the user's exercise is to be ended. If it is determined in step S808 that the analysis process related to the user's exercise is not to be terminated, the process proceeds to step S802. If it is determined that the analysis process related to the user's exercise is to be terminated, the process of this flowchart is terminated.
  • step S824 differs depending on the program started in step S810.
  • the analysis unit 350 specifies the head direction and the line-of-sight direction of the user 20, and the head direction and the line-of-sight. A process of specifying the global line-of-sight direction of the user 20 from the direction may be performed.
  • the analysis unit 350 determines whether the user 20 is drowsy or tired, whether the user 20 is driving aside. Processing for analyzing whether or not attention is reduced may be performed.
  • the detection processing unit 210 performs processing for calculating V1 and V2. It replaces with this and the analysis part 350 of the smart phone 40 may perform the process which calculates V1 and V2.
  • the processing unit 200 generates time series data of the first ocular potential, the second ocular potential, and the third ocular potential, and the transmission / reception unit 280 causes the first ocular potential, the second ocular potential, and the third ocular potential.
  • Each of the time series data may be transmitted to the smartphone 40.
  • the analysis unit 350 uses V1 and V2 to specify the state of the user 20 such as the line-of-sight direction of the user 20.
  • the analysis unit 350 may specify the state of the user 20 using an arbitrary linear combination of V1 and V2.
  • the analysis unit 350 may specify the state of the user 20 using V1 + V2 and V1-V2.
  • the analysis part 350 may specify the state of the user 20 using the time differentiation of V1 and the time differentiation of V2.
  • the analysis unit 350 uses the first eye based on a predetermined reference potential such as the potential of the ground electrode 154 instead of the above-described V1 and V2 as the eye potential for specifying the line-of-sight direction.
  • the potential and the second ocular potential based on the potential of the ground electrode 154 may be applied.
  • the processing unit 200 functions as an electrooculogram acquisition unit that acquires the electrooculogram of the user 20 detected by the glasses 100, a function as an acceleration acquisition unit that acquires acceleration, and an angular velocity acquisition unit that acquires angular velocity. It may have the function of. Further, the processing unit 200 may further have the function of the analysis unit 350.
  • the smartphone 40 may have a function of a detection unit that detects acceleration.
  • the smartphone 40 may have a function of a detection unit that detects the angular velocity.
  • the control unit 220 may acquire the acceleration detected by the smartphone 40 through the transmission / reception unit 380 and the transmission / reception unit 280. Then, the control unit 220 determines whether or not the acquired acceleration satisfies a predetermined condition, and when the acquired acceleration satisfies a predetermined condition, the electrooculogram continuous by the detection processing unit 210 or the like. Detection may be initiated.
  • the processing unit 300 may have the function of the control unit 220.
  • the function of detecting acceleration may be included in the smartphone 40 or the glasses 100.
  • the processing unit 300 may acquire information on the acceleration detected by the glasses 100 through the transmission / reception unit 280 and the transmission / reception unit 380. Then, the processing unit 300 determines whether or not the acquired acceleration satisfies a predetermined condition, and when the acquired acceleration satisfies a predetermined condition, the processing unit 300 continuously detects the ocular potential in the glasses 100. May be started.
  • the processing unit 300 may instruct the glasses 100 to start detecting the electrooculogram through the transmission / reception unit 380 and the transmission / reception unit 280.
  • the control unit 220 acquires the acceleration of the user 20, determines whether the acquired acceleration satisfies a predetermined condition, and acquires the acceleration.
  • An embodiment has been described in which continuous detection of electrooculogram and angular velocity is started when the acceleration that has been satisfied satisfies a predetermined condition.
  • the control unit 220 may start continuous detection of at least one of electrooculogram and angular velocity when the acquired acceleration satisfies a predetermined condition.
  • the control unit 220 may start continuous detection of at least one of electrooculogram and acceleration when the acquired angular velocity satisfies a predetermined condition.
  • control unit 220 may start continuous detection of at least one of acceleration and angular velocity when the acquired electrooculogram satisfies a predetermined condition.
  • the processing described as operations of the processing unit 300 and the transmission / reception unit 380 in the smartphone 40 is realized by a processor such as the processing unit 300 and the transmission / reception unit 380 controlling each hardware included in the smartphone 40 according to a program.
  • a processor such as the processing unit 300 and the transmission / reception unit 380 controlling each hardware included in the smartphone 40 according to a program.
  • the processing of the smartphone 40 described in relation to the smartphone 40 of the present embodiment includes a processor, a memory, and the like by the processor operating according to the program and controlling each hardware. This can be realized by the hardware and the program operating in cooperation. That is, the process can be realized by a so-called computer.
  • the computer may load a program for controlling execution of the above-described processing, operate according to the read program, and execute the processing.
  • the computer can load the program from a computer-readable recording medium storing the program.
  • the processing described as the operation of the processing unit 200 in the glasses 100 can be realized by a so-called computer.
  • the smartphone 40 is an example of an electrooculogram information processing apparatus that processes electrooculogram information detected by the glasses 100.
  • the electrooculogram information processing apparatus may be an information processing apparatus having a communication function.
  • the electrooculogram information processing apparatus may be a portable electronic device such as a mobile phone, a portable information terminal, a portable music player, etc. possessed by the user 20.
  • the eyeglasses 100 as an example of eyewear can be used for the purpose of correcting the refractive error of the eyes of the user 20, protecting the eyes of the user 20, or dressing up.
  • eyewear is not limited to glasses.
  • the eyewear may be a face wearing device such as sunglasses, goggles, a head mounted display, or a head wearing device.
  • the eyewear may be a frame of a face wearing device or a head wearing device or a part of the frame.
  • Eyewear is an example of a wearing tool that can be worn by a user.
  • the wearing tool is not limited to a wearing tool related to the eye such as eyewear.
  • Various members such as a hat, a helmet, headphones, and a hearing aid can be applied as the wearing tool.
  • Ocular Potential Information Processing System 100 Glasses 20 User 40 Smartphone 110 Lens 120 Frame 122 Rim 124 Bridge 126 Yoro 130 Temple 132 Modern 141 Right Nose Pad 142 Left Nose Pad 151 First Electrode 152 Second Electrode 153 Third Electrode 154 Ground Electrode 160 Electric wire unit 180 processing unit 190 power supply unit 200 processing unit 210 detection processing unit 220 control unit 260 angular velocity detection unit 270 acceleration detection unit 280 transmission / reception unit 290 substrate unit 300 processing unit 310 ocular potential acquisition unit 320 acceleration acquisition unit 322 angular velocity acquisition unit 350 analysis Unit 360 storage unit 370 UI unit 380 transmission / reception unit 390 power supply unit 401, 402 eyeball 411, 412 cornea 451 first contact position 452 second contact position 453 third contact position

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Eye Examination Apparatus (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

　検出制御装置は、ユーザの加速度又は角速度を取得する取得部と、取得部で取得された加速度又は角速度が予め定められた条件を満たす場合に、ユーザの眼電位を連続的に検出する眼電位検出部による眼電位の検出を開始させる制御部とを備える。プログラムは、コンピュータを、ユーザの加速度又は角速度を取得する取得部、取得部で取得された加速度又は角速度が予め定められた条件を満たす場合に、ユーザの眼電位を連続的に検出する眼電位検出部による眼電位の検出を開始させる制御部として機能させる。

Description

検出制御装置、装着具、眼電位情報処理システム、及びプログラム
　本発明は、検出制御装置、装着具、眼電位情報処理システム、及びプログラムに関する。
　情報表示装置の使用者の行動状態に応じて、表示パネルに表示される情報の表示モードが自動的に切り替わる情報表示装置が知られている（例えば、特許文献１参照）。また、目の瞬きを検出した時点から所定時間以内に閉瞼を伴うゆっくりとした眼球の横移動を検出した場合に覚醒度が低下していると判断する居眠り検出装置が知られている（特許文献２参照）。また、被検者が活動又はスポーツなどのタスクを行っている間における被検者の眼球運動、身体運動、及び／又は生理学的パフォーマンスを追跡する方法が知られている（特許文献３参照）。
　特許文献１　特開２０１２－０９３７６７号公報
　特許文献２　特開２００６－１３６５５６号公報
　特許文献３　特表２０１２－５３２６９６号公報
　眼電位等の検出動作を続けると、消費電力が不必要に増大する場合がある。
　第１の態様においては、検出制御装置は、ユーザの加速度又は角速度を取得する取得部と、取得部で取得された加速度又は角速度が予め定められた条件を満たす場合に、ユーザの眼電位を連続的に検出する眼電位検出部による眼電位の検出を開始させる制御部とを備える。
　眼電位検出部は、ユーザが装着する装着具に設けられてよい。
　検出制御装置は、装着具に設けられてよい。
　装着具は、ユーザが装着するアイウエアであってよい。
　装着具に設けられ、装着具の加速度又は角速度を検出する検出部をさらに備え、制御部は、検出部が検出した加速度又は角速度を取得してよい。
　制御部は、眼電位検出部による眼電位の検出が連続的に行われていない場合において、取得した加速度又は角速度が予め定められた条件を満たす場合に、眼電位検出部による眼電位の連続的な検出を開始させ、取得した加速度又は角速度が予め定められた条件を満たさない場合に、眼電位検出部による眼電位の連続的な検出を開始させずに、眼電位検出部による眼電位の検出が連続的に行われていない状態を維持させてよい。
　制御部は、取得した加速度又は角速度の時間変化パターンが、予め定められた時間変化パターンに適合していると判断した場合に、取得した加速度又は角速度が予め定められた条件を満たすと判断してよい。
　眼電位検出部により連続的に検出された眼電位の情報を、外部の眼電位情報処理装置に送信する送信部をさらに備え、制御部は、取得した加速度又は角速度が予め定められた条件を満たす場合に、送信部に、眼電位検出部により連続的に検出された眼電位の情報の送信を開始させてよい。
　第２の態様においては、装着具は、上記検出制御装置を備え、ユーザに装着される。
　第３の態様においては、眼電位情報処理システムは、上記検出制御装置と、眼電位検出部により連続的に検出された眼電位の情報を受信して、受信した眼電位の情報を処理する眼電位情報処理装置とを備え、検出制御装置は、ユーザに装着される。
　第４の態様においては、プログラムは、コンピュータを、ユーザの加速度又は角速度を取得する取得部、取得部で取得された加速度又は角速度が予め定められた条件を満たす場合に、ユーザの眼電位を連続的に検出する眼電位検出部による眼電位の検出を開始させる制御部として機能させる。
　なお、上記の発明の概要は、本発明の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
一実施形態における眼電位情報処理システム１０の利用形態の一例を概略的に示す。 メガネ１００及びスマートフォン４０を模式的に示す。 スマートフォン４０の機能ブロック構成及び処理ユニット１８０の機能ブロック構成を概略的に示す。 メガネ１００が有する眼電位検出用電極とユーザ２０との位置関係を概略的に示す。 制御部２２０がユーザ２０の動きを特定する場合に用いる情報の一例を模式的に示す。 眼電位情報処理システム１０における各部の動作シーケンスを模式的に示す。 制御部２２０において実行される処理を表すフローチャートを示す。 スマートフォン４０において実行される処理を表すフローチャートを示す。
　以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
　図１は、一実施形態における眼電位情報処理システム１０の利用形態の一例を概略的に示す。眼電位情報処理システム１０は、メガネ１００及びスマートフォン４０を備える。
　ユーザ２０は、メガネ１００及びスマートフォン４０のそれぞれの使用者である。ユーザ２０は、メガネ１００を装着する装着者である。スマートフォン４０は、眼電位情報処理装置の一例である。
　メガネ１００は、ユーザ２０の顔部に装着される。メガネ１００は、スマートフォン４０と通信する機能を有する。メガネ１００は、ユーザ２０に接触する電極を介してユーザ２０の眼電位を検出して、検出した眼電位の情報をスマートフォン４０に送信する。また、メガネ１００は、メガネ１００の加速度を検出して、検出した加速度の情報をスマートフォン４０に送信する。また、メガネ１００は、メガネ１００の角速度を検出して、検出した角速度の情報をスマートフォン４０に送信する。
　スマートフォン４０は、メガネ１００から受信した眼電位を解析する。スマートフォン４０は、メガネ１００から受信した眼電位を、メガネ１００から受信した加速度及び角速度の少なくとも一方とともに解析する。スマートフォン４０は、眼電位、加速度、角速度等の解析結果に基づいて、ユーザ２０に情報を提供する。
　例えば、スマートフォン４０は、眼電位、加速度及び角速度等を解析して、ユーザ２０の状態を特定する。具体的には、スマートフォン４０は、ユーザ２０の視線方向及び瞬目状態等を特定する。例えば、スマートフォン４０は、視線方向及び瞬目状態等に基づき、ユーザ２０の状態を判断する。具体的には、スマートフォン４０は、視線方向及び瞬目状態等に基づき、ユーザ２０に疲れ等が生じているか否かを判断する。スマートフォン４０は、ユーザ２０に疲れ等が生じていると判断した場合に、ユーザ２０に警告を発する。例えば、スマートフォン４０は、ユーザ２０に疲れ等が生じていると判断した場合に、警告音を発生する。
　眼電位情報処理システム１０では、メガネ１００で検出された加速度に基づいて、ユーザ２０がランニング動作等の予め定められた動作を開始したか否かが判断される。ユーザ２０が予め定められた動作を開始したと判断されたことに応じて、メガネ１００において眼電位の連続的な検出動作が開始され、眼電位情報処理システム１０においてユーザ２０の視線方向の検出や疲れ等を判断する処理が開始される。そのため、ランニング動作をしていない場合に眼電位の検出、視線方向の検出、及び疲れ等を判断する処理が無駄に行われることを抑制できる。そのため、メガネ１００やスマートフォン４０において電力が無駄に消費されることを抑制できる。
　なお、本実施形態の説明において、図１等に示される直交座標系の座標軸を用いて、各種の方向を特定する場合がある。ｚ軸プラス方向を、ユーザ２０が正面に沿う方向に定める。ｚ軸プラス方向は、ユーザ２０の顔に装着されているメガネ１００の、ユーザ２０の顔からメガネ１００のフロント部へ向かう方向の加速度である。また、ｙ軸マイナス方向を、鉛直方向に定める。ｘ軸、ｙ軸、ｚ軸は、右手系の直交座標系である。説明の都合上、ｚ軸プラス方向を正面方向等と呼ぶ場合がある。また、ｙ軸プラス方向を上方等と呼ぶ場合がある。また、ｙ軸マイナス方向を下方等と呼ぶ場合がある。また、ｘ軸プラス方向を左方等と呼ぶ場合がある。また、ｘ軸マイナス方向を右方等と呼ぶ場合がある。
　図２は、メガネ１００及びスマートフォン４０を模式的に示す。メガネ１００は、レンズ１１０及びフレーム１２０を備える。メガネ１００及びフレーム１２０は、アイウエアの一例である。
　フレーム１２０は、一対のレンズ１１０を支持する。フレーム１２０は、リム１２２、ブリッジ１２４、ヨロイ１２６、テンプル１３０、モダン１３２、右ノーズパッド１４１、左ノーズパッド１４２、第１電極１５１、第２電極１５２、第３電極１５３、接地電極１５４、処理ユニット１８０及び電源ユニット１９０を有する。レンズ１１０、リム１２２、ヨロイ１２６、テンプル１３０、及びモダン１３２は、それぞれ左右一対に設けられる。フレーム１２０のうち、リム１２２、ブリッジ１２４、右ノーズパッド１４１、左ノーズパッド１４２及びヨロイ１２６の部分を、メガネ１００のフロント部と呼ぶ。
　リム１２２は、レンズ１１０を保持する。ヨロイ１２６は、リム１２２の外側に設けられテンプル１３０を可動に保持する。テンプル１３０は、ユーザ２０の耳の上部を押圧して、押圧した部位を挟持する。モダン１３２は、テンプル１３０の先端に設けられる。モダン１３２は、ユーザ２０の耳の上部に接触する。
　第１電極１５１は、眼電位を検出する眼電位検出部の一例である。第１電極１５１は、右ノーズパッド１４１の表面に設けられる。第１電極１５１は、右ノーズパッド１４１が有する表面のうち、ユーザ２０がメガネ１００を装着した場合にユーザ２０の顔に対向する側の表面に設けられる。ユーザ２０がメガネ１００を装着した場合、第１電極１５１はユーザ２０の皮膚に接触する。例えば、ユーザ２０がメガネ１００を装着した場合、第１電極１５１はユーザ２０の鼻の右側に接触する。本実施形態において、第１電極１５１は、主としてユーザ２０の右眼の眼電位を検出する。
　第２電極１５２は、眼電位を検出する眼電位検出部の一例である。第２電極１５２は、左ノーズパッド１４２の表面に設けられる。第２電極１５２は、左ノーズパッド１４２が有する表面のうち、ユーザ２０がメガネ１００を装着した場合にユーザ２０の顔に対向する側の表面に設けられる。ユーザ２０がメガネ１００を装着した場合、第２電極１５２はユーザ２０の皮膚に接触する。例えば、ユーザ２０がメガネ１００を装着した場合、第２電極１５２はユーザ２０の鼻の左側に接触する。本実施形態において、第２電極１５２は、主としてユーザ２０の左眼の眼電位を検出する。
　第３電極１５３は、眼電位を検出する眼電位検出部の一例である。第３電極１５３は、ブリッジ１２４の表面に設けられる。第３電極１５３は、ブリッジ１２４が有する表面のうち、ユーザ２０がメガネ１００を装着した場合にユーザ２０の顔に対向する表面に設けられる。ユーザ２０がメガネ１００を装着した場合、第３電極１５３はユーザ２０の皮膚に接触する。例えば、ユーザ２０がメガネ１００を装着した場合、第３電極１５３はユーザ２０の眉間の上部に接触する。本実施形態において、第３電極１５３で検出される眼電位は、ユーザ２０の右眼の眼電位及び左眼の眼電位を測定するための測定用の基準に用いられる。
　接地電極１５４は、モダン１３２の表面に設けられる。接地電極１５４は、例えば右側のモダン１３２の表面に設けられる。接地電極１５４は、モダン１３２が有する表面のうち、ユーザ２０がメガネ１００を装着した場合にユーザ２０の顔に対向する表面に設けられる。ユーザ２０がメガネ１００を装着した場合、接地電極１５４はユーザ２０の皮膚に接触する。例えば、ユーザ２０がメガネ１００を装着した場合、接地電極１５４はユーザ２０の右耳の上部に接触する。本実施形態において、接地電極１５４の電位は、メガネ１００が有する電気回路の接地電位を提供する。
　処理ユニット１８０は、左側のテンプル１３０の内部に設けられる。処理ユニット１８０には、第１電極１５１、第２電極１５２及び第３電極１５３で検出されたユーザ２０の眼電位が入力される。処理ユニット１８０は、入力された眼電位を処理して、処理された電位をスマートフォン４０に送信する。
　電源ユニット１９０は、左側のテンプル１３０の内部に設けられる。電源ユニット１９０は、二次電池等の電池を含む。電源ユニット１９０は、電源ユニット１９０が含む電池に蓄積された電気エネルギーを、処理ユニット１８０に供給する。具体的には、電源ユニット１９０は、電池に蓄積された電気エネルギーから、接地電極１５４の電位を基準とした直流電力を生成する。電源ユニット１９０は、電池に蓄積された電気エネルギーから生成した直流電力を、処理ユニット１８０に供給する。
　なお、電源ユニット１９０は、接地電極１５４が設けられた側のテンプル１３０の内部に設けられている。接地電極１５４の電位は、電源ユニット１９０から処理ユニット１８０に供給される直流電力の負側の電位を提供する。また、右側のモダン１３２には、電源ユニット１９０を充電するために充電口が形成されている。電源ユニット１９０が含む電池は、右側のモダン１３２に設けられた充電口を介して充電される。
　図３は、スマートフォン４０の機能ブロック構成及び処理ユニット１８０の機能ブロック構成を概略的に示す。処理ユニット１８０は、処理部２００、角速度検出部２６０、加速度検出部２７０、送受信部２８０及び基板部２９０を含む。処理部２００は、検出処理部２１０及び制御部２２０を持つ。スマートフォン４０は、処理部３００、格納部３６０、ＵＩ部３７０、送受信部３８０及び電源部３９０を含む。
　処理ユニット１８０において、処理部２００、角速度検出部２６０、加速度検出部２７０及び送受信部２８０は、基板部２９０に実装される。処理部２００は、ＭＰＵ等のプロセッサで実現される。スマートフォン４０の各部は、主として処理部３００によって制御される。送受信部２８０は、スマートフォン４０と無線通信する機能を担う。送受信部２８０は、通信用プロセッサで実現される。例えば、送受信部２８０は、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信機能を有する通信用プロセッサで実現される。
　メガネ１００のフレーム１２０の内部には、電線部１６０が設けられる。電線部１６０は、第１電極１５１、第２電極１５２、第３電極１５３、接地電極１５４及び電源ユニット１９０と、処理ユニット１８０とを電気的に接続する。電線部１６０は、第１電極１５１と処理ユニット１８０とを電気的に接続して、第１電極１５１で検出された眼電位を処理ユニット１８０に出力する電線と、第２電極１５２と処理ユニット１８０とを電気的に接続して、第２電極１５２で検出された眼電位を処理ユニット１８０に出力する電線と、第３電極１５３と処理ユニット１８０とを電気的に接続して、第３電極１５３で検出された眼電位を処理ユニット１８０に出力する電線と、電源ユニット１９０から処理ユニット１８０に電力を供給する電線とを有する。
　メガネ１００において、処理部２００は、ユーザ２０の眼電位を取得して、取得した眼電位を処理する。具体的には、検出処理部２１０は、第１電極１５１で検出された眼電位である第１眼電位を取得して、取得した第１眼電位を処理する。また、検出処理部２１０は、第２電極１５２で検出された眼電位である第２眼電位を取得して、取得した第２眼電位を処理する。また、検出処理部２１０は、第３電極１５３で検出された眼電位である第３眼電位を取得して、取得した第３眼電位を処理する。
　例えば、検出処理部２１０は、第３眼電位を基準とした第１眼電位を処理する。本実施形態では、第３眼電位を基準とした第１眼電位を、Ｖ１と呼ぶ。検出処理部２１０は、Ｖ１を予め定められた周期でサンプリングして、Ｖ１の時系列データを生成する。検出処理部２１０は、生成したＶ１の時系列データを、送受信部２８０に出力する。
　また、検出処理部２１０は、第３眼電位を基準とした第２眼電位を処理する。本実施形態では、第３眼電位を基準とした第２眼電位を、Ｖ２と呼ぶ。検出処理部２１０は、Ｖ２を予め定められた周期でサンプリングして、Ｖ２の時系列データを生成する。検出処理部２１０は、生成したＶ２の時系列データを、送受信部２８０に出力する。
　加速度検出部２７０は、メガネ１００の加速度を検出する。加速度検出部２７０は、例えば３軸加速度センサである。加速度検出部２７０は、メガネ１００の重心の加速度を検出する。メガネ１００がユーザ２０に装着されている場合、メガネ１００の重心の加速度は、ユーザ２０の頭部の加速度に対応する。検出処理部２１０には、加速度検出部２７０で検出された加速度が入力される。また、加速度検出部２７０で検出された加速度は、制御部２２０にも入力される。
　角速度検出部２６０は、メガネ１００の角速度を検出する。角速度検出部２６０は、例えば３軸角速度センサである。検出処理部２１０には、角速度検出部２６０で検出された角速度が入力される。
　検出処理部２１０は、加速度検出部２７０で検出された加速度を取得して、取得した加速度を処理する。検出処理部２１０は、加速度を予め定められた周期でサンプリングして、時系列の加速度のデータを生成する。検出処理部２１０は、生成した加速度の時系列データを送受信部２８０に出力する。送受信部２８０に出力される加速度データは、３軸の各方向の加速度の時系列データを含む。
　検出処理部２１０は、角速度検出部２６０で検出された角速度を取得して、取得した角速度を処理する。検出処理部２１０は、角速度を予め定められた周期でサンプリングして、時系列の角速度のデータを生成する。検出処理部２１０は、生成した角速度の時系列データを送受信部２８０に出力する。送受信部２８０に出力される角速度データは、３軸の各方向の角速度の時系列データを含む。
　送受信部２８０は、検出処理部２１０から取得したＶ１の時系列データ、Ｖ２の時系列データ、加速度の時系列データ及び角速度の時系列データを、無線信号で送受信部３８０に送信する。このように、送受信部２８０は、連続的に検出された眼電位の情報、加速度の情報及び角速度の情報を、スマートフォン４０に送信する。
　なお、検出処理部２１０における処理には、入力眼電位、加速度及び角速度の信号を増幅する増幅処理、入力眼電位、加速度及び角速度の信号をデジタル化するデジタル化処理が含まれる。検出処理部２１０は、入力眼電位、加速度及び角速度のアナログ信号を増幅する増幅回路を有してよい。検出処理部２１０は、入力眼電位、加速度及び角速度のアナログ信号又は増幅回路で増幅されたアナログ信号をデジタル化するＡＤ変換回路を有してよい。
　制御部２２０は、検出制御装置の一例である。制御部２２０は、ユーザ２０の加速度を取得する。そして、制御部２２０は、取得した加速度が予め定められた条件を満たす場合に、ユーザ２０の眼電位を連続的に検出する眼電位検出部による眼電位の検出を開始させる。具体的には、制御部２２０は、取得した加速度が予め定められた条件を満たす場合に、検出処理部２１０を駆動して、第１電極１５１、第２電極１５２及び第３電極１５３等の電極による眼電位の検出を開始させる。なお、眼電位の検出を開始させるとは、検出処理部２１０における増幅処理、デジタル化処理等の動作を開始させることであってよい。例えば、眼電位の検出を開始させるとは、検出処理部２１０において、入力眼電位、加速度及び角速度のアナログ信号を増幅する増幅回路の動作を開始させることであってよい。また、眼電位の検出を開始させるとは、上述したＡＤ変換回路の動作を開始させることであってよい。
　制御部２２０は、眼電位の検出が連続的に行われていない場合において、取得した加速度が予め定められた条件を満たす場合に、眼電位の連続的な検出を開始させ、取得した加速度が予め定められた条件を満たさない場合に、眼電位の連続的な検出を開始させずに、眼電位の検出が連続的に行われていない状態を維持させる。例えば、制御部２２０は、取得した加速度が予め定められた条件を満たさない場合には、第１電極１５１等の電極及び検出処理部２１０による眼電位の連続的な検出を開始させず、検出処理部２１０が動作していない状態を維持させる。
　なお、制御部２２０は、取得した加速度の時間変化パターンが、予め定められた時間変化パターンに適合していると判断した場合に、取得した加速度が予め定められた条件を満たすと判断してよい。また、制御部２２０は、取得した加速度の時間変化に基づいて、ユーザ２０の動きを特定して、特定したユーザ２０の動きが予め定められた動きに適合している場合に、取得した加速度が予め定められた条件を満たすと判断してよい。
　制御部２２０は、取得した加速度が予め定められた条件を満たす場合に、送受信部２８０に、連続的に検出された眼電位の情報の送信を開始させる。なお、制御部２２０は、眼電位の検出制御と同様に、取得した加速度が予め定められた条件を満たす場合に検出処理部２１０に角速度の連続的な検出を開始させてよい。また、制御部２２０は、眼電位の情報の送信制御と同様に、取得した加速度が予め定められた条件を満たす場合に、送受信部２８０に、連続的に検出された角速度の情報の送信を開始させてよい。
　スマートフォン４０において、電源部３９０は、二次電池等の電池を含む。電源部３９０は、処理部３００、送受信部３８０及びＵＩ部３７０を含むスマートフォン４０の各部に電力を供給する。
　ＵＩ部３７０は、ユーザ２０とのユーザインタフェース（ＵＩ）を提供する。例えば、ＵＩ部３７０は、タッチパネル、操作キー、音生成装置等を含む。
　格納部３６０は、記憶媒体で実現される。記録媒体としては、揮発性記憶媒体、不揮発性記憶媒体等を例示できる。格納部３６０は、処理部３００の動作に必要な各種のパラメータを格納する。また、格納部３６０は、処理部３００で生成された各種の情報を格納する。
　送受信部３８０は、メガネ１００と無線通信する機能を担う。送受信部３８０は、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信機能を有する通信用プロセッサで実現される。送受信部３８０と送受信部２８０とは、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格に従って無線通信を行う。なお、送受信部２８０と送受信部３８０との間の通信は、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信に限られない。送受信部２８０と送受信部３８０との間の通信は、例えば無線ＬＡＮ等を含む様々な方式の無線通信で実現され得る。送受信部２８０と送受信部３８０との間の通信は、ＵＳＢ等を含む様々な方式の有線通信によって実現され得る。
　送受信部３８０は、メガネ１００から送信された眼電位を示す情報を受信する。また、送受信部３８０は、メガネ１００から送信された加速度を示す情報を受信する。また、送受信部３８０は、メガネ１００から送信された角速度を示す情報を受信する。具体的には、送受信部３８０は、送受信部２８０から受信した無線信号を受信して、受信した無線信号を復調して、Ｖ１の時系列データ、Ｖ２の時系列データ、加速度の時系列データ及び角速度の時系列データを含む受信データを生成する。送受信部３８０は、生成した受信データを、処理部３００に出力する。
　処理部３００は、眼電位取得部３１０、加速度取得部３２０、角速度取得部３２２及び解析部３５０を有する。
　眼電位取得部３１０は、ユーザ２０に装着された眼電位検出部で検出されたユーザ２０の眼電位を取得する。具体的には、眼電位取得部３１０は、ユーザ２０が装着しているメガネ１００に設けられた第１電極１５１、第２電極１５２及び第３電極１５３で検出されたユーザ２０の眼電位を取得する。より具体的には、眼電位取得部３１０は、送受信部３８０から出力された受信データからＶ１の時系列データ及びＶ２の時系列データを抽出することにより、メガネ１００で検出された眼電位を取得する。
　加速度取得部３２０は、メガネ１００で検出された、メガネ１００の加速度を取得する。具体的には、加速度取得部３２０は、送受信部３８０で受信した情報に基づいて、メガネ１００で検出された加速度を取得する。より具体的には、加速度取得部３２０は、送受信部３８０から出力された受信データから加速度データを抽出することにより、メガネ１００で検出された加速度を取得する。
　角速度取得部３２２は、メガネ１００で検出された、メガネ１００の角速度を取得する。具体的には、角速度取得部３２２は、送受信部３８０で受信した情報に基づいて、メガネ１００で検出された角速度を取得する。より具体的には、角速度取得部３２２は、送受信部３８０から出力された受信データから角速度データを抽出することにより、メガネ１００で検出された角速度を取得する。
　解析部３５０は、眼電位取得部３１０により取得された眼電位を解析する。具体的には、解析部３５０は、眼電位取得部３１０により取得された連続的な眼電位の情報を用いて、複数のタイミングにおけるユーザ２０の状態を特定する。例えば、解析部３５０は、眼電位取得部３１０により取得された連続的な第１眼電位及び第２眼電位の情報を用いて、複数のタイミングにおけるユーザ２０の状態を特定する。ユーザ２０の状態としては、ユーザ２０の視線方向、瞬目状態等を例示できる。
　解析部３５０は、特定したユーザ２０の視線方向を解析して、ユーザ２０の状態を特定する。また、解析部３５０は、第１眼電位又は第２眼電位に基づいて、瞬目の有無を特定する。また、解析部３５０は、視線方向及びユーザ２０の瞬目状態を解析して、ユーザ２０の状態を特定する。例えば、解析部３５０は、ユーザ２０の状態として、ユーザ２０に疲れ等が生じているか否かを判断する。解析部３５０は、ユーザ２０に疲れ等が生じていると判断した場合、ＵＩ部３７０を通じてユーザ２０に警告を発する。
　また、解析部３５０は、加速度取得部３２０により取得された加速度及び角速度取得部３２２により取得された角速度の少なくとも一方の情報を解析してユーザ２０の動きを特定する。例えば、解析部３５０は、加速度及び角速度の少なくとも一方の情報に基づいて、ユーザ２０の体部のランニングフォームを特定する。格納部３６０は、上述した眼電位の情報の解析結果と、特定したユーザ２０の動きを示す情報とを対応づけて、格納部３６０に格納させる。ＵＩ部３７０は、格納部３６０に格納されているランニングフォームと視線方向とに基づくトータルのランニング姿勢を表す情報を、映像等によりユーザ２０に提示してよい。例えば、ＵＩ部３７０は、ランニングフォームを表すアイコンとともに、ユーザ２０の視線方向を示す矢印等のアイコンを、ユーザ２０に提示してよい。
　眼電位情報処理システム１０によれば、予め定められた条件を満たすユーザ２０の加速度が検出された場合に、メガネ１００における眼電位等の連続的な検出動作が開始される。そのため、例えば、ユーザ２０がランニング動作を開始したことに応じて、眼電位の連続的な検出動作を開始できる。このように、眼電位情報処理システム１０によれば、例えば眼電位を連続的に検出する必要がある動作をユーザ２０が開始したことに応じて、眼電位の連続的な検出動作を開始できる。そのため、眼電位を連続的に検出する必要がない動作をしている場合に、電源ユニット１９０の電力が無駄に消費されることを抑制できる。
　図４は、メガネ１００が有する眼電位検出用電極とユーザ２０との位置関係を概略的に示す。図４には、ユーザ２０がメガネ１００を装着している場合において、眼電位検出用電極がユーザ２０に接触する位置である接触位置が示されている。
　第１接触位置４５１は、第１電極１５１がユーザ２０に接触する位置を表す。第２接触位置４５２は、第２電極１５２がユーザ２０に接触する位置を表す。第３接触位置４５３は、第３電極１５３がユーザ２０に接触する位置を表す。
　第１接触位置４５１及び第２接触位置４５２は、右眼の眼球４０１の角膜４１１の中心及び左眼の眼球４０２の角膜４１２の中心より、下側に位置する。
　第１接触位置４５１及び第２接触位置４５２は、第１接触位置４５１と眼球４０１との間の距離と、第２接触位置４５２と眼球４０２との間の距離とが略等しい位置にあることが望ましい。また、第１接触位置４５１及び第２接触位置４５２は、互いに一定の距離以上離間していることが望ましい。
　第３接触位置４５３は、右眼の眼球４０１の角膜４１１の中心及び左眼の眼球４０２の角膜４１２の中心より、上側に位置する。第３接触位置４５３の位置は、第３接触位置４５３と第１接触位置４５１との間の距離と、第３接触位置４５３と第２接触位置４５２との間の距離とが略等しくなる位置にあってよい。第３接触位置４５３は、第３接触位置４５３と眼球４０１との間の距離が、眼球４０１と第１接触位置４５１との間の距離より離間し、かつ、第３接触位置４５３と眼球４０２との間の距離が、眼球４０２と第２接触位置４５２との間の距離より離間する位置にあってよい。
　眼球においては、角膜側が正に帯電しており、網膜側が負に帯電している。したがって、ユーザ２０の視線方向が上方に変化した場合、第３電極１５３を基準とした第１電極１５１の電位であるＶ１及び第３電極１５３を基準とした第２電極１５２の電位であるＶ２は、ともに低下する。ユーザ２０の視線方向が下方に変化した場合、Ｖ１及びＶ２の電位はともに上昇する。ユーザ２０の視線方向が右方に変化した場合、Ｖ１は低下し、Ｖ２は上昇する。ユーザ２０の視線方向が左方に変化した場合、Ｖ１は上昇し、Ｖ２は低下する。解析部３５０は、Ｖ１の変化及びＶ２の変化に基づいて、視線方向が変化した方向を特定する。
　なお、検出処理部２１０は、Ｖ１及びＶ２を検出することにより、右眼の眼電位及び左眼の眼電位を測定する。そのため、眼電位に加わるノイズの影響を軽減できる。
　なお、ユーザ２０の頭部を固定したとすると、ユーザ２０の視線方向は、眼球４０１の向き及び眼球４０２の向きによって定まる。ユーザ２０の視線方向は、ユーザ２０の頭部の向きによっても変わるから、ユーザ２０のグローバルな視線方向は、眼球４０１の向き、眼球４０１及びユーザ２０の頭部の向きによって定まる。本実施形態の説明において、眼球４０１の向き及び眼球４０１の向きによって定まる視線方向のことを、単に視線方向という場合がある。
　ここで、ユーザ２０の視線方向について説明する。眼球４０１がｘｚ面内で回転することで角膜４１１の位置が変化すると、角膜４１１の位置に応じてＶ１が変化する。解析部３５０は、Ｖ１の変化量に基づいて、眼球４０１の回転方向の角度の変化量である角度変化量を特定する。解析部３５０は、変化前の眼球４０１の角度と、特定した角度変化量とに基づいて、回転後の眼球４０１の角度を特定する。このように、解析部３５０は、Ｖ１の時間変化に基づいて眼球４０１の向きを特定する。
　解析部３５０は、ｘｙ面内の角度と同様に、他の面内の回転角度を特定する。例えば、解析部３５０は、眼球４０１の角度に関する処理と同様の処理により、眼球４０２の角度を特定する。具体的には、解析部３５０は、Ｖ２の時間変化に基づいて、眼球４０２の向きを特定する。
　解析部３５０は、眼球４０１の向き及び眼球４０２の向きに基づいて、ユーザ２０の視線方向を特定する。例えば、解析部３５０は、眼球４０１の向きのベクトルと、眼球４０２の向きのベクトルとを合成したベクトルが向く方向を、ユーザ２０の視線方向として特定してよい。
　なお、眼球４０１の向き及び眼球４０２の向きは、ユーザ２０の視線方向を表す指標の一例である。ユーザ２０の視線方向とは、眼球４０１の向きのベクトル及び眼球４０２の向きのベクトル等から定まる１つの視線方向であってよい。すなわち、解析部３５０は、Ｖ１及びＶ２から、当該１つの視線方向を特定してよい。この場合、解析部３５０は、眼球４０１の向き及び眼球４０２の向きを特定することなく、Ｖ１の変化量及びＶ２の変化量に基づく予め定められた演算を行うことで、１つの視線方向を特定してよい。例えば、解析部３５０は、Ｖ１の変化量及びＶ２の変化量と１つの視線方向の変化量とを対応づける予め定められた演算を行うことで、１つの視線方向を特定してよい。
　ここでは視線方向を特定する場合について説明したが、眼球４０１の向きは、角膜４１１の位置と言い換えることができる。また、眼球４０２の向きを、角膜４１２の位置と言い換えることができる。また、眼球４０１の向きの変化を、眼球４０１の眼球運動と言い換えることができる。また、眼球４０２の向きの変化を、眼球運動と言い換えることができる。すなわち、解析部３５０は、メガネ１００で検出された眼電位に基づき、ユーザ２０の眼球運動を特定してよい。
　図５は、制御部２２０がユーザ２０の動きを特定する場合に用いる情報の一例を模式的に示す。図５に示す情報は、格納部３６０に格納される。
　格納部３６０は、加速度の時間的な変化パターンＰと、動きとを対応づけて記憶している。具体的には、格納部３６０は、ｚ方向の加速度Ａｚの時間変化パターンＰｚ、ｙ方向の加速度Ａｙの時間変化パターンＰｙ及びｘ方向の加速度Ａｘの時間変化パターンＰｘと、ユーザの動きとを対応づけて格納している。ユーザの動きとしては、ランニング、ウォーキング、ゴルフスイング、野球のバットスイング、自動車の運転、自転車の運転等を含む。
　制御部２２０は、複数の動きのそれぞれについて、各動きに対応づけて記憶されたＡｚの時間変化パターン、Ａｙの時間変化パターン及び加速度Ａｘの時間変化パターンを、加速度検出部２７０で検出された加速度の時間変化パターンと比較する。例えば、制御部２２０は、加速度検出部２７０で検出されたＡｚの時間変化パターンを、格納部３６０が格納しているＡｚの時間変化パターンＰｚと比較して、一致度Ｍｚを算出する。また、制御部２２０は、加速度検出部２７０で検出されたＡｙの時間変化パターンを、格納部３６０が格納しているＡｙの時間変化パターンと比較して、一致度Ｍｙを算出する。また、制御部２２０は、加速度検出部２７０で検出されたＡｘの時間変化パターンを、格納部３６０が格納しているＡｘの時間変化パターンと比較して、一致度Ｍｘを算出する。
　制御部２２０は、一致度Ｍｚ、Ｍｙ及びＭｘのそれぞれが、Ａｚ、Ａｙ及びＡｘのそれぞれの方向について予め定められた一致度より高いか否かを判断する。制御部２２０は、時間変化パターンＰｚ、Ｐｙ及びＰｘとそれぞれ予め定められた一致度より高い一致度で一致する時間変化パターンを持つ加速度が検出された場合に、ユーザ２０が、対応する時間変化パターンＰｚ、Ｐｙ及びＰｘに対応しづけて格納部３６０に格納されている動きをしていると判断する。
　なお、時間変化パターンは、加速度の大きさのピーク値を示す情報を含んでよい。時間変化パターンは、加速度の正負の符号を示す情報を含んでよい。時間変化パターンは、加速度の継続時間を示す情報を含んでよい。例えば、時間変化パターンは、加速度の連続するゼロクロス点の間の時間を示す情報を含んでよい。時間変化パターンは、これらの特徴量以外にも、様々な特徴量を示す情報を含んでよい。
　なお、一致度の判断等に用いられる加速度の大きさとは、Ａｚ、Ａｙ及びＡｘのそれぞれの大きさを予め定められた大きさに規格化した値であってよい。加速度の大きさとは、Ａｚ、Ａｙ及びＡｘのそれぞれの間の相対値であってよい。また、加速度の継続時間の長さは、Ａｚ、Ａｙ及びＡｘのそれぞれについて予め定められた長さに規格化したものであってよい。加速度の継続時間の長さは、Ａｚ、Ａｙ及びＡｘのそれぞれの間の相対値であってよい。これにより、規格化された値や相対値を用いることで、加速度の大きさや継続時間に個人差がある場合でも、予め定められたアルゴリズムに従って一致度を判断できる場合がある。
　図６は、眼電位情報処理システム１０における各部の動作シーケンスを模式的に示す。図６では、加速度検出部２７０で検出されたＡｚ、Ａｙ及びＡｘの時間発展と、検出処理部２１０による眼電位及び角速度の検出動作の状態と、送受信部２８０からの眼電位及び角速度の情報が送信されるデータ送信動作の状態と、スマートフォン４０における眼電位及び動作解析処理の状態を示す。
　制御部２２０は、時刻ｔ０から時刻ｔ１までの予め定められた長さの期間にわたって、ランニングの動きに対応づけられた時間変化パターン１、時間変化パターン２及び時間変化パターン３に一致するＡｚ、Ａｙ及びＡｘの時間変化が検出されたと判断する。この場合、制御部２２０は、時刻ｔ１から、検出処理部２１０の動作を開始させて、Ｖ１及びＶ２の連続的な検出を開始させる。また、制御部２２０は、時刻ｔ１から、検出処理部２１０の動作を開始させて、角速度の連続的な検出を開始させる。また、制御部２２０は、送受信部２８０を制御して、時刻ｔ１から、眼電位の時系列データ及び角速度の時系列データのスマートフォン４０への送信を開始させる。また、制御部２２０は、送受信部２８０を制御して、ランニングの動きが検出された旨の信号を、スマートフォン４０へ送信させる。
　制御部２２０は、時刻ｔ１以降、ランニングの動きに対応づけられた時間変化パターン１、時間変化パターン２及び時間変化パターン３に一致するＡｚ、Ａｙ及びＡｘの時間変化が検出されている間、検出処理部２１０の動作を継続させて、Ｖ１及びＶ２の連続的な検出と、角速度の連続的な検出とを継続させる。また、制御部２２０は、送受信部２８０からスマートフォン４０への、眼電位の時系列データ及び角速度の時系列データの送信を継続させる。
　スマートフォン４０においては、ランニングの動きが検出された旨の信号をメガネ１００から受信したことに応じて、解析部３５０が、送受信部２８０から受信した眼電位の時系列データの解析と、加速度及び角速度の各時系列データに基づくユーザ２０の運動解析とを開始する。また、格納部３６０は、解析部３５０による眼電位の解析結果としての視線方向、瞬目、眼球運動等の情報と、解析部３５０による運動解析結果としてのユーザ２０の頭部の向きや顔の向き等と、時刻とを、対応づけて格納する。また、解析部３５０は、眼電位の時系列データの解析によってユーザ２０に疲れや痛み等が生じたと判断した場合、ＵＩ部３７０を通じてユーザ２０に警告を発する。
　制御部２２０は、ランニングの動きに対応づけられた時間変化パターン１、時間変化パターン２及び時間変化パターン３に一致するＡｚ、Ａｙ及びＡｘの時間変化が予め定められた長さの期間にわたって検出されなくなると、検出処理部２１０の動作を停止させて、Ｖ１及びＶ２の連続的な検出と、角速度の連続的な検出とを停止させる。また、制御部２２０は、送受信部２８０を制御して、眼電位の時系列データ及び角速度の時系列データのスマートフォン４０への送信を停止させる。また、制御部２２０は、送受信部２８０を制御して、ランニングの動きが検出されなくなった旨の信号を、スマートフォン４０へ送信させる。スマートフォン４０においては、ランニングの動きが検出されなくなった旨の信号をメガネ１００から受信したことに応じて、解析部３５０は、送受信部２８０から受信した眼電位の時系列データの解析と、加速度及び角速度の各時系列データに基づくユーザ２０の運動解析とを停止する。
　このように、ユーザ２０のランニング動作が開始したことに応じて、メガネ１００において眼電位及び角速度の検出処理と検出結果のデータ送信処理とが開始される。そして、ユーザ２０のランニング動作が終了したことに応じて、メガネ１００における眼電位及び角速度の検出処理と検出結果のデータ送信処理とが停止される。
　図７は、制御部２２０において実行される処理を表すフローチャートを示す。本フローチャートで示される処理は、処理部２００において検出処理部２１０及び送受信部２８０に対する加速度に基づく制御処理を行うタスクが立ち上がった場合に、開始される。
　ステップＳ７００において、制御部２２０は、加速度検出部２７０から出力される加速度の取得及び加速度の解析処理を開始する。
　ステップＳ７０２において、制御部２２０は、格納部３６０が格納している時間変化パターンＰの中に、加速度検出部２７０で検出された加速度の時間パターンと一致するパターンがあるか否かを判断する。時間変化パターンＰの中に、検出された加速度の時間変化パターンと一致するパターンがある場合、制御部２２０は、一致したパターンに対応づけられた動きをユーザ２０の動きとして特定して、ステップＳ７０４に処理を移行する。時間変化パターンＰの中に、検出された加速度の時間変化パターンと一致するパターンがない場合、ステップＳ７０８に処理を移行する。
　ステップＳ７０４において、制御部２２０は、ユーザ２０の動きの特定に応じて、検出処理部２１０の動作を開始させて、眼電位及び角速度の検出動作を開始させる。続いて、制御部２２０は、特定した動きが開始された旨の動き開始情報を送受信部２８０からスマートフォン４０へ送信させるとともに、眼電位及び角速度のデータ送信を送受信部２８０に開始させる（ステップＳ７０６）。
　続いて、ステップＳ７１２において、ステップＳ７０２で特定したパターンＰと一致する加速度の時間変化が継続しているか否かを判断する。パターンＰと一致する加速度の時間変化が継続している場合、ステップＳ７１２の判断を定期的に繰り返す。パターンＰと一致する加速度の時間変化が継続していないと判断した場合、ステップＳ７１４に処理を移行する。
　ステップＳ７１４において、制御部２２０は、検出処理部２１０の動作を停止して、眼電位及び角速度の検出動作を停止させる。続いて、制御部２２０は、ステップＳ７０４で特定した動きが行われなくなった旨の動き停止情報を送受信部２８０からスマートフォン４０へ送信させるとともに、送受信部２８０からの眼電位及び角速度のデータ送信を停止させる（ステップＳ７１６）。ステップＳ７１６の後、ステップＳ７０２に処理を移行する。
　ステップＳ７０８においては、制御部２２０は、検出処理部２１０及び送受信部２８０に対する加速度に基づく制御処理を終了するか否かを判断する。例えば、制御部２２０は、当該制御処理を終了することが通知された場合に、検出処理部２１０及び送受信部２８０に対する制御処理を終了する旨を判断する。当該制御処理を終了しないと判断した場合は、ステップＳ７０２に処理を移行する。当該制御処理を終了すると判断した場合は、本フローチャートの処理を終了する。
　図８は、スマートフォン４０において実行される処理を表すフローチャートを示す。本フローチャートで示される処理は、処理部３００において、ユーザの運動に関する解析処理を行うタスクが立ち上がった場合に、開始される。
　ステップＳ８０２において、処理部３００は、ユーザ２０が特定の動きを開始した旨の動き開始情報を送受信部２８０から受信したか否かを判断する。動き開始情報を受信していない場合、ステップＳ８０８に処理を移行する。動き開始情報を受信した場合、ステップＳ８０４に処理を移行する。
　ステップＳ８０４において、処理部３００は、送受信部３８０を制御して、メガネ１００から連続的に送信される眼電位の時系列データ、加速度の時系列データ及び角速度の時系列データの受信を開始させる。
　続いて、ステップＳ８１０において、処理部３００は、ユーザ２０が開始した動きに応じた解析プログラムを起動する。例えば、特定されたユーザ２０の動きがランニング動作である場合、スマートフォン４０にインストールされている複数の解析プログラムの中から、特定されたユーザ２０の動きに対応するランニング解析用プログラムを選択して、選択したランニング解析用プログラムを起動する。なお、ユーザ２０の動きは、動き開始情報に含めて送受信部２８０から通知されてよいし、送受信部３８０が受信した加速度の時系列データ及び角速度の時系列データの少なくとも一方に基づいて解析部３５０が解析することによって、特定されてよい。
　続いて、ステップＳ８２０において、解析部３５０は、解析対象の時間でＶ１又はＶ２が変化したか否かを判断する。ステップＳ８２０でＶ１又はＶ２が変化したと判断した場合は、ステップＳ８２２に処理を移行する。ステップＳ８２０でＶ１及びＶ２のいずれも変化していないと判断した場合は、ステップＳ８２４に処理を移行する。
　ステップＳ８２２において、Ｖ１の変化量及びＶ２の変化量に基づいて、ユーザ２０の眼に関する状態を判断する。具体的には、解析部３５０は、現在設定されている視線方向と、Ｖ１の変化量及びＶ２の変化量に基づいて、新たな視線方向を特定する。また、ステップＳ８２２において、解析部３５０は、Ｖ１の変化量又はＶ２の変化量に基づいて、瞬目の有無を判断する。
　続いて、ステップＳ８２４において、解析部３５０は、解析対象時間の加速度及び角速度に基づいて、ユーザ２０の動作及び状態を解析する。例えば、解析部３５０は、ユーザ２０の頭部の向き、顔部の向き等を特定する。また、解析部３５０は、ステップＳ８１０で起動されたプログラムに従って加速度及び角速度を処理することで、ユーザ２０の動作を解析する。例えば、ランニング解析プログラムを起動した場合、解析部３５０は、ユーザ２０の歩幅、ランニングスピード等の情報を特定してよい。
　また、ステップＳ８２４において、解析部３５０は、ステップＳ８２２で特定した現在のユーザ２０の視線方向、瞬目、眼球運動等に基づいて、ユーザ２０の状態を解析して、解析結果に応じた処理を行う。また、解析部３５０は、視線方向の変化の履歴や瞬目の頻度等に基づいて、ユーザ２０に疲れや痛み等が生じているか否かを判断して、ユーザ２０に疲れや痛み等が生じていると判断した場合、ＵＩ部３７０を通じてユーザ２０に警告を発する。なお、ステップＳ８２４において解析された視線方向、瞬目、眼球運動等の情報と、解析部３５０による運動解析結果としてのユーザ２０の頭部の向きや顔の向き等は、検出時刻に対応づけて格納部３６０に随時に格納される。
　ステップＳ８３０において、処理部３００は、ユーザ２０が特定の動きを停止した旨の動き停止情報を送受信部２８０から受信したか否かを判断する。動き停止情報を受信していない場合、解析対象の時間を進めて（ステップＳ８３２）、ステップＳ８２０に処理を移行する。動き停止情報を受信していない場合、ステップＳ８３４に処理を移行する。
　ステップＳ８３４において、処理部３００は、送受信部３８０を制御して、メガネ１００から連続的に送信される眼電位の時系列データ、加速度の時系列データ及び角速度の時系列データの受信を停止させる。続いて、ステップＳ８３６において、処理部３００は、ステップＳ１０において起動された解析プログラムによる動作を停止する。これにより、解析部３５０における眼電位等の解析処理が終了する。
　なお、ステップＳ８０８においては、処理部３００は、ユーザの運動に関する解析処理を終了するか否かを判断する。例えば、ユーザの運動に関する解析処理を行うタスクが終了することが通知された場合に、ユーザの運動に関する解析処理を終了すると判断する。ステップＳ８０８でユーザの運動に関する解析処理を終了しないと判断した場合は、ステップＳ８０２に処理を移行する。ユーザの運動に関する解析処理を終了すると判断した場合は、本フローチャートの処理を終了する。
　なお、ステップＳ８２４における解析内容は、ステップＳ８１０で起動されたプログラムによって異なる。例えば、ユーザ２０がゴルフスイングの動作を行うことに応じてゴルフスイング用プログラムが起動した場合、解析部３５０は、ユーザ２０の頭部の向き及び視線方向を特定するとともに、頭部の向き及び視線方向から、ユーザ２０のグローバルな視線方向を特定する処理を行ってよい。また、ユーザ２０が自動車を運転する動作を行うことに応じて自動車運転用解析プログラムが起動した場合、解析部３５０は、ユーザ２０に眠気や疲れが生じているか否か、脇見運転をしているか否か、注意力が低下しているか否か等を解析する処理を行ってよい。
　以上に説明した眼電位情報処理システム１０においては、Ｖ１及びＶ２を演算する処理は、検出処理部２１０が行う。これに代えて、スマートフォン４０の解析部３５０が、Ｖ１及びＶ２を演算する処理を行ってよい。この場合、処理部２００は、第１眼電位、第２眼電位及び第３眼電位のそれぞれの時系列データを生成し、送受信部２８０が第１眼電位、第２眼電位及び第３眼電位のそれぞれの時系列データをスマートフォン４０に送信してよい。
　また、以上に説明した眼電位情報処理システム１０では、解析部３５０は、Ｖ１及びＶ２を用いて、ユーザ２０の視線方向等のユーザ２０の状態を特定する。他にも、解析部３５０は、Ｖ１及びＶ２の任意の線形結合を用いて、ユーザ２０の状態を特定してよい。例えば、解析部３５０は、Ｖ１＋Ｖ２と、Ｖ１－Ｖ２とを用いて、ユーザ２０の状態を特定してよい。また、解析部３５０は、Ｖ１の時間微分と、Ｖ２の時間微分とを用いて、ユーザ２０の状態を特定してもよい。また、解析部３５０は、視線方向を特定するための眼電位として、以上に説明したＶ１及びＶ２に代えて、接地電極１５４等の電位等の予め定められた基準電位を基準とした第１眼電位と、接地電極１５４の電位を基準とした第２眼電位とを適用してよい。
　なお、処理部２００が、メガネ１００で検出されたユーザ２０の眼電位を取得する眼電位取得部としての機能と、加速度を取得する加速度取得部としての機能と、角速度を取得する角速度取得部としての機能とを有してよい。また、処理部２００が、解析部３５０の機能を更に有してよい。
　また、加速度を検出する検出部の機能は、スマートフォン４０が有してよい。また、角速度を検出する検出部の機能は、スマートフォン４０が有してよい。この場合、制御部２２０は、送受信部３８０及び送受信部２８０を通じて、スマートフォン４０で検出された加速度を取得してよい。そして、制御部２２０は、取得した加速度が予め定められた条件を満たすか否かを判断して、取得した加速度が予め定められた条件を満たす場合に、検出処理部２１０等による眼電位の連続的な検出を開始させてよい。
　なお、制御部２２０の機能は、処理部３００が有してよい。この場合、加速度を検出する機能は、スマートフォン４０が有してよいし、メガネ１００が有してよい。メガネ１００が加速度を検出する機能を有する場合、処理部３００は、メガネ１００で検出された加速度の情報を、送受信部２８０及び送受信部３８０を通じて取得してよい。そして、処理部３００は、取得した加速度が予め定められた条件を満たすか否かを判断して、取得した加速度が予め定められた条件を満たす場合に、メガネ１００に眼電位の連続的な検出を開始させてよい。例えば、処理部３００は、送受信部３８０及び送受信部２８０を通じて、メガネ１００に眼電位の検出を開始するよう指示してよい。
　なお、以上においては、眼電位情報処理システム１０の一例として、制御部２２０が、ユーザ２０の加速度を取得して、取得した加速度が予め定められた条件を満たすか否かを判断して、取得した加速度が予め定められた条件を満たす場合に、眼電位及び角速度の連続的な検出を開始させる形態を説明した。しかし、制御部２２０は、取得した加速度が予め定められた条件を満たす場合に、眼電位及び角速度の少なくとも一方の連続的な検出を開始させてよい。また、制御部２２０は、取得した角速度が予め定められた条件を満たす場合に、眼電位及び加速度の少なくとも一方の連続的な検出を開始させてよい。また、眼電位、加速度及び角速度の組合せは、これらの組合せに限られず、任意の組合せを適用できる。例えば、制御部２２０は、取得した眼電位が予め定められた条件を満たす場合に、加速度及び角速度の少なくとも一方の連続的な検出を開始させてよい。
　上記の説明において、スマートフォン４０において処理部３００、送受信部３８０の動作として説明した処理は、処理部３００、送受信部３８０等のプロセッサがプログラムに従ってスマートフォン４０が有する各ハードウェアを制御することにより実現される。このように、本実施形態のスマートフォン４０に関連して説明した、スマートフォン４０の少なくとも一部の処理は、プロセッサがプログラムに従って動作して各ハードウェアを制御することにより、プロセッサ、メモリ等を含む各ハードウェアとプログラムとが協働して動作することにより実現することができる。すなわち、当該処理を、いわゆるコンピュータによって実現することができる。コンピュータは、上述した処理の実行を制御するプログラムをロードして、読み込んだプログラムに従って動作して、当該処理を実行してよい。コンピュータは、当該プログラムを記憶しているコンピュータ読取可能な記録媒体から当該プログラムをロードすることができる。同様に、メガネ１００において処理部２００の動作として説明した処理は、いわゆるコンピュータによって実現することができる。
　なお、スマートフォン４０は、メガネ１００で検出された眼電位の情報を処理する眼電位情報処理装置の一例である。眼電位情報処理装置としては、通信機能を有する情報処理装置であってよい。眼電位情報処理装置は、ユーザ２０が所持する携帯電話機、携帯情報端末、携帯音楽プレーヤ等の携帯型の電子機器であってよい。
　なお、アイウエアの一例としてのメガネ１００は、ユーザ２０の目の屈折異常を補正したり、ユーザ２０の目を保護したり、着飾ったりすること等を目的として利用され得る。しかし、アイウエアはメガネに限定されない。アイウエアは、サングラス、ゴーグル、ヘッドマウントディスプレイなどの顔面装着具または頭部装着具であってよい。アイウエアは、顔面装着具または頭部装着具のフレームまたは当該フレームの一部であってもよい。アイウエアは、ユーザに装着され得る装着具の一例である。装着具は、アイウエア等の眼に関連する装着具に限られない。装着具としては、帽子、ヘルメット、ヘッドフォン、補聴器等の様々な部材を適用できる。
　以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、請求の範囲の記載から明らかである。
　請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
１０　眼電位情報処理システム
１００　メガネ
２０　ユーザ
４０　スマートフォン
１１０　レンズ
１２０　フレーム
１２２　リム
１２４　ブリッジ
１２６　ヨロイ
１３０　テンプル
１３２　モダン
１４１　右ノーズパッド
１４２　左ノーズパッド
１５１　第１電極
１５２　第２電極
１５３　第３電極
１５４　接地電極
１６０　電線部
１８０　処理ユニット
１９０　電源ユニット
２００　処理部
２１０　検出処理部
２２０　制御部
２６０　角速度検出部
２７０　加速度検出部
２８０　送受信部
２９０　基板部
３００　処理部
３１０　眼電位取得部
３２０　加速度取得部
３２２　角速度取得部
３５０　解析部
３６０　格納部
３７０　ＵＩ部
３８０　送受信部
３９０　電源部
４０１、４０２　眼球
４１１、４１２　角膜
４５１　第１接触位置
４５２　第２接触位置
４５３　第３接触位置

Claims (12)

  1. 　ユーザの加速度又は角速度を取得して、取得した前記加速度又は前記角速度が予め定められた条件を満たす場合に、前記ユーザの眼電位を連続的に検出する眼電位検出部による前記眼電位の検出を開始させる制御部
    を備える検出制御装置。
  2. 　前記眼電位検出部は、前記ユーザが装着する装着具に設けられる
    請求項１に記載の検出制御装置。
  3. 　前記検出制御装置は、前記装着具に設けられる
    請求項２に記載の検出制御装置。
  4. 　前記装着具は、前記ユーザが装着するアイウエアである
    請求項２又は３に記載の検出制御装置。
  5. 　前記装着具に設けられ、前記装着具の加速度又は角速度を検出する検出部
    をさらに備え、
    　前記制御部は、前記検出部が検出した前記加速度又は前記角速度を取得する
    請求項３または４に記載の検出制御装置。
  6. 　前記制御部は、前記眼電位検出部による前記眼電位の検出が連続的に行われていない場合において、取得した前記加速度又は前記角速度が前記予め定められた条件を満たす場合に、前記眼電位検出部による前記眼電位の連続的な検出を開始させ、取得した前記加速度又は前記角速度が前記予め定められた条件を満たさない場合に、前記眼電位検出部による前記眼電位の連続的な検出を開始させずに、前記眼電位検出部による前記眼電位の検出が連続的に行われていない状態を維持させる
    請求項１から５のいずれか一項に記載の検出制御装置。
  7. 　前記制御部は、取得した前記加速度又は前記角速度の時間変化パターンが、予め定められた時間変化パターンに適合していると判断した場合に、取得した前記加速度又は前記角速度が前記予め定められた条件を満たすと判断する
    請求項１から６のいずれか一項に記載の検出制御装置。
  8. 　前記眼電位検出部により連続的に検出された前記眼電位の情報を、外部の眼電位情報処理装置に送信する送信部
    をさらに備え、
    　前記制御部は、取得した前記加速度又は前記角速度が前記予め定められた条件を満たす場合に、前記送信部に、前記眼電位検出部により連続的に検出された前記眼電位の情報の送信を開始させる
    をさらに備える請求項１から７のいずれか一項に記載の検出制御装置。
  9. 　請求項１から８のいずれか一項に記載の検出制御装置を備え、前記ユーザが装着する装着具。
  10. 　請求項１から８のいずれか一項に記載の検出制御装置と、
    　前記眼電位検出部により連続的に検出された前記眼電位の情報を受信して、受信した前記眼電位の情報を処理する眼電位情報処理装置と
    を備え、
    　前記検出制御装置は、前記ユーザに装着される
    眼電位情報処理システム。
  11. 　前記眼電位情報処理装置は、
    　前記受信した前記眼電位の情報を解析する解析部と、
    　前記解析部による前記眼電位の情報の解析結果と、前記ユーザの加速度又は角速度の情報とを対応づけて格納する格納部と
    を有する請求項１０に記載の眼電位情報処理システム。
  12. 　コンピュータを、
    　ユーザの加速度又は角速度を取得して、取得した前記加速度又は前記角速度が予め定められた条件を満たす場合に、前記ユーザの眼電位を連続的に検出する眼電位検出部による前記眼電位の検出を開始させる制御部
    として機能させるためのプログラム。
PCT/JP2015/061382 2014-04-14 2015-04-13 検出制御装置、装着具、眼電位情報処理システム、及びプログラム WO2015159861A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014082747A JP2015202183A (ja) 2014-04-14 2014-04-14 検出制御装置、装着具、眼電位情報処理システム、及びプログラム
JP2014-082747 2014-04-14

Publications (1)

Publication Number Publication Date
WO2015159861A1 true WO2015159861A1 (ja) 2015-10-22

Family

ID=54324067

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/061382 WO2015159861A1 (ja) 2014-04-14 2015-04-13 検出制御装置、装着具、眼電位情報処理システム、及びプログラム

Country Status (2)

Country Link
JP (1) JP2015202183A (ja)
WO (1) WO2015159861A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017163521A1 (ja) * 2016-03-23 2017-09-28 日本電気株式会社 情報処理装置、その制御方法ならびにその制御プログラム
WO2017163510A1 (ja) * 2016-03-23 2017-09-28 日本電気株式会社 情報処理装置、その制御方法ならびにその制御プログラム
JP2017185076A (ja) * 2016-04-07 2017-10-12 株式会社ジンズ 情報処理方法、情報処理装置及びプログラム
JP6706958B2 (ja) * 2016-04-07 2020-06-10 株式会社ジンズホールディングス 情報処理方法、情報処理装置及びプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008246176A (ja) * 2007-03-30 2008-10-16 Matsushita Electric Works Ltd 体動計測機器
WO2012126809A1 (en) * 2011-03-18 2012-09-27 Sensomotoric Instruments Gmbh Optical measuring device and system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008246176A (ja) * 2007-03-30 2008-10-16 Matsushita Electric Works Ltd 体動計測機器
WO2012126809A1 (en) * 2011-03-18 2012-09-27 Sensomotoric Instruments Gmbh Optical measuring device and system

Also Published As

Publication number Publication date
JP2015202183A (ja) 2015-11-16

Similar Documents

Publication Publication Date Title
US20160070122A1 (en) Computerized replacement temple for standard eyewear
US20170255029A1 (en) Systems and methods for charging eyewear
WO2015159861A1 (ja) 検出制御装置、装着具、眼電位情報処理システム、及びプログラム
CN104484570B (zh) 一种电子终端及信息处理方法
US20180064371A1 (en) Posture detection apparatus, glasses-type electronic device, posture detection method, and program
WO2015159851A1 (ja) 検出ユニット、アイウエア、及び眼電位検出システム
CN110366388B (zh) 信息处理方法、信息处理装置以及计算机可读存储介质
WO2015159853A1 (ja) 眼電位情報処理装置、眼電位情報処理システム、装着具及びプログラム
JP2015213734A (ja) プログラム、情報処理装置、及びアイウエア
US20240134449A1 (en) Eye detection methods and devices
WO2015159850A1 (ja) 眼電位情報処理装置、眼電位情報処理システム、装着具及びプログラム
JPWO2016194772A1 (ja) 装着判定装置、眼鏡型電子機器、装着判定方法およびプログラム
JP6932007B2 (ja) 情報処理方法、情報処理装置及びプログラム
WO2016072395A1 (ja) プログラム、情報処理装置、及びアイウエア
JPWO2017077601A1 (ja) 情報処理方法、情報処理装置、プログラム及びアイウエア
WO2016076268A1 (ja) プログラム、情報処理装置、及びアイウエア
JP2015202198A (ja) アイウエア
WO2017064800A1 (ja) プログラム、情報処理装置、及びアイウエア
US20180344196A1 (en) Information processing method, information processing device, program, and eyewear
JP2019034144A (ja) ウェアラブルデバイス対応眼電位データ処理装置、それを備えた眼鏡型ウェアラブルデバイス、及びウェアラブルデバイス対応眼電位データ処理方法
JP2015203957A (ja) 情報処理装置、情報処理システム、及びプログラム
WO2017150148A1 (ja) 瞬目検出装置、眼鏡型電子機器、瞬目検出方法およびプログラム
JP6594953B2 (ja) 視線移動検出方法、プログラム、情報処理装置及びアイウエア
US20240211045A1 (en) Techniques For Selecting Skin-Electrode Interface Modulation Modes Based On Sensitivity Requirements And Providing Adjustments At The Skin-Electrode Interface To Achieve Desired Sensitivity Needs And Systems And Methods Of Use Thereof
JP5919323B2 (ja) 瞬き検出装置及び眼鏡型電子機器

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15780442

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15780442

Country of ref document: EP

Kind code of ref document: A1