WO2015159850A1 - 眼電位情報処理装置、眼電位情報処理システム、装着具及びプログラム - Google Patents

眼電位情報処理装置、眼電位情報処理システム、装着具及びプログラム Download PDF

Info

Publication number
WO2015159850A1
WO2015159850A1 PCT/JP2015/061368 JP2015061368W WO2015159850A1 WO 2015159850 A1 WO2015159850 A1 WO 2015159850A1 JP 2015061368 W JP2015061368 W JP 2015061368W WO 2015159850 A1 WO2015159850 A1 WO 2015159850A1
Authority
WO
WIPO (PCT)
Prior art keywords
electrooculogram
unit
user
acceleration
correction
Prior art date
Application number
PCT/JP2015/061368
Other languages
English (en)
French (fr)
Inventor
一鷹 井上
晋 一戸
淳子 中嶋
Original Assignee
株式会社ジェイアイエヌ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ジェイアイエヌ filed Critical 株式会社ジェイアイエヌ
Publication of WO2015159850A1 publication Critical patent/WO2015159850A1/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802Sensor mounted on worn items
    • A61B5/6803Head-worn items, e.g. helmets, masks, headphones or goggles
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1121Determining geometric values, e.g. centre of rotation or angular range of movement

Definitions

  • the present invention relates to an electrooculogram information processing apparatus, an electrooculogram information processing system, a wearing tool, and a program.
  • Patent Document 1 A sleep state detection device that detects a sleep state based on an eyeball potential is known (see, for example, Patent Document 1).
  • a dozing determination device that determines a dozing state of a subject based on eye movement is known (see Patent Document 2).
  • an electroencephalogram measurement system including an impedance measurement unit that measures the contact impedance of an electrode used for electroencephalogram measurement (see Patent Document 3).
  • Patent Document 1 JP 2004-187916 A Patent Document 2 JP 2011-015913 A Patent Document 3 JP 2012-095905 A
  • the detection value of the user's electrooculogram may be affected by the eyewear or user acceleration. For this reason, for example, the electrooculogram detected at the timing when a large acceleration occurs may not be analyzed appropriately.
  • the electrooculogram information processing apparatus includes an electrooculogram acquisition unit that acquires the electrooculogram of the user detected by the electrooculogram detection unit attached to the user, and the electrooculogram acquired by the electrooculogram acquisition unit.
  • An electrooculogram correction unit that performs correction based on the user's acceleration or angular velocity, and an analysis unit that analyzes the electrooculogram corrected by the electrooculogram correction unit.
  • an electrooculogram information processing system includes the electrooculogram information processing apparatus and a wearing tool worn by a user, and the wearing tool is detected by an electrooculogram detection unit and an electrooculogram detection unit. And a transmission unit that transmits information indicating the electrooculogram to the electrooculogram information processing apparatus.
  • the wearing tool includes an electrooculogram detection unit that detects the electrooculogram of the wearer wearing the wearer, and the electrooculogram detected by the electrooculogram detection unit based on the acceleration or angular velocity of the wearer.
  • the electrooculogram correction unit that corrects based on the electrooculogram and the analysis unit that analyzes the electrooculogram corrected by the electrooculogram correction unit.
  • the program causes the computer to acquire the electrooculogram acquisition unit that acquires the electrooculogram of the user detected by the electrooculogram detection unit attached to the user, and the electrooculogram acquired by the electrooculogram acquisition unit to the user. And an electrooculogram correction unit that performs correction based on the acceleration or angular velocity of the eye, and an analysis unit that analyzes the electrooculogram corrected by the electrooculogram correction unit.
  • An example of the utilization form of electrooculogram information processing system 10 in one embodiment is shown roughly.
  • the glasses 100 and the smartphone 40 are schematically shown.
  • the functional block configuration of the smart phone 40 and the functional block configuration of the processing unit 180 are schematically shown.
  • the positional relationship between the electrooculogram detection electrode of the glasses 100 and the user 20 is schematically shown.
  • An example of the correction value stored in the storage unit 360 is shown in a table format.
  • An example of temporal development of electrooculogram and acceleration is shown schematically.
  • the flowchart showing the process performed in the smart phone 40 is shown.
  • FIG. 1 schematically shows an example of a usage pattern of an electrooculogram information processing system 10 according to an embodiment.
  • the electrooculogram information processing system 10 includes glasses 100 and a smartphone 40.
  • User 20 is a user of each of glasses 100 and smartphone 40.
  • the user 20 is a wearer who wears the glasses 100.
  • the smartphone 40 is an example of an electrooculogram information processing device.
  • the glasses 100 are worn on the face of the user 20.
  • the glasses 100 have a function of communicating with the smartphone 40.
  • the glasses 100 detect the electrooculogram of the user 20 via the electrode that contacts the user 20, and transmit the detected electrooculogram information to the smartphone 40. Further, the glasses 100 detect the acceleration of the glasses 100 and transmit the detected acceleration information to the smartphone 40. Further, the glasses 100 detect the angular velocity of the glasses 100 and transmit information on the detected angular velocity to the smartphone 40.
  • the smartphone 40 analyzes the electrooculogram received from the glasses 100.
  • the smartphone 40 analyzes the electrooculogram received from the glasses 100 together with at least one of acceleration and angular velocity received from the glasses 100.
  • the smartphone 40 provides information to the user 20 based on analysis results such as electrooculogram, acceleration, and angular velocity.
  • the smartphone 40 identifies the state of the user 20 by analyzing the electrooculogram, acceleration, angular velocity, and the like. Specifically, the smartphone 40 specifies the line-of-sight direction, the blink state, and the like of the user 20. For example, the smartphone 40 determines the state of the user 20 based on the line-of-sight direction and the blink state. Specifically, the smartphone 40 determines whether the user 20 is tired based on the line-of-sight direction and the blink state. The smartphone 40 issues a warning to the user 20 when determining that the user 20 is tired. For example, the smartphone 40 generates a warning sound when it is determined that the user 20 is tired.
  • the smartphone 40 specifies the line-of-sight direction of the user 20, the blinking state, and the like based on the amount of change in electrooculogram.
  • the smartphone 40 corrects the electrooculogram larger as the acceleration or angular velocity detected by the glasses 100 is larger.
  • the smart phone 40 specifies a gaze direction, a blink state, etc. using the corrected electrooculogram.
  • the contact state between the electrooculogram detection electrode and the user 20 may deteriorate.
  • the contact state between the electrooculogram detection electrode and the user 20 may deteriorate.
  • the electrooculogram information processing system 10 the electrooculogram is corrected using a correction value for correcting the electrooculogram considering the influence of the contact state, for example, based on the acceleration or the angular degree. Then, the state of the user 20 is specified using the corrected electrooculogram. Therefore, there are cases where the state of the user 20 can be specified more accurately.
  • various directions may be specified using the coordinate axes of the orthogonal coordinate system shown in FIG.
  • the z-axis plus direction is determined by the user 20 in the direction along the front.
  • the z-axis plus direction is an acceleration in a direction from the face of the user 20 toward the front portion of the glasses 100 of the glasses 100 attached to the face of the user 20.
  • the y-axis minus direction is defined as the vertical direction.
  • the x-axis, y-axis, and z-axis are right-handed orthogonal coordinate systems.
  • the z-axis plus direction may be referred to as the front direction.
  • the y-axis plus direction may be referred to as upward or the like.
  • the y-axis minus direction may be referred to as downward or the like.
  • the x-axis plus direction may be referred to as the left side or the like.
  • the x-axis minus direction may be referred to as the right side or the like.
  • FIG. 2 schematically shows the glasses 100 and the smartphone 40.
  • the glasses 100 include a lens 110 and a frame 120. Glasses 100 and frame 120 are examples of eyewear.
  • the frame 120 supports a pair of lenses 110.
  • the frame 120 includes a rim 122, a bridge 124, an alloy 126, a temple 130, a modern 132, a right nose pad 141, a left nose pad 142, a first electrode 151, a second electrode 152, a third electrode 153, a ground electrode 154, and a processing unit. 180 and a power supply unit 190.
  • the lens 110, the rim 122, the armor 126, the temple 130, and the modern 132 are each provided in a pair of left and right.
  • the rim 122, the bridge 124, the right nose pad 141, the left nose pad 142, and the armor 126 are referred to as a front portion of the glasses 100.
  • the rim 122 holds the lens 110.
  • the armor 126 is provided outside the rim 122 and holds the temple 130 movably.
  • the temple 130 presses the upper part of the user's 20 ear and pinches the pressed part.
  • the modern 132 is provided at the tip of the temple 130. The modern 132 contacts the upper part of the ear of the user 20.
  • the first electrode 151 is an example of an electrooculogram detection unit that detects electrooculogram.
  • the first electrode 151 is provided on the surface of the right nose pad 141.
  • the first electrode 151 is provided on the surface of the right nose pad 141 that faces the face of the user 20 when the user 20 wears the glasses 100.
  • the first electrode 151 contacts the skin of the user 20.
  • the first electrode 151 contacts the right side of the user 20 nose.
  • the first electrode 151 mainly detects the electrooculogram of the right eye of the user 20.
  • the second electrode 152 is an example of an electrooculogram detection unit that detects electrooculogram.
  • the second electrode 152 is provided on the surface of the left nose pad 142.
  • the second electrode 152 is provided on the surface of the left nose pad 142 that faces the face of the user 20 when the user 20 wears the glasses 100.
  • the second electrode 152 contacts the skin of the user 20.
  • the second electrode 152 contacts the left side of the user 20 nose.
  • the second electrode 152 mainly detects the electrooculogram of the left eye of the user 20.
  • the third electrode 153 is an example of an electrooculogram detection unit that detects electrooculogram.
  • the third electrode 153 is provided on the surface of the bridge 124.
  • the third electrode 153 is provided on the surface of the bridge 124 that faces the face of the user 20 when the user 20 wears the glasses 100.
  • the third electrode 153 contacts the skin of the user 20.
  • the electrooculogram detected by the third electrode 153 is used as a measurement reference for measuring the electrooculogram of the right eye and the electrooculogram of the left eye of the user 20.
  • the ground electrode 154 is provided on the surface of the modern 132.
  • the ground electrode 154 is provided on the surface of the modern 132 on the right side, for example.
  • the ground electrode 154 is provided on the surface of the modern 132 that faces the face of the user 20 when the user 20 wears the glasses 100.
  • the ground electrode 154 contacts the user 20's skin.
  • the ground electrode 154 contacts the upper part of the right ear of the user 20.
  • the potential of the ground electrode 154 provides the ground potential of the electric circuit included in the glasses 100.
  • the processing unit 180 is provided inside the left temple 130.
  • the electrooculogram of the user 20 detected by the first electrode 151, the second electrode 152, and the third electrode 153 is input to the processing unit 180.
  • the processing unit 180 processes the input electrooculogram and transmits the processed potential to the smartphone 40.
  • the power supply unit 190 is provided inside the temple 130 on the left side.
  • the power supply unit 190 includes a battery such as a secondary battery.
  • the power supply unit 190 supplies the electrical energy stored in the battery included in the power supply unit 190 to the processing unit 180.
  • the power supply unit 190 generates DC power based on the potential of the ground electrode 154 from the electrical energy stored in the battery.
  • the power supply unit 190 supplies DC power generated from the electrical energy stored in the battery to the processing unit 180.
  • the power supply unit 190 is provided inside the temple 130 on the side where the ground electrode 154 is provided.
  • the potential of the ground electrode 154 provides a negative potential of DC power supplied from the power supply unit 190 to the processing unit 180.
  • the right modern 132 has a charging port for charging the power supply unit 190.
  • the battery included in the power supply unit 190 is charged through a charging port provided in the modern 132 on the right side.
  • FIG. 3 schematically shows a functional block configuration of the smartphone 40 and a functional block configuration of the processing unit 180.
  • the processing unit 180 includes a processing unit 200, an acceleration detection unit 270, a transmission / reception unit 280, and a substrate unit 290.
  • the smartphone 40 includes a processing unit 300, a storage unit 360, a UI unit 370, a transmission / reception unit 380, and a power supply unit 390.
  • the processing unit 200 is realized by a processor such as an MPU.
  • Each unit of the smartphone 40 is mainly controlled by the processing unit 300.
  • the transmission / reception unit 280 has a function of performing wireless communication with the smartphone 40.
  • the transmission / reception unit 280 is realized by a communication processor.
  • the transmission / reception unit 280 is realized by a communication processor having a short-range wireless communication function such as Bluetooth (registered trademark).
  • the electric wire part 160 is provided inside the frame 120 of the glasses 100.
  • the electric wire part 160 electrically connects the first electrode 151, the second electrode 152, the third electrode 153, the ground electrode 154, the power supply unit 190, and the processing unit 180.
  • the electric wire unit 160 electrically connects the first electrode 151 and the processing unit 180, outputs an electrooculogram detected by the first electrode 151 to the processing unit 180, and the second electrode 152 and the processing unit 180.
  • the third electrode 153 and the processing unit 180 are electrically connected to the third electrode 153 by electrically connecting the electric wire that outputs the electrooculogram detected by the second electrode 152 to the processing unit 180.
  • the processing unit 200 acquires the first electrooculogram that is the electrooculogram detected by the first electrode 151, and processes the acquired first electrooculogram. In addition, the processing unit 200 acquires a second electrooculogram that is an electrooculogram detected by the second electrode 152 and processes the acquired second electrooculogram. In addition, the processing unit 200 acquires a third ocular potential that is an ocular potential detected by the third electrode 153, and processes the acquired third ocular potential.
  • the processing unit 200 processes the first ocular potential based on the third ocular potential.
  • the first electrooculogram based on the third electrooculogram is referred to as V1.
  • the processing unit 200 samples V1 at a predetermined cycle and generates time series data of V1.
  • the processing unit 200 outputs the generated time series data of V1 to the transmission / reception unit 280.
  • the processing unit 200 processes the second electrooculogram based on the third electrooculogram.
  • the second ocular potential based on the third ocular potential is referred to as V2.
  • the processing unit 200 samples V2 at a predetermined cycle and generates time-series data of V2.
  • the processing unit 200 outputs the generated V2 time-series data to the transmission / reception unit 280.
  • the acceleration detection unit 270 detects the acceleration of the glasses 100.
  • the acceleration detection unit 270 is, for example, a triaxial acceleration sensor.
  • the acceleration detection unit 270 detects the acceleration of the center of gravity of the glasses 100.
  • the acceleration of the center of gravity of the glasses 100 corresponds to the acceleration of the head of the user 20.
  • the acceleration detected by the acceleration detection unit 270 is input to the processing unit 200.
  • the angular velocity detection unit 260 detects the angular velocity of the glasses 100.
  • the angular velocity detection unit 260 is, for example, a triaxial angular velocity sensor.
  • the processing unit 200 receives the angular velocity detected by the angular velocity detection unit 260.
  • the processing unit 200 acquires the acceleration detected by the acceleration detection unit 270 and processes the acquired acceleration.
  • the processing unit 200 samples the acceleration at a predetermined cycle, and generates time-series acceleration data.
  • the processing unit 200 outputs the generated time series data of acceleration to the transmission / reception unit 280.
  • the acceleration data output to the transmission / reception unit 280 includes time-series data of acceleration in each direction of the three axes.
  • the processing unit 200 acquires the angular velocity detected by the angular velocity detection unit 260 and processes the acquired angular velocity.
  • the processing unit 200 samples the angular velocity at a predetermined cycle, and generates time-series angular velocity data.
  • the processing unit 200 outputs the generated time series data of the angular velocity to the transmission / reception unit 280.
  • the angular velocity data output to the transmission / reception unit 280 includes time-series data of angular velocities in the directions of the three axes.
  • the transmission / reception unit 280 transmits the V1 time series data, the V2 time series data, the acceleration time series data, and the angular velocity time series data acquired from the processing unit 200 to the transmission / reception unit 380 by radio signals.
  • the power supply unit 390 includes a battery such as a secondary battery.
  • the power supply unit 390 supplies power to each unit of the smartphone 40 including the processing unit 300, the transmission / reception unit 380, and the UI unit 370.
  • the UI unit 370 provides a user interface (UI) with the user 20.
  • UI user interface
  • the UI unit 370 includes a touch panel, operation keys, a sound generation device, and the like.
  • the storage unit 360 is realized by a storage medium. Examples of the recording medium include a volatile storage medium and a nonvolatile storage medium.
  • the storage unit 360 stores various parameters necessary for the operation of the processing unit 200.
  • the storage unit 360 stores various information generated by the processing unit 200.
  • the transmission / reception unit 380 has a function of performing wireless communication with the glasses 100.
  • the transmission / reception unit 380 is realized by a communication processor having a short-range wireless communication function such as Bluetooth (registered trademark).
  • the transmission / reception unit 380 and the transmission / reception unit 280 perform wireless communication in accordance with the Bluetooth (registered trademark) standard.
  • communication between the transmission / reception unit 280 and the transmission / reception unit 380 is not limited to Bluetooth (registered trademark) communication.
  • Communication between the transmission / reception unit 280 and the transmission / reception unit 380 can be realized by various types of wireless communication including, for example, a wireless LAN.
  • Communication between the transmission / reception unit 280 and the transmission / reception unit 380 can be realized by various types of wired communication including USB.
  • the transmission / reception unit 380 receives information indicating the electrooculogram transmitted from the glasses 100. In addition, the transmission / reception unit 380 receives information indicating the acceleration transmitted from the glasses 100. In addition, the transmission / reception unit 380 receives information indicating the angular velocity transmitted from the glasses 100. Specifically, the transmission / reception unit 380 receives the radio signal received from the transmission / reception unit 280, demodulates the received radio signal, and performs time series data of V1, time series data of V2, time series data of acceleration, and Receive data including time-series data of angular velocity is generated. The transmission / reception unit 380 outputs the generated reception data to the processing unit 300.
  • the processing unit 300 includes an electrooculogram acquisition unit 310, an acceleration acquisition unit 320, an angular velocity acquisition unit 322, and an analysis unit 350.
  • the electrooculogram acquisition unit 310 acquires the electrooculogram of the user 20 detected by the electrooculogram detection unit attached to the user 20. Specifically, the electrooculogram acquisition unit 310 acquires the electrooculogram of the user 20 detected by the first electrode 151, the second electrode 152, and the third electrode 153 provided in the glasses 100 worn by the user 20. To do. More specifically, the electrooculogram acquisition unit 310 acquires the electrooculogram detected by the glasses 100 by extracting the time series data of V1 and the time series data of V2 from the reception data output from the transmission / reception unit 380. To do.
  • the acceleration acquisition unit 320 acquires the acceleration of the glasses 100 detected by the glasses 100. Specifically, the acceleration acquisition unit 320 acquires the acceleration detected by the glasses 100 based on the information received by the transmission / reception unit 380. More specifically, the acceleration acquisition unit 320 acquires the acceleration detected by the glasses 100 by extracting the acceleration data from the reception data output from the transmission / reception unit 380.
  • the angular velocity acquisition unit 322 acquires the angular velocity of the glasses 100 detected by the glasses 100. Specifically, the angular velocity acquisition unit 322 acquires the angular velocity detected by the glasses 100 based on the information received by the transmission / reception unit 380. More specifically, the angular velocity acquisition unit 322 acquires the angular velocity detected by the glasses 100 by extracting the angular velocity data from the reception data output from the transmission / reception unit 380.
  • the electrooculogram correction unit 330 corrects the electrooculogram acquired by the electrooculogram acquisition unit 310 based on the acceleration or angular velocity of the user 20. For example, the electrooculogram correction unit 330 corrects the electrooculogram larger as the acceleration or angular velocity of the user 20 increases. Thereby, it is possible to appropriately correct the influence of the acceleration on the detection signal of the electrooculogram.
  • the electrooculogram correction unit 330 is a statistically determined correction based on the history of the acceleration or angular velocity of the user 20 and the electrooculogram detected by the first electrode 151, the second electrode 152, and the third electrode 153. The electrooculogram may be corrected using the value.
  • the storage unit 360 stores information indicating correction values for correcting electrooculograms in association with a plurality of directions of acceleration or angular velocity.
  • the electrooculogram correction unit 330 corrects the electrooculogram using the correction value stored in the storage unit 360 in association with the direction of acceleration or angular velocity of the user 20. Thereby, the influence which acceleration has on the detection signal of electrooculogram can be suppressed.
  • the analysis unit 350 analyzes the electrooculogram corrected by the electrooculogram correction unit 330. Specifically, the analysis unit 350 uses the electrooculogram corrected by the electrooculogram correction unit 330 to specify the state of the user 20 at the timing when the electrooculogram corrected by the electrooculogram correction unit 330 is detected. Examples of the state of the user 20 include the user's 20 line-of-sight direction and the blink state.
  • the analysis unit 350 may identify the other state of the user 20 by analyzing the identified line-of-sight direction of the user 20. Further, the analysis unit 350 may analyze the line-of-sight direction and the blink state of the user 20 and specify another state of the user 20. For example, the analysis unit 350 may determine whether the user 20 is tired as another state of the user 20. When the analysis unit 350 determines that the user 20 is tired, the UI unit 370 may issue a warning to the user 20.
  • the electrooculogram can be corrected according to the acceleration generated in the glasses 100. Therefore, for example, even when the user 20 exercises or the like and the contact state between the user 20 and the electrode such as the first electrode 151 deteriorates, the state of the user 20 may be appropriately identified.
  • FIG. 4 schematically shows the positional relationship between the electrooculogram detection electrode of the glasses 100 and the user 20.
  • FIG. 4 shows a contact position where the electrooculogram detection electrode contacts the user 20 when the user 20 is wearing the glasses 100.
  • the first contact position 451 represents a position where the first electrode 151 contacts the user 20.
  • the second contact position 452 represents a position where the second electrode 152 contacts the user 20.
  • the third contact position 453 represents a position where the third electrode 153 contacts the user 20.
  • the first contact position 451 and the second contact position 452 are located below the center of the cornea 411 of the right eyeball 401 and the center of the cornea 412 of the left eyeball 402.
  • the first contact position 451 and the second contact position 452 may be at positions where the distance between the first contact position 451 and the eyeball 401 and the distance between the second contact position 452 and the eyeball 402 are substantially equal. desirable. Further, it is desirable that the first contact position 451 and the second contact position 452 are separated from each other by a certain distance or more.
  • the third contact position 453 is located above the center of the cornea 411 of the right eyeball 401 and the center of the cornea 412 of the left eyeball 402.
  • the position of the third contact position 453 is a position where the distance between the third contact position 453 and the first contact position 451 and the distance between the third contact position 453 and the second contact position 452 are substantially equal. It may be.
  • the third contact position 453 is such that the distance between the third contact position 453 and the eyeball 401 is separated from the distance between the eyeball 401 and the first contact position 451, and the third contact position 453 and the eyeball 402 are separated from each other. May be at a position that is separated from the distance between the eyeball 402 and the second contact position 452.
  • the cornea side is positively charged and the retina side is negatively charged. Therefore, when the line-of-sight direction of the user 20 changes upward, V1 that is the potential of the first electrode 151 with respect to the third electrode 153 and V2 that is the potential of the second electrode 152 with respect to the third electrode 153 are Both will decline.
  • V1 and V2 rise.
  • V1 decreases and V2 increases.
  • V1 increases and V2 decreases.
  • the analysis unit 350 identifies the direction in which the line-of-sight direction has changed based on the change in V1 and the change in V2.
  • the processing unit 200 measures the electrooculogram of the right eye and the electrooculogram of the left eye by detecting V1 and V2. Therefore, the influence of noise applied to the electrooculogram can be reduced.
  • the line-of-sight direction of the user 20 is determined by the direction of the eyeball 401 and the direction of the eyeball 402. Since the line-of-sight direction of the user 20 also changes depending on the direction of the head of the user 20, the global line-of-sight direction of the user 20 is determined by the direction of the eyeball 401, the direction of the eyeball 401 and the head of the user 20. In the description of the present embodiment, the line-of-sight direction determined by the direction of the eyeball 401 and the direction of the eyeball 401 may be simply referred to as the line-of-sight direction.
  • V1 changes according to the position of the cornea 411.
  • the analysis unit 350 specifies an angle change amount that is a change amount of the angle of the eyeball 401 in the rotation direction based on the change amount of V1.
  • the analysis unit 350 identifies the angle of the eyeball 401 after the rotation based on the angle of the eyeball 401 before the change and the specified angle change amount.
  • the analysis unit 350 specifies the orientation of the eyeball 401 based on the temporal change of V1.
  • the analysis unit 350 identifies the rotation angle in the other plane as well as the angle in the xy plane. For example, the analysis unit 350 identifies the angle of the eyeball 402 by a process similar to the process related to the angle of the eyeball 401. Specifically, the analysis unit 350 specifies the direction of the eyeball 402 based on the time change of V2.
  • the analysis unit 350 identifies the line-of-sight direction of the user 20 based on the orientation of the eyeball 401 and the orientation of the eyeball 402. For example, the analysis unit 350 may specify a direction in which a vector obtained by combining a vector of the direction of the eyeball 401 and a vector of the direction of the eyeball 402 faces as the line-of-sight direction of the user 20.
  • the orientation of the eyeball 401 and the orientation of the eyeball 402 are an example of an index that represents the visual line direction of the user 20.
  • the line-of-sight direction of the user 20 may be one line-of-sight direction determined from a vector of the direction of the eyeball 401, a vector of the direction of the eyeball 402, and the like. That is, the analysis unit 350 may specify the one line-of-sight direction from V1 and V2. In this case, the analysis unit 350 specifies one gaze direction by performing a predetermined calculation based on the change amount of V1 and the change amount of V2 without specifying the direction of the eyeball 401 and the direction of the eyeball 402. You can do it. For example, the analysis unit 350 may specify one gaze direction by performing a predetermined calculation that associates the variation amount of V1 and the variation amount of V2 with the variation amount of one gaze direction.
  • the direction of the eyeball 401 can be rephrased as the position of the cornea 411.
  • the direction of the eyeball 402 can be rephrased as the position of the cornea 412.
  • the change in the direction of the eyeball 401 can be rephrased as the eyeball movement of the eyeball 401.
  • a change in the direction of the eyeball 402 can be rephrased as eyeball movement. That is, the analysis unit 350 may specify the eye movement of the user 20 based on the electrooculogram detected by the glasses 100.
  • FIG. 5 shows an example of correction values stored in the storage unit 360 in a table format.
  • the correction table 610 represents correction values for the acceleration Az in the z direction.
  • the correction table 620 represents correction values for the acceleration Ay in the y direction.
  • the correction table 630 represents correction values for the acceleration Ax in the x direction.
  • the storage unit 360 stores information on the correction table 610, the correction table 620, and the correction table 630.
  • A1 and A2 are positive values, and A2 is larger than A1.
  • a correction coefficient that multiplies the electrooculogram will be described as an example of the correction value.
  • the storage unit 360 stores a correction value for V1 and a correction value for V2 in association with Az.
  • the storage unit 360 stores 1.2 as the correction value of V1 and the correction value of V2 when Az is less than ⁇ A2.
  • the storage unit 360 stores 1.1 as the correction value of V1 and the correction value of V2 when Az is greater than or equal to -A2 and Az is less than -A1.
  • the storage unit 360 stores 1.0 as the correction value of V1 and the correction value of V2 when Az is ⁇ A1 or more.
  • the correction value for V1 and the correction value for V2 corresponding to the same acceleration Az may be the same.
  • the storage unit 360 stores a correction value for V1 and a correction value for V2 in association with Ay.
  • the storage unit 360 stores 1.3 as the correction value of V1 and the correction value of V2 when Ay is less than ⁇ A2.
  • the storage unit 360 stores 1.1 as the correction value of V1 and the correction value of V2 when Ay is greater than or equal to ⁇ A2 and less than ⁇ A1.
  • the storage unit 360 stores 1.0 as the correction value of V1 and the correction value of V2 when Ay is ⁇ A1 or more and A1 or less.
  • the storage unit 360 stores 1.1 as the correction value of V1 and the correction value of V2 when Ay is greater than A1 and less than or equal to A2.
  • the storage unit 360 stores 1.3 as the correction value of V1 and the correction value of V2 when Ay exceeds A2.
  • the correction value for V1 and the correction value for V2 corresponding to the same acceleration Ay may be the same.
  • the storage unit 360 stores a correction value for V1 and a correction value for V2 in association with Ax. For example, the storage unit 360 stores 1.0 as the correction value of V1 when Ax is less than ⁇ A2. The storage unit 360 stores 1.1 as the correction value of V2 when Ax is less than ⁇ A2. Further, the storage unit 360 stores 1.0 as the correction value of V1 when Ax is greater than or equal to ⁇ A2 and less than ⁇ A1. The storage unit 360 stores 1.05 as the correction value of V2 when Ax is greater than or equal to ⁇ A2 and less than ⁇ A1. As described above, the correction value for V1 corresponding to the same acceleration Ax may be different from the correction value for V2.
  • the storage unit 360 stores 1.0 as the correction value of V1 and the correction value of V2 when Ax is ⁇ A1 or more and A1 or less. In addition, the storage unit 360 stores 1.05 as the correction value of V1 when Ax is greater than A1 and less than or equal to A2. The storage unit 360 stores 1.0 as the correction value of V2 when Ax is greater than A1 and less than or equal to A2. In addition, the storage unit 360 stores 1.1 as the correction value of V1 when Ax exceeds A2. The storage unit 360 stores 1.0 as the correction value of V2 when Ax exceeds A2. As described above, the correction value for V1 corresponding to the same acceleration Ax may be different from the correction value for V2.
  • the electrooculogram correction unit 330 calculates a correction value by multiplying the electrooculogram by a correction value corresponding to each acceleration. For example, when Ax, Ay, and Az are each greater than or equal to A2, the electrooculogram correction unit 330 multiplies V1 and 1.0, 1.3, and 1.1 that are correction values corresponding to the respective accelerations to obtain V1. 1.43 is determined as a correction value for. Then, the electrooculogram correction unit 330 corrects V1 by multiplying V1 by the determined correction value 1.43. For V2, when Ax, Ay, and Az are each equal to or greater than A2, the electrooculogram correction unit 330 multiplies 1.0, 1.3, and 1.0 that are correction values corresponding to V2 and each acceleration. Then, 1.3 is determined as a correction value for V2. Then, the electrooculogram correction unit 330 corrects V2 by multiplying the determined 1.3 by V2.
  • the storage unit 360 may store a correction value associated with the acceleration for each exercise form of the user 20.
  • the storage unit 360 stores a correction table similar to the correction table 610, the correction table 620, and the correction table 630 illustrated in this figure for each exercise mode such as running, walking, golf swing, bat swing, and cycling. You can do it.
  • the electrooculogram correction unit 330 may correct the electrooculogram using a correction table stored corresponding to the current motion form of the user 20.
  • the current exercise form of the user 20 may be specified by the user 20 specifying the smartphone 40.
  • the user 20 may determine that the exercise form of the user 20 is a running exercise form.
  • the exercise form of the user 20 may be specified by the smartphone 40 based on at least one of acceleration and angular velocity detected by the glasses 100.
  • FIG. 6 schematically shows an example of temporal development of electrooculogram and acceleration.
  • an example of temporal development of V1 and V2 the acceleration Az in the z direction, the acceleration Ax in the x direction, and the acceleration Ay in the y direction is schematically shown.
  • Graph 601 shows the time evolution of V1.
  • Graph 602 shows the time evolution of V2.
  • Graph 611 shows the time evolution of Az.
  • Graph 612 shows the time evolution of Ax.
  • Graph 613 shows the time evolution of Ay.
  • the horizontal axes of the graph 601, the graph 602, the graph 611, the graph 612, and the graph 613 represent time.
  • the vertical axis of the graph 601 represents V1.
  • the vertical axis of the graph 602 represents V2.
  • the vertical axis of the graph 611 represents Az.
  • the vertical axis of the graph 612 represents Ax.
  • the vertical axis of the graph 613 represents Ay.
  • the electrooculogram correction unit 330 determines 1.0 as the correction value for V1. When the correction value is 1.0, the electrooculogram correction unit 330 does not have to correct V1. Based on the change direction of V1 and the change direction of V2 during the period from time t1 to time t2, analysis unit 350 determines that the line-of-sight direction of user 20 has changed to the left during this period. Further, the analysis unit 350 identifies the angle at which the line-of-sight direction of the user 20 has changed to the left during this period, based on the amount of change in V1 and the amount of change in V2 within this period.
  • the electrooculogram correction unit 330 determines 1.3 as the correction value for V1. Further, the electrooculogram correction unit 330 determines 1.3 as a correction value for V2.
  • the electrooculogram correction unit 330 corrects V1 by multiplying V1 detected during the period from time t3 to time t4 by the correction value 1.3. Further, the electrooculogram correction unit 330 corrects V2 by multiplying V2 detected during the period from time t3 to time t4 by the correction value 1.3. V1 after correction by the correction value is indicated by V1 ′, and V2 after correction by the correction value is indicated by V2 ′.
  • the analysis unit 350 determines that the line-of-sight direction of the user 20 has changed to the right during this period based on the change direction of V1 ′ and the change direction of V2 ′ during the period from time t3 to time t4. Further, the analysis unit 350 identifies the angle at which the line-of-sight direction of the user 20 has changed to the right during this period, based on the change amount of V1 ′ and the change amount of V2 ′ within this period. The analysis unit 350 determines the angle according to the amount of change in V1 ′ and the amount of change in V2 ′ in the period from time t3 to time t4 from the line-of-sight direction specified based on V1 and V2 in the period from time t1 to time t2. As a result, it is determined that the viewing direction of the user 20 has changed to the right.
  • V1 and V2 are correct
  • V1 and V2 can be corrected based on the correction value of V1 and the correction value of V2 corresponding to the angular velocity.
  • the storage unit 360 stores the correction value of V1 and the correction value of V2 in association with the angular velocity
  • the electrooculogram correction unit 330 stores in the storage unit 360 in association with the detected angular velocity.
  • V1 and V2 are corrected using the correction value of V1 and the correction value of V2.
  • the storage unit 360 stores the correction value of V1 and the correction value of V2 in association with the combination of acceleration and angular velocity, and the electrooculogram correction unit 330 associates with the detected combination of acceleration and angular velocity.
  • V1 and V2 may be corrected using the correction value of V1 and the correction value of V2 stored in the storage unit 360.
  • FIG. 7 shows a flowchart showing processing executed in the smartphone 40.
  • the processing shown in this flowchart is started when the smartphone 40 is instructed to execute information processing related to electrooculogram.
  • the smartphone 40 when the software for analyzing the electrooculogram detected by the glasses 100 is activated, the processing shown in this flowchart starts.
  • this flowchart is started when the running analysis software is started.
  • step S700 the transmission / reception unit 380 starts receiving ocular potential time-series data, acceleration time-series data, and angular velocity time-series data continuously transmitted from the glasses 100.
  • step S702 a calibration process for detecting the line-of-sight direction is performed.
  • the UI unit 370 instructs the user 20 to look at the front.
  • the UI unit 370 displays a screen instructing to view the front.
  • the analysis unit 350 looks at the line of sight of the user 20 at a time when the magnitude of V1 and the magnitude of V2 detected at the time after instructing the user 20 to look in front are respectively equal to or less than a predetermined threshold. Judge that the direction is facing the front. Thereby, the analysis unit 350 sets an initial value of the current gaze direction of the user 20.
  • step S704 the UI unit 370 notifies the user 20 that the calibration is completed.
  • the UI unit 370 displays a screen indicating that calibration is completed and analysis of electrooculogram is started.
  • step S712 the electrooculogram correction unit 330 determines a correction value based on the acceleration and angular velocity in the analysis target time, and calculates V1 ′ and V2 ′.
  • step S720 it is determined whether or not V1 ′ or V2 ′ has changed in the analysis target time. If it is determined in step S720 that V1 ′ or V2 ′ has changed, the process proceeds to step S722. If it is determined in step S720 that neither V1 ′ nor V2 ′ has changed, the process proceeds to step S724.
  • step S722 based on the amount of change in V1 ′ and the amount of change in V2 ′, the state of the user 20 regarding the eyes is determined. Specifically, the analysis unit 350 specifies a new line-of-sight direction based on the currently set line-of-sight direction and the amount of change in V1 ′ and the amount of change in V2 ′. Thereby, the current gaze direction of the user 20 is updated. In step S722, the analysis unit 350 determines the presence or absence of blinks based on the change amount of V1 ′ or the change amount of V2 ′.
  • step S724 the analysis unit 350 analyzes the state of the user 20 on the basis of the identified current gaze direction of the user 20, the blink result, and the like, and performs processing according to the analysis result.
  • the analysis unit 350 determines whether or not the user 20 is fatigued based on the history of changes in the line-of-sight direction, the frequency of blinks, and the like, and determines that the user 20 is fatigued. In such a case, a warning is issued to the user 20 through the UI unit 370.
  • step S730 the processing unit 300 determines whether or not to end information processing relating to electrooculogram. For example, when there is an instruction to end the software for analyzing the electrooculogram in the smartphone 40, it is determined that the information processing relating to the electrooculogram is ended. If it is determined in step S730 that the information processing relating to the electrooculogram is to be ended, an end process is performed (step S732), and the process of this flowchart is ended. If it is determined in step S730 that the information processing relating to the electrooculogram is not terminated, the analysis target time is advanced (step 734), and the process proceeds to step S710.
  • the correction value used for correcting V1 and V2 may be a statistically calculated correction value based on at least one of acceleration and angular velocity detected in the past by the glasses 100 and V1 and V2.
  • the storage unit 360 stores history information that associates acceleration detected by the glasses 100 in the past with changes in electrooculogram.
  • the electrooculogram correction unit 330 calculates a correction value corresponding to each acceleration based on the history information stored in the storage unit 360.
  • the electrooculogram correction unit 330 calculates, based on the history information, an average value of the amount of change in V1 when an acceleration Az of ⁇ A1 or more and A1 or less is detected as a standard value of V1. Further, the electrooculogram correction unit 330 calculates the average value of the amount of change in V1 when Az smaller than ⁇ A2 is detected based on the history information. The electrooculogram correction unit 330 corrects the value obtained by dividing the above-described standard value of V1 by the average value of the amount of change in V1 when Az smaller than ⁇ A2 is detected with respect to V1 when Az is smaller than ⁇ A2. It is calculated as a value and used to correct V1 detected when Az is smaller than -A2.
  • the correction value for V1 in each acceleration range is calculated by the same process.
  • Ay and Ax correction values are calculated by the same processing as Az.
  • V2 in each acceleration range is calculated by the same processing as V1.
  • the electrooculogram correction unit 330 corrects the electrooculogram using a correction value such as a correction coefficient for the purpose of easily explaining the electrooculogram correction process.
  • the electrooculogram correction unit 330 may correct the electrooculogram using various correction values other than the correction coefficient.
  • the correction value is a concept including various correction parameters such as a correction coefficient and a correction function.
  • the correction value may be a correction function for correcting the electrooculogram magnitude and the electrooculogram waveform shape.
  • the waveform shape of the electrooculogram may be expressed using the spread in the time direction of the waveform of the electrooculogram.
  • the correction value may be a correction value for the frequency component that corrects the frequency component obtained by frequency decomposition of the electrooculogram.
  • the processing unit 200 performs processing for calculating V1 and V2. It replaces with this and the analysis part 350 of the smart phone 40 may perform the process which calculates V1 and V2.
  • the processing unit 200 generates time series data of the first ocular potential, the second ocular potential, and the third ocular potential, and the transmission / reception unit 280 causes the first ocular potential, the second ocular potential, and the third ocular potential.
  • Each of the time series data may be transmitted to the smartphone 40.
  • the analysis unit 350 uses V1 and V2 to specify the state of the user 20 such as the line-of-sight direction of the user 20.
  • the analysis unit 350 may specify the state of the user 20 using an arbitrary linear combination of V1 and V2.
  • the analysis unit 350 may specify the state of the user 20 using V1 + V2 and V1-V2.
  • the analysis part 350 may specify the state of the user 20 using the time differentiation of V1 and the time differentiation of V2.
  • the analysis unit 350 uses the first eye based on a predetermined reference potential such as the potential of the ground electrode 154 instead of the above-described V1 and V2 as the eye potential for specifying the line-of-sight direction.
  • the potential and the second ocular potential based on the potential of the ground electrode 154 may be applied.
  • the processing unit 200 functions as an electrooculogram acquisition unit that acquires the electrooculogram of the user 20 detected by the glasses 100, a function as an acceleration acquisition unit that acquires acceleration, and an angular velocity acquisition unit that acquires angular velocity.
  • the function of the electrooculogram correction unit 330 may be included. Further, the processing unit 200 may further have the function of the analysis unit 350.
  • the smartphone 40 may have a function of detecting acceleration.
  • the smartphone 40 may have a function of detecting the angular velocity.
  • the processing described as operations of the processing unit 300 and the transmission / reception unit 380 in the smartphone 40 is realized by a processor such as the processing unit 300 and the transmission / reception unit 380 controlling each hardware included in the smartphone 40 according to a program.
  • a processor such as the processing unit 300 and the transmission / reception unit 380 controlling each hardware included in the smartphone 40 according to a program.
  • the processing of the smartphone 40 described in relation to the smartphone 40 of the present embodiment includes a processor, a memory, and the like by the processor operating according to the program and controlling each hardware. This can be realized by the hardware and the program operating in cooperation. That is, the process can be realized by a so-called computer.
  • the computer may load a program for controlling execution of the above-described processing, operate according to the read program, and execute the processing.
  • the computer can load the program from a computer-readable recording medium storing the program.
  • the processing described as the operation of the processing unit 200 in the glasses 100 can be realized by a so-called computer.
  • the smartphone 40 is an example of an electrooculogram information processing apparatus that processes electrooculogram information detected by the glasses 100.
  • the electrooculogram information processing apparatus may be an information processing apparatus having a communication function.
  • the electrooculogram information processing apparatus may be a portable electronic device such as a mobile phone, a portable information terminal, a portable music player, etc. possessed by the user 20.
  • the eyeglasses 100 as an example of eyewear can be used for the purpose of correcting the refractive error of the eyes of the user 20, protecting the eyes of the user 20, or dressing up.
  • eyewear is not limited to glasses.
  • the eyewear may be a face wearing device such as sunglasses, goggles, a head mounted display, or a head wearing device.
  • the eyewear may be a frame of a face wearing device or a head wearing device or a part of the frame.
  • Eyewear is an example of a wearing tool that can be worn by a user.
  • the wearing tool is not limited to a wearing tool related to the eye such as eyewear.
  • Various members such as a hat, a helmet, headphones, and a hearing aid can be applied as the wearing tool.
  • Ocular Potential Information Processing System 100 Glasses 20 User 40 Smartphone 110 Lens 120 Frame 122 Rim 124 Bridge 126 Yoro 130 Temple 132 Modern 141 Right Nose Pad 142 Left Nose Pad 151 First Electrode 152 Second Electrode 153 Third Electrode 154 Ground Electrode 160 Electric wire unit 180 Processing unit 190 Power supply unit 200 Processing unit 260 Angular velocity detection unit 270 Acceleration detection unit 280 Transmission / reception unit 290 Substrate unit 300 Processing unit 310 Ocular potential acquisition unit 320 Acceleration acquisition unit 322 Angular velocity acquisition unit 330 Ocular potential correction unit 350 Analysis unit 360 Storage unit 370 UI unit 380 Transmission / reception unit 390 Power supply unit 401, 402 Eyeball 411, 412 Cornea 451 First contact position 452 Second contact position 453 Third contact position 601, 602, 611, 612, 613 Graph 610, 620, 630 Correction table

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

 眼電位情報処理装置は、ユーザに装着された眼電位検出部で検出されたユーザの眼電位を取得する眼電位取得部と、眼電位取得部が取得した眼電位を、ユーザの加速度又は角速度に基づいて補正する眼電位補正部と、眼電位補正部により補正された眼電位を解析する解析部とを備える。プログラムは、コンピュータを、ユーザに装着された眼電位検出部で検出されたユーザの眼電位を取得する眼電位取得部、眼電位取得部が取得した眼電位を、ユーザの加速度又は角速度に基づいて補正する眼電位補正部、眼電位補正部により補正された眼電位を解析する解析部として機能させる。

Description

眼電位情報処理装置、眼電位情報処理システム、装着具及びプログラム
 本発明は、眼電位情報処理装置、眼電位情報処理システム、装着具及びプログラムに関する。
 眼球電位に基づいて睡眠状態を検出する睡眠状態検出装置が知られている(例えば、特許文献1参照)。また、眼球運動に基づいて被験者の居眠り状態を判定する居眠り判定装置が知られている(特許文献2参照)。また、脳波の計測に用いる電極の接触インピーダンスを計測するインピーダンス計測部を備える脳波計測システムが知られている(特許文献3参照)。
 特許文献1 特開2004-187961号公報
 特許文献2 特開2011-015913号公報
 特許文献3 特開2012-095905号公報
 アイウエア又はユーザの加速度によって、ユーザの眼電位の検出値が影響を受ける場合がある。そのため、例えば大きな加速度が生じたタイミングで検出された眼電位を適切に解析できない場合がある。
 第1の態様においては、眼電位情報処理装置は、ユーザに装着された眼電位検出部で検出されたユーザの眼電位を取得する眼電位取得部と、眼電位取得部が取得した眼電位を、ユーザの加速度又は角速度に基づいて補正する眼電位補正部と、眼電位補正部により補正された眼電位を解析する解析部とを備える。
 第2の態様においては、眼電位情報処理システムは、上記眼電位情報処理装置と、ユーザに装着される装着具とを備え、装着具は、眼電位検出部と、眼電位検出部で検出された眼電位を示す情報を、眼電位情報処理装置へ送信する送信部とを有する。
 第3の態様においては、装着具は、装着具を装着している装着者の眼電位を検出する眼電位検出部と、眼電位検出部で検出された眼電位を、装着者の加速度又は角速度に基づいて補正する眼電位補正部と、眼電位補正部により補正された眼電位を解析する解析部とを備える。
 第4の態様においては、プログラムは、コンピュータを、ユーザに装着された眼電位検出部で検出されたユーザの眼電位を取得する眼電位取得部、眼電位取得部が取得した眼電位を、ユーザの加速度又は角速度に基づいて補正する眼電位補正部、眼電位補正部により補正された眼電位を解析する解析部として機能させる。
 なお、上記の発明の概要は、本発明の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
一実施形態における眼電位情報処理システム10の利用形態の一例を概略的に示す。 メガネ100及びスマートフォン40を模式的に示す。 スマートフォン40の機能ブロック構成及び処理ユニット180の機能ブロック構成を概略的に示す。 メガネ100が有する眼電位検出用電極とユーザ20との位置関係を概略的に示す。 格納部360が格納している補正値の一例をテーブル形式で示す。 眼電位及び加速度の時間発展の一例を概略的に示す。 スマートフォン40において実行される処理を表すフローチャートを示す。
 以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
 図1は、一実施形態における眼電位情報処理システム10の利用形態の一例を概略的に示す。眼電位情報処理システム10は、メガネ100及びスマートフォン40を備える。
 ユーザ20は、メガネ100及びスマートフォン40のそれぞれの使用者である。ユーザ20は、メガネ100を装着する装着者である。スマートフォン40は、眼電位情報処理装置の一例である。
 メガネ100は、ユーザ20の顔部に装着される。メガネ100は、スマートフォン40と通信する機能を有する。メガネ100は、ユーザ20に接触する電極を介してユーザ20の眼電位を検出して、検出した眼電位の情報をスマートフォン40に送信する。また、メガネ100は、メガネ100の加速度を検出して、検出した加速度の情報をスマートフォン40に送信する。また、メガネ100は、メガネ100の角速度を検出して、検出した角速度の情報をスマートフォン40に送信する。
 スマートフォン40は、メガネ100から受信した眼電位を解析する。スマートフォン40は、メガネ100から受信した眼電位を、メガネ100から受信した加速度及び角速度の少なくとも一方とともに解析する。スマートフォン40は、眼電位、加速度、角速度等の解析結果に基づいて、ユーザ20に情報を提供する。
 例えば、スマートフォン40は、眼電位、加速度及び角速度等を解析して、ユーザ20の状態を特定する。具体的には、スマートフォン40は、ユーザ20の視線方向及び瞬目状態等を特定する。例えば、スマートフォン40は、視線方向及び瞬目状態等に基づき、ユーザ20の状態を判断する。具体的には、スマートフォン40は、視線方向及び瞬目状態等に基づき、ユーザ20に疲れが生じているか否かを判断する。スマートフォン40は、ユーザ20に疲れが生じていると判断した場合に、ユーザ20に警告を発する。例えば、スマートフォン40は、ユーザ20に疲れが生じていると判断した場合に、警告音を発生する。
 スマートフォン40は、眼電位の変化量に基づいて、ユーザ20の視線方向、瞬眼状態等を特定する。ここで、スマートフォン40は、メガネ100で検出された加速度又は角速度が大きいほど、眼電位を大きく補正する。そして、スマートフォン40は、補正した眼電位を用いて、視線方向、瞬目状態等を特定する。
 例えばユーザ20がランニング等の運動をしている場合に、眼電位検出用の電極とユーザ20との接触状態が悪化する場合がある。例えば、上下方向の加速度が大きい場合、眼電位検出用の電極とユーザ20との接触状態が悪化する場合がある。眼電位情報処理システム10によれば、加速度又は角度度に基づいて、例えば接触状態の影響を考慮した眼電位を補正する補正値を用いて眼電位を補正する。そして、補正した眼電位を用いて、ユーザ20の状態を特定する。そのため、ユーザ20の状態をより正確に特定できる場合がある。
 なお、本実施形態の説明において、図1等に示される直交座標系の座標軸を用いて、各種の方向を特定する場合がある。z軸プラス方向を、ユーザ20が正面に沿う方向に定める。z軸プラス方向は、ユーザ20の顔に装着されているメガネ100の、ユーザ20の顔からメガネ100のフロント部へ向かう方向の加速度である。また、y軸マイナス方向を、鉛直方向に定める。x軸、y軸、z軸は、右手系の直交座標系である。説明の都合上、z軸プラス方向を正面方向等と呼ぶ場合がある。また、y軸プラス方向を上方等と呼ぶ場合がある。また、y軸マイナス方向を下方等と呼ぶ場合がある。また、x軸プラス方向を左方等と呼ぶ場合がある。また、x軸マイナス方向を右方等と呼ぶ場合がある。
 図2は、メガネ100及びスマートフォン40を模式的に示す。メガネ100は、レンズ110及びフレーム120を備える。メガネ100及びフレーム120は、アイウエアの一例である。
 フレーム120は、一対のレンズ110を支持する。フレーム120は、リム122、ブリッジ124、ヨロイ126、テンプル130、モダン132、右ノーズパッド141、左ノーズパッド142、第1電極151、第2電極152、第3電極153、接地電極154、処理ユニット180及び電源ユニット190を有する。レンズ110、リム122、ヨロイ126、テンプル130、及びモダン132は、それぞれ左右一対に設けられる。フレーム120のうち、リム122、ブリッジ124、右ノーズパッド141、左ノーズパッド142及びヨロイ126の部分を、メガネ100のフロント部と呼ぶ。
 リム122は、レンズ110を保持する。ヨロイ126は、リム122の外側に設けられテンプル130を可動に保持する。テンプル130は、ユーザ20の耳の上部を押圧して、押圧した部位を挟持する。モダン132は、テンプル130の先端に設けられる。モダン132は、ユーザ20の耳の上部に接触する。
 第1電極151は、眼電位を検出する眼電位検出部の一例である。第1電極151は、右ノーズパッド141の表面に設けられる。第1電極151は、右ノーズパッド141が有する表面のうち、ユーザ20がメガネ100を装着した場合にユーザ20の顔に対向する側の表面に設けられる。ユーザ20がメガネ100を装着した場合、第1電極151はユーザ20の皮膚に接触する。例えば、ユーザ20がメガネ100を装着した場合、第1電極151はユーザ20の鼻の右側に接触する。本実施形態において、第1電極151は、主としてユーザ20の右眼の眼電位を検出する。
 第2電極152は、眼電位を検出する眼電位検出部の一例である。第2電極152は、左ノーズパッド142の表面に設けられる。第2電極152は、左ノーズパッド142が有する表面のうち、ユーザ20がメガネ100を装着した場合にユーザ20の顔に対向する側の表面に設けられる。ユーザ20がメガネ100を装着した場合、第2電極152はユーザ20の皮膚に接触する。例えば、ユーザ20がメガネ100を装着した場合、第2電極152はユーザ20の鼻の左側に接触する。本実施形態において、第2電極152は、主としてユーザ20の左眼の眼電位を検出する。
 第3電極153は、眼電位を検出する眼電位検出部の一例である。第3電極153は、ブリッジ124の表面に設けられる。第3電極153は、ブリッジ124が有する表面のうち、ユーザ20がメガネ100を装着した場合にユーザ20の顔に対向する表面に設けられる。ユーザ20がメガネ100を装着した場合、第3電極153はユーザ20の皮膚に接触する。例えば、ユーザ20がメガネ100を装着した場合、第3電極153はユーザ20の眉間の上部に接触する。本実施形態において、第3電極153で検出される眼電位は、ユーザ20の右眼の眼電位及び左眼の眼電位を測定するための測定用の基準に用いられる。
 接地電極154は、モダン132の表面に設けられる。接地電極154は、例えば右側のモダン132の表面に設けられる。接地電極154は、モダン132が有する表面のうち、ユーザ20がメガネ100を装着した場合にユーザ20の顔に対向する表面に設けられる。ユーザ20がメガネ100を装着した場合、接地電極154はユーザ20の皮膚に接触する。例えば、ユーザ20がメガネ100を装着した場合、接地電極154はユーザ20の右耳の上部に接触する。本実施形態において、接地電極154の電位は、メガネ100が有する電気回路の接地電位を提供する。
 処理ユニット180は、左側のテンプル130の内部に設けられる。処理ユニット180には、第1電極151、第2電極152及び第3電極153で検出されたユーザ20の眼電位が入力される。処理ユニット180は、入力された眼電位を処理して、処理された電位をスマートフォン40に送信する。
 電源ユニット190は、左側のテンプル130の内部に設けられる。電源ユニット190は、二次電池等の電池を含む。電源ユニット190は、電源ユニット190が含む電池に蓄積された電気エネルギーを、処理ユニット180に供給する。具体的には、電源ユニット190は、電池に蓄積された電気エネルギーから、接地電極154の電位を基準とした直流電力を生成する。電源ユニット190は、電池に蓄積された電気エネルギーから生成した直流電力を、処理ユニット180に供給する。
 なお、電源ユニット190は、接地電極154が設けられた側のテンプル130の内部に設けられている。接地電極154の電位は、電源ユニット190から処理ユニット180に供給される直流電力の負側の電位を提供する。また、右側のモダン132には、電源ユニット190を充電するために充電口が形成されている。電源ユニット190が含む電池は、右側のモダン132に設けられた充電口を介して充電される。
 図3は、スマートフォン40の機能ブロック構成及び処理ユニット180の機能ブロック構成を概略的に示す。処理ユニット180は、処理部200、加速度検出部270、送受信部280及び基板部290を含む。スマートフォン40は、処理部300、格納部360、UI部370、送受信部380及び電源部390を含む。
 処理ユニット180において、処理部200、加速度検出部270及び送受信部280は、基板部290に実装される。処理部200は、MPU等のプロセッサで実現される。スマートフォン40の各部は、主として処理部300によって制御される。送受信部280は、スマートフォン40と無線通信する機能を担う。送受信部280は、通信用プロセッサで実現される。例えば、送受信部280は、Bluetooth(登録商標)等の近距離無線通信機能を有する通信用プロセッサで実現される。
 メガネ100のフレーム120の内部には、電線部160が設けられる。電線部160は、第1電極151、第2電極152、第3電極153、接地電極154及び電源ユニット190と、処理ユニット180とを電気的に接続する。電線部160は、第1電極151と処理ユニット180とを電気的に接続して、第1電極151で検出された眼電位を処理ユニット180に出力する電線と、第2電極152と処理ユニット180とを電気的に接続して、第2電極152で検出された眼電位を処理ユニット180に出力する電線と、第3電極153と処理ユニット180とを電気的に接続して、第3電極153で検出された眼電位を処理ユニット180に出力する電線と、電源ユニット190から処理ユニット180に電力を供給する電線とを有する。
 メガネ100において、処理部200は、第1電極151で検出された眼電位である第1眼電位を取得して、取得した第1眼電位を処理する。また、処理部200は、第2電極152で検出された眼電位である第2眼電位を取得して、取得した第2眼電位を処理する。また、処理部200は、第3電極153で検出された眼電位である第3眼電位を取得して、取得した第3眼電位を処理する。
 例えば、処理部200は、第3眼電位を基準とした第1眼電位を処理する。本実施形態では、第3眼電位を基準とした第1眼電位を、V1と呼ぶ。処理部200は、V1を予め定められた周期でサンプリングして、V1の時系列データを生成する。処理部200は、生成したV1の時系列データを、送受信部280に出力する。
 また、処理部200は、第3眼電位を基準とした第2眼電位を処理する。本実施形態では、第3眼電位を基準とした第2眼電位を、V2と呼ぶ。処理部200は、V2を予め定められた周期でサンプリングして、V2の時系列データを生成する。処理部200は、生成したV2の時系列データを、送受信部280に出力する。
 加速度検出部270は、メガネ100の加速度を検出する。加速度検出部270は、例えば3軸加速度センサである。加速度検出部270は、メガネ100の重心の加速度を検出する。メガネ100がユーザ20に装着されている場合、メガネ100の重心の加速度は、ユーザ20の頭部の加速度に対応する。処理部200には、加速度検出部270で検出された加速度が入力される。
 角速度検出部260は、メガネ100の角速度を検出する。角速度検出部260は、例えば3軸角速度センサである。処理部200には、角速度検出部260で検出された角速度が入力される。
 処理部200は、加速度検出部270で検出された加速度を取得して、取得した加速度を処理する。処理部200は、加速度を予め定められた周期でサンプリングして、時系列の加速度のデータを生成する。処理部200は、生成した加速度の時系列データを送受信部280に出力する。送受信部280に出力される加速度データは、3軸の各方向の加速度の時系列データを含む。
 処理部200は、角速度検出部260で検出された角速度を取得して、取得した角速度を処理する。処理部200は、角速度を予め定められた周期でサンプリングして、時系列の角速度のデータを生成する。処理部200は、生成した角速度の時系列データを送受信部280に出力する。送受信部280に出力される角速度データは、3軸の各方向の角速度の時系列データを含む。
 送受信部280は、処理部200から取得したV1の時系列データ、V2の時系列データ、加速度の時系列データ及び角速度の時系列データを、無線信号で送受信部380に送信する。
 スマートフォン40において、電源部390は、二次電池等の電池を含む。電源部390は、処理部300、送受信部380及びUI部370を含むスマートフォン40の各部に電力を供給する。
 UI部370は、ユーザ20とのユーザインタフェース(UI)を提供する。例えば、UI部370は、タッチパネル、操作キー、音生成装置等を含む。
 格納部360は、記憶媒体で実現される。記録媒体としては、揮発性記憶媒体、不揮発性記憶媒体等を例示できる。格納部360は、処理部200の動作に必要な各種のパラメータを格納する。また、格納部360は、処理部200で生成された各種の情報を格納する。
 送受信部380は、メガネ100と無線通信する機能を担う。送受信部380は、Bluetooth(登録商標)等の近距離無線通信機能を有する通信用プロセッサで実現される。送受信部380と送受信部280とは、Bluetooth(登録商標)規格に従って無線通信を行う。なお、送受信部280と送受信部380との間の通信は、Bluetooth(登録商標)通信に限られない。送受信部280と送受信部380との間の通信は、例えば無線LAN等を含む様々な方式の無線通信で実現され得る。送受信部280と送受信部380との間の通信は、USB等を含む様々な方式の有線通信によって実現され得る。
 送受信部380は、メガネ100から送信された眼電位を示す情報を受信する。また、送受信部380は、メガネ100から送信された加速度を示す情報を受信する。また、送受信部380は、メガネ100から送信された角速度を示す情報を受信する。具体的には、送受信部380は、送受信部280から受信した無線信号を受信して、受信した無線信号を復調して、V1の時系列データ、V2の時系列データ、加速度の時系列データ及び角速度の時系列データを含む受信データを生成する。送受信部380は、生成した受信データを、処理部300に出力する。
 処理部300は、眼電位取得部310、加速度取得部320、角速度取得部322及び解析部350を有する。
 眼電位取得部310は、ユーザ20に装着された眼電位検出部で検出されたユーザ20の眼電位を取得する。具体的には、眼電位取得部310は、ユーザ20が装着しているメガネ100に設けられた第1電極151、第2電極152及び第3電極153で検出されたユーザ20の眼電位を取得する。より具体的には、眼電位取得部310は、送受信部380から出力された受信データからV1の時系列データ及びV2の時系列データを抽出することにより、メガネ100で検出された眼電位を取得する。
 加速度取得部320は、メガネ100で検出された、メガネ100の加速度を取得する。具体的には、加速度取得部320は、送受信部380で受信した情報に基づいて、メガネ100で検出された加速度を取得する。より具体的には、加速度取得部320は、送受信部380から出力された受信データから加速度データを抽出することにより、メガネ100で検出された加速度を取得する。
 角速度取得部322は、メガネ100で検出された、メガネ100の角速度を取得する。具体的には、角速度取得部322は、送受信部380で受信した情報に基づいて、メガネ100で検出された角速度を取得する。より具体的には、角速度取得部322は、送受信部380から出力された受信データから角速度データを抽出することにより、メガネ100で検出された角速度を取得する。
 眼電位補正部330は、眼電位取得部310が取得した眼電位を、ユーザ20の加速度又は角速度に基づいて補正する。例えば、眼電位補正部330は、ユーザ20の加速度又は角速度の大きさが大きいほど、眼電位を大きく補正する。これにより、加速度が眼電位の検出信号に与える影響を適切に補正できる。なお、眼電位補正部330は、ユーザ20の加速度又は角速度と、第1電極151、第2電極152及び第3電極153で検出された眼電位との履歴に基づいて統計的に決定された補正値を用いて、眼電位を補正してよい。
 なお、格納部360は、加速度又は角速度の複数の方向に対応づけて、眼電位を補正する補正値を示す情報を格納する。眼電位補正部330は、ユーザ20の加速度又は角速度の方向に対応づけて格納部360が格納している補正値を用いて、眼電位を補正する。これにより、加速度が眼電位の検出信号に与える影響を抑制できる。
 解析部350は、眼電位補正部330により補正された眼電位を解析する。具体的には、解析部350は、眼電位補正部330により補正された眼電位を用いて、眼電位補正部330により補正された眼電位が検出されたタイミングにおけるユーザ20の状態を特定する。ユーザ20の状態としては、ユーザ20の視線方向、瞬目状態等を例示できる。
 なお、解析部350は、特定したユーザ20の視線方向を解析して、ユーザ20の他の状態を特定してよい。また、解析部350は、視線方向及びユーザ20の瞬目状態を解析して、ユーザ20の他の状態を特定してよい。例えば、解析部350は、ユーザ20の他の状態として、ユーザ20に疲れが生じているか否かを判断してよい。UI部370は、解析部350により、ユーザ20に疲れが生じていると判断した場合、ユーザ20に警告を発してよい。
 スマートフォン40によれば、メガネ100に生じた加速度に応じて、眼電位を補正することができる。そのため、例えばユーザ20が運動等をすることによりユーザ20と第1電極151等の電極との間の接触状態が悪化した場合でも、ユーザ20の状態を適切に特定できる場合がある。
 図4は、メガネ100が有する眼電位検出用電極とユーザ20との位置関係を概略的に示す。図4には、ユーザ20がメガネ100を装着している場合において、眼電位検出用電極がユーザ20に接触する位置である接触位置が示されている。
 第1接触位置451は、第1電極151がユーザ20に接触する位置を表す。第2接触位置452は、第2電極152がユーザ20に接触する位置を表す。第3接触位置453は、第3電極153がユーザ20に接触する位置を表す。
 第1接触位置451及び第2接触位置452は、右眼の眼球401の角膜411の中心及び左眼の眼球402の角膜412の中心より、下側に位置する。
 第1接触位置451及び第2接触位置452は、第1接触位置451と眼球401との間の距離と、第2接触位置452と眼球402との間の距離とが略等しい位置にあることが望ましい。また、第1接触位置451及び第2接触位置452は、互いに一定の距離以上離間していることが望ましい。
 第3接触位置453は、右眼の眼球401の角膜411の中心及び左眼の眼球402の角膜412の中心より、上側に位置する。第3接触位置453の位置は、第3接触位置453と第1接触位置451との間の距離と、第3接触位置453と第2接触位置452との間の距離とが略等しくなる位置にあってよい。第3接触位置453は、第3接触位置453と眼球401との間の距離が、眼球401と第1接触位置451との間の距離より離間し、かつ、第3接触位置453と眼球402との間の距離が、眼球402と第2接触位置452との間の距離より離間する位置にあってよい。
 眼球においては、角膜側が正に帯電しており、網膜側が負に帯電している。したがって、ユーザ20の視線方向が上方に変化した場合、第3電極153を基準とした第1電極151の電位であるV1及び第3電極153を基準とした第2電極152の電位であるV2は、ともに低下する。ユーザ20の視線方向が下方に変化した場合、V1及びV2の電位はともに上昇する。ユーザ20の視線方向が右方に変化した場合、V1は低下し、V2は上昇する。ユーザ20の視線方向が左方に変化した場合、V1は上昇し、V2は低下する。解析部350は、V1の変化及びV2の変化に基づいて、視線方向が変化した方向を特定する。
 なお、処理部200は、V1及びV2を検出することにより、右眼の眼電位及び左眼の眼電位を測定する。そのため、眼電位に加わるノイズの影響を軽減できる。
 なお、ユーザ20の頭部を固定したとすると、ユーザ20の視線方向は、眼球401の向き及び眼球402の向きによって定まる。ユーザ20の視線方向は、ユーザ20の頭部の向きによっても変わるから、ユーザ20のグローバルな視線方向は、眼球401の向き、眼球401及びユーザ20の頭部の向きによって定まる。本実施形態の説明において、眼球401の向き及び眼球401の向きによって定まる視線方向のことを、単に視線方向という場合がある。
 ここで、ユーザ20の視線方向について説明する。眼球401がxz面内で回転することで角膜411の位置が変化すると、角膜411の位置に応じてV1が変化する。解析部350は、V1の変化量に基づいて、眼球401の回転方向の角度の変化量である角度変化量を特定する。解析部350は、変化前の眼球401の角度と、特定した角度変化量とに基づいて、回転後の眼球401の角度を特定する。このように、解析部350は、V1の時間変化に基づいて眼球401の向きを特定する。
 解析部350は、xy面内の角度と同様に、他の面内の回転角度を特定する。例えば、解析部350は、眼球401の角度に関する処理と同様の処理により、眼球402の角度を特定する。具体的には、解析部350は、V2の時間変化に基づいて、眼球402の向きを特定する。
 解析部350は、眼球401の向き及び眼球402の向きに基づいて、ユーザ20の視線方向を特定する。例えば、解析部350は、眼球401の向きのベクトルと、眼球402の向きのベクトルとを合成したベクトルが向く方向を、ユーザ20の視線方向として特定してよい。
 なお、眼球401の向き及び眼球402の向きは、ユーザ20の視線方向を表す指標の一例である。ユーザ20の視線方向とは、眼球401の向きのベクトル及び眼球402の向きのベクトル等から定まる1つの視線方向であってよい。すなわち、解析部350は、V1及びV2から、当該1つの視線方向を特定してよい。この場合、解析部350は、眼球401の向き及び眼球402の向きを特定することなく、V1の変化量及びV2の変化量に基づく予め定められた演算を行うことで、1つの視線方向を特定してよい。例えば、解析部350は、V1の変化量及びV2の変化量と1つの視線方向の変化量とを対応づける予め定められた演算を行うことで、1つの視線方向を特定してよい。
 ここでは視線方向を特定する場合について説明したが、眼球401の向きは、角膜411の位置と言い換えることができる。また、眼球402の向きを、角膜412の位置と言い換えることができる。また、眼球401の向きの変化を、眼球401の眼球運動と言い換えることができる。また、眼球402の向きの変化を、眼球運動と言い換えることができる。すなわち、解析部350は、メガネ100で検出された眼電位に基づき、ユーザ20の眼球運動を特定してよい。
 図5は、格納部360が格納している補正値の一例をテーブル形式で示す。補正テーブル610は、z方向の加速度Az用の補正値を表す。補正テーブル620は、y方向の加速度Ayの補正値を表す。補正テーブル630は、x方向の加速度Ax用の補正値を表す。格納部360は、補正テーブル610、補正テーブル620及び補正テーブル630の情報を格納する。ここで、A1及びA2は、正の値であり、A2は、A1より大きい。またここでは、補正値として、眼電位に乗算する補正係数を例に挙げて説明する。
 補正テーブル610に示されるように、格納部360は、Azに対応づけて、V1に対する補正値及びV2に対する補正値を格納する。例えば、格納部360は、Azが-A2未満である場合のV1の補正値及びV2の補正値として、1.2を格納する。また、格納部360は、Azが-A2以上でありAzが-A1未満である場合のV1の補正値及びV2の補正値として、1.1を格納する。また、格納部360は、Azが-A1以上である場合のV1の補正値及びV2の補正値として、1.0を格納する。このように、同一の加速度Azに対応するV1に対する補正値とV2に対する補正値とは、同じであってよい。
 補正テーブル620に示されるように、格納部360は、Ayに対応づけて、V1に対する補正値及びV2に対する補正値を格納する。例えば、格納部360は、Ayが-A2未満である場合のV1の補正値及びV2の補正値として、1.3を格納する。また、格納部360は、Ayが-A2以上であり-A1未満である場合のV1の補正値及びV2の補正値として、1.1を格納する。また、格納部360は、Ayが-A1以上でありA1以下である場合のV1の補正値及びV2の補正値として、1.0を格納する。また、格納部360は、AyがA1より大きくA2以下である場合のV1の補正値及びV2の補正値として、1.1を格納する。格納部360は、AyがA2を超える場合のV1の補正値及びV2の補正値として、1.3を格納する。このように、同一の加速度Ayに対応するV1に対する補正値とV2に対する補正値とは、同じであってよい。
 補正テーブル630に示されるように、格納部360は、Axに対応づけて、V1に対する補正値及びV2に対する補正値を格納する。例えば、格納部360は、Axが-A2未満である場合のV1の補正値として、1.0を格納する。格納部360は、Axが-A2未満である場合のV2の補正値として、1.1を格納する。また、格納部360は、Axが-A2以上であり-A1未満である場合のV1の補正値として、1.0を格納する。格納部360は、Axが-A2以上であり-A1未満である場合のV2の補正値として、1.05を格納する。このように、同一の加速度Axに対応するV1に対する補正値と、V2に対する補正値とを異ならせてよい。また、格納部360は、Axが-A1以上でありA1以下である場合のV1の補正値及びV2の補正値として、1.0を格納する。また、格納部360は、AxがA1より大きくA2以下である場合のV1の補正値として、1.05を格納する。格納部360は、AxがA1より大きくA2以下である場合のV2の補正値として、1.0を格納する。また、格納部360は、AxがA2を超える場合のV1の補正値として、1.1を格納する。格納部360は、AxがA2を超える場合のV2の補正値として、1.0を格納する。このように、同一の加速度Axに対応するV1に対する補正値と、V2に対する補正値とを異ならせてよい。
 眼電位補正部330は、各加速度に対応する補正値を眼電位に乗じた値を、補正値として算出する。例えば、Ax、Ay及びAzがそれぞれA2以上である場合、眼電位補正部330は、V1及び各加速度に対応する補正値である1.0、1.3及び1.1を乗算して、V1に対する補正値として1.43を決定する。そして、眼電位補正部330は、決定した補正値1.43をV1に乗算することにより、V1を補正する。また、V2については、Ax、Ay及びAzがそれぞれA2以上である場合、眼電位補正部330は、V2及び各加速度に対応する補正値である1.0、1.3及び1.0を乗算して、V2に対する補正値として1.3を決定する。そして、眼電位補正部330は、決定した1.3をV2に乗算することにより、V2を補正する。
 なお、格納部360は、加速度に対応づけた補正値を、ユーザ20の運動形態毎に格納してよい。例えば、格納部360は、本図で例示した補正テーブル610、補正テーブル620及び補正テーブル630と同様の補正テーブルとして、ランニング、ウォーキング、ゴルフスイング、バットスイング、サイクリング等のそれぞれの運動形態毎に格納してよい。そして、眼電位補正部330は、ユーザ20の現在の運動形態に対応して格納されている補正テーブルを用いて、眼電位を補正してよい。なお、ユーザ20の現在の運動形態は、ユーザ20がスマートフォン40に対して指定することで特定されてよい。例えば、ユーザ20がスマートフォン40でランニング解析用ソフトウエアを起動した場合に、ユーザ20の運動形態がランニングの運動形態であると判断してよい。また、ユーザ20の運動形態は、メガネ100で検出された加速度及び角速度の少なくとも一方に基づいて、スマートフォン40が特定してよい。
 図6は、眼電位及び加速度の時間発展の一例を概略的に示す。ここでは、V1、V2と、z方向の加速度Az、x方向の加速度Ax及びy方向の加速度Ayの時間発展の一例を概略的に示す。
 グラフ601は、V1の時間発展を示す。グラフ602は、V2の時間発展を示す。グラフ611は、Azの時間発展を示す。グラフ612は、Axの時間発展を示す。グラフ613は、Ayの時間発展を示す。グラフ601、グラフ602、グラフ611、グラフ612及びグラフ613の横軸は、時間を表す。グラフ601の縦軸はV1を表す。グラフ602の縦軸はV2を表す。グラフ611の縦軸はAzを表す。グラフ612の縦軸はAxを表す。グラフ613の縦軸は、Ayを表す。
 図示されるように、時刻t1から時刻t2までの期間で、V1及びV2に実質的な変化が生じている。時刻t1から時刻t2までの期間においては、Az、Ay及びAxのいずれも、-A1以上A1以下である。そのため、眼電位補正部330は、V1に対する補正値として1.0を決定する。補正値が1.0の場合、眼電位補正部330は、V1に対する補正を行わなくてよい。解析部350は、時刻t1から時刻t2までの期間におけるV1の変化方向及びV2の変化方向に基づいて、この期間内でユーザ20の視線方向が左方に変化したと判断する。また、解析部350は、この期間内のV1の変化量及びV2の変化量に基づいて、この期間内でユーザ20の視線方向が左方に変化した角度を特定する。
 また、時刻t3から時刻t4までの期間で、V1及びV2に実質的な変化が生じている。時刻t3から時刻t4までの期間においては、Az及びAyがそれぞれA2より大きく、Axが-A1以上A1以下である。そのため、眼電位補正部330は、V1に対する補正値として1.3を決定する。また、眼電位補正部330は、V2に対する補正値として1.3を決定する。
 そして、眼電位補正部330は、時刻t3から時刻t4までの期間に検出されたV1に補正値1.3を乗ずることにより、V1を補正する。また、眼電位補正部330は、時刻t3から時刻t4までの期間に検出されたV2に補正値1.3を乗ずることにより、V2を補正する。補正値による補正後のV1がV1'で示され、補正値による補正後のV2がV2'で示されている。
 解析部350は、時刻t3から時刻t4までの期間におけるV1'の変化方向及びV2'の変化方向に基づいて、この期間内でユーザ20の視線方向が右方に変化したと判断する。また、解析部350は、この期間内におけるV1'の変化量及びV2'の変化量に基づいて、この期間内でユーザ20の視線方向が右方に変化した角度を特定する。解析部350は、時刻t1から時刻t2までの期間のV1及びV2に基づいて特定した視線方向から、時刻t3から時刻t4までの期間におけるV1'の変化量及びV2'の変化量に応じた角度だけ、ユーザ20の視線方向が右方に変化したと判断する。
 なお、図5及び図6に関連して、加速度に対応するV1の補正値及びV2の補正値に基づいて、V1及びV2を補正する場合について説明した。角速度についても同様に、角速度に対応するV1の補正値及びV2の補正値に基づいて、V1及びV2を補正できる。具体的には、格納部360は、角速度に対応づけてV1の補正値及びV2の補正値を格納しており、眼電位補正部330は、検出された角速度に対応づけて格納部360に格納されているV1の補正値及びV2の補正値を用いて、V1及びV2を補正する。なお、格納部360は、加速度及び角速度の組合せに対応づけてV1の補正値及びV2の補正値を格納しており、眼電位補正部330は、検出された加速度及び角速度の組合せに対応づけて格納部360に格納されているV1の補正値及びV2の補正値を用いて、V1及びV2を補正してよい。
 図7は、スマートフォン40において実行される処理を表すフローチャートを示す。本フローチャートで示される処理は、スマートフォン40で眼電位に関する情報処理を実行することが指示された場合に、開始される。例えば、スマートフォン40において、メガネ100で検出された眼電位を解析するソフトウエアが起動された場合に、本フローチャートで示される処理が開始する。例えば、本フローチャートは、ランニング解析用ソフトウエアが起動された場合に、開始される。
 ステップS700において、送受信部380は、メガネ100から連続的に送信される眼電位の時系列データ、加速度の時系列データ及び角速度の時系列データの受信を開始する。
 続いて、ステップS702において、視線方向を検出するための較正処理を行う。例えば、ステップS720において、UI部370は、正面を見るようユーザ20に指示する。UI部370は、例えば、正面を見ることを指示する画面を表示する。続いて、解析部350は、ユーザ20に正面を見るよう指示した後の時刻で検出されたV1の大きさ及びV2大きさがそれぞれ予め定められた閾値以下になった時刻において、ユーザ20の視線方向が正面を向いていると判断する。これにより、解析部350は、ユーザ20の現在の視線方向の初期値を設定する。
 続いて、ステップS704において、UI部370は、較正が終了した旨をユーザ20に通知する。例えば、UI部370は、較正が完了して、眼電位の解析を開始することを示す画面を表示する。
 続いて、ステップS712において、眼電位補正部330は、解析対象の時間における加速度及び角速度に基づいて補正値を決定して、V1'及びV2'を算出する。続いて、ステップS720において、解析対象の時間でV1'又はV2'が変化したか否かを判断する。ステップS720でV1'又はV2'が変化したと判断した場合は、ステップS722に処理を移行する。ステップS720でV1'及びV2'のいずれも変化していないと判断した場合は、ステップS724に処理を移行する。
 ステップS722において、V1'の変化量及びV2'の変化量に基づいて、ユーザ20の眼に関する状態を判断する。具体的には、解析部350は、現在設定されている視線方向と、V1'の変化量及びV2'の変化量に基づいて、新たな視線方向を特定する。これにより、ユーザ20の現在の視線方向が更新される。また、ステップS722において、解析部350は、V1'の変化量又はV2'の変化量に基づいて、瞬目の有無を判断する。
 続いて、ステップS724において、解析部350は、特定した現在のユーザ20の視線方向及び瞬目の判断結果等に基づいてユーザ20の状態を解析して、解析結果に応じた処理を行う。ステップS724において、解析部350は、視線方向の変化の履歴や瞬目の頻度等に基づいて、ユーザ20に疲れが生じているか否かを判断して、ユーザ20に疲れが生じていると判断した場合、UI部370を通じてユーザ20に警告を発する。
 続いて、ステップS730において、処理部300は、眼電位に関する情報処理を終了するか否かを判断する。例えば、スマートフォン40において、眼電位を解析するソフトウエアを終了する指示があった場合に、眼電位に関する情報処理を終了すると判断する。ステップS730で眼電位に関する情報処理を終了すると判断した場合は、終了処理を行って(ステップS732)、本フローチャートの処理を終了する。ステップS730で眼電位に関する情報処理を終了しないと判断した場合は、解析対象の時間を進めて(ステップ734)、ステップS710に処理を移行する。
 なお、V1及びV2の補正に用いる補正値は、メガネ100で過去に検出された加速度及び角速度の少なくとも一方とV1及びV2とに基づいて、統計的に算出された補正値であってよい。例えば、格納部360は、過去にメガネ100で検出された加速度と眼電位の変化量とを対応づけた履歴情報を格納する。眼電位補正部330は、格納部360に格納されている履歴情報に基づいて、各加速度に対応する補正値を算出する。
 例えば、眼電位補正部330は、履歴情報に基づいて、-A1以上A1以下の加速度Azが検出されたときのV1の変化量の平均値を、V1の標準値として算出する。また、眼電位補正部330は、履歴情報に基づいて、-A2より小さいAzが検出されたときのV1の変化量の平均値を算出する。眼電位補正部330は、上述したV1の標準値を、-A2より小さいAzが検出されたときのV1の変化量の平均値で除した値を、Azが-A2より小さい場合のV1に対する補正値として算出して、Azが-A2より小さい場合に検出されたV1の補正に用いる。他の加速度の範囲についても、同様の処理によって、各加速度の範囲におけるV1に対する補正値が算出される。Ay及びAxについてもAzと同様の処理により補正値が算出される。また、V2についても、V1と同様の処理により、各加速度の範囲におけるV2に対する補正値が算出される。
 なお、図5、図6及び図7に係る説明では、眼電位の補正処理を分かり易く説明することを目的として、眼電位補正部330が、補正係数等の補正値を用いて眼電位を補正する場合を説明した。しかし、眼電位補正部330は、補正係数以外の様々な補正値を用いて、眼電位を補正してよい。補正値とは、補正係数、補正関数等の様々な補正パラメータを含む概念である。例えば、補正値とは、眼電位の大きさ及び眼電位の波形形状を補正する補正関数であってよい。眼電位の波形形状は、眼電位の波形の時間方向の広がりを用いて表されてよい。また、補正値とは、眼電位の周波数分解することにより得られた周波数成分を補正する、周波数成分に対する補正値であってよい。
 以上に説明した眼電位情報処理システム10においては、V1及びV2を演算する処理は、処理部200が行う。これに代えて、スマートフォン40の解析部350が、V1及びV2を演算する処理を行ってよい。この場合、処理部200は、第1眼電位、第2眼電位及び第3眼電位のそれぞれの時系列データを生成し、送受信部280が第1眼電位、第2眼電位及び第3眼電位のそれぞれの時系列データをスマートフォン40に送信してよい。
 また、以上に説明した眼電位情報処理システム10では、解析部350は、V1及びV2を用いて、ユーザ20の視線方向等のユーザ20の状態を特定する。他にも、解析部350は、V1及びV2の任意の線形結合を用いて、ユーザ20の状態を特定してよい。例えば、解析部350は、V1+V2と、V1-V2とを用いて、ユーザ20の状態を特定してよい。また、解析部350は、V1の時間微分と、V2の時間微分とを用いて、ユーザ20の状態を特定してもよい。また、解析部350は、視線方向を特定するための眼電位として、以上に説明したV1及びV2に代えて、接地電極154等の電位等の予め定められた基準電位を基準とした第1眼電位と、接地電極154の電位を基準とした第2眼電位とを適用してよい。
 なお、処理部200が、メガネ100で検出されたユーザ20の眼電位を取得する眼電位取得部としての機能と、加速度を取得する加速度取得部としての機能と、角速度を取得する角速度取得部としての機能と、眼電位補正部330の機能とを有してよい。また、処理部200が、解析部350の機能を更に有してよい。
 なお、加速度を検出する機能は、スマートフォン40が有してよい。角速度を検出する機能は、スマートフォン40が有してよい。
 上記の説明において、スマートフォン40において処理部300、送受信部380の動作として説明した処理は、処理部300、送受信部380等のプロセッサがプログラムに従ってスマートフォン40が有する各ハードウェアを制御することにより実現される。このように、本実施形態のスマートフォン40に関連して説明した、スマートフォン40の少なくとも一部の処理は、プロセッサがプログラムに従って動作して各ハードウェアを制御することにより、プロセッサ、メモリ等を含む各ハードウェアとプログラムとが協働して動作することにより実現することができる。すなわち、当該処理を、いわゆるコンピュータによって実現することができる。コンピュータは、上述した処理の実行を制御するプログラムをロードして、読み込んだプログラムに従って動作して、当該処理を実行してよい。コンピュータは、当該プログラムを記憶しているコンピュータ読取可能な記録媒体から当該プログラムをロードすることができる。同様に、メガネ100において処理部200の動作として説明した処理は、いわゆるコンピュータによって実現することができる。
 なお、スマートフォン40は、メガネ100で検出された眼電位の情報を処理する眼電位情報処理装置の一例である。眼電位情報処理装置としては、通信機能を有する情報処理装置であってよい。眼電位情報処理装置は、ユーザ20が所持する携帯電話機、携帯情報端末、携帯音楽プレーヤ等の携帯型の電子機器であってよい。
 なお、アイウエアの一例としてのメガネ100は、ユーザ20の目の屈折異常を補正したり、ユーザ20の目を保護したり、着飾ったりすること等を目的として利用され得る。しかし、アイウエアはメガネに限定されない。アイウエアは、サングラス、ゴーグル、ヘッドマウントディスプレイなどの顔面装着具または頭部装着具であってよい。アイウエアは、顔面装着具または頭部装着具のフレームまたは当該フレームの一部であってもよい。アイウエアは、ユーザに装着され得る装着具の一例である。装着具は、アイウエア等の眼に関連する装着具に限られない。装着具としては、帽子、ヘルメット、ヘッドフォン、補聴器等の様々な部材を適用できる。
 以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、請求の範囲の記載から明らかである。
 請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
10 眼電位情報処理システム
100 メガネ
20 ユーザ
40 スマートフォン
110 レンズ
120 フレーム
122 リム
124 ブリッジ
126 ヨロイ
130 テンプル
132 モダン
141 右ノーズパッド
142 左ノーズパッド
151 第1電極
152 第2電極
153 第3電極
154 接地電極
160 電線部
180 処理ユニット
190 電源ユニット
200 処理部
260 角速度検出部
270 加速度検出部
280 送受信部
290 基板部
300 処理部
310 眼電位取得部
320 加速度取得部
322 角速度取得部
330 眼電位補正部
350 解析部
360 格納部
370 UI部
380 送受信部
390 電源部
401、402 眼球
411、412 角膜
451 第1接触位置
452 第2接触位置
453 第3接触位置
601、602、611、612、613 グラフ
610、620、630 補正テーブル

Claims (10)

  1.  ユーザに装着された眼電位検出部で検出されたユーザの眼電位を取得する眼電位取得部と、
     前記眼電位取得部が取得した前記眼電位を、前記ユーザの加速度又は角速度に基づいて補正する眼電位補正部と、
     前記眼電位補正部により補正された前記眼電位を解析する解析部と
    を備える眼電位情報処理装置。
  2.  前記眼電位取得部は、ユーザが装着している装着具に設けられた前記眼電位検出部で検出された前記ユーザの眼電位を取得する
    請求項1に記載の眼電位情報処理装置。
  3.  前記眼電位取得部は、ユーザが装着しているアイウエアに設けられた前記眼電位検出部で検出された前記ユーザの眼電位を取得する
    請求項1または2に記載の眼電位情報処理装置。
  4.  前記眼電位補正部は、前記ユーザの前記加速度又は前記角速度の大きさが大きいほど、前記眼電位を大きく補正する
    請求項1から3のいずれか一項に記載の眼電位情報処理装置。
  5.  加速度又は角速度の複数の方向に対応づけて、眼電位を補正する補正値を示す情報を格納する格納部
    をさらに備え、
     前記眼電位補正部は、前記ユーザの前記加速度又は前記角速度の方向に対応づけて前記格納部が格納している前記補正値を用いて、前記眼電位を補正する
    請求項1から4のいずれか一項に記載の眼電位情報処理装置。
  6.  前記眼電位補正部は、前記ユーザの前記加速度又は前記角速度と、前記眼電位検出部で検出された前記眼電位との履歴に基づいて統計的に決定された補正値を用いて、前記眼電位を補正する
    請求項1から5のいずれか一項に記載の眼電位情報処理装置。
  7.  前記解析部は、前記眼電位補正部により補正された前記眼電位を用いて、前記眼電位補正部により補正された前記眼電位が検出されたタイミングにおける前記ユーザの状態を特定する
    請求項1から6のいずれか一項に記載の眼電位情報処理装置。
  8.  請求項1から7のいずれか一項に記載の眼電位情報処理装置と、
     前記ユーザに装着される装着具と
    を備え、
     前記装着具は、
     前記眼電位検出部と、
     前記眼電位検出部で検出された前記眼電位を示す情報を、前記眼電位情報処理装置へ送信する送信部と
    を有する眼電位情報処理システム。
  9.  装着具であって、
     前記装着具を装着している装着者の眼電位を検出する眼電位検出部と、
     前記眼電位検出部で検出された前記眼電位を、前記装着者の加速度又は角速度に基づいて補正する眼電位補正部と、
     前記眼電位補正部により補正された前記眼電位を解析する解析部と
    を備える装着具。
  10.  コンピュータを、
     ユーザに装着された眼電位検出部で検出されたユーザの眼電位を取得する眼電位取得部、
     前記眼電位取得部が取得した前記眼電位を、前記ユーザの加速度又は角速度に基づいて補正する眼電位補正部、
     前記眼電位補正部により補正された前記眼電位を解析する解析部
    として機能させるためのプログラム。
PCT/JP2015/061368 2014-04-14 2015-04-13 眼電位情報処理装置、眼電位情報処理システム、装着具及びプログラム WO2015159850A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-082984 2014-04-14
JP2014082984A JP2015202199A (ja) 2014-04-14 2014-04-14 眼電位情報処理装置、眼電位情報処理システム、装着具及びプログラム

Publications (1)

Publication Number Publication Date
WO2015159850A1 true WO2015159850A1 (ja) 2015-10-22

Family

ID=54324056

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/061368 WO2015159850A1 (ja) 2014-04-14 2015-04-13 眼電位情報処理装置、眼電位情報処理システム、装着具及びプログラム

Country Status (2)

Country Link
JP (1) JP2015202199A (ja)
WO (1) WO2015159850A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6538203B2 (ja) * 2016-01-15 2019-07-03 アルプスアルパイン株式会社 眼電位キャリブレーション装置、眼鏡型電子機器、眼電位キャリブレーション方法およびプログラム
JP6342440B2 (ja) * 2016-03-04 2018-06-13 株式会社東芝 眼球運動検出装置、眼球運動検出方法、およびアイウエア
JP6535123B2 (ja) * 2018-05-09 2019-06-26 株式会社東芝 眼球運動検出装置及び眼球運動検出方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012126809A1 (en) * 2011-03-18 2012-09-27 Sensomotoric Instruments Gmbh Optical measuring device and system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012126809A1 (en) * 2011-03-18 2012-09-27 Sensomotoric Instruments Gmbh Optical measuring device and system

Also Published As

Publication number Publication date
JP2015202199A (ja) 2015-11-16

Similar Documents

Publication Publication Date Title
KR101434823B1 (ko) 아이웨어
EP3189371A1 (en) Computerized replacement temple for standard eyewear
US9946340B2 (en) Electronic device, method and storage medium
CN106455970A (zh) 护目镜
WO2015159853A1 (ja) 眼電位情報処理装置、眼電位情報処理システム、装着具及びプログラム
US20180064371A1 (en) Posture detection apparatus, glasses-type electronic device, posture detection method, and program
KR102353762B1 (ko) 사용자의 머리에 착용되는 자세 센서의 전후 좌우 방향 결정 방법
WO2015159850A1 (ja) 眼電位情報処理装置、眼電位情報処理システム、装着具及びプログラム
WO2015159861A1 (ja) 検出制御装置、装着具、眼電位情報処理システム、及びプログラム
US11029754B2 (en) Calibration method, portable device, and computer-readable storage medium
WO2015159851A1 (ja) 検出ユニット、アイウエア、及び眼電位検出システム
EP3586733B1 (en) Information processing method, information processing device, and program
JP2015213734A (ja) プログラム、情報処理装置、及びアイウエア
JP2019195591A (ja) 生体情報検出装置、アイウェア、およびアイウェアシステム
JPWO2017077601A1 (ja) 情報処理方法、情報処理装置、プログラム及びアイウエア
JP2015202198A (ja) アイウエア
JP6266417B2 (ja) 情報処理装置、情報処理システム、及びプログラム
JP7170258B2 (ja) ウェアラブルデバイス対応眼電位データ処理装置、それを備えた眼鏡型ウェアラブルデバイス、及びウェアラブルデバイス対応眼電位データ処理方法
JP5919323B2 (ja) 瞬き検出装置及び眼鏡型電子機器
JP2017227941A (ja) プログラム、情報処理装置、及びアイウエア
WO2017150148A1 (ja) 瞬目検出装置、眼鏡型電子機器、瞬目検出方法およびプログラム
JP2018010329A (ja) プログラム、情報処理装置、及びアイウエア
JP5689206B1 (ja) アイウエア
US20240211045A1 (en) Techniques For Selecting Skin-Electrode Interface Modulation Modes Based On Sensitivity Requirements And Providing Adjustments At The Skin-Electrode Interface To Achieve Desired Sensitivity Needs And Systems And Methods Of Use Thereof
JP6557582B2 (ja) 人体電位検出装置、眼鏡型電子機器、人体電位検出方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15780526

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15780526

Country of ref document: EP

Kind code of ref document: A1