WO2017077601A1 - 情報処理方法、情報処理装置、プログラム及びアイウエア - Google Patents

情報処理方法、情報処理装置、プログラム及びアイウエア Download PDF

Info

Publication number
WO2017077601A1
WO2017077601A1 PCT/JP2015/081055 JP2015081055W WO2017077601A1 WO 2017077601 A1 WO2017077601 A1 WO 2017077601A1 JP 2015081055 W JP2015081055 W JP 2015081055W WO 2017077601 A1 WO2017077601 A1 WO 2017077601A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
biological
electrode
electrooculogram
unit
Prior art date
Application number
PCT/JP2015/081055
Other languages
English (en)
French (fr)
Inventor
泰生 菰田
Original Assignee
株式会社ジェイアイエヌ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ジェイアイエヌ filed Critical 株式会社ジェイアイエヌ
Priority to JP2017548562A priority Critical patent/JP6687639B2/ja
Priority to PCT/JP2015/081055 priority patent/WO2017077601A1/ja
Publication of WO2017077601A1 publication Critical patent/WO2017077601A1/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/25Bioelectric electrodes therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/25Bioelectric electrodes therefor
    • A61B5/279Bioelectric electrodes therefor specially adapted for particular uses
    • A61B5/291Bioelectric electrodes therefor specially adapted for particular uses for electroencephalography [EEG]

Definitions

  • the present invention relates to an information processing method, an information processing apparatus, a program, and eyewear.
  • each electrode when acquiring each electro-oculogram signal using a plurality of electrodes, each electrode has the following problems. For example, when the electrode and the skin are not sufficiently in contact, the contact resistance caused by the contact between the electrode and the skin becomes unstable. Due to this unstable contact resistance, an electrooculogram signal cannot be acquired properly. Note that this problem occurs not only in the electrooculogram signal but also in the biological signal. Further, the contact between the electrode and the skin is not limited to direct contact, but includes indirect contact via cosmetics or gel.
  • the disclosed technology aims to acquire an appropriate biological signal when acquiring each biological signal from a plurality of electrodes whose contact resistance may become unstable.
  • An information processing method is an information processing method executed by a computer having a control unit, and the control unit includes a plurality of biological electrodes having symmetrical positions with respect to a detection target of a biological signal. From each of the obtained biological signals, the first biological signal having the largest fluctuation within a predetermined period is specified, and the absolute value of the first biological signal within the predetermined period And correcting other biological signals within the predetermined period.
  • an appropriate biological signal can be acquired when acquiring each biological signal from a plurality of electrodes whose contact resistance may become unstable.
  • an electrooculogram signal is taken as an example of a biological signal
  • a pair of nose pads provided on the glasses is taken as an example of the position of an electrode that can theoretically measure a similar signal.
  • FIG. 1 is a perspective view illustrating an example from the front of the glasses 100 according to the embodiment.
  • FIG. 2 is a perspective view illustrating an example from the rear of the glasses 100 in the embodiment.
  • the glasses 100 include a lens 110 and a frame 120. Glasses 100 and frame 120 are examples of eyewear.
  • the frame 120 supports a pair of lenses 110.
  • the frame 120 includes a rim 122, an eyebrow portion (for example, a bridge) 124, an armor 126, a hinge 128, a temple 130, a modern 132, a pair of nose pads 140, a first electrode 152, and a second electrode. 154, a third electrode 156, an electric wire (not shown), a processing device 200, and an amplification unit 250.
  • the pair of nose pads 140 includes a right nose pad 142 and a left nose pad 144.
  • the rim 122, the armor 126, the hinge 128, the temple 130, and the modern 132 are provided in a pair on the left and right.
  • the rim 122 holds the lens 110.
  • the armor 126 is provided outside the rim 122 and holds the temple 130 rotatably with a hinge 128.
  • the temple 130 presses the upper part of the user's ear to pinch this part.
  • the modern 132 is provided at the tip of the temple 130.
  • the modern 132 contacts the upper part of the user's ear.
  • the modern 132 is not necessarily provided in the glasses 100.
  • the first electrode 152 and the second electrode 154 are provided on the respective surfaces of the pair of nose pads 140 and detect the electrooculogram.
  • the first electrode 152 is provided on the right nose pad 142
  • the second electrode 154 is provided on the left nose pad 144.
  • the first electrode 152 detects the electrooculogram of the user's right eye.
  • the second electrode 154 detects the electrooculogram of the user's left eye.
  • the electrode for detecting the electrooculogram is provided on the surface of the nose pad that inevitably contacts the skin of the user. Thereby, the burden given to a user's skin can be reduced compared with making a pair of electrodes contact the circumference
  • the third electrode 156 is provided on the surface of the interbrow portion 124 and detects an electrooculogram.
  • the ground electrode (not shown) may not be provided, or may be provided on the surface of the modern 132. When the glasses 100 do not have the modern 132, the ground electrode is provided at the tip of the temple 130.
  • the potential detected by the first electrode 152, the second electrode 154, and the third electrode 156 may be based on the potential detected by the ground electrode.
  • the processing apparatus 200 may be provided in the temple 130, for example. Thus, the design when the glasses 100 are viewed from the front is not impaired.
  • the installation position of the processing apparatus 200 is not necessarily the temple 130, but may be positioned in consideration of the balance when the glasses 100 are worn.
  • the processing device 200 is connected to the amplifying unit 250 via an electric wire. Note that the processing device 200 and the amplifying unit 250 may be connected via wireless.
  • the amplification unit 250 is provided in the vicinity of the first electrode 152, the second electrode 154, and the third electrode 156, and is connected to each amplification target electrode via an electric wire.
  • the amplifying unit 250 acquires an electrooculogram signal indicating the electrooculogram detected by each electrode.
  • the amplification unit 250 amplifies an electrooculogram signal indicating an electrooculogram detected by the first electrode 152, the second electrode 154, and the third electrode 156.
  • the amplification unit 250 may perform addition / subtraction processing on each electrooculogram signal before or after amplification.
  • the amplifying unit 250 may obtain a reference ocular potential signal indicating the potential of the first electrode 152 with respect to the third electrode 156.
  • the amplifying unit 250 may obtain a reference ocular potential signal indicating the potential of the second electrode 154 with respect to the third electrode 156.
  • the signal amplified or processed by the amplification unit 250 is output to the processing device 200.
  • External device 300 is an information processing device having a communication function.
  • the external device 300 is a mobile communication terminal such as a mobile phone or a smartphone possessed by the user, a personal computer, or the like.
  • the external device 300 executes processing based on the electrooculogram signal received from the transmission unit 220 illustrated in FIG.
  • the external device 300 detects blinks and eye movements from the received electrooculogram signal.
  • the external device 300 issues a warning for preventing a doze when detecting that the number of blinks of the user has increased. Details of the external device 300 will be described later. Further, the external device 300 may be able to operate an application based on the detected line-of-sight movement.
  • the external device 300 may acquire a determination result from the processing device 200 and perform processing based on the determination result.
  • the predetermined determination is, for example, blinking or line-of-sight movement.
  • FIG. 3 is a block diagram illustrating an example of the processing apparatus 200 in the embodiment.
  • the processing device 200 includes a processing unit 210, a transmission unit 220, and a power supply unit 230.
  • the first electrode 152, the second electrode 154, and the third electrode 156 are connected to the processing unit 210 via, for example, the amplification unit 250.
  • each part of the processing apparatus 200 may be provided in a pair of temples instead of being provided in one temple.
  • the processing unit 210 includes, for example, a processor and a memory, and acquires and processes the amplified electrooculogram signal from the amplification unit 250.
  • the processing unit 210 may process a reference electrooculogram signal indicating the potential of the first electrode 152 with respect to the third electrode 156.
  • standard” for convenience of explanation, it is contained in an electrooculogram signal as a concept.
  • the processing unit 210 may process a reference electrooculogram signal indicating the potential of the second electrode 154 with respect to the third electrode 156.
  • the processing unit 210 performs processing so as to obtain an electrooculogram signal indicating the vertical and / or horizontal movement of the eye based on the electrooculogram detected from each electrode in the right eye and the left eye. May be.
  • the processing unit 210 subtracts the potential of the second electrode 154 from the potential of the first electrode 152 to generate a vertical electrooculogram signal, or the potential of the first electrode 152 and the potential of the second electrode 154 Alternatively, the horizontal electrooculogram signal may be generated.
  • the processing unit 210 when the acquired electrooculogram signal is not digitized, the processing unit 210 performs the digitization process or increases or decreases the electrooculogram signal when the electrooculogram signal amplified from each electrode is acquired. Process. In addition, the processing unit 210 may transmit the electrooculogram signal acquired from the amplification unit 250 to the transmission unit 220 as it is.
  • the transmission unit 220 transmits the electrooculogram signal processed by the processing unit 210 to the external device 300.
  • the transmission unit 220 transmits an electrooculogram signal to the external device 300 by wireless communication such as Bluetooth (registered trademark) and wireless LAN, or wired communication.
  • the power supply unit 230 supplies power to the processing unit 210, the transmission unit 220, and the amplification unit 250.
  • FIG. 4 is a diagram schematically showing the contact position of the electrode with respect to the user.
  • the first contact position 452 represents the contact position of the first electrode 152.
  • the second contact position 454 represents the contact position of the second electrode 154.
  • the third contact position 456 represents the contact position of the third electrode 156.
  • a horizontal center line 460 represents a horizontal center line connecting the center of the right eye 402 and the center of the left eye 404.
  • the vertical center line 462 represents a center line orthogonal to the horizontal center line 460 at the center of the right eye 402 and the left eye 404.
  • first contact position 452 and the second contact position 454 are located below the horizontal center line 460. Further, it is desirable that the first contact position 452 and the second contact position 454 are arranged so that the line connecting the centers of the first contact position 452 and the second contact position 454 is parallel to the horizontal center line 460.
  • first contact position 452 and the second contact position 454 are desirably arranged so that the distance from the first contact position 452 to the right eye 402 and the distance between the second contact position 454 and the left eye 404 are equal. . Further, it is desirable that the first contact position 452 and the second contact position 454 are separated from each other by a certain distance or more.
  • the third contact position 456 is located on the vertical center line 462.
  • the third contact position 456 is preferably located above the horizontal center line 460 and away from the first contact position 452 and the second contact position 454.
  • the distance between the third contact position 456 and the right eye 402 is separated from the distance between the right eye 402 and the first contact position 452, and the distance from the left eye 404 is the second contact with the left eye 404.
  • the distance from the position 454 may be greater than the distance.
  • the eyeball is positively charged on the corneal side and negatively charged on the retinal side. Therefore, when the line of sight moves upward, the potential of the first electrode 152 with respect to the third electrode 156 and the potential of the second electrode 154 with respect to the third electrode 156 become negative. When the line of sight moves downward, the potential of the first electrode 152 with respect to the third electrode 156 and the potential of the second electrode 154 with respect to the third electrode 156 become positive.
  • the influence of noise can be suitably reduced.
  • the inter-brow portion 124 may be disposed at or near the upper end of the rim 122. Further, the third electrode 156 may be provided above the center of the eyebrow portion 124. In this case, it is desirable to adopt the eyebrow portion 124 having a wide vertical width as the arrangement position of the third electrode 156.
  • the processing unit 210 detects the third electrode based on the reference electrode from the potential of the first electrode 152 based on the reference electrode. The potential of 156 may be reduced. Similarly, instead of detecting the potential of the second electrode 154 with respect to the third electrode 156, the processing unit 210 detects the potential of the second electrode 154 with respect to the reference electrode as a reference. The potential of the three electrodes 156 may be reduced.
  • a ground electrode may be used as the reference electrode.
  • a reference electrode may be separately provided in the glasses 100 at a position away from the first electrode 152, the second electrode 154, and the third electrode 156.
  • the reference electrode may be provided on the modern 132 on the right side.
  • the reference electrode may be provided at a portion of the right temple 130 that is in contact with the user's skin.
  • the process of subtracting the potential of the third electrode 156 from the potential of the first electrode 152 relative to the reference electrode and the process of subtracting the potential of the third electrode 156 from the potential of the second electrode 154 relative to the reference electrode are as follows:
  • the processing unit 210 may execute, or the amplification unit 250 or the external device 300 may execute.
  • the signal indicating the potential to be processed is amplified by the amplification unit 250.
  • FIG. 5 is a diagram illustrating an example of a configuration of the amplification unit 250 in the embodiment.
  • the amplification unit 250 includes a first amplifier 260 and a second amplifier 270.
  • the first amplifier 260 is an amplifier that is positioned in front of the second amplifier 270 and functions as a buffer amplifier.
  • the first amplifier 260 is also referred to as a buffer amplifier 260.
  • the second amplifier 270 is an amplifier that functions as a main amplifier.
  • the second amplifier 270 is also referred to as a main amplifier 270.
  • the signal amplified by the main amplifier 270 is output to the processing device 200 by wire or wireless.
  • the installation position of the amplifying unit 250 is desirably the portion 124 between the eyebrows.
  • the amplification unit 250 may be provided so as to be embedded in the eyebrow portion 124.
  • the installation positions of the electrodes depend on the shape of the frame 120, there is a limit even if they are separated.
  • the potential difference between the electrodes may not be sufficiently large, and if noise is mixed in an electrooculogram signal indicating a small potential detected at each electrode, a sufficiently accurate potential can be detected. It becomes difficult.
  • the amplification unit 250 is provided in the vicinity of the first electrode 152, the second electrode 154, and the third electrode 156 for the purpose of amplifying the detected electrooculogram signal before noise is mixed therein. It is done.
  • the amplifying unit 250 is preferably provided in the portion between the eyebrows 124 where the space is present in the frame 120 near each electrode. Thereby, while the electrooculogram signal detected by each electrode passes through the electric wire, it is possible to reduce the risk of noise being mixed and reducing the accuracy of the electrooculogram signal.
  • FIG. 6 is a diagram for explaining the reason why the buffer amplifier 260 is provided.
  • the example shown in FIG. 6 uses the third electrode 156, but the same applies to the first electrode 152 and the second electrode 154.
  • the third electrode 156 touches human skin when wearing the glasses 100, it may be considered that a resistance (contact resistance) R0 exists between the third electrode 156 and the ground. At this time, the resistance R 0 is, for example, several hundred k ⁇ . Further, the main amplifier 270, there is an internal resistance R 1. In this case, the use of conventional amplifier as a main amplifier 270, the internal resistance R 1 is the number 10 k.OMEGA ⁇ number 100 k.OMEGA.
  • a buffer amplifier 260 is provided at a position before the main amplifier 270 so that no current flows into the main amplifier 270 side.
  • FIG. 7 is a diagram illustrating another example of the configuration of the amplifying unit in the embodiment.
  • the amplifying unit shown in FIG. 7 is denoted by reference numeral 250A.
  • the amplification unit 250A includes a buffer amplifier 260, a main amplifier 270, an A / D conversion unit 280, and a wireless communication unit 290. Since the buffer amplifier 260 and the main amplifier 270 have the same functions as those shown in FIG. 5, the A / D conversion unit 280 and the wireless communication unit 290 will be mainly described below.
  • the A / D converter 280 converts the signal amplified by the main amplifier 270 from analog to digital.
  • the A / D conversion unit 280 outputs the digitally converted signal to the wireless communication unit 290.
  • the wireless communication unit 290 transmits the digital signal converted by the A / D conversion unit 280 to the processing device 200 using wireless communication. Therefore, the wireless communication unit 290 functions as a transmission unit.
  • the wireless communication unit 290 uses wireless communication such as Bluetooth (registered trademark) and wireless LAN.
  • the wireless communication unit 290 may directly transmit a digital signal to the external device 300.
  • one buffer amplifier 260 and one main amplifier 270 are provided.
  • the order of the electrooculogram signals from the electrodes may be determined and amplified.
  • a buffer amplifier 260 and a main amplifier 270 may be provided for each electrode.
  • FIG. 8 is a block diagram illustrating an example of the configuration of the external device 300 in the embodiment.
  • the external device 300 includes a communication unit 310, a storage unit 320, and a control unit 330.
  • the communication unit 310 is, for example, a communication interface, and receives an electrooculogram signal or the like by wireless communication such as Bluetooth (registered trademark) and wireless LAN, or wired communication.
  • the communication unit 310 outputs an electrooculogram signal or the like received from the transmission unit 204 of the processing device 200 to the storage unit 320 and / or the control unit 330.
  • the storage unit 320 is, for example, a RAM (Random Access Memory), and stores data relating to processing of an electrooculogram signal.
  • the storage unit 320 includes, for example, a signal storage unit 322, and the signal storage unit 322 stores the electrooculogram signals of the right eye and the left eye processed and / or processed by the control unit 330.
  • the storage unit 320 stores a program that causes a computer to execute signal correction processing described later.
  • This program may be installed in the external device 300 via the Internet or a recording medium such as an SD card, or may be preinstalled.
  • the storage unit that stores the program may be different from the storage unit 320.
  • the control unit 330 includes, for example, a CPU (Central Processing Unit) and a memory, and controls each unit and performs various arithmetic processes.
  • the control unit 330 includes at least an acquisition unit 332, a specification unit 334, a correction unit 336, a detection unit 338, a comparison unit 340, and an output unit 342.
  • the acquisition unit 332 acquires from the storage unit 320 or the communication unit 310 an electro-oculogram signal based on the electro-oculogram detected by each electrode that is in contact with the subject's eye periphery.
  • the acquired electrooculogram signal will be described by taking each electrooculogram signal from the first electrode 152 and the second electrode 154 as an example.
  • each electrooculogram signal may be each electrooculogram signal from the first electrode 152 and the second electrode 154 based on, for example, the third electrode 156 or the ground electrode.
  • each electrode that is in contact with the subject's eye periphery is provided at a position where the absolute value of each detected electrooculogram signal is theoretically substantially the same.
  • the first electrode 152 and the second electrode 154 provided on the pair of nose pads 140 are provided at positions where the absolute values of the detected electrooculogram signals are theoretically substantially the same. It corresponds to. This is because the positions of the first electrode 152 and the second electrode 154 with respect to each eye to be detected have symmetry.
  • each electrode may be provided at a position substantially the same distance from the detection target of the biological signal.
  • the identifying unit 334 identifies the first electrooculogram signal having the largest fluctuation within a predetermined period among the plurality of electrooculogram signals acquired by the acquiring unit 332.
  • the largest fluctuation means, for example, that the amplitude of the biological signal is the largest.
  • the predetermined period is, for example, a preset signal sampling period, a variation period of a biological signal detected by the detection unit 338, which will be described later, a period of a moving time window, or the like.
  • the specifying unit 334 compares the amplitude of each electrooculogram signal within a predetermined period, and specifies an electrooculogram signal having a peak with the maximum amplitude as the first electrooculogram signal.
  • the detection accuracy of a biological signal including an electrooculogram signal varies depending on the contact resistance (for example, the resistance R 0 shown in FIG. 6) that depends on the contact state between the skin and the electrode.
  • the contact resistance for example, the resistance R 0 shown in FIG. 6
  • the value of the contact resistance decreases, and as a result, the measured electrooculogram is hardly affected.
  • the original electrooculogram can be measured.
  • the unstable state of contact between the electrode and the nose means that the contact position is shifted or the pressure at the time of contact between the electrode and the nose changes.
  • a larger absolute value (or amplitude) of the electrooculogram signal at the time of fluctuation indicates a state in which the contact resistance is stable, and this state is referred to as a suitable state.
  • Applications that use electrooculogram signals are basically designed on the premise of this favorable state, so it is possible to provide reliable processing results by using biological signals acquired in a suitable state. Become.
  • the absolute value of the electrooculogram signal from the first electrode 152 and the second electrode 154 should be the same value, but depending on the contact state between the electrode and the nose, for example, one contact resistance is It is stable at a low level, and the other contact resistance may be large and unstable. In this case, one of the electrooculogram signals is hardly affected by the contact resistance, so that the variation is large, and the other electrooculogram signal is less affected by the contact resistance.
  • the control unit 330 has a large absolute value.
  • One electrooculogram signal (first electrooculogram signal) is regarded as a signal acquired in an appropriate state, and other electrooculogram signals are corrected based on the first electrooculogram signal.
  • the control unit 330 includes a correction unit 336.
  • the correction unit 336 corrects other electrooculogram signals within the predetermined period based on the absolute value (or amplitude) of the first electrooculogram signal within the predetermined period specified by the specifying unit 334.
  • the other electrooculogram signals are electrooculogram signals different from the first electrooculogram signal among the plurality of acquired electrooculogram signals. Thereby, the electrooculogram signal estimated not to be acquired in a suitable state can be changed to a signal similar to the electrooculogram signal estimated to be acquired in a suitable state.
  • correction unit 336 corrects the other biological signal to be the same as the first biological signal, or corrects the other biological signal to be the same as the first biological signal with the positive / negative signs reversed. Also good.
  • this correction processing is also referred to as correction processing A.
  • each electrooculogram signal can be made the same as the electrooculogram signal acquired in a suitable state regardless of a positive or negative sign.
  • the correction unit 336 corrects other electrooculogram signals using a coefficient based on the ratio between the absolute value of the first electrooculogram signal at a predetermined time and the absolute value of another electrooculogram signal at the same time. Also good.
  • this correction processing is also referred to as correction processing B.
  • the correction unit 336 may obtain a coefficient from an average value of ratios within a predetermined period, and may multiply another electrooculogram signal by the coefficient. Accordingly, it is possible to match the intensity of the electrooculogram signal estimated to be acquired in a suitable state while making use of the profile of the original data of other electrooculogram signals.
  • the detection unit 338 detects a variation in each electrooculogram signal acquired by the acquisition unit 332. For example, the detection unit 338 executes blinking and line-of-sight movement detection processing, and sets the period during which blink and line-of-sight movement are detected as the predetermined period described above. Any method may be used as a method for detecting blinking or eye movement. An example of a method for detecting blinking and eye movement will be described later.
  • the specifying unit 334 may perform the above-described first electrooculogram signal specifying process within the predetermined period on condition that the detection unit 338 sets the predetermined period. As a result, when there is no change in the electrooculogram signal, it is not necessary to correct the electrooculogram signal, so that unnecessary processing is not required and power saving can be achieved.
  • the comparison unit 340 compares the fluctuations of the plurality of electrooculogram signals acquired by the acquisition unit 332. For example, the comparison unit 340 performs comparison in order to check whether or not the degree of variation of each electrooculogram signal is the same. That is, the comparison unit 340 calculates a ratio of absolute values of two electrooculogram signals at the same time point within a predetermined period among the plurality of electrooculogram signals, and whether or not the average value of the ratio is within a predetermined range. May be used as a comparison result. For example, if two electrooculogram signals are a signal A and a signal B, whether or not the absolute value of the value (ratio) of the signal A / signal B is within a predetermined range (for example, 0.7 to 1.3). It becomes a comparison result.
  • a predetermined range for example, 0.7 to 1.3
  • the output unit 342 outputs predetermined information related to the contact state of the electrodes based on the comparison result by the comparison unit 240.
  • Predetermined information includes information regarding the warning regarding the contact state of the electrode, information regarding the reliability of the determination result based on the electrooculogram signal regarding the contact state, and the like.
  • the output unit 342 indicates that the comparison result indicates that the variation of the electrooculogram signal from one electrode is larger than the variation of the electrooculogram signal from the other electrode for a preset period (the ratio is predetermined).
  • the ratio is predetermined.
  • a warning indicating that the contact state of the other electrode is not good is output.
  • various methods such as display on a screen, audio output, and transmission using vibration may be used. Thereby, an electrode wearer can be informed of an electrode with a bad contact state, and the opportunity to correct this contact state can be given.
  • the output unit 342 indicates that the electrooculogram signal is highly reliable because the comparison result does not require correction when the variations of the electrooculogram signals are approximately the same (when the ratio is within a predetermined range). You may output that information and the balance of the eyewear 100 at the time of mounting
  • the detection unit 338 obtains an electrooculogram signal Vv in the vertical direction from the acquired electrooculogram signal.
  • the ocular potential signal Vv may be generated by subtracting the average of the potentials of the first electrode 152 and the second electrode 154 from the potential of the third electrode 156, or the potential of the first electrode 152 and the second electrode 154. It may be generated from an average.
  • the detection unit 338 detects a blink when the time from the maximum value of the electrooculogram signal Vv to the next minimum value is within a predetermined time, for example.
  • the predetermined time is, for example, 0.5 sec.
  • the blink detection process described above is merely an example, and other blink detection algorithms may be used.
  • the detection unit 338 divides the acquired electrooculogram signal into a right electrocardiogram and a left electrocardiogram, and when a negative potential is shown in the right electrocardiogram and the left electrocardiogram, the line of sight is displayed. Detect that you are facing up. Further, the detection unit 338 has a line of sight when a positive potential is shown in the right electrogram and the left electrogram, a negative potential is shown in the right electrogram, and a positive potential is shown in the left electrogram. Is detected, it is detected that the line of sight is directed to the left when the line of sight is right, the right electrogram shows a positive potential and the left electrogram shows a negative potential.
  • the detection unit 338 uses the electrooculogram signal Vh generated by subtracting the potential of the second electrode 154 from the potential of the first electrode 152, and when the negative potential is indicated, the line of sight is right, positive When the potential is indicated, it may be detected that the line of sight is directed to the left. In addition, the detection unit 338 indicates a positive potential using the ocular potential signal Vv generated by subtracting the average of the potentials of the first electrode 152 and the second electrode 154 from the potential of the third electrode 156. In some cases, when a negative potential is indicated, it may be detected that the camera has turned downward. The detection unit 338 may use the average of the potential of the first electrode 152 and the potential of the second electrode 154 as the vertical electrooculogram signal Vv.
  • the detection unit 338 detects that the signal Vv is directed upward, and when the signal Vv is positive, the detection unit 338 detects that the signal Vv is directed downward.
  • the above-described line-of-sight movement detection processing is merely an example, and other line-of-sight movement detection algorithms may be used.
  • FIG. 9 is a diagram illustrating an example of each biological signal when the contact state between each biological electrode and the skin is good.
  • each bioelectrode and the nose are in stable contact and are in a state where pressure is appropriately applied, and therefore, both contact resistances are sufficiently small. Therefore, in each of the biological signals V1 and V2, there is almost no potential drop due to contact resistance, and the appropriate voltage value corresponding to the eye movement is obtained.
  • FIG. 10 is a diagram illustrating an example of each biological signal when the contact state of one biological electrode is good and the contact state of the other biological electrode is bad.
  • the contact resistance is large, and the contact state of the other bioelectrode is good, so the contact resistance is sufficiently small. Therefore, the signal V2 from one biological electrode has a large potential drop and a small measured voltage due to a large contact resistance compared to the signal V1 from the other biological electrode. In other words, since the contact resistance increases due to the weak contact state, the voltage measured relatively decreases, so that the signal that has dropped may be corrected.
  • FIG. 11 is a diagram showing two electrooculogram signals before correction.
  • the two electrooculogram signals are ideally signals that are 180 degrees out of phase.
  • FIG. 11A shows an electrooculogram signal S1 acquired from the electrode 152, for example
  • FIG. 11B shows an electrooculogram signal S2 acquired from the electrode 154, for example.
  • the example shown in FIG. 11 is an example of a signal when the wearer looks to the left and turns to the right.
  • the contact state of the electrode 152 is stable, and the contact state of the electrode 154 is unstable.
  • the electrooculogram signal S1 is specified as a signal acquired in a suitable state by the specifying unit 334.
  • the correction unit 336 corrects the electrooculogram signal S2 based on the absolute value of the electrooculogram signal S1 shown in FIG.
  • FIG. 12 is a diagram showing two electrooculogram signals after correction. 12A shows the same signal as the electrooculogram signal S1 shown in FIG. 11A, and FIG. 12B shows a signal after correction of the electrooculogram signal S2 shown in FIG. 11B.
  • the electrooculogram signal S1 shown in FIG. 12A is the same as the electrooculogram signal S1 shown in FIG. 11A because the electrooculogram signal S1 is a signal specified by the specifying unit 334. This is because the correction unit 336 does not correct.
  • the electrooculogram signal S3 shown in FIG. 12 (B) is a signal obtained by correcting the electrooculogram signal S2 shown in FIG. 11 (B) based on the electrooculogram signal S1.
  • the correction unit 336 corrects the electrooculogram signal S2 so that the absolute value of the electrooculogram signal S1 is the same and the sign is reversed. Thereby, the electrooculogram signal with small fluctuation is corrected so as to be matched with the signal acquired in a suitable state.
  • FIGS. 13 to 15 show examples of values of biological signals stored in the signal storage unit 322.
  • FIG. 13 to 15 the value of the biological signal sampled at a predetermined sampling rate is stored.
  • the first row shown in FIGS. 13 to 15 shows a number indicating the sampling order
  • the second row shows a value sampled from, for example, a biological signal (Ch1)
  • the third row shows, for example, a biological signal (Ch2).
  • the biological signal Ch1 and the biological signal Ch2 are signals having no phase difference.
  • FIG. 13 is a diagram showing values of two biological signals before correction.
  • the predetermined period is, for example, a period in which the number of samplings is 10.
  • FIG. 14 is a diagram showing values of two biological signals after the correction process A.
  • the correction process A is a process of correcting the value of the biological signal Ch2 having a small variation so as to be the same as the value of a suitable biological signal Ch1 having a large variation.
  • the correction unit 336 can convert all the biological signals into signals acquired in a suitable state.
  • FIG. 15 is a diagram showing values of two biological signals after the correction process B.
  • the correction process B is a process of correcting by multiplying the value of the biological signal Ch2 having a small variation by a coefficient d based on a ratio between a suitable biological signal Ch1 and the biological signal Ch2 having a large variation.
  • the correction unit 336 calculates an average value of the ratio between the biological signal Ch1 and the biological signal Ch2, for example.
  • the correction unit 336 sets the obtained average value to the coefficient d, and multiplies the biological signal Ch2 by the coefficient.
  • the value of the biological signal Ch2 shown in FIG. 15 is twice the value of the biological signal Ch1 shown in FIG.
  • the correction unit 336 performs the correction process B, while taking advantage of the profile of the detected original signal, a signal that is not acquired in a suitable state is the same as the signal acquired in a suitable state. It can be corrected to an intensity signal.
  • FIG. 16 is a flowchart illustrating an example of correction processing in the embodiment.
  • the flowchart shown in FIG. 16 is a state in which the user wears the glasses 100 and the first electrode 152, the second electrode 154, and the third electrode 156 are in contact with the user's skin, and the external device 300 performs a signal. It starts when the operation mode (normal mode) that is the acquisition mode is set.
  • the biological signal will be described using an electrooculogram signal as an example.
  • step S102 illustrated in FIG. 16 the acquisition unit 332 starts acquiring a plurality of electrooculogram signals from the glasses 100.
  • step S104 the detection unit 338 determines whether or not there is a change within a predetermined period for each of the acquired plurality of electrooculogram signals.
  • the detection unit 338 may detect blinks or line-of-sight movement and set a period during which blinks or line-of-sight movement is detected as the predetermined period described above.
  • step S106 the identifying unit 334 identifies the first electrooculogram signal having the largest fluctuation within a predetermined period among the plurality of acquired electrooculogram signals.
  • step S108 the correction unit 336 corrects other electrooculogram signals within the predetermined period based on the absolute value (or amplitude) of the first electrooculogram signal within the predetermined period. This makes it possible to correct a signal with small fluctuations to an appropriate signal value.
  • FIG. 17 is a flowchart illustrating an example of output processing in the embodiment.
  • the flowchart shown in FIG. 17 may be processed automatically or may be processed when the output mode is on.
  • step S202 the comparison unit 340 compares fluctuations of the plurality of electrooculogram signals.
  • step S204 the output unit 342 determines whether the comparison result by the comparison unit 340 satisfies a predetermined output condition. If the output condition is satisfied (step S204-YES), the process proceeds to step S206. If the output condition is not satisfied (step S204-NO), the process ends.
  • step S206 the output unit 342 performs output according to the satisfied output condition. For example, when the comparison result indicates that the variation in the electrooculogram signal from one electrode is larger than the variation in the electrooculogram signal from the other electrode for a preset period, the output unit 342 A warning indicating that the contact state is not good may be output.
  • the output unit 342 may output information indicating that the electrooculogram signal is highly reliable because the comparison result does not require correction when the variations of the electrooculogram signals are approximately the same. Thereby, various outputs according to the comparison result can be performed as necessary.
  • each biological signal is acquired from a plurality of electrodes which are provided at positions where theoretically similar biological signals can be acquired and whose contact resistance may become unstable
  • an appropriate biological signal is obtained.
  • a signal can be acquired.
  • the appropriate biological signal acquired by the present Example can be used suitably in the application which processes a biological signal. Thereby, since the biological signal is appropriate, the processing accuracy of the application for processing the biological signal can be improved.
  • eyewear is glasses
  • eyewear is not limited to this.
  • the eyewear may be any device related to the eye, and may be a face wearing device or a head wearing device such as glasses, sunglasses, goggles and a head mounted display and their frames.
  • the glasses 100 include the third electrode 156
  • the glasses 100 may not include the third electrode 156.
  • an electrooculogram indicated by the potential of the first electrode 152 relative to the reference electrode and an electrooculogram indicated by the potential of the second electrode 154 relative to the reference electrode may be transmitted to the external device 300.
  • a ground electrode may be provided at the position of the third electrode 156 to serve as a reference electrode.
  • a ground electrode provided in the left modern may be used as a reference electrode, or an electrode provided separately from the first electrode 152 and the second electrode 154 may be used as a reference electrode.
  • the glasses 100 include the nose pad 140 integrated with the rim 122 .
  • the glasses 100 are not limited to this.
  • the glasses 100 may include a klings provided on the rim 122 and a nose pad 140 attached to the krings.
  • the electrode provided on the surface of the nose pad 140 is electrically connected to the electric wire embedded in the frame via the krings.
  • the first electrode 152 and the second electrode 154 have been described as examples provided below the center of the nose pad 140. However, it is not limited to this.
  • the nose pad 140 may include an extending portion that extends downward, and the first electrode 152 and the second electrode 154 may be provided in the extending portion. This allows the first electrode 152 and the second electrode 154 to be in contact below the eye position even for a user whose nose pad is located directly beside the eye due to individual differences in eye and nose positions. Can do.
  • the third electrode 156 has been described as an example in which the third electrode 156 is provided on the surface of the eyebrow portion 124.
  • the eyebrow portion 124 may include an extending portion that extends upward, and the third electrode 156 may be provided in the extending portion.
  • a movable part that moves the extending part up and down between the extending part and the eyebrow part 124 may be provided so that the position of the third electrode 156 can be adjusted up and down.
  • the position of each electrode is not limited to the above-described position, and may be disposed at a position where an electrooculogram signal indicating the vertical and horizontal movements of the eye can be acquired.
  • the electrooculogram signal has been described as an example, but the process may be performed using an electrooculogram signal difference signal or an extreme value difference signal.
  • the difference signal is a signal that represents a difference between a predetermined electrooculogram signal and an electrooculogram signal that is a predetermined time before the electrooculogram signal.
  • the predetermined time is, for example, 5 msec.
  • the extreme value difference signal is a signal representing a difference between adjacent extreme values (peak values) of the electrooculogram signal or the difference signal.
  • any biological signal can be applied as long as it is a biological phenomenon such as pulse, heartbeat, brain wave, respiration, sweating, etc., digitized by a sensor.
  • the external device 300 a mobile communication terminal such as a mobile phone and a smartphone, which is separate from the processing device 200, has been described. However, it is not limited to this.
  • the external device 300 may be a unit integrated with the processing device 200. In this case, the external device 300 is provided integrally with the eyewear.
  • noise may be prevented by using a shielded cable as the electric wire.
  • the configuration using three electrodes is illustrated in FIG. 1, but a configuration using four or more electrodes may be used.
  • the glasses have an upper electrode, a lower electrode, a left electrode, and a right electrode.
  • the upper electrode and the lower electrode are provided on the rim 122 shown in FIG. 1
  • the left electrode is provided on the left temple 130
  • the right electrode is provided on the right temple 130. There is no. Note that these electrodes are in contact with a part of the face.
  • the glasses may have two electrodes at the positions of the first electrode 152, the second electrode 154, and the third electrode 156.
  • the vertical direction of the eye can be detected by the voltage difference between the upper electrode and the lower electrode, and the horizontal direction of the eye can be detected by the voltage difference between the left electrode and the right electrode.
  • the example in which the external apparatus 300 performs the correction process has been described.
  • part or all of the correction process described above may be performed on the eyewear side.
  • the function of the control unit 330 described above can be executed in the processing unit 210 of the processing device 200.
  • the specifying unit 334, the correction unit 336, the detection unit 338, and the comparison unit 340 may be provided in the processing device 200 instead of the external device 300.
  • the processing device 200 executes the flowchart shown in FIG.
  • the comparison part of the processing apparatus 200 Step S202 shown in FIG. 17 is executed, and the comparison result is transmitted to the external apparatus 300.
  • the detection result of the detection unit of the processing device 200 is transmitted to the external device 300 every time it is detected in real time, and the detection results are totaled every predetermined time (for example, one minute). In some cases, the data is transmitted to the external device 300.
  • the output unit 342 of the external device 300 When the detection result is transmitted in real time, the output unit 342 of the external device 300 outputs the detection result (for example, whether the user has blinked). Thereby, a detailed analysis can be performed at an early stage.
  • the output unit 342 of the external device 300 When the counting result is transmitted every predetermined time, the output unit 342 of the external device 300 outputs a graph (for example, a bar graph, a line graph, or a scatter diagram) in which the counting result for each predetermined time is plotted. Thereby, since data is transmitted collectively, power consumption can be reduced.
  • a graph for example, a bar graph, a line graph, or a scatter diagram

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

制御部を有するコンピュータが実行する情報処理方法であって、制御部は、生体信号の検出対象を基準とした位置が対称性を有する複数の生体電極から、各生体信号を取得すること、取得された複数の生体信号のうち、所定期間内において変動が最も大きい第1生体信号を特定すること、所定期間内の前記第1生体信号の絶対値に基づいて、前記所定期間内の他の生体信号を補正すること、を実行する。

Description

情報処理方法、情報処理装置、プログラム及びアイウエア
 本発明は、情報処理方法、情報処理装置、プログラム及びアイウエアに関する。
 フレーム部分に複数の電極を設け、各電極から眼電位信号を取得するアイウエアが知られている(例えば、特許文献1参照)。
米国特許出願公開第2004/0070729号明細書
 しかしながら、従来技術では、複数の電極を用いて各眼電位信号を取得する際、個々の電極には次の問題がある。例えば、電極と皮膚とが十分に接触していない場合、電極と皮膚との接触により生じる接触抵抗が不安定になってしまう。この不安定な接触抵抗に起因して、眼電位信号が適切に取得できなくなる。なお、この問題は、眼電位信号に限らず生体信号においても同様の問題が発生する。また、電極と皮膚との接触は、直接的な接触に限らず、化粧品やジェルなどを介した間接的な接触も含む。
 そこで、開示技術は、接触抵抗が不安定になり得る複数の電極から各生体信号を取得する場合に、適切な生体信号を取得することを目的とする。
 開示技術の一態様における情報処理方法は、制御部を有するコンピュータが実行する情報処理方法であって、前記制御部は、生体信号の検出対象を基準とした位置が対称性を有する複数の生体電極から、各生体信号を取得すること、取得された複数の生体信号のうち、所定期間内において変動が最も大きい第1生体信号を特定すること、前記所定期間内の前記第1生体信号の絶対値に基づいて、前記所定期間内の他の生体信号を補正すること、を実行する。
 開示技術によれば、接触抵抗が不安定になり得る複数の電極から各生体信号を取得する場合に、適切な生体信号を取得することができる。
実施例におけるメガネの前方からの一例を示す斜視図である。 実施例におけるメガネの後方からの一例を示す斜視図である。 実施例における処理装置の一例を示すブロック図である。 使用者に対する電極の接触位置を概略的に示す図である。 実施例における増幅部の構成の一例を示す図である。 バッファアンプを設ける理由を説明するための図である。 実施例における増幅部の構成の他の例を示す図である。 実施例における外部装置の構成の一例を示すブロック図である。 各生体電極と皮膚との接触状態が良い場合の各生体信号の例を示す図である。 一方の生体電極の接触状態が良く、他方の生体電極の接触状態が悪い場合の各生体信号の例を示す図である。 補正前の2つの眼電位信号を示す図である。 補正後の2つの眼電位信号を示す図である。 補正前の2つの生体信号の値を示す図である。 補正処理Aの後の2つの生体信号の値を示す図である。 補正処理Bの後の2つの生体信号の値を示す図である。 実施例における補正処理の一例を示すフローチャートである。 実施例における出力処理の一例を示すフローチャートである。
 以下、図面を参照して本発明の実施の形態を説明する。ただし、以下に説明する実施形態は、あくまでも例示であり、以下に明示しない種々の変形や技術の適用を排除する意図はない。即ち、本発明は、その趣旨を逸脱しない範囲で種々変形して実施することができる。また、以下の図面の記載において、同一または類似の部分には同一または類似の符号を付して表している。図面は模式的なものであり、必ずしも実際の寸法や比率等とは一致しない。図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることがある。
 [実施例]
 本実施例では、生体信号として眼電位信号を例にし、理論的に同様の信号を測定可能な電極の位置としては、メガネに設けられる一対のノーズパッドを例にする。図1は、実施例におけるメガネ100の前方からの一例を示す斜視図である。図2は、実施例におけるメガネ100の後方からの一例を示す斜視図である。メガネ100は、レンズ110及びフレーム120を備える。メガネ100及びフレーム120は、アイウエアの一例である。
 フレーム120は、一対のレンズ110を支持する。フレーム120は、リム122と、眉間部(例えばブリッジ)124と、ヨロイ126と、丁番128と、テンプル130と、モダン132と、一対のノーズパッド140と、第1電極152と、第2電極154と、第3電極156と、電線(不図示)と、処理装置200と、増幅部250とを有する。なお、メガネ100の種類によっては、一枚レンズを用いることでフレームのブリッジ部分がない場合がある。この場合、一枚レンズの眉間部分を眉間部とする。
 一対のノーズパッド140は、右ノーズパッド142及び左ノーズパッド144を含む。リム122、ヨロイ126、丁番128、テンプル130、及びモダン132は、それぞれ左右一対に設けられる。
 リム122は、レンズ110を保持する。ヨロイ126は、リム122の外側に設けられ、丁番128によりテンプル130を回転可能に保持する。テンプル130は、使用者の耳の上部を押圧して、この部位を挟持する。モダン132は、テンプル130の先端に設けられる。モダン132は、使用者の耳の上部に接触する。なお、モダン132は、必ずしもメガネ100に設ける必要はない。
 第1電極152及び第2電極154は、一対のノーズパッド140のそれぞれの表面に設けられ、眼電位を検出する。例えば、第1電極152は、右ノーズパッド142に設けられ、第2電極154は、左ノーズパッド144に設けられる。
 第1電極152は、使用者の右眼の眼電位を検出する。第2電極154は、使用者の左眼の眼電位を検出する。このように、眼電位を検出するための電極を、使用者の皮膚に必然的に接触するノーズパッドの表面に設ける。これにより、使用者の眼の周囲に二対の電極を接触させるのに比べて、使用者の皮膚に与える負担を軽減することができる。
 第3電極156は、眉間部124の表面に設けられ、眼電位を検出する。接地電極(不図示)は、設けられなくてもよいし、モダン132の表面に設けられてもよい。メガネ100にモダン132がない場合は、接地電極は、テンプル130の先に設けられる。実施例において、第1電極152、第2電極154及び第3電極156が検出する電位は、接地電極が検出する電位を基準としてもよい。
 処理装置200は、例えば、テンプル130に設けてもよい。これにより、メガネ100を正面から見たときのデザイン性を損なうことがない。処理装置200の設置位置は、必ずしもテンプル130である必要はないが、メガネ100を装着した際のバランスを考慮して位置決めすればよい。処理装置200は、電線を介して増幅部250に接続される。なお、処理装置200と、増幅部250とは、無線を介して接続されてもよい。
 増幅部250は、第1電極152、第2電極154及び第3電極156の近傍に設けられ、増幅対象の各電極と電線を介して接続される。増幅部250は、各電極が検出した眼電位を示す眼電位信号を取得する。例えば、増幅部250は、第1電極152、第2電極154及び第3電極156により検出された眼電位を示す眼電位信号を増幅する。
 また、増幅部250は、眼電位信号を演算する処理部を有していれば、増幅する前又は増幅した後の各眼電位信号に対し、加減処理を行ってもよい。例えば、増幅部250は、第3電極156を基準とした第1電極152の電位を示す基準眼電位信号を求めてもよい。また、増幅部250は、第3電極156を基準とした第2電極154の電位を示す基準眼電位信号を求めてもよい。増幅部250により増幅又は処理された信号は、処理装置200に出力される。
 外部装置300は、通信機能を有する情報処理装置である。例えば、外部装置300は、使用者が所持する携帯電話及びスマートフォン等の携帯通信端末やパーソナルコンピュータ等である。外部装置300は、図3に示す送信部220から受信した眼電位信号に基づく処理を実行する。例えば、外部装置300は、受信した眼電位信号から、瞬目や視線移動を検出する。瞬目を検出する場合の応答として、外部装置300は、使用者の瞬目の回数が増加していることを検出した場合などに、居眠りを防止するための警告を発する。外部装置300の詳細については後述する。また、外部装置300は、検出した視線移動に基づいて、アプリケーションを操作することを可能にしてもよい。また、外部装置300は、処理装置200において眼電位信号に基づく所定の判定が行われる場合、判定結果を処理装置200から取得し、この判定結果に基づく処理を行ってもよい。所定の判定とは、例えば、瞬目や視線移動などである。
 <処理装置の構成>
 図3は、実施例における処理装置200の一例を示すブロック図である。図3に示すように、処理装置200は、処理部210、送信部220、及び電源部230を有する。第1電極152、第2電極154、第3電極156は、例えば増幅部250を介して処理部210に接続される。なお、処理装置200の各部は、一方のテンプルに設けられるのではなく、一対のテンプルに分散して設けられてもよい。
 処理部210は、例えばプロセッサやメモリを含み、増幅部250から増幅された眼電位信号を取得し、処理する。例えば、処理部210は、第3電極156を基準とした第1電極152の電位を示す基準眼電位信号を処理してもよい。なお、基準眼電位信号は、説明の便宜上「基準」を付したが、概念としては眼電位信号に含まれる。また、処理部210は、第3電極156を基準とした第2電極154の電位を示す基準眼電位信号を処理してもよい。
 このとき、処理部210は、右眼及び左眼において、各電極から検出された眼電位に基づいて、眼の垂直方向及び/又は水平方向の動きを示す眼電位信号となるように処理を行ってもよい。例えば、処理部210は、第1電極152の電位から第2電極154の電位を減算して垂直方向の眼電位信号を生成したり、第1電極152の電位と、第2電極154の電位との平均を算出して水平方向の眼電位信号を生成したりしてもよい。
 他にも、処理部210は、取得した眼電位信号がデジタル化されていなければ、デジタル化処理を行ったり、各電極から増幅された眼電位信号を取得した場合には、眼電位信号の加減処理を行ったりする。また、処理部210は、増幅部250から取得した眼電位信号をそのまま送信部220に送信してもよい。
 送信部220は、処理部210によって処理された眼電位信号を外部装置300に送信する。例えば、送信部220は、Bluetooth(登録商標)及び無線LAN等の無線通信、又は有線通信によって眼電位信号を外部装置300に送信する。電源部230は、処理部210、送信部220、及び増幅部250に電力を供給する。
 図4は、使用者に対する電極の接触位置を概略的に示す図である。第1接触位置452は、第1電極152の接触位置を表す。第2接触位置454は、第2電極154の接触位置を表す。第3接触位置456は、第3電極156の接触位置を表す。水平中心線460は、右眼402の中心と左眼404の中心とを結んだ水平方向の中心線を表す。垂直中心線462は、右眼402と左眼404との中心において水平中心線460と直交する中心線を表す。
 第1接触位置452及び第2接触位置454は、水平中心線460よりも下側に位置することが望ましい。また、第1接触位置452及び第2接触位置454は、第1接触位置452と第2接触位置454との中心を結ぶ線分が、水平中心線460と平行になるべく配置されることが望ましい。
 また、第1接触位置452及び第2接触位置454は、第1接触位置452から右眼402への距離と、第2接触位置454と左眼404との距離が等しくなるべく配置されることが望ましい。また、第1接触位置452及び第2接触位置454は、互いに一定の距離以上離間していることが望ましい。
 第3接触位置456は、垂直中心線462上に位置することが望ましい。また、第3接触位置456は、水平中心線460よりも上側であって、第1接触位置452及び第2接触位置454から離れた位置であることが望ましい。また、例えば、第3接触位置456と右眼402との距離は、右眼402と第1接触位置452との距離よりも離間させ、左眼404との距離は、左眼404と第2接触位置454との距離よりも離間させてよい。
 眼球は、角膜側が正に帯電しており、網膜側が負に帯電している。したがって、視線が上に移動した場合、第3電極156を基準とした第1電極152の電位及び第3電極156を基準とした第2電極154の電位が負となる。視線が下に移動した場合、第3電極156を基準とした第1電極152の電位及び第3電極156を基準とした第2電極154の電位が正となる。
 視線が右に移動した場合、第3電極156を基準とした第1電極152の電位が負となり、第3電極156を基準とした第2電極154の電位が正となる。視線が左に移動した場合、第3電極156を基準とした第1電極152の電位が正となり、第3電極156を基準とした第2電極154の電位が負となる。
 第3電極156を基準とした第1電極152の電位及び第3電極156を基準とした第2電極154の電位を検出することによって、好適にノイズの影響を軽減することができる。第3接触位置456を第1接触位置452及び第2接触位置454から可能な限り離間させるべく、眉間部124は、リム122の上端又はその近傍に配置されてもよい。また、眉間部124の中心よりも上側に第3電極156は設けられてもよい。この場合、第3電極156の配置位置として、縦幅の広い眉間部124を採用することが望ましい。
 なお、処理部210は、第3電極156を基準とした第1電極152の電位を検出する代わりに、基準電極を基準とした第1電極152の電位から、基準電極を基準とした第3電極156の電位を減じてもよい。そして同様に、処理部210は、第3電極156を基準とした第2電極154の電位を検出する代わりに、基準電極を基準とした第2電極154の電位から、基準電極を基準とした第3電極156の電位を減じてもよい。
 基準電極としては、接地電極を用いてもよい。また、メガネ100の、第1電極152、第2電極154及び第3電極156から離間した位置に、別途基準電極を設けてもよい。例えば、基準電極は、右側のモダン132に設けられてもよい。また、基準電極は、右側のテンプル130の使用者の肌に接する部位に設けられてもよい。
 なお、基準電極を基準とした第1電極152の電位から第3電極156の電位を減じる処理、及び基準電極を基準とした第2電極154の電位から第3電極156の電位を減じる処理は、処理部210が実行してもよく、増幅部250又は外部装置300が実行してもよい。この場合、処理対象の電位を示す信号は、増幅部250により増幅されている。
 <増幅部の構成>
 次に、増幅部250の構成について説明する。図5は、実施例における増幅部250の構成の一例を示す図である。図5に示すように、増幅部250は、第1アンプ260及び第2アンプ270を有する。第1アンプ260は、第2アンプ270の前段に位置し、バッファアンプとして機能するアンプである。以下、第1アンプ260をバッファアンプ260とも称する。第2アンプ270は、メインのアンプとして機能するアンプである。以下、第2アンプ270は、メインアンプ270とも称する。メインアンプ270により増幅された信号は処理装置200に有線又は無線を用いて出力される。
 増幅部250の設置位置は、眉間部124部分であることが望ましい。なお、増幅部250は、眉間部124に埋め込むようにして設けてもよい。前述したとおり、各電極は可能な限り離間させた方が望ましいが、各電極の設置位置はフレーム120の形状に依存してしまうため、離間させるにしても限界がある。
 このため、各電極の電位差が十分な大きさにならない場合があり、各電極で検出された小さい電位を示す眼電位信号にノイズが混入してしまうと、十分な精度の電位を検出することが困難になってしまう。
 そこで、実施例においては、検出された眼電位信号にノイズが混入する前に増幅することを目的として、増幅部250は、第1電極152、第2電極154及び第3電極156の近傍に設けられる。例えば、増幅部250は、各電極に近く、フレーム120にスペースが存在する眉間部124部分に設けることが好ましい。これにより、各電極により検出された眼電位信号が電線を通過する間に、ノイズが混入して眼電位信号の精度を低下させるリスクを減らすことができる。
 次に、メインアンプ270の前段の位置にバッファアンプ260を設ける理由を、図6を用いて説明する。図6は、バッファアンプ260を設ける理由を説明するための図である。図6に示す例は、第3電極156を用いるが、第1電極152及び第2電極154においても同様である。
 第3電極156は、メガネ100を装着した際、人肌に触れるため、グランドとの間に抵抗(接触抵抗)Rが存在すると考えてよい。このとき、抵抗Rは、例えば数100kΩである。また、メインアンプ270には、内部抵抗Rが存在する。このとき、メインアンプ270として通常のアンプを用いると、内部抵抗Rは、数10kΩ~数100kΩである。
 ここで、理想的にはメインアンプ270に電流が流れ込まないことであるが、内部抵抗Rが抵抗Rよりも小さいと、電流がメインアンプ270側に流れ込む。そうすると、電極の電圧Viとメインアンプ270の電圧Vxとが分圧されて観測されてしまう。そこで、メインアンプ270の前段の位置にバッファアンプ260を設けてメインアンプ270側に電流が流れ込まないようにする。
 図7は、実施例における増幅部の構成の他の例を示す図である。図7に示す増幅部は、符号250Aと表記される。増幅部250Aは、バッファアンプ260、メインアンプ270、A/D変換部280、及び無線通信部290を有する。バッファアンプ260及びメインアンプ270は、図5に示す機能と同様であるため、以下では、A/D変換部280及び無線通信部290について主に説明する。
 A/D変換部280は、メインアンプ270により増幅された信号をアナログからデジタルに変換する。A/D変換部280は、デジタル変換した信号を無線通信部290に出力する。
 無線通信部290は、A/D変換部280により変換されたデジタル信号を、無線通信を用いて処理装置200に送信する。よって、無線通信部290は、送信部として機能する。無線通信部290は、例えばBluetooth(登録商標)及び無線LAN等の無線通信を用いる。また、無線通信部290は、外部装置300にデジタル信号を直接送信してもよい。
 なお、実施例では、バッファアンプ260及びメインアンプ270を1つ設ける例を示したが、この場合は各電極からの眼電位信号に対して順番を決めて増幅していけばよい。また、各電極それぞれにバッファアンプ260及びメインアンプ270を設けてもよい。
 <外部装置の構成>
 次に、外部装置300の構成について説明する。図8は、実施例における外部装置300の構成の一例を示すブロック図である。図8に示すように、外部装置300は、通信部310、記憶部320、及び制御部330を有する。
 通信部310は、例えば通信インターフェースであり、Bluetooth(登録商標)及び無線LAN等の無線通信、又は有線通信によって眼電位信号等を受信する。通信部310は、処理装置200の送信部204から受信した眼電位信号等を記憶部320及び/又は制御部330に出力する。
 記憶部320は、例えば、RAM(Random Access Memory)であり、眼電位信号の処理に関するデータ等を記憶する。記憶部320は、例えば信号記憶部322を含み、信号記憶部322は、制御部330により処理される及び/又は処理された右眼及び左眼の眼電位信号等を記憶する。
 また、記憶部320は、後述する信号補正処理をコンピュータに実行させるプログラムを記憶する。このプログラムは、インターネット、又はSDカードなどの記録媒体を介して外部装置300にインストールされてもよいし、プリインストールされていてもよい。また、このプログラムを記憶する記憶部は、記憶部320とは別であってもよい。
 制御部330は、例えばCPU(Central Processing Unit)やメモリを含み、各部の制御を行ったり、各種の演算処理を行ったりする。図8に示す例では、制御部330は、少なくとも取得部332、特定部334、補正部336、検出部338、比較部340、及び出力部342を有する。
 取得部332は、対象者の眼周辺に接触する各電極により検出される眼電位に基づく眼電位信号を、記憶部320又は通信部310から取得する。以下では、取得された眼電位信号は、第1電極152及び第2電極154からの各眼電位信号を例にして説明する。なお、各眼電位信号は、例えば第3電極156や接地電極を基準にした、第1電極152及び第2電極154からの各眼電位信号でもよい。
 また、対象者の眼周辺に接触される各電極は、検出される各眼電位信号の絶対値が理論的に略同じになる位置に設けられる。本実施例の場合、一対のノーズパッド140に設けられた第1電極152及び第2電極154が、検出される各眼電位信号の絶対値が理論的に略同じになる位置に設けられる各電極に相当する。これは、検出対象の各眼を基準とした第1電極152及び第2電極154の位置が、対称性を有するからである。また、各電極は、生体信号の検出対象から略同じ距離の位置に設けられてもよい。
 特定部334は、取得部332により取得された複数の眼電位信号のうち、所定期間内において変動が最も大きい第1眼電位信号を特定する。変動が最も大きいとは、例えば、生体信号の振幅が最も大きいことをいう。所定期間は、例えば、予め設定された信号のサンプリング期間や、後述する検出部338により検出される生体信号の変動期間や、移動時間窓の期間などである。
 例えば、特定部334は、所定期間内における各眼電位信号の振幅を比較し、振幅が最大のピークを有する眼電位信号を第1眼電位信号として特定する。
 ここで、変動が最も大きい信号を特定する理由について説明する。眼電位信号を含む生体信号は、皮膚と電極との接触状態に左右される接触抵抗(例えば図6に示す抵抗R)によって、検出精度が変わってしまう。例えば、本実施例の場合、ノーズパッドに設置された電極が適切に安定して鼻に接触していれば、接触抵抗の値は小さくなり、その結果、測定される眼電位にほとんど影響を与えず、本来の眼電位を測定することができる。
 他方、ノーズパッドに設置された電極が十分に鼻に接触していなければ、接触抵抗の値が大きくなり、その結果、本来測定されるべき眼電位の電圧が接触抵抗により電位降下され、測定される電圧が小さくなってしまう。なお、電極と鼻との接触状態が不安定とは、接触位置がずれたり、電極と鼻との接触時の圧力が変わったりすることである。
 よって、変動時の眼電位信号の絶対値(又は振幅)が大きい方が、接触抵抗が安定している状態を示し、この状態を好適な状態と称する。眼電位信号を用いたアプリケーションは、基本的にこの好適な状態を前提として設計されているため、好適な状態で取得された生体信号を用いることで、信頼ある処理結果を提供することが可能になる。
 本来であれば、第1電極152及び第2電極154からの眼電位信号の絶対値は同様の値になるはずであるが、電極と鼻との接触状態によっては、例えば、一方の接触抵抗が低位安定し、他方の接触抵抗が大きく、不安定にあることがある。この場合、一方の眼電位信号は、接触抵抗の影響をほとんど受けないため、その変動が大きく、他方の眼電位信号は、接触抵抗の影響により、その変動が小さくなってしまう。
 そこで、上述したように、好適な状態では、接触抵抗が低位安定するため、変動時の眼電位信号の絶対値が大きい(変動が大きい)ことに着目し、制御部330は、絶対値が大きい方の眼電位信号(第1眼電位信号)を適切な状態で取得された信号とみなし、この第1眼電位信号に基づいて、他の眼電位信号を補正するようにする。この補正を行うために、制御部330は、補正部336を有する。
 補正部336は、特定部334により特定された所定期間内の第1眼電位信号の絶対値(又は振幅)に基づいて、所定期間内の他の眼電位信号を補正する。他の眼電位信号とは、取得された複数の眼電位信号のうち、第1眼電位信号とは異なる眼電位信号のことをいう。これにより、好適な状態で取得されていないと推定される眼電位信号を、好適な状態で取得されたと推定される眼電位信号と同様の信号にすることができるようになる。
 また、補正部336は、他の生体信号を、前記第1生体信号と同じにする、又は前記他の生体信号を、正負の符号を反転させた第1生体信号と同じにするよう補正してもよい。以下、この補正処理を補正処理Aとも称する。これにより、各眼電位信号を、好適な状態で取得された眼電位信号と正負の符号を問わず同じにすることができる。
 また、補正部336は、所定時点の第1眼電位信号の絶対値と、同時点の他の眼電位信号の絶対値との比に基づく係数を用いて、他の眼電位信号を補正してもよい。以下、この補正処理を補正処理Bとも称する。例えば、補正部336は、所定期間内の比の平均値等から係数を求め、他の眼電位信号に係数を乗算してもよい。これにより、他の眼電位信号の元データのプロファイルを生かしつつ、好適な状態で取得されたと推定される眼電位信号の強度に合わせることができる。
 検出部338は、取得部332により取得される各眼電位信号の変動を検出する。例えば、検出部338は、瞬目や視線移動の検出処理を実行し、瞬目や視線移動が検出されている期間を、上述した所定期間として設定する。瞬目や視線移動の検出方法は、いずれの手法を用いてもよい。瞬目や視線移動の検出方法の一例については、後述する。
 検出部338により所定期間が設定されることを条件に、特定部334は、この所定期間内において、上述した第1眼電位信号の特定処理を行うとよい。これにより、眼電位信号に変動がない場合には、眼電位信号を補正する必要がないため、無駄な処理をしなくて済み、省電力化を図ることができる。
 比較部340は、取得部332により取得された複数の眼電位信号それぞれの変動を比較する。例えば、比較部340は、各眼電位信号の変動の具合が同じ程度であるかを調べるために比較を行う。つまり、比較部340は、複数の眼電位信号のうち、所定期間内における同時点の2つの眼電位信号の絶対値の比を算出し、この比の平均値が所定範囲内であるか否かを比較結果としてもよい。例えば、2つの眼電位信号を信号Aと信号Bとすれば、信号A/信号Bの値(比)の絶対値が所定範囲内(例えば0.7~1.3)であるか否かが比較結果となる。
 出力部342は、比較部240による比較結果に基づき、電極の接触状態に関する所定の情報を出力する。所定の情報とは、電極の接触具合に対する警告や、接触状態に関し、眼電位信号に基づく判定結果への信頼性に関する情報などである。
 例えば、出力部342は、比較結果が、予め設定された期間、一方の電極からの眼電位信号の変動が、他の電極からの眼電位信号の変動よりも大きいことを示す場合(比が所定範囲より小さい場合、又は所定範囲より大きい場合)、他の電極の接触状態が良くないことを示す警告を出力する。出力方法については、画面による表示や音声出力、振動等を用いて伝えるなど、様々な手法が用いられてもよい。これにより、電極の装着者に対し、接触状態が悪い電極を知らせることができ、この接触状態を直す契機を与えることができる。
 また、出力部342は、比較結果が、各眼電位信号の変動が凡そ同じ場合(比が所定範囲内である場合)、補正が不要であるため、眼電位信号の信頼性が高いことを示す情報や、装着時のアイウエア100のバランスが良い旨を出力してもよい。他方、出力部342は、比較結果が、各眼電位信号の変動が異なる場合(比が所定範囲外である場合)、眼電位信号の補正が必要であるため、眼電位信号の信頼性が低いことを示す情報や、装着したアイウエア100のバランスが悪い旨を出力してもよい。これにより、接触状態に基づく眼電位信号の信頼性を求め、眼電位信号に関する処理結果に、この信頼性を付与したり、アイウエア100の装着具合をユーザに知らせたりすることができる。
 <瞬目検出>
 次に、検出部338による瞬目の検出について説明する。例えば、検出部338は、取得した眼電位信号から垂直方向の眼電位信号Vvを求める。眼電位信号Vvは、第3電極156の電位から、第1電極152及び第2電極154の電位の平均を減算して生成されてもよいし、第1電極152及び第2電極154の電位の平均から生成されてもよい。
 検出部338は、例えば眼電位信号Vvの極大値から次の極小値までの時間が、所定時間以内である場合に、瞬目と検出する。なお、所定時間は、例えば0.5secとする。なお、上述した瞬目検出処理はあくまでも一例であって、他の瞬目検出のアルゴリズムが用いられてもよい。
 <視線移動検出>
 次に、検出部338による視線移動の検出について説明する。例えば、検出部338は、取得した眼電位信号から右眼電図と、左眼電図とに分けて、右眼電図及び左眼電図で負の電位が示された場合には視線が上を向いたことを検出する。また、検出部338は、右眼電図及び左眼電図で正の電位が示された場合には視線が下、右眼電図で負の電位が示され左眼電図で正の電位が示された場合には視線が右、右眼電図で正の電位が示され左眼電図で負の電位が示された場合には視線が左に向いたことを検出する。
 また、検出部338は、第1電極152の電位から第2電極154の電位を減算して生成された眼電位信号Vhを用いて、負の電位が示され場合には視線が右、正の電位が示された場合には視線が左を向いたことを検出してもよい。また、検出部338は、第3電極156の電位から、第1電極152及び第2電極154の電位の平均を減算して生成された眼電位信号Vvを用いて、正の電位が示された場合には上、負の電位が示された場合には下を向いたことを検出してもよい。また、検出部338は、第1電極152の電位及び第2電極154の電位の平均を垂直方向の眼電位信号Vvとしてもよい。この場合、検出部338は、信号Vvが負の場合は、上を向いたことを検出し、信号Vvが正の場合は、下を向いたことを検出する。なお、上述した視線移動検出処理はあくまでも一例であって、他の視線移動検出のアルゴリズムが用いられてもよい。
 <信号の具体例>
 次に、生体信号の検出対象を基準とした位置が対称性を有する2つの生体電極から取得した各生体信号の具体例について説明する。図9は、各生体電極と皮膚との接触状態が良い場合の各生体信号の例を示す図である。図9に示す例では、各生体電極と鼻とが安定して接触し、適切に圧力がかかっている状態であるため、両方の接触抵抗が十分に小さい。よって、各生体信号V1、V2において、接触抵抗による電位降下はほとんどなく、眼の動きに応じた適切な電圧値を有する。
 図10は、一方の生体電極の接触状態が良く、他方の生体電極の接触状態が悪い場合の各生体信号の例を示す図である。図10に示す例では、一方の生体電極が十分に鼻に接触していないため、接触抵抗が大きくなっており、他方の生体電極の接触状態は良いため、接触抵抗が十分に小さい。よって、一方の生体電極からの信号V2は、他方の生体電極からの信号V1と比べて、大きい接触抵抗により電位降下が大きく、測定される電圧が小さくなっている。すなわち、接触状態が弱いことに起因して接触抵抗が大きくなることにより、相対的に測定される電圧が小さくなってしまうため、降下してしまった信号の補正を行うと良い。
 <補正の具体例>
 次に、眼電位信号を用いた補正の具体例について説明する。図11は、補正前の2つの眼電位信号を示す図である。図11に示す例では、2つの眼電位信号は、理想的には位相が180度ずれた信号である。図11(A)は、例えば電極152から取得される眼電位信号S1を示し、図11(B)は、例えば電極154から取得される眼電位信号S2を示す。図11に示す例では、装着者は左方向を見て右方向を向く場合の信号の例である。また、図11に示す例では、電極152の接触状態は安定しており、電極154の接触状態は不安定である例を示す。この場合、特定部334により、眼電位信号S1が、好適な状態で取得した信号として特定される。
 図11(B)において、電極154と皮膚との接触状態が不安定なことにより、眼電位信号S2の変動が小さくなっている。この眼電位信号S2は、理想的には、眼電位信号S1とは正負の符号が逆になる信号S3になるはずである。
 よって、補正部336は、図11(A)に示す眼電位信号S1の絶対値に基づいて、眼電位信号S2を補正する。
 図12は、補正後の2つの眼電位信号を示す図である。図12(A)は、図11(A)に示す眼電位信号S1と同じ信号を示し、図12(B)は、図11(B)に示す眼電位信号S2の補正後の信号を示す。
 図12(A)に示す眼電位信号S1は、図11(A)に示す眼電位信号S1と同じであるが、これは、眼電位信号S1が、特定部334により特定された信号であるため、補正部336により補正されないからである。
 図12(B)に示す眼電位信号S3は、図11(B)に示す眼電位信号S2が、眼電位信号S1に基づいて補正された信号である。図12(B)に示す例では、補正部336は、眼電位信号S2を、眼電位信号S1の絶対値が同じで、符号が逆になるように補正する。これにより、変動が小さい眼電位信号は、好適な状態で取得された信号と整合が取れるように補正される。
 <信号値の具体例>
 図13~15は、信号記憶部322に記憶される生体信号の値の例を示す。なお、図13~15に示す例では、所定のサンプリングレートでサンプリングされた生体信号の値が記憶される。図13~15に示す一行目は、サンプリングされた順番を示す番号を示し、二行目は、例えば生体信号(Ch1)からサンプリングされた値を示し、三行目は、例えば生体信号(Ch2)からサンプリングされた値を示す。図13~15に示す例では、生体信号Ch1と生体信号Ch2とは、位相差がない信号である。
 図13は、補正前の2つの生体信号の値を示す図である。図13に示す例では、所定期間は、例えばサンプリング数が10個の期間とする。この場合、特定部334は、Ch2の変動(例、15-1=14)よりもCh1の変動(例、30-3=27)の方が大きいため、Ch1の信号を第1生体信号として特定する。
 図14は、補正処理Aの後の2つの生体信号の値を示す図である。例えば、補正処理Aは、変動が小さい生体信号Ch2の値を、変動が大きい好適な生体信号Ch1の値と同じになるよう補正する処理である。補正部336は、補正処理Aを行うことにより、複数の生体信号を全て好適な状態で取得された信号にすることができる。
 図15は、補正処理Bの後の2つの生体信号の値を示す図である。例えば、補正処理Bは、変動が小さい生体信号Ch2の値に、変動が大きい好適な生体信号Ch1と生体信号Ch2との比に基づく係数dを乗算して補正する処理である。
 図15に示す例では、補正部336は、例えば生体信号Ch1と生体信号Ch2との比の平均値を求める。ここでは、比の平均値が、((4/2)+(7/3)+(15/7)+,・・・,+(30/15),・・・,)/10=2になったとする。次に、補正部336は、求めた平均値を係数dに設定し、生体信号Ch2に係数を乗算する。その結果、図15に示す生体信号Ch2の値は、図13に示す生体信号Ch1の値の2倍になる。これにより、補正部336は、補正処理Bを行うことにより、検出された元の信号のプロファイルを生かしつつ、好適な状態で取得されていない信号を、好適な状態で取得された信号と同様の強度の信号に補正することができる。
 <動作>
 次に、実施例における外部装置300の動作について説明する。図16は、実施例における補正処理の一例を示すフローチャートである。図16に示すフローチャートは、使用者がメガネ100を装着して、第1電極152、第2電極154、及び第3電極156が使用者の皮膚に接触した状態であって、外部装置300が信号取得モードである動作モード(通常モード)に設定された場合に開始する。図16、及び図17に示す処理において、生体信号は、眼電位信号を例にして説明する。
 図16に示すステップS102で、取得部332は、メガネ100から、複数の眼電位信号の取得を開始する。
 ステップS104で、検出部338は、取得された複数の眼電位信号それぞれに対し、所定期間内において変動が生じているか否かを判定する。例えば、検出部338は、瞬目や視線移動を検出し、瞬目や視線移動が検出されている期間を、上述した所定期間として設定してもよい。
 ステップS106で、特定部334は、取得された複数の眼電位信号のうち、所定期間内において変動が最も大きい第1眼電位信号を特定する。
 ステップS108で、補正部336は、所定期間内の第1眼電位信号の絶対値(又は振幅)に基づいて、所定期間内の他の眼電位信号を補正する。これにより、変動が小さい信号を適切な信号の値に補正することが可能になる。
 図17は、実施例における出力処理の一例を示すフローチャートである。図17に示すフローチャートは、自動で処理されるものでもよいし、出力モードがオンになっている場合に処理されるものでもよい。
 ステップS202で、比較部340は、複数の眼電位信号それぞれの変動を比較する。
 ステップS204で、出力部342は、比較部340による比較結果が、所定の出力条件を満たすか否かを判定する。出力条件が満たされれば(ステップS204-YES)、処理はステップS206に進み、出力条件が満たされなければ(ステップS204-NO)、処理が終了する。
 ステップS206で、出力部342は、満たされた出力条件に応じた出力を行う。例えば、出力部342は、比較結果が、予め設定された期間、一方の電極からの眼電位信号の変動が、他の電極からの眼電位信号の変動よりも大きいことを示す場合、他の電極の接触状態が良くないことを示す警告を出力してもよい。また、出力部342は、比較結果が、各眼電位信号の変動が凡そ同じ場合、補正の必要がないため、眼電位信号の信頼性が高いことを示す情報を出力してもよい。これにより、必要に応じて、比較結果に応じた様々な出力を行うことができる。
 以上、本実施例によれば、例えば、理論的に同様の生体信号が取得できる位置に設けられ、接触抵抗が不安定になり得る複数の電極から各生体信号を取得する場合に、適切な生体信号を取得することができる。また、本実施例により取得された適切な生体信号は、生体信号を処理するアプリケーションにおいて好適に用いられ得る。これにより、生体信号が適切になっているため、その生体信号を処理するアプリケーションの処理精度を向上させることができる。
 なお、本実施例において、アイウエアがメガネである場合について説明した。しかし、アイウエアはこれに限定されない。アイウエアは、眼に関連する装具であればよく、メガネ、サングラス、ゴーグル及びヘッドマウントディスプレイならびにこれらのフレームなどの顔面装着具又は頭部装着具であってよい。
 本実施例において、メガネ100が第3電極156を備える例を挙げて説明した。しかし、メガネ100はこれに限定されない。メガネ100が、第3電極156を備えなくてもよい。この場合、基準電極を基準とした第1電極152の電位が示す眼電図及び基準電極を基準とした第2電極154の電位が示す眼電図が、外部装置300に送信されればよい。ここで、接地電極を第3電極156の位置に設けて、基準電極としてもよい。また、左モダンに設けられた接地電極を基準電極として用いてもよいし、第1電極152及び第2電極154から離間した位置に、別途設けられた電極を基準電極として用いてもよい。
 本実施例において、メガネ100が、リム122と一体になっているノーズパッド140を備える例を挙げて説明した。しかし、メガネ100はこれに限定されない。メガネ100が、リム122に備え付けられたクリングスと、クリングスに取り付けられたノーズパッド140とを備えてもよい。この場合、ノーズパッド140の表面に設けられた電極は、クリングスを介して、フレームに埋設された電線と電気的に接続される。
 本実施例において、第1電極152及び第2電極154をノーズパッド140の中心よりも下側に設ける例を挙げて説明した。しかし、これに限定されない。ノーズパッド140が下側に延伸する延伸部を備え、第1電極152及び第2電極154を延伸部に設けてもよい。これにより、眼及び鼻の位置の個人差によってノーズパッドが眼の真横に位置してしまう使用者であっても、第1電極152及び第2電極154を眼の位置よりも下に接触させることができる。
 本実施例において、第3電極156を眉間部124の表面に設ける例を挙げて説明した。しかし、これに限定されない。眉間部124が、上側に延伸する延伸部を備え、延伸部に第3電極156を設けてもよい。またさらに、延伸部と眉間部124との間に延伸部を上下に可動させる可動部を備え、第3電極156の位置を上下に調整可能としてもよい。これにより、眼の位置の個人差によって、第3電極156の接触位置が眼の近傍になってしまう使用者であっても、調整により第3電極156の接触位置を眼から離間させることができる。また、本実施例において、各電極の位置は前述した位置に限られず、眼の垂直方向及び水平方向の動きを示す眼電位信号が取得できる位置に配置されていればよい。
 本実施例において、眼電位信号を例に用いて説明したが、眼電位信号の差分信号や極値差信号を用いて処理がなされてもよい。差分信号とは、所定の眼電位信号と、この眼電位信号の所定時間前の眼電位信号との差分を表す信号である。所定時間は、例えば5msecなどである。信号の差分を取ることにより、ノイズ耐性を強くすることができる。なお、これらの信号の差分をとることは、微分を行うことと同義であるとする。
 極値差信号とは、眼電位信号又は差分信号の隣り合う極値(ピーク値)の差分を表す信号である。この極値差信号を取ることにより、眼が動く直前の信号レベルなどに影響を受けることなく、視線移動などの判定を適切に行うことができる。
 本実施例において、生体信号は、脈拍、心拍、脳波、呼吸、発汗などの生体現象をセンサによって数値化したものであれば適用可能である。
 本実施例では、外部装置300の例として、処理装置200と別体の、携帯電話及びスマートフォン等の携帯通信端末を挙げて説明した。しかし、これに限定されない。外部装置300を、処理装置200と一体のユニットとしてもよい。この場合、外部装置300は、アイウエアに一体として設けられる。
 また、本実施例では、電線としてシールドケーブルを用いることで、ノイズの混入を防ぐようにしてもよい。
 また、本実施例では、図1において3つの電極を用いる構成を例示したが、4つ以上の電極を用いる構成であってもよい。この場合、メガネは、上部電極と、下部電極と、左部電極と、右部電極とを有する。例えば、上部電極及び下部電極は、図1に示すリム122に設けられ、左部電極は、左テンプル130に設けられ、右部電極は、右テンプル130に設けられるが、必ずしもこの位置にある必要はない。なお、これらの電極は、顔の一部に接触しているとする。また、メガネは、第1電極152、第2電極154、第3電極156の位置に2つの電極を有したりしてもよい。
 4つの電極の例では、上部電極及び下部電極の電圧差により、眼の上下方向を検知することができ、左部電極及び右部電極の電圧差により、眼の左右方向を検知することができる。
 また、本実施例では、外部装置300が、補正処理を行う例について説明したが、アイウエア側で上述した補正処理の一部又は全部を行ってもよい。例えば、上述した制御部330の機能が、処理装置200の処理部210において実行可能にする。また、特定部334、補正部336、検出部338及び比較部340は、外部装置300ではなく、処理装置200に設けられてもよい。この場合、処理装置200が図16に示すフローチャートを実行する。また、処理装置200の比較部が。図17に示すステップS202を実行し、比較結果が外部装置300に送信される。
 また、処理装置200の検出部による検出結果の送信は、リアルタイムに検出する度に外部装置300に送信する場合と、所定時間(例えば、一分間)ごとに検出結果を集計して、集計結果を外部装置300に送信する場合とがある。
 リアルタイムに検出結果が送信される場合、外部装置300の出力部342は、検出結果(例えば、使用者が瞬目したか否か)を出力する。これにより、早期に詳細な分析をすることができる。
 所定時間ごとに集計結果が送信される場合、外部装置300の出力部342は、所定時間ごとの集計結果をプロットしたグラフ(例えば、棒グラフ、折れ線グラフ又は散布図)を出力する。これにより、まとめてデータを送信するため消費電力を低減させることができる。
 以上、本発明について実施例を用いて説明したが、本発明の技術的範囲は上記実施例に記載の範囲には限定されない。上記実施例に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
100 メガネ
120 フレーム
124 眉間部
140 ノーズパッド
152 第1電極
154 第2電極
156 第3電極
200 処理装置
300 外部装置
320 記憶部
330 制御部
332 取得部
334 特定部
336 補正部
338 検出部
340 比較部
342 出力部

Claims (10)

  1.  制御部を有するコンピュータが実行する情報処理方法であって、
     前記制御部は、
     生体信号の検出対象を基準とした位置が対称性を有する複数の生体電極から、各生体信号を取得すること、
     取得された複数の生体信号のうち、所定期間内において変動が最も大きい第1生体信号を特定すること、
     前記所定期間内の前記第1生体信号の絶対値に基づいて、前記所定期間内の他の生体信号を補正すること、
     を実行する情報処理方法。
  2.  前記補正することは、
     前記他の生体信号を、前記第1生体信号と同じにする、又は前記他の生体信号を、正負の符号を反転させた第1生体信号と同じにする、請求項1に記載の情報処理方法。
  3.  前記補正することは、
     所定時点の前記第1生体信号の絶対値と、前記所定時点の前記他の生体信号の絶対値との比に基づく係数を用いて、前記他の生体信号を補正する、請求項1に記載の情報処理方法。
  4.  前記制御部は、
     前記各生体信号の変動を検出することをさらに実行し、
     前記特定することは、
     前記所定期間として設定された、前記各生体信号の変動が検出された期間内において、前記第1生体信号の特定処理を行う、請求項1乃至3いずれか一項に記載の情報処理方法。
  5.  前記制御部は、
     前記複数の生体信号それぞれの変動を比較すること、
     前記変動の比較結果に基づき、前記複数の生体電極の接触状態に関する所定の情報を出力すること、
     をさらに実行する、請求項1乃至4いずれか一項に記載の情報処理方法。
  6.  前記出力することは、
     前記比較結果が、前記複数の生体信号のうち、同時点における任意の2つの生体信号の絶対値の比の平均値が所定範囲内であるか否かを含む場合、前記所定の情報として、接触状態に基づく前記2つの生体信号の信頼性に関する情報を出力する、請求項5に記載の情報処理方法。
  7.  前記検出対象が複数ある場合、
     前記取得することは、
     各検出対象と、各検出対象に対応する各生体電極との距離が略同じである、前記複数の生体電極から、各生体信号を取得する、請求項1乃至6いずれか一項に記載の情報処理方法。
  8.  生体信号の検出対象を基準とした位置が対称性を有する複数の生体電極から、各生体信号を取得する取得部と、
     前記取得部により取得された複数の生体信号のうち、所定期間内において変動が最も大きい第1生体信号を特定する特定部と、
     前記所定期間内の前記第1生体信号の絶対値に基づいて、前記所定期間内の他の生体信号を補正する補正部と、
     を備える情報処理装置。
  9.  コンピュータに、
     生体信号の検出対象を基準とした位置が対称性を有する複数の生体電極から、各生体信号を取得すること、
     取得された複数の生体信号のうち、所定期間内において変動が最も大きい第1生体信号を特定すること、
     前記所定期間内の前記第1生体信号の絶対値に基づいて、前記所定期間内の他の生体信号を補正すること、
     を実行させるプログラム。
  10.  フレームと、
     前記フレームに設けられる一対のノーズパッドと、
     前記一対のノーズパッドに設けられる各電極と、
     前記各電極から眼電位信号を取得する取得部と、
     前記取得部により取得された各電極の眼電位信号のうち、所定期間内において変動が最も大きい第1眼電位信号を特定する特定部と、
     前記所定期間内の前記第1眼電位信号の絶対値に基づいて、前記所定期間内の他の眼電位信号を補正する補正部と、
     を備えるアイウエア。
     
PCT/JP2015/081055 2015-11-04 2015-11-04 情報処理方法、情報処理装置、プログラム及びアイウエア WO2017077601A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017548562A JP6687639B2 (ja) 2015-11-04 2015-11-04 情報処理方法、情報処理装置、プログラム及びアイウエア
PCT/JP2015/081055 WO2017077601A1 (ja) 2015-11-04 2015-11-04 情報処理方法、情報処理装置、プログラム及びアイウエア

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/081055 WO2017077601A1 (ja) 2015-11-04 2015-11-04 情報処理方法、情報処理装置、プログラム及びアイウエア

Publications (1)

Publication Number Publication Date
WO2017077601A1 true WO2017077601A1 (ja) 2017-05-11

Family

ID=58661722

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/081055 WO2017077601A1 (ja) 2015-11-04 2015-11-04 情報処理方法、情報処理装置、プログラム及びアイウエア

Country Status (2)

Country Link
JP (1) JP6687639B2 (ja)
WO (1) WO2017077601A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111248901A (zh) * 2018-12-03 2020-06-09 睛姿控股公司 鼻托和眼部佩戴用具
JP2021019942A (ja) * 2019-07-29 2021-02-18 株式会社デンソー 眼球指標検出装置、眼球指標検出方法、眼球指標検出プログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11271928B2 (en) 2019-03-25 2022-03-08 International Business Machines Corporation Bioelectrical authentication

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014124308A (ja) * 2012-12-26 2014-07-07 Panasonic Corp 眼電位生成装置、眼電位生成方法およびビューワー

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014124308A (ja) * 2012-12-26 2014-07-07 Panasonic Corp 眼電位生成装置、眼電位生成方法およびビューワー

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111248901A (zh) * 2018-12-03 2020-06-09 睛姿控股公司 鼻托和眼部佩戴用具
JP2021019942A (ja) * 2019-07-29 2021-02-18 株式会社デンソー 眼球指標検出装置、眼球指標検出方法、眼球指標検出プログラム
JP7140072B2 (ja) 2019-07-29 2022-09-21 株式会社デンソー 眼球指標検出装置、眼球指標検出方法、眼球指標検出プログラム

Also Published As

Publication number Publication date
JPWO2017077601A1 (ja) 2018-08-16
JP6687639B2 (ja) 2020-04-22

Similar Documents

Publication Publication Date Title
US20160070122A1 (en) Computerized replacement temple for standard eyewear
US20160157778A1 (en) Electroencephalogram interface system
TW201347725A (zh) 眼部用品
JP2015213734A (ja) プログラム、情報処理装置、及びアイウエア
KR102143920B1 (ko) 시각 자극 기반의 뇌-컴퓨터 인터페이스 장치 및 그 정보 처리 방법
WO2017077601A1 (ja) 情報処理方法、情報処理装置、プログラム及びアイウエア
KR20160108967A (ko) 생체신호 측정장치 및 이를 이용한 생체신호 측정방법
EP3586733B1 (en) Information processing method, information processing device, and program
JP6656166B2 (ja) プログラム、情報処理装置、及びアイウエア
WO2015159851A1 (ja) 検出ユニット、アイウエア、及び眼電位検出システム
JP6699308B2 (ja) ウェアラブル生体計測装置
WO2016076268A1 (ja) プログラム、情報処理装置、及びアイウエア
JP6594953B2 (ja) 視線移動検出方法、プログラム、情報処理装置及びアイウエア
EP3112927A1 (en) A vision monitoring module fixed on a spectacle frame
JP6556860B2 (ja) 情報処理方法、情報処理装置、プログラム及びアイウエア
WO2016072395A1 (ja) プログラム、情報処理装置、及びアイウエア
KR102306111B1 (ko) 장시간 안구 움직임 검출을 위한 기준선 드리프트 제거 알고리즘을 이용한 eog 기반 안구 추적 프로토콜의 방법 및 장치
WO2017064800A1 (ja) プログラム、情報処理装置、及びアイウエア
WO2017064799A1 (ja) アイウエア
KR101297330B1 (ko) 기준전압 피드백 기반 안구전도 신호를 이용한 안구 운동 측정 방법
WO2016152849A1 (ja) 信号処理方法、プログラム、情報処理装置及びアイウエア
TW201932069A (zh) 眼睛輻輳啟用之眼睛追蹤方法及系統
US11402907B2 (en) Information processing system and non-transitory computer readable medium
JP6538203B2 (ja) 眼電位キャリブレーション装置、眼鏡型電子機器、眼電位キャリブレーション方法およびプログラム
KR20220170216A (ko) 졸음 방지 및 집중력 강화를 위한 스마트 안경

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15907787

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017548562

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15907787

Country of ref document: EP

Kind code of ref document: A1