WO2017064800A1 - プログラム、情報処理装置、及びアイウエア - Google Patents

プログラム、情報処理装置、及びアイウエア Download PDF

Info

Publication number
WO2017064800A1
WO2017064800A1 PCT/JP2015/079224 JP2015079224W WO2017064800A1 WO 2017064800 A1 WO2017064800 A1 WO 2017064800A1 JP 2015079224 W JP2015079224 W JP 2015079224W WO 2017064800 A1 WO2017064800 A1 WO 2017064800A1
Authority
WO
WIPO (PCT)
Prior art keywords
value
threshold
electrooculogram
signal
electrode
Prior art date
Application number
PCT/JP2015/079224
Other languages
English (en)
French (fr)
Inventor
慎一郎 加納
田中　仁
俊介 塩谷
Original Assignee
株式会社ジェイアイエヌ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ジェイアイエヌ filed Critical 株式会社ジェイアイエヌ
Priority to PCT/JP2015/079224 priority Critical patent/WO2017064800A1/ja
Publication of WO2017064800A1 publication Critical patent/WO2017064800A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/389—Electromyography [EMG]

Definitions

  • the present invention relates to a program, an information processing apparatus, and eyewear.
  • a sunglasses-type device for detecting and preventing sleep using an electrooculogram input electrode or an electroencephalogram input electrode attached to a frame of glasses is known (for example, see Patent Document 1).
  • an object of the present invention is to appropriately detect blinks.
  • the program according to an aspect of the present invention includes an acquisition step of acquiring an electrooculogram signal indicating a vertical movement of the eye based on an electrooculogram detected by each electrode in contact with the periphery of the eye, and the electrooculogram for each predetermined period.
  • the maximum value and / or minimum value of the figure signal, or the maximum value and / or minimum value of the difference signal between the electrooculogram signal and the electrooculogram signal a predetermined time before the electrooculogram signal are stored in the storage unit.
  • a storage step; a threshold calculation step for calculating a threshold value using the maximum value and / or minimum value stored in the storage unit; and a blink is detected from the electrooculogram signal or the difference signal using the threshold value.
  • a detecting step for performing the processing is performed.
  • blinks can be detected appropriately.
  • FIG. 1 is a block diagram illustrating an example of a processing apparatus according to a first embodiment. It is a figure which shows roughly the contact position of the electrode with respect to a user.
  • FIG. 3 is a diagram illustrating an example of a configuration of an amplification unit in the first embodiment. It is a figure for demonstrating the reason for providing a buffer amplifier.
  • FIG. 6 is a diagram illustrating another example of the configuration of the amplifying unit in the first embodiment.
  • 1 is a block diagram illustrating an example of a configuration of an external device according to a first embodiment. It is a figure which shows an example of the electrooculogram signal which shows the motion of the perpendicular
  • FIG. 10 is a block diagram illustrating an example of a configuration of an external device according to a second embodiment. It is a figure for demonstrating the noise of an electrooculogram signal. It is a figure for demonstrating the blink detection in the case of using the threshold value based on a small coefficient. It is a figure for demonstrating the blink detection in the case of using the threshold value based on a big coefficient. It is a figure which shows an example of the threshold value based on the coefficient according to the mode in Example 2.
  • FIG. 10 is a flowchart illustrating an example of blink detection processing according to the second embodiment.
  • FIG. 1 is a diagram schematically illustrating an example of glasses 100 according to the first embodiment.
  • the glasses 100 include a lens 110 and a frame 120.
  • Glasses 100 and frame 120 are examples of eyewear.
  • the frame 120 supports a pair of lenses 110.
  • the frame 120 includes a rim 122, an eyebrow portion (for example, a bridge) 124, an armor 126, a hinge 128, a temple 130, a modern 132, a pair of nose pads 140, a first electrode 152, and a second electrode. 154, a third electrode 156, a ground electrode 158, an electric wire (not shown), the processing device 200, and an amplification unit 250.
  • the pair of nose pads 140 includes a right nose pad 142 and a left nose pad 144.
  • the rim 122, the armor 126, the hinge 128, the temple 130, and the modern 132 are provided in a pair on the left and right.
  • the rim 122 holds the lens 110.
  • the armor 126 is provided outside the rim 122 and holds the temple 130 rotatably with a hinge 128.
  • the temple 130 presses the upper part of the user's ear to pinch this part.
  • the modern 132 is provided at the tip of the temple 130.
  • the modern 132 contacts the upper part of the user's ear.
  • the modern 132 is not necessarily provided in the glasses 100.
  • the first electrode 152 and the second electrode 154 are provided on the respective surfaces of the pair of nose pads 140 and detect the electrooculogram.
  • the first electrode 152 is provided on the right nose pad 142
  • the second electrode 154 is provided on the left nose pad 144.
  • the first electrode 152 detects the electrooculogram of the user's right eye.
  • the second electrode 154 detects the electrooculogram of the user's left eye.
  • the electrode for detecting the electrooculogram is provided on the surface of the nose pad that inevitably contacts the skin of the user. Thereby, the burden given to a user's skin can be reduced compared with making a pair of electrodes contact the circumference
  • the third electrode 156 is provided on the surface of the interbrow portion 124 and detects an electrooculogram.
  • the ground electrode 158 is provided on the surface of the modern 132. When the glasses 100 do not have the modern 132, the ground electrode 158 is provided at the tip of the temple 130. In the first embodiment, the ground electrode 158 is provided on the surface of the left modern 132.
  • the potential detected by the first electrode 152, the second electrode 154, and the third electrode 156 may be based on the potential detected by the ground electrode 158.
  • the processing apparatus 200 may be provided in the temple 130, for example. Thus, the design when the glasses 100 are viewed from the front is not impaired.
  • the installation position of the processing apparatus 200 is not necessarily the temple 130, but may be positioned in consideration of the balance when the glasses 100 are worn.
  • the processing device 200 is connected to the amplifying unit 250 via an electric wire. Note that the processing device 200 and the amplifying unit 250 may be connected via wireless.
  • the amplification unit 250 is provided in the vicinity of the first electrode 152, the second electrode 154, and the third electrode 156, and is connected to each amplification target electrode via an electric wire.
  • the amplifying unit 250 acquires an electrooculogram signal indicating the electrooculogram detected by each electrode.
  • the amplification unit 250 amplifies an electrooculogram signal indicating an electrooculogram detected by the first electrode 152, the second electrode 154, and the third electrode 156.
  • the amplification unit 250 may perform addition / subtraction processing on each electrooculogram signal before amplification or after amplification.
  • the amplifying unit 250 may obtain a reference electrooculogram signal indicating the potential of the first electrode 152 with respect to the third electrode 156.
  • the amplifying unit 250 may obtain a reference electrooculogram signal indicating the potential of the second electrode 154 with respect to the third electrode 156.
  • the signal amplified or processed by the amplification unit 250 is output to the processing device 200.
  • External device 300 is an information processing device having a communication function.
  • the external device 300 is a mobile communication terminal such as a mobile phone and a smartphone possessed by the user.
  • the external device 300 executes processing based on the electrooculogram signal received from the transmission unit 220. For example, when the external device 300 detects from the received electrooculogram signal that the number of blinks of the user has increased, the external device 300 issues a warning for preventing a doze. Details of the external device 300 will be described later.
  • FIG. 2 is a block diagram illustrating an example of the processing apparatus 200 according to the first embodiment.
  • the processing device 200 includes a processing unit 210, a transmission unit 220, and a power supply unit 230.
  • the first electrode 152, the second electrode 154, and the third electrode 156 are connected to the processing unit 210 via, for example, the amplification unit 250.
  • the processing unit 210 acquires the electrooculogram signal amplified from the amplification unit 250 and processes it. For example, the processing unit 210 may process a reference electrooculogram signal indicating the potential of the first electrode 152 with respect to the third electrode 156. In addition, although the reference
  • the processing unit 210 may perform processing so as to obtain an electrooculogram signal indicating the vertical movement of the eye based on the electrooculogram detected from each electrode in the right eye and the left eye.
  • the processing unit 210 performs the digitization process or acquires an electrooculogram signal amplified from each electrode. Add or subtract signals.
  • the processing unit 210 may transmit the electrooculogram signal acquired from the amplification unit 250 to the transmission unit 220 as it is.
  • the transmission unit 220 transmits the electrooculogram signal processed by the processing unit 210 to the external device 300.
  • the transmission unit 220 transmits an electrooculogram signal to the external device 300 by wireless communication such as Bluetooth (registered trademark) and wireless LAN, or wired communication.
  • the power supply unit 230 supplies power to the processing unit 210, the transmission unit 220, and the amplification unit 250.
  • FIG. 3 is a diagram schematically showing the contact position of the electrode with respect to the user.
  • the first contact position 452 represents the contact position of the first electrode 152.
  • the second contact position 454 represents the contact position of the second electrode 154.
  • the third contact position 456 represents the contact position of the third electrode 156.
  • a horizontal center line 460 represents a horizontal center line connecting the center of the right eye 402 and the center of the left eye 404.
  • the vertical center line 462 represents a center line orthogonal to the horizontal center line 460 at the center of the right eye 402 and the left eye 404.
  • first contact position 452 and the second contact position 454 are located below the horizontal center line 460. Further, it is desirable that the first contact position 452 and the second contact position 454 are arranged so that the line connecting the centers of the first contact position 452 and the second contact position 454 is parallel to the horizontal center line 460.
  • first contact position 452 and the second contact position 454 are desirably arranged so that the distance from the first contact position 452 to the right eye 402 and the distance between the second contact position 454 and the left eye 404 are equal. . Further, it is desirable that the first contact position 452 and the second contact position 454 are separated from each other by a certain distance or more.
  • the third contact position 456 is located on the vertical center line 462.
  • the third contact position 456 is preferably located above the horizontal center line 460 and away from the first contact position 452 and the second contact position 454.
  • the distance between the third contact position 456 and the right eye 402 is separated from the distance between the right eye 402 and the first contact position 452, and the distance from the left eye 404 is the second contact with the left eye 404.
  • the distance from the position 454 may be greater than the distance.
  • the eyeball is positively charged on the corneal side and negatively charged on the retinal side. Therefore, when the line of sight moves upward, the potential of the first electrode 152 with respect to the third electrode 156 and the potential of the second electrode 154 with respect to the third electrode 156 become negative. When the line of sight moves downward, the potential of the first electrode 152 with respect to the third electrode 156 and the potential of the second electrode 154 with respect to the third electrode 156 become positive.
  • the influence of noise can be suitably reduced.
  • the inter-brow portion 124 may be disposed at or near the upper end of the rim 122. Further, the third electrode 156 may be provided above the center of the eyebrow portion 124. In this case, it is desirable to adopt the eyebrow portion 124 having a wide vertical width as the arrangement position of the third electrode 156.
  • the processing unit 210 detects the third electrode based on the reference electrode from the potential of the first electrode 152 based on the reference electrode. The potential of 156 may be reduced. Similarly, instead of detecting the potential of the second electrode 154 with respect to the third electrode 156, the processing unit 210 detects the potential of the second electrode 154 with respect to the reference electrode as a reference. The potential of the three electrodes 156 may be reduced.
  • the ground electrode 158 may be used as the reference electrode. Further, a reference electrode may be separately provided in the glasses 100 at a position away from the first electrode 152, the second electrode 154, and the third electrode 156. For example, the reference electrode may be provided on the modern 132 on the right side. Further, the reference electrode may be provided at a portion of the right temple 130 that is in contact with the user's skin.
  • the process of subtracting the potential of the third electrode 156 from the potential of the first electrode 152 relative to the reference electrode and the process of subtracting the potential of the third electrode 156 from the potential of the second electrode 154 relative to the reference electrode are as follows:
  • the processing unit 210 may execute, or the amplification unit 250 or the external device 300 may execute.
  • the signal indicating the potential to be processed is amplified by the amplification unit 250.
  • FIG. 4 is a diagram illustrating an example of the configuration of the amplification unit 250 according to the first embodiment.
  • the amplification unit 250 includes a first amplifier 260 and a second amplifier 270.
  • the first amplifier 260 is an amplifier that is positioned in front of the second amplifier 270 and functions as a buffer amplifier.
  • the first amplifier 260 is also referred to as a buffer amplifier 260.
  • the second amplifier 270 is an amplifier that functions as a main amplifier.
  • the second amplifier 270 is also referred to as a main amplifier 270.
  • the signal amplified by the main amplifier 270 is output to the processing device 200 by wire or wireless.
  • the installation position of the amplifying unit 250 is desirably the portion 124 between the eyebrows.
  • the amplification unit 250 may be provided so as to be embedded in the eyebrow portion 124.
  • the installation positions of the electrodes depend on the shape of the frame 120, there is a limit even if they are separated.
  • the potential difference between the electrodes may not be sufficiently large, and if noise is mixed in an electrooculogram signal indicating a small potential detected at each electrode, a sufficiently accurate potential can be detected. Will become difficult.
  • the amplifying unit 250 is in the vicinity of the first electrode 152, the second electrode 154, and the third electrode 156 for the purpose of amplifying the detected electrooculogram signal before noise is mixed therein.
  • the amplifying unit 250 is preferably provided in a portion between the eyebrows 124 that is close to each electrode and relatively has a space in the frame 120. Thereby, while the electrooculogram signal detected by each electrode passes an electric wire, the risk that noise mixes and reduces the accuracy of the electrooculogram signal can be reduced.
  • FIG. 5 is a diagram for explaining the reason why the buffer amplifier 260 is provided.
  • the example shown in FIG. 5 uses the third electrode 156, but the same applies to the first electrode 152 and the second electrode 154.
  • the third electrode 156 touches human skin when wearing the glasses 100, it may be considered that a resistance R0 exists between the third electrode 156 and the ground. At this time, the resistance R 0 is, for example, several hundred k ⁇ . Further, the main amplifier 270, there is an internal resistance R 1. In this case, the use of conventional amplifier as a main amplifier 270, the internal resistance R 1 is the number 10 k.OMEGA ⁇ number 100 k.OMEGA.
  • a buffer amplifier 260 is provided at a position before the main amplifier 270 so that no current flows into the main amplifier 270 side.
  • FIG. 6 is a diagram illustrating another example of the configuration of the amplification unit in the first embodiment.
  • the amplifying unit shown in FIG. 6 is denoted by reference numeral 250A.
  • the amplification unit 250A includes a buffer amplifier 260, a main amplifier 270, an A / D conversion unit 280, and a wireless communication unit 290. Since the buffer amplifier 260 and the main amplifier 270 have the same functions as those shown in FIG. 4, the A / D conversion unit 280 and the wireless communication unit 290 will be mainly described below.
  • the A / D converter 280 converts the signal amplified by the main amplifier 270 from analog to digital.
  • the A / D conversion unit 280 outputs the digitally converted signal to the wireless communication unit 290.
  • the wireless communication unit 290 transmits the digital signal converted by the A / D conversion unit 280 to the processing device 200 using wireless communication. Therefore, the wireless communication unit 290 functions as a transmission unit.
  • the wireless communication unit 290 uses wireless communication such as Bluetooth (registered trademark) and wireless LAN.
  • the wireless communication unit 290 may directly transmit a digital signal to the external device 300.
  • the order of the electrooculogram signals from the electrodes may be determined and amplified. Further, a buffer amplifier 260 and a main amplifier 270 may be provided for each electrode.
  • FIG. 7 is a block diagram illustrating an example of the configuration of the external device 300 according to the first embodiment.
  • the external device 300 includes a communication unit 310, a storage unit 320, and a control unit 330.
  • the communication unit 310 receives an electrooculogram signal by wireless communication such as Bluetooth (registered trademark) and wireless LAN, or wired communication.
  • the received electrooculogram signal is an electrooculogram signal indicating the vertical movement of the eye.
  • the communication unit 310 outputs the received electrooculogram signal to the control unit 330.
  • the control unit 330 is a CPU (Central Processing Unit), for example, and controls each unit and performs various arithmetic processes.
  • the control unit 330 includes an acquisition unit 340, a threshold calculation unit 350, and a detection unit 360.
  • the acquisition unit 340 acquires an electrooculogram signal indicating the vertical movement of the eye based on the electrooculogram detected by each electrode in contact with the periphery of the eye.
  • the vertical direction here refers to the direction from the top to the bottom of the head with respect to the face.
  • the acquisition unit 340 acquires an electrooculogram signal indicating the vertical movement of the eye received by the communication unit 310.
  • the control unit 330 stores the maximum value and / or minimum value of the electrooculogram signal in the storage unit 320 for each predetermined period.
  • the predetermined period is, for example, 200 msec, but is not limited thereto. Further, the predetermined period may be temporally varied by allowing overlap by using a time window.
  • the control unit 330 stores the maximum value of the maximum value and the minimum value of the minimum value in the storage unit 320 when the maximum value is the maximum value and when the minimum value is the minimum value. Good. Thereby, since a peak can be memorize
  • the control unit 330 may detect a local maximum value and a local minimum value for the electrooculogram signal, and store the local maximum value and the local minimum value in the storage unit 320.
  • the storage unit 320 is, for example, a RAM (Random Access Memory), and stores the maximum value and / or the minimum value of the electrooculogram signal for each predetermined period.
  • the storage unit 320 includes a FIFO buffer for maximum value and a FIFO buffer for minimum value. When the storage capacity of the FIFO buffer is full due to the maximum or minimum value data, the oldest data is erased and the latest data is stored, whereby the data stored in the storage area is updated. .
  • the storage unit 320 may store a local maximum value instead of the maximum value and a local minimum value instead of the minimum value.
  • the storage unit 320 stores a program that causes a computer to execute blink detection processing described later.
  • This program may be installed in the external device 300 via the Internet or a recording medium such as an SD card, or may be preinstalled.
  • the storage unit that stores the program may be different from the storage unit 320.
  • the threshold value calculation unit 350 calculates a threshold value using the maximum value and / or the minimum value stored in the storage unit 320. For example, the threshold calculation unit 350 may calculate the absolute value of the threshold from the average value of the absolute values of the maximum value or the minimum value, for example, in order to simplify the process.
  • the threshold calculation unit 350 may calculate the first threshold using the maximum value stored in the storage unit 320 and may calculate the second threshold using the minimum value stored in the storage unit 320. .
  • the first threshold value is used to determine that the eye has moved in the vertical direction
  • the second threshold value is used to determine that the eye has moved in the vertical direction. Accordingly, threshold values can be set for each of the upward eye movement and the downward eye movement, so that appropriate threshold determination can be performed.
  • the threshold value calculation unit 350 includes a first calculation unit 352 and a second calculation unit 354.
  • the first calculator 352 calculates an average value and a standard deviation of the maximum values stored in the maximum value FIFO buffer.
  • the first calculation unit 352 calculates the average value and standard deviation of the minimum values stored in the FIFO buffer for the minimum value.
  • the second calculation unit 354 calculates the first threshold value based on the average value and standard deviation of the maximum value, and calculates the second threshold value based on the average value and standard deviation of the minimum value.
  • the threshold value can be set using an electrooculogram signal indicating the latest state of the subject.
  • the first threshold value and the second threshold value can be changed in accordance with the intensity of a signal indicating the latest state of the subject.
  • the second calculation unit 354 sets a value obtained by adding a value obtained by multiplying the average value of the maximum value by a coefficient to the standard deviation of the maximum value as the first threshold value.
  • the second calculation unit 354 sets a value obtained by subtracting a value obtained by multiplying the standard deviation of the minimum value by a coefficient from the average value of the minimum values as the second threshold value. Thereby, an appropriate threshold value can be set.
  • the threshold value calculation unit 350 updates the first threshold value and the second threshold value every time the maximum value and / or the minimum value is stored in the storage unit 320.
  • the threshold calculation unit 350 can set the threshold based on the past electrooculogram signal, so that even if the electrooculogram signal becomes weak due to sleepiness and slowing of eye movement. Since the threshold can be set according to the weakened signal, the blink can be detected appropriately.
  • the threshold calculation unit 350 outputs the calculated first threshold and second threshold to the detection unit 360. Note that the threshold calculation unit 350 may calculate the threshold using the maximum value and / or the minimum value stored in the storage unit 320.
  • the threshold value calculation unit 350 may use an average of a predetermined number of local maximum values stored in the storage unit 320 as a first threshold value, or may set an average of a predetermined number of local minimum values stored in the storage unit 320 as a second threshold value. May be. Further, the threshold value calculation unit 350 may calculate the first threshold value and the second threshold value using the standard deviations of the local maximum value and the local minimum value stored in the storage unit 320.
  • the detection unit 360 detects blinks from the electrooculogram signal using the first threshold value and the second threshold value calculated by the second calculation unit 354. For example, the detection unit 360 determines the difference between the first maximum time stored in the storage unit 320 that is equal to or greater than the first threshold and the second minimum time stored in the storage unit 320 that is equal to or less than the second threshold. If is within a predetermined time, blink is detected.
  • the second time is the latest time after the first time.
  • the predetermined time is, for example, 500 msec, but is not limited thereto.
  • the detection unit 360 detects blinks using the electrocardiogram signals of the right eye and the left eye, and detects the final blink when the blinks are detected in both eyes at a timing within a predetermined range. May be.
  • the detection unit 360 may detect blinks using the average of both electrooculogram signals on the assumption that the right eye and the left eye move in the same manner. Next, a blink detection algorithm will be described using specific electrooculogram signals.
  • FIG. 8 is a diagram illustrating an example of an electrooculogram signal indicating the vertical movement of the eye.
  • the electrooculogram signal S1 shown in FIG. 8 is an electrooculogram signal indicating the vertical movement of one eye.
  • the blink detection algorithm will be described with reference to FIG.
  • the control unit 330 obtains maximum and minimum values for each predetermined period T1 (for example, 500 msec) of the electrooculogram signal S1.
  • the controller 330 stores the value in the second FIFO buffer.
  • the control unit 330 stores the minimum value in a second FIFO buffer in a different area from the first FIFO buffer. Save (storage unit 320).
  • the order of (2) and (3) is not limited.
  • black points on the electrooculogram signal S1 represent values detected as maximum values or minimum values in each period. Note that the maximum value and the minimum value can be obtained using differentiation, for example, using a difference signal of the electrooculogram signal S1.
  • the first calculation unit 352 calculates the average value (a1) and the standard deviation (b1) of the maximum values stored in the first FIFO buffer. Is calculated. The first calculation unit 352 calculates the average value (a2) and standard deviation (b2) of the maximum values stored in the second FIFO buffer.
  • the second calculation unit 354 calculates the first threshold and the second threshold using the average value and the standard deviation calculated in (4).
  • the first threshold value (Th1) and the second threshold value (Th2) are calculated by the following equations.
  • Th1 a1 + E ⁇ b1 Formula (1)
  • Th2 a2-E ⁇ b2 Formula (2)
  • the coefficient E is set to 2, for example.
  • each threshold value varies with the passage of time of the electrooculogram signal, and the threshold value is appropriately changed following the intensity (magnitude) of the electrooculogram signal.
  • the first threshold value TH1 and the second threshold value TH2 shown in FIG. 8 are merely conceptually showing threshold value fluctuations.
  • the detection unit 360 identifies the maximum value greater than or equal to the first threshold calculated in (5).
  • the maximum value to be subjected to the threshold determination is a maximum value that is stored in the first FIFO buffer and has not yet been subjected to the threshold determination.
  • the detection unit 360 identifies the minimum value equal to or less than the second threshold calculated in (5).
  • the minimum value to be subjected to the threshold determination is a minimum value that is stored in the second FIFO buffer and has not yet been subjected to the threshold determination.
  • the specified maximum and minimum values are represented by black dots surrounded by squares.
  • the detection unit 360 includes, for each specified maximum value, the first time of the maximum value and the second time of the specified minimum value, and the latest time after the first time If the difference from the second time is within a predetermined time, the vertical movement of the eye is detected as a blink.
  • the eye movement is detected as a blink.
  • the predetermined time is, for example, 500 msec.
  • FIG. 9 is a diagram illustrating an example of an electrooculogram signal when blinking continuously.
  • the electrooculogram signal S2 shown in FIG. 9 is an electrooculogram signal indicating the vertical movement of one eye.
  • Reference signs T1, TH1, and TH2 shown in FIG. 9 have the same meaning as the same reference signs shown in FIG.
  • the electrooculogram signal swings to the plus side before it largely swings to the minus side.
  • an absolute value smaller than a lower limit value (a value represented by a triangle surrounding the black circle shown in FIG. 9) is stored in the second FIFO buffer. Not used for calculation of threshold value. This is because when these values are used, the threshold value becomes unnecessarily small, and the blink may be erroneously detected.
  • the first threshold value TH1 and the second threshold value TH2 There are only a pair exceeding the maximum value of t33 and a minimum value of t41. That is, the blink is detected only once from the electrooculogram signal shown in FIG.
  • blinks are detected by comparing the time difference with the nearest minimum value after the maximum value for each maximum value greater than or equal to the first threshold value with a predetermined time. That is, the minimum value for taking the difference does not necessarily need to be the minimum value that comes after the maximum value.
  • the difference between the first maximum value time t31 and the latest minimum value time t41, and the difference between the second maximum value time t32 and the latest minimum value time t41 are all detected as blinks.
  • the above-described blink detection algorithm can detect blinks appropriately by reducing detection omissions even when blinks are continuously performed at high speed.
  • the method is the reverse of the above method, the blink may be detected using the maximum value immediately before each minimum value on the basis of the minimum value.
  • FIG. 10 is a flowchart illustrating an example of blink detection processing according to the first embodiment.
  • the flowchart shown in FIG. 10 shows a state in which the user wears the glasses 100, and the first electrode 152, the second electrode 154, the third electrode 156, and the ground electrode 158 are in contact with the user's skin.
  • the process starts when 300 is set to an operation mode that is a mode for executing blink detection processing.
  • step S102 the acquisition unit 340 acquires an electrooculogram signal indicating the vertical movement of the eye.
  • step S104 the control unit 330 determines whether a predetermined period has elapsed. If the predetermined period has elapsed (step S104—YES), the process proceeds to step S106. If the predetermined period has not elapsed (step S104—NO), the process returns to step S102.
  • step S106 the control unit 330 stores the maximum value and / or the minimum value in the predetermined period in the storage unit 320.
  • the threshold value calculation unit 350 calculates a threshold value (first threshold value and second threshold value) using the maximum value and / or the minimum value stored in the storage unit 320.
  • step S110 the detection unit 360 identifies the first time of the maximum value that is equal to or greater than the first threshold value, or the second time of the maximum value that is equal to or less than the second threshold value. At this time, the detection unit 360 specifies the latest minimum time after the specified first time as the second time.
  • step S112 the detection unit 360 determines whether the second time-the first time is less than a predetermined time. If this condition is satisfied (step S112—YES), the process proceeds to step S114. If this condition is not satisfied (step S112—NO), the process returns to step S102.
  • step S114 the detection unit 360 detects an eye movement between the first time and the second time as a blink.
  • the external device 300 can detect blinks using an appropriate threshold value.
  • FIG. 11 is a flowchart illustrating an example of threshold calculation processing according to the first embodiment.
  • the control unit 330 determines whether the maximum value within the predetermined period is a maximum value or whether the minimum value within the predetermined period is a minimum value. If any of these conditions are satisfied (step S202—YES), the process proceeds to step S204, and if none of these conditions is satisfied (step S202—NO), the process proceeds to step S110.
  • step S204 the control unit 330 stores the maximum value that is the maximum value or the minimum value that is the minimum value in the storage unit (buffer portion) 320.
  • step S206 the first calculation unit 352 calculates the average value and the standard deviation of the maximum values stored in the storage unit 320. In addition, the first calculation unit 352 calculates the average value and standard deviation of the minimum values stored in the storage unit 320.
  • step S208 the second calculation unit 354 calculates the first threshold value using the average value and standard deviation of the maximum values, and calculates the second threshold value using the average value and standard deviation of the minimum values.
  • the external device 300 can calculate an appropriate threshold value according to the intensity of the electrooculogram signal indicating the latest state of the subject.
  • eyewear is glasses
  • eyewear is not limited to this.
  • the eyewear may be any device related to the eye, and may be a face wearing device or a head wearing device such as glasses, sunglasses, goggles and a head mounted display and their frames.
  • the glasses 100 include the third electrode 156
  • the glasses 100 may not include the third electrode 156.
  • an electrooculogram indicated by the potential of the first electrode 152 relative to the reference electrode and an electrooculogram indicated by the potential of the second electrode 154 relative to the reference electrode may be transmitted to the external device 300.
  • the ground electrode 158 may be provided at the position of the third electrode 156 to serve as a reference electrode.
  • the ground electrode 158 provided in the left modern may be used as a reference electrode, or an electrode provided separately from the first electrode 152 and the second electrode 154 may be used as a reference electrode.
  • the glasses 100 include the nose pad 140 integrated with the rim 122 .
  • the glasses 100 are not limited to this.
  • the glasses 100 may include a klings provided on the rim 122 and a nose pad 140 attached to the krings.
  • the electrode provided on the surface of the nose pad 140 is electrically connected to the electric wire embedded in the frame via the krings.
  • the first electrode 152 and the second electrode 154 have been described as examples provided below the center of the nose pad 140. However, it is not limited to this.
  • the nose pad 140 may include an extending portion that extends downward, and the first electrode 152 and the second electrode 154 may be provided in the extending portion. This allows the first electrode 152 and the second electrode 154 to be in contact below the eye position even for a user whose nose pad is located directly beside the eye due to individual differences in eye and nose positions. Can do.
  • the third electrode 156 has been described as an example in which the third electrode 156 is provided on the surface of the eyebrow portion 124.
  • the eyebrow portion 124 may include an extending portion that extends upward, and the third electrode 156 may be provided in the extending portion.
  • a movable part that moves the extending part up and down between the extending part and the eyebrow part 124 may be provided so that the position of the third electrode 156 can be adjusted up and down.
  • the position of each electrode is not limited to the position described above, and it is only necessary to be disposed at a position where an electrooculogram signal indicating the vertical movement of the eye can be acquired.
  • the external device 300 a mobile communication terminal such as a mobile phone and a smartphone, which is separate from the processing device 200, has been described. However, it is not limited to this.
  • the external device 300 may be a unit integrated with the processing device 200. In this case, the external device 300 is provided integrally with the eyewear.
  • noise may be prevented by using a shielded cable as the electric wire.
  • FIG. 12 is a diagram schematically illustrating another example of the glasses in the embodiment.
  • the glasses 600 shown in FIG. 12 are different from the glasses 100 shown in FIG. 1 in that an electrooculogram signal is acquired using four electrodes.
  • an electrooculogram signal is acquired using four electrodes.
  • the 12 includes an upper electrode 652, a lower electrode 654, a left electrode 656, and a right electrode 658.
  • the upper electrode 652 and the lower electrode 654 are provided on the rim 122
  • the left electrode 656 is provided on the left temple 130
  • the right electrode 658 is provided on the right temple 130. It does not have to be in this position. Note that these electrodes are in contact with a part of the face.
  • the vertical direction of the eye can be detected based on the voltage difference between the upper electrode 652 and the lower electrode 654, and the horizontal direction of the eye is detected based on the voltage difference between the left electrode 656 and the right electrode 658. can do.
  • Example 2 Next, the eyewear in Example 2 will be described.
  • the outline of the eyeglasses as an example of eyewear in the second embodiment is the same as the eyeglasses 100 shown in FIG. Further, the configuration of the processing apparatus in the second embodiment is the same as the configuration shown in FIG.
  • the external device determines the noise mode, calculates a threshold value using the determined mode and the obtained extreme value, and performs blink detection using the threshold value.
  • determination of the noise mode and threshold calculation in the second embodiment will be described in detail.
  • FIG. 13 is a block diagram illustrating an example of the configuration of the external device 300A according to the second embodiment.
  • the external device 300 ⁇ / b> A includes a communication unit 310, a storage unit 700, and a control unit 710.
  • the communication unit 310 receives an electrooculogram signal by wireless communication such as Bluetooth (registered trademark) and wireless LAN, or wired communication.
  • the received electrooculogram signal is an electrooculogram signal indicating the vertical movement of the eye.
  • the communication unit 310 outputs the received electrooculogram signal to the control unit 710.
  • the control unit 710 is a CPU (Central Processing Unit), for example, and controls each unit and performs various arithmetic processes.
  • the control unit 710 includes an acquisition unit 720, a difference calculation unit 730, a threshold calculation unit 740, and a detection unit 750.
  • the acquisition unit 720 acquires an electrooculogram signal indicating the vertical movement of the eye based on the electrooculogram detected by each electrode in contact with the periphery of the eye. For example, the acquisition unit 720 acquires an electrooculogram signal indicating the vertical movement of the eye received by the communication unit 310.
  • the difference calculation unit 730 calculates a difference signal between the electrooculogram signal acquired by the acquisition unit 720 and the electrooculogram signal a predetermined time before the electrooculogram signal.
  • the predetermined time is, for example, 5 msec.
  • noise tolerance can be increased. Note that taking the difference between these signals is synonymous with performing differentiation.
  • the control unit 710 stores the maximum value and / or the minimum value of the difference signal in the storage unit 700 every predetermined period. Further, the predetermined period may be temporally varied by allowing overlap by using a time window. In the second embodiment, an example in which a maximum value and a minimum value are used as the maximum value and the minimum value of a difference signal and a time window is used as a predetermined period will be described.
  • the control unit 710 may store the minimum value and the maximum value of the difference signal newly included in the time window in the storage unit 700 as the time window moves. Note that a lower limit may be provided for the absolute value of the maximum value and the minimum value to be stored. Thereby, since the maximum value and the minimum value that affect the threshold are not stored, the maximum value and the minimum value whose absolute values are too small are not stored, so that the accuracy of the threshold described later can be further improved. Further, the control unit 710 may detect a local maximum value and a local minimum value with respect to the difference signal of the electrooculogram signal, and store the local maximum value and the local minimum value in the storage unit 700.
  • the storage unit 700 is, for example, a RAM (Random Access Memory), and stores a maximum value and / or a minimum value of the difference signal for each predetermined period.
  • the storage unit 700 includes a maximum value FIFO buffer and a minimum value FIFO buffer.
  • the FIFO buffer can hold, for example, 10 pieces of data. When 10 pieces of maximum or minimum value data are stored, the oldest data is erased and the latest data is stored in the storage area. The stored data is updated.
  • the storage unit 700 stores a program that causes a computer to execute blink detection processing described later.
  • This program may be installed in the external device 300 via the Internet or a recording medium such as an SD card, or may be preinstalled.
  • the storage unit that stores the program may be different from the storage unit 700.
  • the threshold calculation unit 740 calculates a threshold using the maximum value and / or the minimum value stored in the storage unit 700. For example, the threshold value calculation unit 740 may calculate the absolute value of the threshold value from the average value of the absolute value of the local maximum value or the local minimum value in order to simplify the process.
  • the threshold value calculation unit 740 may calculate the first threshold value using the local maximum value stored in the storage unit 700, and may calculate the second threshold value using the local minimum value stored in the storage unit 700. .
  • the threshold calculation unit 740 calculates the first threshold using the standard deviation or average of the maximum value or the second threshold using the standard deviation or average of the minimum value. Or may be calculated.
  • the threshold value calculation unit 740 includes a first calculation unit 742, a second calculation unit 744, a determination unit 746, and a determination unit 748.
  • the determination unit 746 acquires a difference signal from the difference calculation unit 730 and determines a mode based on the intensity (amplitude) of the difference signal.
  • the differential signal mode includes, for example, a low noise mode and a high noise mode.
  • the determination unit 746 determines the mode according to the signal strength of the difference signal. For example, if the absolute value or average value of the signal strength is less than 10, it determines that the mode is the low noise mode, and determines the absolute value or average of the signal strength. If the value is 10 or more, it is determined that the high noise mode is set.
  • the determination unit 746 switches to the mode only when the same mode continues for a predetermined number of times or for a predetermined time, or switches the mode by providing hysteresis based on the history of the past mode. Good. Further, the determination unit 746 may determine three or more modes instead of determining two modes from the difference signal.
  • the determining unit 748 determines the coefficient ⁇ according to the determined mode. For example, the determination unit 748 sets the coefficient ⁇ to ⁇ 1 in the low noise mode, and sets the coefficient ⁇ to ⁇ 2 ( ⁇ 1) in the high noise mode. It is preferable that the number of coefficients ⁇ is prepared as many as the number of modes.
  • the first calculation unit 742 calculates the average value of the local maximum values stored in the local maximum FIFO buffer.
  • the first calculation unit 742 calculates the average value of the minimum values stored in the minimum value FIFO buffer.
  • the second calculation unit 744 calculates a first threshold value based on the average value of the local maximum value and the coefficient ⁇ determined by the determination unit 748, and based on the average value of the local minimum value and the coefficient ⁇ determined by the determination unit 748 A second threshold value is calculated.
  • the second calculation unit 744 sets a value obtained by multiplying the average value of the local maximum values by the determined coefficient as the first threshold value.
  • the second calculation unit 744 sets a value obtained by multiplying the average value of the local minimum values by the determined coefficient as the second threshold value.
  • the second calculation unit 744 may delete the maximum value and the minimum value of the difference signal detected as blinking in the detection unit 750 described later from the FIFO buffer. As a result, since the signal intensity is strong, the differential signal detected as blink can be excluded from mode determination for determining signal intensity other than blink, and appropriate threshold determination based on an appropriate mode is performed. be able to.
  • the threshold value calculation unit 740 updates the first threshold value and the second threshold value each time the maximum value and / or the minimum value is stored in the storage unit 700. Thereby, the threshold value calculation unit 740 can determine the mode based on the difference signal of the electrooculogram signal and set the threshold value according to the determined mode. Therefore, the threshold value calculation unit 740 sets a threshold value suitable for the surrounding environment. Therefore, the blink can be detected appropriately.
  • the threshold calculation unit 740 outputs the calculated first threshold and second threshold to the detection unit 750.
  • the detection unit 750 detects blinks from the difference signal of the electrooculogram signal using the first threshold value and the second threshold value calculated by the second calculation unit 744. For example, the detection unit 750 calculates the difference between the first time of the maximum value stored in the storage unit 700 that is equal to or greater than the first threshold and the second time of the minimum value that is stored in the storage unit 700 that is equal to or less than the second threshold. If is within a predetermined time, blink is detected.
  • the second time is the latest time after the first time.
  • the predetermined time is, for example, 500 msec, but is not limited thereto.
  • the detection unit 750 detects blinks using the difference signals of the right eye and left eye, and detects a final blink when the blinks are detected in both eyes at a timing within a predetermined range. Also good.
  • the detection unit 750 may detect blinks using an average of both difference signals on the assumption that the right eye and the left eye move in the same manner.
  • FIG. 14 is a diagram for explaining noise of an electrooculogram signal.
  • FIG. 14A is an electrooculogram signal in the vertical direction when noise is small (signal strength is small).
  • FIG. 14B is an electrooculogram signal in the vertical direction when noise is large (signal strength is large).
  • shaft shown in FIG. 14 shows electroocular intensity.
  • the measurement value of an electrooculogram signal ⁇ 1.5 (V) ⁇ 2048 is used as an example of the electrooculogram intensity.
  • FIG. 15 is a diagram for explaining blink detection when a threshold based on a small coefficient ⁇ is used.
  • FIG. 15A shows the first threshold value and the second threshold value for the difference spectrum when the noise is small. As shown in FIG. 15A, since the noise is small, the peak value of the difference signal is small and the coefficient ⁇ is also small, so the absolute values of the first threshold value TH21 and the second threshold value TH22 are small. Since the absolute values of the first threshold value TH21 and the second threshold value TH22 are small, the peaks P11, P12, and P13 are not extreme values at the time of blinking. Misdetected.
  • FIG. 15B shows the first threshold value and the second threshold value for the difference spectrum when the noise is large.
  • the noise since the noise is large, the peak value of the difference signal is relatively large, but the first threshold TH21 and the second threshold TH22 are detected to be able to detect blinks because the coefficient ⁇ is small. It becomes an appropriate value. Therefore, in the example shown in FIG. 15B, blinks can be detected appropriately.
  • the coefficient ⁇ is set to a small value, it is possible to appropriately detect blinks when the noise is large, but erroneous detection of blinks occurs when the noise is small.
  • FIG. 16 is a diagram for explaining blink detection when a threshold value based on a large coefficient ⁇ is used.
  • FIG. 16A shows the first threshold for the difference spectrum when the noise is small.
  • the first threshold value TH31 is an appropriate value that can detect blinks because the coefficient ⁇ is large. . Therefore, in the example shown in FIG. 16A, it is possible to appropriately detect blinks.
  • FIG. 16B shows the first threshold value for the difference spectrum when the noise is large.
  • the noise since the noise is large, the peak value of the differential signal is high and the coefficient ⁇ is also large, so that the absolute value of the first threshold value TH31 is large. Therefore, since the absolute value of the first threshold value TH31 is large, even if it is an extreme value at the time of blinking, the extreme value falls below the threshold value due to the threshold determination, and the blink is not detected.
  • the coefficient ⁇ is set to a small value, blinks can be detected appropriately when the noise is small, but undetected blinks appear when the noise is large.
  • the mode based on the intensity of the difference signal is determined, and the coefficient is determined according to the determined mode.
  • the threshold based on the determined coefficient it is possible to prevent both erroneous detection of blinks and non-detection of blinks.
  • FIG. 17 is a diagram illustrating an example of a threshold based on a coefficient according to a mode in the second embodiment.
  • FIG. 17A shows the first threshold value and the second threshold value for the differential signal in the low noise mode.
  • the determination unit 746 determines that the low noise mode is set, and the determination unit 748 determines the coefficient ⁇ to be ⁇ 1. Therefore, although the peak value of the difference signal is relatively small, the first threshold value TH41 and the second threshold value TH42 are set to appropriate values because the coefficient ⁇ is large. Therefore, in the example shown in FIG. 17A, erroneous detection of blinks can be prevented and blinks can be detected appropriately.
  • FIG. 17B shows the first threshold value and the second threshold value for the differential signal in the high noise mode.
  • the determination unit 746 determines that the noise mode is high, and the determination unit 748 determines the coefficient ⁇ to be ⁇ 2 ( ⁇ 1). Therefore, although the peak value of the difference signal is high, the coefficient ⁇ is small, so the first threshold value TH41 and the second threshold value TH42 are set to appropriate values. Therefore, in the example shown in FIG. 17B, undetected blinks can be prevented and blinks can be detected appropriately.
  • a mode is determined using a difference signal of an electrooculogram signal, and a more appropriate threshold can be set by using a coefficient corresponding to the mode. As a result, erroneous detection and undetection of blinks can be prevented.
  • FIG. 18 is a flowchart illustrating an example of blink detection processing according to the second embodiment.
  • the flowchart shown in FIG. 18 shows a state in which the user wears the glasses 100 and the first electrode 152, the second electrode 154, the third electrode 156, and the ground electrode 158 are in contact with the user's skin, and the external device
  • the process starts when 300 is set to an operation mode that is a mode for executing blink detection processing.
  • step S302 the acquisition unit 720 acquires an electrooculogram signal indicating the vertical movement of the eye.
  • step S304 the difference calculation unit 730 calculates a difference signal between the acquired electrooculogram signal and the electrooculogram signal a predetermined time ago.
  • step S306 the determination unit 746 performs mode determination based on the difference signal.
  • any one of a plurality of preset modes may be determined.
  • step S308 the determination unit 748 determines a coefficient according to the determined mode.
  • the coefficients only need to be associated with each mode in advance.
  • the threshold calculation unit 740 uses a value obtained by multiplying the average of the maximum values stored in the storage unit 700 by a coefficient as a first threshold, and a value obtained by multiplying the average of the minimum values stored in the storage unit 700 by a coefficient. Is the second threshold.
  • steps S312, S314, and S316 is the same as S110, S112, and S114 shown in FIG.
  • the external device 300A can perform the mode determination of the electrooculogram signal and detect blinks using an appropriate threshold value for each mode. Further, the modification in the first embodiment can be similarly applied to the second embodiment. Moreover, the mode determination process in Example 2 and the process which makes a coefficient variable are applicable also in Example 1 by replacing the difference signal in Example 2 with the electrooculogram signal.
  • the program in the above embodiment acquires an electrooculogram signal indicating the vertical movement of the eye based on the electrooculogram detected by each electrode in contact with the periphery of the eye, and an electrocardiogram for each predetermined period.
  • a storage step of storing the maximum value and / or minimum value of the signal, or the maximum value and / or minimum value of the difference signal between the electrooculogram signal and the electrooculogram signal a predetermined time before the electrooculogram signal in the storage unit And a threshold calculation step for calculating a threshold using the maximum value and / or the minimum value stored in the storage unit, and a detection step for detecting blinks from an electrooculogram signal or a difference signal using the threshold. Let the computer run.
  • the threshold value may be updated each time the maximum value and / or the minimum value is stored in the storage unit.
  • the storage step may store the maximum value that is the maximum value and the minimum value that is the minimum value in the storage unit.
  • the threshold calculation step calculates the first threshold using the maximum value stored in the storage unit, calculates the second threshold using the minimum value stored in the storage unit, and the detection step includes the first threshold value.
  • the blink may be detected from the electrooculogram signal using the second threshold value.
  • the threshold calculation step includes a first calculation step for calculating an average value and a standard deviation with respect to the maximum value and the minimum value stored in the storage unit, a first threshold value based on the average value and the standard deviation of the maximum values, A second calculation step of calculating a second threshold value based on the average value and the standard deviation of the minimum values.
  • a value obtained by adding a value obtained by multiplying the standard deviation of the maximum value by a coefficient to the average value of the maximum value is set as a first threshold, and the coefficient is calculated from the average value of the minimum value to the standard deviation of the minimum value.
  • a value obtained by subtracting a value obtained by multiplying by may be used as the second threshold value.
  • the detection step includes a difference between a first time having a maximum value equal to or greater than the first threshold value and a second time having a minimum value equal to or less than the second threshold value, the second time being closest to the first time.
  • Blinks may be detected within a predetermined time.
  • the threshold calculation step includes a determination step for performing mode determination based on the intensity of the electrooculogram signal or the difference signal, a determination step for determining a coefficient according to the determined mode, a maximum value stored in the storage unit, and A first calculation step for calculating an average of each of the minimum values; a second calculation step for calculating a first threshold value obtained by multiplying the average of the maximum values by a coefficient; and a second threshold value obtained by multiplying the average of the minimum values by a coefficient; May be included.
  • the maximum value or the minimum value of the past electrooculogram signal or difference signal detected as a blink may be excluded from the average calculation process.
  • the information processing apparatus includes an acquisition unit that acquires an electrooculogram signal indicating a vertical movement of the eye based on an electrooculogram detected by each electrode that contacts the periphery of the eye, and an eye for each predetermined period.
  • a storage unit for storing a maximum value and / or a minimum value of an electrogram signal, or a maximum value and / or a minimum value of a difference signal between an electrooculogram signal and an electrooculogram signal a predetermined time before the electrooculogram signal;
  • a threshold calculation unit that calculates a threshold using a maximum value and / or a minimum value stored in the storage unit, and a detection unit that detects blinks from an electrooculogram signal or a difference signal using the threshold.

Abstract

情報処理装置であって、眼周辺に接触する各電極により検出された眼電位に基づく眼の垂直方向の動きを示す眼電図信号を取得する取得部と、所定期間毎の前記眼電図信号の最大値及び／又は最小値、あるいは眼電図信号と眼電図信号の所定時間前の眼電図信号との差分信号の最大値及び／又は最小値を記憶する記憶部と、記憶部に記憶された最大値及び／又は最小値を用いて閾値を算出する閾値算出部と、閾値を用いて、眼電図信号又は差分信号から瞬目を検出する検出部と、を備える。

Description

プログラム、情報処理装置、及びアイウエア
　本発明は、プログラム、情報処理装置、及びアイウエアに関する。
　眼鏡のフレームに取り付けられた眼電図入力電極や脳電図入力電極を用いて、睡眠を検出及び防止するためのサングラス型装置が知られている（例えば、特許文献１参照）。
特開２００８－２６４５５１号公報
　しかしながら、眼周辺に各電極を接触させ、各電極が検出した眼電位を用いて瞬目を検出する場合、対象者の疲労状態などに応じて眼電位の大きさが変動するため、瞬目を判断するための閾値などの設定が難しく、適切に瞬目を検出できないという問題点があった。
　そこで、本発明は、適切に瞬目を検出することができることを目的とする。
　本発明の一態様におけるプログラムは、眼周辺に接触する各電極により検出された眼電位に基づく眼の垂直方向の動きを示す眼電図信号を取得する取得ステップと、所定期間毎の前記眼電図信号の最大値及び／又は最小値、あるいは前記眼電図信号と該眼電図信号の所定時間前の眼電図信号との差分信号の最大値及び／又は最小値を記憶部に記憶する記憶ステップと、前記記憶部に記憶された最大値及び／又は最小値を用いて閾値を算出する閾値算出ステップと、前記閾値を用いて、前記眼電図信号又は前記差分信号から瞬目を検出する検出ステップと、をコンピュータに実行させる。
　本発明によれば、適切に瞬目を検出することができる。
実施例１におけるメガネの一例を概略的に示す図である。 実施例１における処理装置の一例を示すブロック図である。 使用者に対する電極の接触位置を概略的に示す図である。 実施例１における増幅部の構成の一例を示す図である。 バッファアンプを設ける理由を説明するための図である。 実施例１における増幅部の構成の他の例を示す図である。 実施例１における外部装置の構成の一例を示すブロック図である。 眼の垂直方向の動きを示す眼電図信号の一例を示す図である。 連続で瞬きをした場合の眼電図信号の一例を示す図である。 実施例１における瞬目検出処理の一例を示すフローチャートである。 実施例１における閾値算出処理の一例を示すフローチャートである。 実施例１におけるメガネの他の例を概略的に示す図である。 実施例２における外部装置の構成の一例を示すブロック図である。 眼電図信号のノイズを説明するための図である。 小さい係数に基づく閾値を用いる場合の瞬目検出を説明するための図である。 大きい係数に基づく閾値を用いる場合の瞬目検出を説明するための図である。 実施例２におけるモードに応じた係数に基づく閾値の一例を示す図である。 実施例２における瞬目検出処理の一例を示すフローチャートである。
　以下、図面を参照して本発明の実施の形態を説明する。ただし、以下に説明する実施形態は、あくまでも例示であり、以下に明示しない種々の変形や技術の適用を排除する意図はない。即ち、本発明は、その趣旨を逸脱しない範囲で種々変形して実施することができる。また、以下の図面の記載において、同一または類似の部分には同一または類似の符号を付して表している。図面は模式的なものであり、必ずしも実際の寸法や比率等とは一致しない。図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることがある。
　［実施例１］
　図１は、実施例１におけるメガネ１００の一例を概略的に示す図である。メガネ１００は、レンズ１１０及びフレーム１２０を備える。メガネ１００及びフレーム１２０は、アイウエアの一例である。
　フレーム１２０は、一対のレンズ１１０を支持する。フレーム１２０は、リム１２２と、眉間部（例えばブリッジ）１２４と、ヨロイ１２６と、丁番１２８と、テンプル１３０と、モダン１３２と、一対のノーズパッド１４０と、第１電極１５２と、第２電極１５４と、第３電極１５６と、接地電極１５８と、電線（不図示）と、処理装置２００と、増幅部２５０とを有する。なお、メガネ１００の種類によっては、一枚レンズを用いることでフレームのブリッジ部分がない場合がある。この場合、一枚レンズの眉間部分を眉間部とする。
　一対のノーズパッド１４０は、右ノーズパッド１４２及び左ノーズパッド１４４を含む。リム１２２、ヨロイ１２６、丁番１２８、テンプル１３０、及びモダン１３２は、それぞれ左右一対に設けられる。
　リム１２２は、レンズ１１０を保持する。ヨロイ１２６は、リム１２２の外側に設けられ、丁番１２８によりテンプル１３０を回転可能に保持する。テンプル１３０は、使用者の耳の上部を押圧して、この部位を挟持する。モダン１３２は、テンプル１３０の先端に設けられる。モダン１３２は、使用者の耳の上部に接触する。なお、モダン１３２は、必ずしもメガネ１００に設ける必要はない。
　第１電極１５２及び第２電極１５４は、一対のノーズパッド１４０のそれぞれの表面に設けられ、眼電位を検出する。例えば、第１電極１５２は、右ノーズパッド１４２に設けられ、第２電極１５４は、左ノーズパッド１４４に設けられる。
　第１電極１５２は、使用者の右眼の眼電位を検出する。第２電極１５４は、使用者の左眼の眼電位を検出する。このように、眼電位を検出するための電極を、使用者の皮膚に必然的に接触するノーズパッドの表面に設ける。これにより、使用者の眼の周囲に二対の電極を接触させるのに比べて、使用者の皮膚に与える負担を軽減することができる。
　第３電極１５６は、眉間部１２４の表面に設けられ、眼電位を検出する。接地電極１５８は、モダン１３２の表面に設けられる。メガネ１００にモダン１３２がない場合は、接地電極１５８は、テンプル１３０の先に設けられる。実施例１では、接地電極１５８は、左側のモダン１３２の表面に設けられる。第１電極１５２、第２電極１５４及び第３電極１５６が検出する電位は、接地電極１５８が検出する電位を基準としてもよい。
　処理装置２００は、例えば、テンプル１３０に設けてもよい。これにより、メガネ１００を正面から見たときのデザイン性を損なうことがない。処理装置２００の設置位置は、必ずしもテンプル１３０である必要はないが、メガネ１００を装着した際のバランスを考慮して位置決めすればよい。処理装置２００は、電線を介して増幅部２５０に接続される。なお、処理装置２００と、増幅部２５０とは、無線を介して接続されてもよい。
　増幅部２５０は、第１電極１５２、第２電極１５４及び第３電極１５６の近傍に設けられ、増幅対象の各電極と電線を介して接続される。増幅部２５０は、各電極が検出した眼電位を示す眼電図信号を取得する。例えば、増幅部２５０は、第１電極１５２、第２電極１５４及び第３電極１５６により検出された眼電位を示す眼電図信号を増幅する。
　また、増幅部２５０は、眼電図信号を処理する処理部を有していれば、増幅する前又は増幅した後の各眼電図信号に対し、加減処理を行ってもよい。例えば、増幅部２５０は、第３電極１５６を基準とした第１電極１５２の電位を示す基準眼電図信号を求めてもよい。また、増幅部２５０は、第３電極１５６を基準とした第２電極１５４の電位を示す基準眼電図信号を求めてもよい。増幅部２５０により増幅又は処理された信号は、処理装置２００に出力される。
　外部装置３００は、通信機能を有する情報処理装置である。例えば、外部装置３００は、使用者が所持する携帯電話及びスマートフォン等の携帯通信端末等である。外部装置３００は、送信部２２０から受信した眼電図信号に基づく処理を実行する。例えば、外部装置３００は、受信した眼電図信号から、使用者の瞬目の回数が増加していることを検出した場合などに、居眠りを防止するための警告を発する。外部装置３００の詳細については後述する。
　＜処理装置の構成＞
　図２は、実施例１における処理装置２００の一例を示すブロック図である。図２に示すように、処理装置２００は、処理部２１０、送信部２２０、及び電源供給部２３０を有する。第１電極１５２、第２電極１５４、第３電極１５６は、例えば増幅部２５０を介して処理部２１０に接続される。
　処理部２１０は、増幅部２５０から増幅された眼電図信号を取得し、処理する。例えば、処理部２１０は、第３電極１５６を基準とした第１電極１５２の電位を示す基準眼電図信号を処理してもよい。なお、基準眼電図信号は、説明の便宜上「基準」を付したが、眼電図信号に含まれる。また、処理部２１０は、第３電極１５６を基準とした第２電極１５４の電位を示す基準眼電図信号を処理してもよい。
　このとき、処理部２１０は、右眼及び左眼において、各電極から検出された眼電位に基づいて、眼の垂直方向の動きを示す眼電図信号となるように処理を行ってもよい。
　他にも、処理部２１０は、取得した眼電図信号がデジタル化されていなければ、デジタル化処理を行ったり、各電極から増幅された眼電図信号を取得した場合には、眼電図信号の加減処理を行ったりする。また、処理部２１０は、増幅部２５０から取得した眼電図信号をそのまま送信部２２０に送信してもよい。
　送信部２２０は、処理部２１０によって処理された眼電図信号を外部装置３００に送信する。例えば、送信部２２０は、Ｂｌｕｅｔｏｏｔｈ（登録商標）及び無線ＬＡＮ等の無線通信、又は有線通信によって眼電図信号を外部装置３００に送信する。電源供給部２３０は、処理部２１０、送信部２２０、及び増幅部２５０に電力を供給する。
　図３は、使用者に対する電極の接触位置を概略的に示す図である。第１接触位置４５２は、第１電極１５２の接触位置を表す。第２接触位置４５４は、第２電極１５４の接触位置を表す。第３接触位置４５６は、第３電極１５６の接触位置を表す。水平中心線４６０は、右眼４０２の中心と左眼４０４の中心とを結んだ水平方向の中心線を表す。垂直中心線４６２は、右眼４０２と左眼４０４との中心において水平中心線４６０と直交する中心線を表す。
　第１接触位置４５２及び第２接触位置４５４は、水平中心線４６０よりも下側に位置することが望ましい。また、第１接触位置４５２及び第２接触位置４５４は、第１接触位置４５２と第２接触位置４５４との中心を結ぶ線分が、水平中心線４６０と平行になるべく配置されることが望ましい。
　また、第１接触位置４５２及び第２接触位置４５４は、第１接触位置４５２から右眼４０２への距離と、第２接触位置４５４と左眼４０４との距離が等しくなるべく配置されることが望ましい。また、第１接触位置４５２及び第２接触位置４５４は、互いに一定の距離以上離間していることが望ましい。
　第３接触位置４５６は、垂直中心線４６２上に位置することが望ましい。また、第３接触位置４５６は、水平中心線４６０よりも上側であって、第１接触位置４５２及び第２接触位置４５４から離れた位置であることが望ましい。また、例えば、第３接触位置４５６と右眼４０２との距離は、右眼４０２と第１接触位置４５２との距離よりも離間させ、左眼４０４との距離は、左眼４０４と第２接触位置４５４との距離よりも離間させてよい。
　眼球は、角膜側が正に帯電しており、網膜側が負に帯電している。したがって、視線が上に移動した場合、第３電極１５６を基準とした第１電極１５２の電位及び第３電極１５６を基準とした第２電極１５４の電位が負となる。視線が下に移動した場合、第３電極１５６を基準とした第１電極１５２の電位及び第３電極１５６を基準とした第２電極１５４の電位が正となる。
　視線が右に移動した場合、第３電極１５６を基準とした第１電極１５２の電位が負となり、第３電極１５６を基準とした第２電極１５４の電位が正となる。視線が左に移動した場合、第３電極１５６を基準とした第１電極１５２の電位が正となり、第３電極１５６を基準とした第２電極１５４の電位が負となる。
　第３電極１５６を基準とした第１電極１５２の電位及び第３電極１５６を基準とした第２電極１５４の電位を検出することによって、好適にノイズの影響を軽減することができる。第３接触位置４５６を第１接触位置４５２及び第２接触位置４５４から可能な限り離間させるべく、眉間部１２４は、リム１２２の上端又はその近傍に配置されてもよい。また、眉間部１２４の中心よりも上側に第３電極１５６は設けられてもよい。この場合、第３電極１５６の配置位置として、縦幅の広い眉間部１２４を採用することが望ましい。
　なお、処理部２１０は、第３電極１５６を基準とした第１電極１５２の電位を検出する代わりに、基準電極を基準とした第１電極１５２の電位から、基準電極を基準とした第３電極１５６の電位を減じてもよい。そして同様に、処理部２１０は、第３電極１５６を基準とした第２電極１５４の電位を検出する代わりに、基準電極を基準とした第２電極１５４の電位から、基準電極を基準とした第３電極１５６の電位を減じてもよい。
　基準電極としては、接地電極１５８を用いてもよい。また、メガネ１００の、第１電極１５２、第２電極１５４及び第３電極１５６から離間した位置に、別途基準電極を設けてもよい。例えば、基準電極は、右側のモダン１３２に設けられてもよい。また、基準電極は、右側のテンプル１３０の使用者の肌に接する部位に設けられてもよい。
　なお、基準電極を基準とした第１電極１５２の電位から第３電極１５６の電位を減じる処理、及び基準電極を基準とした第２電極１５４の電位から第３電極１５６の電位を減じる処理は、処理部２１０が実行してもよく、増幅部２５０又は外部装置３００が実行してもよい。この場合、処理対象の電位を示す信号は、増幅部２５０により増幅されている。
　＜増幅部の構成＞
　次に、増幅部２５０の構成について説明する。図４は、実施例１における増幅部２５０の構成の一例を示す図である。図４に示すように、増幅部２５０は、第１アンプ２６０及び第２アンプ２７０を有する。第１アンプ２６０は、第２アンプ２７０の前段に位置し、バッファアンプとして機能するアンプである。以下、第１アンプ２６０をバッファアンプ２６０とも称する。第２アンプ２７０は、メインのアンプとして機能するアンプである。以下、第２アンプ２７０は、メインアンプ２７０とも称する。メインアンプ２７０により増幅された信号は処理装置２００に有線又は無線を用いて出力される。
　増幅部２５０の設置位置は、眉間部１２４部分であることが望ましい。なお、増幅部２５０は、眉間部１２４に埋め込むようにして設けてもよい。前述したとおり、各電極は可能な限り離間させた方が望ましいが、各電極の設置位置はフレーム１２０の形状に依存してしまうため、離間させるにしても限界がある。
　このため、各電極の電位差が十分な大きさにならない場合があり、各電極で検出された小さい電位を示す眼電図信号にノイズが混入してしまうと、十分な精度の電位を検出することが困難になってしまう。
　そこで、実施例１においては、検出された眼電図信号にノイズが混入する前に増幅することを目的として、増幅部２５０は、第１電極１５２、第２電極１５４及び第３電極１５６の近傍に設けられる。例えば、増幅部２５０は、各電極に近く、比較的フレーム１２０にスペースが存在する眉間部１２４部分に設けることが好ましい。これにより、各電極により検出された眼電図信号が電線を通過する間に、ノイズが混入して眼電図信号の精度を低下させるリスクを減らすことができる。
　次に、メインアンプ２７０の前段の位置にバッファアンプ２６０を設ける理由を、図５を用いて説明する。図５は、バッファアンプ２６０を設ける理由を説明するための図である。図５に示す例は、第３電極１５６を用いるが、第１電極１５２及び第２電極１５４においても同様である。
　第３電極１５６は、メガネ１００を装着した際、人肌に触れるため、グランドとの間に抵抗Ｒ０が存在すると考えてよい。このとき、抵抗Ｒ０は、例えば数１００ｋΩである。また、メインアンプ２７０には、内部抵抗Ｒ１が存在する。このとき、メインアンプ２７０として通常のアンプを用いると、内部抵抗Ｒ１は、数１０ｋΩ～数１００ｋΩである。
　ここで、理想的にはメインアンプ２７０に電流が流れ込まないことであるが、内部抵抗Ｒ１が抵抗Ｒ０よりも小さいと、電流がメインアンプ２７０側に流れ込む。そうすると、電極の電圧Ｖｉとメインアンプ２７０の電圧Ｖｘとが分圧されて観測されてしまう。そこで、メインアンプ２７０の前段の位置にバッファアンプ２６０を設けてメインアンプ２７０側に電流が流れ込まないようにする。
　図６は、実施例１における増幅部の構成の他の例を示す図である。図６に示す増幅部は、符号２５０Ａと表記される。増幅部２５０Ａは、バッファアンプ２６０、メインアンプ２７０、Ａ／Ｄ変換部２８０、及び無線通信部２９０を有する。バッファアンプ２６０及びメインアンプ２７０は、図４に示す機能と同様であるため、以下では、Ａ／Ｄ変換部２８０及び無線通信部２９０について主に説明する。
　Ａ／Ｄ変換部２８０は、メインアンプ２７０により増幅された信号をアナログからデジタルに変換する。Ａ／Ｄ変換部２８０は、デジタル変換した信号を無線通信部２９０に出力する。
　無線通信部２９０は、Ａ／Ｄ変換部２８０により変換されたデジタル信号を、無線通信を用いて処理装置２００に送信する。よって、無線通信部２９０は、送信部として機能する。無線通信部２９０は、例えばＢｌｕｅｔｏｏｔｈ（登録商標）及び無線ＬＡＮ等の無線通信を用いる。また、無線通信部２９０は、外部装置３００にデジタル信号を直接送信してもよい。
　なお、実施例１では、バッファアンプ２６０及びメインアンプ２７０を１つ設ける例を示したが、この場合は各電極からの眼電図信号に対して順番を決めて増幅していけばよい。また、各電極それぞれにバッファアンプ２６０及びメインアンプ２７０を設けてもよい。
　＜外部装置の構成＞
　次に、外部装置３００の構成について説明する。図７は、実施例１における外部装置３００の構成の一例を示すブロック図である。図７に示すように、外部装置３００は、通信部３１０、記憶部３２０、及び制御部３３０を有する。
　通信部３１０は、Ｂｌｕｅｔｏｏｔｈ（登録商標）及び無線ＬＡＮ等の無線通信、又は有線通信によって眼電図信号を受信する。なお、ここでは、受信した眼電図信号は、眼の垂直方向の動きを示す眼電図信号とする。通信部３１０は、受信した眼電図信号を制御部３３０に出力する。
　制御部３３０は、例えばＣＰＵ（Central Processing Unit）であり、各部の制御を行ったり、各種の演算処理を行ったりする。図７に示す例では、制御部３３０は、取得部３４０、閾値算出部３５０、検出部３６０を有する。
　取得部３４０は、眼周辺に接触する各電極により検出された眼電位に基づく眼の垂直方向の動きを示す眼電図信号を取得する。ここでいう垂直方向とは、顔を基準とした頭の上から下までの方向をいう。取得部３４０は、例えば、通信部３１０が受信した眼の垂直方向の動きを示す眼電図信号を取得する。
　制御部３３０は、所定期間毎に、眼電図信号の最大値及び／又は最小値を記憶部３２０に記憶するようにする。所定期間は、例えば２００ｍｓｅｃとするが、この限りではない。また、所定期間は、時間窓を用いることで重複を許して時間的に変動するようにしてもよい。
　制御部３３０は、各所定期間において、最大値が極大値である場合、及び最小値が極小値である場合に、極大値の最大値及び極小値の最小値を記憶部３２０に記憶するようにするとよい。これにより、ピークを記憶することができるようになるので、後述する閾値の精度を高めることができる。これは、ピークの１セットから瞬目が検出されるという知見に基づく。なお、記憶対象の最大値及び最小値の絶対値に下限を設けてもよい。これにより、閾値に影響を与える最大値及び最小値について、絶対値が小さすぎる最大値及び最小値を記憶することがないので、後述する閾値の精度をさらに高めることができる。また、制御部３３０は、眼電図信号に対して極大値及び極小値を検出し、この極大値及び極小値を記憶部３２０に記憶するようにしてもよい。
　記憶部３２０は、例えば、ＲＡＭ（Random Access Memory）であり、所定期間毎の眼電図信号の最大値及び／又は最小値を記憶する。例えば、記憶部３２０は、最大値用のＦＩＦＯバッファと、最小値用のＦＩＦＯバッファとを有する。ＦＩＦＯバッファは、最大値または最小値のデータにより記憶容量が一杯になったときは、最も古いデータが消去されて最新のデータが記憶されることにより、記憶領域に記憶されるデータが更新される。また、記憶部３２０は、最大値の代わりに極大値、最小値の代わりに極小値を記憶してもよい。
　また、記憶部３２０は、後述する瞬目検出処理をコンピュータに実行させるプログラムを記憶する。このプログラムは、インターネット、又はＳＤカードなどの記録媒体を介して外部装置３００にインストールされてもよいし、プリインストールされていてもよい。また、このプログラムを記憶する記憶部は、記憶部３２０とは別であってもよい。
　閾値算出部３５０は、記憶部３２０に記憶された最大値及び／又は最小値を用いて閾値を算出する。閾値算出部３５０は、例えば処理を簡略化するため、最大値又は最小値の絶対値の平均値等から閾値の絶対値を算出してもよい。
　また、閾値算出部３５０は、記憶部３２０に記憶された最大値を用いて第１閾値を算出し、また、記憶部３２０に記憶された最小値を用いて第２閾値を算出してもよい。ここで、第１閾値は、眼が垂直方向の上に動いたことを判定するために用いられ、第２閾値は、眼が垂直方向の下に動いたことを判定するために用いられる。これにより、上方向の眼の動き、下方向の眼の動きそれぞれに閾値を設定できるので、適切な閾値判定を行うことができる。
　また、閾値算出部３５０は、第１算出部３５２及び第２算出部３５４を有する。第１算出部３５２は、最大値用のＦＩＦＯバッファに記憶されている最大値の平均値及び標準偏差を算出する。また、第１算出部３５２は、最小値用のＦＩＦＯバッファに記憶されている最小値の平均値及び標準偏差を算出する。
　第２算出部３５４は、最大値の平均値及び標準偏差に基づいて第１閾値を算出し、最小値の平均値及び標準偏差に基づいて第２閾値を算出する。これにより、例えば対象者の直近の状態を示す眼電図信号を用いて閾値を設定することができる。また、第１閾値及び第２閾値は、対象者の直近の状態を示す信号の強度に追従して値を変更させることができる。
　例えば、第２算出部３５４は、最大値の平均値に、最大値の標準偏差に係数を乗算した値を加算した値を第１閾値とする。第２算出部３５４は、最小値の平均値から、最小値の標準偏差に係数を乗算した値を減算した値を第２閾値とする。これにより、適切な閾値を設定することができる。
　以上より、閾値算出部３５０は、記憶部３２０に最大値及び／又は最小値が記憶される度に、第１閾値及び第２閾値を更新する。これにより、閾値算出部３５０は、過去の眼電図信号に基づいて閾値を設定することができるため、眠くなって眼の動きが遅くなり、眼電図信号が弱くなった場合であっても、その弱くなった信号に応じて閾値を設定することができるので、適切に瞬目を検出することができる。閾値算出部３５０は、算出された第１閾値及び第２閾値を検出部３６０に出力する。なお、閾値算出部３５０は、記憶部３２０に記憶された極大値及び／又は極小値を用いて閾値を算出してもよい。例えば、閾値算出部３５０は、記憶部３２０に記憶された所定個の極大値の平均を第１閾値としたり、記憶部３２０に記憶された所定個の極小値の平均を第２閾値としたりしてもよい。また、閾値算出部３５０は、記憶部３２０に記憶された極大値及び極小値それぞれの標準偏差を用いて第１閾値及び第２閾値を算出してもよい。
　検出部３６０は、第２算出部３５４により算出された第１閾値、及び第２閾値を用いて、眼電図信号から瞬目を検出する。例えば、検出部３６０は、第１閾値以上となる記憶部３２０に記憶された最大値の第１時刻と、第２閾値以下となる記憶部３２０に記憶された最小値の第２時刻との差分が所定時間以内であれば、瞬目を検出する。ここで、第２時刻は、第１時刻以降であって直近の時刻とする。所定時間は、例えば５００ｍｓｅｃとするがこの限りではない。
　なお、検出部３６０は、右眼、左眼それぞれの眼電図信号を用いて瞬目を検出し、所定範囲内のタイミングで両目において瞬目が検出されたときに最終的な瞬目を検出してもよい。また、検出部３６０は、右眼と左眼は同様の動きをすることを前提とし、双方の眼電図信号の平均を用いて瞬目を検出してもよい。次に、具体的な眼電図信号を用いて瞬目検出アルゴリズムについて説明する。
　＜瞬目検出アルゴリズムの例＞
　図８は、眼の垂直方向の動きを示す眼電図信号の一例を示す図である。図８に示す眼電図信号Ｓ１は、片側の眼の垂直方向の動きを示す眼電図信号である。ここで、図８を用いて瞬目検出アルゴリズムを説明する。
　（１）所定期間ごとの最大値、最小値を求める
　制御部３３０は、眼電図信号Ｓ１の所定期間Ｔ１（例えば５００ｍｓｅｃ）ごとの最大値、最小値を求める。
　（２）最大値が極大値である場合、第１ＦＩＦＯバッファに保存する
　制御部３３０は、（１）で求めた最大値が極大値である場合、第１ＦＩＦＯバッファ（記憶部３２０）に保存する。
　（３）最小値が極小値である場合、第２ＦＩＦＯバッファに保存する
　制御部３３０は、（１）で求めた最小値が極小値である場合、第１ＦＩＦＯバッファとは別領域の第２ＦＩＦＯバッファに保存（記憶部３２０）する。なお、（２）及び（３）について、順序は問わない。以降、第１ＦＩＦＯバッファ及び第２ＦＩＦＯバッファをまとめる場合は、単にバッファと称する。図８において、眼電図信号Ｓ１上にある黒点は、各期間において極大値又は極小値として検出された値を表す。なお、極大値及び極小値は、微分を用いて、例えば眼電図信号Ｓ１の差分信号を用いて求めることができる。
　（４）バッファの容量分データが保存されたら、平均値及び標準偏差を算出する
　第１算出部３５２は、第１ＦＩＦＯバッファに保存されている最大値の平均値（ａ１）及び標準偏差（ｂ１）を算出する。また、第１算出部３５２は、第２ＦＩＦＯバッファに保存されている最大値の平均値（ａ２）及び標準偏差（ｂ２）を算出する。
　（５）閾値を算出する
　第２算出部３５４は、（４）で算出された平均値及び標準偏差を用いて第１閾値及び第２閾値を算出する。第１閾値（Ｔｈ１）及び第２閾値（Ｔｈ２）は、以下の式で算出される。
Ｔｈ１＝ａ１＋Ｅ×ｂ１・・・式（１）
Ｔｈ２＝ａ２－Ｅ×ｂ２・・・式（２）
ここで、係数Ｅは、例えば２とする。
なお、第１閾値（Ｔｈ１）、第２閾値（Ｔｈ２）の絶対値に下限値を設定しておいてもよい。これにより、眼のわずかな上下運動を瞬きであると誤検出することを防止することができる。
　図８において、第１閾値の例として、符号ＴＨ１で表し、第２閾値の例として符号ＴＨ２で表す。図８に示すとおり、眼電図信号の時間経過に伴って、それぞれの閾値が変動し、さらに、眼電図信号の強さ（振幅の大きさ）に追従して閾値が適切に変更される。図８に示す第１閾値ＴＨ１と第２閾値ＴＨ２は、閾値の変動を概念的に示したものに過ぎない。
　（６）第１閾値以上の最大値、及び第２閾値以下の最小値を特定する
　検出部３６０は、（５）で算出された第１閾値以上の最大値を特定する。ここで、閾値判定の対象となる最大値は、第１ＦＩＦＯバッファに記憶されており、閾値判定がまだされていない最大値である。
　また、検出部３６０は、（５）で算出された第２閾値以下の最小値を特定する。ここで、閾値判定の対象となる最小値は、第２ＦＩＦＯバッファに記憶されており、閾値判定がまだされていない最小値である。図８において、特定された最大値及び最小値は、四角で囲われた黒点により表される。
　（７）瞬目を検出する
　検出部３６０は、特定された最大値毎に、この最大値の第１時刻と、特定された最小値の第２時刻であり、この第１時刻以降の直近の第２時刻との差が、所定時間以内であれば、その眼の上下の動きを瞬目とみなして検出する。
　図８において、例えば、特定された最大値の時刻ｔ１１と、ｔ１１以降で直近に特定された最小値の時刻ｔ２１との差が所定時間以内であれば、その眼の動きを瞬目として検出する。所定時間は、例えば５００ｍｓｅｃとする。
　以上、瞬目検出アルゴリズムを説明したが、このアルゴリズムは、次に説明するように、連続した瞬きでも適切に瞬目を検出することが可能になる。特に、眠たい場合には連続で瞬きが行われることが、実験等により示されている。
　＜連続瞬目＞
　図９は、連続で瞬きをした場合の眼電図信号の一例を示す図である。図９に示す眼電図信号Ｓ２は、片側の眼の垂直方向の動きを示す眼電図信号である。図９に示す符号Ｔ１、ＴＨ１、ＴＨ２は、図８に示す同じ符号と同じ意味を有する。
　図９に示すように、連続で瞬きをした場合は、眼電図信号がマイナス側に大きく振れる前にプラス側に振れてしまう。なお、図９に示す例では、極小値であっても絶対値が下限値（不図示）よりも小さいもの（図９に示す黒丸を囲む三角で表す値）は、第２ＦＩＦＯバッファへの記憶対象とせず、閾値の算出に用いない。なぜなら、これらの値を用いた場合、閾値が必要以上に小さくなってしまい、瞬目を誤検出してしまう可能性があるからである。
　ここで、一般的な考えとして、眼電図信号に対し、単に時系列で極大値の次に来る極小値とのペアで瞬目を検出するとした場合、第１閾値ＴＨ１と第２閾値ＴＨ２とを超えるペアは、ｔ３３の極大値とｔ４１の極小値しかない。つまり、図９に示す眼電図信号から瞬目は１回しか検出されない。
　これに対し、上述した瞬目検出アルゴリズムによれば、第１閾値以上の最大値ごとに、この最大値以降の直近の最小値との時間差を所定時間と比較することで瞬目を検出する。つまり、差分をとるための最小値は、必ずしも最大値の次に来る最小値である必要がない。
　よって、図９に示す例において、１つ目の最大値の時刻ｔ３１と直近の最小値の時刻ｔ４１との差、２つ目の最大値の時刻ｔ３２と直近の最小値の時刻ｔ４１との差、３つ目の最大値の時刻ｔ３３と直近の最小値の時刻ｔ４１との差が、それぞれ所定時間以下となれば、これらは全て瞬目として検出される。これにより、上述した瞬目検出アルゴリズムは、連続で高速な瞬きがなされた場合でも、瞬目の検出漏れを少なくし、適切に瞬目を検出することが可能となる。なお、前述の方法とは逆の方法であるが、最小値を基準にして、最小値ごとに直前の最大値を用いて瞬目を検出してもよい。
　＜瞬目検出処理＞
　図１０は、実施例１における瞬目検出処理の一例を示すフローチャートである。図１０に示すフローチャートは、使用者がメガネ１００を装着して、第１電極１５２、第２電極１５４、第３電極１５６及び接地電極１５８が使用者の皮膚に接触した状態であって、外部装置３００が瞬目検出処理を実行するモードである動作モードに設定された場合に開始する。
　ステップＳ１０２で、取得部３４０は、眼の垂直方向の動きを示す眼電図信号を取得する。
　ステップＳ１０４で、制御部３３０は、所定期間経過したかを判定する。所定期間が経過していれば（ステップＳ１０４－ＹＥＳ）ステップＳ１０６の処理に進み、所定期間が経過していなければ（ステップＳ１０４－ＮＯ）ステップＳ１０２に戻る。
　ステップＳ１０６で、制御部３３０は、所定期間における最大値及び／又は最小値を記憶部３２０に記憶する。
　ステップＳ１０８で、閾値算出部３５０は、記憶部３２０に記憶された最大値及び／又は最小値を用いて閾値（第１閾値及び第２閾値）を算出する。
　ステップＳ１１０で、検出部３６０は、第１閾値以上となる最大値の第１時刻、又は第２閾値以下となる最大値の第２時刻を特定する。このとき、検出部３６０は、第２時刻として、特定した第１時刻以降の直近の最小値の時刻を特定する。
　ステップＳ１１２で、検出部３６０は、第２時刻－第１時刻が所定時間より小さいかを判定する。この条件が満たされれば（ステップＳ１１２－ＹＥＳ）ステップＳ１１４に進み、この条件が満たされなければ（ステップＳ１１２－ＮＯ）ステップＳ１０２に戻る。
　ステップＳ１１４で、検出部３６０は、第１時刻と第２時刻との間の眼の動きを瞬目として検出する。
　以上の処理により、外部装置３００は、適切な閾値を用いて、瞬目を検出することができる。
　次に、ステップＳ１０６及びステップＳ１０８における閾値算出処理の詳細について説明する。図１１は、実施例１における閾値算出処理の一例を示すフローチャートである。図１１に示すステップＳ２０２で、制御部３３０は、所定期間内の最大値は極大値であるか、又は所定期間内の最小値は極小値であるかを判定する。この何れかの条件が満たされれば（ステップＳ２０２－ＹＥＳ）ステップＳ２０４に進み、この何れの条件も満たされなければ（ステップＳ２０２－ＮＯ）ステップＳ１１０に進む。
　ステップＳ２０４で、制御部３３０は、極大値となる最大値又は極小値となる最小値を記憶部（バッファの部分）３２０に記憶する。
　ステップＳ２０６で、第１算出部３５２は、記憶部３２０に記憶された最大値の平均値及び標準偏差を算出する。また、第１算出部３５２は、記憶部３２０に記憶された最小値の平均値及び標準偏差を算出する。
　ステップＳ２０８で、第２算出部３５４は、最大値の平均値及び標準偏差を用いて第１閾値を算出し、最小値の平均値及び標準偏差を用いて第２閾値を算出する。
　以上の処理により、外部装置３００は、対象者の直近の状態を示す眼電図信号の強度に応じて適切な閾値を算出することが可能となる。
　なお、本実施例において、アイウエアがメガネである場合について説明した。しかし、アイウエアはこれに限定されない。アイウエアは、眼に関連する装具であればよく、メガネ、サングラス、ゴーグル及びヘッドマウントディスプレイならびにこれらのフレームなどの顔面装着具又は頭部装着具であってよい。
　本実施例において、メガネ１００が第３電極１５６を備える例を挙げて説明した。しかし、メガネ１００はこれに限定されない。メガネ１００が、第３電極１５６を備えなくてもよい。この場合、基準電極を基準とした第１電極１５２の電位が示す眼電図及び基準電極を基準とした第２電極１５４の電位が示す眼電図が、外部装置３００に送信されればよい。ここで、接地電極１５８を第３電極１５６の位置に設けて、基準電極としてもよい。また、左モダンに設けられた接地電極１５８を基準電極として用いてもよいし、第１電極１５２及び第２電極１５４から離間した位置に、別途設けられた電極を基準電極として用いてもよい。
　本実施例において、メガネ１００が、リム１２２と一体になっているノーズパッド１４０を備える例を挙げて説明した。しかし、メガネ１００はこれに限定されない。メガネ１００が、リム１２２に備え付けられたクリングスと、クリングスに取り付けられたノーズパッド１４０とを備えてもよい。この場合、ノーズパッド１４０の表面に設けられた電極は、クリングスを介して、フレームに埋設された電線と電気的に接続される。
　本実施例において、第１電極１５２及び第２電極１５４をノーズパッド１４０の中心よりも下側に設ける例を挙げて説明した。しかし、これに限定されない。ノーズパッド１４０が下側に延伸する延伸部を備え、第１電極１５２及び第２電極１５４を延伸部に設けてもよい。これにより、眼及び鼻の位置の個人差によってノーズパッドが眼の真横に位置してしまう使用者であっても、第１電極１５２及び第２電極１５４を眼の位置よりも下に接触させることができる。
　本実施例において、第３電極１５６を眉間部１２４の表面に設ける例を挙げて説明した。しかし、これに限定されない。眉間部１２４が、上側に延伸する延伸部を備え、延伸部に第３電極１５６を設けてもよい。またさらに、延伸部と眉間部１２４との間に延伸部を上下に可動させる可動部を備え、第３電極１５６の位置を上下に調整可能としてもよい。これにより、眼の位置の個人差によって、第３電極１５６の接触位置が眼の近傍になってしまう使用者であっても、調整により第３電極１５６の接触位置を眼から離間させることができる。また、本実施例において、各電極の位置は前述した位置に限られず、眼の垂直方向の動きを示す眼電図信号が取得できる位置に配置されていればよい。
　本実施例では、外部装置３００の例として、処理装置２００と別体の、携帯電話及びスマートフォン等の携帯通信端末を挙げて説明した。しかし、これに限定されない。外部装置３００を、処理装置２００と一体のユニットとしてもよい。この場合、外部装置３００は、アイウエアに一体として設けられる。
　また、本実施例では、電線としてシールドケーブルを用いることで、ノイズの混入を防ぐようにしてもよい。
　また、本実施例では、図１において３つの電極を用いる構成を例示したが、４つ以上の電極を用いる構成であってもよい。図１２は、実施例におけるメガネの他の例を概略的に示す図である。図１２に示すメガネ６００は、４つの電極を用いて眼電図信号を取得するところが図１に示すメガネ１００と異なり、以下、図１に示すメガネ１００と異なるところを説明する。
　図１２に示すメガネ６００は、上部電極６５２と、下部電極６５４と、左部電極６５６と、右部電極６５８とを有する。図１２に示す例において、上部電極６５２及び下部電極６５４は、リム１２２に設けられ、左部電極６５６は、左テンプル１３０に設けられ、右部電極６５８は、右テンプル１３０に設けられるが、必ずしもこの位置にある必要はない。なお、これらの電極は、顔の一部に接触しているとする。
　図１２に示す例では、上部電極６５２及び下部電極６５４の電圧差により、眼の上下方向を検知することができ、左部電極６５６及び右部電極６５８の電圧差により、眼の左右方向を検知することができる。
　［実施例２］
　次に、実施例２におけるアイウエアについて説明する。実施例２におけるアイウエアの一例であるメガネの概略は図１に示すメガネ１００と同様である。また、実施例２における処理装置の構成は、図２に示す構成と同様である。
　実施例２における外部装置において、実施例１で説明したように、眼電図信号の差分を用いて極大値と極小値とを求める場合を例にして説明する。さらに、実施例２における外部装置は、ノイズモードを判定し、判定したモードと、求められた極値とを用いて閾値を算出し、この閾値を用いて瞬目検出を行う。以下、実施例２におけるノイズモードの判定や閾値算出について詳しく説明する。
　＜外部装置の構成＞
　次に、実施例２における外部装置３００Ａの構成について説明する。図１３は、実施例２における外部装置３００Ａの構成の一例を示すブロック図である。図１３に示すように、外部装置３００Ａは、通信部３１０、記憶部７００、及び制御部７１０を有する。
　通信部３１０は、実施例１と同様に、Ｂｌｕｅｔｏｏｔｈ（登録商標）及び無線ＬＡＮ等の無線通信、又は有線通信によって眼電図信号を受信する。なお、ここでは、受信した眼電図信号は、眼の垂直方向の動きを示す眼電図信号とする。通信部３１０は、受信した眼電図信号を制御部７１０に出力する。
　制御部７１０は、例えばＣＰＵ（Central Processing Unit）であり、各部の制御を行ったり、各種の演算処理を行ったりする。図１３に示す例では、制御部７１０は、取得部７２０、差分算出部７３０、閾値算出部７４０、検出部７５０を有する。
　取得部７２０は、眼周辺に接触する各電極により検出された眼電位に基づく眼の垂直方向の動きを示す眼電図信号を取得する。取得部７２０は、例えば、通信部３１０が受信した眼の垂直方向の動きを示す眼電図信号を取得する。
　差分算出部７３０は、取得部７２０により取得された眼電図信号と、この眼電図信号の所定時間前の眼電図信号との差分信号を算出する。所定時間は、例えば５ｍｓｅｃなどである。信号の差分を取ることにより、ノイズ耐性を強くすることができる。なお、これらの信号の差分をとることは、微分を行うことと同義であるとする。
　制御部７１０は、所定期間毎に、差分信号の最大値及び／又は最小値を記憶部７００に記憶するようにする。また、所定期間は、時間窓を用いることで重複を許して時間的に変動するようにしてもよい。実施例２では、差分信号の最大値、最小値として、極大値、極小値を用い、所定期間として時間窓を用いる例について説明する。
　制御部７１０は、時間窓の移動に伴い、この時間窓に新たに含まれる差分信号の極小値及び極大値を記憶部７００に記憶するようにするとよい。なお、記憶対象の極大値及び極小値の絶対値に下限を設けてもよい。これにより、閾値に影響を与える最大値及び最小値について、絶対値が小さすぎる最大値及び最小値を記憶することがないので、後述する閾値の精度をさらに高めることができる。また、制御部７１０は、眼電図信号の差分信号に対して極大値及び極小値を検出し、この極大値及び極小値を記憶部７００に記憶するようにしてもよい。
　記憶部７００は、例えば、ＲＡＭ（Random Access Memory）であり、所定期間毎の差分信号の極大値及び／又は極小値を記憶する。例えば、記憶部７００は、極大値用のＦＩＦＯバッファと、極小値用のＦＩＦＯバッファとを有する。ＦＩＦＯバッファは、例えば１０個のデータを保持可能とし、極大値または極小値のデータが１０個記憶されたときは、最も古いデータが消去されて最新のデータが記憶されることにより、記憶領域に記憶されるデータが更新される。
　また、記憶部７００は、後述する瞬目検出処理をコンピュータに実行させるプログラムを記憶する。このプログラムは、インターネット、又はＳＤカードなどの記録媒体を介して外部装置３００にインストールされてもよいし、プリインストールされていてもよい。また、このプログラムを記憶する記憶部は、記憶部７００とは別であってもよい。
　閾値算出部７４０は、記憶部７００に記憶された極大値及び／又は最小値を用いて閾値を算出する。閾値算出部７４０は、例えば処理を簡略化するため、極大値又は極小値の絶対値の平均値等から閾値の絶対値を算出してもよい。
　また、閾値算出部７４０は、記憶部７００に記憶された極大値を用いて第１閾値を算出し、また、記憶部７００に記憶された極小値を用いて第２閾値を算出してもよい。例えば、閾値算出部７４０は、実施例１で説明したように、極大値の標準偏差や平均などを用いて第１閾値を算出したり、極小値の標準偏差や平均などを用いて第２閾値を算出したりしてもよい。
　また、閾値算出部７４０は、第１算出部７４２、第２算出部７４４、判定部７４６、及び決定部７４８を有する。
　判定部７４６は、差分算出部７３０から差分信号を取得し、差分信号の強度（振幅）に基づくモードを判定する。ここで、差分信号のモードとは、例えば、低ノイズモードと、高ノイズモードとを含む。判定部７４６は、差分信号の信号強度に応じてモードを判定し、例えば、信号強度の絶対値や平均値が１０未満であれば低ノイズモードであると判定し、信号強度の絶対値や平均値が１０以上であれば高ノイズモードであると判定する。
　なお、判定部７４６は、モードが頻繁に切り替わらないために、所定数又は所定時間同じモードが続いた時にはじめて、そのモードに切り替えたり、過去のモードの履歴に基づくヒステリシスを設けてモードを切り替えたりするとよい。また、判定部７４６は、差分信号から２つのモードを判定するのではなく、３つ以上のモードを判定してもよい。
　決定部７４８は、判定されたモードに応じて係数σを決定する。決定部７４８は、例えば低ノイズモードの場合、係数σをσ１とし、高ノイズモードの場合、係数σをσ２（＜σ１）とする。係数σの数は、モードの数だけ用意されるとよい。
　第１算出部７４２は、極大値用のＦＩＦＯバッファに記憶されている極大値の平均値を算出する。また、第１算出部７４２は、極小値用のＦＩＦＯバッファに記憶されている極小値の平均値を算出する。
　第２算出部７４４は、極大値の平均値及び決定部７４８により決定された係数σに基づいて第１閾値を算出し、極小値の平均値及び決定部７４８により決定された係数σに基づいて第２閾値を算出する。
　例えば、第２算出部７４４は、極大値の平均値に、決定された係数を乗算した値を第１閾値とする。第２算出部７４４は、極小値の平均値に、決定された係数を乗算した値を第２閾値とする。これにより、例えば対象者の直近の状態を示す眼電図信号の差分信号のモードに応じた閾値を設定することができる。モードに応じた閾値を設定する理由については、図１４～１６を用いて説明する。
　なお、第２算出部７４４は、後述する検出部７５０において、瞬目と検出された差分信号の極大値及び極小値を、ＦＩＦＯバッファから削除してもよい。これにより、信号強度が強いため瞬目として検出された差分信号を、瞬目以外の信号強度を判定するためのモード判定等から除外することができ、適切なモードに基づく適切な閾値判定を行うことができる。
　また、閾値算出部７４０は、記憶部７００に極大値及び／又は極小値が記憶される度に、第１閾値及び第２閾値を更新する。これにより、閾値算出部７４０は、眼電図信号の差分信号に基づき、モードを判定し、判定したモードに応じて閾値を設定することができるため、周囲の環境に適した閾値を設定することができるので、適切に瞬目を検出することができる。閾値算出部７４０は、算出された第１閾値及び第２閾値を検出部７５０に出力する。
　検出部７５０は、第２算出部７４４により算出された第１閾値、及び第２閾値を用いて、眼電図信号の差分信号から瞬目を検出する。例えば、検出部７５０は、第１閾値以上となる記憶部７００に記憶された極大値の第１時刻と、第２閾値以下となる記憶部７００に記憶された極小値の第２時刻との差分が所定時間以内であれば、瞬目を検出する。ここで、第２時刻は、第１時刻以降であって直近の時刻とする。所定時間は、例えば５００ｍｓｅｃとするがこの限りではない。
　なお、検出部７５０は、右眼、左眼それぞれの差分信号を用いて瞬目を検出し、所定範囲内のタイミングで両目において瞬目が検出されたときに最終的な瞬目を検出してもよい。また、検出部７５０は、右眼と左眼は同様の動きをすることを前提とし、双方の差分信号の平均を用いて瞬目を検出してもよい。
　＜閾値算出に用いる係数が一定の値であることによる問題点＞
　ここで、図１４～１６を用いて、閾値算出に用いる係数が一定の値であることによる問題点について説明する。
　図１４は、眼電図信号のノイズを説明するための図である。図１４（Ａ）は、ノイズが小さい（信号強度が小さい）場合の垂直方向の眼電図信号である。図１４（Ｂ）は、ノイズが大きい（信号強度が大きい）場合の垂直方向の眼電図信号である。図１４に示す縦軸は、眼電強度を示す。図１４に示す例では、眼電強度の一例として、例えば眼電図信号の計測値×１．５（Ｖ）÷２０４８を用いる。
　図１５及び図１６において、実施例２における差分信号のモード判定を行わずに、一定の値である係数σを用いた場合の瞬目検出について説明する。図１５は、小さい係数σに基づく閾値を用いる場合の瞬目検出を説明するための図である。図１５（Ａ）は、ノイズが小さいときの差分スペクトルに対する第１閾値及び第２閾値を示す。図１５（Ａ）に示すように、ノイズが小さいため、差分信号のピーク値が小さく、かつ係数σも小さいため、第１閾値ＴＨ２１及び第２閾値ＴＨ２２の絶対値が小さくなる。第１閾値ＴＨ２１及び第２閾値ＴＨ２２の絶対値が小さいことにより、ピークＰ１１、Ｐ１２、Ｐ１３は、瞬目時の極値ではないが、閾値判定により極値が閾値を超えてしまい、瞬目と誤検出されてしまう。
　他方、図１５（Ｂ）は、ノイズが大きいときの差分スペクトルに対する第１閾値及び第２閾値を示す。図１５（Ｂ）に示すように、ノイズが大きいため、差分信号のピーク値は比較的大きいが、係数σが小さいことで、第１閾値ＴＨ２１及び第２閾値ＴＨ２２は、瞬目を検出できる程度の適切な値になる。したがって、図１５（Ｂ）に示す例では、適切に瞬目を検出することができる。以上より、係数σが小さい値に設定されると、ノイズが大きい時には適切に瞬目を検出することができるが、ノイズが小さい時には瞬目の誤検出が発生してしまう。
　図１６は、大きい係数σに基づく閾値を用いる場合の瞬目検出を説明するための図である。図１６（Ａ）は、ノイズが小さいときの差分スペクトルに対する第１閾値を示す。図１６（Ａ）に示すように、ノイズが小さいため、差分信号のピーク値は比較的小さいが、係数σが大きいことで、第１閾値ＴＨ３１は瞬目を検出できる程度の適切な値になる。したがって、図１６（Ａ）に示す例では、適切に瞬目を検出することができる。
　他方、図１６（Ｂ）は、ノイズが大きいときの差分スペクトルに対する第１閾値を示す。図１６（Ｂ）に示すように、ノイズが大きいため、差分信号のピーク値が高く、かつ係数σも大きいため、第１閾値ＴＨ３１の絶対値が大きくなる。よって、第１閾値ＴＨ３１の絶対値が大きいため、瞬目時の極値であっても、閾値判定により極値が閾値を下回り、瞬目が未検出となってしまう。以上より、係数σが小さい値に設定されると、ノイズが小さい時には適切に瞬目を検出することができるが、ノイズが大きい時には未検出となる瞬目が出てきてしまう。
　そこで、実施例２では、図１５及び図１６で説明した問題を解決すべく、上述したように、差分信号の強度に基づくモードを判定し、判定されたモードに応じて係数を決定し、決定された係数に基づいて閾値を設定することで、瞬目の誤検出と瞬目の未検出との両方を防ぐことが可能になる。
　＜実施例２におけるモード判定と閾値＞
　図１７は、実施例２におけるモードに応じた係数に基づく閾値の一例を示す図である。図１７（Ａ）は、低ノイズモードのときの差分信号に対する第１閾値及び第２閾値を示す。図１７（Ａ）に示す例では、判定部７４６は、低ノイズモードと判定し、決定部７４８は、係数σをσ１に決定する。よって、差分信号のピーク値は比較的小さいが、係数σが大きいことで、第１閾値ＴＨ４１及び第２閾値ＴＨ４２が適切な値に設定される。したがって、図１７（Ａ）に示す例では、瞬目の誤検出を防ぎ、瞬目を適切に検出することができる。
　図１７（Ｂ）は、高ノイズモードのときの差分信号に対する第１閾値及び第２閾値を示す。図１７（Ｂ）に示す例では、判定部７４６は、高ノイズモードと判定し、決定部７４８は、係数σをσ２（＜σ１）に決定する。よって、差分信号のピーク値は高いが、係数σが小さいため、第１閾値ＴＨ４１及び第２閾値ＴＨ４２が適切な値に設定される。したがって、図１７（Ｂ）に示す例では、瞬目の未検出を防ぎ、瞬目を適切に検出することができる。
　図１７に示す例のように、実施例２では、眼電図信号の差分信号を用いてモードを判定し、このモードに応じた係数を用いることで、より適切な閾値を設定することができ、その結果、瞬目の誤検出及び未検出防ぐことができるようになる。
　＜瞬目検出処理＞
　図１８は、実施例２における瞬目検出処理の一例を示すフローチャートである。図１８に示すフローチャートは、使用者がメガネ１００を装着して、第１電極１５２、第２電極１５４、第３電極１５６及び接地電極１５８が使用者の皮膚に接触した状態であって、外部装置３００が瞬目検出処理を実行するモードである動作モードに設定された場合に開始する。
　ステップＳ３０２で、取得部７２０は、眼の垂直方向の動きを示す眼電図信号を取得する。
　ステップＳ３０４で、差分算出部７３０は、取得された眼電図信号と、所定時間前の眼電図信号との差分信号を算出する。
　ステップＳ３０６で、判定部７４６は、差分信号に基づいてモード判定を行う。ここでは、事前に設定された複数のモードのうち、いずれかが判定されればよい。
　ステップＳ３０８で、決定部７４８は、判定されたモードに応じて、係数を決定する。予め、係数は、モードごとに対応づけられていればよい。
　ステップＳ３１０で、閾値算出部７４０は、記憶部７００に記憶された極大値の平均に係数を乗算した値を第１閾値とし、記憶部７００に記憶された極小値の平均に係数を乗算した値を第２閾値とする。
　ステップＳ３１２、Ｓ３１４、Ｓ３１６の処理は、図１０に示すＳ１１０、Ｓ１１２、Ｓ１１４それぞれと同様であるため、説明を省略する。
　以上の処理により、外部装置３００Ａは、眼電図信号のモード判定を行い、モードごとに適切な閾値を用いて、瞬目を検出することができる。また、実施例１における変形例は、実施例２に対しても同様に適用できる。また、実施例２におけるモード判定処理と、係数を可変にする処理とは、実施例２における差分信号を、眼電図信号に置き換えることで、実施例１においても適用することができる。
　以上、上記実施例におけるプログラムは、眼周辺に接触する各電極により検出された眼電位に基づく眼の垂直方向の動きを示す眼電図信号を取得する取得ステップと、所定期間毎の眼電図信号の最大値及び／又は最小値、あるいは眼電図信号とこの眼電図信号の所定時間前の眼電図信号との差分信号の最大値及び／又は最小値を記憶部に記憶する記憶ステップと、記憶部に記憶された最大値及び／又は最小値を用いて閾値を算出する閾値算出ステップと、閾値を用いて、眼電図信号又は差分信号から瞬目を検出する検出ステップと、をコンピュータに実行させる。
　また、閾値は、記憶部に最大値及び／又は最小値が記憶される度に更新されてもよい。
　また、記憶ステップは、極大値である最大値と、極小値である最小値とを記憶部に記憶するようにしてもよい。
　また、閾値算出ステップは、記憶部に記憶された最大値を用いて第１閾値を算出し、記憶部に記憶された最小値を用いて第２閾値を算出し、検出ステップは、第１閾値及び第２閾値を用いて、眼電図信号から瞬目を検出してもよい。
　また、閾値算出ステップは、記憶部に記憶された最大値及び最小値に対し、平均値及び標準偏差を算出する第１算出ステップと、最大値の平均値及び標準偏差に基づく第１閾値と、最小値の平均値及び標準偏差に基づく第２閾値とを算出する第２算出ステップと、を含んでもよい。
　また、第２算出ステップは、最大値の平均値に、最大値の標準偏差に係数を乗算した値を加算した値を第１閾値とし、最小値の平均値から、最小値の標準偏差に係数を乗算した値を減算した値を第２閾値としてもよい。
　また、検出ステップは、第１閾値以上の最大値の第１時刻と、第２閾値以下の最小値の第２時刻であって、この第１時刻以降の直近にある第２時刻との差が所定時間以内であれば、瞬目を検出してもよい。
　また、閾値算出ステップは、眼電図信号又は差分信号の強度に基づくモード判定を行う判定ステップと、判定されたモードに応じて係数を決定する決定ステップと、記憶部に記憶された最大値及び最小値それぞれの平均を算出する第１算出ステップと、最大値の平均に係数を乗算した第１閾値と、最小値の平均に係数を乗算した第２閾値とを算出する第２算出ステップと、を含んでもよい。
　また、第１算出ステップは、瞬目として検出された過去の眼電図信号又は差分信号の最大値又は最小値を、平均の算出処理から除外してもよい。
　また、上記実施例における情報処理装置は、眼周辺に接触する各電極により検出された眼電位に基づく眼の垂直方向の動きを示す眼電図信号を取得する取得部と、所定期間毎の眼電図信号の最大値及び／又は最小値、あるいは眼電図信号とこの眼電図信号の所定時間前の眼電図信号との差分信号の最大値及び／又は最小値を記憶する記憶部と、記憶部に記憶された最大値及び／又は最小値を用いて閾値を算出する閾値算出部と、閾値を用いて、眼電図信号又は差分信号から瞬目を検出する検出部と、備える。
　以上、本発明について実施例を用いて説明したが、本発明の技術的範囲は上記実施例に記載の範囲には限定されない。上記実施例に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
１００　メガネ
１２０　フレーム
１２４　眉間部
１４０　ノーズパッド
１５２　第１電極
１５４　第２電極
１５６　第３電極
１５８　接地電極
２００　処理装置
３００　外部装置
３２０　記憶部
３３０　制御部
３４０、７２０　取得部
３５０、７４０　閾値算出部
３６０、７５０　検出部
７３０　差分算出部

Claims (11)

  1. 　眼周辺に接触する各電極により検出された眼電位に基づく眼の垂直方向の動きを示す眼電図信号を取得する取得ステップと、
    　所定期間毎の前記眼電図信号の最大値及び／又は最小値、あるいは前記眼電図信号と該眼電図信号の所定時間前の眼電図信号との差分信号の最大値及び／又は最小値を記憶部に記憶する記憶ステップと、
    　前記記憶部に記憶された最大値及び／又は最小値を用いて閾値を算出する閾値算出ステップと、
    　前記閾値を用いて、前記眼電図信号又は前記差分信号から瞬目を検出する検出ステップと、
    　をコンピュータに実行させるプログラム。
  2. 　前記閾値は、前記記憶部に最大値及び／又は最小値が記憶される度に更新される請求項１記載のプログラム。
  3. 　前記記憶ステップは、
    　極大値である最大値と、極小値である最小値とを前記記憶部に記憶する請求項１又は２記載のプログラム。
  4. 　前記閾値算出ステップは、
    　前記記憶部に記憶された最大値を用いて第１閾値を算出し、前記記憶部に記憶された最小値を用いて第２閾値を算出し、
    　前記検出ステップは、
    　前記第１閾値及び前記第２閾値を用いて、前記眼電図信号又は前記差分信号から瞬目を検出する請求項１乃至３いずれか一項に記載のプログラム。
  5. 　前記閾値算出ステップは、
    　前記記憶部に記憶された最大値及び最小値に対し、平均値及び標準偏差を算出する第１算出ステップと、
    　前記最大値の平均値及び標準偏差に基づく前記第１閾値と、前記最小値の平均値及び標準偏差に基づく前記第２閾値とを算出する第２算出ステップと、
    　を含む請求項４記載のプログラム。
  6. 　前記第２算出ステップは、
    　前記最大値の平均値に、前記最大値の標準偏差に係数を乗算した値を加算した値を前記第１閾値とし、前記最小値の平均値から、前記最小値の標準偏差に係数を乗算した値を減算した値を前記第２閾値とする請求項５記載のプログラム。
  7. 　前記検出ステップは、
    　前記第１閾値以上の前記最大値の第１時刻と、前記第２閾値以下の前記最小値の第２時刻であって、該第１時刻以降の直近にある第２時刻との差が所定時間以内であれば、瞬目を検出する請求項４乃至６いずれか一項に記載のプログラム。
  8. 　前記閾値算出ステップは、
    　前記眼電図信号又は前記差分信号の強度に基づくモード判定を行う判定ステップと、
    　判定されたモードに応じて係数を決定する決定ステップと、
    　前記記憶部に記憶された最大値及び最小値それぞれの平均を算出する第１算出ステップと、
    　前記最大値の平均及び前記係数に基づく第１閾値と、前記最小値の平均及び前記係数に基づく第２閾値とを算出する第２算出ステップと、
    　を含む請求項１乃至３いずれか一項に記載のプログラム。
  9. 　前記第１算出ステップは、
    　前記瞬目として検出された過去の眼電図信号又は差分信号の最大値又は最小値を、前記平均の算出処理から除外する請求項８記載のプログラム。
  10. 　眼周辺に接触する各電極により検出された眼電位に基づく眼の垂直方向の動きを示す眼電図信号を取得する取得部と、
    　所定期間毎の前記眼電図信号の最大値及び／又は最小値、あるいは前記眼電図信号と該眼電図信号の所定時間前の眼電図信号との差分信号の最大値及び／又は最小値を記憶する記憶部と、
    　前記記憶部に記憶された最大値及び／又は最小値を用いて閾値を算出する閾値算出部と、
    　前記閾値を用いて、前記眼電図信号又は前記差分信号から瞬目を検出する検出部と、
    　を備える情報処理装置。
  11. 　眉間部と、
    　一対のノーズパッドを有するフレームと、
    　前記一対のノーズパッドそれぞれの表面に設けられる第１電極及び第２電極と、
    　前記眉間部の表面に設けられる第３電極と、
    　各電極により検出された眼電位に基づく眼の垂直方向の動きを示す眼電図信号を取得する取得部と、
    　所定期間毎の前記眼電図信号の最大値及び／又は最小値、あるいは前記眼電図信号と該眼電図信号の所定時間前の眼電図信号との差分信号の最大値及び／又は最小値を記憶する記憶部と、
    　前記記憶部に記憶された最大値及び／又は最小値を用いて閾値を算出する閾値算出部と、
    　前記閾値を用いて、前記眼電図信号又は前記差分信号から瞬目を検出する検出部と、
    　を備えるアイウエア。
     
PCT/JP2015/079224 2015-10-15 2015-10-15 プログラム、情報処理装置、及びアイウエア WO2017064800A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/079224 WO2017064800A1 (ja) 2015-10-15 2015-10-15 プログラム、情報処理装置、及びアイウエア

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/079224 WO2017064800A1 (ja) 2015-10-15 2015-10-15 プログラム、情報処理装置、及びアイウエア

Publications (1)

Publication Number Publication Date
WO2017064800A1 true WO2017064800A1 (ja) 2017-04-20

Family

ID=58518090

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/079224 WO2017064800A1 (ja) 2015-10-15 2015-10-15 プログラム、情報処理装置、及びアイウエア

Country Status (1)

Country Link
WO (1) WO2017064800A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115969398A (zh) * 2022-12-02 2023-04-18 深湾创新技术(深圳)有限公司 眨眼检测方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013244370A (ja) * 2012-05-29 2013-12-09 Jin Co Ltd アイウエア
JP2014124308A (ja) * 2012-12-26 2014-07-07 Panasonic Corp 眼電位生成装置、眼電位生成方法およびビューワー
JP2015062706A (ja) * 2014-12-02 2015-04-09 株式会社ジェイアイエヌ アイウエア

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013244370A (ja) * 2012-05-29 2013-12-09 Jin Co Ltd アイウエア
JP2014124308A (ja) * 2012-12-26 2014-07-07 Panasonic Corp 眼電位生成装置、眼電位生成方法およびビューワー
JP2015062706A (ja) * 2014-12-02 2015-04-09 株式会社ジェイアイエヌ アイウエア

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115969398A (zh) * 2022-12-02 2023-04-18 深湾创新技术(深圳)有限公司 眨眼检测方法及装置
CN115969398B (zh) * 2022-12-02 2024-02-02 深湾创新技术(深圳)有限公司 眨眼检测方法及装置

Similar Documents

Publication Publication Date Title
JP2015213734A (ja) プログラム、情報処理装置、及びアイウエア
US9706941B2 (en) Eyewear
KR20240014589A (ko) 다중 모드 눈 추적
KR20140072524A (ko) 운전자 시각피로도 측정장치
WO2018155098A1 (ja) 情報処理方法、情報処理装置及びプログラム
WO2016093096A1 (ja) プログラム、情報処理装置、及びアイウエア
JP6687639B2 (ja) 情報処理方法、情報処理装置、プログラム及びアイウエア
WO2015159861A1 (ja) 検出制御装置、装着具、眼電位情報処理システム、及びプログラム
WO2016076268A1 (ja) プログラム、情報処理装置、及びアイウエア
WO2017064800A1 (ja) プログラム、情報処理装置、及びアイウエア
WO2016072395A1 (ja) プログラム、情報処理装置、及びアイウエア
WO2015159851A1 (ja) 検出ユニット、アイウエア、及び眼電位検出システム
JPWO2016194772A1 (ja) 装着判定装置、眼鏡型電子機器、装着判定方法およびプログラム
JP6594953B2 (ja) 視線移動検出方法、プログラム、情報処理装置及びアイウエア
JP6556860B2 (ja) 情報処理方法、情報処理装置、プログラム及びアイウエア
JP2017185148A (ja) ウェアラブル生体計測装置
WO2016152849A1 (ja) 信号処理方法、プログラム、情報処理装置及びアイウエア
WO2017064799A1 (ja) アイウエア
JP5321951B2 (ja) 運転負担判定装置
JP2015205030A (ja) アイウエア
WO2017150148A1 (ja) 瞬目検出装置、眼鏡型電子機器、瞬目検出方法およびプログラム
WO2017122533A1 (ja) 眼電位キャリブレーション装置、眼鏡型電子機器、眼電位キャリブレーション方法およびプログラム
WO2015198466A1 (ja) 電子機器、方法及びプログラム
JP2017099457A (ja) 人体電位検出装置、眼鏡型電子機器、人体電位検出方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15906264

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15906264

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP