WO2018155098A1 - 情報処理方法、情報処理装置及びプログラム - Google Patents

情報処理方法、情報処理装置及びプログラム Download PDF

Info

Publication number
WO2018155098A1
WO2018155098A1 PCT/JP2018/002929 JP2018002929W WO2018155098A1 WO 2018155098 A1 WO2018155098 A1 WO 2018155098A1 JP 2018002929 W JP2018002929 W JP 2018002929W WO 2018155098 A1 WO2018155098 A1 WO 2018155098A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
electrooculogram
biological information
information processing
arousal
Prior art date
Application number
PCT/JP2018/002929
Other languages
English (en)
French (fr)
Inventor
泰生 菰田
Original Assignee
株式会社ジンズ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ジンズ filed Critical 株式会社ジンズ
Priority to CN201880013229.5A priority Critical patent/CN110366388B/zh
Priority to EP18757540.2A priority patent/EP3586733B1/en
Priority to US16/487,575 priority patent/US11006873B2/en
Publication of WO2018155098A1 publication Critical patent/WO2018155098A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1103—Detecting eye twinkling
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/168—Evaluating attention deficit, hyperactivity
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/398—Electrooculography [EOG], e.g. detecting nystagmus; Electroretinography [ERG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms

Definitions

  • the present invention relates to an information processing method, an information processing apparatus, and a program.
  • Patent Document 1 discloses that an electrooculogram may be used as a parameter.
  • the width and height at the peak of the electrooculogram vary depending on the length and weakness of blinking, even if the degree of arousal is the same, there are large variations between individuals and within individuals. Therefore, in the conventional technique such as Patent Document 1, an error occurs in the determination of the arousal level due to such variation among individuals or within individuals.
  • the disclosed technology aims to reduce the determination error of the arousal level due to the variation between and within the blinking individuals.
  • An information processing method is an information processing method executed by a computer, and acquires first biological information related to a user's electrooculogram from a processing device worn by the user, and a high peak in the electrooculogram peak. And calculating a user's arousal level based on a distance between a projection axis parallel to the equal arousal level line and a point on which the first biological information is plotted in a coordinate space having a width and an axis as an axis. .
  • FIG. 1 is a diagram illustrating an example of an information processing system 1 in the embodiment.
  • the information processing system 1 illustrated in FIG. 1 includes an external device 10, an eyewear 30, and a server 40.
  • the external device 10, the eyewear 30, and the server 40 are connected via a network so that data communication is possible.
  • the eyewear 30 mounts the processing device 20 on a temple portion, for example.
  • the processing device 20 includes a three-axis acceleration sensor and a three-axis angular velocity sensor (may be a six-axis sensor).
  • the eyewear 30 includes bioelectrodes 31, 33, and 35 at a pair of nose pads and a bridge portion, respectively.
  • An electrooculogram signal acquired from a bioelectrode provided in the eyewear 30 is transmitted to the processing device 20.
  • the biological electrode is provided for detecting blinks, line-of-sight movement, and the like. However, when detecting blinks, line-of-sight movement, and the like by image processing, the biological electrode may not be provided.
  • the processing device 20 transmits sensor signals, electrooculogram signals, and / or biological information calculated from these signals to the external device 10 and the server 40.
  • the installation position of the processing apparatus 20 is not necessarily a temple, but may be positioned in consideration of the balance when the eyewear 30 is attached.
  • the external device 10 is an information processing device having a communication function.
  • the external device 10 is a mobile communication terminal such as a mobile phone and a smartphone possessed by the user, a personal computer, a tablet terminal, or the like.
  • the external device 10 determines the arousal level of the user during driving based on the sensor signal, electrooculogram signal, and the like received from the processing device 20, and supports driving.
  • the external device 10 will be described as the information processing device 10.
  • the server 40 acquires and stores information related to the arousal level from the information processing apparatus 10.
  • the server 40 may be configured to acquire biological information, sensor signals, electrooculogram signals, and the like directly from the processing device 20.
  • the server 40 can transmit a sensor signal, an electrooculogram signal, or the like to the external device 10 in response to a request from the information processing device 10 as necessary.
  • FIG. 2 is a block diagram illustrating an example of the configuration of the processing device 20 according to the embodiment.
  • the processing device 20 includes a processing unit 202, a transmission unit 204, a 6-axis sensor 206, and a power supply unit 208.
  • each of the bioelectrodes 31, 33, and 35 is connected to the processing unit 202 using an electric wire via an amplification unit, for example.
  • each part of the processing apparatus 20 may be distributed in a pair of temples instead of being provided in one temple.
  • the 6-axis sensor 206 is a 3-axis acceleration sensor and a 3-axis angular velocity sensor. Each of these sensors may be provided separately.
  • the 6-axis sensor 206 outputs the detected sensor signal (also referred to as detection data) to the processing unit 202.
  • the processing unit 202 is, for example, a processor, and processes a sensor signal obtained from the 6-axis sensor 206 and an electrooculogram signal obtained from the biological electrode as necessary, and outputs the processed signal to the transmission unit 204.
  • the processing unit 202 can calculate biological information related to blinks and biological information related to eye movement using an electrooculogram signal.
  • the processing unit 202 will be described as outputting biological information related to an electrooculogram signal to the transmission unit 204.
  • the processing unit 202 uses the sensor signal from the 6-axis sensor 206 to calculate biological information related to body movement.
  • the biological information related to body movement is information indicating head movement within a predetermined time, for example.
  • the processing unit 202 uses the sensor signal from the 6-axis sensor 206 to display data indicating the pitch angle, data indicating the roll angle, data indicating the yaw angle, and the body axis.
  • Data indicating the posture including the direction and magnitude of the tilt (hereinafter collectively referred to as “head movement information”) can be generated.
  • the pitch angle indicates, for example, the shake before and after the head
  • the roll angle indicates, for example, the shake of the left and right sides of the head
  • the yaw angle indicates, for example, the shake of the left and right rotations of the neck
  • the direction and magnitude of the inclination of the body axis is For example, it indicates the direction and magnitude of the head tilt.
  • the processing unit 202 may only amplify the sensor signal obtained from the 6-axis sensor 206.
  • biometric information relating to blinking and eye movement and head movement information will be described using an example calculated by the processing unit 202, but may be calculated by the information processing apparatus 10 or the server 40.
  • the transmission unit 204 transmits each piece of information including the biological information regarding the electrooculogram signal processed by the processing unit 202 and / or the head movement information to the information processing apparatus 10 or the server 40.
  • the transmission unit 204 transmits biological information and head movement information related to blinking and eye movement to the information processing apparatus 10 and the server 40 by wireless communication such as Bluetooth (registered trademark) and wireless LAN, or wired communication.
  • the power supply unit 208 supplies power to the processing unit 202, the transmission unit 204, the 6-axis sensor 206, and the like.
  • FIG. 3 is a schematic configuration diagram illustrating a hardware configuration of the information processing apparatus 10 according to the embodiment.
  • a typical example of the information processing apparatus 10 is a mobile phone such as a smartphone.
  • a network such as a mobile terminal that can be connected wirelessly or by wire to a network, or an electronic device equipped with a touch panel such as a tablet terminal, etc.
  • a general-purpose device capable of displaying a screen while processing data while communicating using the information processing apparatus 10 may correspond to the information processing apparatus 10 in the embodiment.
  • the information processing apparatus 10 includes, for example, a rectangular thin housing (not shown), and a touch panel 102 is configured on one surface of the housing.
  • each component is connected to the main control unit 150.
  • the main control unit 150 is a processor, for example.
  • the main control unit 150 includes a mobile communication antenna 112, a mobile communication unit 114, a wireless LAN communication antenna 116, a wireless LAN communication unit 118, a storage unit 120, a speaker 104, a microphone 106, a hard button 108, and a hard key 110. And the 6-axis sensor 111 is connected.
  • the main control unit 150 is further connected with a touch panel 102, a camera 130, and an external interface 140.
  • the external interface 140 includes an audio output terminal 142.
  • the touch panel 102 has functions of both a display device and an input device, and includes a display (display screen) 102A that bears the display function and a touch sensor 102B that bears the input function.
  • the display 102A is configured by a general display device such as a liquid crystal display or an organic EL (Electro Luminescence) display.
  • the touch sensor 102B includes an element for detecting a contact operation disposed on the upper surface of the display 102A and a transparent operation surface stacked on the element.
  • a contact detection method of the touch sensor 102B an arbitrary method among known methods such as a capacitance method, a resistance film method (pressure-sensitive method), and an electromagnetic induction method can be adopted.
  • the touch panel 102 as a display device displays an application image generated by the execution of the program 122 by the main control unit 150.
  • the touch panel 102 as an input device detects an action of a contact object (including a player's finger, stylus, and the like. Hereinafter, a case of a “finger” will be described as a representative example).
  • the operation input is received, and information on the contact position is given to the main control unit 150.
  • the movement of the finger is detected as coordinate information indicating the position or area of the contact point, and the coordinate information is represented as coordinate values on two axes of the short side direction and the long side direction of the touch panel 102, for example.
  • the information processing apparatus 10 is connected to the network N through the mobile communication antenna 112 and the wireless LAN communication antenna 116, and can perform data communication with the processing apparatus 20.
  • the storage unit 120 records the program 122, and the storage unit 120 may be separate from the external device 10, and may be a recording medium such as an SD card or a CD-ROM.
  • FIG. 4 is a diagram illustrating an example of the configuration of the information processing apparatus 10.
  • the information processing apparatus 10 includes a storage unit 302, a communication unit 304, and a control unit 306.
  • the storage unit 302 can be realized by, for example, the storage unit 120 shown in FIG.
  • the storage unit 302 stores data relating to an application (hereinafter, also referred to as “drive application”) that manages the user's arousal level in the embodiment.
  • the data related to the drive application is, for example, data received from the processing device 20 or the server 40, data related to an equal arousal level straight line described later, data related to electrooculogram distribution, and the like.
  • the communication unit 304 can be realized by the mobile communication unit 114, the wireless LAN communication unit 118, and the like, for example.
  • the communication unit 304 receives data from the processing device 20 or the server 40, for example. Further, the communication unit 304 may transmit data processed in the information processing apparatus 10 to the server 40. That is, the communication unit 304 functions as a transmission unit and a reception unit.
  • the control unit 306 is realized by the main control unit 150, for example, and executes a drive application.
  • the drive application in the embodiment has a function of notifying when the user's arousal level is lowered and further determining whether or not the arousal level is improved by the notification.
  • the control unit 306 includes an acquisition unit 312, a distribution calculation unit 314, and a wakefulness calculation unit 316.
  • the acquisition unit 312 acquires biological information based on the electrooculogram signal and head movement information based on the sensor signal from the six-axis sensor 206 attached to the human body.
  • wearing with a human body includes not only wearing directly but also wearing indirectly using a wearable device including the eyewear 20 and the like.
  • the distribution calculation unit 314 is a histogram (hereinafter, also referred to as “ocular potential distribution”) of the intensity (specifically, the height and width of the peak) of the user's electrooculogram based on the acquired biological information. Is calculated.
  • a method for calculating the electrooculogram distribution will be described in detail with reference to FIG.
  • FIG. 5 is a graph showing the distribution of electrooculogram measurement points acquired from a target user.
  • the vertical axis indicates the height of the electrooculogram peak
  • the horizontal axis indicates the width of the electrooculogram peak.
  • the height of the electrooculogram peak is also referred to as “height H”
  • the width of the electrooculogram peak is also referred to as “width W”.
  • the peak of the electrooculogram has a lower height H as the blinking becomes weaker, and a width W becomes longer as the blinking becomes longer. That is, when the height H is high, it indicates that the user is not sleepy, and when the height H is low, the user is sleepy. On the other hand, an increase in the width W indicates that the user is sleepy, and a decrease in the width W indicates that the user is not sleepy.
  • This equal arousal level line X is obtained by plotting the measurement points of the peak of electrooculogram in a plurality of users determined to have the same arousal level in a space of height H and width W as in FIG. It is. Specifically, the electrooculogram at each measurement point is measured when it is determined that the same wakefulness level is obtained for a predetermined time (for example, 10 minutes) for the wakefulness level obtained by objective evaluation of the evaluator. is there.
  • the region above the equal awakening level line X is plotted when it is not sleepy than the equal awakening level line X.
  • the region below the equal awakening level line X is plotted when it is sleepier than the equal awakening level line X.
  • the projection axis only needs to be parallel to the equal awakening level line X, and may be coincident with the equal awakening level line X, for example.
  • the isowake level line is a straight line, but is not limited thereto, and may be a curved line.
  • the distribution calculation unit 314 calculates the peak of the electrooculogram peak for the target user acquired in the determination reference period (for example, about 30 minutes) by the acquisition unit 312 while the user is driving, and the projection axis.
  • the distance L is calculated.
  • the distribution calculation unit 314 calculates an electrooculogram distribution that is a histogram of the calculated distance L. Specifically, the distribution calculation unit 314 calculates an electrooculogram distribution by obtaining an average ( ⁇ ) and a standard deviation ( ⁇ ) for the calculated distance. At this time, it is preferable that the distribution calculation unit 314 exclude measurement points far away from the projection axis as outliers.
  • FIG. 6 is a graph showing an example of an electrooculogram distribution calculated by the distribution calculation unit 314 by such a method.
  • the horizontal axis indicates the distance calculated by the distribution calculation unit 314, and the vertical axis indicates the frequency with which the distance is calculated.
  • the electrooculogram distribution is a normal distribution as shown in FIG.
  • the vertex of the normal distribution indicates the intensity of the electrooculogram that is most likely to occur during driving in the target user.
  • the distribution calculation unit 314 can convert the electrooculogram peak from two-dimensional data of height H and width W to one-dimensional data and handle it. Become.
  • the arousal level calculation unit 316 scores the user's arousal level based on the electrooculogram distribution calculated by the distribution calculation unit 314. Specifically, the arousal level calculation unit 316 performs measurement when plotting measurement points on the graph of FIG. 5 based on the height H and width W of the user's electrooculogram acquired by the acquisition unit 312 during driving. The distance between the point and the projection axis is calculated. Next, the arousal level calculation unit 316 scores the arousal level based on which position on the horizontal axis in the electrooculogram distribution of FIG. 6 corresponds to the calculated distance.
  • the arousal level calculation unit 316 performs linear conversion so that the range of ⁇ k (constant) ⁇ ⁇ on the horizontal axis in the electrooculogram distribution is in the range of 0 to 100 points, and scores the arousal level. Ring.
  • 50 points correspond to the average awakening level during the driving of the user.
  • 100 points corresponds to the highest arousal level
  • 0 points corresponds to the lowest arousal level.
  • the degree of arousal is included in the lower 5% of the electrooculogram distribution, it is considered that the person is asleep, and when the arousal degree is a score of 5 points or less, it is determined that the person is asleep.
  • the arousal level calculation unit 316 calculates and uses a moving average of the distance from the measurement point of the electrooculogram in a predetermined period (for example, 2 minutes) as the distance between the measurement point and the projection axis. Thereby, it is possible to calculate the arousal level with higher accuracy.
  • the arousal level calculation unit 316 determines whether or not the calculated awakening level is lower than a predetermined value, and if it is low, notifies the user. This notification can be performed by voice or vibration, for example.
  • the distribution calculation unit 314 calculates the electro-oculogram distribution based on the projection axis parallel to the equal arousal level line X, so that the determination error of the arousal level due to the variation between blinking individuals or within individuals can be reduced. .
  • FIG. 7 is a flowchart illustrating an example of overall processing of the application in the embodiment.
  • the acquiring unit 312 acquires an electrooculogram from a driving user for a predetermined time (in this example, 30 minutes) (S101).
  • a predetermined time in this example, 30 minutes
  • the distribution calculation unit 314 creates an electrooculogram distribution (see FIG. 5) from the electrooculogram acquired during the period (S103).
  • the arousal level calculation unit 316 refers to the electrooculogram distribution and calculates the user's arousal level based on the electrooculogram acquired by the acquisition unit 312 (S104).
  • the awakening level calculation unit 316 determines whether or not the calculated user's awakening level is equal to or less than a predetermined value (S105). When the user's arousal level falls below a predetermined value (S105: Yes), the arousal level calculation unit 316 notifies the user by voice and / or vibration (S106). On the other hand, when the user's arousal level has not decreased below the predetermined value (S105: Yes), the process returns to step S101.
  • the control unit 306 repeatedly executes the processing from S101 to S106 while the application is running.
  • eyewear 30 is glasses
  • eyewear is not limited to this.
  • the eyewear may be any device related to the eye, and may be a face wearing device or a head wearing device such as glasses, sunglasses, goggles and a head mounted display and their frames.
  • the eyewear 30 is provided with a biological electrode and a six-axis sensor.
  • an image of a user who is driving from a high-speed on-board camera or the like (a still image or a moving image)
  • information on the eye movement and blink (second biological information) can be acquired from the image using image processing
  • the biological electrode and the 6-axis sensor may not be provided.
  • the acquisition unit 312 acquires the user's blink image from the in-vehicle camera.
  • the distribution calculation unit 314 calculates the size of the eye opening (opening degree) from the acquired blink image of the user.
  • the distribution calculation unit 314 performs binarization processing using the skin color of the user's blink image as a threshold, and calculates the eyeball opening area or the maximum width of the upper and lower eyelids as the size of the user's eye opening. .
  • FIG. 8 is a graph showing the distribution of eye opening sizes obtained from the target user.
  • the distribution calculation unit 314 calculates a moving average of the eye opening size, and when the eye opening size becomes 95% or less of the immediately preceding size in 0.1 seconds, the user starts to close the eyes. Detect. Then, the distribution calculation unit 314 obtains an image immediately before the user starts closing his eyes and an image when the user closes his eyes and opens the eyes to a size immediately before the eyes start closing. The distribution calculation unit 314 detects the size of the user's eyes from an image immediately before the user starts closing his eyes.
  • the distribution calculation unit 314 calculates the time from the start of closing the eyes to the opening of the eyes based on the shooting time of the image immediately before the eyes start closing and the shooting time of the image when the user opens the eyes up to a size immediately before the eyes start to close. Measure the eye closure time shown.
  • the height at the peak of the electrooculogram in the example corresponds to “the degree of eye opening indicating the size of the eye opening of the image before starting to close the eye of the blink”, and the width at the peak of the electrooculogram in the example is “eye Corresponds to the “closed eye time indicating the time from the start of closing to the end of opening”.
  • the distribution calculation unit 314 uses the eye opening degree indicating the opening degree of the image before starting to close the blink eye and the eye closing time indicating the time from the start of closing the eye until the opening is ended.
  • the histogram is calculated in the same manner as the electrooculogram distribution.
  • the subsequent processing of the distribution calculation unit 314 and the arousal level calculation unit 316 is the same processing as in the case of the electrooculogram distribution.
  • the sensor signal from the six-axis sensor 206 mounted on the eyewear 30 is described.
  • the sensor signal from the six-axis sensor 111 mounted on the information processing apparatus 10 is also used. It is possible to execute the application described in the example. That is, the 6-axis sensor may be mounted not only on the head but also on any position of the human body.
  • the blinking, eye movement, and body movement have been described as the living body information.
  • other living body information such as a heartbeat and a pulse may be used.
  • the description has been given by using the user during driving as an example, but the present invention is not limited to this, and the user may be a user of daily life (holiday or work).
  • the configuration in which the information processing apparatus 10 includes the distribution calculation unit 314 and the arousal level calculation unit 316 has been described.
  • the configuration is not limited to this, and the configuration in the server 40 may be used.
  • the electrooculogram distribution is calculated for each measurement point of the electrooculogram based on the histogram of the distance L from the projection axis.
  • the electrooculogram measurement point may be projected in parallel to the projection axis on the X axis or the Y axis, and the electrooculogram distribution may be calculated from the histogram of the distance between the projection axis and the intersection of the X axis or the Y axis.

Abstract

瞬きの個人間や個人内のばらつきによる覚醒度の判定誤差を低減させる。 ユーザが装着する処理装置からユーザの眼電位に関する第１生体情報を取得することと、眼電位のピークにおける高さと幅とを軸とする座標空間において、等覚醒度線と平行な射影軸と、第１生体情報をプロットした点との距離に基づいて、ユーザの覚醒度合を算出することと、を実行する。

Description

情報処理方法、情報処理装置及びプログラム
　本発明は、情報処理方法、情報処理装置及びプログラムに関する。
　従来、運転者から覚醒度の低下が検出された場合に、運転者の覚醒度を向上させる装置が提案されている。例えば、特許文献１の記載の技術では、運転者の瞬きから抽出されるパラメータに基づいて、運転者の覚醒度を算出する。
特許３１２７７６０号公報
　特許文献１には、パラメータとして眼電位を用いてもよいことが開示されている。しかし、眼電位のピークにおける幅や高さは、瞬きの長さや弱さによって変動するため、覚醒度合が同一の場合であっても、個人間や個人内でばらつきが大きい。従って、特許文献１のような従来の技術では、このような個人間や個人内のばらつきによって、覚醒度の判定に誤差が生じてしまう。
　そこで、開示技術は、瞬きの個人間や個人内のばらつきによる覚醒度の判定誤差を低減させることを目的とする。
　開示技術の一態様における情報処理方法は、コンピュータが実行する情報処理方法であって、ユーザが装着する処理装置からユーザの眼電位に関する第１生体情報を取得することと、眼電位のピークにおける高さと幅とを軸とする座標空間において、等覚醒度線と平行な射影軸と、第１生体情報をプロットした点との距離に基づいて、ユーザの覚醒度合を算出することと、を実行する。
　開示技術によれば、瞬きの個人間や個人内のばらつきによる覚醒度の判定誤差を低減させることを可能にする。
実施例における情報処理システムの一例を示す図である。 実施例における処理装置の構成の一例を示すブロック図である。 実施例における情報処理装置のハードウェア構成を示す概略構成図である。 実施例における情報処理装置の構成の一例を示す図である。 実施例における覚醒度算出処理に用いられるグラフである。 実施例における覚醒度算出処理に用いられるグラフである。 実施例における報知処理の一例を示すフローチャートである。 変形例における覚醒度算出処理に用いられるグラフである。
　以下、図面を参照して本発明の実施の形態を説明する。ただし、以下に説明する実施形態は、あくまでも例示であり、以下に明示しない種々の変形や技術の適用を排除する意図はない。即ち、本発明は、その趣旨を逸脱しない範囲で種々変形して実施することができる。また、以下の図面の記載において、同一または類似の部分には同一または類似の符号を付して表している。図面は模式的なものであり、必ずしも実際の寸法や比率等とは一致しない。図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることがある。
　［実施例］
　実施例では、加速度センサ及び角速度センサ、生体電極を搭載する対象として、アイウエアを例に挙げるが、これに限られない。図１は、実施例における情報処理システム１の一例を示す図である。図１に示す情報処理システム１は、外部装置１０とアイウエア３０とサーバ４０を含み、外部装置１０とアイウエア３０とサーバ４０は、ネットワークを介して接続され、データ通信可能になっている。
　アイウエア３０は、例えばテンプル部分に処理装置２０を搭載する。処理装置２０は、３軸加速度センサ及び３軸角速度センサ（６軸センサでもよい）を含む。また、アイウエア３０は、一対のノーズパッド及びブリッジ部分にそれぞれ生体電極３１、３３、３５を有する。アイウエア３０に設けられる生体電極から取得される眼電位信号は、処理装置２０に送信される。生体電極は、瞬目や視線移動等を検出するために設けられているが、画像処理により瞬目や視線移動等を検出する場合には、生体電極は設けられなくてもよい。
　処理装置２０は、センサ信号や眼電位信号、及び／又はこれらの信号から算出される生体情報等を外部装置１０やサーバ４０に送信する。処理装置２０の設置位置は、必ずしもテンプルである必要はないが、アイウエア３０が装着された際のバランスを考慮して位置決めされればよい。
　外部装置１０は、通信機能を有する情報処理装置である。例えば、外部装置１０は、ユーザが所持する携帯電話及びスマートフォン等の携帯通信端末、パーソナルコンピュータ、タブレット端末等である。外部装置１０は、処理装置２０から受信したセンサ信号や眼電位信号等に基づいて、運転中のユーザの覚醒度を判定し、運転を支援する。以下、外部装置１０は、情報処理装置１０と称して説明する。
　サーバ４０は、情報処理装置１０から覚醒度に関する情報等を取得し、記憶する。サーバ４０は、処理装置２０から直接、生体情報や、センサ信号、眼電位信号等を取得する構成でもよい。この場合、サーバ４０は、必要に応じて情報処理装置１０からのリクエストに応じ、センサ信号や眼電位信号等を外部装置１０に送信することができる。
　＜処理装置２０の構成＞
　図２は、実施例における処理装置２０の構成の一例を示すブロック図である。図２に示すように、処理装置２０は、処理部２０２、送信部２０４、６軸センサ２０６、及び電源部２０８を有する。また、各生体電極３１、３３、３５は、例えば増幅部を介して電線を用いて処理部２０２に接続される。なお、処理装置２０の各部は、一方のテンプルに設けられるのではなく、一対のテンプルに分散して設けられてもよい。
　６軸センサ２０６は、３軸加速度センサ及び３軸角速度センサである。また、これらの各センサは別個に設けられてもよい。６軸センサ２０６は、検出したセンサ信号（又は検出データとも称す）を処理部２０２に出力する。
　処理部２０２は、例えばプロセッサであり、６軸センサ２０６から得られるセンサ信号や、生体電極から得られる眼電位信号を必要に応じて処理し、送信部２０４に出力する。例えば、処理部２０２は、眼電位信号を用いて、瞬目に関する生体情報や、視線移動に関する生体情報を算出することができる。なお、実施例では、処理部２０２は眼電位信号に関する生体情報を送信部２０４に出力するものとして説明する。
　また、処理部２０２は、６軸センサ２０６からのセンサ信号を用いて、体動に関する生体情報を算出する。体動に関する生体情報は、例えば所定時間内における頭部運動を示す情報である。例えば、処理部２０２は、６軸センサ２０６からのセンサ信号を用いて、ピッチ（Ｐｉｔｃｈ）角を示すデータ、ロール（Ｒｏｌｌ）角を示すデータ、ヨー（Ｙａｗ）角を示すデータ、及び体軸の傾きの方向と大きさを含む姿勢を示すデータ（以下、これらを総称して「頭部運動情報」とも呼ぶ）を生成することができる。ピッチ角は、例えば頭の前後のブレを示し、ロール角は、例えば頭の左右のブレを示し、ヨー角は、例えば首の左右回転のブレを示し、体軸の傾きの方向及び大きさは、例えば頭の傾きの方向及び大きさを示す。ピッチ角、ロール角、ヨー角及び姿勢については、公知の技術を用いて算出すればよい。また、処理部２０２は、６軸センサ２０６から得られるセンサ信号を増幅等
するだけでもよい。以下では、瞬目や視線移動に関する生体情報や、頭部運動情報について、処理部２０２により算出される例を用いて説明するが、情報処理装置１０又はサーバ４０により算出されてもよい。
　送信部２０４は、処理部２０２によって処理された眼電位信号に関する生体情報、及び／又は頭部運動情報を含む各情報を情報処理装置１０やサーバ４０に送信する。例えば、送信部２０４は、Ｂｌｕｅｔｏｏｔｈ（登録商標）及び無線ＬＡＮ等の無線通信、又は有線通信によって瞬目や視線移動に関する生体情報や頭部運動情報を情報処理装置１０やサーバ４０に送信する。電源部２０８は、処理部２０２、送信部２０４、６軸センサ２０６等に電力を供給する。
　＜情報処理装置１０の構成＞
　（ハードウェア構成）
　図３は、実施例における情報処理装置１０のハードウェア構成を示す概略構成図である。情報処理装置１０の典型的な一例は、スマートフォンなどの携帯電話であるが、この他、ネットワークに無線又は有線接続可能な携帯端末、あるいはタブレット型端末のようなタッチパネルを搭載した電子機器など、ネットワークを使って通信しながらデータ処理しつつ画面表示可能な汎用機器なども実施形態における情報処理装置１０に該当しうる。
　実施形態における情報処理装置１０は、例えば、図示しない矩形の薄形筐体を備え、その筐体の一方の面には、タッチパネル１０２が構成される。情報処理装置１０では、各構成要素が主制御部１５０に接続されている。主制御部１５０は、例えばプロセッサである。
　主制御部１５０には、移動体通信用アンテナ１１２、移動体通信部１１４、無線ＬＡＮ通信用アンテナ１１６、無線ＬＡＮ通信部１１８、記憶部１２０、スピーカ１０４、マイクロフォン１０６、ハードボタン１０８、ハードキー１１０及び６軸センサ１１１が接続されている。また、主制御部１５０には、さらに、タッチパネル１０２、カメラ１３０、及び外部インターフェース１４０が接続されている。外部インターフェース１４０は、音声出力端子１４２を含む。
　タッチパネル１０２は、表示装置及び入力装置の両方の機能を備え、表示機能を担うディスプレイ（表示画面）１０２Ａと、入力機能を担うタッチセンサ１０２Ｂとで構成される。ディスプレイ１０２Ａは、例えば、液晶ディスプレイや有機ＥＬ（Electro Luminescence）ディスプレイなどの一般的な表示デバイスにより構成される。タッチセンサ１０２Ｂは、ディスプレイ１０２Ａの上面に配置された接触操作を検知するための素子及びその上に積層された透明な操作面を備えて構成される。タッチセンサ１０２Ｂの接触検知方式としては、静電容量式、抵抗膜式（感圧式）、電磁誘導式など既知の方式のうちの任意の方式を採用することができる。
　表示装置としてのタッチパネル１０２は、主制御部１５０によるプログラム１２２の実行により生成されるアプリケーションの画像を表示する。入力装置としてのタッチパネル１０２は、操作面に対して接触する接触物（プレイヤの指やスタイラスなどを含む。以下、「指」である場合を代表例として説明する。）の動作を検知することで、操作入力を受け付け、その接触位置の情報を主制御部１５０に与える。指の動作は、接触点の位置または領域を示す座標情報として検知され、座標情報は、例えば、タッチパネル１０２の短辺方向及び長辺方向の二軸上の座標値として表される。
　情報処理装置１０は、移動体通信用アンテナ１１２や無線ＬＡＮ通信用アンテナ１１６を通じてネットワークＮに接続され、処理装置２０との間でデータ通信をすることが可能である。なお、記憶部１２０は、プログラム１２２を記録し、また、記憶部１２０は、外部装置１０と別体であってもよく、例えば、ＳＤカードやＣＤ－ＲＯＭ等の記録媒体であってもよい。
　（機能構成）
　次に、情報処理装置１０の機能構成について説明する。図４は、情報処理装置１０の構成の一例を示す図である。情報処理装置１０は、記憶部３０２、通信部３０４、及び制御部３０６を有する。
　記憶部３０２は、例えば、図３に示す記憶部１２０等により実現されうる。記憶部３０２は、実施例におけるユーザの覚醒度を管理するアプリケーション（以下、「ドライブアプリ」ともいう。）に関するデータ等を記憶する。ドライブアプリに関するデータは、例えば、処理装置２０又はサーバ４０から受信したデータや、後述する等覚醒度直線に関するデータ、眼電位分布に関するデータ等である。
　通信部３０４は、例えば移動体通信部１１４や無線ＬＡＮ通信部１１８等により実現されうる。通信部３０４は、例えば処理装置２０又はサーバ４０からデータを受信する。また、通信部３０４は、情報処理装置１０において処理されたデータをサーバ４０に送信してもよい。すなわち、通信部３０４は、送信部と受信部としての機能を有する。
　制御部３０６は、例えば主制御部１５０等により実現され、ドライブアプリを実行する。実施例におけるドライブアプリは、ユーザの覚醒度が低下した場合に報知を行い、さらに報知によって覚醒度が向上したか否かを判定する機能を有する。この機能を実現するため、制御部３０６は、取得部３１２、分布算出部３１４、覚醒度算出部３１６を有する。
　取得部３１２は、眼電位信号に基づく生体情報や、人体に装着された６軸センサ２０６からのセンサ信号に基づく頭部運動情報を取得する。なお、人体に装着されたとは、直接的に装着されることだけではなく、アイウエア２０等を含むウェアラブルデバイスを用いて間接的に装着されることを含む。
　分布算出部３１４は、取得した生体情報に基づいて、ユーザの眼電位の強度（具体的には、ピーク時の高さと幅である。）のヒストグラム（以下、「眼電位分布」ともいう。）を算出する。図５を参照して眼電位分布の算出法について、詳細に説明する。図５は対象となるユーザから取得した、眼電位の測定点の分布を示すグラフである。図５において、縦軸は眼電位のピークの高さを示しており、横軸は眼電位のピークの幅を示している。以下の説明では、眼電位のピークの高さを「高さＨ」ともいい、眼電位のピークの幅を「幅Ｗ」ともいう。なお、眼電位のピークは、瞬きが弱くなるほど高さＨが低くなり、瞬きが長くなるほど、幅Ｗが長くなる。すなわち、高さＨが高くなると、ユーザが眠くないことを示し、高さＨが低くなると、ユーザが眠いことを示す。一方、幅Ｗが長くなると、ユーザが眠いことを示し、幅Ｗが短くなると、ユーザが眠くないことを示す。
　図５において直線ｙ＝ａｘ＋ｂであらわされる直線（以下、射影軸ともいう）は、あらかじめ算出された等覚醒度線Ｘに平行な直線である。この等覚醒度線Ｘは、同じ覚醒度と判断された複数のユーザにおける眼電位のピークの測定点を図５と同様の高さＨと、幅Ｗとの空間にプロットして、求めたものである。具体的には、各測定点における眼電位は、評価者の客観評価で得た覚醒度について同じ覚醒度が所定の時間（例えば１０分間）連続した状態であると判定した場合に測定したものである。したがって、等覚醒度線Ｘよりも上側の領域は、等覚醒度線Ｘよりも眠くない場合にプロットされる。逆に、等覚醒度線Ｘよりも下側の領域は、等覚醒度線Ｘよりも眠い場合にプロットされる。なお、射影軸は等覚醒度線Ｘに平行であればよく、例えば等覚醒度線Ｘと一致してもよい。また、図５の例では、等覚醒度線は直線であるが、これに限定されず、曲線であってもよい。
　分布算出部３１４は、取得部３１２が、ユーザの運転中における判定基準期間（例えば３０分程度である。）において取得した、対象のユーザにおける眼電位のピークの測定点それぞれについて、射影軸との距離Ｌを算出する。分布算出部３１４は、算出した距離Ｌのヒストグラムである、眼電位分布を算出する。具体的には、分布算出部３１４は、算出した距離について平均（μ）と標準偏差（σ）を求めることで眼電位分布を算出する。なお、このとき分布算出部３１４は、射影軸から大きく離れた測定点を外れ値として除外することが好ましい。
　図６は、このような手法によって分布算出部３１４が算出した眼電位分布の一例を示すグラフである。図６において、横軸は、分布算出部３１４が算出した距離を示しており、縦軸は、距離が算出される頻度を示している。本実施例では、図６に示すように眼電位分布は正規分布となると想定している。この場合、正規分布の頂点が、対象のユーザにおいて、運転中に最も発生しやすい眼電位の強度を示している。分布算出部３１４が、このような眼電位分布を算出することによって、眼電位のピークを、高さＨと幅Ｗとの２次元のデータから１次元のデータに変換して扱うことが可能になる。
　覚醒度算出部３１６は、分布算出部３１４が算出した眼電位分布に基づいて、ユーザの覚醒度をスコアリングする。具体的には、覚醒度算出部３１６は、運転中に取得部３１２が取得したユーザの眼電位の高さＨと幅Ｗに基づいて、図５のグラフに測定点をプロットした場合の、測定点と射影軸との距離を算出する。次に、覚醒度算出部３１６は算出した距離が、図６の眼電位分布における横軸のどの位置に対応するかに基づいて、覚醒度をスコアリングする。具体的には、覚醒度算出部３１６は、眼電位分布における横軸の±ｋ（定数）×σの範囲が、０点から１００点のレンジになるように線形変換して、覚醒度をスコアリングする。この場合、５０点が、そのユーザの運転中において、最も平均的な覚醒度に相当する。また、１００点が最も高い覚醒度に相当し、０点が最も低い覚醒度に相当する。例えば、覚醒度が眼電位分布の下位５％に含まれる場合に眠っているとみなす場合には、覚醒度が５点以下のスコアとなった場合に、非常に眠いと判定される。
　なお覚醒度算出部３１６は、測定点と射影軸との間の距離は、所定の期間（例えば２分間）における眼電位の測定点から距離の移動平均を算出して用いることが好ましい。これにより、より精度の高い覚醒度の算出を行うことができる。
　覚醒度算出部３１６は、算出した覚醒度が所定値より低いか否かを判定し、低い場合にはユーザに対して通知を行うことが好ましい。この通知は、例えば音声やバイブレーション等で行うことができる。
　眼電位のピークにおける高さＨや幅Ｗは、瞬きの長さや弱さによって変動するため、覚醒度が同一でも変動する場合がある。他方で、高さＨと幅Ｗの比率は、覚醒度が同一であれば一定になる。従って、分布算出部３１４が等覚醒度線Ｘに平行な射影軸に基づいて眼電位分布を算出することで、瞬きの個人間や個人内のばらつきによる覚醒度の判定誤差を低減することができる。
　＜動作＞
　次に、実施例における情報処理装置１０の動作について説明する。図７は、実施例におけるアプリケーションの全体処理の一例を示すフローチャートである。
　まず、取得部３１２が、運転中のユーザから所定の時間（この例では３０分間）、眼電位を取得する（Ｓ１０１）。所定の期間が経過すると（Ｓ１０２：ＹＥＳ）、分布算出部３１４は、当該期間において取得した眼電位から、眼電位分布（図５を参照）を作成する（Ｓ１０３）。
　眼電位分布が作成されると、覚醒度算出部３１６は、眼電位分布を参照して、取得部３１２が取得した眼電位に基づいて、ユーザの覚醒度を算出する（Ｓ１０４）。
　覚醒度算出部３１６は、算出したユーザの覚醒度が所定値以下であるか否か判定する（Ｓ１０５）。ユーザの覚醒度が所定値以下に低下した場合（Ｓ１０５：Ｙｅｓ）、覚醒度算出部３１６は、音声及び／又はバイブレーションによりユーザに通知する（Ｓ１０６）。他方で、ユーザの覚醒度が所定値以下に低下していない場合（Ｓ１０５：Ｙｅｓ）、ステップＳ１０１に処理を戻す。
　制御部３０６は、このＳ１０１～Ｓ１０６までの処理を、アプリケーションの起動中に繰り返し実行する。
　以上、実施例によれば、瞬きの個人間や個人内のばらつきによる覚醒度の判定誤差を低減することができる。
　なお、実施例において、アイウエア３０がメガネである場合について説明した。しかし、アイウエアはこれに限定されない。アイウエアは、眼に関連する装具であればよく、メガネ、サングラス、ゴーグル及びヘッドマウントディスプレイならびにこれらのフレームなどの顔面装着具又は頭部装着具であってよい。
　また、実施例において、アイウエア３０が生体電極や６軸センサを設けることを説明したが、上述したように、例えば、ハイスピードな車載カメラ等から運転中のユーザの画像（静止画像又は動画像）を取得し、当該画像から視線移動や瞬目に関する情報（第２生体情報）を画像処理を用いて取得可能であれば、生体電極や６軸センサは設けられなくてもよい。この場合、取得部３１２は、車載カメラからユーザの瞬目の画像を取得する。分布算出部３１４は、取得したユーザの瞬目の画像から目の開きの大きさ（開眼度）を算出する。例えば、分布算出部３１４は、ユーザの瞬目の画像の肌色を閾値とした二値化処理を実行し、眼球開口部面積又は上下瞼の最大幅をユーザの目の開きの大きさとして算出する。
　図８は、対象となるユーザから取得した、目の開きの大きさの分布を示すグラフである。分布算出部３１４は、目の開きの大きさの移動平均を算出し、０．１秒で目の開きの大きさが直前の大きさの９５％以下になった場合、ユーザが目を閉じ始めたと検出する。そして、分布算出部３１４は、ユーザが目を閉じ始める直前の画像と、ユーザが目を閉じて目の開きの大きさが目を閉じ始める直前の大きさまで開いたときの画像とを取得する。分布算出部３１４は、ユーザが目を閉じ始める直前の画像からユーザの目の大きさを検出する。分布算出部３１４は、目を閉じ始める直前の画像の撮影時刻と、ユーザが目を閉じ始める直前の大きさまで開いたときの画像の撮影時刻とから目を閉じ始めてから目を開くまでの時間を示す閉眼時間を計測する。実施例の眼電位のピークにおける高さが「瞬目の目を閉じ始める前の画像の目の開きの大きさを示す開眼度」に対応し、実施例の眼電位のピークにおける幅が「目を閉じ始めてから開き終わるまでの時間を示す閉眼時間」に対応する。そして、分布算出部３１４は、瞬目の目を閉じ始める前の画像の目の開きの大きさを示す開眼度と、目を閉じ始めてから開き終わるまでの時間を示す閉眼時間とを軸とするヒストグラムを眼電位分布と同様に算出する。その後の分布算出部３１４と覚醒度算出部３１６の処理は、眼電位分布の場合と同様の処理である。
　なお、実施例において、アイウエア３０に搭載された６軸センサ２０６からのセンサ信号を用いて説明したが、情報処理装置１０に搭載された６軸センサ１１１からのセンサ信号を用いても、実施例において説明したアプリケーションを実行することが可能である。すなわち、６軸センサは頭部だけではなく、人体のいずれかの位置に装着されていればよい。
　また、実施例において、生体情報として、瞬目や視線移動、体動を用いて説明したが、これら以外にも、心拍、脈拍等の生体情報を用いてもよい。　また、実施例において、運転中のユーザを例に用いて説明したが、これに限定されず、日常生活（休日、仕事中）のユーザであってもよい。
　また、実施例において、分布算出部３１４と覚醒度算出部３１６とを情報処理装置１０が備える構成について説明したが、これに限定されず、サーバ４０が備える構成でもよい。
　また、実施例において、眼電位の測定点それぞれについて、射影軸との距離Ｌのヒストグラムにより、眼電位分布を算出したが、これに限定されない。眼電位の測定点を射影軸と平行にＸ軸又はＹ軸に射影し、射影軸とＸ軸又はＹ軸との交点との距離のヒストグラムにより、眼電位分布を算出してもよい。
　以上、本発明について実施例を用いて説明したが、本発明の技術的範囲は上記実施例に記載の範囲には限定されない。上記実施例に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
１０　情報処理装置
２０　処理装置
３０　アイウエア
４０　サーバ
３０２　記憶部
３０４　通信部
３０６　制御部
３１２　取得部
３１４　分布算出部
３１６　覚醒度算出部

Claims (8)

  1. 　コンピュータが実行する情報処理方法であって、
    　ユーザが装着する処理装置からユーザの眼電位に関する第１生体情報を取得することと、
    　眼電位のピークにおける高さと幅とを軸とする座標空間において、等覚醒度線と平行な射影軸と、前記第１生体情報をプロットした点との距離に基づいて、前記ユーザの覚醒度合を算出することと、
    を実行する情報処理方法。
  2. 　前記等覚醒度線は、前記座標空間において、同一の覚醒度合のユーザから取得した眼電位に関する第２生体情報をプロットした点に基づいて定められた直線である、
    請求項１に記載の情報処理方法。
  3. 　前記情報処理方法は、さらに、
    　判定基準期間において取得した前記ユーザの眼電位に関する第３生体情報と前記射影軸との間の距離に関するヒストグラムを算出すること、
    を実行し、
    　前記覚醒度合を算出することは、
    　前記ヒストグラム、及び前記射影軸と前記第１生体情報をプロットした点との間の距離に基づいて、前記覚醒度合を算出すること、
    を含む請求項１または２に記載の情報処理方法。
  4. 　ユーザが装着する処理装置からユーザの眼電位に関する第１生体情報を取得する取得部と、
    　眼電位のピークにおける高さと幅とを軸とする座標空間において、等覚醒度線と平行な射影軸と、前記第１生体情報をプロットした点との距離に基づいて、前記ユーザの覚醒度合を算出する覚醒度算出部と、
    を備える情報処理装置。
  5. 　コンピュータに、
    　ユーザが装着する処理装置からユーザの眼電位に関する第１生体情報を取得することと、
    　眼電位のピークにおける高さと幅とを軸とする座標空間において、等覚醒度線と平行な射影軸と、前記第１生体情報をプロットした点との距離に基づいて、前記ユーザの覚醒度合を算出することと、
    を実行させるプログラム。
  6. 　コンピュータが実行する情報処理方法であって、
    　ユーザを撮影する撮影装置からユーザの瞬目の画像に関する第２生体情報を取得することと、
    　前記瞬目の目を閉じ始める前の画像の目の開きの大きさを示す開眼度と、目を閉じ始めてから開き終わるまでの時間を示す閉眼時間とを軸とする座標空間において、等覚醒度線と平行な射影軸と、前記第２生体情報をプロットした点との距離に基づいて、前記ユーザの覚醒度合を算出することと、
    を実行する情報処理方法。
  7. 　ユーザを撮影する撮影装置からユーザの瞬目に関する第２生体情報を取得する取得部と、
    　前記瞬目の目を閉じ始める前の画像の目の開きの大きさを示す開眼度と、目を閉じ始めてから開き終わるまでの時間を示す閉眼時間とを軸とする座標空間において、等覚醒度線と平行な射影軸と、前記第２生体情報をプロットした点との距離に基づいて、前記ユーザの覚醒度合を算出する覚醒度算出部と、
    を備える情報処理装置。
  8. 　コンピュータに、
    　ユーザを撮影する撮影装置からユーザの瞬目に関する第２生体情報を取得することと、　前記瞬目の目を閉じ始める前の画像の目の開きの大きさを示す開眼度と、目を閉じ始めてから開き終わるまでの時間を示す閉眼時間とを軸とする座標空間において、等覚醒度線と平行な射影軸と、前記第２生体情報をプロットした点との距離に基づいて、前記ユーザの覚醒度合を算出することと、
    を実行させるプログラム。
PCT/JP2018/002929 2017-02-22 2018-01-30 情報処理方法、情報処理装置及びプログラム WO2018155098A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201880013229.5A CN110366388B (zh) 2017-02-22 2018-01-30 信息处理方法、信息处理装置以及计算机可读存储介质
EP18757540.2A EP3586733B1 (en) 2017-02-22 2018-01-30 Information processing method, information processing device, and program
US16/487,575 US11006873B2 (en) 2017-02-22 2018-01-30 Calculating a score of a degree of arousal of a user

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017031288A JP6535694B2 (ja) 2017-02-22 2017-02-22 情報処理方法、情報処理装置及びプログラム
JP2017-031288 2017-02-22

Publications (1)

Publication Number Publication Date
WO2018155098A1 true WO2018155098A1 (ja) 2018-08-30

Family

ID=63252568

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/002929 WO2018155098A1 (ja) 2017-02-22 2018-01-30 情報処理方法、情報処理装置及びプログラム

Country Status (5)

Country Link
US (1) US11006873B2 (ja)
EP (1) EP3586733B1 (ja)
JP (1) JP6535694B2 (ja)
CN (1) CN110366388B (ja)
WO (1) WO2018155098A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021090518A (ja) * 2019-12-09 2021-06-17 株式会社辰巳菱機 通報装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11826147B2 (en) 2019-02-04 2023-11-28 Nec Corporation Arousal level control apparatus, arousal level control method, and recording medium
CN113543831A (zh) 2019-02-04 2021-10-22 日本电气株式会社 觉醒水平控制设备、觉醒水平控制方法和记录介质
JP6957695B1 (ja) * 2020-07-30 2021-11-02 株式会社ジンズホールディングス プログラム、情報処理方法、及び情報処理装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03127760A (ja) 1989-10-12 1991-05-30 Teijin Ltd イソカルバサイクリン類の製造法
JPH07156682A (ja) * 1993-12-03 1995-06-20 Nissan Motor Co Ltd 覚醒状態検出装置
JP2007312824A (ja) * 2006-05-23 2007-12-06 Asahi Kasei Corp まばたきデータ種別装置、覚醒状態判定装置及び覚醒状態判断装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3127760B2 (ja) * 1995-02-20 2001-01-29 株式会社豊田中央研究所 運転者の覚醒度検出装置
US6431705B1 (en) * 1999-11-10 2002-08-13 Infoeye Eyewear heart rate monitor
US8400313B2 (en) 2007-01-19 2013-03-19 Asahi Kasei Kabushiki Kaisha Vehicle driver sleep state classification generating device based on Hidden Markov Model, sleep state classification device and warning device
DE102008007152B4 (de) * 2007-03-30 2019-01-17 Volkswagen Ag Verfahren zur Parametrisierung des Augenöffnungsgrades eines Fahrers eines Kraftfahrzeugs
JP2012508628A (ja) * 2008-11-14 2012-04-12 ニューロヴィジル，インク． 睡眠と覚醒のパターンの識別の方法およびその利用
JP5163440B2 (ja) * 2008-11-19 2013-03-13 株式会社デンソー 眠気判定装置、プログラム
JP5585648B2 (ja) * 2010-03-23 2014-09-10 アイシン精機株式会社 覚醒度判定装置、覚醒度判定方法及びプログラム
FI126095B (fi) * 2011-03-31 2016-06-30 Vivago Oy Järjestely sairauskohtausten ennustamiseksi tai havaitsemiseksi
WO2013140525A1 (ja) * 2012-03-19 2013-09-26 富士通株式会社 覚醒度判定装置、覚醒度判定プログラムおよび覚醒度判定方法
JP5959920B2 (ja) * 2012-04-25 2016-08-02 花王株式会社 目の大きさの印象判定方法及びその装置
JP6200249B2 (ja) * 2013-09-11 2017-09-20 キヤノン株式会社 情報処理装置、情報処理方法
JP5897227B1 (ja) * 2014-06-11 2016-03-30 オリンパス株式会社 医用診断装置、医用診断装置の作動方法および医用診断装置の作動プログラム
CN113509158A (zh) * 2015-07-22 2021-10-19 松下电器（美国）知识产权公司 清醒度预测方法、清醒度预测装置以及控制对象设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03127760A (ja) 1989-10-12 1991-05-30 Teijin Ltd イソカルバサイクリン類の製造法
JPH07156682A (ja) * 1993-12-03 1995-06-20 Nissan Motor Co Ltd 覚醒状態検出装置
JP2007312824A (ja) * 2006-05-23 2007-12-06 Asahi Kasei Corp まばたきデータ種別装置、覚醒状態判定装置及び覚醒状態判断装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3586733A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021090518A (ja) * 2019-12-09 2021-06-17 株式会社辰巳菱機 通報装置
JP7170277B2 (ja) 2019-12-09 2022-11-14 株式会社辰巳菱機 通報装置

Also Published As

Publication number Publication date
US11006873B2 (en) 2021-05-18
CN110366388A (zh) 2019-10-22
EP3586733A4 (en) 2020-12-09
EP3586733B1 (en) 2023-06-28
JP6535694B2 (ja) 2019-06-26
US20190380637A1 (en) 2019-12-19
CN110366388B (zh) 2022-05-17
EP3586733A1 (en) 2020-01-01
JP2018134274A (ja) 2018-08-30

Similar Documents

Publication Publication Date Title
CN110520824B (zh) 多模式眼睛跟踪
WO2018155098A1 (ja) 情報処理方法、情報処理装置及びプログラム
US20160070122A1 (en) Computerized replacement temple for standard eyewear
JP6240345B2 (ja) ヘッド・マウント・ディスプレイ上の情報表示
US11029754B2 (en) Calibration method, portable device, and computer-readable storage medium
JP2015213734A (ja) プログラム、情報処理装置、及びアイウエア
JP2017185076A (ja) 情報処理方法、情報処理装置及びプログラム
TWI582728B (zh) 疲勞警示系統
US11137600B2 (en) Display device, display control method, and display system
JP6932007B2 (ja) 情報処理方法、情報処理装置及びプログラム
JP2015202183A (ja) 検出制御装置、装着具、眼電位情報処理システム、及びプログラム
JPWO2017077601A1 (ja) 情報処理方法、情報処理装置、プログラム及びアイウエア
CN115844427A (zh) 眼睛检测方法和设备
WO2016072395A1 (ja) プログラム、情報処理装置、及びアイウエア
WO2016076268A1 (ja) プログラム、情報処理装置、及びアイウエア
CN109977836B (zh) 一种信息采集方法及终端
JP6594953B2 (ja) 視線移動検出方法、プログラム、情報処理装置及びアイウエア
KR102511785B1 (ko) 졸음 방지 및 집중력 강화를 위한 스마트 안경
WO2017064800A1 (ja) プログラム、情報処理装置、及びアイウエア
JP6538203B2 (ja) 眼電位キャリブレーション装置、眼鏡型電子機器、眼電位キャリブレーション方法およびプログラム
US10444863B2 (en) Virtual reality devices and display picture generation methods

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18757540

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018757540

Country of ref document: EP

Effective date: 20190923