JP6755445B2 - Information processing equipment, information processing method, information processing program - Google Patents
Information processing equipment, information processing method, information processing program Download PDFInfo
- Publication number
- JP6755445B2 JP6755445B2 JP2015188711A JP2015188711A JP6755445B2 JP 6755445 B2 JP6755445 B2 JP 6755445B2 JP 2015188711 A JP2015188711 A JP 2015188711A JP 2015188711 A JP2015188711 A JP 2015188711A JP 6755445 B2 JP6755445 B2 JP 6755445B2
- Authority
- JP
- Japan
- Prior art keywords
- brain activity
- user
- attribute
- predetermined action
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 33
- 238000003672 processing method Methods 0.000 title claims description 7
- 230000007177 brain activity Effects 0.000 claims description 207
- 230000009471 action Effects 0.000 claims description 79
- 238000001514 detection method Methods 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 10
- 230000017531 blood circulation Effects 0.000 claims description 9
- 238000004891 communication Methods 0.000 description 45
- 230000015654 memory Effects 0.000 description 39
- 238000005259 measurement Methods 0.000 description 21
- 230000006399 behavior Effects 0.000 description 20
- 210000003128 head Anatomy 0.000 description 18
- 238000010586 diagram Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 14
- 210000004556 brain Anatomy 0.000 description 11
- 230000008859 change Effects 0.000 description 10
- 201000010099 disease Diseases 0.000 description 10
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 10
- 238000012545 processing Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 230000004382 visual function Effects 0.000 description 7
- 210000003710 cerebral cortex Anatomy 0.000 description 6
- 238000000034 method Methods 0.000 description 6
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 5
- 230000007787 long-term memory Effects 0.000 description 5
- 230000007659 motor function Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000006403 short-term memory Effects 0.000 description 5
- 238000005401 electroluminescence Methods 0.000 description 4
- 102000001554 Hemoglobins Human genes 0.000 description 3
- 108010054147 Hemoglobins Proteins 0.000 description 3
- 238000010521 absorption reaction Methods 0.000 description 3
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical group [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 3
- 230000003727 cerebral blood flow Effects 0.000 description 3
- 229910052760 oxygen Inorganic materials 0.000 description 3
- 239000001301 oxygen Substances 0.000 description 3
- 230000000717 retained effect Effects 0.000 description 3
- 101100264195 Caenorhabditis elegans app-1 gene Proteins 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 230000002490 cerebral effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000002834 transmittance Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 208000023146 Pre-existing disease Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 206010008118 cerebral infarction Diseases 0.000 description 1
- 208000026106 cerebrovascular disease Diseases 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 206010012601 diabetes mellitus Diseases 0.000 description 1
- 230000035622 drinking Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000005316 response function Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
- A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Optics & Photonics (AREA)
- Molecular Biology (AREA)
- Epidemiology (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Business, Economics & Management (AREA)
- Business, Economics & Management (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Heart & Thoracic Surgery (AREA)
- Primary Health Care (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- User Interface Of Digital Computer (AREA)
Description
本発明は、情報処理装置、情報処理方法、情報処理プログラムに関する。 The present invention relates to an information processing device, an information processing method, and an information processing program.
従来から、ヘッドセットと呼ばれる頭部装着装置に、近赤外線照射部と近赤外線検出部を設け、脳表面の血流量の変化を検出し、検出されたデータをデータ処理装置で処理することで、脳の活動状態を示す情報を取得する計測システムが提供されている。 Conventionally, a head-worn device called a headset is provided with a near-infrared irradiation unit and a near-infrared detection unit to detect changes in blood flow on the surface of the brain, and the detected data is processed by the data processing device. A measurement system that acquires information indicating the activity state of the brain is provided.
複数の利用者(被験者)に対して、様々な行動をした際の脳活動状態を計測することが行われている。ある行動をした際の脳活動状態は、当該行動に含まれる様々な性質や利用者の属性等の影響を受けていると考えられる。しかし、脳活動状態を、行動に含まれる様々な性質、利用者の属性等を考慮して解析することは、ほとんど行われていない。脳活動状態を、行動に含まれる性質、利用者の属性等を考慮して解析して、脳活動状態を活用することが求められている。 For a plurality of users (subjects), the state of brain activity when performing various actions is measured. It is considered that the state of brain activity when a certain behavior is performed is influenced by various properties included in the behavior and the attributes of the user. However, the state of brain activity is rarely analyzed in consideration of various properties included in behavior, user attributes, and the like. It is required to analyze the brain activity state in consideration of the properties included in the behavior, the attributes of the user, etc., and utilize the brain activity state.
本発明は、利用者によって測定された脳活動状態を解析する情報処理装置を提供することを目的とする。 An object of the present invention is to provide an information processing device that analyzes a brain activity state measured by a user.
上記課題を解決するために、以下の手段を採用する。
即ち、第1の態様は、
利用者の頭部の血流量を検出した検出値と、前記検出値が検出されるときに前記利用者が行う所定行動の識別子と、前記利用者の識別子とを対応付けて格納する記憶部と、
前記記憶部に格納される前記検出値に基づいて、前記利用者が前記所定行動を行った際の、前記利用者の脳活動の状態の程度を示す脳活動値を算出する算出部と、
を備える情報処理装置である。
The following means are adopted to solve the above problems.
That is, the first aspect is
A storage unit that stores a detection value that detects blood flow in the head of a user, an identifier of a predetermined action that the user performs when the detection value is detected, and an identifier of the user in association with each other. ,
Based on the detected value stored in the storage unit, a calculation unit that calculates a brain activity value indicating the degree of the brain activity state of the user when the user performs the predetermined action, and a calculation unit.
It is an information processing device provided with.
開示の態様は、プログラムが情報処理装置によって実行されることによって実現されてもよい。即ち、開示の構成は、上記した態様における各手段が実行する処理を、情報処理装置に対して実行させるためのプログラム、或いは当該プログラムを記録したコンピュータ読み取り可能な記録媒体として特定することができる。また、開示の構成は、上記した各手段が実行する処理を情報処理装置が実行する方法をもって特定されてもよい。開示の構成は、上記した各手段が実行する処理を行う情報処理装置を含むシステムとして特定されてもよい。 The aspect of disclosure may be realized by executing the program by an information processing device. That is, the structure of the disclosure can be specified as a program for causing the information processing apparatus to execute the process executed by each means in the above-described embodiment, or as a computer-readable recording medium on which the program is recorded. Further, the structure of the disclosure may be specified by a method in which the information processing apparatus executes the processing executed by each of the above means. The configuration of the disclosure may be specified as a system including an information processing device that performs processing executed by each of the above means.
プログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくても、並列的または個別に実行される処理を含む。プログラムを記述するステップの一部が省略されてもよい。 The steps of writing a program include not only processes performed in chronological order in the order described, but also processes executed in parallel or individually, although not necessarily processed in chronological order. Some of the steps to write the program may be omitted.
開示の技術によれば、利用者によって測定された脳活動状態を解析する情報処理装置を
提供することができる。
According to the disclosed technology, it is possible to provide an information processing device that analyzes a brain activity state measured by a user.
以下、図面を参照して実施形態について説明する。実施形態の構成は例示であり、発明の構成は、開示の実施形態の具体的構成に限定されない。発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。 Hereinafter, embodiments will be described with reference to the drawings. The configuration of the embodiment is an example, and the configuration of the invention is not limited to the specific configuration of the disclosed embodiment. In carrying out the invention, a specific configuration according to the embodiment may be appropriately adopted.
〔実施形態〕
(構成例)
図1は、本発明の一実施形態に係る計測システムの情報処理に関与する構成を例示する図である。本計測システムは、利用者の頭部から血流量の変化を示す計測データ(検出値ともいう)を検出し、利用者の脳の活動状態を示す脳活動情報(脳活動波形)を取得する。また、本計測システムは、取得した脳活動情報から脳活動の属性の基本波形を算出する。
[Embodiment]
(Configuration example)
FIG. 1 is a diagram illustrating a configuration involved in information processing of the measurement system according to the embodiment of the present invention. This measurement system detects measurement data (also called a detection value) indicating a change in blood flow from the user's head, and acquires brain activity information (brain activity waveform) indicating the activity state of the user's brain. In addition, this measurement system calculates the basic waveform of the attributes of brain activity from the acquired brain activity information.
図1のように、本計測システムは、頭部装着装置10−1、10−2、10−3と利用者端末20−1、20−2、20−3と、サーバ30を有する。ここで、頭部装着装置10−1、10−2、10−3を総称する場合には、頭部装着装置10という。また、利用者端末20−1、20−2、20−3を総称する場合には、利用者端末20という。頭部装着装置10、利用者端末20の数は、それぞれ、3台に限定されるものではない。 As shown in FIG. 1, the measurement system includes head-mounted devices 10-1, 10-2, 10-3, user terminals 20-1, 20-2, 20-3, and a server 30. Here, when the head mounting devices 10-1, 10-2, and 10-3 are generically referred to, they are referred to as the head mounting device 10. Further, when the user terminals 20-1, 20-2, and 20-3 are generically referred to, they are referred to as the user terminal 20. The number of the head-mounted device 10 and the user terminal 20 is not limited to three, respectively.
図2は、頭部装着装置の構成例を示す図である。頭部装着装置10は、情報処理の側面としては、制御部11と、無線通信部13と、一対のセンサ115、125とを有する。制御部11は、頭部装着装置10の計測と通信を制御する。制御部11は、例えば、CPU(Central Processing Unit)、あるいはDSP(Digital Signal Processor)等のプロ
セッサとメモリとを有し、メモリ上に実行可能に展開されたコンピュータプログラム、ファームウェア等により処理を実行する。ただし、制御部11は、無線通信部13とセンサ115、125を起動し、各構成要素との連携処理を実行する専用のハードウェア回路、FPGA(Field Programmable Gate Array)等であってもよい。また、制御部11は、
CPU、DSP、専用のハードウェア回路等が混在したものであってもよい。
FIG. 2 is a diagram showing a configuration example of a head-mounted device. The head-mounted device 10 has a control unit 11, a wireless communication unit 13, and a pair of sensors 115 and 125 as aspects of information processing. The control unit 11 controls the measurement and communication of the head-mounted device 10. The control unit 11 has, for example, a processor such as a CPU (Central Processing Unit) or a DSP (Digital Signal Processor) and a memory, and executes processing by a computer program, firmware, or the like executably deployed on the memory. .. However, the control unit 11 may be an FPGA (Field Programmable Gate Array) or the like, which is a dedicated hardware circuit that activates the wireless communication unit 13 and the sensors 115 and 125 and executes the cooperation processing with each component. In addition, the control unit 11
A CPU, DSP, dedicated hardware circuit, and the like may be mixed.
頭部装着装置10は、鉢巻き状に利用者の頭部に巻きつけて装着され、固定用部材を締めつけることによって利用者の頭部に固定される構造を有する。 The head mounting device 10 has a structure in which it is wound around the user's head in a head-wound shape and mounted, and is fixed to the user's head by tightening a fixing member.
無線通信部13は、所定のインターフェースによって、制御部11およびセンサ115、125と接続される。ただし、無線通信部13は、制御部11を介して、センサ115、125からデータを取得する構成であってもよい。無線通信部13は、ネットワークN1を介して、利用者端末20と通信する。ネットワークN1は、例えば、Bluetooth(登
録商標)、無線LAN(Local Area Network)、ZigBee等の規格にしたがったネットワークワークである。無線通信部13が転送手段の一例である。ただし、本計測システムにお
いて、無線通信部13の無線インターフェースの規格に限定がある訳ではない。
The wireless communication unit 13 is connected to the control unit 11 and the sensors 115 and 125 by a predetermined interface. However, the wireless communication unit 13 may be configured to acquire data from the sensors 115 and 125 via the control unit 11. The wireless communication unit 13 communicates with the user terminal 20 via the network N1. The network N1 is, for example, a network work according to standards such as Bluetooth (registered trademark), wireless LAN (Local Area Network), and ZigBee. The wireless communication unit 13 is an example of the transfer means. However, in this measurement system, the standard of the wireless interface of the wireless communication unit 13 is not limited.
ネットワークN1での通信時、通信ヘッダのヘッダ部分、あるいは、通信データ中の利用者データ部分(ペイロード部分)に、頭部装着装置10を識別する識別子を埋め込んで、利用者端末20が利用者(被験者)を識別できるようにする。 When communicating on the network N1, the user terminal 20 embeds an identifier that identifies the head-mounted device 10 in the header part of the communication header or the user data part (payload part) in the communication data, and the user terminal 20 ( To be able to identify the subject).
また、本計測システムにおいて、無線通信部13に代えて、あるいは、無線通信部13とともに有線で通信を行う通信部を設けてもよい。すなわち、頭部装着装置10と利用者端末20とが有線通信のインターフェースで接続されてもよい。この場合の有線通信のインターフェースに限定がある訳ではなく、計測システムの用途に応じてUSB(Universal Serial Bus)、PCI Express等の各種インターフェースを使用できる。 Further, in this measurement system, a communication unit that performs wired communication with the wireless communication unit 13 may be provided instead of the wireless communication unit 13. That is, the head-mounted device 10 and the user terminal 20 may be connected by a wired communication interface. The interface for wired communication in this case is not limited, and various interfaces such as USB (Universal Serial Bus) and PCI Express can be used depending on the application of the measurement system.
センサ115、125は、いずれも近赤外線を頭部に照射し、脳の大脳皮質付近で一部吸収されて散乱された近赤外線を受光し、電気信号に変換する。脳の大脳皮質は、例えば、脳の活動状態に応じて、血流量が異なる。その結果、大脳皮質の各部において、血液中の酸素と結合したヘモグロビンの量と、酸素と結合していないヘモグロビンの量が変化する。ヘモグロビンの量の変化、酸素量の変化等に起因して、大脳皮質付近での近赤外線の吸収特性、あるいは、散乱特性が変化する。センサ115、125は、このような大脳皮質付近の血流の状態に応じた近赤外線吸収率の変化あるいは透過率の変化により光量が変化する近赤外線を電気信号に変換して出力する。センサ115、125が、検出手段の一例である。 Both the sensors 115 and 125 irradiate the head with near-infrared rays, receive the near-infrared rays partially absorbed and scattered near the cerebral cortex of the brain, and convert them into electrical signals. The cerebral cortex of the brain has different blood flow, for example, depending on the activity state of the brain. As a result, in each part of the cerebral cortex, the amount of hemoglobin bound to oxygen in the blood and the amount of hemoglobin not bound to oxygen change. Due to changes in the amount of hemoglobin, changes in the amount of oxygen, etc., the absorption characteristics or scattering characteristics of near-infrared rays near the cerebral cortex change. The sensors 115 and 125 convert the near-infrared rays whose light intensity changes due to the change in the near-infrared absorption rate or the change in the transmittance according to the state of blood flow near the cerebral cortex into an electric signal and output the signals. Sensors 115 and 125 are examples of detection means.
センサ115、125は、例えば、近赤外線を照射する近赤外線光源と、近赤外線を受光する受光部を含む。近赤外線光源は、例えば、LED(Light Emitting Diodes)、赤
外線ランプ等である。また、受光部は、フォトダイオード、フォトトランジスタ等の光電素子と、増幅器と、AD(Analog Digital)コンバータとを含む。なお、近赤外線光源と受光部とが対にして設けられなくてもよい。例えば、1つの近赤外線光源に対して、複数の受光部を設けてもよい。
The sensors 115 and 125 include, for example, a near-infrared light source that irradiates near-infrared rays and a light receiving unit that receives near-infrared rays. Near-infrared light sources include, for example, LEDs (Light Emitting Diodes), infrared lamps, and the like. Further, the light receiving unit includes a photoelectric element such as a photodiode and a phototransistor, an amplifier, and an AD (Analog Digital) converter. The near-infrared light source and the light receiving unit may not be provided as a pair. For example, a plurality of light receiving units may be provided for one near infrared light source.
図3は、利用者端末の構成例を示す図である。利用者端末20は、頭部装着装置10から、利用者の大脳皮質付近での近赤外線の吸収率または透過率の変化データを取得し、利用者の脳の活動状態に関連する様々な情報処理を含むサービスを提供する。利用者端末20は、情報処理装置(コンピュータ)の一例である。利用者端末20は、PC(Personal
Computer)、スマートフォン、携帯電話、タブレット型端末、カーナビゲーション装置
、PDA(Personal Digital Assistant)のような専用または汎用のコンピュータ、あるいは、コンピュータを搭載した電子機器を使用して実現可能である。利用者端末20は、例えば、フィットネスクラブ、学習塾などに設置され得る。
FIG. 3 is a diagram showing a configuration example of a user terminal. The user terminal 20 acquires change data of the absorption rate or transmittance of near infrared rays in the vicinity of the user's cerebral cortex from the head wearing device 10, and various information processing related to the activity state of the user's brain. Provide services including. The user terminal 20 is an example of an information processing device (computer). The user terminal 20 is a PC (Personal).
It can be realized by using a dedicated or general-purpose computer such as a computer), a smartphone, a mobile phone, a tablet terminal, a car navigation device, a PDA (Personal Digital Assistant), or an electronic device equipped with a computer. The user terminal 20 can be installed in, for example, a fitness club, a cram school, or the like.
利用者端末20は、CPU21と、メモリ22と、無線通信部23と、公衆回線通信部24と、表示部25と、操作部26と、出力部27と、撮像部28と、測位部29と、物理センサ部2Aを有する。CPU21は、メモリ22に実行可能に展開されたコンピュータプログラムにより、利用者端末20としての処理を実行する。利用者端末20としての処理とは、例えば、上記利用者の脳の活動状態に関連する様々な情報処理を含むサービスである。このようなコンピュータプログラムを実行するCPU21が算出手段の一例である。 The user terminal 20 includes a CPU 21, a memory 22, a wireless communication unit 23, a public line communication unit 24, a display unit 25, an operation unit 26, an output unit 27, an imaging unit 28, and a positioning unit 29. , Has a physical sensor unit 2A. The CPU 21 executes the process as the user terminal 20 by the computer program executably expanded in the memory 22. The processing as the user terminal 20 is, for example, a service including various information processing related to the activity state of the user's brain. The CPU 21 that executes such a computer program is an example of the calculation means.
メモリ22は、CPU21で実行されるコンピュータプログラム、あるいは、CPU21が処理するデータを記憶する。メモリ22は、揮発性メモリと不揮発性メモリを含んでよい。 The memory 22 stores a computer program executed by the CPU 21 or data processed by the CPU 21. The memory 22 may include a volatile memory and a non-volatile memory.
無線通信部23は、頭部装着装置10の無線通信部13と同様である。無線通信部23が受信手段の一例である。また、利用者端末20は、無線通信部13に代えて、あるいは、無線通信部13とともに有線で通信を行う通信部を有してもよい。 The wireless communication unit 23 is the same as the wireless communication unit 13 of the head-mounted device 10. The wireless communication unit 23 is an example of the receiving means. Further, the user terminal 20 may have a communication unit that communicates by wire with the wireless communication unit 13 instead of the wireless communication unit 13.
公衆回線通信部24は、ネットワークN2を介して、ネットワークN2上のサーバ、例えば、サーバ30等と通信する。ネットワークN2は、公衆回線網であり、例えば、携帯電話網である。ネットワークN2が携帯電話網である場合には、公衆回線通信部24は、携帯電話網の基地局を介してネットワークN2に接続する。ただし、ネットワークN2は、インターネット接続業者の通信装置へのアクセス網とインターネットを含むネットワークであってもよい。インターネット接続業者の通信装置へのアクセス網は、例えば、通信事業者が提供する光ネットワーク、ADSL(Asymmetric Digital Subscriber Line)等である。ネットワークN2が公衆無線ネットワークの一例である。また、公衆回線通信部24が公衆無線通信手段の一例である。ただし、本計測システムにおいて、ネットワークN2が公衆回線網に限定される訳ではなく、例えば、LAN(Local Area Network)等の構内ネットワーク、企業、事業者、役所、学校、研究機関等の専用回線、VPN(Virtual Private Network)等の広域ネットワークであってもよい。以下、企業、事業者、役所、学
校、研究機関等を企業等ともいう。
The public line communication unit 24 communicates with a server on the network N2, for example, a server 30, etc., via the network N2. The network N2 is a public network, for example, a mobile phone network. When the network N2 is a mobile phone network, the public line communication unit 24 connects to the network N2 via a base station of the mobile phone network. However, the network N2 may be a network including an access network to a communication device of an Internet connection provider and the Internet. The access network to the communication device of the Internet connection company is, for example, an optical network provided by the communication company, ADSL (Asymmetric Digital Subscriber Line), or the like. Network N2 is an example of a public wireless network. Further, the public line communication unit 24 is an example of a public wireless communication means. However, in this measurement system, the network N2 is not limited to the public network, for example, a private network such as LAN (Local Area Network), a dedicated line of a company, a business operator, a government office, a school, a research institution, etc. It may be a wide area network such as VPN (Virtual Private Network). Hereinafter, companies, businesses, government offices, schools, research institutes, etc. are also referred to as companies.
表示部25は、例えば、液晶ディスプレイ、EL(Electro-Luminescence)パネル等であり、CPU21からの出力情報を表示する。操作部26は、例えば、押しボタン、タッチパネル等であり、利用者の操作を受け付ける。出力部27は、例えば、振動を出力するバイブレータ、音響あるいは音声を出力するスピーカ等である。撮像部28は、例えば、固体撮像素子を含むカメラである。固体撮像素子としては、CCD(Charge-coupled device)イメージセンサ、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等を利用できる。 The display unit 25 is, for example, a liquid crystal display, an EL (Electro-Luminescence) panel, or the like, and displays output information from the CPU 21. The operation unit 26 is, for example, a push button, a touch panel, or the like, and accepts user operations. The output unit 27 is, for example, a vibrator that outputs vibration, a speaker that outputs sound or voice, and the like. The image pickup unit 28 is, for example, a camera including a solid-state image sensor. As the solid-state image sensor, a CCD (Charge-coupled device) image sensor, a CMOS (Complementary Metal Oxide Semiconductor) image sensor, or the like can be used.
測位部29は、例えば、GPS(Global Positioning System)受信機であり、GPS
衛星からの電波を受信し、現在位置(緯度、経度等)、時刻等を算出する。ただし、測位部29としては、GPS受信機を有するものに限定される訳ではない。例えば、公衆回線通信部24が携帯電話網である場合には、測位部29は、携帯電話基地局からの距離を基に測位を実行してもよい。
The positioning unit 29 is, for example, a GPS (Global Positioning System) receiver, and is a GPS.
Receives radio waves from satellites and calculates the current position (latitude, longitude, etc.), time, etc. However, the positioning unit 29 is not limited to the one having a GPS receiver. For example, when the public line communication unit 24 is a mobile phone network, the positioning unit 29 may execute positioning based on the distance from the mobile phone base station.
物理センサ部2Aは、例えば、加速度センサ、あるいは角加速度センサ等である。ただし、物理センサ部2Aは、温度センサ、湿度センサ、気圧センサ、または水圧センサであってもよい。 The physical sensor unit 2A is, for example, an acceleration sensor, an angular acceleration sensor, or the like. However, the physical sensor unit 2A may be a temperature sensor, a humidity sensor, a barometric pressure sensor, or a water pressure sensor.
図4は、サーバの構成例を示す図である。サーバ30は、ネットワークN2に接続される。サーバ30は、一般的な情報処理装置である。情報処理装置は、演算及び制御を行うCPU、演算等で使用されるデータ等を格納するメモリ及び記憶部、利用者等からの情報の入力を受け付ける入力部、画像や音声等により情報を出力する出力部、他の装置等と情報の送受信を行う通信部等を有する。サーバ30は、PC、ワークステーション(WS、Work Station)のような専用または汎用のコンピュータ、あるいは、コンピュータを搭載した電子機器を使用して実現可能である。 FIG. 4 is a diagram showing a configuration example of the server. The server 30 is connected to the network N2. The server 30 is a general information processing device. The information processing device outputs information by a CPU that performs calculations and controls, a memory and a storage unit that stores data used in calculations, an input unit that accepts information input from users, etc., an image, a voice, and the like. It has an output unit, a communication unit that transmits and receives information to and from other devices, and the like. The server 30 can be realized by using a dedicated or general-purpose computer such as a PC or a workstation (WS, Work Station), or an electronic device equipped with the computer.
サーバ30は、CPU31と、メモリ32と、公衆回線通信部34と、表示部35と、操作部36と、出力部37を有する。CPU31は、メモリ32に実行可能に展開されたコンピュータプログラムにより、サーバ30としての処理を実行する。サーバ30としての処理とは、例えば、上記脳の活動状態に関連する様々な情報処理を含むサービスである。このようなコンピュータプログラムを実行するCPU31が算出手段の一例である。 The server 30 includes a CPU 31, a memory 32, a public line communication unit 34, a display unit 35, an operation unit 36, and an output unit 37. The CPU 31 executes the process as the server 30 by the computer program executably expanded in the memory 32. The processing as the server 30 is, for example, a service including various information processing related to the activity state of the brain. The CPU 31 that executes such a computer program is an example of the calculation means.
メモリ32は、CPU31で実行されるコンピュータプログラム、あるいは、CPU31が処理するデータを記憶する。メモリ32は、揮発性メモリと不揮発性メモリを含んでよい。また、メモリ32には、利用者の個人情報を含む個人情報テーブルT20が格納される。 The memory 32 stores a computer program executed by the CPU 31 or data processed by the CPU 31. The memory 32 may include a volatile memory and a non-volatile memory. Further, the memory 32 stores a personal information table T20 including personal information of the user.
図5は、個人情報テーブルの例を示す図である。図5の個人情報テーブルT20には、利用者の識別子(ID)、氏名、住所、生年月日、身長、体重、性別、疾患(脳梗塞、糖尿病等)、既往症等の個人情報が、利用者毎に対応付けられて、格納される。 FIG. 5 is a diagram showing an example of a personal information table. In the personal information table T20 of FIG. 5, personal information such as a user's identifier (ID), name, address, date of birth, height, weight, gender, disease (cerebral infarction, diabetes, etc.), pre-existing disease, etc. is stored in the user. It is associated and stored for each.
公衆回線通信部34は、ネットワークN2を介して、ネットワークN2上の装置、例えば、利用者端末20等と通信する。ネットワークN2は、公衆回線網であり、例えば、携帯電話網である。また、公衆回線通信部34が公衆無線通信手段の一例である。 The public line communication unit 34 communicates with a device on the network N2, for example, a user terminal 20, etc., via the network N2. The network N2 is a public network, for example, a mobile phone network. Further, the public line communication unit 34 is an example of a public wireless communication means.
表示部35は、例えば、液晶ディスプレイ、EL(Electro-Luminescence)パネル等であり、CPU31からの出力情報を表示する。操作部36は、例えば、押しボタン、タッチパネル等であり、利用者の操作を受け付ける。出力部37は、例えば、振動を出力するバイブレータ、音響あるいは音声を出力するスピーカ等である。 The display unit 35 is, for example, a liquid crystal display, an EL (Electro-Luminescence) panel, or the like, and displays output information from the CPU 31. The operation unit 36 is, for example, a push button, a touch panel, or the like, and accepts user operations. The output unit 37 is, for example, a vibrator that outputs vibration, a speaker that outputs sound or voice, and the like.
〈動作例〉
本実施形態の計測システムの動作例について説明する。
図6は、本実施形態の計測システムの動作フローの例を示す図である。本実施形態の計測システムの頭部装着装置10は、それぞれ、利用者(被験者)の頭部に装着されており、脳活動状態(脳血流量)を測定できる状態である。頭部装着装置10は、それぞれ、利用者端末20に接続されている。頭部装着装置10のキャリブレーション等は既に行われているとする。利用者端末20は、サーバ30に接続されている。
<Operation example>
An operation example of the measurement system of this embodiment will be described.
FIG. 6 is a diagram showing an example of an operation flow of the measurement system of the present embodiment. Each of the head-mounted devices 10 of the measurement system of the present embodiment is worn on the head of the user (subject), and is in a state where the cerebral activity state (cerebral blood flow rate) can be measured. Each of the head-mounted devices 10 is connected to the user terminal 20. It is assumed that the head mounting device 10 has already been calibrated. The user terminal 20 is connected to the server 30.
S101では、利用者端末20は、頭部装着装置10を装着した利用者に所定行動を行わせる。所定行動とは、例えば、動画視聴、ゲームのプレイ、音楽鑑賞、運動、飲食、試験、瞑想、睡眠、ヨガ、アプリケーションのプレイなどである。所定行動は、特定のアプリケーションにおける特定の行動であってもよい。アプリケーションには、例えば、脳トレーニングアプリケーションが含まれる。各所定行動には、それぞれ、あらかじめ、固有の識別子が割り当てられている。また、各利用者には、あらかじめ、固有の識別子が割り当てられている。例えば、利用者端末20は、動画視聴を行わせる際には、表示部25に動画を表示させ、出力部27に動画に伴う音声を出力させて、利用者に動画を視聴させる。また、利用者端末20は、ゲームのプレイを行わせる際には、表示部25及び出力部27にゲーム用の画像や音声を出力させ、操作部26により利用者にゲームを操作させることにより、ゲームのプレイを行わせる。また、利用者端末20は、所定行動としての所定の運動の開始の合図及び終了の合図を、画像や音声により表示部25や出力部27を通じて出力する。利用者端末20は、所定行動としての所定の運動の開始の合図及び終了の合図の操作の入力を、入力部26を通じて、受け付けてもよい。 In S101, the user terminal 20 causes the user wearing the head wearing device 10 to perform a predetermined action. Predetermined actions include, for example, watching videos, playing games, listening to music, exercising, eating and drinking, testing, meditation, sleeping, yoga, playing applications, and the like. The predetermined action may be a specific action in a specific application. Applications include, for example, brain training applications. A unique identifier is assigned to each predetermined action in advance. In addition, each user is assigned a unique identifier in advance. For example, when viewing a moving image, the user terminal 20 causes the display unit 25 to display the moving image, causes the output unit 27 to output audio accompanying the moving image, and causes the user to watch the moving image. Further, when the user terminal 20 is allowed to play a game, the display unit 25 and the output unit 27 are made to output an image or sound for the game, and the operation unit 26 is made to operate the game by the user. Let them play the game. Further, the user terminal 20 outputs a signal for starting and a signal for ending a predetermined exercise as a predetermined action through the display unit 25 and the output unit 27 by images and sounds. The user terminal 20 may accept the input of the operation of the start signal and the end signal of the predetermined exercise as the predetermined action through the input unit 26.
利用者に所定行動を行わせている際、利用者端末20は、頭部装着装置10に利用者の脳活動状態を測定させる。脳活動状態は、所定のサンプリング周波数で測定される。各頭部装着装置10は、センサ115及び125により利用者の脳活動状態を測定し、無線通信部13を介して、当該脳活動状態を示す検出値を利用者端末20に送信する。利用者端末20は、無線通信部23を介して頭部装着装置10から脳活動状態を示す検出値(脳活動波形)を受信すると、メモリ22等の記憶手段に格納する。ここで、検出値は、測定された値そのものでもよいし、測定された値を利用者端末20に送信しやすいように処理した情報でもよいし、又は一定期間に測定された値をまとめた情報などでもよい。検出値は、頭部装着装置10が頭部の血流変化を測定した値に基づいた値であればよい。脳活動状
態を示す検出値は、時系列データとして、時刻情報、所定行動の識別子、利用者の識別子と共に格納される。利用者端末20は、常時、測定結果としての脳活動状態を示す検出値を取得し、所定行動を行わせている間の脳活動状態を示す検出値を抽出してもよい。検出値(脳活動波形)は、例えば、脳血流量の時間変化、脳血流量の時間微分である。
When the user is made to perform a predetermined action, the user terminal 20 causes the head wearing device 10 to measure the brain activity state of the user. Brain activity is measured at a predetermined sampling frequency. Each head-mounted device 10 measures the brain activity state of the user by the sensors 115 and 125, and transmits the detection value indicating the brain activity state to the user terminal 20 via the wireless communication unit 13. When the user terminal 20 receives the detected value (brain activity waveform) indicating the brain activity state from the head wearing device 10 via the wireless communication unit 23, the user terminal 20 stores it in a storage means such as a memory 22. Here, the detected value may be the measured value itself, information processed so that the measured value can be easily transmitted to the user terminal 20, or information summarizing the values measured in a certain period of time. And so on. The detected value may be a value based on the value measured by the head wearing device 10 for the change in blood flow in the head. The detected value indicating the brain activity state is stored as time-series data together with time information, a predetermined action identifier, and a user identifier. The user terminal 20 may constantly acquire a detection value indicating a brain activity state as a measurement result, and extract a detection value indicating a brain activity state while performing a predetermined action. The detected value (cerebral activity waveform) is, for example, a time change of cerebral blood flow and a time derivative of cerebral blood flow.
S102では、利用者端末20は、記憶手段に格納される脳活動状態を示す検出値(脳活動波形)を、所定行動の識別子、利用者の識別子、時刻情報とともに、公衆回線通信部24を介して、サーバ30に送信する。サーバ30は、各利用者端末20から、脳活動状態を示す検出値、所定行動の識別子、利用者の識別子、時刻情報を、公衆回線通信部34を介して、受信する。サーバ30は、メモリ32に、受信した脳活動波形を、所定行動の識別子(ID)、利用者の識別子(ID)、時刻情報に対応づけて、格納する。サーバ30のメモリ32には、様々な利用者の、様々な所定行動(行動)を行った際の、脳活動波形が、蓄積される。サーバ30は、脳活動波形の時系列データと、所定行動の識別子と、当該所定行動の開始時刻と、当該所定行動の終了時刻と、当該所定行動を行った利用者の識別子とを対応付けて、メモリ32に格納してもよい。サーバ30のメモリ32には、特定の利用者が特定の所定行動を行った際の脳活動波形を抽出できるように、脳活動波形等が格納されていればよい。 In S102, the user terminal 20 transmits a detection value (brain activity waveform) indicating a brain activity state stored in the storage means, together with a predetermined action identifier, a user identifier, and time information, via the public line communication unit 24. And sends it to the server 30. The server 30 receives from each user terminal 20 a detection value indicating a brain activity state, a predetermined action identifier, a user identifier, and time information via the public line communication unit 34. The server 30 stores the received brain activity waveform in the memory 32 in association with a predetermined action identifier (ID), a user identifier (ID), and time information. In the memory 32 of the server 30, brain activity waveforms when various predetermined actions (behaviors) of various users are performed are accumulated. The server 30 associates the time-series data of the brain activity waveform, the identifier of the predetermined action, the start time of the predetermined action, the end time of the predetermined action, and the identifier of the user who performed the predetermined action. , May be stored in the memory 32. The memory 32 of the server 30 may store a brain activity waveform or the like so that a brain activity waveform when a specific user performs a specific predetermined action can be extracted.
ここでは、脳活動は、視覚機能、聴覚機能、運動機能、短期記憶、長期記憶の属性(マーカー属性)を含むとする。脳活動の属性とは、脳活動に備わっている固有の性質、特性、特徴等である。脳活動の属性(脳活動属性)は、主に、身体の機能に対応する属性である。視覚機能は、目から視覚情報を取得する機能である。聴覚機能は、耳から音響情報を取得する機能である。運動機能は、手や足等を動作させる機能である。短期記憶は、記憶の対象の提示後、数秒から数十秒程度の期間、保持される記憶である。長期記憶は、記憶の対象の提示後、短期記憶が保持される期間よりも長い期間、保持される記憶である。脳活動の属性の種類は、これらに限定されるものではなく、脳活動には、さらに多くの種類の属性が含まれ得る。 Here, it is assumed that brain activity includes attributes (marker attributes) of visual function, auditory function, motor function, short-term memory, and long-term memory. The attributes of brain activity are the unique properties, characteristics, characteristics, etc. of brain activity. The attributes of brain activity (brain activity attributes) are mainly attributes corresponding to the functions of the body. The visual function is a function of acquiring visual information from the eyes. The auditory function is a function of acquiring acoustic information from the ear. The motor function is a function of moving a hand, a foot, or the like. Short-term memory is memory that is retained for a period of several seconds to several tens of seconds after the presentation of the object of memory. Long-term memory is memory that is retained for a longer period of time than short-term memory is retained after the presentation of the object of memory. The types of attributes of brain activity are not limited to these, and brain activity may include many more types of attributes.
また、脳活動の各属性は、固有の脳活動波形(基本波形)を有しているとする。即ち、例えば、利用者の目から視覚情報が取得されたとき(視覚機能が使用されたとき)、脳活動波形には、視覚機能に固有の脳活動波形が含まれるとする。ただし、脳活動の各属性の基本波形は、数学的に厳密な独立性を必須とするものではない。頭部装着装置10によって測定される脳活動波形は、脳活動の各属性の基本波形の和であるとする。脳活動波形に含まれる脳活動の基本波形の大きさは、脳活動の各属性が使用された程度に応じた大きさにに依存する。 Further, it is assumed that each attribute of brain activity has a unique brain activity waveform (basic waveform). That is, for example, when visual information is acquired from the eyes of the user (when the visual function is used), the brain activity waveform includes a brain activity waveform peculiar to the visual function. However, the basic waveform of each attribute of brain activity does not require mathematically strict independence. It is assumed that the brain activity waveform measured by the head-mounted device 10 is the sum of the basic waveforms of each attribute of the brain activity. The size of the basic waveform of brain activity included in the brain activity waveform depends on the size of each attribute of brain activity according to the degree of use.
サーバ30は、各所定行動に対して、利用者が所定行動を行った場合に想定される脳活動波形を、あらかじめ、設定している。定められる脳活動波形は、脳活動の各属性の固有の脳活動波形の和として表される。ある1つの所定行動(app1)に定められる脳活動波形Sapp1(ある1つの所定行動を行った際の脳活動波形)は、例えば、次のように表される。
ここで、Xaは脳活動の属性の1つである視覚機能の固有の脳活動波形(基本波形)、Xbは聴覚機能の基本波形、Xcは運動機能の基本波形、Xdは短期記憶の基本波形、Xeは長期記憶の基本波形である。また、Ma1は当該所定行動(app1)に対する視覚機能の重み(属性値)、Mb1は当該所定行動に対する聴覚機能の重み、Mc1は当該所
定行動に対する運動機能の重み、Md1は当該所定行動に対する短期記憶の重み、Me1は当該所定行動に対する長期記憶の重みである。所定行動に対する脳活動の属性の重みは、当該属性について期待される脳活動の大きさを示す量である。所定行動に対する脳活動の属性の重みは、所定行動の脳活動状態の傾向を示す。ある所定行動においてある脳活動の属性の重み(属性値)が大きいほど、当該所定行動を行った際に当該脳活動の属性の機能がより活発に機能することを意味する。各属性の重みは、動画の製作者(所定行動が動画で視聴である場合)、ゲームの作成者(所定行動がゲームのプレイである場合)等の所定行動を支援するツール、あるいは、アプリケーションプログラム等の設計者によって、あらかじめ、設定される。これらのツール、アプリケーションプログラム等は、利用者端末20その他の制御機器で提供される。各属性の重みを設定する者は、所定行動の特性に応じて、各属性の重みを設定する。所定行動に対する脳活動の属性の重みは、サーバ30のメモリ32に、重みテーブルT10として、格納されている。
Here, Xa is a brain activity waveform (basic waveform) peculiar to visual function, which is one of the attributes of brain activity, Xb is a basic waveform of auditory function, Xc is a basic waveform of motor function, and Xd is a basic waveform of short-term memory. , Xe is the basic waveform of long-term memory. In addition, Ma1 is the weight of the visual function (attribute value) for the predetermined behavior, Mb1 is the weight of the auditory function for the predetermined behavior, Mc1 is the weight of the motor function for the predetermined behavior, and Md1 is the short-term memory for the predetermined behavior. The weight of, Me1, is the weight of long-term memory for the predetermined action. The weight of the attribute of brain activity with respect to a predetermined behavior is an amount indicating the magnitude of brain activity expected for the attribute. The weight of the attribute of the brain activity with respect to the predetermined behavior indicates the tendency of the brain activity state of the predetermined behavior. The larger the weight (attribute value) of the attribute of a certain brain activity in a certain predetermined action, the more actively the function of the attribute of the brain activity functions when the predetermined action is performed. The weight of each attribute is a tool that supports a predetermined action such as a video creator (when the predetermined action is viewing a video), a game creator (when the predetermined action is a game play), or an application program. Etc. are set in advance by the designer. These tools, application programs, and the like are provided by the user terminal 20 and other control devices. The person who sets the weight of each attribute sets the weight of each attribute according to the characteristics of the predetermined action. The weights of the attributes of the brain activity with respect to the predetermined behavior are stored in the memory 32 of the server 30 as the weight table T10.
図7は、重みテーブルの例を示す図である。図7の重みテーブルT10では、所定行動の名称と所定行動のIDと脳活動の各属性の重み(属性値)とが、対応付けられて格納されている。重みテーブルT10には、複数の所定行動について、ID及び脳活動の属性の重みが含まれる。例えば、所定行動の名称「行動A」では、IDが「001」、視覚機能の重み(属性値)が「3」、聴覚機能の重みが「0」、運動機能の重みが「1」、短期記憶の重みが「2」、長期記憶の重みが「0」として、格納されている。 FIG. 7 is a diagram showing an example of a weight table. In the weight table T10 of FIG. 7, the name of the predetermined action, the ID of the predetermined action, and the weight (attribute value) of each attribute of the brain activity are stored in association with each other. The weight table T10 includes weights of ID and brain activity attributes for a plurality of predetermined actions. For example, in the name of a predetermined action "action A", the ID is "001", the visual function weight (attribute value) is "3", the auditory function weight is "0", the motor function weight is "1", and the short term. The memory weight is stored as "2" and the long-term memory weight is stored as "0".
S103では、サーバ30は、メモリ32に蓄積される様々な利用者の、様々な所定行動を行った際の脳活動波形から、脳活動の属性毎の基本波形を算出する。脳活動の各属性の重みは、所定行動毎に、重みテーブルT10によって与えられる。よって、サーバ30は、メモリ32に蓄積される脳活動波形と、重みテーブルT10の重みとによって、上記の式(1)により、脳活動の属性毎の基本波形(Xa、...、Xe)が算出される。脳活動の属性が5種類である場合、原則として、5つ以上の所定行動の脳活動波形があれば、基本波形を算出することができる。即ち、複数の所定行動の脳活の属性の重みによる行列を対角化することにより、脳活動の属性毎の基本波形(Xa、...、Xe)を算出することができる。より具体的には、例えば、所定行動(app1〜app5)に対する脳活動波形(Sapp1〜Sapp5)があるとき、所定行動(app1〜app5)に対する脳活動の属性の重み(Ma1〜Me1、...、Ma5〜Me5)による行列を用いて、脳活動の属性毎の基本波形(Xa、...、Xe)は、例えば、次のような式で表される。
この式(2)を解くことで、脳活動の属性毎の基本波形(Xa、...、Xe)が求められる。より多くの脳活動波形を用いることにより、より正確な基本波形を算出することができる。サーバ30は、所定行動毎に脳活動波形を平均化してから、基本波形を算出してもよい。サーバ30は、算出した脳活動毎の基本波形(Xa、...、Xe)を、メモリ32に格納する。また、脳活動波形によって計測長さ(時間的長さ)が異なる場合、矩形波でのデコンボリューションから瞬時応答関数を推定することによって、計測長さの差異の影響を取り除くことができる。 By solving this equation (2), the basic waveforms (Xa, ..., Xe) for each attribute of brain activity can be obtained. By using more brain activity waveforms, more accurate basic waveforms can be calculated. The server 30 may calculate the basic waveform after averaging the brain activity waveform for each predetermined action. The server 30 stores the calculated basic waveforms (Xa, ..., Xe) for each brain activity in the memory 32. Further, when the measurement length (temporal length) differs depending on the brain activity waveform, the influence of the difference in the measurement length can be removed by estimating the instantaneous response function from the deconvolution in the square wave.
S104では、サーバ30は、メモリ32に蓄積される様々な利用者の、様々な所定行動を行った際の脳活動波形について、脳活動値を算出する。脳活動値は、脳活動波形の振幅幅(最大値と最小値との差)、脳活動波形の変化量積算値、脳活動波形の変化速度、脳活動波形の繰り返し再現性等によって、算出される。脳活動値は脳活動の度合いを示す値であり、脳活動値が大きいほど、脳が活発に活動していることを示す。サーバ30は、脳活動値を、利用者毎、所定行動毎、日時毎に算出することができる。サーバ30は、算出された脳活動値を、メモリ32に格納する。さらに、サーバ30は、メモリ32に格納された脳活動値を、表示部35及び/又は出力部37の表示手段等により表示(出力)する。利用者は、表示部35及び/又は出力部37の表示手段等に表示される脳活動値を確認して、所定行動による成果などを認識することができる。各利用者は、例えば、過去の脳活動値を参考にして、脳活動を活性化させるべく、それぞれの行動を実施できる。 In S104, the server 30 calculates the brain activity value for the brain activity waveforms of various users stored in the memory 32 when they perform various predetermined actions. The brain activity value is calculated by the amplitude width of the brain activity waveform (difference between the maximum value and the minimum value), the integrated value of the change amount of the brain activity waveform, the change rate of the brain activity waveform, the repetitive reproducibility of the brain activity waveform, and the like. To. The brain activity value is a value indicating the degree of brain activity, and the larger the brain activity value, the more actively the brain is active. The server 30 can calculate the brain activity value for each user, each predetermined action, and each date and time. The server 30 stores the calculated brain activity value in the memory 32. Further, the server 30 displays (outputs) the brain activity value stored in the memory 32 by the display means of the display unit 35 and / or the output unit 37 or the like. The user can confirm the brain activity value displayed on the display means or the like of the display unit 35 and / or the output unit 37, and recognize the result of the predetermined action or the like. Each user can carry out each action in order to activate the brain activity, for example, with reference to the past brain activity value.
また、サーバ30は、脳活動値を、利用者の属性毎に算出してもよい。例えば、サーバ30は、20歳以上の男性が所定行動「行動A」を行った際の脳活動値を算出する際、所定行動「行動A」の脳活動波形を抽出し、当該脳活動波形に対応付けられる利用者の中から、個人情報テーブルT20等を用いて、20歳以上の男性を抽出し、抽出された利用者の脳活動波形を用いて、脳活動値を算出する。これにより、特定の条件における脳活動値や脳活動値の分布を算出することができる。サーバ30は、算出された脳活動値や脳活動値の分布を、メモリ32に格納する。サーバ30は、メモリ32に格納された脳活動値、脳活動値の分布を、表示部35及び/又は出力部37の表示手段等により表示する。表示される脳活動値等を確認した利用者は、例えば、特定の所定行動を行った際の、特定の疾患を有する利用者の脳活動値と、当該疾患を有しない利用者の脳活動値とを比較して統計的に有意な差が生じれば、当該所定行動を行った際の脳活動波形(脳活動値)を用いて、当該疾患を有する者を検出することに利用できる。 Further, the server 30 may calculate the brain activity value for each attribute of the user. For example, when the server 30 calculates the brain activity value when a man aged 20 years or older performs a predetermined action "action A", the server 30 extracts the brain activity waveform of the predetermined action "action A" and uses the brain activity waveform as the brain activity waveform. From the associated users, a male aged 20 years or older is extracted using the personal information table T20 or the like, and the brain activity value is calculated using the extracted brain activity waveform of the user. This makes it possible to calculate the distribution of brain activity values and brain activity values under specific conditions. The server 30 stores the calculated brain activity value and the distribution of the brain activity value in the memory 32. The server 30 displays the brain activity value and the distribution of the brain activity value stored in the memory 32 by the display means of the display unit 35 and / or the output unit 37. The user who confirmed the displayed brain activity value, for example, is the brain activity value of the user who has a specific disease and the brain activity value of the user who does not have the disease when performing a specific predetermined action. If a statistically significant difference occurs in comparison with the above, it can be used to detect a person having the disease by using the brain activity waveform (brain activity value) when the predetermined action is performed.
さらに、サーバ30は、式(1)に基づいて、特定の利用者の特定の所定行動について、脳活動の属性毎の基本波形と、脳活動波形とから、各属性の重みを算出してもよい。このとき、例えば、各属性の基本波形と重みを掛けたものの和が脳活動波形となるように各属性の重みを調節することで、各属性の重みを算出する。サーバ30は、算出された各属性の重みを、メモリ32に格納する。サーバ30は、メモリ32に格納された各属性の重みを、表示部35及び/又は出力部37の表示手段等により表示する。これにより、所定行動に設定された脳活動の属性毎の重みと、ここで算出された重みとを比較することで、どの脳活動の属性の機能がより活発であるかを確認することができる。ここで算出される各属性の重みを、各属性の脳活動値としてもよい。 Further, the server 30 may calculate the weight of each attribute from the basic waveform for each attribute of the brain activity and the brain activity waveform for the specific predetermined behavior of the specific user based on the equation (1). Good. At this time, for example, the weight of each attribute is calculated by adjusting the weight of each attribute so that the sum of the basic waveform of each attribute multiplied by the weight becomes the brain activity waveform. The server 30 stores the calculated weights of each attribute in the memory 32. The server 30 displays the weight of each attribute stored in the memory 32 by the display means of the display unit 35 and / or the output unit 37. Thereby, by comparing the weight for each attribute of the brain activity set in the predetermined behavior with the weight calculated here, it is possible to confirm which brain activity attribute function is more active. .. The weight of each attribute calculated here may be used as the brain activity value of each attribute.
また、特定の疾患を有する利用者(グループA)の特定の脳活動の属性の脳活動値と、当該特定の疾患を有しない利用者(グループB)の特定の脳活動の属性の脳活動値とで統計的に有意な差が生じれば、当該特定の疾患について不明な利用者の当該特定の脳活動の属性の脳活動値を用いて、グループAの脳活動値に近いのかグループBの脳活動値に近いのかを判定することで、当該疾患を有している可能性があるのか否かを判定できる。また、有意な差を生じる脳活動の属性を探索することで、特定の疾患を有する利用者を発見するための脳活動の属性を導き出すことができる。さらに、導き出した脳活動の属性の重みが大きい所定行動を行わせるように設計することで、当該所定行動によって特定の疾患を有する利用者を発見しやすくなる。 In addition, the brain activity value of the specific brain activity attribute of the user (group A) having a specific disease and the brain activity value of the specific brain activity attribute of the user (group B) who does not have the specific disease. If there is a statistically significant difference between the two, is it close to the brain activity value of group A using the brain activity value of the attribute of the specific brain activity of an unknown user for the specific disease? By determining whether or not the value is close to the brain activity value, it is possible to determine whether or not the patient may have the disease. In addition, by searching for the attributes of brain activity that cause a significant difference, it is possible to derive the attributes of brain activity for discovering a user having a specific disease. Furthermore, by designing the user to perform a predetermined action having a large weight of the derived brain activity attribute, it becomes easier to find a user having a specific disease by the predetermined action.
また、サーバ30は、表示部35及び/又は出力部37の表示手段等に、複数の利用者が同一の所定行動を行った際の、他人の脳活動値と、自分の脳活動値との比較を表示してもよい。これにより利用者は、例えば、全体における自身の順位などを、把握することができる。さらに、同一の利用者が同一の所定行動を行った際の、自分の過去の脳活動値と、自分の現在の脳活動値とを比較することで、利用者は、過去の自分と比較した現在の脳
活動の状態を確認することができる。
Further, the server 30 sets the brain activity value of another person and his / her own brain activity value when a plurality of users perform the same predetermined action on the display means of the display unit 35 and / or the output unit 37. A comparison may be displayed. As a result, the user can grasp, for example, his / her own ranking in the whole. Furthermore, by comparing the past brain activity value of oneself with the current brain activity value of oneself when the same user performs the same predetermined action, the user compared with oneself in the past. You can check the current state of brain activity.
サーバ30は、特定の所定行動について設定された脳活動の属性の重み(図7参照)と当該所定行動を行った際の脳活動波形から算出される脳活動の属性の重みとの差が大きい場合、設定された重みを算出される重みに変更してもよい。また、算出される脳活動の属性の重みが、設定された脳活動の属性の重みになるように、所定行動の内容(動画の内容やゲームの内容)が修正されてもよい。これにより、特定の脳活動の属性の脳活動状態を活発にするように所定行動の設計(動画、ゲームの作成等)を行うことができる。 The server 30 has a large difference between the weight of the attribute of the brain activity set for a specific predetermined action (see FIG. 7) and the weight of the attribute of the brain activity calculated from the brain activity waveform when the predetermined action is performed. In that case, the set weight may be changed to the calculated weight. Further, the content of the predetermined action (content of the moving image or content of the game) may be modified so that the calculated weight of the attribute of the brain activity becomes the weight of the set attribute of the brain activity. As a result, it is possible to design a predetermined behavior (creating a moving image, a game, etc.) so as to activate the brain activity state of a specific brain activity attribute.
サーバ30は、所定期間毎などに、脳活動の各属性の基本波形を算出し直してもよい。この場合、サーバ30は、外れ値除去等の統計的手法を用いて、脳活動の各属性の基本波形を算出する。脳活動波形のサンプル数が多くなるほど、脳活動の各属性の基本波形は真値により近づくと考えられる。 The server 30 may recalculate the basic waveform of each attribute of brain activity at predetermined intervals or the like. In this case, the server 30 calculates the basic waveform of each attribute of the brain activity by using a statistical method such as outlier removal. It is considered that as the number of samples of the brain activity waveform increases, the basic waveform of each attribute of the brain activity approaches the true value.
ここでは、脳活動の属性は5種類としているが、脳活動の属性の種類は5種類に限定されるものではなく、脳活動の属性は、さらに追加されてもよい。新たな脳活動の属性が追加される場合、既存の所定行動の設計者は、当該所定行動の内容を反映するように新たな脳活動の属性の重みを設定する。また、新たな脳活動の属性の重みが、既存の脳活動の各属性の重みの関数として表される場合、当該関数を用いて、新たな脳活動の属性の重みが決定される。
上記の実施形態の構成は、可能な限りこれらを組み合わせて実施され得る。
Here, the attributes of brain activity are set to 5 types, but the types of attributes of brain activity are not limited to 5 types, and the attributes of brain activity may be further added. When a new brain activity attribute is added, the designer of the existing predetermined behavior sets the weight of the new predetermined behavior attribute so as to reflect the content of the predetermined behavior. Further, when the weight of the attribute of the new brain activity is expressed as a function of the weight of each attribute of the existing brain activity, the weight of the attribute of the new brain activity is determined by using the function.
The configuration of the above embodiment can be implemented by combining them as much as possible.
(実施形態の作用、効果)
本実施形態の計測システムにおいて、利用者端末20は、利用者に所定行動を行わせている際の脳活動状態を、頭部装着装置10によって測定する。サーバ30は、複数の利用者端末20から送信される脳活動状態を取得する。サーバ30は、測定された複数の脳活動状態に基づいて、脳活動の属性毎の脳活動の基本波形を算出する。また、サーバ30は、所定行動毎、利用者毎、利用者の属性毎、脳活動の属性毎等の脳活動値を算出し、出力する。
(Actions and effects of embodiments)
In the measurement system of the present embodiment, the user terminal 20 measures the brain activity state when the user is made to perform a predetermined action by the head wearing device 10. The server 30 acquires the brain activity state transmitted from the plurality of user terminals 20. The server 30 calculates the basic waveform of the brain activity for each attribute of the brain activity based on the measured plurality of brain activity states. In addition, the server 30 calculates and outputs brain activity values for each predetermined action, each user, each user attribute, each brain activity attribute, and the like.
本実施形態の計測システムによれば、特定の条件(所定行動、利用者、利用者の属性、脳活動の属性、またはこれらの組み合わせ)における脳活動値や脳活動値の分布を算出することができる。脳活動状態の測定を行った利用者は、他人の脳活動値と、自分の脳活動値とを比較することで、全体における自身の順位、所定の条件下における自身の順位などを、把握することができる。 According to the measurement system of the present embodiment, it is possible to calculate the distribution of brain activity values and brain activity values under specific conditions (predetermined behavior, user, user attribute, brain activity attribute, or a combination thereof). it can. The user who measured the brain activity state grasps his / her own ranking as a whole, his / her own ranking under a predetermined condition, etc. by comparing the brain activity value of another person with his / her own brain activity value. be able to.
10 頭部装着装置
11 制御部
13 無線通信部
115 センサ
125 センサ
20 利用者端末
21 CPU
22 メモリ
23 無線通信部
24 公衆回線通信部
25 表示部
26 操作部
27 出力部
28 撮像部
29 測位部
2A 物理センサ部
30 サーバ
31 CPU
32 メモリ
34 公衆回線通信部
35 表示部
36 操作部
37 出力部
10 Head mounting device
11 Control unit
13 Wireless communication unit
115 sensor
125 sensor
20 User terminal
21 CPU
22 memory
23 Wireless communication unit
24 Public line communication department
25 Display
26 Operation unit
27 Output section
28 Imaging unit
29 Positioning unit
2A physical sensor unit
30 servers
31 CPU
32 memory
34 Public Line Communication Department
35 Display
36 Operation unit
37 Output section
Claims (9)
前記記憶部に格納される前記検出値に基づいて、前記利用者が前記所定行動を行った際の、前記利用者の脳活動の状態の程度を示す脳活動値を算出する算出部と、
を備え、
前記脳活動は複数の脳活動属性を有し、
前記記憶部は、前記所定行動毎に、脳活動の状態の傾向を示す、前記脳活動属性毎の重みを前記所定行動の識別子と対応付けて格納し、
前記算出部は、前記記憶部に格納される前記検出値、前記検出値に対応付けられた前記所定行動の前記脳活動属性毎の前記重みに基づいて、前記脳活動属性毎の基本波形を算出し、前記記憶部に前記脳活動属性毎の前記基本波形を格納する、
情報処理装置。 A storage unit that stores a detection value that detects blood flow in the head of a user, an identifier of a predetermined action that the user performs when the detection value is detected, and an identifier of the user in association with each other. ,
Based on the detected value stored in the storage unit, a calculation unit that calculates a brain activity value indicating the degree of the brain activity state of the user when the user performs the predetermined action, and a calculation unit.
Bei to give a,
The brain activity has multiple brain activity attributes and
The storage unit stores the weight for each brain activity attribute, which indicates the tendency of the state of brain activity, in association with the identifier of the predetermined action for each predetermined action.
The calculation unit calculates the basic waveform for each brain activity attribute based on the detection value stored in the storage unit and the weight for each brain activity attribute of the predetermined action associated with the detection value. Then, the basic waveform for each brain activity attribute is stored in the storage unit.
Information processing device.
請求項1に記載の情報処理装置。 The calculation unit calculates the brain activity value for each brain activity attribute based on the detection value stored in the storage unit and the basic waveform for each brain activity attribute.
The information processing device according to claim 1 .
を備える請求項1又は2に記載の情報処理装置。 An output unit that outputs the brain activity value stored in the storage unit,
The information processing apparatus according to claim 1 or 2 .
利用者の頭部の血流量を検出した検出値と、前記検出値が検出されるときに前記利用者が行う所定行動の識別子と、前記利用者の識別子とを対応付けて記憶手段に格納し、
前記記憶手段に格納される前記検出値に基づいて、前記利用者が前記所定行動を行った際の、前記利用者の脳活動の状態の程度を示す脳活動値を算出し、
前記脳活動は複数の脳活動属性を有し、
前記所定行動毎に、脳活動の状態の傾向を示す、前記脳活動属性毎の重みを前記所定行動の識別子と対応付けて前記記憶手段に格納し、
前記記憶手段に格納される前記検出値、前記検出値に対応付けられた前記所定行動の前記脳活動属性毎の前記重みに基づいて、前記脳活動属性毎の基本波形を算出し、前記記憶
手段に前記脳活動属性毎の前記基本波形を格納する、
ことを実行する情報処理方法。 The computer
The detected value obtained by detecting the blood flow rate in the head of the user, the identifier of the predetermined action performed by the user when the detected value is detected, and the identifier of the user are stored in the storage means in association with each other. ,
Based on the detected value stored in the storage means, a brain activity value indicating the degree of the state of the brain activity of the user when the user performs the predetermined action is calculated .
The brain activity has multiple brain activity attributes and
For each predetermined action, the weight for each brain activity attribute, which indicates the tendency of the state of brain activity, is stored in the storage means in association with the identifier of the predetermined action.
The basic waveform for each brain activity attribute is calculated based on the detected value stored in the storage means and the weight for each brain activity attribute of the predetermined action associated with the detected value, and the storage is performed.
The means stores the basic waveform for each brain activity attribute.
Information processing method to do things.
前記記憶手段に格納される前記検出値、前記脳活動属性毎の前記基本波形に基づいて、前記脳活動属性毎の脳活動値を算出する、
ことを実行する請求項4に記載の情報処理方法。 The computer
The brain activity value for each brain activity attribute is calculated based on the detected value stored in the storage means and the basic waveform for each brain activity attribute.
The information processing method according to claim 4 , wherein the information processing method is performed.
前記記憶手段に格納される前記脳活動値を出力する、
ことを実行する請求項4又は5に記載の情報処理方法。 The computer
Outputs the brain activity value stored in the storage means.
The information processing method according to claim 4 or 5 , wherein the information processing method is performed.
利用者の頭部の血流量を検出した検出値と、前記検出値が検出されるときに前記利用者が行う所定行動の識別子と、前記利用者の識別子とを対応付けて記憶手段に格納し、
前記記憶手段に格納される前記検出値に基づいて、前記利用者が前記所定行動を行った際の、前記利用者の脳活動の状態の程度を示す脳活動値を算出し、
前記脳活動は複数の脳活動属性を有し、
前記所定行動毎に、脳活動の状態の傾向を示す、前記脳活動属性毎の重みを前記所定行動の識別子と対応付けて前記記憶手段に格納し、
前記記憶手段に格納される前記検出値、前記検出値に対応付けられた前記所定行動の前記脳活動属性毎の前記重みに基づいて、前記脳活動属性毎の基本波形を算出し、前記記憶手段に前記脳活動属性毎の前記基本波形を格納する、
ことを実行するための情報処理プログラム。 The computer
The detected value obtained by detecting the blood flow rate in the head of the user, the identifier of the predetermined action performed by the user when the detected value is detected, and the identifier of the user are stored in the storage means in association with each other. ,
Based on the detected value stored in the storage means, a brain activity value indicating the degree of the state of the brain activity of the user when the user performs the predetermined action is calculated .
The brain activity has multiple brain activity attributes and
For each predetermined action, the weight for each brain activity attribute, which indicates the tendency of the state of brain activity, is stored in the storage means in association with the identifier of the predetermined action.
The basic waveform for each brain activity attribute is calculated based on the detected value stored in the storage means and the weight for each brain activity attribute of the predetermined action associated with the detected value, and the storage means. Stores the basic waveform for each brain activity attribute in
An information processing program to do that.
前記記憶手段に格納される前記検出値、前記脳活動属性毎の前記基本波形に基づいて、前記脳活動属性毎の脳活動値を算出する、
ことを実行するための請求項7に記載の情報処理プログラム。 The computer
The brain activity value for each brain activity attribute is calculated based on the detected value stored in the storage means and the basic waveform for each brain activity attribute.
The information processing program according to claim 7 for executing the above.
前記記憶手段に格納される前記脳活動値を出力する、
ことを実行するための請求項7又は8に記載の情報処理プログラム。
The computer
Outputs the brain activity value stored in the storage means.
The information processing program according to claim 7 or 8 for executing the above.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015188711A JP6755445B2 (en) | 2015-09-25 | 2015-09-25 | Information processing equipment, information processing method, information processing program |
PCT/JP2016/077999 WO2017051864A1 (en) | 2015-09-25 | 2016-09-23 | Information processing device, information processing method, and information processing program |
TW105131058A TWI710353B (en) | 2015-09-25 | 2016-09-26 | Information processing device, information processing method, information processing program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015188711A JP6755445B2 (en) | 2015-09-25 | 2015-09-25 | Information processing equipment, information processing method, information processing program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017062737A JP2017062737A (en) | 2017-03-30 |
JP6755445B2 true JP6755445B2 (en) | 2020-09-16 |
Family
ID=58386031
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015188711A Active JP6755445B2 (en) | 2015-09-25 | 2015-09-25 | Information processing equipment, information processing method, information processing program |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP6755445B2 (en) |
TW (1) | TWI710353B (en) |
WO (1) | WO2017051864A1 (en) |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5531237B2 (en) * | 2009-02-24 | 2014-06-25 | 本田技研工業株式会社 | Brain information output device, robot, and brain information output method |
-
2015
- 2015-09-25 JP JP2015188711A patent/JP6755445B2/en active Active
-
2016
- 2016-09-23 WO PCT/JP2016/077999 patent/WO2017051864A1/en active Application Filing
- 2016-09-26 TW TW105131058A patent/TWI710353B/en active
Also Published As
Publication number | Publication date |
---|---|
WO2017051864A1 (en) | 2017-03-30 |
JP2017062737A (en) | 2017-03-30 |
TWI710353B (en) | 2020-11-21 |
TW201728304A (en) | 2017-08-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10130287B2 (en) | Hearing test system | |
US11219412B2 (en) | In-ear health monitoring | |
RU2601152C2 (en) | Device, method and computer program to provide information to user | |
JP2024041931A (en) | Brain wave data analysis system, information processing terminal, electronic equipment, and information presentation method for cognition disorder inspection | |
JP2015118185A (en) | Information processing apparatus, information processing method, and program | |
Chen et al. | Evaluating the specifications of built-in accelerometers in smartphones on fall detection performance | |
Allahyari et al. | Validity of the Microsoft Kinect for measurement of neck angle: comparison with electrogoniometry | |
Gawronska et al. | Usefulness of mobile devices in the diagnosis and rehabilitation of patients with dizziness and balance disorders: a state of the art review | |
JP2024096996A (en) | System and method for generating head-related transfer function | |
JP6885568B2 (en) | Selection system, selection method, and selection program | |
US10643636B2 (en) | Information processing apparatus, information processing method, and program | |
JP6755445B2 (en) | Information processing equipment, information processing method, information processing program | |
JP7019139B2 (en) | Information processing equipment, information processing method, information processing program | |
JP6823845B2 (en) | Information processing equipment, information processing method, information processing program | |
JP6721818B2 (en) | Brain activity amount determination device and program by expanding pupil diameter | |
CN112315463B (en) | Infant hearing test method and device and electronic equipment | |
JP6609737B2 (en) | Biological light measurement device, information processing program, and information processing method | |
JP2021194125A (en) | Information processing device, information processing method, and information processing program | |
JP2024043395A (en) | Information processing device, information processing method, and information processing program | |
Portnuff et al. | New measurement techniques for portable listening devices: Technical Report | |
Barralon et al. | Online Physical Activity Monitoring From Head Kinematics | |
JP2020046987A (en) | Brain activity recording system, brain activity recording method, brain activity recording program | |
JP2020042533A (en) | Information processing device, brain function training selection method, and brain function training selection program | |
JP2024043394A (en) | Information processing device, information processing method, and information processing program | |
Peck | Accuracy Testing of iPhone Application for Hearing Screening |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20180720 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20180720 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180921 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191119 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200120 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200512 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200610 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6755445 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |