JP6946734B2 - Behavior prediction method and behavior prediction device - Google Patents
Behavior prediction method and behavior prediction device Download PDFInfo
- Publication number
- JP6946734B2 JP6946734B2 JP2017098268A JP2017098268A JP6946734B2 JP 6946734 B2 JP6946734 B2 JP 6946734B2 JP 2017098268 A JP2017098268 A JP 2017098268A JP 2017098268 A JP2017098268 A JP 2017098268A JP 6946734 B2 JP6946734 B2 JP 6946734B2
- Authority
- JP
- Japan
- Prior art keywords
- electrodes
- electrode
- electrode arrangement
- behavior
- measured
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 94
- 238000002360 preparation method Methods 0.000 claims description 65
- 210000004556 brain Anatomy 0.000 claims description 31
- 241000282414 Homo sapiens Species 0.000 claims description 23
- 230000001936 parietal effect Effects 0.000 claims description 6
- 210000000976 primary motor cortex Anatomy 0.000 claims description 6
- 210000003128 head Anatomy 0.000 description 25
- 230000009471 action Effects 0.000 description 15
- 238000002474 experimental method Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 9
- 238000005259 measurement Methods 0.000 description 7
- 230000006698 induction Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 0 *C1CC=CC1 Chemical compound *C1CC=CC1 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 230000003542 behavioural effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 210000000613 ear canal Anatomy 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 210000003478 temporal lobe Anatomy 0.000 description 2
- XAZKFISIRYLAEE-UHFFFAOYSA-N CC1CC(C)CC1 Chemical compound CC1CC(C)CC1 XAZKFISIRYLAEE-UHFFFAOYSA-N 0.000 description 1
- GDOPTJXRTPNYNR-UHFFFAOYSA-N CC1CCCC1 Chemical compound CC1CCCC1 GDOPTJXRTPNYNR-UHFFFAOYSA-N 0.000 description 1
- DYSRQQFZRGTNNL-UHFFFAOYSA-N CCC1(CC(C)C1)C1=CCCC1C1(C2)[I]2CC1 Chemical compound CCC1(CC(C)C1)C1=CCCC1C1(C2)[I]2CC1 DYSRQQFZRGTNNL-UHFFFAOYSA-N 0.000 description 1
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 241000225674 Procerus Species 0.000 description 1
- 230000007177 brain activity Effects 0.000 description 1
- 210000000133 brain stem Anatomy 0.000 description 1
- 210000003710 cerebral cortex Anatomy 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 210000000624 ear auricle Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000001652 frontal lobe Anatomy 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 210000004761 scalp Anatomy 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 210000000278 spinal cord Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Description
本発明は、行動予測方法及び行動予測装置に関する。 The present invention relates to a behavior prediction method and a behavior prediction device.
従来、脳波を計測する際には、計測プローブ(電極)が設けられたキャップを被ることで頭部に電極を配置して、脳波を計測している(特許文献1参照)。電極の配置方法としては、国際10−20法に準拠して電極を配置することが一般的である。 Conventionally, when measuring an electroencephalogram, an electrode is placed on the head by wearing a cap provided with a measurement probe (electrode) to measure the electroencephalogram (see Patent Document 1). As a method of arranging the electrodes, it is common to arrange the electrodes in accordance with the international 10-20 law.
しかしながら、国際10−20法に準拠した電極配置方法に従って21個の電極を配置する場合、電極の配置数が多く、電極の取付けに時間がかかってしまう。 However, when 21 electrodes are arranged according to the electrode arrangement method based on the international 10-20 law, the number of electrodes arranged is large and it takes time to attach the electrodes.
上記問題点に鑑み、本発明は、脳波を計測する際に頭部に取り付ける電極数を抑制でき、電極を短時間で取り付けることが可能な行動予測方法及び行動予測装置を提供することを目的とする。 In view of the above problems, an object of the present invention is to provide a behavior prediction method and a behavior prediction device capable of suppressing the number of electrodes attached to the head when measuring an electroencephalogram and attaching the electrodes in a short time. do.
本発明の一態様によれば、一次運動野及び補足運動野の頭蓋頭頂面を含む領域に限定して複数の電極を人間の頭部に配置し、複数の電極を用いて人間の脳波を計測し、計測された脳波から運動準備電位を算出して、人間の行動を予測することを特徴とする。 According to one aspect of the present invention, a plurality of electrodes are arranged on the human head only in the region including the cranial parietal surface of the primary motor area and the supplementary motor area, and the human electroencephalogram is measured using the plurality of electrodes. It is characterized in that the motor preparation potential is calculated from the measured brain waves to predict human behavior.
本発明によれば、脳波を計測する際に頭部に取り付ける電極数を抑制でき、電極を短時間で取り付けることが可能な行動予測方法及び行動予測装置を提供することができる。 According to the present invention, it is possible to provide a behavior prediction method and a behavior prediction device capable of suppressing the number of electrodes attached to the head when measuring an electroencephalogram and attaching the electrodes in a short time.
以下において、図面を参照して、本発明の第1及び第2の実施形態を説明する。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を貼付している。なお、各図面は模式的なものであって、現実のものとは異なる場合がある。また、以下に示す本発明の第1及び第2の実施形態は、本発明の技術的思想を具体化するための装置や方法を例示するものであって、本発明の技術的思想は、構成部品の構造、配置等を下記のものに特定するものではない。本発明の技術的思想は、特許請求の範囲に記載された請求項が規定する技術的範囲内において、種々の変更を加えることができる。 Hereinafter, the first and second embodiments of the present invention will be described with reference to the drawings. In the description of the drawings below, the same or similar reference numerals are attached to the same or similar parts. It should be noted that each drawing is a schematic one and may differ from the actual one. Further, the first and second embodiments of the present invention shown below exemplify an apparatus and a method for embodying the technical idea of the present invention, and the technical idea of the present invention comprises a constitution. The structure, arrangement, etc. of parts are not specified as follows. The technical idea of the present invention may be modified in various ways within the technical scope specified by the claims stated in the claims.
(第1の実施形態)
本発明の第1の実施形態に係る行動予測装置として、車両に搭載され、運転者の行動を予測する場合を例示する。第1の実施形態に係る行動予測装置は、図1に示すように、コントローラ(行動予測演算回路)1と、コントローラ1に接続された脳波計2、走行状態センサ群3、周囲状況センサ群4、アクチュエータ群5及び出力装置6とを備える。コントローラ1、脳波計2、走行状態センサ群3、周囲状況センサ群4、アクチュエータ群5及び出力装置6は、有線又は無線でデータや信号、情報を互いに送受信可能である。
(First Embodiment)
As the behavior prediction device according to the first embodiment of the present invention, a case where the behavior prediction device is mounted on a vehicle and predicts the behavior of the driver will be illustrated. As shown in FIG. 1, the behavior prediction device according to the first embodiment includes a controller (behavior prediction calculation circuit) 1, a
コントローラ1は、第1の実施形態に係る行動予測装置が行う動作に必要な処理を、脳波計2から出力される脳波のデータを用いて算術論理演算をし、算術論理演算の結果に応じて制御指令(制御信号)をアクチュエータ群5及び出力装置6に出力する電子制御ユニット(ECU)等の制御回路である。コントローラ1は、例えば、プロセッサ11と、記憶装置12と、入出力インターフェース(図示省略)とを備える。プロセッサ11は、算術論理演算装置(ALU)、制御回路(制御装置)、各種レジスタ等を含む中央演算処理装置(CPU)等に等価なマイクロプロセッサ等の装置である。記憶装置12は、半導体メモリやディスクメディア等からなり、レジスタ、キャッシュメモリ、主記憶装置として使用されるROM及びRAM等の記憶媒体を含んでいてもよい。例えば、記憶装置12に予め記憶された、第1の実施形態に係る行動予測装置の動作に必要な一連の処理を示すプログラム(行動予測プログラム)をプロセッサ11が実行し得る。
The
コントローラ1は、フィールド・プログラマブル・ゲート・アレイ(FPGA)等のプログラマブル・ロジック・デバイス(PLD)等を有していてもよく、汎用の半導体集積回路中にソフトウェアによる処理で等価的に設定される機能的な論理回路等でも構わない。コントローラ1を構成する各部は、単一のハードウェアから構成されてもよく、それぞれ別個のハードウェアから構成されてもよい。
The
脳波計2は、運転者(人間)の脳波(脳活動)を検出し、検出された脳波のデータをコントローラ1に出力する。脳波計2は脳波計測用の電極群(複数の電極)21、電極群21で採集された電位変化である複数の脳波データを増幅する増幅器22、増幅器22から出力された複数の脳波データのそれぞれから所定の通過帯域の周波数成分を抽出するフィルタ23、抽出された脳波データのアナログデータを所定のサンプリング周期でサンプリングしてデジタルデータに変換するA/D変換器24を有する。なお、脳波計2の電極群21以外の機能の一部がコントローラ1に内蔵されていてもよい。
The
脳波計2は、運転者の頭部に取り付けられた複数の電極間に生じる微弱な電位差信号を運転者の脳において生じる電気活動として検出する。例えば、コントローラ1は、脳波計2により検出された各電極の脳波のデータ間の電位差信号を周波数解析することにより、運転者の脳において生じる運動準備電位(MRP)を算出する。運動準備電位は、思考や認知の結果として現れる脳の反応を示す事象関連電位(ERP)の一種であり、自発的に手や脚等を動かそうとする時に発生する電位である。運動準備電位の基礎となる脳波は運転者が実際に行動を開始する前に発生する。このため、運動準備電位は運転者が行動を開始するタイミングよりも2秒程度前から検出され、400ms程度前からより大きく検出される。このため、運動準備電位を算出することにより、運転者が実際に行動を開始する前に運転者の行動(行動意図)を予測することができる。なお、ここでは周波数解析により運動準備電位を算出する場合を例示するが、周波数解析に限らずパターン解析でもよく、信号解析できるものであればよい。
The
図2は、脳波信号における特徴ベクトルの一例を示す図である。ここでは、運転者の行動開始前の脳波のデータからN個の特徴量を抽出し、脳波の特徴ベクトルP=(p1,p2,……,pN)を生成する。特徴量は、例えば一定の等間隔でサンプリングした値等を使用する。図3に示すように、過去の運動準備電位の特徴量を予めデータベース化しておき、特徴空間に配置される領域Dを決定する。領域Dの定義は、例えば複数サンプルがあれば、ベクトル集合{P}の重心点を中心とし、半径を標準偏差σとする円を領域Dとして決定する。そして、運転者からリアルタイムで計測した運動準備電位の特徴ベクトルPが、領域Dに入るか否かを判定する。ここで、特徴ベクトルPが領域Dに入る場合に運動準備電位が発生していると判定し、特徴ベクトルPが領域Dに入っていない場合に運動準備電位が発生していないと判定する。 FIG. 2 is a diagram showing an example of a feature vector in an electroencephalogram signal. Here, N feature quantities are extracted from the electroencephalogram data before the driver's action starts, and the electroencephalogram feature vector P = (p1, p2, ..., PN) is generated. As the feature amount, for example, a value sampled at regular intervals is used. As shown in FIG. 3, the feature amounts of the past exercise preparation potentials are stored in a database in advance, and the region D to be arranged in the feature space is determined. The definition of the region D is, for example, if there are a plurality of samples, a circle centered on the center of gravity of the vector set {P} and having a radius as the standard deviation σ is determined as the region D. Then, it is determined whether or not the feature vector P of the exercise preparation potential measured in real time from the driver enters the region D. Here, it is determined that the exercise preparation potential is generated when the feature vector P enters the region D, and it is determined that the exercise preparation potential is not generated when the feature vector P is not in the region D.
脳波計2の脳波計測用の電極群21は、人間の頭部表面に配置される。例えば、電極キャップやバンド、ネット等に電極群21を取り付けて頭部に装着することにより、電極群21を非侵襲的に取り付けることができる。電極群21の取り付け方法は特に限定されず、例えば導電性ペースト等で電極を固定してもよく、針状の電極を頭皮内に挿入することもできる。
The
従来の脳波計測用の電極配置方法としては、国際10−20法に基づく電極配置方法が一般的である。国際10−20法に基づく電極配置方法は、図4A及び図4Bに示すように、鼻根PAと後頭結節PBの間、左の耳介前点PCと右の耳介前点PDの間を10%、20%、20%、20%、20%、10%に分割し、分割した位置に21個の電極Fp1,Fp2,F7,F3,Fz,F4,F8,A1,T3,C3,Cz,C4,T4,A2,T5,P3,Pz,P4,T6,O1,O2を配置する方法である。 As a conventional electrode placement method for electroencephalogram measurement, an electrode placement method based on the international 10-20 method is common. As shown in FIGS. 4A and 4B, the electrode placement method based on the International 10-20 method is between the nasal root PA and the occipital nodule PB, and between the left auricular anterior point PC and the right auricular anterior point PD. Divided into 10%, 20%, 20%, 20%, 20%, 10%, and 21 electrodes Fp1, Fp2, F7, F3, Fz, F4, F8, A1, T3, C3, Cz at the divided positions. , C4, T4, A2, T5, P3, Pz, P4, T6, O1, O2.
電極Fp1,Fp2が前頭極(解剖学的には前部前頭葉)、電極F3,F4が前頭部(解剖学的には運動野)、電極C3,C4が中心部(解剖学的には中心溝)、電極P3,P4が頭頂部(解剖学的には感覚野)、電極O1,O2が後頭部(解剖学的には視覚野)、電極F7,F8が前側頭部(解剖学的には下部前頭野)電極T3,T4が中側頭部(解剖学的には中側頭葉)、電極T5,T6が後側頭部(解剖学的には後側頭葉)、電極A1,A2が耳朶、電極Fzが正中前頭部、電極Czが正中中心部、電極Pzが正中頭頂部に位置する。 Electrodes Fp1 and Fp2 are frontal poles (anatomically frontal frontal lobe), electrodes F3 and F4 are frontal (anatomically motor field), and electrodes C3 and C4 are central (anatomically central). Grooves), electrodes P3 and P4 on the crown (anatomically sensory area), electrodes O1 and O2 on the back of the head (anatomically visual area), and electrodes F7 and F8 on the anterior temporal region (anatomically) Lower frontal area) Electrodes T3 and T4 are the medial temporal region (anatomically the medial temporal lobe), electrodes T5 and T6 are the posterior temporal region (anatomically posterior temporal lobe), and electrodes A1 and A2. Is located in the ear canal, the electrode Fz is located in the median frontal region, the electrode Cz is located in the median center, and the electrode Pz is located in the median parietal region.
図4A及び図4Bに破線で示すが、電極FC3,FCz,FC4及び電極CP3,CPz,CP4は、国際10−20法を拡張した拡張国際10−20法(10%法)で定義される電極である。電極FC3,FCz,FC4は、電極F3,Fz,F4と電極C3,Cz,C4との間の前頭部及び中心部にそれぞれ位置する。電極CP3,CPz,CP4は、電極C3,Cz,C4と電極P3,Pz,P4との間の中心部及び頭頂部にそれぞれ位置する。 As shown by broken lines in FIGS. 4A and 4B, the electrodes FC3, FCz, FC4 and the electrodes CP3, CPz, CP4 are electrodes defined by the extended international 10-20 method (10% method), which is an extension of the international 10-20 method. Is. The electrodes FC3, FCz and FC4 are located at the frontal region and the central portion between the electrodes F3, Fz and F4 and the electrodes C3, Cz and C4, respectively. The electrodes CP3, CPz and CP4 are located at the central portion and the crown portion between the electrodes C3, Cz and C4 and the electrodes P3, Pz and P4, respectively.
脳波の計測方法としては、単極誘導法、双極誘導法及び平均基準電極法が採用できる。単極誘導法は、耳朶の電極等を基準電極として、この基準電極と頭部表面の電極(探査電極)との間の電位差を測定する方法である。双極誘導法は、頭部表面の各電極の2点の電位差を測定する方法である。平均基準電極法は、すべての電極を結んだ点を基準電極として、この基準電極と頭部表面の電極(探査電極)と間の電位差を測定する方法である。 As a method for measuring brain waves, a unipolar induction method, a bipolar induction method, and an average reference electrode method can be adopted. The unipolar induction method is a method of measuring the potential difference between the reference electrode and the electrode (exploration electrode) on the surface of the head, using the electrode of the ear canal as a reference electrode. The bipolar induction method is a method of measuring the potential difference between two points of each electrode on the surface of the head. The average reference electrode method is a method of measuring the potential difference between the reference electrode and the electrode (exploration electrode) on the surface of the head, using the point where all the electrodes are connected as the reference electrode.
ここで、国際10−20法に基づく電極配置方法では、21個の多数の電極を配置する必要があり、電極の取り付けに時間がかかり、被験者等の計測負荷も増大する。本発明者らは、電極配置の最適化を行うために、図5に示すように多数の電極Eを配置して運動準備電位を算出する実験を行い、運動準備電位が出現し易い部位を調べた。実験の結果、図5に示すように、運動準備電位が一次運動野及び補足運動野の頭蓋頭頂面付近によく現れるという知見を得た。図5の電位分布では、運動準備電位の大きさを段階的に区分し、運動準備電位が大きいほど密度の高いドットで示している。図6に示すように、一次運動野101は、人間の脳100の大脳皮質の中央部にある中心溝103の前方の領域であり、運動指令を脳幹や脊髄へ出力する機能を有する。補足運動野102は、一次運動野101の前方に位置し、運動順序の制御等の機能を有する。
Here, in the electrode arrangement method based on the international 10-20 method, it is necessary to arrange a large number of 21 electrodes, it takes time to attach the electrodes, and the measurement load of the subject or the like increases. In order to optimize the electrode arrangement, the present inventors conducted an experiment in which a large number of electrodes E were arranged as shown in FIG. 5 to calculate the exercise preparation potential, and investigated a portion where the exercise preparation potential was likely to appear. rice field. As a result of the experiment, as shown in FIG. 5, it was found that the motor preparatory potential often appears near the crown surface of the primary motor area and the supplementary motor area. In the potential distribution of FIG. 5, the magnitude of the exercise preparation potential is divided stepwise, and the larger the exercise preparation potential is, the denser the dots are. As shown in FIG. 6, the
そこで、本発明の実施形態では、一次運動野101と補足運動野102の頭蓋頭頂面を含む領域(電極配置領域)に限定して、頭部表面に電極を選択的且つ集中的に配置することにより、電極配置領域以外の電極を削減しつつ、運動準備電位を効率的に検出する。例えば図7に示すように、一次運動野101と補足運動野102の頭蓋頭頂面を含む電極配置領域R0を設定し、電極配置領域R0内に電極E1〜E9(図1の電極群21に相当)を配置する。図7において、鼻根PAと後頭結節PBを結ぶ直線L1と、左の耳介前点PCと右の耳介前点PDを結ぶ直線L2を破線で示している。図7では、電極配置領域R0が頭部の左右方向(直線L2に平行な方向)を長径とする楕円の場合を例示するが、これに限定されない。例えば、電極配置領域R0は頭部の前後方向(直線L1に平行な方向)に長径を有する楕円形であってもよく、円形であってもよく、矩形であってもよい。
Therefore, in the embodiment of the present invention, the electrodes are selectively and intensively arranged on the surface of the head only in the region (electrode arrangement region) including the cranial crown surface of the
例えば、電極配置領域R0は、図4A及び図4Bに示した国際10−20法及び拡張国際10−20法で定義される電極FC3,FCz,FC4,C3,Cz,C4,CP3,CPz,CP4の位置を含み、電極Fp1,Fp2,F7,F3,Fz,F4,F8,A1,A2,T3,T4,T5,P3,Pz,P4,T6,O1,O2の位置を含まない範囲に設定してもよい。また、電極配置領域R0を更に拡大して、電極F3,Fz,F4,P3,Pz,P4の位置を更に含み、電極Fp1,Fp2,F7,F8,A1,A2,T3,T4,T5,T6,O1,O2の位置を含まない範囲に設定してもよい。 For example, the electrode arrangement region R0 is the electrodes FC3, FCz, FC4, C3, Cz, C4, CP3, CPz, CP4 defined by the international 10-20 method and the extended international 10-20 method shown in FIGS. 4A and 4B. Set to a range that includes the positions of electrodes Fp1, Fp2, F7, F3, Fz, F4, F8, A1, A2, T3, T4, T5, P3, Pz, P4, T6, O1, O2. You may. Further, the electrode arrangement region R0 is further expanded to further include the positions of the electrodes F3, Fz, F4, P3, Pz, P4, and the electrodes Fp1, Fp2, F7, F8, A1, A2, T3, T4, T5, T6. , O1 and O2 may be set in a range that does not include the positions.
電極配置領域R0内には、3×3個の電極E1〜E9が分散配置されている。例えば、電極E1〜E9は、図4に示した国際10−20法及び拡張国際10−20法で定義された電極FC3,FCz,FC4,C3,Cz,C4,CP3,CPz,CP4の位置に配置されている。電極E2は、図6に示した補足運動野102の左右の中心部に配置され、電極E1,E3は電極E2を挟んで左右対称に配置されている。電極E5は、図6に示した一次運動野101の左右の中心部に配置され、電極E4,E6は、電極E5を挟んで左右対称に配置されている。電極E8は、頭頂部に配置され、電極E7,E9は電極E8を挟んで左右対称に配置されている。図8A〜図8Iは、電極E1〜E9のそれぞれから計測された脳波の一例を示す。
In the electrode arrangement region R0, 3 × 3 electrodes E1 to E9 are dispersedly arranged. For example, the electrodes E1 to E9 are located at the positions of the electrodes FC3, FCz, FC4, C3, Cz, C4, CP3, CPz, CP4 defined by the international 10-20 method and the extended international 10-20 method shown in FIG. Have been placed. The electrodes E2 are arranged at the left and right central portions of the
なお、図7では、9個の電極E1〜E9を配置する場合を例示するが、電極数はこれに限定されない。例えば運動準備電位のデータを十分に算出可能であれば、電極数は9個未満であってもよい。また、10個以上であってもよいが、取り付け時間や計測負荷の観点からは電極数は少ない方が好ましい。また、電極E1〜E9の配置位置も限定されず、国際10−20法及び拡張国際10−20法に基づく電極の配置位置以外の位置に配置されていてもよく、電極配置領域R0内であれば種々のパターンが採用可能である(電極の配置例は第2の実施形態で後述する)。また、単極誘導法を用いる場合には、電極配置領域R0内に配置した電極(探査電極)E1〜E9の他に、電極配置領域R0の外側の耳朶や鼻尖等に基準電極を配置してもよい。また、電極E1〜E9の形状は特に限定されず、円盤状等の種々の形状が採用可能である。 Note that FIG. 7 illustrates a case where nine electrodes E1 to E9 are arranged, but the number of electrodes is not limited to this. For example, the number of electrodes may be less than 9, as long as the data of the exercise preparation potential can be sufficiently calculated. The number may be 10 or more, but the number of electrodes is preferably small from the viewpoint of mounting time and measurement load. Further, the arrangement positions of the electrodes E1 to E9 are not limited, and the electrodes may be arranged at positions other than the arrangement positions of the electrodes based on the international 10-20 method and the extended international 10-20 method, and may be arranged within the electrode arrangement region R0. For example, various patterns can be adopted (an example of electrode arrangement will be described later in the second embodiment). When the unipolar induction method is used, in addition to the electrodes (exploration electrodes) E1 to E9 arranged in the electrode arrangement area R0, a reference electrode is arranged in the earlobe, the tip of the nose, etc. outside the electrode arrangement area R0. May be good. Further, the shapes of the electrodes E1 to E9 are not particularly limited, and various shapes such as a disk shape can be adopted.
図1に示した走行状態センサ群3は、車速センサ31、アクセル開度センサ32、ブレーキスイッチ33、ステアリング操作量センサ34及びウインカスイッチ35を備える。車速センサ31は、車両の車輪速から車速を検出し、検出された車速をコントローラ1に出力する。アクセル開度センサ32は、アクセルペダルの踏み込み量から車両のアクセル開度を検出し、検出されたアクセル開度をコントローラ1に出力する。ブレーキスイッチ33は、車両のブレーキペダル操作の有無等のブレーキの作動状態を検出し、検出されたブレーキの作動状態をコントローラ1に出力する。ステアリング操作量センサ34は、車両のステアリングホイールの操作角又は操向輪の操舵角をステアリング操作量として検出し、検出されたステアリング操作量をコントローラ1に出力する。ウインカスイッチ35は、方向指示器(ウインカ)の作動状態、即ち左方向スイッチのオン/オフ、及び右方向スイッチのオン/オフを検出し、検出されたウインカの作動状態をコントローラ1に出力する。
The traveling state sensor group 3 shown in FIG. 1 includes a
周囲状況センサ群4は、カメラ41、レーダ42、地図データベース(DB)43及び全地球測位システム(GPS)受信機44を備える。カメラ41は、車両の周囲の所定の範囲を撮像して画像データを取得するイメージセンサである。カメラ41は、例えば車室内のフロントウィンドウ上部に設けられたCCDの広角カメラからなる。カメラ41は、ステレオカメラや全方位カメラであってもよく、複数のイメージセンサを含むようにしてもよい。カメラ41は、取得した画像データから、車両の周囲に存在する道路及び道路周辺の構造物、道路標示、標識、他車両、歩行者等を車両の周囲状況として検出し、検出された車両の周囲状況のデータをコントローラ1に出力する。
The ambient
レーダ42としては、レーザレンジファインダ(LRF)や、ミリ波や超音波を用いた測距レーダを採用可能であり、例えばフロントグリル内に設けられたミリ波レーダからなる。レーダ42は、車両の周囲の所定の範囲を走査し、車両の周囲に存在する他車両等の障害物を検出する。レーダ42は、例えば障害物と車両との相対位置(方位)、障害物の相対速度、車両から障害物までの距離等を車両の周囲状況として検出する。レーダ42は、検出された車両の周囲状況のデータをコントローラ1に出力する。
As the
地図DB43としては、半導体メモリ又はディスクメディア等の記憶媒体が使用可能である。地図DB43は、道路種別や道路線形、車線幅員、車両の通行方向、制限速度等を含む地図情報を記憶している。なお、地図情報のデータベースをサーバで管理し、更新された地図情報の差分データだけを、例えばテレマティクスサービスを通じて取得し、地図DB43に記憶された地図情報の更新を行ってもよい。なお、地図DB43は、コントローラ1の記憶装置12に内蔵されていてもよい。
As the
GPS受信機44は、人工衛星から受信する電波に基づいて、車両の緯度、経度及び高度を車両の現在位置として取得する。コントローラ1は、GPS受信機44により取得した車両の現在位置を地図DB43に記憶された地図と照合して、地図DB43に記憶された地図上における車両の現在位置を取得する。コントローラ1は、地図上の車両の現在位置から、運転者等により設定された目的地までの走行経路を設定し、設定した走行経路をディスプレイの表示やスピーカの音声により運転者に提示したり、設定した走行経路に沿って車両の走行を制御したりすることができる。
The
コントローラ1は、脳波計2により計測された脳波のデータから運動準備電位を算出することにより、運転者の行動を予測する。コントローラ1は更に、運転者の行動が予測された場合、走行状態センサ群3により検出された車両の走行状況や、周囲状況センサ群4により検出された車両の周囲状況に基づいて運転者の行動意図を推定し、アクチュエータ群5及び出力装置6に対して制御指令を出力する。例えば、コントローラ1は、車速センサ31により検出された車速及びウインカスイッチ35により検出されるウインカの作動状態に基づき、車両が右左折のため停止中と判定される場合に、運転者の行動が予測された場合には、発進動作及び右左折動作を支援するようにアクチュエータ群5に対して制御指令を出力する。
The
アクチュエータ群5は、例えばアクセル開度アクチュエータ51、ブレーキ制御アクチュエータ52及びステアリングアクチュエータ53を備える。アクセル開度アクチュエータ51は、例えば電子制御スロットルバルブからなり、コントローラ1からの制御指令の信号に基づいて車両のアクセル開度を制御する。ブレーキ制御アクチュエータ52は、例えばVDC(Vehicle Dynamics Control)等に用いられる油圧回路からなり、コントローラ1からの制御指令の信号に基づいて車両のブレーキの制動動作を制御する。ステアリングアクチュエータ53は、コントローラ1からの制御指令の信号に基づいて車両のステアリングを制御する。出力装置6は、ディスプレイ61及びブザー62を備える。ディスプレイ61及びブザー62は、コントローラ1からの制御指令の信号に基づいて、例えば車両の発進意図を車両の周囲に提示(報知)する。
The
次に、図9のフローチャートを参照しながら、第1の実施形態に係る行動予測方法の一例を説明する。ステップS1において、コントローラ1及び脳波計2等を用いて、図7に示すような被験者(運転者)の頭部の脳波を計測する領域(電極配置領域)R0を決定する。ステップS2において、運転者の頭部に電極帽子を装着することにより、運転者の頭部の電極配置領域R0内に電極E1〜E9を配置する。ステップS3において、運転者の運転操作中に、脳波計2が、複数の電極E1〜E9を用いて運転者の脳波を計測する。ステップS4において、コントローラ1が、脳波計2により計測された脳波のデータから運動準備電位を算出することにより、運転者の行動(行動意図)を予測する。ステップS5において、コントローラ1が、予測された運転者の行動に基づいて、アクチュエータ群5及び出力装置6を制御することにより、種々の運転支援を実行する。
Next, an example of the behavior prediction method according to the first embodiment will be described with reference to the flowchart of FIG. In step S1, the
ここで、図9のステップS1の電極配置領域R0の決定方法(電極配置方法)の一例を、図10のフローチャートを参照しながら説明する。ステップS11において、図11Aに示すように、所定数(例えば9個)の電極E1〜E9を、運転者の頭部の所定の位置に仮配置する。なお、電極E1〜E9の電極帽等に取り付ける作業及び電極帽等の装着作業は手動でもよく、自動で機械的に行ってもよい。例えば、国際10−20法で定義された電極Czの位置に電極E5を配置して、国際10−20法及び拡張国際10−20法で定義された電極FC3,FCz,FC4,C3,C4,CP3,CPz,CP4で囲まれる矩形の領域よりも内側に電極E1〜E4,E6〜E7を配置する。 Here, an example of a method for determining the electrode arrangement region R0 (electrode arrangement method) in step S1 of FIG. 9 will be described with reference to the flowchart of FIG. In step S11, as shown in FIG. 11A, a predetermined number (for example, nine) of electrodes E1 to E9 are temporarily arranged at predetermined positions on the driver's head. The work of attaching the electrodes E1 to E9 to the electrode cap or the like and the work of attaching the electrode cap or the like may be performed manually or automatically and mechanically. For example, the electrode E5 is placed at the position of the electrode Cz defined by the international 10-20 method, and the electrodes FC3, FCz, FC4, C3, C4 defined by the international 10-20 method and the extended international 10-20 method are arranged. Electrodes E1 to E4 and E6 to E7 are arranged inside the rectangular region surrounded by CP3, CPz, and CP4.
ステップS12において、例えば図12に示すように、車両201が片側2車線の道路を走行中に、運転者(被験者)に目印202,203の地点でステアリング操作を行わせ、車線変更させた場合の脳波を検出する実験を行う。脳波計2が、9個の電極E1〜E9のうちの1個の電極E1を選択して、電極E1を用いて運転者の脳波を計測する。なお、電極E1を選択する場合に限定されず、他の電極E2〜E4,E6〜E9を選択してもよい。ステップS13において、コントローラ1が、脳波計2により計測された脳波のデータから運動準備電位の振幅を算出し、算出した運動準備電位の振幅が所定の閾値以上か否かを判定する。所定の閾値は適宜設定可能であり、記憶装置12に予め記憶させることができる。所定の閾値は電極E1〜E9毎に設定されていてもよく、電極E1〜E9のそれぞれで個別に設定されていてもよい。運動準備電位の振幅が所定の閾値以上と判定された場合、検出したい脳波が正しく測定できていると判断できるので、ステップS15に移行する。
In step S12, for example, as shown in FIG. 12, when the
ステップS15において、図11Bに示すように、電極E1を電極E5及び直線L1,L2の交点に対して所定の方向に所定の距離だけ遠ざけるように移動して配置する。所定の距離及び所定の距離は電極E1〜E9毎に個別に適宜設定可能であり、記憶装置12に予め記憶させることができる。図10Bでは、電極E1が所定の方向として電極E5に対して斜め方向に遠ざかる場合を例示するが、これに限定されない。例えば、電極E1が頭部の前方向(直線L1に平行な方向)に移動してもよく、頭部の左方向(直線L2に平行な方向)に移動してもよい。そして、ステップS12に戻り、電極E1を移動した電極帽子を装着した運転者が同様に車線変更の運転操作を行い、脳波計2が電極E1を用いて運転者の脳波を計測し、ステップS13において脳波のデータから運動準備電位を算出する。ステップS13において運動準備電位の振幅が所定の閾値以上と判定されている間は、この作業を繰り返し、電極配置領域を拡大するように電極E1を移動していく。
In step S15, as shown in FIG. 11B, the electrode E1 is moved and arranged so as to be separated from the intersection of the electrode E5 and the straight lines L1 and L2 in a predetermined direction by a predetermined distance. The predetermined distance and the predetermined distance can be appropriately set individually for each of the electrodes E1 to E9, and can be stored in the
一方、ステップS13において、運動準備電位の振幅が予め定めた閾値未満と判定された場合、電極E1を更に遠くに配置しても運動準備電位の振幅は大きくならず、運動準備電位を正しく算出できないと判断できるので、ステップS14に移行する。ステップS14において、電極Eの位置を、現在の位置、又は現在の位置に移動する前の位置で確定する。 On the other hand, when it is determined in step S13 that the amplitude of the exercise preparation potential is less than a predetermined threshold value, the amplitude of the exercise preparation potential does not increase even if the electrode E1 is arranged further away, and the exercise preparation potential cannot be calculated correctly. Since it can be determined, the process proceeds to step S14. In step S14, the position of the electrode E is determined at the current position or the position before moving to the current position.
ステップS16において、コントローラ1が、すべての電極E1〜E9の配置位置が確定したか否かを判定する。なお、中心の電極E1は配置位置が予め確定しているものとする。すべての電極E1〜E9の配置位置が確定していないと判定された場合、配置位置が確定していない残りの電極についてステップS12〜S15の処理を繰り返す。例えば、ステップS12に戻り、電極E2を対象として運動準備電位の振幅を算出する。ステップS13において運動準備電位の振幅が所定の閾値以上と判定された場合、ステップS15において、図11Cに示すように、電極E2を電極E5に対して遠ざけるように移動する。なお、電極E1〜E4,E6〜E9の配置位置を確定する順番は特に限定されず、例えば電極E1を起点として時計回りに電極E2,E3,E6,E9,E8,E7,E4の順番で確定してもよい。
In step S16, the
一方、ステップS16においてすべての電極E1〜E9の配置位置が確定したと判定された場合、すべての電極E1〜E9を含む電極配置領域が決定され、処理を完了する。この結果、図6に示した電極配置領域R0を設定することができる。電極配置領域R0には、電極E1〜E9を確定した位置に配置してもよく、電極配置領域R0内の異なる位置に配置してもよい。また、電極E1〜E9よりも電極数を増大又は減少させてもよい。 On the other hand, when it is determined in step S16 that the arrangement positions of all the electrodes E1 to E9 are determined, the electrode arrangement regions including all the electrodes E1 to E9 are determined, and the process is completed. As a result, the electrode arrangement region R0 shown in FIG. 6 can be set. The electrodes E1 to E9 may be arranged at fixed positions in the electrode arrangement area R0, or may be arranged at different positions within the electrode arrangement area R0. Further, the number of electrodes may be increased or decreased as compared with the electrodes E1 to E9.
以上説明したように、第1の実施形態によれば、運動準備電位の発生源である一次運動野101と補足運動野102の頭蓋頭頂を含む電極配置領域R0を設定し、電極配置領域R0内に限定して頭部に電極を選択的に配置し、電極配置領域R0以外の電極を削減する。これにより、国際10−20法に従って21個の電極を配置する場合よりも電極の配置領域及び電極数を抑制し、計測負荷を低減して、運動準備電位を効率良く検出することができる。したがって、運転者の行動を適切に予測することができ、行動が予測された場合に運転者に対して種々の情報を提供したり、運転支援を実行したりすることができる。
As described above, according to the first embodiment, the electrode arrangement region R0 including the cranial crown of the
また、一次運動野101の中心部から左右対称に電極E4,E6を配置することにより、運動準備電位を効率的に検出することができる。更に、補足運動野102の中心部から左右対称に電極E1,E3を配置することにより、運動準備電位を効率的に検出することができる。更には、前頭部の中心にも電極FCzを配置することにより、運動準備電位を効率的に検出することができる。
Further, by arranging the electrodes E4 and E6 symmetrically from the central portion of the
更に、電極配置領域R0を決定する際には、電極E1〜E9を仮配置して運動準備電位の振幅を検出し、検出された運動準備電位の振幅が閾値以上か否かを判定し、閾値以上と判定された場合に電極配置領域を拡大するように電極E1〜E9を移動し、閾値未満と判定された場合に電極E1〜E9の位置を確定することにより、電極配置領域を適切に決定することができる。 Further, when determining the electrode arrangement region R0, the electrodes E1 to E9 are temporarily arranged to detect the amplitude of the exercise preparation potential, determine whether or not the detected amplitude of the exercise preparation potential is equal to or greater than the threshold value, and determine the threshold value. When the above is determined, the electrodes E1 to E9 are moved so as to expand the electrode arrangement area, and when it is determined to be less than the threshold value, the positions of the electrodes E1 to E9 are determined to appropriately determine the electrode arrangement area. can do.
(第2の実施形態)
本発明の第2の実施形態に係る行動予測装置は、図1に示した第1の実施形態に係る行動予測装置の構成と同様であるので、重複する説明を省略する。第2の実施形態においては、電極配置の最適化を行うための実験として、電極配置パターンを変化させて、被験者(運転者)の行動が予測できた割合である予測精度(正答率)を算出し、これを用いて電極配置を行う。
(Second Embodiment)
Since the behavior prediction device according to the second embodiment of the present invention has the same configuration as the behavior prediction device according to the first embodiment shown in FIG. 1, duplicate description will be omitted. In the second embodiment, as an experiment for optimizing the electrode arrangement, the electrode arrangement pattern is changed to calculate the prediction accuracy (correct answer rate), which is the ratio at which the behavior of the subject (driver) can be predicted. Then, the electrodes are arranged using this.
図13A〜図13Hは、電極配置パターンA〜Hをそれぞれ示す。図13Aに示す電極配置パターンAは、1個の電極E1を、国際10−20法で定義された電極Czの位置に配置している。図13Bに示す電極配置パターンBは、3個の電極E1〜E3を有し、頭頂部の電極E2を挟んで、電極E1,E3を直線L2上に配置している。電極E1〜E3は、国際10−20法及び拡張国際10−20法で定義された電極C1,Cz,C2に位置する。図13Cに示す電極配置パターンCは、図13Bに示す電極配置パターンBに対して、更に3個の電極E4〜E6を電極E1〜E3の後方にそれぞれ配置している。電極E4〜E6は、国際10−20法及び拡張国際10−20法で定義された電極CP1,CPz,CP2に位置する。図13Dに示す電極配置パターンDは、図13Bに示す電極配置パターンBに対して、更に3個の電極E4〜E6を電極E1〜E3の前方にそれぞれ配置している。電極E4〜E6は、国際10−20法及び拡張国際10−20法で定義された電極FC1,FCz,FC2に位置する。 13A to 13H show electrode arrangement patterns A to H, respectively. In the electrode arrangement pattern A shown in FIG. 13A, one electrode E1 is arranged at the position of the electrode Cz defined by the international 10-20 method. The electrode arrangement pattern B shown in FIG. 13B has three electrodes E1 to E3, and the electrodes E1 and E3 are arranged on a straight line L2 with the electrode E2 on the crown sandwiched therein. Electrodes E1 to E3 are located at electrodes C1, Cz, and C2 as defined by the international 10-20 method and the extended international 10-20 method. In the electrode arrangement pattern C shown in FIG. 13C, three electrodes E4 to E6 are further arranged behind the electrodes E1 to E3 with respect to the electrode arrangement pattern B shown in FIG. 13B. The electrodes E4 to E6 are located at electrodes CP1, CPz, and CP2 defined by the international 10-20 method and the extended international 10-20 method. In the electrode arrangement pattern D shown in FIG. 13D, three electrodes E4 to E6 are further arranged in front of the electrodes E1 to E3 with respect to the electrode arrangement pattern B shown in FIG. 13B. The electrodes E4 to E6 are located at the electrodes FC1, FCz, FC2 defined by the international 10-20 method and the extended international 10-20 method.
図13Eに示す電極配置パターンEは、図13Dに示す電極配置パターンDに対して、更に3個の電極E7〜E9を電極E1〜E3の後方にそれぞれ配置している。図13Fに示す電極配置パターンFは、図13Eに示す電極配置パターンEに対して、前方の電極E4,E6と後方の電極E7,E9を直線L1から離れる方向に遠ざけて配置している。電極E4,E6,E7,E9は、国際10−20法及び拡張国際10−20法で定義された電極FC3,FC4,CP3,CP4に位置する。 In the electrode arrangement pattern E shown in FIG. 13E, three electrodes E7 to E9 are further arranged behind the electrodes E1 to E3 with respect to the electrode arrangement pattern D shown in FIG. 13D. In the electrode arrangement pattern F shown in FIG. 13F, the front electrodes E4 and E6 and the rear electrodes E7 and E9 are arranged away from the straight line L1 with respect to the electrode arrangement pattern E shown in FIG. 13E. Electrodes E4, E6, E7, E9 are located at electrodes FC3, FC4, CP3, CP4 defined by the International 10-20 Act and the Extended International 10-20 Act.
図13Gに示す電極配置パターンGは、図13Fに示す電極配置パターンFに対して、直線L2上の電極E1,E3を直線L1から離れる方向に遠ざけて配置している。電極E1,E3,は、国際10−20法で定義された電極C3,C4に位置する。図13Hに示す電極配置パターンHは、図13Gに示す電極配置パターンGに対して、更に2個の電極E10,E11を電極E1,E2の間及び電極E2,E3の間にそれぞれ配置している。電極E1,E10,E11,E3は、一次運動野101の中心部から左右対称に配置されている。電極E4,E6は、補足運動野102の中心部から左右対称に配置されている。電極E5は、前頭部の中心に配置されている。
In the electrode arrangement pattern G shown in FIG. 13G, the electrodes E1 and E3 on the straight line L2 are arranged away from the straight line L1 with respect to the electrode arrangement pattern F shown in FIG. 13F. Electrodes E1, E3 are located at electrodes C3 and C4 as defined by the International 10-20 Act. In the electrode arrangement pattern H shown in FIG. 13H, two electrodes E10 and E11 are further arranged between the electrodes E1 and E2 and between the electrodes E2 and E3 with respect to the electrode arrangement pattern G shown in FIG. 13G. .. The electrodes E1, E10, E11, and E3 are arranged symmetrically from the center of the
図14は、図13A〜図13Hに示した電極配置パターンA〜Hの場合に、図12に示した車線変更等の行動予測実験を行い、実験結果である行動を予測できた正答率(TPR)を示す。縦の実線は、複数の被験者に対する実験例での最も早いタイミングのばらつき(例えば車線変更という運動準備電位を算出できた最も早いタイミングでの正答例をプロットしたもの)であり、実線の曲線は正答率の平均値を示す。縦の破線は、複数の被験者に対する実験例での最も高い精度のばらつき(例えば車線変更という運動準備電位を確実に算出できた正答例をプロットしたもの)であり、破線の曲線は正答率の平均値を示す。図14に示すように、電極配置パターンAから電極配置パターンHに向けて、電極数及び電極配置領域が増加するほど正答率(予測精度)が向上していることが分かる。 In FIG. 14, in the case of the electrode arrangement patterns A to H shown in FIGS. 13A to 13H, a behavior prediction experiment such as a lane change shown in FIG. 12 was performed, and the correct answer rate (TPR) capable of predicting the behavior which is the experimental result. ) Is shown. The vertical solid line is the earliest timing variation in the experimental example for multiple subjects (for example, a plot of the correct answer example at the earliest timing when the exercise preparation potential of changing lanes could be calculated), and the solid line curve is the correct answer. Shows the average value of the rate. The vertical dashed line is the highest accuracy variation in the experimental example for multiple subjects (for example, a plot of the correct answer example that could reliably calculate the exercise preparation potential of changing lanes), and the dashed line curve is the average of the correct answer rate. Indicates a value. As shown in FIG. 14, it can be seen that the correct answer rate (prediction accuracy) improves as the number of electrodes and the electrode arrangement region increase from the electrode arrangement pattern A to the electrode arrangement pattern H.
図15A〜図15Nは、電極配置パターンa〜nをそれぞれ示す。図15Aに示す電極配置パターンaは、9個の電極E1〜E9を有し、3個の電極E1〜E3の前方に3個の電極E4〜E6を配置し、後方に3個の電極E7〜E9を配置している。電極E1〜E9は、国際10−20法及び拡張国際10−20法で定義された電極C1,Cz,C2,FC3,FCz,FC4,CP3,CPz,CP4に位置する。図15Bに示す電極配置パターンbは、図15Aに示す電極配置パターンaに対して、電極E1,E3が左右に離れて配置されている。電極E1,E3は、国際10−20法で定義された電極C3,C4に位置する。図15Cに示す電極配置パターンcは、図15Bに示す電極配置パターンbに対して、電極E1,E2の間に電極E10が更に配置され、電極E2,E3の間に電極E11が更に配置されている。 15A to 15N show electrode arrangement patterns a to n, respectively. The electrode arrangement pattern a shown in FIG. 15A has nine electrodes E1 to E9, three electrodes E4 to E6 are arranged in front of the three electrodes E1 to E3, and three electrodes E7 to E7 are arranged behind the three electrodes E4 to E3. E9 is placed. Electrodes E1 to E9 are located at electrodes C1, Cz, C2, FC3, FCz, FC4, CP3, CPz, CP4 defined by the international 10-20 method and the extended international 10-20 method. In the electrode arrangement pattern b shown in FIG. 15B, the electrodes E1 and E3 are arranged on the left and right sides of the electrode arrangement pattern a shown in FIG. 15A. Electrodes E1 and E3 are located at electrodes C3 and C4 as defined by the International 10-20 Act. In the electrode arrangement pattern c shown in FIG. 15C, the electrode E10 is further arranged between the electrodes E1 and E2, and the electrode E11 is further arranged between the electrodes E2 and E3 with respect to the electrode arrangement pattern b shown in FIG. 15B. There is.
図15Dに示す電極配置パターンdは、直線L1を挟んで電極E1,E2が左右対称に配置され、電極E1,E2の前方に電極E3,E4が配置され、後方に電極E5,E6が配置されている。電極E3,E4の前方の直線L1上には電極E7が配置されている。電極E1〜E7は、国際10−20法及び拡張国際10−20法で定義された電極C1,CC2,FC1,FC2,CP1,CP2,Fzに位置する。図15Eに示す電極配置パターンeは、図15Dに示す電極配置パターンdに対して、電極E5,E6の後方の直線L1上に電極E8が更に配置されている。電極E8は、国際10−20法で定義された電極Pzに位置する。図15Fに示す電極配置パターンfは、図15Eに示す電極配置パターンeに対して、直線L1,L2の交点に電極E9が更に配置されている。 In the electrode arrangement pattern d shown in FIG. 15D, the electrodes E1 and E2 are arranged symmetrically with the straight line L1 interposed therebetween, the electrodes E3 and E4 are arranged in front of the electrodes E1 and E2, and the electrodes E5 and E6 are arranged behind the electrodes E1 and E2. ing. The electrode E7 is arranged on the straight line L1 in front of the electrodes E3 and E4. The electrodes E1 to E7 are located at the electrodes C1, CC2, FC1, FC2, CP1, CP2, Fz defined by the international 10-20 method and the extended international 10-20 method. In the electrode arrangement pattern e shown in FIG. 15E, the electrode E8 is further arranged on the straight line L1 behind the electrodes E5 and E6 with respect to the electrode arrangement pattern d shown in FIG. 15D. Electrode E8 is located at electrode Pz as defined by the International 10-20 Act. In the electrode arrangement pattern f shown in FIG. 15F, the electrode E9 is further arranged at the intersection of the straight lines L1 and L2 with respect to the electrode arrangement pattern e shown in FIG. 15E.
図15Gに示す電極配置パターンgは、直線L1,L2の交点に電極E1が配置され、電極E1の前方に直線L1を挟んで電極E2,E3が左右対称に配置され、後方に電極E4,E5が配置されている。電極E2,E3の前方の直線L1上には電極E6が配置されている。図15Hに示す電極配置パターンhは、図15Gに示す電極配置パターンgに対して、電極E4,E5の後方の直線L1上に電極E7が更に配置されている。図15Iに示す電極配置パターンiは、直線L1,L2の交点に電極E1が配置され、電極E1の右側に電極E2が配置されている。電極E1の前方に電極E4,E7が配置され、電極E4の左側に電極E3が配置されている。電極E1の後方に電極E6が配置され、電極E6の左側に電極E5が配置されている。 In the electrode arrangement pattern g shown in FIG. 15G, the electrode E1 is arranged at the intersection of the straight lines L1 and L2, the electrodes E2 and E3 are arranged symmetrically with the straight line L1 in front of the electrode E1, and the electrodes E4 and E5 are arranged rearward. Is placed. The electrode E6 is arranged on the straight line L1 in front of the electrodes E2 and E3. In the electrode arrangement pattern h shown in FIG. 15H, the electrode E7 is further arranged on the straight line L1 behind the electrodes E4 and E5 with respect to the electrode arrangement pattern g shown in FIG. 15G. In the electrode arrangement pattern i shown in FIG. 15I, the electrode E1 is arranged at the intersection of the straight lines L1 and L2, and the electrode E2 is arranged on the right side of the electrode E1. The electrodes E4 and E7 are arranged in front of the electrode E1, and the electrode E3 is arranged on the left side of the electrode E4. The electrode E6 is arranged behind the electrode E1, and the electrode E5 is arranged on the left side of the electrode E6.
図15Jに示す電極配置パターンjは、直線L1,L2の交点に電極E1が配置され、電極E1の前方の直線L1上に電極E2,E3が配置され、後方の直線L1に電極E4,E5が配置されている。即ち、直線L1上に5個の電極E1〜E5が配置されている。電極E1〜E5は、国際10−20法及び拡張国際10−20法で定義された電極Cz,FCz,Fz,CPz,Pzに位置する。図15Kに示す電極配置パターンkは、図15Jに示す電極配置パターンjに対して、電極E2,E4の左側に電極E6,E7が配置され、電極E3,E1,E5の右側に電極E8〜E10が更に配置されている。図15Lに示す電極配置パターンlは、図15Jに示す電極配置パターンjに対して、電極E3,E1,E5の左側に電極E6〜E8が配置され、電極E2,E4の右側に電極E9,E10が更に配置されている。 In the electrode arrangement pattern j shown in FIG. 15J, the electrode E1 is arranged at the intersection of the straight lines L1 and L2, the electrodes E2 and E3 are arranged on the straight line L1 in front of the electrode E1, and the electrodes E4 and E5 are arranged on the straight line L1 behind. Have been placed. That is, five electrodes E1 to E5 are arranged on the straight line L1. The electrodes E1 to E5 are located at the electrodes Cz, FCz, Fz, CPz, Pz defined by the international 10-20 method and the extended international 10-20 method. In the electrode arrangement pattern k shown in FIG. 15K, the electrodes E6 and E7 are arranged on the left side of the electrodes E2 and E4, and the electrodes E8 to E10 are arranged on the right side of the electrodes E3, E1 and E5 with respect to the electrode arrangement pattern j shown in FIG. 15J. Are further arranged. In the electrode arrangement pattern l shown in FIG. 15L, the electrodes E6 to E8 are arranged on the left side of the electrodes E3, E1 and E5, and the electrodes E9 and E10 are arranged on the right side of the electrodes E2 and E4 with respect to the electrode arrangement pattern j shown in FIG. 15J. Are further arranged.
図15Mに示す電極配置パターンmは、図15Lに示す電極配置パターンlに対して、電極E1の右側に電極E11が配置され、電極E2,E4の左側に電極E12,E13が更に配置されている。図15Nに示す電極配置パターンnは、図15Jに示す電極配置パターンjに対して、電極E2,E3,E4の右側に電極E9,E10,E11が配置され、電極E2,E3,E4の左側に電極E6,E7,E8が更に配置されている。 In the electrode arrangement pattern m shown in FIG. 15M, the electrode E11 is arranged on the right side of the electrode E1 and the electrodes E12 and E13 are further arranged on the left side of the electrodes E2 and E4 with respect to the electrode arrangement pattern l shown in FIG. 15L. .. In the electrode arrangement pattern n shown in FIG. 15N, the electrodes E9, E10, and E11 are arranged on the right side of the electrodes E2, E3, and E4 with respect to the electrode arrangement pattern j shown in FIG. Electrodes E6, E7 and E8 are further arranged.
図16は、図15A〜図15Nに示した電極配置パターンa〜nの場合に、図12に示した車線変更等の行動予測実験を行い、実験結果である行動を予測できた正答率との関係を示す。図16において、電極配置パターンd,eのように、中心部の電極がないと予測精度が低下しているのが分かる。また、電極配置パターンf,g,hのように、中心部の電極数が少ないと予測精度が低下していることが分かる。また、電極配置パターンjのように、電極が中心部にだけであると予測精度が低下していることが分かる。したがって、電極配置パターンa,b,c,i,k,l,m,nのように、中心部に電極が多くあり、電極が中心部だけでなく周辺部にも配置されていることが好ましい。 In FIG. 16, in the case of the electrode arrangement patterns a to n shown in FIGS. 15A to 15N, a behavior prediction experiment such as a lane change shown in FIG. 12 was performed, and the correct answer rate was such that the behavior as an experimental result could be predicted. Show the relationship. In FIG. 16, it can be seen that the prediction accuracy is lowered if there is no electrode in the central portion as in the electrode arrangement patterns d and e. Further, it can be seen that the prediction accuracy is lowered when the number of electrodes in the central portion is small as in the electrode arrangement patterns f, g, and h. Further, it can be seen that the prediction accuracy is lowered when the electrodes are located only in the central portion as in the electrode arrangement pattern j. Therefore, it is preferable that there are many electrodes in the central portion and the electrodes are arranged not only in the central portion but also in the peripheral portion as in the electrode arrangement patterns a, b, c, i, k, l, m, and n. ..
第2の実施形態に係る行動予測方法は、図9に示した第1の実施形態に係る行動予測方法と同様である。図9に示したステップS1に対応する第2の実施形態に係る電極配置方法を、図17のフローチャートを参照しながら説明する。 The behavior prediction method according to the second embodiment is the same as the behavior prediction method according to the first embodiment shown in FIG. The electrode arrangement method according to the second embodiment corresponding to step S1 shown in FIG. 9 will be described with reference to the flowchart of FIG.
ステップS21において、例えば図18Aに示すように、運転者(被験者)の頭部に初期の電極配置領域R1を設定し、電極配置領域R1内に所定の個数の電極E1〜E9を仮配置する。ステップS22において、図18Aに示すように電極E1〜E9を頭部に取り付けて、図12に示すように運転者に車線変更させる実験を行い、脳波計2が運転者の脳波を計測する。ステップS23において、コントローラ1が、脳波計2により計測された脳波のデータから行動準備電位を算出して、行動準備電位の振幅を所定の閾値と比較すること等により、行動準備電位が正しく算出できたか判定する。この実験を必要に応じて運転者を変えながら複数回繰り返して行い、コントローラ1は、行動準備電位が正しく算出できた割合である正答率(第1の予測精度)を算出する。算出された正答率は記憶装置12に記憶される。なお、複数回実験を繰り返して得られた行動準備電位の算出結果を記憶装置12に予め記憶しておき、コントローラ1が記憶装置12から行動準備電位の算出結果を読み出して正答率を算出してもよい。
In step S21, for example, as shown in FIG. 18A, an initial electrode arrangement region R1 is set on the head of the driver (subject), and a predetermined number of electrodes E1 to E9 are temporarily arranged in the electrode arrangement region R1. In step S22, electrodes E1 to E9 are attached to the head as shown in FIG. 18A, an experiment is performed in which the driver changes lanes as shown in FIG. 12, and the
ステップS24において、図18Bに示すように、中心の電極E5に対して、周囲の電極E1〜E4,E6〜E9を所定の方向に所定の距離だけ遠ざけるように配置し、電極E1〜E9を含む電極配置領域R2を拡大する。電極E1〜E4,E6〜E9を移動する所定の方向及び所定の距離は個別に適宜設定可能であり、記憶装置12に予め記憶させることができる。例えば、電極E2,E8を移動せずに、電極E1,E7を左方向に移動するとともに、電極E3,E9を右方向に移動することにより、図13Gに示す電極配置パターンGと同様の矩形パターンとしてもよい。
In step S24, as shown in FIG. 18B, the surrounding electrodes E1 to E4 and E6 to E9 are arranged so as to be separated from the central electrode E5 by a predetermined distance in a predetermined direction, and the electrodes E1 to E9 are included. The electrode arrangement region R2 is enlarged. A predetermined direction and a predetermined distance for moving the electrodes E1 to E4 and E6 to E9 can be individually set as appropriate, and can be stored in the
ステップS25において、図18Bに示すように電極E1〜E9を取り付けて、図12に示すように運転者に車線変更させる実験を行い、脳波計2が運転者の脳波を計測する。ステップS26において、コントローラ1が、脳波計2により計測された脳波のデータから行動準備電位を算出して、行動準備電位の振幅を所定の閾値と比較すること等により、行動準備電位が正しく算出できたか判定する。この実験を必要に応じて運転者を変えながら複数回繰り返して行い、コントローラ1は、行動準備電位が正しく算出できた割合である正答率(第2の予測精度)を算出する。算出された正答率は記憶装置12に記憶される。なお、複数回実験を繰り返して得られた行動準備電位の算出結果を記憶装置12に予め記憶しておき、コントローラ1が記憶装置12から行動準備電位の算出結果を読み出して正答率を算出してもよい。
In step S25, electrodes E1 to E9 are attached as shown in FIG. 18B, an experiment is performed in which the driver changes lanes as shown in FIG. 12, and the
ステップS27において、コントローラ1が、ステップS23で取得した正答率(第1の予測精度)及びステップS26で取得した正答率(第2の予測精度)を読み出して、拡大前後の電極配置領域R1,R2の場合の正答率の差分値を算出する。ステップS28において、コントローラ1が、正答率の差分値が所定の閾値以上であるか否かを判定する。所定の閾値は適宜設定可能であり、記憶装置12に予め記憶させることができる。正答率の差分値が所定の閾値以上と判定された場合、電極配置領域R2を拡大したことで予測精度が効果的に向上していると判断できる。このため、ステップS24に戻り、電極配置領域R2を更に拡大して同様の作業を行う。
In step S27, the
一方、ステップS28において正答率の差分値が所定の閾値未満と判定された場合、電極配置領域R2を更に拡大しても予測精度が効果的に向上していないと判断できるため、ステップS29に移行する。ステップS29において、コントローラ1は、現在の電極配置領域R2又は前回の電極配置領域R1で確定する。
On the other hand, when it is determined in step S28 that the difference value of the correct answer rate is less than a predetermined threshold value, it can be determined that the prediction accuracy is not effectively improved even if the electrode arrangement region R2 is further expanded, so the process proceeds to step S29. do. In step S29, the
以上説明したように、第2の実施形態によれば、運動準備電位の発生源である一次運動野101と補足運動野102の頭蓋頭頂を含む一定距離内の電極配置領域に限定して、複
数の電極を選択的に配置することで、国際10−20法に従って21個の電極を配置する場合よりも脳波の計測部位及び電極数を抑制し、計測負荷を低減しつつ、運動準備電位を効率的に算出することができる。したがって、運転者の行動を適切に予測することができ、行動が予測された場合に運転者に対して種々の情報を提供したり、運転支援を実行したりすることができる。
As described above, according to the second embodiment, there are a plurality of electrode placement regions within a certain distance including the cranial crown of the
また、例えば図13Hに示すように、一次運動野101の中心部から左右対称に電極E1,E10,E11,E3を配置することにより、運動準備電位を効率的に検出することができる。更に、補足運動野102の中心部から左右対称に電極E4,E6を配置することにより、運動準備電位を効率的に検出することができる。更には、前頭部の中心にも電極E5を配置することにより、運動準備電位を効率的に検出することができる。
Further, for example, as shown in FIG. 13H, by arranging the electrodes E1, E10, E11, and E3 symmetrically from the central portion of the
また、電極配置領域を決定する際に、電極配置領域を拡大した場合に行動の予測精度の向上率が一定以上低下しない範囲で電極配置領域を決定する。即ち、仮配置した複数の電極を用いて行動を予測できた第1の予測精度を取得する。更に、仮配置した複数の電極の範囲を拡大し、拡大した範囲の複数の電極を用いて行動を予測できた第2の予測精度を取得する。そして、第1及び第2の予測精度の差分値が閾値以上か否かを判定し、閾値以上と判定された場合に電極配置領域を拡大する。一方、第1及び第2の予測精度の差分値が閾値未満と判定された場合に電極配置領域を決定する。これにより、電極配置領域を適切に決定することができる。 Further, when determining the electrode arrangement region, the electrode arrangement area is determined within a range in which the improvement rate of the behavior prediction accuracy does not decrease by a certain amount or more when the electrode arrangement area is expanded. That is, the first prediction accuracy that can predict the behavior by using the plurality of temporarily arranged electrodes is acquired. Further, the range of the plurality of temporarily arranged electrodes is expanded, and the second prediction accuracy capable of predicting the behavior using the plurality of electrodes in the expanded range is acquired. Then, it is determined whether or not the difference value of the first and second prediction accuracy is equal to or greater than the threshold value, and when it is determined to be equal to or greater than the threshold value, the electrode arrangement region is expanded. On the other hand, when it is determined that the difference value between the first and second prediction accuracy is less than the threshold value, the electrode arrangement region is determined. Thereby, the electrode arrangement region can be appropriately determined.
(その他の実施形態)
上記のように、本発明は第1及び第2の実施形態によって記載したが、この開示の一部をなす論述及び図面は本発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施形態、実施例及び運用技術が明らかとなろう。
(Other embodiments)
As mentioned above, the present invention has been described by the first and second embodiments, but the statements and drawings that form part of this disclosure should not be understood as limiting the invention. Various alternative embodiments, examples and operational techniques will be apparent to those skilled in the art from this disclosure.
例えば、図19に示す電極配置方法のフローチャートの手順を適用してもよい。ステップS31において、図8Aに示すように各電極E1〜E9を仮配置する。ステップS32において、脳波計2が、図8Aに示した各電極E1〜E9を用いて脳波を計測し、各電極E1〜E9毎に運動準備電位の振幅を検出する。ステップS33において、コントローラ1が、各電極E1〜E9毎の運動準備電位の振幅が所定の閾値以上か否かを判定する。各電極E1〜E9毎の運動準備電位の振幅のすべてが所定の閾値以上と判定された場合、ステップS35に移行する。ステップS35において、図8Bに示すように1個の電極E1を移動するのではなく、図18Bに示すように電極E1〜E4,E6〜E9を移動することにより電極配置領域を拡大する。一方、ステップS33において、各電極E1〜E9毎の運動準備電位の振幅のいずれか1つ以上が閾値未満と判定された場合、ステップS34に移行し、現在の電極配置領域又は前回の電極配置領域で確定する。このように、図19に示す電極配置方法のフローチャートの手順でも電極配置領域を適切に決定することができる。
For example, the procedure of the flowchart of the electrode arrangement method shown in FIG. 19 may be applied. In step S31, the electrodes E1 to E9 are temporarily arranged as shown in FIG. 8A. In step S32, the
また、第1及び第2の実施形態に係る行動予測装置及び行動予測方法は、車両の運転者の行動の予測に適用する場合を例示したが、これに特に限定されない。例えば、車両の運転者以外の乗員や、船舶又は航空機の乗員、ロボットの操作者、ゲームのプレーヤー等の種々の人間の行動を予測する際のブレーン・マシン・インターフェース(BMI)として適用することができる。 Further, the behavior prediction device and the behavior prediction method according to the first and second embodiments have been illustrated as being applied to the prediction of the behavior of the driver of the vehicle, but the present invention is not particularly limited thereto. For example, it can be applied as a brain machine interface (BMI) for predicting the behavior of various human beings such as occupants other than the driver of a vehicle, occupants of a ship or aircraft, robot operators, game players, and the like. can.
本発明はここでは記載していない様々な実施形態等を含むことは勿論である。したがって、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。 It goes without saying that the present invention includes various embodiments not described here. Therefore, the technical scope of the present invention is defined only by the matters specifying the invention relating to the reasonable claims from the above description.
1…コントローラ
2…脳波計
3…走行状態センサ群
4…周囲状況センサ群
5…アクチュエータ群
6…出力装置
11…プロセッサ
12…記憶装置
21…電極群
22…増幅器
23…フィルタ
24…A/D変換器
31…車速センサ
32…アクセル開度センサ
33…ブレーキスイッチ
34…ステアリング操作量センサ
35…ウインカスイッチ
41…カメラ
42…レーダ
43…地図DB
44…GPS受信機
51…アクセル開度アクチュエータ
52…ブレーキ制御アクチュエータ
53…ステアリングアクチュエータ
61…ディスプレイ
62…ブザー
100…脳
101…一次運動野
102…補足運動野
103…中心溝
201…車両
202,203 …目印
E1〜E13…電極
R0,R1,R2…電極配置領域
1 ...
44 ...
Claims (7)
前記複数の電極の電位差信号を用いて前記人間の脳波を計測し、
前記計測された脳波から運動準備電位を算出して、前記人間の行動を予測する
ことを特徴とする行動予測方法。 Multiple electrodes were placed on the human head only in the area including the cranial parietal surface of the primary motor area and the supplementary motor area.
The human brain wave is measured using the potential difference signals of the plurality of electrodes, and the human brain wave is measured.
A behavior prediction method characterized in that an exercise preparation potential is calculated from the measured electroencephalogram to predict the human behavior.
前記複数の電極を用いて前記人間の脳波を計測し、
前記計測された脳波から運動準備電位を算出して、前記人間の行動を予測する行動予測方法において、
前記運動準備電位の振幅を算出し、
前記算出された振幅が閾値以上か否かを判定し、
前記閾値以上と判定された場合に前記領域を拡大し、
前記閾値未満と判定された場合に前記領域を決定する
ことを特徴とする行動予測方法。 Multiple electrodes were placed on the human head only in the area including the cranial parietal surface of the primary motor area and the supplementary motor area.
The human brain wave was measured using the plurality of electrodes, and the human brain wave was measured.
In the behavior prediction method for predicting human behavior by calculating the exercise preparation potential from the measured brain waves.
Calculate the amplitude of the exercise preparation potential,
It is determined whether or not the calculated amplitude is equal to or greater than the threshold value.
When it is determined that the threshold value is equal to or higher than the threshold value, the area is expanded.
Behavior prediction how to said determining said region when it is determined to be less than the threshold value.
前記複数の電極を用いて前記人間の脳波を計測し、
前記計測された脳波から運動準備電位を算出して、前記人間の行動を予測する行動予測方法において、
前記頭部に前記複数の電極を仮配置し、
前記仮配置した複数の電極を用いて前記行動を予測できた第1の予測精度を取得し、
前記仮配置した複数の電極の範囲を拡大し、
前記拡大した範囲の前記複数の電極を用いて前記行動を予測できた第2の予測精度を取得し、
前記第1及び第2の予測精度の差分値が閾値以上か否かを判定し、
前記閾値以上と判定された場合に前記領域を拡大し、
前記閾値未満と判定された場合に前記領域を決定する
ことを特徴とする行動予測方法。 Multiple electrodes were placed on the human head only in the area including the cranial parietal surface of the primary motor area and the supplementary motor area.
The human brain wave was measured using the plurality of electrodes, and the human brain wave was measured.
In the behavior prediction method for predicting human behavior by calculating the exercise preparation potential from the measured brain waves.
The plurality of electrodes are temporarily arranged on the head, and the plurality of electrodes are temporarily arranged.
Obtaining the first prediction accuracy that could predict the behavior using the plurality of temporarily arranged electrodes,
The range of the plurality of temporarily arranged electrodes is expanded, and the range is expanded.
Obtaining a second prediction accuracy that could predict the behavior using the plurality of electrodes in the expanded range,
It is determined whether or not the difference value of the first and second prediction accuracy is equal to or greater than the threshold value.
When it is determined that the threshold value is equal to or higher than the threshold value, the area is expanded.
Behavior prediction how to said determining said region when it is determined to be less than the threshold value.
前記計測された脳波から運動準備電位を算出して、前記人間の行動を予測するコントローラ
とを備えることを特徴とする行動予測装置。 An electroencephalograph that measures the human brain wave using the potential difference signals of a plurality of electrodes arranged on the human head only in the area including the cranial parietal surface of the primary motor area and the supplementary motor area.
A behavior prediction device including a controller that calculates an exercise preparation potential from the measured electroencephalogram and predicts the human behavior.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017098268A JP6946734B2 (en) | 2017-05-17 | 2017-05-17 | Behavior prediction method and behavior prediction device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017098268A JP6946734B2 (en) | 2017-05-17 | 2017-05-17 | Behavior prediction method and behavior prediction device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018192909A JP2018192909A (en) | 2018-12-06 |
JP6946734B2 true JP6946734B2 (en) | 2021-10-06 |
Family
ID=64569492
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017098268A Active JP6946734B2 (en) | 2017-05-17 | 2017-05-17 | Behavior prediction method and behavior prediction device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6946734B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109658503B (en) * | 2018-12-29 | 2020-07-28 | 北京理工大学 | Driver behavior intention detection method fused with electroencephalogram signals |
CN114103998B (en) * | 2021-12-03 | 2024-03-19 | 智己汽车科技有限公司 | Intelligent driving vehicle control method, system and device based on driver sight line |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100495504B1 (en) * | 2002-12-12 | 2005-06-14 | 한국전자통신연구원 | Control system of vehicle brake using brain waves and control method of vehicle brake |
JP2012173803A (en) * | 2011-02-17 | 2012-09-10 | Panasonic Corp | Safe driving support device and safe driving support method |
-
2017
- 2017-05-17 JP JP2017098268A patent/JP6946734B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018192909A (en) | 2018-12-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10520939B2 (en) | Drive assist apparatus | |
JP6287728B2 (en) | In-vehicle system, vehicle control device, and program for vehicle control device | |
JP5414588B2 (en) | Vehicle driving support processing device and vehicle driving support device | |
US9964950B2 (en) | Driving assistance apparatus and driving assistance method | |
JP6946734B2 (en) | Behavior prediction method and behavior prediction device | |
JP2020115322A (en) | System and method for vehicle position estimation | |
JP6565408B2 (en) | Vehicle control apparatus and vehicle control method | |
JP2016215658A (en) | Automatic driving device and automatic driving system | |
EP2270765A1 (en) | Vehicle periphery monitoring device | |
CN112327819A (en) | Operation selection device, operation selection method, and non-transitory storage medium | |
JP6988075B2 (en) | Discomfort discrimination method and discomfort discrimination device | |
JP2011237871A (en) | Driving support apparatus | |
KR20170018696A (en) | Apparatus, system and method for recognizing emotion and controlling vehicle | |
JP7429498B2 (en) | Driving support method and driving support device | |
JP2018139070A (en) | Vehicle display control device | |
JP7222176B2 (en) | Electroencephalogram measurement method and electroencephalogram measurement device | |
JP6790813B2 (en) | Steering support method and steering support device | |
WO2018173454A1 (en) | Information display device, information display method, and program | |
JP7107060B2 (en) | Driving support method and driving support device | |
JP7176187B2 (en) | Driving support method and driving support device | |
JP2018122694A (en) | Driving support method and driving support device | |
JP7107061B2 (en) | Driving support method and driving support device | |
JP2005006966A (en) | Support apparatus | |
JP7151389B2 (en) | AUTOMATIC START CONTROL METHOD AND AUTOMATIC START CONTROL DEVICE | |
JP7206785B2 (en) | Parking assistance method and parking assistance device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190401 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200311 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210126 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210318 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210817 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210830 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6946734 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |