JP5366248B2 - Car driving cognitive behavior evaluation device - Google Patents

Car driving cognitive behavior evaluation device Download PDF

Info

Publication number
JP5366248B2
JP5366248B2 JP2009207313A JP2009207313A JP5366248B2 JP 5366248 B2 JP5366248 B2 JP 5366248B2 JP 2009207313 A JP2009207313 A JP 2009207313A JP 2009207313 A JP2009207313 A JP 2009207313A JP 5366248 B2 JP5366248 B2 JP 5366248B2
Authority
JP
Japan
Prior art keywords
reaction
amount
driver
video
driving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009207313A
Other languages
Japanese (ja)
Other versions
JP2011059269A (en
Inventor
正義 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shinshu University NUC
Original Assignee
Shinshu University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shinshu University NUC filed Critical Shinshu University NUC
Priority to JP2009207313A priority Critical patent/JP5366248B2/en
Publication of JP2011059269A publication Critical patent/JP2011059269A/en
Application granted granted Critical
Publication of JP5366248B2 publication Critical patent/JP5366248B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an automobile driving cognitive action evaluation device which grasps how serious danger a driver recognizes and predicts, and further grasps whether the driver takes an action corresponding to the danger when a video image is presented to the driver to make the driver perform simulation driving. <P>SOLUTION: The automobile driving cognitive action evaluation device 1 is provided with: a video display device 9 which displays a video image of a running road including caution needed states requiring caution in vehicle driving on a display 8 arranged in front of a simulation driver's seat 2; a sweating amount sensor 6 which detects a sweating amount of palm parts of the driver; a skin potential sensor 7 which detects skin potential reflection of the palm parts; a brake pedal treading amount sensor 3a which detects a treading amount of a brake pedal 3; an acceleration pedal treading amount sensor 4a which detects a treading amount of an acceleration pedal 4; and a computer 10 which records the respective detected values to be detected by the respective sensors. <P>COPYRIGHT: (C)2011,JPO&amp;INPIT

Description

本発明は、車両運転をシミュレートさせて、運転者の運転能力を評価しうる自動車運転認知行動評価装置に関するものである。   The present invention relates to an automobile driving cognitive behavior evaluation apparatus that can simulate driving of a vehicle and evaluate the driving ability of the driver.

運転シミュレータを用いて、自動車の運転を模擬的に行わせて、運転者の運転能力や運転傾向などの運転特性を評価することが行われている。このような運転シミュレータは、自動車教習所や運転免許センターなどに設置されて、運転者の運転特性を把握することが行われている。特に近年では、高齢者による自動車事故の増加が問題となっており、高齢者の免許更新の講習にも運転シミュレータが使用されている。   Driving characteristics such as driving ability and driving tendency of a driver are evaluated by driving a car in a simulated manner using a driving simulator. Such a driving simulator is installed in a driving school, a driving license center, or the like to grasp the driving characteristics of the driver. In particular, in recent years, an increase in car accidents caused by elderly people has become a problem, and driving simulators are also used in classes for renewing licenses for elderly people.

例えば特許文献1には、アイカメラを装着した運転者に、安全運転のために注意を要すべき走行路と相対的に注意を要しない走行路とをそれぞれ模擬的に走行させ、運転者の視線の移動量を検出して、その移動量に基づいて運転能力が優れているか否かを判別する運転シミュレータ装置が開示されている。   For example, in Patent Document 1, a driver wearing an eye camera is caused to travel in a simulated manner on a road that requires attention for safe driving and a road that does not require relative attention. A driving simulator device is disclosed that detects the amount of movement of the line of sight and determines whether or not the driving ability is excellent based on the amount of movement.

この特許文献1に記載された運転シミュレータでは、一時停止交差点や五交差路において、大きく視線が移動している運転者ほど運転能力が高いと判別している。   In the driving simulator described in Patent Document 1, it is determined that the driving ability of the driver whose line of sight is moving greatly is higher at the temporary stop intersection and the five intersections.

しかしながら、自動車の運転では、例えば、信号が青から黄色に変わった状況や、信号待ちの車両に近づいて停車する状況、子供が集団で歩いている状況など、数多くの安全運転のために注意を要すべき状況(要注意状況)がある。さらにこれらの中にも、注意を要する程度の異なる状況、つまり、危険性の低いものから高いものまで種々の状況がある。特許文献1に記載された運転シミュレータでは、このような種々の状況を含む映像を表示させたときに、運転者がその状況に応じて、危険性の高低を正確に認知し、または予測しているかを判別することは難しい。   However, when driving a car, for example, when the signal turns from blue to yellow, when approaching a vehicle waiting for a traffic light, or when a group of children are walking together, attention should be paid for numerous safe driving. There is a situation that needs attention (a situation requiring attention). Furthermore, among these, there are various situations that require attention, that is, low to high risk situations. In the driving simulator described in Patent Document 1, when a video including such various situations is displayed, the driver accurately recognizes or predicts the level of danger according to the situation. It is difficult to determine whether

ここで危険性の認知とは、人の飛び出し状況のように、状況そのものに高い危険性があって運転者がその危険性を直接認知することをいい、危険性の予測とは、見通しの悪い交差点のように、人の飛び出しなどの潜在的な危険性を有する状況で、運転者がその危険性が生じるかもしれないことを予測(推測)することをいう。   Here, perception of danger means that there is a high danger in the situation itself, such as the situation of a person jumping out, and the driver directly recognizes the danger. Prediction of danger is a bad outlook. It means that the driver predicts (guesses) that the danger may arise in a situation where there is a potential danger such as a jump out of a person like an intersection.

特開2005−326504号公報JP 2005-326504 A

本発明は前記の課題を解決するためになされたもので、運転者に映像を提示して模擬運転をさせたときに、その映像から運転者がどの程度の危険性があると認知、予測しているかを把握することができ、さらにその危険性に対応した行動をとっているかを把握することのできる自動車運転認知行動評価装置を提供することを目的とする。   The present invention has been made in order to solve the above-described problems. When a driver is presented with a video and simulated driving is performed, the driver recognizes and predicts how dangerous the video is. It is an object of the present invention to provide a vehicle driving recognition behavior evaluation device that can grasp whether or not the person is taking action corresponding to the danger.

前記の目的を達成するためになされた、特許請求の範囲の請求項1に記載された自動車運転認知行動評価装置は、模擬運転席の前方に配されたディスプレイに、車両運転に際して注意を要する要注意状況を含む走行路の映像を表示させる映像表示装置と、
該模擬運転席に着座する運転者の手掌部に装着されてその発汗量を検出する発汗量センサと、
該手掌部に装着されてその皮膚電位反射を検出する皮膚電位センサと、
該模擬運転席に設けられた操作デバイスの操作量を検出する操作量センサと、
これらの各センサによって検出される各々の検出値を記録する記録部とを、備え
該映像表示装置が該要注意状況の映像を表示させた時点から、該皮膚電位センサによって検出される該皮膚電位反射が最初に所定値を超えて変動する時を判別して、さらにその変動が開始し始める反応開始時点を特定し、この反応開始時点までの反応潜時を計測して、該反応潜時を該記録部に記録する反応潜時計測部と、
該発汗量センサによって検出される該発汗量が、該反応開始時点の後に最初に迎えるピーク値を特定し、このピーク値を反応量として該記録部に記録する反応量検知部とを、さらに備えていることを特徴とする。
The vehicle driving cognitive behavior evaluation apparatus according to claim 1, which has been made to achieve the above object, requires attention when driving a vehicle on a display arranged in front of a simulated driver's seat. An image display device for displaying an image of a road including a caution situation;
A sweat amount sensor that is mounted on the palm of the driver sitting in the simulated driver's seat and detects the sweat amount;
A skin potential sensor that is mounted on the palm and detects the skin potential reflection;
An operation amount sensor for detecting an operation amount of an operation device provided in the simulated driver's seat;
A recording unit for recording each detected value detected by each of these sensors ,
It is determined when the skin potential reflection detected by the skin potential sensor first fluctuates beyond a predetermined value from the time when the video display device displays the video of the situation requiring attention. Identifying a reaction start time to start, measuring a reaction latency until this reaction start time, and recording the reaction latency in the recording unit; and
A reaction amount detection unit that identifies the peak value that the sweating amount detected by the sweating amount sensor first reaches after the reaction start time, and records the peak value as a reaction amount in the recording unit; It is characterized by.

同じく請求項2に記載された自動車運転認知行動評価装置は、前記請求項1に記載の自動車運転認知行動評価装置であって、前記映像表示装置に表示させる前記映像が、前記走行路を運転者の視線から見た映像であることを特徴とする。 Similarly, the vehicle driving recognition behavior evaluation device according to claim 2 is the vehicle driving recognition behavior evaluation device according to claim 1, wherein the video displayed on the video display device is displayed on the driving road. It is the image seen from the line of sight .

請求項3に記載された自動車運転認知行動評価装置は、請求項1または2に記載されたもので、前記反応潜時および前記反応量に基づいて前記運転者の運転特性を判定する判定部を備えることを特徴とする。 The vehicle driving cognitive behavior evaluation device according to claim 3 is the device according to claim 1 or 2, and includes a determination unit that determines the driving characteristics of the driver based on the reaction latency and the reaction amount. It is characterized by providing.

請求項4に記載された自動車運転認知行動評価装置は、請求項1から3のいずれかに記載されたもので、前記映像表示装置は、先に表示させる前記要注意状況による前記手掌部の発汗が終了する所定の時間間隔を少なくとも空けてから、次の該要注意状況を表示させることを特徴とする。   The vehicle driving cognitive behavior evaluation device according to claim 4 is the device according to any one of claims 1 to 3, wherein the video display device sweats the palm part according to the cautionary situation to be displayed first. At least a predetermined time interval for ending is displayed, and then the next cautionary situation is displayed.

請求項5に記載された自動車運転認知行動評価装置は、請求項1から4のいずれかに記載されたもので、前記操作デバイスが、ブレーキペダル、アクセルペダル、および/またはハンドルであることを特徴とする。   According to a fifth aspect of the present invention, there is provided the vehicle driving cognitive behavior evaluation apparatus according to any one of the first to fourth aspects, wherein the operation device is a brake pedal, an accelerator pedal, and / or a steering wheel. And

本発明の自動車運転認知行動評価装置によれば、手掌部の発汗量を検出する発汗量センサ、および手掌部の皮膚電位反射を検出する皮膚電位センサの検出値を、映像の進行に合わせて記録部が記録することにより、その記録から、要注意状況映像が表示されたときの発汗量の大小で運転者が認知、予測した危険性の高低を装置オペレータが把握できる。手掌部の発汗量は個人差があることから、エクリン汗腺の活動指標となる皮膚電位反射を検出することで、その変動の開始時点によって運転者の反応開始時点を同定できるので反応潜時を把握することができる。したがって、運転者が要注意状況の映像を視認してからどの程度の時間で危険性を認知、予測したかの反応潜時、および運転者の認知、予測した危険性の程度がわかるので、本装置を運転者の運転特性の評価に用いることができる。つまり短時間で危険性を認知、予測し、かつ、要注意状況の危険性の程度を正しく認知、予測している運転者は、運転特性が優れていると把握できる。逆に、反応潜時が長かったり、危険性を正しく認知、予測できていない運転者は、運転特性が劣っていると把握できる。また、模擬運転席に設けられた操作デバイスの操作量が記録されるので、要注意状況に対応して運転者が正しく運転操作を行ったか否かを装置オペレータが把握して、運転特性を判断することができる。   According to the vehicle driving cognitive behavior evaluation apparatus of the present invention, the detection value of the perspiration amount sensor for detecting the perspiration amount of the palm and the skin potential sensor for detecting the skin potential reflection of the palm is recorded in accordance with the progress of the video. By recording the unit, the device operator can grasp the level of the risk recognized and predicted by the driver based on the amount of sweating when the attention required situation image is displayed. Since there are individual differences in the amount of sweat in the palm, by detecting the skin potential reflex as an activity index of the eccrine sweat gland, the driver's reaction start time can be identified by the start time of the fluctuation, so the reaction latency is grasped can do. Therefore, it is possible to know the reaction latency of how long the driver recognized and predicted the danger after viewing the video of the situation requiring attention, and the driver's recognition and the predicted risk level. The device can be used to evaluate the driving characteristics of the driver. That is, a driver who recognizes and predicts danger in a short time and correctly recognizes and predicts the degree of danger in a situation requiring attention can understand that the driving characteristics are excellent. On the other hand, a driver who has a long reaction latency or who has not correctly recognized or predicted the danger can recognize that the driving characteristics are inferior. In addition, since the amount of operation of the operation device provided in the simulated driver's seat is recorded, the equipment operator can determine whether the driver has correctly operated in response to the situation requiring attention, and determine the driving characteristics. can do.

本装置を運転教習所に設置することで、受講者の運転特性に応じた教習を行うことができる。例えば、要注意映像が表示されているにも関わらず、受講者の反応潜時が遅かったり、危険性を正しく認知、予測していないと把握されるときには、要注意映像のどの部分に注意する必要があって、どのように運転操作すればよいかを、指導者は教えることができる。また、指導後に再度本装置を使わせることで、受講者の運転特性が向上しているか否かを確認することができる。   By installing this device at a driving school, it is possible to perform training according to the driving characteristics of the students. For example, if the student's response latency is slow or it is understood that the danger is not correctly recognized or predicted despite the video that needs attention, be careful of which part of the video needs attention The leader can teach you how to operate and drive. Moreover, it is possible to confirm whether or not the driving characteristics of the student are improved by using the apparatus again after the instruction.

また、高齢者を対象とする免許更新の講習に本装置を用いることで、運転の際に一番重要な危険性の認知、予測に対する運転特性が把握できるので、運転特性が低いと把握される高齢者には充分に講習を行うことで交通事故の発生を防止することができる。また、本装置を病院に設置することで、患者の反応がわかるので、リハビリテーションに用いてもよい。   In addition, by using this device for license renewal training for elderly people, it is possible to recognize the most important dangers when driving and to understand the driving characteristics for prediction, so it is understood that the driving characteristics are low The occurrence of traffic accidents can be prevented by providing sufficient training for the elderly. Moreover, since this apparatus is installed in a hospital, the patient's reaction can be understood, so it may be used for rehabilitation.

本発明の自動車運転認知行動評価装置によれば、反応潜時計測部が要注意状況の表示された時点から反応開始時点までの反応潜時を計測し、反応量検知部が反応開始時点後に最初に迎えるピーク値を反応量として記録するため、装置オペレータは、記録を確認するだけで反応潜時および反応量を簡便に把握でき、ひいては運転者の運転特性を簡便に把握することができる。   According to the vehicle driving cognitive behavior evaluation apparatus of the present invention, the reaction latency measuring unit measures the reaction latency from the time when the cautionary situation is displayed to the reaction start time, and the reaction amount detection unit first after the reaction start time. Since the peak value at the point is recorded as the reaction amount, the device operator can simply grasp the reaction latency and the reaction amount simply by confirming the record, and as a result, can easily grasp the driving characteristics of the driver.

本発明の自動車運転認知行動評価装置によれば、判定部が、反応潜時および反応量に基づいて運転者の運転特性を判定するため、装置オペレータの判断が不要になるので、誰でも本装置を扱うことができるし、いずれの場所にも本装置を設置することができる。   According to the vehicle driving recognition behavior evaluation device of the present invention, since the determination unit determines the driving characteristics of the driver based on the reaction latency and the reaction amount, the device operator does not need to be determined. This device can be installed anywhere.

本発明の自動車運転認知行動評価装置によれば、映像表示装置が、前の要注意状況の映像を表示させてから、少なくとも手掌部の発汗が終了する所定の時間間隔を空けて、次の要注意状況の映像を表示させることにより、いずれの要注意映像による反応であるかを明確に切り分けることができるため、要注意状況に応じた運転者の反応を正確に把握することができる。   According to the vehicle driving cognitive behavior evaluation apparatus of the present invention, after the video display device displays the video of the previous situation requiring attention, at least a predetermined time interval at which the sweating of the palm portion ends is left, By displaying the image of the caution situation, it is possible to clearly identify which of the caution images is the reaction, so that the driver's reaction corresponding to the caution situation can be accurately grasped.

本発明の自動車運転認知行動評価装置によれば、ブレーキペダル、アクセルペダル、および/またはハンドルの操作量が記録されるので、運転者の運転操作を把握することができる。ブレーキペダルの操作量を記録すると、危険性に応じてブレーキが踏まれたか否かを判断でき、アクセルペダルの操作量を記録すると、危険性に応じてアクセルが戻されているか否かを判断でき、ハンドルの操作量を記録すると危険を避けているか否か、またふら付いた操作をしているか否かを把握することができる。したがって、運転者の運転特性を操作面から把握することができる。   According to the vehicle driving recognition behavior evaluation device of the present invention, the operation amount of the brake pedal, the accelerator pedal, and / or the steering wheel is recorded, so that the driving operation of the driver can be grasped. If the amount of brake pedal operation is recorded, it can be determined whether or not the brake has been depressed according to the danger, and if the amount of operation of the accelerator pedal is recorded, it can be determined whether or not the accelerator has been returned according to the risk. When the operation amount of the handle is recorded, it is possible to grasp whether or not danger is avoided and whether or not the operation is staggered. Therefore, the driving characteristics of the driver can be grasped from the operation surface.

本発明を適用する自動車運転認知行動評価装置の概要を示す構成図である。It is a block diagram which shows the outline | summary of the motor vehicle driving | operation recognition behavior evaluation apparatus to which this invention is applied. 上記の自動車運転認知行動評価装置のディスプレイに表示させる要注意状況を含む走行路の映像の一例を示す図である。It is a figure which shows an example of the image | video of the driving | running route containing the attention required situation displayed on the display of said motor vehicle driving recognition action evaluation apparatus. 要注意状況を連続して表示させた場合の手掌部発汗量の一例を示す波形図である。It is a wave form diagram which shows an example of the palm part sweating amount at the time of displaying a situation requiring attention continuously. 手掌部発汗量および手掌部の皮膚電位反射の一例を示す波形図である。It is a wave form diagram which shows an example of the amount of perspiration of a palm part, and skin potential reflection of a palm part. 本発明を適用する別の自動車運転認知行動評価装置の電気構成図である。It is an electrical block diagram of another motor vehicle driving recognition behavior evaluation apparatus to which the present invention is applied. 本発明の自動車運転認知行動評価装置で記録した「市街地コース」映像による各反応波形図である。It is each reaction waveform figure by the "urban area course" image | video recorded with the motor vehicle recognition recognition apparatus of this invention. 本発明の自動車運転認知行動評価装置で記録した「市街地コース」映像による被験者30名の平均反応波形図である。It is an average reaction waveform figure of 30 test subjects by the “city course” image recorded by the vehicle driving recognition behavior evaluation device of the present invention. 本発明の自動車運転認知行動評価装置で記録した「住宅地コース」映像による被験者30名の平均反応波形図である。It is the average reaction waveform figure of 30 test subjects by the "residential area course" image | video recorded with the motor vehicle recognition recognition apparatus of this invention. 本発明の自動車運転認知行動評価装置で記録した「市街地コース」と「住宅地コース」映像の中から手掌部発汗量が多かった場面と少なかった場面の反応量を比較したグラフである。It is the graph which compared the reaction amount of the scene where there was much palm part sweating volume from the "urban area course" and the "residential course" image | video recorded with the motor vehicle recognition recognition behavior evaluation apparatus of this invention. 本発明の自動車運転認知行動評価装置で記録した「市街地コース」映像を用いて2回実験したときの1回目と2回目の25名の平均波形図である。It is the average waveform figure of 25 persons of the 1st time and the 2nd time when it experimented twice using the "city course" image | video recorded with the motor vehicle recognition recognition apparatus of this invention. 本発明の自動車運転認知行動評価装置で記録した「歩行者飛び出し」映像を表示したときの手掌部発汗、皮膚電位反射、ブレーキ動作の各反応波形図である。It is each reaction waveform diagram of palm part perspiration, skin potential reflection, and brake operation when displaying a “pedestrian jumping” video recorded by the automobile driving cognitive behavior evaluation apparatus of the present invention. 本発明の自動車運転認知行動評価装置で記録した「歩行者飛び出し」映像を表示したときの手掌部発汗、皮膚電位反射、ブレーキ動作の被験者30名の潜時を比較したグラフである。It is the graph which compared the latency of 30 test subjects of palm part perspiration, skin potential reflection, and brake operation when displaying the “pedestrian jumping” video recorded by the automobile driving cognitive behavior evaluation apparatus of the present invention. 20歳女性と80歳男性を被験者としたときの「市街地コース」映像による各反応波形図である。It is each reaction waveform figure by the "city course" image when 20 years old woman and 80 years old man are made into a test subject.

以下、本発明の実施形態を詳細に説明するが、本発明の範囲はこれらの実施形態に限定されるものではない。   Hereinafter, although embodiment of this invention is described in detail, the scope of the present invention is not limited to these embodiment.

本発明の自動車運転認知行動評価装置の一態様を、図1を参照しながら説明する。自動車運転認知行動評価装置1は、模擬運転席2に操作デバイスとしてブレーキペダル3、アクセルペダル4、およびハンドル5が設けられると共に、ブレーキペダル踏込量センサ3a、アクセルペダル踏込量センサ4a、発汗量センサ6、皮膚電位センサ7、ディスプレイ8、映像表示装置9、コンピュータ10、A/D(アナログ/ディジタル)変換器11、スピーカー12を備えている。   One aspect of the vehicle driving recognition behavior evaluation apparatus of the present invention will be described with reference to FIG. The vehicle driving recognition behavior evaluation apparatus 1 is provided with a brake pedal 3, an accelerator pedal 4 and a handle 5 as operation devices in the simulated driver's seat 2, and a brake pedal depression amount sensor 3a, an accelerator pedal depression amount sensor 4a, and a sweat amount sensor. 6, skin potential sensor 7, display 8, video display device 9, computer 10, A / D (analog / digital) converter 11, and speaker 12.

模擬運転席2は、自動車の運転席を模したもので、非図示の椅子に運転者を着座させて、運転者にブレーキペダル3、アクセルペダル4、およびハンドル5の運転操作を模擬させるものである。   The simulated driver's seat 2 simulates the driver's seat of an automobile, and a driver is seated on a chair (not shown) so that the driver can simulate the operation of the brake pedal 3, the accelerator pedal 4, and the handle 5. is there.

ブレーキペダル3の根元には、その踏み込み量を検出してその検出値を電気信号で出力するブレーキペダル踏込量センサ3a(操作量センサの一例)が付されている。同様に、アクセルペダル4の根元には、その踏み込み量を検出してその検出値を電気信号で出力するアクセルペダル踏込量センサ4a(操作量センサの他の一例)が付されている。センサ3a,4aは、一例として、ポテンショメータであり、非図示の電源が接続されて、踏込量に応じたアナログ電気信号を出力する。踏込量センサ3a,4aは、A/D変換器11に接続されている。   At the base of the brake pedal 3, a brake pedal depression amount sensor 3a (an example of an operation amount sensor) that detects the depression amount and outputs the detected value as an electric signal is attached. Similarly, at the base of the accelerator pedal 4, an accelerator pedal depression amount sensor 4a (another example of the operation amount sensor) that detects the depression amount and outputs the detected value as an electric signal is attached. The sensors 3a and 4a are potentiometers as an example, and a power source (not shown) is connected to output an analog electric signal corresponding to the depression amount. The depression amount sensors 3 a and 4 a are connected to the A / D converter 11.

発汗量センサ6は、そのプローブが模擬運転席2に着座する運転者の手掌部(共に非図示)に装着されて、手掌部の発汗量を検出して電気信号で出力するものである。   The sweating amount sensor 6 is mounted on a palm part (both not shown) of a driver who sits on the simulated driver's seat 2 to detect the sweating amount of the palm part and output it as an electrical signal.

皮膚電位センサ7は、そのプローブが手掌部に装着されて皮膚電位反射(SPR:Skin Potential Response)を検出して電気信号で出力するものである。皮膚電位反射は、皮膚電位の反応成分(交流成分)である。   Skin potential sensor 7 has a probe attached to the palm, detects skin potential response (SPR), and outputs an electrical signal. Skin potential reflex is a reaction component (alternating current component) of skin potential.

発汗量センサ6および皮膚電位センサ7の出力は、各々A/D変換器11に接続されている。発汗量センサ6および皮膚電位センサ7としては、公知の各種のものを用いることができる。   The outputs of the sweating amount sensor 6 and skin potential sensor 7 are each connected to an A / D converter 11. As the sweating amount sensor 6 and the skin potential sensor 7, various known ones can be used.

模擬運転席2の前方には、一例として液晶パネルのディスプレイ8が配置されている。ディスプレイ8は、スクリーンおよびプロジェクタで構成してもよい。ディスプレイ8の両脇にはスピーカー12が配置されている。ディスプレイ8およびスピーカー12は、各々映像表示装置9に接続されている。   As an example, a liquid crystal panel display 8 is arranged in front of the simulated driver's seat 2. The display 8 may be composed of a screen and a projector. Speakers 12 are arranged on both sides of the display 8. The display 8 and the speaker 12 are each connected to the video display device 9.

映像表示装置9は、ディスプレイ8に、車両運転に際して注意を要する要注意状況を含む走行路の映像を表示させるものである。具体的には、映像は、車両運転に際して相対的に注意を要しない例えば信号のない直線路を走行する映像の途中に要注意状況を出現させるものである。この要注意状況には、すでに前述したものの他にも、一時停止標識が現れる状況、駐車車両を追い越す状況、脇道から人や自転車等が飛び出しそうになる、または飛び出してしまった状況などの種々の状況がある。図2に、一例として、自転車22が交差点で走行路21に急に飛び出しそうになる要注意状況を含む走行路の映像(要注意映像)20を模式的に示す。   The video display device 9 causes the display 8 to display a video of the traveling road including a situation requiring attention when driving the vehicle. Specifically, the video is a video that causes a cautionary situation to appear in the middle of a video that travels on a straight road without a signal, for example. In addition to those already mentioned above, there are various situations such as a situation where a stop sign appears, a situation where a parked vehicle is overtaken, a situation where a person or a bicycle is about to jump out of a side road, or a situation where it has jumped out. There is a situation. FIG. 2 schematically shows, as an example, a road image (caution image) 20 including a cautionary situation in which the bicycle 22 is likely to suddenly jump out of the road 21 at the intersection.

映像に、このような様々な要注意状況を表示させる場合、先の要注意状況を表示させてから次の要注意状況を表示させるまでの時間間隔は、先の要注意状況の発汗反応が終了するだけの所定の時間間隔を少なくとも空けることが好ましい。図3に手掌部の発汗量の変動波形の一例を示す。同図に示すように、比較的短い時間間隔のタイミングS1、S2で要注意状況を表示する場合には、発汗反応が重なり合ってしまい、いずれの要注意状況による反応か区別がつきにくくなる。そのため、同図に示すように、タイミングS1’で表示させた要注意状況の発汗反応が終了する所定の時間間隔を開けてからタイミングS2’で要注意状況を表示させる方がよい。この所定の時間間隔は、要注意状況の危険性の程度によって異なるが、一例として、10〜30秒程度である。また、先の要注意状況と後の要注意状況の間には、運転者を安心させるために停車映像や見通しの良い直線路を入れることが好ましい。   When displaying such various caution situations on the video, the sweating reaction of the previous caution situation is completed during the time interval from displaying the previous caution situation to displaying the next caution situation. It is preferable to leave at least a predetermined time interval. FIG. 3 shows an example of the fluctuation waveform of the sweating amount of the palm. As shown in the figure, when the caution situation is displayed at the timings S1 and S2 of a relatively short time interval, the sweating reactions overlap, making it difficult to distinguish between the caution situations. For this reason, as shown in the figure, it is better to display the caution situation at timing S2 'after a predetermined time interval for the completion of the sweat reaction in the caution situation displayed at timing S1'. This predetermined time interval varies depending on the degree of danger in the situation requiring attention, but is about 10 to 30 seconds as an example. In addition, it is preferable that a stop road image or a straight road with a good line of sight is inserted between the preceding caution situation and the subsequent caution situation in order to relieve the driver.

図1に示す映像表示装置9は、必要に応じて、スピーカー12から運転中の周囲音を出力させてもよい。周囲音をスピーカー12から流すことで、運転の臨場感が増すため好ましい。またその場合、スピーカー12を模擬運転席2の近くに配置した方が運転者に対して大きな音量で聞かせることが出来るので一層好ましい。   The video display device 9 shown in FIG. 1 may output ambient sound during operation from the speaker 12 as necessary. It is preferable to allow ambient sound to flow from the speaker 12 because the presence of driving increases. In that case, it is more preferable to arrange the speaker 12 near the simulated driver's seat 2 because the driver can hear the speaker at a loud volume.

映像表示装置9は、映像をディスプレイ8に表示させるものであれば特に限定されず公知の装置を用いることができる。一例として、このような映像およびその周囲音をDVD(Digital Versatile Disc)に予め録画しておきDVD再生機で再生することで視聴覚映像を表示させてもよい。図1では、映像表示装置9として、DVD再生機能付きのパーソナルコンピュータでDVDの映像を再生させる例を図示している。この場合、映像は記録されたものであるので、模擬運転席2の操作に対応して車速や進行方向の変化は無いが、後述する実験結果に示すように、DVDに記録された映像であっても、運転者の危険性の認知、予測の程度を把握することができる。なお、映像表示装置9は、コンピュータを用いて、模擬運転席2の操作に対応させて車速や進行方向などを変化させる映像(コンピュータ グラフィックス映像)を生成するものであってもよい。   The video display device 9 is not particularly limited as long as it displays video on the display 8, and a known device can be used. As an example, such an image and its surrounding sound may be recorded in advance on a DVD (Digital Versatile Disc) and reproduced by a DVD player to display an audiovisual image. FIG. 1 shows an example in which a DVD video is played back by a personal computer with a DVD playback function as the video display device 9. In this case, since the video is recorded, there is no change in the vehicle speed or the traveling direction in response to the operation of the simulated driver's seat 2, but the video is recorded on the DVD as shown in the experimental results described later. However, it is possible to recognize the danger of the driver and the degree of prediction. The video display device 9 may be a computer that generates a video (computer graphics video) that changes the vehicle speed, the traveling direction, or the like in response to the operation of the simulated driver's seat 2.

A/D変換器11は、センサ3a,4a,6,7から出力される各々のアナログ電気信号を、一例としてサンプリング周波数10Hzでディジタル電気信号に変換して、コンピュータ10に出力する。   The A / D converter 11 converts each analog electrical signal output from the sensors 3 a, 4 a, 6, and 7 into a digital electrical signal at a sampling frequency of 10 Hz, for example, and outputs the digital electrical signal to the computer 10.

コンピュータ10は、例えば市販のパーソナルコンピュータであって、本発明における記録部に相当し、A/D変換器11を介して入力されるセンサ3a,4a,7,8の検出した検出値を、内蔵するハードディスクに記録する。またコンピュータ10は、記録したそれら検出値を画面上にグラフ表示させてもよく、プリンター(非図示)に印刷させてもよい。   The computer 10 is, for example, a commercially available personal computer, corresponds to a recording unit in the present invention, and has built-in detection values detected by the sensors 3a, 4a, 7, 8 input via the A / D converter 11. Record to the hard disk. In addition, the computer 10 may display the recorded detection values in a graph on a screen, or may print them on a printer (not shown).

次に、自動車運転認知行動評価装置1の動作および使用方法について説明する。   Next, operation | movement and the usage method of the motor vehicle driving | operation recognition behavior evaluation apparatus 1 are demonstrated.

予め模擬運転席2に着座する運転者の手掌部に、発汗量センサ6および皮膚電位センサ7を装着する。装置オペレータが映像表示装置9にDVDの再生を開始させると同時に、コンピュータ10にセンサ3a,4a,7,8の検出値の記録を開始させる。これによりコンピュータ10は、映像表示装置9が表示させる映像の進行に合わせてこれら検出値を記録する。   A sweating amount sensor 6 and a skin potential sensor 7 are attached to the palm of the driver who sits in the simulated driver's seat 2 in advance. The device operator causes the video display device 9 to start reproducing the DVD, and at the same time, causes the computer 10 to start recording the detection values of the sensors 3a, 4a, 7, and 8. As a result, the computer 10 records these detection values as the video displayed by the video display device 9 progresses.

運転者は、ディスプレイ8に表示される走行路の映像を見ながら模擬運転を行う。この際に、スピーカー12からは映像を録画した際の周囲音が流れる。   The driver performs a simulated driving while looking at the image of the traveling road displayed on the display 8. At this time, ambient sound when video is recorded flows from the speaker 12.

映像の進行と共に、走行路に要注意状況が現れる。その際に記録される発汗量センサ6および皮膚電位センサ7の検出値の記録波形例を図4に示す。同図では、時間の進行と共に検出値をグラフ表示している。   As the video progresses, a cautionary situation appears on the road. FIG. 4 shows an example of recording waveforms of detection values of the sweating amount sensor 6 and the skin potential sensor 7 recorded at that time. In the figure, the detected values are displayed in a graph as time progresses.

同図に示すように、要注意状況が出現したとき、発汗量は増加する。その発汗量の大小で運転者の反応の程度を把握することができるが、変動が小さい場合には反応開始時点を同定しにくい。一方皮膚電位反射は反応量の評価はし難いが、同図に示すように反応開始時点を把握しやすい。つまり、要注意状況の現れた後に皮膚電位反射が大きく変動を開始した時を、反応開始時点とすることができるので反応潜時を評価することができる。また、その反応開始時点からの発汗量の増加の程度で運転者がどの程度の危険性があると認知、予測したかを評価することができる。   As shown in the figure, when the situation requiring attention appears, the amount of sweat increases. Although the degree of the sweating amount can grasp the degree of the driver's reaction, it is difficult to identify the reaction start time when the fluctuation is small. On the other hand, the skin potential reflex is difficult to evaluate the reaction amount, but it is easy to grasp the reaction start time as shown in the figure. That is, since the time when the skin potential reflection starts to fluctuate greatly after the occurrence of a caution situation can be set as the reaction start time, the reaction latency can be evaluated. In addition, it is possible to evaluate how much danger the driver recognizes and predicts from the degree of increase in the amount of sweating from the start of the reaction.

また、要注意状況に応じてブレーキペダル5およびアクセルペダル6が正しく操作されているかを記録から把握することもできる。   Further, it can be grasped from the record whether the brake pedal 5 and the accelerator pedal 6 are correctly operated according to the situation requiring attention.

なお、図1に波線で示すように、ハンドル5の軸部にハンドルの回転量を検出する回転量センサ5a(操作量センサの一例)を備え、その検出値を記録することもできる。操作量センサは、ブレーキペダル3、アクセルペダル4およびハンドル5のいずれか一つにまたはこれらを組み合わせて配して、その操作量を記録してもよい。その中でも危険性を回避するために最も操作が必要なブレーキペダル3に操作量センサを配することが好ましい。   As indicated by the wavy line in FIG. 1, a rotation amount sensor 5a (an example of an operation amount sensor) that detects the rotation amount of the handle is provided in the shaft portion of the handle 5, and the detected value can be recorded. The operation amount sensor may be arranged on any one of the brake pedal 3, the accelerator pedal 4, and the handle 5 or a combination thereof, and record the operation amount. Among them, it is preferable to arrange an operation amount sensor on the brake pedal 3 that requires the most operation in order to avoid danger.

また、映像表示装置9とコンピュータ10とを電気的に接続して、映像の開始に同期させてコンピュータ10にセンサ3a〜7の検出値の記録を自動的に開始させ、映像の終了に同期させて記録を自動的に終了させてもよい。   Further, the video display device 9 and the computer 10 are electrically connected to synchronize with the start of the video so that the computer 10 automatically starts recording the detection values of the sensors 3a to 7 and synchronizes with the end of the video. Recording may be terminated automatically.

また、模擬運転席2、ディスプレイ8、映像表示装置9、コンピュータ10、A/D変換器11、およびスピーカー12を一体的に構成してもよい。   Further, the simulated driver's seat 2, the display 8, the video display device 9, the computer 10, the A / D converter 11, and the speaker 12 may be integrally configured.

次に本発明の自動車運転認知行動評価装置の別の一態様を、図5を参照しながら説明する。同図は、自動車運転認知行動評価装置1aの電気系統図である。なお、すでに説明した構成には同じ符号を付して詳細な説明を省略する。   Next, another aspect of the vehicle driving recognition behavior evaluation apparatus of the present invention will be described with reference to FIG. The figure is an electrical system diagram of the automobile driving recognition behavior evaluation device 1a. In addition, the same code | symbol is attached | subjected to the already demonstrated structure, and detailed description is abbreviate | omitted.

同図に示す自動車運転認知行動評価装置1aは、自動車運転認知行動評価装置1のコンピュータ10をコンピュータ10aに換えた点、および映像評価装置9をこのコンピュータ10aに接続した点が、自動車運転認知行動評価装置1と異なっている。   The vehicle driving recognition behavior evaluation device 1a shown in FIG. 1 is that the computer 10 of the vehicle driving recognition behavior evaluation device 1 is replaced with a computer 10a, and that the video evaluation device 9 is connected to the computer 10a. Different from the evaluation device 1.

コンピュータ10aは、例えば市販のパーソナルコンピュータであって、本発明における記録部、反応潜時計測部、反応検知部、判定部に相当するものである。このコンピュータ10aは、センサ3a〜7の検出値をハードディスク(記録部)に記録する。また、コンピュータ10aは、反応潜時計測部として、映像表示装置9が要注意状況の映像を表示させた時点から、皮膚電位センサ7によって検出される皮膚電位反射が最初に所定値を超えて変動する時を判別して、さらにその変動が開始し始める反応開始時点を特定し、要注意映像の表示時点からこの反応開始時点までの反応潜時を計測して、この反応潜時を要注意映像に対応させて、ハードディスク(記録部)に記録する。   The computer 10a is a commercially available personal computer, for example, and corresponds to a recording unit, a reaction latency measurement unit, a reaction detection unit, and a determination unit in the present invention. The computer 10a records the detection values of the sensors 3a to 7 on a hard disk (recording unit). In addition, the computer 10a serves as a reaction latency measurement unit, and the skin potential reflection detected by the skin potential sensor 7 first fluctuates beyond a predetermined value from the time when the video display device 9 displays the video of the situation requiring attention. The response start time is identified, the response start time from the time when the attention video is displayed to the time when this reaction starts is measured, and the response latency is displayed. Corresponding to, record on the hard disk (recording unit).

またコンピュータ10aは、反応量検知部として、発汗量センサ6によって検出される発汗量が、反応潜時計測部の検出した反応開始時点の後に最初に迎えるピーク値を特定し、このピーク値を反応量として要注意映像に対応させて記録部に記録する。コンピュータ10aは、ハードディスクに、センサ3a〜7による検出値と、反応潜時および反応量とを区別可能に別個に記録する。   Further, the computer 10a, as a reaction amount detection unit, specifies a peak value that the sweat amount detected by the sweat amount sensor 6 first reaches after the reaction start time detected by the reaction latency measurement unit, and reacts this peak value to the reaction amount detection unit. The amount is recorded on the recording unit corresponding to the video requiring attention. The computer 10a records on the hard disk separately the values detected by the sensors 3a to 7, the reaction latency and the reaction amount in a distinguishable manner.

またコンピュータ10aは、判定部として、反応潜時および反応量に基づいて運転者の運転特性を判定する。   Moreover, the computer 10a determines a driving | operation characteristic of a driver | operator as a determination part based on reaction latency and reaction amount.

具体的には、コンピュータ10aは、例えば、映像表示装置9を制御したり、映像表示装置9から出力される映像開始からの経過時間(以下単に映像経過時間ともいう)を入力されることで、映像の表示開始時点や、映像経過時間を特定可能に構成されている。コンピュータ10aは、各センサ3a〜7の検出値を、映像経過時間と共に記録部に記録する。また、コンピュータ10aの記録部には、予め、要注意状況が表示開始される映像経過時間(以下、要注意状況開始時間ともいう)が記録されている。   Specifically, the computer 10a, for example, controls the video display device 9 or receives an elapsed time from the start of video output from the video display device 9 (hereinafter also simply referred to as video elapsed time). The video display start time and the video elapsed time can be specified. The computer 10a records the detection values of the sensors 3a to 7 in the recording unit together with the elapsed video time. The recording unit of the computer 10a records in advance a video elapsed time (hereinafter also referred to as a caution situation start time) at which a caution situation start to be displayed.

反応潜時計測部は、要注意状況開始時間が経過した時点から、皮膚電位センサ7によって検出される皮膚電位反射の絶対値が、例えば0.1mVなどの所定の電圧値を超えて変動するか否かを監視する。反応潜時計測部は、この所定の電圧値を超えたと判別したときに、すでに記録部に記録されている皮膚電位反射値から、その変動が開始し始める、つまり皮膚電位反射値が0から僅かに(例えば0.02mV)増加し始める時の映像経過時間を特定して反応開始時点とする。反応潜時計測部は、要注意状況が表示されてから反応開始時点までの時間間隔を、皮膚電位反射の反応潜時として、いずれの要注意状況の反応潜時か識別可能にして記録部に記録する。   The reaction latency measurement unit determines whether the absolute value of the skin potential reflection detected by the skin potential sensor 7 exceeds a predetermined voltage value such as 0.1 mV, for example, from the time when the caution required start time has elapsed. Monitor whether or not. When the reaction latency measurement unit determines that the predetermined voltage value has been exceeded, the variation starts to start from the skin potential reflection value already recorded in the recording unit, that is, the skin potential reflection value is slightly from 0. (E.g., 0.02 mV), the video elapsed time when starting to increase is specified as the reaction start time. The response latency measurement unit displays the time interval from when the caution situation is displayed until the start of the reaction as the reaction potential of the skin potential reflex so that it can be identified as the response latency of the caution situation in the recording unit. Record.

反応量検知部は、反応開始時点の後に記録された発汗量の検出値の中から、最初のピーク値を反応量として、いずれの要注意状況の反応量か識別可能にして記録部に記録する。   The reaction amount detection unit records the first peak value as the reaction amount among the detection values of the perspiration amount recorded after the start of the reaction so that the reaction amount in any cautionary situation can be identified and recorded in the recording unit. .

判定部は、一例として、反応潜時が所定の最大許容時間を超えるとき、および/または、反応量が所定の最小反応量よりも小さいときに、危険性の認知、予測に対する運転特性が低いと判定する。この最大許容時間、および/または、最小反応量は、予め決定して、記録部に記録しておく。最大許容時間や最小反応量としては、多数の健常な運転者に模擬運転をさせ検出値を記録して、要注意状況に対するそれらの中の検出時間の最大値や反応量の最小値を用いてもよい。また、最大許容時間や最小反応量を、性別や年代別に対応させて変更して用いてもよい。   For example, when the reaction latency exceeds a predetermined maximum allowable time and / or when the reaction amount is smaller than a predetermined minimum reaction amount, the determination unit may have a low driving characteristic for risk recognition and prediction. judge. The maximum allowable time and / or the minimum reaction amount is determined in advance and recorded in the recording unit. For the maximum allowable time and minimum reaction amount, record the detected values by simulating many healthy drivers, and use the maximum value of the detection time and the minimum value of the reaction amount among those requiring attention. Also good. Further, the maximum allowable time and the minimum reaction amount may be changed according to sex and age.

判定部は、映像中の特徴のある1つの要注意状況で判定を行ってもよいし、映像中の複数の要注意状況で判定してもよい。判定部が、複数の要注意状況で判定する場合、運転特性が低いと判定される回数に応じて、さらに運転特性の良否を判定してもよい。また、判定部は、発汗量センサ6および皮膚電位センサ7の検出値とブレーキペダル踏込量センサ3aなどの操作量センサの検出値と組み合わせて運転特性を判断してもよい。   The determination unit may make the determination based on one characteristic situation requiring attention in the video, or may determine based on a plurality of conditions requiring special attention in the video. When the determination unit determines in a plurality of caution situations, the quality of the driving characteristics may be further determined according to the number of times that the driving characteristics are determined to be low. The determination unit may determine the driving characteristics by combining the detection values of the sweating amount sensor 6 and the skin potential sensor 7 and the detection values of the operation amount sensor such as the brake pedal depression amount sensor 3a.

反応潜時計測部、反応量検知部、および判定部は、模擬運転を行っている最中に作動させてもよく、模擬運転が終了してから作動させてもよい。   The reaction latency measurement unit, the reaction amount detection unit, and the determination unit may be activated during the simulation operation or may be activated after the simulation operation is completed.

図1に示される構成の本発明の自動車運転認知行動評価装置1を試作した。発汗センサ6として西澤電機製作所製の発汗計(SKINOS SKN−2000)を用いた。また、皮膚電位センサ7として、西澤電機製作所製の皮膚電位計(SKINOS SPN−01)を用いた。   An automobile driving recognition behavior evaluation apparatus 1 according to the present invention having the configuration shown in FIG. As the perspiration sensor 6, a perspiration meter (SKINOS SKN-2000) manufactured by Nishizawa Electric Co., Ltd. was used. As the skin potential sensor 7, a skin electrometer (SKINOS SPN-01) manufactured by Nishizawa Electric Co., Ltd. was used.

ディスプレイ8に表示させる映像として、「市街地コース」(松本市内)および「住宅地コース」(松本市郊外の住宅地)の2種類のコース選定し、自動車で実際に走行して、運転者の視線から見た映像をディジタルビデオカメラで撮影した。その映像を、コースごとにDVDに記録した。「市街地コース」は、2車線道路や信号機のある比較的交通量の多い道路環境で、停車車両の追い越しや車線変更、横断歩道を渡る歩行者に注意する要注意状況(場面)などを含んでいる。「住宅地コース」は、比較的道幅が狭く見通しの悪い道路環境で、自転車の追い越し、人の飛び出し、ボールの飛び出し等の危険場面を設定した。   As the images to be displayed on the display 8, two types of courses, “urban course” (Matsumoto city) and “residence course” (residence area in the suburbs of Matsumoto city), are selected, and the vehicle is actually driven by a car. The video seen from the line of sight was taken with a digital video camera. The video was recorded on a DVD for each course. “Urban Course” includes a two-lane road and a traffic environment with a lot of traffic, including overtaking stopped vehicles, changing lanes, and cautionary situations (scenes) that warn pedestrians crossing pedestrian crossings. Yes. The “Residential Course” set up dangerous scenes such as overtaking bicycles, jumping out of people, jumping out of balls, etc. in a road environment with relatively narrow roads and poor visibility.

運転者として、自動車運転の経験を有し、本実験への参加について同意の得られたボランティアの健常成人30名(男性12名、女性18名、平均年齢22.7±11.3歳)を対象に実験を行った。実験は室温22.8±10.9℃、湿度36.4±8.6%に保った実験室内で実施した。被験者を模擬運転席2に椅座させ、左拇指指腹に発汗計のプローブを、左前腕部と手掌部に皮膚電位計の電極を装着した。ディスプレイ8に自動車運転映像を提示し、映像に合わせてブレーキ3、アクセル4、ハンドル5を模擬操作させ、これらの出力信号を手掌部発汗量、皮膚電位反射(SPR)の信号と共にサンプリング周波数10Hzで記録し、解析をおこなった。また、被験者のうち25名については、1週間後に「市街地コース」の映像を用いた再実験を行い、発汗反応の再現性を検討した。   30 healthy adult volunteers (12 males, 18 females, average age 22.7 ± 11.3 years old) who have experience driving cars and have consented to participate in this experiment. Experiments were performed on the subjects. The experiment was carried out in a laboratory maintained at room temperature 22.8 ± 10.9 ° C. and humidity 36.4 ± 8.6%. The test subject was seated on the simulated driver's seat 2, and a sweat meter probe was attached to the left thumb finger pad, and a skin electrometer electrode was attached to the left forearm and palm. A car driving video is presented on the display 8, and the brake 3, accelerator 4 and steering wheel 5 are simulated in accordance with the video, and these output signals together with the palm sweating and skin potential reflection (SPR) signals at a sampling frequency of 10 Hz. Recorded and analyzed. In addition, for 25 subjects, a re-experiment using a video of “urban area course” was conducted one week later, and the reproducibility of the sweating reaction was examined.

図6に、本装置を使って記録した「市街地コース」映像による各反応波形の一例を示す。Aは停車中のトラックを徐行し追い越す場面、Bは駐車車両の追い越し場面、Cは歩行者と自転車を避けた徐行場面、Dは交差点での一時停止後の発進場面、EとFは右折時に横断歩道を渡る歩行者と自転車を見送る場面、Gは人や自転車に注意しながらの徐行場面、Hは左折後に前方に停止している車両を発見した場面、Iは信号待ちの車両に近づき停止する場面を示している。発汗量波形の下の棒線は交差点の右左折、ブレーキ波形の上にハッチングで示した部分は自車が停車中であることを示し、停車時には発汗反応の減少が認められた。なお同図中、ブレーキおよびアクセルの踏込み量は、センサ3a,4aの検出した電圧値で示し、踏込みがないときを0mVで表示している。   FIG. 6 shows an example of each reaction waveform based on the “city course” image recorded using the present apparatus. A is a scene of slowly overtaking a stopped track, B is a scene of overtaking a parked vehicle, C is a slow scene of avoiding pedestrians and bicycles, D is a start scene after a pause at an intersection, and E and F are when turning right A scene of seeing off a pedestrian and bicycle crossing a pedestrian crossing, G is a slow-down scene while paying attention to people and bicycles, H is a scene of finding a vehicle that stops ahead after a left turn, I is approaching a vehicle waiting for a traffic light Shows a scene to do. The bar below the sweating waveform turned right and left at the intersection, and the hatched area above the brake waveform indicated that the vehicle was stopped, and a decrease in sweating response was observed when the vehicle stopped. In the figure, the brake and accelerator depressing amounts are indicated by voltage values detected by the sensors 3a and 4a, and 0 mV is indicated when there is no depressing.

図7に「市街地コース」映像による被験者30名の平均波形を示す。発汗量波形の上のM1〜M11で示した番号は、表1に記載した運転映像の場面であることを示す。手掌部発汗反応および皮膚電位反射は映像開始直後に大きな反応を示し、その後、交差点前の車線変更または一時停止、交差点での右左折、停止車両の追い越し、歩行者を避けた徐行、歩行者・自転車の横断、急な赤信号での停止等の映像場面で増加し、一時停止をしている(ブレーキを踏み続けている)場面、見通しの良い一方通行を直進する場面では減少する傾向を示した。   FIG. 7 shows an average waveform of 30 subjects in the “city course” video. The numbers indicated by M1 to M11 above the sweating amount waveform indicate the scenes of the driving images described in Table 1. The palmar sweating reaction and skin potential reflection show a large response immediately after the start of the image, and then change or pause the lane before the intersection, turn left or right at the intersection, overtake the stopped vehicle, slow down avoiding pedestrians, Increased in video scenes such as crossing a bicycle, stopping at a sudden red light, etc., showing a tendency to decrease in scenes where the vehicle is temporarily stopped (holding on the brakes) or in a straight line with good visibility It was.

図8に「住宅地コース」映像による被験者30名の平均波形を示す。発汗量波形の上のN1〜N9で示した番号は、表2に記載した運転映像の場面であることを示す。手掌部発汗反応および皮膚電位反射は映像開始直後に大きな反応を示し、その後、見通しの悪い十字路の通過、歩行者を避けた徐行、狭い路地での対応車とのすれ違い、自転車追い越し時の徐行、ボールの飛び出し、歩行者の飛び出し等の場面で増加し、特に歩行者を避けた徐行や歩行者の飛び出し場面では顕著な反応量の増加が認められた。また、一時停止をしている場面では、発汗量が減少する傾向がみられた。   FIG. 8 shows an average waveform of 30 subjects in the “residential course” video. The numbers indicated by N1 to N9 on the sweating amount waveform indicate the scenes of the driving images described in Table 2. The palmar sweating reaction and skin potential reflection show a large response immediately after the start of the image, then passing through the crossroads with poor visibility, slowing away from pedestrians, passing with compatible vehicles in narrow alleys, slowing down when overtaking bicycles, It increased in scenes such as ball jumping and pedestrian jumping, and a marked increase in the amount of reaction was observed especially in slow running avoiding pedestrians and pedestrian jumping scenes. In addition, the amount of sweating tended to decrease during the pause.

表1に市街地コース、表2に住宅地コースの表中に示す各映像場面(10秒間)から求めた、被験者30名の平均発汗量(平均値と標準偏差)を男女別に示した。市街地コース・住宅地コースともに、何れの場面においても反応量は女性で多い傾向を示したが、統計的な有意差はなかった。   Table 1 shows the average sweating amount (average value and standard deviation) of 30 subjects obtained from each video scene (10 seconds) shown in the table of the urban area course and Table 2 of the residential area course. In both urban and residential courses, there was a tendency for females to respond more frequently in any scene, but there was no statistically significant difference.

Figure 0005366248
Figure 0005366248

Figure 0005366248
Figure 0005366248

図9に、「市街地コース」と「住宅地コース」の映像に含まれる運転場面より、手掌部発汗量が多かった場面と少なかった場面をそれぞれ2つずつ取り出し、反応量を比較した。「市街地コース」では、手掌部発汗量は場面M1とM2で多く、場面M7とM6で少なかった。「住宅地コース」では、発汗量は場面N8とN1で多く,場面N9とN5で少ない傾向にあった。   In FIG. 9, from the driving scenes included in the images of “urban area course” and “residential area course”, two scenes each having a large palm sweat rate and two scenes having a small amount of perspiration were taken out, and the reaction amounts were compared. In the “urban area course”, the amount of palm sweating was high in scenes M1 and M2 and low in scenes M7 and M6. In the “residential area course”, the amount of sweating tended to be large in scenes N8 and N1 and small in scenes N9 and N5.

これによって、交差点の車線変更、停車車両の追い越し、歩行者の飛び出し、見通しの悪い十字路の通過など、障害物や危険が予測される場面では手掌部発汗が有意に増加し、特に歩行者が飛び出す映像では発汗量が最も増加することが確認できた。また、一時停止や障害物のない直進走行など、危険を予期しにくい場面では反応量は比較的少なく、映像に提示される走行場面の状況・特徴によって、手掌部発汗量に明らかな差が生ずることが証明された。   This significantly increases palm sweating in situations where obstacles and danger are predicted, such as changing lanes at intersections, overtaking stopped vehicles, jumping out of pedestrians, and passing through crossroads with poor visibility, especially pedestrians jump out. The video showed that the amount of sweating increased the most. In addition, the amount of reaction is relatively small in situations where it is difficult to anticipate danger, such as pauses and straight running without obstacles, and there is a clear difference in the amount of palm sweating depending on the situation and characteristics of the running scene presented in the video It was proved.

図10に、「市街地コース」の映像を用いて再実験を行った25名で平均波形を求め、1回目と2回目で比較した波形を示す。2回目には反応量は有意に低下したが、反応量の変動パターンは近似しており、両反応間には強い相関関係(r=0.72)が認められた。   FIG. 10 shows waveforms obtained by calculating an average waveform for 25 people who performed a re-experiment using an image of “urban course” and comparing the first and second times. The reaction amount decreased significantly in the second time, but the fluctuation pattern of the reaction amount was approximate, and a strong correlation (r = 0.72) was observed between the two reactions.

手掌部発汗反応には精神的な慣れ効果が生じやすいことが知られており、反応量の低下はこの慣れ効果によるものと思われる。しかし、波形パターンの再現性は、運転場面による影響の再現と捉えられ、映像に含まれる負荷要素の信頼性を示している。   It is known that a mental habituation effect tends to occur in the palmar sweat reaction, and the decrease in the reaction amount is considered to be due to this habituation effect. However, the reproducibility of the waveform pattern is regarded as a reproduction of the influence of the driving scene, and indicates the reliability of the load element included in the video.

今回の実験において、手掌部発汗量が最も顕著に増加した「住宅地コース」の場面N8「歩行者飛び出し」映像による反応を取り出し、反応潜時の評価を行った。   In this experiment, we took out the response from the video of scene N8 “Pedestrian Jump” in “Residential Course” where the amount of sweating in the palm of the hand increased most significantly, and evaluated the reaction latency.

図11は、提示装置のディスプレイに「歩行者飛び出し」映像が現れ始めた瞬間を基点(0)とし、手掌部発汗、皮膚電位反射、ブレーキ動作の各反応が生じるまでの時間を例示したものである。歩行者飛び出し映像では、多くの被験者で、このようにブレーキ動作、皮膚電位反射、手掌部発汗の順に波形が立ち上がる傾向を示した。   FIG. 11 exemplifies the time until each reaction of palm sweating, skin potential reflection, and braking action occurs, with the moment when the “pedestrian jumping” video starts appearing on the display of the presentation device as the base point (0). is there. In the pedestrian pop-up video, many subjects showed a tendency for the waveform to rise in this order of braking action, skin potential reflection, and palm sweating.

図12に、この方法で計測したブレーキ動作、皮膚電位反射、手掌部発汗の反応潜時を計測し比較した結果を示す。それぞれの反応潜時の平均値と標準偏差は、ブレーキ動作が2.28±0.49(最小0.30、最大2.9)秒、皮膚電位反射が2.65±1.21(最小0.50、最大4.4)秒、手掌部発汗が5.29±1.36(最小2.3、最大6.9)秒であり、手掌部発汗の反応潜時は、皮膚電位反射、ブレーキ動作に比べ有意に長かった。なお、ブレーキ動作の開始は、交差点などのあらかじめ危険が予測される場面では皮膚電位反射と発汗反応よりもさらに早く、個人差が大きかった。   FIG. 12 shows the results of measurement and comparison of the response latencies of braking action, skin potential reflection, and palm sweating measured by this method. The average value and standard deviation of each response latency are 2.28 ± 0.49 (minimum 0.30, maximum 2.9) seconds for brake operation, 2.65 ± 1.21 (minimum 0) for skin potential reflex. .50, maximum 4.4) seconds, palmar sweating is 5.29 ± 1.36 (minimum 2.3, maximum 6.9) seconds, and the response latency of palmar sweating is skin potential reflex, brake It was significantly longer than the movement. It should be noted that the start of the braking operation was earlier than the skin potential reflex and the sweating reaction in the scene where danger was predicted in advance such as an intersection, and the individual difference was large.

図13に、20歳女性、80歳男性が「市街地コース」を模擬運転した時の反応波形を示す。同図中A〜Iで示す場面は図4の場面と同様である。それぞれを比較すると、発汗量は、高齢者の方が全体的に変動が小さく反応潜時が長い。皮膚電位反射は両者の変動ピーク値に大きな差は無くむしろ高齢者の変動が目立つ。この結果からわかるように、発汗量の変動の小さい高齢者を運転者としても、皮膚電位反射によって要注意映像を視認してからの反応開始時点を同定することができる。したがって、高齢者の危険性の認知、予測に対する運転能力も評価することができる。   FIG. 13 shows a response waveform when a 20-year-old woman and an 80-year-old man simulated driving the “urban area course”. The scenes indicated by A to I in the figure are the same as the scenes of FIG. Comparing each, the amount of sweating is generally less fluctuating in the elderly, and the reaction latency is longer. The skin potential reflex is not significantly different between the two fluctuation peak values, but rather the fluctuation of the elderly is conspicuous. As can be seen from this result, even when an elderly person whose fluctuation in sweating is small is a driver, it is possible to identify a reaction start time after visually recognizing a cautionary image by skin potential reflection. Therefore, it is possible to evaluate the driving ability with respect to the recognition and prediction of the risk of the elderly.

以上の実験結果から、皮膚電位反射を計測することで、要注意映像に対する反応の開始時点の同定が可能になり、発汗量の評価と反応潜時の評価がより正確に行えることが確認された。また、要注意映像の場面特徴に応じた反応量の評価では、危険が予測される場面、注意を払い慎重に運転する場面、危険を認知し咄嗟に回避する場面等で発汗量が増加し、一時停止や見通しの良い直線走行など、安全な場面では発汗量が明らかに減少することが確認された。さらに、若者から高齢者まで年齢によらず、皮膚電位反射を計測することで反応の開始時点の同定が可能であることが確認された。これらの結果は、本発明装置による評価の妥当性を示すものである。   From the above experimental results, it was confirmed that by measuring skin potential reflex, it became possible to identify the start point of the reaction to the video that requires attention, and to more accurately evaluate the amount of sweating and the response latency. . In addition, in the evaluation of the reaction amount according to the scene characteristics of the cautionary video, the amount of sweating increases in scenes where danger is predicted, scenes where attention is paid carefully, scenes where danger is recognized and evasive, etc. It was confirmed that the amount of sweating decreased clearly in a safe situation such as a pause or a straight line with good visibility. Furthermore, it was confirmed that the start time of the reaction can be identified by measuring skin potential reflex, regardless of age, from young people to elderly people. These results show the validity of the evaluation by the device of the present invention.

本発明の自動車運転認知行動評価装置は、自動車教習所や免許更新センターなどに設置して運転者の運転特性を把握することができる。また、病院に設置してリハビリテーションに用いることもよい。   The vehicle driving recognition behavior evaluation device of the present invention can be installed at a driving school, a license renewal center, or the like to grasp the driving characteristics of the driver. It may also be installed in a hospital and used for rehabilitation.

1,1aは自動車運転認知行動評価装置、2は模擬運転席、3はブレーキペダル、3aはブレーキペダル踏込量センサ、4はアクセルペダル、4aはアクセルペダル踏込量センサ、5はハンドル、5aは回転量センサ、6は発汗量センサ、7は皮膚電位センサ、8はディスプレイ、9は映像表示装置、10,10aはコンピュータ、11はA/D変換器、12はスピーカー、20は要注意状況を含む走行路の映像(要注意映像)、21は走行路、22は自転車、M1〜M11は「市街地コース」における要注意状況を含む映像の場面,N1〜N9は「住宅地コース」における要注意状況を含む映像の場面、S1,S2,S1’,S2’はタイミングである。   1, 1a is a car driving recognition behavior evaluation device, 2 is a simulated driver's seat, 3 is a brake pedal, 3a is a brake pedal depression amount sensor, 4 is an accelerator pedal, 4a is an accelerator pedal depression amount sensor, 5 is a handle, and 5a is a rotation Amount sensor, 6 is a sweating amount sensor, 7 is a skin potential sensor, 8 is a display, 9 is a video display device, 10 and 10a are computers, 11 is an A / D converter, 12 is a speaker, 20 includes a situation requiring attention Road image (cautionary video), 21 road, bicycle, M1 to M11 are video scenes that require attention in the “urban area course”, and N1 to N9 are cautionary situations in the “residential area course” S1, S2, S1 ′, and S2 ′ are video timings including timing.

Claims (5)

模擬運転席の前方に配されたディスプレイに、車両運転に際して注意を要する要注意状況を含む走行路の映像を表示させる映像表示装置と、
該模擬運転席に着座する運転者の手掌部に装着されてその発汗量を検出する発汗量センサと、
該手掌部に装着されてその皮膚電位反射を検出する皮膚電位センサと、
該模擬運転席に設けられた操作デバイスの操作量を検出する操作量センサと、
これらの各センサによって検出される各々の検出値を記録する記録部とを、備え
該映像表示装置が該要注意状況の映像を表示させた時点から、該皮膚電位センサによって検出される該皮膚電位反射が最初に所定値を超えて変動する時を判別して、さらにその変動が開始し始める反応開始時点を特定し、この反応開始時点までの反応潜時を計測して、該反応潜時を該記録部に記録する反応潜時計測部と、
該発汗量センサによって検出される該発汗量が、該反応開始時点の後に最初に迎えるピーク値を特定し、このピーク値を反応量として該記録部に記録する反応量検知部とを、さらに備えていることを特徴とする自動車運転認知行動評価装置。
An image display device for displaying an image of a traveling road including a cautionary situation requiring attention when driving a vehicle on a display arranged in front of the simulated driver's seat;
A sweat amount sensor that is mounted on the palm of the driver sitting in the simulated driver's seat and detects the sweat amount;
A skin potential sensor that is mounted on the palm and detects the skin potential reflection;
An operation amount sensor for detecting an operation amount of an operation device provided in the simulated driver's seat;
A recording unit for recording each detected value detected by each of these sensors ,
It is determined when the skin potential reflection detected by the skin potential sensor first fluctuates beyond a predetermined value from the time when the video display device displays the video of the situation requiring attention. Identifying a reaction start time to start, measuring a reaction latency until this reaction start time, and recording the reaction latency in the recording unit; and
A reaction amount detection unit that identifies the peak value that the sweating amount detected by the sweating amount sensor first reaches after the reaction start time, and records the peak value as a reaction amount in the recording unit; A vehicle driving cognitive behavior evaluation device characterized by that.
前記映像表示装置に表示させる前記映像が、前記走行路を運転者の視線から見た映像であることを特徴とする請求項1に記載の自動車運転認知行動評価装置。 The vehicle driving cognitive behavior evaluation apparatus according to claim 1, wherein the video displayed on the video display device is a video of the traveling road viewed from a driver's line of sight . 前記反応潜時および前記反応量に基づいて前記運転者の運転特性を判定する判定部を備えることを特徴とする請求項1または2に記載の自動車運転認知行動評価装置。 Driving cognitive behavioral evaluation apparatus according to claim 1 or 2, characterized in that it comprises a determination unit for determining driving characteristics of the driver based on the reaction latency and the reaction amount. 前記映像表示装置は、先に表示させる前記要注意状況による前記手掌部の発汗が終了する所定の時間間隔を少なくとも空けてから、次の該要注意状況を表示させることを特徴とする請求項1から3のいずれかに記載の自動車運転認知行動評価装置。   2. The video display apparatus displays at least a predetermined time interval at which a sweating of the palm portion according to the caution situation to be displayed first is ended, and then displays the next caution situation. To 3. The vehicle driving recognition behavior evaluation device according to any one of items 1 to 3. 前記操作デバイスが、ブレーキペダル、アクセルペダル、および/またはハンドルであることを特徴とする請求項1から4のいずれかに記載の自動車運転認知行動評価装置。   5. The vehicle driving recognition behavior evaluation apparatus according to claim 1, wherein the operation device is a brake pedal, an accelerator pedal, and / or a steering wheel.
JP2009207313A 2009-09-08 2009-09-08 Car driving cognitive behavior evaluation device Active JP5366248B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009207313A JP5366248B2 (en) 2009-09-08 2009-09-08 Car driving cognitive behavior evaluation device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009207313A JP5366248B2 (en) 2009-09-08 2009-09-08 Car driving cognitive behavior evaluation device

Publications (2)

Publication Number Publication Date
JP2011059269A JP2011059269A (en) 2011-03-24
JP5366248B2 true JP5366248B2 (en) 2013-12-11

Family

ID=43946992

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009207313A Active JP5366248B2 (en) 2009-09-08 2009-09-08 Car driving cognitive behavior evaluation device

Country Status (1)

Country Link
JP (1) JP5366248B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110696718A (en) * 2019-10-17 2020-01-17 北京航空航天大学 Method for determining early warning time of automobile anti-collision early warning system based on skin electric reaction

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2557874C1 (en) * 2014-04-29 2015-07-27 Фирдаус Хасанович Ермаков Device for measuring under real road conditions of time of visual-motor reaction of driver of vehicle to dangerous road situations
WO2019030993A1 (en) * 2017-08-09 2019-02-14 パナソニックIpマネジメント株式会社 Visibility evaluation system
KR102045570B1 (en) * 2017-11-20 2019-12-02 고려대학교 산학협력단 Predicting system for decision making in emergency situation
JP7103592B2 (en) * 2018-01-24 2022-07-20 株式会社仙台放送 Electronic devices for connecting computer programs, server devices, tablet electronic devices and television devices
CN111766691A (en) * 2020-07-20 2020-10-13 深圳市创能亿科科技开发有限公司 Method and system for acquiring microscope experiment action
CN111746493B (en) * 2020-07-23 2021-07-27 长安大学 Vehicle pedal setting reasonability test evaluation device and method
JP2023050501A (en) * 2021-09-30 2023-04-11 国立大学法人東海国立大学機構 Information processing device, information processing system, information processing method, and computer program
CN113967018A (en) * 2021-12-22 2022-01-25 和德保险经纪有限公司 Method for realizing driver danger prediction test system
JP7446040B1 (en) 2023-10-18 2024-03-08 株式会社ReTech simulator

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3349609B2 (en) * 1994-12-22 2002-11-25 ヤマハ発動機株式会社 Work optimization system and device
JP2005177406A (en) * 2003-12-18 2005-07-07 Tasada Kosakusho:Kk Degree of excitement evaluating method and degree of excitement evaluating apparatus
JP4791874B2 (en) * 2006-03-31 2011-10-12 株式会社エクォス・リサーチ Driving support device and driving action determination device
JP2007264055A (en) * 2006-03-27 2007-10-11 Central Res Inst Of Electric Power Ind Training system and training method
JP2008058459A (en) * 2006-08-30 2008-03-13 Toyota Motor Corp Drive evaluation device

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110696718A (en) * 2019-10-17 2020-01-17 北京航空航天大学 Method for determining early warning time of automobile anti-collision early warning system based on skin electric reaction
CN110696718B (en) * 2019-10-17 2020-12-08 北京航空航天大学 Method for determining early warning time of automobile anti-collision early warning system based on skin electric reaction

Also Published As

Publication number Publication date
JP2011059269A (en) 2011-03-24

Similar Documents

Publication Publication Date Title
JP5366248B2 (en) Car driving cognitive behavior evaluation device
US5888074A (en) System for testing and evaluating driver situational awareness
Cantin et al. Mental workload when driving in a simulator: Effects of age and driving complexity
Oxley et al. Crossing roads safely: an experimental study of age differences in gap selection by pedestrians
US6679702B1 (en) Vehicle-based headway distance training system
Vinjé Children as pedestrians: abilities and limitations
Houtenbos et al. Concurrent audio-visual feedback for supporting drivers at intersections: A study using two linked driving simulators
WO2009093726A1 (en) Dangerous drive preventive intention judgment system and dangerous drive preventive intention judgment method
Kang et al. Effects of reduced visibility from fog on car-following performance
WO2009148188A1 (en) System for automatic evaluation of driving behavior
Morrongiello et al. Using a virtual environment to study pedestrian behaviors: how does time pressure affect children's and adults' street crossing behaviors?
US11436935B2 (en) System, method and apparatus for driver training system with stress management
Ābele et al. Young drivers’ perception of adult and child pedestrians in potential street-crossing situations
JP2006167425A (en) Mental resource assessment device for vehicle and its utilization
JP7276354B2 (en) Cognitive ability detection device and cognitive ability detection system
Zeuwts et al. The efficacy of a brief hazard perception interventional program for child bicyclists to improve perceptive standards
Tagliabue et al. How can on-road hazard perception and anticipation be improved? Evidence from the body
Tsuboi et al. Enhancing bicycle safety through immersive experiences using virtual reality technologies
JP5328758B2 (en) Riding simulator
JP5090891B2 (en) Safe driving teaching system
Bishop et al. Improving children’s on-road cycling with immersive video-based training: A pilot study
JP6770377B2 (en) Simulated driving device and simulated driving method
JP2016064097A (en) Simulator for automobile drive aptitude test
RU2475186C2 (en) Method for stationary measurement of driver&#39;s hand-eye reaction on near-accident driving situation
Cantwell The role of hazard perception in speed choice

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120906

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130409

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130604

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130827

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130906

R150 Certificate of patent or registration of utility model

Ref document number: 5366248

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250