JP4595377B2 - 運転者状態検出装置及びプログラム - Google Patents

運転者状態検出装置及びプログラム Download PDF

Info

Publication number
JP4595377B2
JP4595377B2 JP2004133974A JP2004133974A JP4595377B2 JP 4595377 B2 JP4595377 B2 JP 4595377B2 JP 2004133974 A JP2004133974 A JP 2004133974A JP 2004133974 A JP2004133974 A JP 2004133974A JP 4595377 B2 JP4595377 B2 JP 4595377B2
Authority
JP
Japan
Prior art keywords
driver
heart rate
standard deviation
ave
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004133974A
Other languages
English (en)
Other versions
JP2005312653A (ja
Inventor
史也 永井
禎祐 木村
克昌 西井
一泰 酒井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2004133974A priority Critical patent/JP4595377B2/ja
Priority to US11/113,988 priority patent/US7248997B2/en
Publication of JP2005312653A publication Critical patent/JP2005312653A/ja
Application granted granted Critical
Publication of JP4595377B2 publication Critical patent/JP4595377B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B60K28/066Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver actuating a signalling device
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Description

本発明は、自動車の運転者(ドライバ)の眠気や注意力等の活性度を測定することができる運転者状態検出装置及びプログラムに関する。
従来より、例えば長時間車両を運転すると疲労が蓄積し、この疲労が過大になると車両事故が発生する可能性が増加するため、車両事故の発生を防止する目的で、運転作業により生じる疲労の程度を検出する検出装置が望まれている。
そして、この種の検出装置として、特許文献1では、車両を運転する運転者を特定して、この運転者の心拍数を検出し、その心拍数の間隔のデータから運転者の疲労状態を判定する装置が提案されていた。
特開平11−314534号公報 (第2頁、図7)
しかしながら、上述した従来技術においては、運転者の体調やその日内変動(1日のうちで変化する体調等)などが考慮されていないため、精度のよい判定ができないという問題があった。また、どの様な状態になった場合に警報を発するかが明瞭でないという問題もあった。
本発明は上記問題点を解決するものであり、その目的は、運転者の活性状態等を精度良く検出して、適切なタイミングで警報が可能な運転者状態検出装置及びプログラムを提供することである。
(1)請求項1の発明は、車両の運転者の生体状態を示す第1の生体情報と、車両の挙動を示す第1の車両情報との2次元マップを用いる運転状態検出装置であって、前記第1の生体情報として、前記運転者の心拍に関する情報を用いるとともに、前記第1の生体情報によって示される範囲を区分するための車両の運転者の状態に係わる第2の生体情報と、前記第1の車両情報によって示される範囲を区分するための車両の運行に係わる第2の車両情報とから、前記2次元マップを前記運転者の状態別の4つの領域に区分し、該区分された各領域における前記運転者の状態を示すデータの前記2次元マップにおける分布の状態に基づいて、前記運転者の状態を判定することを特徴とする。
本発明では、運転者の心拍に関する情報を示す第1の生体情報と、例えば速度や加速度やヨーレートの様な第1の車両情報との2次元マップを用いる。また、例えば第1の生体情報とは異なる(例えば図6に示す様な)第2の生体情報と、例えば第1の車両情報とは異なる(例えば図6に示す様な)第2の車両情報とから、2次元マップを運転者の状態別の4つの領域に区分する。そして、その区分された各領域における運転者の状態を示すデータの2次元マップにおける分布の状態に基づいて、運転者の状態を判定する。これにより、運転者の活性状態を容易に把握することができる。
尚、第1の生体情報と(第1の生体情報の範囲を区分する閾値等の)第2の生体情報との関係としては、第1の生体情報と第2の生体情報とが異なることが挙げられるが、第2の生体情報の中に第1の生体情報が含まれていてもよい。また、第1の車両情報と(第1の車両情報の範囲を区分する閾値等の)第2の車両情報との関係としては、第1の車両情報と第2の車両情報とが異なることが挙げられるが、第2の車両情報の中に第1の車両情報が含まれていてもよい。(以下同様)。
また、前記活性状態は活性度で示すことができ、この活性度は、運転者の眠気が少なく注意力が高い等の様に、運転に適した頭脳の活動状態を示している。従って、活性度が高い場合は運転に適した状態であり、活性度が低い状態とは運転に適していない状態とみなすことができる。
)請求項発明は、前記区分された領域に、前記運転者の状態を示す活性度のデータがどの程度の頻度又は時間停滞していたかを示す時間軸を加味して、時間領域の区分を行うことを特徴とする。
本発明では、図5に例示する様に、例えば活性度が低い領域等に、上述した測定データがどの程度の頻度で又はどの程度の時間停滞していたかを示す時間軸を加味して、時間領域の区分を行う。
従って、この時間領域の区分を設定することで、そうでない場合に比べて、一層精度良く運転者の活性状態を検出することができる。
例えば過去ΔT分に、何分領域C又は領域Dにいたかや、何分連続して領域C又は領域Dにいたかにより、運転者の活性状態を判断することができる。
)請求項の発明は、前記区分された領域に存在する前記運転者の状態を示す活性度のデータの状態(例えば各領域に連続して停滞する頻度や時間)に応じて、警報を発することを特徴とする。
本発明では、例えば測定データの状態が、運転者の活性度が低く運転に適さない程度と判断された場合には、警報を発するので、運転時の安全性を高めることができる。
例えば活性度が低い領域に連続して停滞する頻度や時間が所定以上の場合を、例えば前記時間領域で区分することにより検出することによって、適切なタイミングで警報することができる。
尚、警報としては、音や音声による報知、インジケータの表示、エアコンからの風、車両の振動等により行うことができる。
)請求項の発明は、前記車両情報の指標として、所定の解析セグメントにおける下記の値(1)〜(8)のいずれかを用いることを特徴とする。
(1)加速度の標準偏差SD
(2)速度の標準偏差SD
(3)速度の変動係数CV(即ち平均速度Aveに対する速度の標準偏差SDの比)
(4)a×加速度の標準偏差SD+b×平均速度Ave(但し、a、bは寄与度)
(5)a×速度の標準偏差SD+b×平均速度Ave(但し、a、bは寄与度)
(6)a×速度の変動係数CV+b×平均速度Ave(但し、a、bは寄与度)
(7)k×加速度の標準偏差SD×平均速度Ave(但し、kは係数)
(8)k×速度の標準偏差SD×平均速度Ave(但し、kは係数)
本発明は、領域を区分する第1の車両情報の指標を例示したものである。
尚、ここで、寄与度とは、重み付けの係数であり、実験等により適宜設定することができる(以下同様)。
)請求項の発明は、前記生体情報の指標として、所定の解析セグメントにおける下記の値(1)〜(6)のいずれかを用いることを特徴とする。
(1)心拍数の標準偏差SD
(2)心拍数の変動係数CV(即ち平均心拍数Aveに対する心拍数の標準偏差SD
の比)
(3)a×心拍数の標準偏差SD+b×平均心拍数Ave(但し、a、bは寄与度)
(4)a×心拍数の標準偏差SD+b×(全平均心拍数Ave
−所定期間の平均心拍数Ave’)(但し、a、bは寄与度)
(5)k×心拍数の標準偏差SD×平均心拍数Ave(但し、kは係数)
(6)k×心拍数の標準偏差SD×(全平均心拍数Ave
−所定期間の平均心拍数Ave’)(但し、kは係数)
本発明は、領域を区分する第1の生体情報の指標を例示したものである。
)請求項の発明は、前記運転者の心拍数が、所定の範囲外であった場合には、体調が悪いと判断することを特徴とする。
本発明により、運転者の体調を精度良く検出することができる。
)請求項の発明は、前記所定の範囲は、前記運転者の(平均心拍数±k×標準偏差(kは係数))であることを特徴とする。
本発明は、前記所定の範囲を例示したものである。
)前記請求項1〜のいずれか1項に記載の運転者状態検出装置の機能を、コンピュータにより実現するためのプログラムを要旨とする。
つまり、上述した運転者状態検出装置の機能は、コンピュータのプログラムにより実行される処理により実現することができる。
このようなプログラムの場合、例えば、FD、MO、DVD−ROM、CD−ROM、ハードディスク等のコンピュータ読み取り可能な記録媒体に記録し、必要に応じてコンピュータにロードして起動することにより用いることができる。この他、ROMやバックアップRAMをコンピュータ読み取り可能な記録媒体として本プログラムを記録しておき、そのROMあるいはバックアップRAMをコンピュータに組み込んで用いても良い。
なお、前記第1の生体情報の領域を区分する閾値を、前記第2の生体情報により設定してもよい。ここでは、第1の生体情報の領域を区分する閾値を、例えば図6に示す様な第2の生体情報により設定することにより、運転者の活性状態を一層精度良く検出することができる。
更に、前記運転者の心拍数が、以前体調が悪かった時にデータベースに登録した所定の範囲に連続して入った場合に体調が悪いと判断してもよい。これにより、運転者の体調を精度良く検出することができる。
次に、本発明の最良の形態の例(実施例)について説明する。
a)まず、本実施例の運転者状態検出装置を搭載した車両のシステム構成を、図1に基づいて説明する。
図1に示す様に、車両(自動車)には、周知のマイクロコンピュータを主要部とする電子制御装置(ECU)である運転者状態検出装置1が搭載されている。
この運転者状態検出装置1には、第1の生体情報として、運転者の脈拍を検出する光学式の脈波センサ3からの信号(従って心拍数を示す信号)が、有線又は無線により入力される。
また、例えばEEPROMやハードディスク等のメモリ5には、運転者に関する各種の第2の生体情報に関するデータベースが記憶されており、このメモリ5から運転者状態検出装置1に対して、後述する閾値の設定に必要な第2の生体情報が提供される。
尚、このデータベースには、第2の生体情報として、例えば図6に示す様に、運転者の前夜の睡眠の質、体調予測に関するデータ、睡眠中の心拍数の標準偏差SD、(心拍数等の一日における変化である)日内変動、(同様に週における)週内変動、(同様に年における)年内変動などが記憶されている。
更に、デジタルタコグラフやカーナビゲーション等に用いられる車速センサ7からは、第1の車両情報として、車両の車速のデータが運転者状態検出装置1に供給され、運転者状態検出装置1では、車速データに基づいて加速度等の演算などが行われる。
また、他の各種のセンサ等9からも、後述する閾値の設定に必要な第2の車両情報が、運転者状態検出装置1に供給される。
尚、この第2の車両情報としては、図6に示す様に、温度センサによる外気温や内気温の情報、GPSによる位置情報、VICSによる渋滞情報等、連続運行距離や連続運行時間の情報、レインセンサによる雨の有無の情報、乗員検知センサによる乗員の有無の情報、オーディオやラジオのオン・オフの情報、カレンダー情報、時間情報などが挙げられる。
従って、これらの第1及び第2の生体情報や第1及び第2の車両情報が入力された運転者状態検出装置1では、後に詳述する様に、第2の生体情報や第2の車両情報を用いて、運転者の活性度を判定するための領域を区分する閾値(生体情報閾値や時間領域閾値)の演算を行うとともに、この閾値を用いて運転者の活性度を区分する領域を設定し、測定された第1の生体情報(例えば心拍数)や第1の車両情報(例えば加速度)のデータの分布状況などを分析して、運転者の活性度、即ち眠気や注意力の程度など運転にどれほど適した状態であるかどうかを判定する。
そして、この判定の結果、活性度が十分でない場合には、警報機11等を駆動して、例えば音や音声の発生、インジケータの表示、風や振動の発生などにより警告する。
b)次に、運転者の活性度を示すために用いられる区分領域の原理等について説明する。
・図2(a)に示す様に、第1の生体情報として、縦軸に心拍数の標準偏差SDをとる。この縦軸では、図2(a)の上方になるほど心拍数が増加し(ドキドキ、緊張、体動がある状態)、下方になるほど心拍数が低下する(眠い、ボーッとしている状態)。
一方、第1の車両情報として、横軸に加速度の標準偏差SDをとる。この横軸では、図2(a)の右方になるほど加速度が増加し(加減速が多い状態)、左方になるほど加速度が低下する(単調、渋滞、高速の状態)。
そして、図2(b)に示す様に、所定の生体情報閾値(例えば図6に示す第2の生体情報や第2の車両情報から演算される値)及び車両情報閾値(例えば固定である初期値)により、運転者の活性度を示す領域が4つの領域A、B、C、Dに区分される。このうち領域Aが車両も生体も活発な状態を示し、領域Bが車両は単調な動きだが生体は活発な状態を示し、領域Cが車両は単調で生体も低調な状態を示し、D領域が車両が活発にもかかわらず、生体が低調な状態を示す。
よって、領域Aから領域B、領域C、領域Dに変化するほど、活性度(覚醒度)が低下するので、運転の危険度が増加することになる。
・また、運転者の活性度を示すために用いられる区分領域については、図3に示すものを採用できる。
例えば心拍数に関する生体情報を縦軸に示す場合には、生体情報の指標として、所定の解析セグメント(例えば1分間のデータ)における下記の値(1)〜(6)のいずれかを用いることができる。
(1)心拍数の標準偏差SD
(2)心拍数の変動係数CV(=(心拍数の標準偏差SD/平均心拍数Ave)×100)
(3)a×心拍数の標準偏差SD+b×平均心拍数Ave(但し、a、bは寄与度)
(4)a×心拍数の標準偏差SD+b×(全平均心拍数Ave
−所定期間の平均心拍数Ave’)(但し、a、bは寄与度)
(5)k×心拍数の標準偏差SD×平均心拍数Ave(但し、kは係数)
(6)k×心拍数の標準偏差SD×(全平均心拍数Ave
−所定期間の平均心拍数Ave’)(但し、kは係数)
尚、前記所定期間の平均心拍数Ave’としては、運転者の日中の平均心拍数や、運転開始直後の数分間のまだ明らかに覚醒している状態の平均心拍数を採用できる。また、継続的に計測を実施することにより、前記所定期間の平均心拍数Ave’としては、運転者の日内(週内、年内)の変動を考慮したものとすることができる。例えば帰宅時間の運転の場合には、過去の帰宅時間の平均心拍数を採用でき、例えば水曜日の運転だとすると、過去の水曜日の日中の平均心拍数を採用できる。
また、これとは別に、図4に示す様に、縦軸に自律神経活動を示す値(例えば心拍数間隔の揺らぎを示す値)をとってもよい。この場合、自律神経活動が高いと、運転者はリラックスしているので、領域C又は領域Dにあり、逆に、自律神経活動が低いと、運転者は緊張状態にあり、領域A又は領域Bにあると言える。
更に、速度(又は加速度)に関する車両情報を横軸に示す場合には、車両情報の指標として、所定の解析セグメント(例えば1分間)における下記の値(1)〜(8)のいずれかを用いることができる。
(1)加速度の標準偏差SD
(2)速度の標準偏差SD
(3)速度の変動係数CV(=(速度の標準偏差SD/平均速度Ave)×100)
(4)a×加速度の標準偏差SD+b×平均速度Ave(但し、a、bは寄与度)
(5)a×速度の標準偏差SD+b×平均速度Ave(但し、a、bは寄与度)
(6)a×速度の変動係数CV+b×平均速度Ave(但し、a、bは寄与度)
(7)k×加速度の標準偏差SD×平均速度Ave(但し、kは係数)
(8)k×速度の標準偏差SD×平均速度Ave(但し、kは係数)
・また、本実施例では、前記図2及び図3に示す様な二次元的なデータの分布による解析だけでなく、図5に示す様に、3次元的なデータの分布により解析を行う。
具体的には、例えば横軸(X軸)及び縦軸(Y軸)と垂直に、活性度の低い領域C及び領域Dに連続して停滞していたかを示す時間軸(Z軸)を設定し、所定の時間領域閾値(例えば図6に示す第2の生体情報や第2の車両情報から演算される値)により時間領域を長短2つに区分する。尚、停滞時間に代えて停滞した頻度をとってもよい。
つまり、領域C及び領域Dにおいて停滞していた時間が長いほど、運転状態に適しない活性度が低い状態が継続するので、即ち運転における危険度が高くなるので、時間軸に閾値を設定し、この閾値により危険度(活性度が低い状態)を精度良く判定する。尚、Z軸に頻度をとった場合には、例えば過去の所定期間ΔT分に何分領域C及び領域Dにいたかという頻度により、危険度を判定することができる。
従って、この停滞時間(又は頻度)が閾値を上回る場合には、活性度の低い状態(即ち運転には適しない危険な状態)が長いことになるので、その様な場合には、警告することができる。
尚、領域Cと領域Dとをまたいで変化した場合でも、連続した停滞時間としてもよい。
・その上、本実施例では、前記図2〜図5の様に領域を区分する閾値、即ち第1の生体情報の閾値(生体情報閾値)及び時間軸の区分の閾値(時間領域閾値)を、図6に示す様な第2の生体情報及び第2の車両情報に基づいて変更する。
尚、第1の車両情報の閾値(車両情報閾値)としては、所定の初期値を用いることができる。
具体的には、図6に示す様に、センサ等の各種の情報源から得られる情報を、安全な状態を示す情報と注意すべき状態とを示す情報とに分け、閾値を変更する際の寄与度(閾値を算出する際の重み付けの値)を設定する。
例えば外気温を採用する場合には、適温か高温かを判別し、高温の場合には、生体情報閾値を高めに設定し、時間領域閾値を低めに設定する。尚、生体情報閾値が高いと領域C及び領域Dの領域が広くなり、時間領域閾値が低いと、短時間領域C及び領域Dにいるだけで警告することになる。
つまり、これによって、同じデータでも領域C及び領域Dの範囲に入る可能性が高くなるので、領域C及び領域Dの停滞時間が長くなり(又は頻度が多くなり)、しかも、同じ停滞時間でも早めに時間領域閾値に達するので、結果として早めに警告を発することが可能になる。
尚、図6に示す第2の車両情報及び第2の生体情報の情報のうち1つを採用して、生体情報閾値や時間領域閾値を変更してもよいが、複数の情報に基づいて前記閾値を変更するようにしてもよい。
例えば複数の情報を用いる場合には、下記式(1)に示す様に、各情報に寄与度(重み付け)を設定して閾値を設定するようにしてもよい。
閾値=A×外気温+B×位置情報+C×VICS情報+・・・(1)
・また、本実施例では、測定された心拍数に基づいて、前記図6に記載された体調予測を行う。
図7(a)に示す様に、測定された運転者の心拍数が、所定の好ましい範囲(=平均心拍数±k×標準偏差:尚、kは係数)にある場合には、体調が良いと判断し、そうでない場合には体調が悪いと判断する。
また、図7(b)に示す様に、測定された運転者の心拍数が、所定の好ましくない範囲(=体調が悪かった時に登録した心拍数±t(又はt’)×標準偏差:尚、t、t’は係数)にある場合には、体調が悪いと判断し、そうでない場合には体調が良いと判断する。
従って、この体調予測の結果を図6の寄与度として、前記各閾値の設定に反映させることができる。これにより、活性度判定をより精度良く行うことが可能となる。
c)次に、運転者状態検出装置1にて行われる処理等を説明する。
図8のフローチャートに示す様に、ステップ100では、図6の第2の車両情報及び第2の生体情報から、例えば前記式(1)の様な演算式を用いて、生体情報閾値と時間情報閾値とを決定する。また、車両情報閾値は、予め設定された値を用いることができる。
続くステップ110では、1分間における第1の車両情報(速度や加速度)及び第1の生体情報(心拍数)の指標(標準偏差SD等)を演算する。これにより、1分間の解析セグメントのデータを順次得ることができる。
続くステップ120では、前記ステップ110にて算出された解析セグメントのデータと、生体情報閾値及車両情報閾値とを比較し、運転者の活性度(領域)を判定する。
つまり、第1の車両情報(例えば加速度の標準偏差SD)及び第1の生体情報(例えば心拍数の標準偏差SD)のデータが、前記領域A〜Dのどこの領域に入るかどうかを、生体情報閾値や車両情報閾値により判定する。
続くステップ130では、各領域に連続している停滞時間(又は各領域にある頻度)を演算する。尚、領域C及び領域Dは一つの領域と考えてその停滞時間も演算する。
続くステップ140では、複数の解析セグメントのデータから、前記領域C及び領域Dにおける停滞時間(又は頻度)が、時間領域閾値を超えているかどうかを判定する。ここで肯定判断されるとステップ150に進み、一方否定判断されるとステップ160に進む。
ステップ150では、領域C及び領域Dにおける停滞時間(又は頻度)が、時間領域閾値を超えており、よって、運転者の活性度が低く運転に好ましくない状態であると考えられるので、警報機11等を駆動して警告を行う。
一方、ステップ160では、計測終了か否かを、例えば計測終了を指示するスイッチ操作等によって判定する。ここで肯定判断されるとステップ170に進み、一方否定判断されると前記ステップ100に戻って、同様な処理を繰り返す。
ステップ170では、各領域の占有率を計算し、その計算結果(数値や下記図9(e)〜(h)に示すグラフ)をディスプレイ等に表示し、一旦本処理を終了する。
d)次に、本実施例による効果を説明する。
・本実施例では、第2の生体情報及び第2の車両情報を用いて、例えば前記式(1)等に基づいて、運転者の活性度を判別するために閾値(生体情報閾値、時間領域閾値)を設定する。
そして、第1の生体情報である心拍数と第1の(車両挙動を示す)車両情報である車速(従って加速度)とを求め、この心拍数及び加速度のデータが、前記閾値で区分されたどの領域にあるかを判定する。
また、各領域に連続している停滞時間を演算し、特に領域C及び領域Dにおける停滞時間が時間領域閾値を上回るか否かを判定し、上回る場合には警告している。
従って、運転者の活性度を極めて精度良く検出できるという顕著な効果を奏する。
また、第2の生体情報及び第2の車両情報の各種の情報を用いて、生体情報閾値、時間領域閾値を設定(又は変更)できるので、運転者の活性度の傾向を加味して、精度良く活性度の判定を行うことができるという利点もある。
・ここで、実際に前記演算処理によって得られたデータを、図9に基づいて説明する。この図9は、4日間同じルートを走行して生体情報や車両情報のデータを蓄積してグラフに表したものである。
図9(a)〜(d)の区分図に記載されている各ドットは、各解析セグメント(1分間)のデータであり、図9(e)〜(h)は、各実験日におけるデータの各領域における頻度(割合)をグラフに示したものである。
このグラフから、2日目の活性度が他の日より低いことが分かる。
e)次に、本実施例の応用例を説明する。
(1)例えば前記図8の処理に代えて図10のフローチャートに示す処理を行ってもよい。このステップ200〜250の処理は、前記図8のステップ100〜150の処理と同様であり、ここでは、ステップ260にて、前記ステップ170と同様な各領域の占有率の演算、表示の処理を行った後に、ステップ270にて、前記ステップ160と同様な計測終了の判定を行う。
つまり、本処理は、リアルタイムに各領域の占有率を算出する処理であり、計測終了前に例えば過去数分間の占有率を計算・表示するものである。
(2)第1の生体情報(例えば心拍数)のみを用いて、図11(a)に示す様に、領域を2つに区分してもよい。また、第1の生体情報及び第1の車両情報を用いて、図11(b)に示す様に、領域を3つに区分してもよい。
(3)光学式の脈波センサではなく、例えばステアリングに装着された心電計や、シートに装着された圧力センサにより心拍数を求めてもよい。
(4)生体情報閾値や時間領域閾値を、第2の生体情報により変更する場合には、前夜の睡眠の質により各閾値を決定してもよい。
例えば前夜の睡眠状態を脈波センサにより測定しておき、睡眠中(ノンレム)の心拍数の標準偏差SDの平均から運転中の心拍数の標準偏差SDの閾値を決定してもよい。具体的には、例えば、睡眠中の心拍数の標準偏差SD=Sのとき、運転中の心拍数の標準偏差SDの閾値=c×S(cは係数)としてもよい。
また、体調予測により各閾値を決定してもよい。例えば体調予測が悪い場合には、より生体の活性度の低下を検知し易い様に、生体情報閾値を高めに設定したり、時間領域閾値を低めに設定してもよい。
更に、データベース化された運転者の日内変動(週内変動、年内変動)を考慮して、各閾値を設定してもよい。例えば夜である場合には、より生体の活性度の低下を検知し易い様に、生体情報閾値を高めに設定したり、時間領域閾値を低めに設定してもよい。
尚、本発明は前記実施例になんら限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の態様で実施しうることはいうまでもない。
例えば、上述した運転者状態検出装置の機能を、コンピュータのプログラムにより実行される処理により実現したもの、即ち前記機能を実現するためのプログラムも本発明の範囲である。
実施例1の運転者状態検出装置が用いられるシステム構成を示す説明図である。 実施例1にて用いられる活性度の領域の区分を示す説明図である。 実施例1にて用いられる活性度の領域の区分の縦軸及び横軸の指標を示す説明図である。 他の領域の区分方法を示す説明図である。 実施例1の時間領域閾値による区分を示す説明図である。 実施例1の各閾値を設定するために用いられる各情報の寄与度等を示す説明図である。 実施例1の体調予測の手法を示す説明図である。 実施例1の運転者状態検出装置にて行われる処理を示すフローチャートである。 実施例1の実際の計測データの解析結果を示すグラフである。 他の応用例を示すフローチャートである 更に他の応用例を示すグラフである。
符号の説明
1…運転車状態検出装置(ECU)
3…脈波センサ
5…メモリ
7…車速センサ
9…他のセンサ類
11…警報機

Claims (8)

  1. 車両の運転者の生体状態を示す第1の生体情報と、車両の挙動を示す第1の車両情報との2次元マップを用いる運転状態検出装置であって、
    前記第1の生体情報として、前記運転者の心拍に関する情報を用いるとともに、
    前記第1の生体情報によって示される範囲を区分するための車両の運転者の状態に係わる第2の生体情報と、前記第1の車両情報によって示される範囲を区分するための車両の運行に係わる第2の車両情報とから、前記2次元マップを前記運転者の状態別の4つの領域に区分し、
    該区分された各領域における前記運転者の状態を示すデータの前記2次元マップにおける分布の状態に基づいて、前記運転者の状態を判定することを特徴とする運転者状態検出装置。
  2. 前記区分された領域に、前記運転者の状態を示す活性度のデータがどの程度の頻度又は時間停滞していたかを示す時間軸を加味して、時間領域の区分を行うことを特徴とする前記請求項1に記載の運転者状態検出装置。
  3. 前記区分された領域に存在する前記運転者の状態を示す活性度のデータの状態に応じて、警報を発することを特徴とする前記請求項1又は2に記載の運転者状態検出装置。
  4. 前記車両情報の指標として、所定の解析セグメントにおける下記の値(1)〜(8)のいずれかを用いることを特徴とする前記請求項1〜のいずれか1項に記載の運転者状態検出装置。
    (1)加速度の標準偏差SD
    (2)速度の標準偏差SD
    (3)速度の変動係数CV(即ち平均速度Aveに対する速度の標準偏差SDの比)
    (4)a×加速度の標準偏差SD+b×平均速度Ave(但し、a、bは寄与度)
    (5)a×速度の標準偏差SD+b×平均速度Ave(但し、a、bは寄与度)
    (6)a×速度の変動係数CV+b×平均速度Ave(但し、a、bは寄与度)
    (7)k×加速度の標準偏差SD×平均速度Ave(但し、kは係数)
    (8)k×速度の標準偏差SD×平均速度Ave(但し、kは係数)
  5. 前記生体情報の指標として、所定の解析セグメントにおける下記の値(1)〜(6)のいずれかを用いることを特徴とする前記請求項1〜のいずれか1項に記載の運転者状態検出装置。
    (1)心拍数の標準偏差SD
    (2)心拍数の変動係数CV(即ち平均心拍数Aveに対する心拍数の標準偏差SDの比)
    (3)a×心拍数の標準偏差SD+b×平均心拍数Ave(但し、a、bは寄与度)
    (4)a×心拍数の標準偏差SD+b×(全平均心拍数Ave
    −所定期間の平均心拍数Ave’)(但し、a、bは寄与度)
    (5)k×心拍数の標準偏差SD×平均心拍数Ave(但し、kは係数)
    (6)k×心拍数の標準偏差SD×(全平均心拍数Ave
    −所定期間の平均心拍数Ave’)(但し、kは係数)
  6. 前記運転者の心拍数が、所定の範囲外であった場合には、体調が悪いと判断することを特徴とする前記請求項1〜のいずれか1項に記載の運転者状態検出装置。
  7. 前記所定の範囲は、前記運転者の(平均心拍数±k×標準偏差(kは係数))であることを特徴とする前記請求項に記載の運転者状態検出装置。
  8. 前記請求項1〜のいずれかに記載の運転者状態検出装置の機能を、コンピュータにより実現するためのプログラム。
JP2004133974A 2004-04-28 2004-04-28 運転者状態検出装置及びプログラム Expired - Fee Related JP4595377B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2004133974A JP4595377B2 (ja) 2004-04-28 2004-04-28 運転者状態検出装置及びプログラム
US11/113,988 US7248997B2 (en) 2004-04-28 2005-04-26 Driver's condition detector for vehicle and computer program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004133974A JP4595377B2 (ja) 2004-04-28 2004-04-28 運転者状態検出装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2005312653A JP2005312653A (ja) 2005-11-10
JP4595377B2 true JP4595377B2 (ja) 2010-12-08

Family

ID=35188180

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004133974A Expired - Fee Related JP4595377B2 (ja) 2004-04-28 2004-04-28 運転者状態検出装置及びプログラム

Country Status (2)

Country Link
US (1) US7248997B2 (ja)
JP (1) JP4595377B2 (ja)

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005026479B4 (de) * 2005-06-09 2017-04-20 Daimler Ag Verfahren zur Unaufmerksamkeitserkennung in Abhängigkeit von mindestens einem fahrerindividuellen Parameter
JP4825586B2 (ja) * 2006-05-30 2011-11-30 東芝コンシューマエレクトロニクス・ホールディングス株式会社 睡眠モニタ装置
JP4771084B2 (ja) * 2006-11-21 2011-09-14 トヨタ自動車株式会社 バイオフィードバック装置
JP4240118B2 (ja) * 2006-12-12 2009-03-18 トヨタ自動車株式会社 運転支援装置
JP2008183205A (ja) * 2007-01-30 2008-08-14 Aisin Seiki Co Ltd 体調管理システム
US20090089108A1 (en) * 2007-09-27 2009-04-02 Robert Lee Angell Method and apparatus for automatically identifying potentially unsafe work conditions to predict and prevent the occurrence of workplace accidents
JP2010131061A (ja) * 2008-12-02 2010-06-17 Toyota Motor Corp 眠気検出装置
JP4609539B2 (ja) * 2008-07-04 2011-01-12 トヨタ自動車株式会社 眠気検出装置
US8140149B2 (en) 2008-07-04 2012-03-20 Toyota Jidosha Kabushiki Kaisha Drowsiness detector
JP2010134533A (ja) * 2008-12-02 2010-06-17 Toyota Motor Corp 眠気検出装置
JP5340660B2 (ja) * 2008-07-08 2013-11-13 株式会社デンソー 車両用乗員覚醒装置
JP5288251B2 (ja) * 2008-09-12 2013-09-11 株式会社デンソー 緊急車両認知支援装置
JP5083284B2 (ja) * 2009-08-11 2012-11-28 株式会社デンソー 状態推定装置
US8825304B2 (en) * 2010-06-30 2014-09-02 Microsoft Corporation Mediation of tasks based on assessments of competing cognitive loads and needs
JP5454703B2 (ja) * 2010-11-08 2014-03-26 トヨタ自動車株式会社 睡眠状態推定装置
JP5482644B2 (ja) * 2010-12-27 2014-05-07 株式会社デンソー 車両用制御装置
US8698639B2 (en) 2011-02-18 2014-04-15 Honda Motor Co., Ltd. System and method for responding to driver behavior
US9292471B2 (en) 2011-02-18 2016-03-22 Honda Motor Co., Ltd. Coordinated vehicle response system and method for driver behavior
US8542844B2 (en) * 2011-04-07 2013-09-24 Visteon Global Technologies, Inc. Sound modification system and method
SE535765C2 (sv) * 2011-04-20 2012-12-11 Scania Cv Ab Fordon med ett säkerhetssystem med prediktion av förartrötthet
DE102011077941A1 (de) * 2011-06-22 2012-12-27 Robert Bosch Gmbh Verfahren und Vorrichtung zur Bestimmung einer Tauglichkeit einer Route
DE102011085825A1 (de) * 2011-11-07 2013-05-08 Robert Bosch Gmbh Verfahren und Vorrichtung zum Warnen des Fahrers eines Kraftfahrzeugs bei mangelnder Aufmerksamkeit
JP5879949B2 (ja) * 2011-11-18 2016-03-08 三菱自動車工業株式会社 運転支援装置
WO2014165250A1 (en) * 2013-03-12 2014-10-09 PayrollHero.com Pte. Ltd. Method for employee parameter tracking
US9751534B2 (en) 2013-03-15 2017-09-05 Honda Motor Co., Ltd. System and method for responding to driver state
US10499856B2 (en) 2013-04-06 2019-12-10 Honda Motor Co., Ltd. System and method for biological signal processing with highly auto-correlated carrier sequences
FI124068B (en) * 2013-05-03 2014-02-28 Jyvaeskylaen Yliopisto Procedure for improving driving safety
JP6193649B2 (ja) * 2013-07-04 2017-09-06 パラマウントベッド株式会社 睡眠評価装置及び睡眠評価プログラム
US9193359B2 (en) * 2013-08-12 2015-11-24 GM Global Technology Operations LLC Vehicle systems and methods for identifying a driver
WO2015060874A1 (en) 2013-10-25 2015-04-30 Empire Technology Development Llc Operator alertness monitor
JP6352028B2 (ja) * 2014-04-01 2018-07-04 積水化学工業株式会社 体調判定装置
CN104224205B (zh) * 2014-07-30 2016-09-28 哈尔滨工业大学深圳研究生院 一种基于简易心电采集和匹配的疲劳检测方法
WO2016033587A1 (en) * 2014-08-29 2016-03-03 Ims Solutions Inc. Driver readiness and integrated performance assessment
JP6557489B2 (ja) * 2015-03-22 2019-08-07 株式会社デルタツーリング 生体状態推定装置及びコンピュータプログラム
JP6419033B2 (ja) * 2015-07-06 2018-11-07 日本電信電話株式会社 駆動制御装置、駆動制御方法及び駆動制御プログラム
WO2017028895A1 (en) 2015-08-17 2017-02-23 Polar Electro Oy Enhancing vehicle system control
DE102015223149A1 (de) * 2015-11-24 2017-05-24 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Ausgabe eines gesundheitsförderlichen Hinweises an einen Fahrer eines Fahrzeugs
KR101806631B1 (ko) * 2015-12-02 2017-12-07 현대자동차주식회사 혈류량 신호 기반 운전자 상태 판단 장치 및 방법
GB2548940B (en) * 2016-03-30 2018-10-03 Ford Global Tech Llc A method of operating an environmental control system
US10067907B2 (en) * 2016-05-05 2018-09-04 GM Global Technology Operations LLC Vehicle including noise management system having automotive audio bus (A2B) interface
CN106314437B (zh) * 2016-08-30 2018-12-25 宇龙计算机通信科技(深圳)有限公司 一种预防疲劳驾驶装置及其方法、智能手环
JP6747231B2 (ja) * 2016-10-11 2020-08-26 株式会社デンソー 体調判定方法、体調判定プログラム、及び体調判定装置
JP6518294B2 (ja) * 2017-08-10 2019-05-22 パラマウントベッド株式会社 睡眠評価装置及びプログラム
US11607142B2 (en) 2017-08-15 2023-03-21 Ts Tech Co., Ltd. Biosensor arrangement structure
JP7021429B2 (ja) * 2017-08-17 2022-02-17 テイ・エス テック株式会社 異常検知装置及びシート
KR102435346B1 (ko) * 2017-09-28 2022-08-23 현대자동차주식회사 운전자의 헬스 측정 시스템 및 그를 이용한 위험 경고 방법
JP2019093175A (ja) * 2019-02-05 2019-06-20 パイオニア株式会社 眠気算出装置
JP6745379B2 (ja) * 2019-04-19 2020-08-26 パラマウントベッド株式会社 評価装置及びプログラム
JP7198165B2 (ja) * 2019-06-26 2022-12-28 パラマウントベッド株式会社 睡眠評価装置及び判定装置
CN115697813A (zh) 2020-06-12 2023-02-03 株式会社半导体能源研究所 车辆控制装置
JP2021003560A (ja) * 2020-08-26 2021-01-14 パイオニア株式会社 眠気算出装置
CN112489369B (zh) * 2020-11-06 2022-07-05 安徽盛瑞科技有限公司 一种适用于车载导航系统的防瞌睡警报装置及使用方法
DE112022002036T5 (de) 2021-04-08 2024-02-29 Semiconductor Energy Laboratory Co., Ltd. Fahrzeugsteuervorrichtung und Fahrzeug

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04183934A (ja) * 1990-11-19 1992-06-30 Nissan Motor Co Ltd エンジンと自動変速機の総合制御装置
JPH08140949A (ja) * 1994-11-16 1996-06-04 Pioneer Electron Corp 運転精神状態検出装置
JPH10166892A (ja) * 1996-12-13 1998-06-23 Isuzu Motors Ltd 居眠り運転検知装置
JPH11314534A (ja) * 1998-05-06 1999-11-16 Nissan Motor Co Ltd 車両用注意能力低下防止装置
JP2000060803A (ja) * 1998-08-21 2000-02-29 Terumo Corp 血糖値情報処理システム
JP2002025000A (ja) * 2000-07-11 2002-01-25 Mazda Motor Corp 車両の制御装置
JP2003048447A (ja) * 2001-08-08 2003-02-18 Fujitsu Ltd 運行監視システム
JP2004026098A (ja) * 2002-06-28 2004-01-29 Hitachi Ltd 交通安全診断方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6661345B1 (en) * 1999-10-22 2003-12-09 The Johns Hopkins University Alertness monitoring system
SE0002804D0 (sv) * 2000-08-01 2000-08-01 Promind Ab Teknik för att fortlöpande kartlägga fordons/förares uppträdande/beteende för att fastställa fordons reaktionskoefficient resp. förares kompetenskoefficient, samt anordning för grafisk presentation av dessa koefficienter
DE10042367A1 (de) * 2000-08-29 2002-05-02 Bosch Gmbh Robert Verfahren und Vorrichtung zur Diagnose der Fahrtüchtigkeit eines Fahrers in einem Kraftfahrzeug
US6879969B2 (en) * 2001-01-21 2005-04-12 Volvo Technological Development Corporation System and method for real-time recognition of driving patterns
US6496117B2 (en) * 2001-03-30 2002-12-17 Koninklijke Philips Electronics N.V. System for monitoring a driver's attention to driving
JP4514372B2 (ja) * 2001-08-28 2010-07-28 パイオニア株式会社 情報提供システム、情報提供方法、情報提供プログラム、情報提供システムにおけるサーバ装置および、情報提供システムにおける端末装置
US6974414B2 (en) * 2002-02-19 2005-12-13 Volvo Technology Corporation System and method for monitoring and managing driver attention loads
JP4252268B2 (ja) * 2002-08-29 2009-04-08 パイオニア株式会社 疲労度判別システム、疲労度判別方法、および疲労度判別用プログラム
US7202792B2 (en) * 2002-11-11 2007-04-10 Delphi Technologies, Inc. Drowsiness detection system and method
US6946965B2 (en) * 2002-12-30 2005-09-20 Young Thomas W Driver fatigue detector with automatic deactivation

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04183934A (ja) * 1990-11-19 1992-06-30 Nissan Motor Co Ltd エンジンと自動変速機の総合制御装置
JPH08140949A (ja) * 1994-11-16 1996-06-04 Pioneer Electron Corp 運転精神状態検出装置
JPH10166892A (ja) * 1996-12-13 1998-06-23 Isuzu Motors Ltd 居眠り運転検知装置
JPH11314534A (ja) * 1998-05-06 1999-11-16 Nissan Motor Co Ltd 車両用注意能力低下防止装置
JP2000060803A (ja) * 1998-08-21 2000-02-29 Terumo Corp 血糖値情報処理システム
JP2002025000A (ja) * 2000-07-11 2002-01-25 Mazda Motor Corp 車両の制御装置
JP2003048447A (ja) * 2001-08-08 2003-02-18 Fujitsu Ltd 運行監視システム
JP2004026098A (ja) * 2002-06-28 2004-01-29 Hitachi Ltd 交通安全診断方法

Also Published As

Publication number Publication date
US20050246134A1 (en) 2005-11-03
US7248997B2 (en) 2007-07-24
JP2005312653A (ja) 2005-11-10

Similar Documents

Publication Publication Date Title
JP4595377B2 (ja) 運転者状態検出装置及びプログラム
JP4711826B2 (ja) 運転者の障害を認識するための方法およびシステム
JP4905832B2 (ja) 運転者状態判定装置、及び運転支援装置
US9171409B2 (en) System and method for vehicle driving style determination
JP5950025B2 (ja) 運転支援装置、運転支援方法、情報提供装置、情報提供方法、ナビゲーション装置及びナビゲーション方法
US7805223B2 (en) Dialogue system
US7663495B2 (en) Vigilance monitoring technique for vehicle operators
US20190121356A1 (en) Drowsiness sensing system
US7283056B2 (en) Method and computer program for identification of inattentiveness by the driver of a vehicle
JP5651994B2 (ja) 運転支援装置
JP4612943B2 (ja) 車両用の覚醒度推定装置および覚醒度推定方法
CN105313898A (zh) 驾驶员状态感应装置及其方法
JP2007122579A (ja) 車両制御装置
JP4529394B2 (ja) ドライバの車両運転特性推定装置
JP2009213768A (ja) 運転者状態判定装置
JP2009087122A (ja) 覚醒状態推定装置
JP4581356B2 (ja) ドライバの心身状態判定装置及びドライバの運転支援装置
JP2009018047A (ja) 心理状態推定装置
JP2021026718A (ja) 運転行動評価装置及びプログラム
JP6206867B2 (ja) 自動車安全運転能力測定システム
JP3997142B2 (ja) 車両用の覚醒度推定装置および覚醒度推定方法
EP2204784B1 (en) A system and method for monitoring the state of vigilance of the driver of a vehicle
JP2000185575A (ja) 車両用の覚醒度推定装置および覚醒度推定方法
EP2405406B1 (en) Information system for a vehicle
JP2005230030A (ja) 健康管理システム、ヘルメット、処理装置、サーバ装置及び健康管理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060626

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080918

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090210

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090410

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091027

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100608

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100806

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100824

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100906

R151 Written notification of patent or utility model registration

Ref document number: 4595377

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131001

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees