JP5311793B2 - 脇見状態判定装置 - Google Patents

脇見状態判定装置 Download PDF

Info

Publication number
JP5311793B2
JP5311793B2 JP2007269455A JP2007269455A JP5311793B2 JP 5311793 B2 JP5311793 B2 JP 5311793B2 JP 2007269455 A JP2007269455 A JP 2007269455A JP 2007269455 A JP2007269455 A JP 2007269455A JP 5311793 B2 JP5311793 B2 JP 5311793B2
Authority
JP
Japan
Prior art keywords
aside
state
driver
observation
looking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2007269455A
Other languages
English (en)
Other versions
JP2009098900A (ja
Inventor
利行 難波
博昭 関山
圭介 岡本
義博 大栄
洋一 佐藤
義大 須田
高宏 鈴木
大助 山口
史朗 熊野
研一 堀口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Tokyo NUC
Toyota Motor Corp
Original Assignee
University of Tokyo NUC
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Tokyo NUC, Toyota Motor Corp filed Critical University of Tokyo NUC
Priority to JP2007269455A priority Critical patent/JP5311793B2/ja
Priority to US12/738,576 priority patent/US8665099B2/en
Priority to EP08840164.1A priority patent/EP2201496B1/en
Priority to PCT/IB2008/002739 priority patent/WO2009050564A2/en
Publication of JP2009098900A publication Critical patent/JP2009098900A/ja
Application granted granted Critical
Publication of JP5311793B2 publication Critical patent/JP5311793B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks
    • G06F18/295—Markov models or related models, e.g. semi-Markov models; Markov random fields; Networks embedding Markov models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/84—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using probabilistic graphical models from image or video features, e.g. Markov models or Bayesian networks
    • G06V10/85—Markov-related models; Markov random fields
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness

Description

本発明は、運転者の脇見状態を判定する脇見状態判定装置に関し、特に、運転者の視線に関する情報と、運転操作に関する情報又は走行状態に関する情報等の少なくとも一つを観測量として取得し、既知の脇見状態と既知の観測量との間の確率的関係及び現在の観測量に基づいて現在の脇見状態を判定する脇見状態判定装置に関する。
従来、過去の所定時間内における運転者の視線方向の方向別頻度、及び、過去の所定期間内における操舵角速度の角速度別頻度に基づいて運転者が脇見をしているか否かを判定する運転者状態検出装置が知られている（例えば、特許文献１参照。）。
この運転者状態検出装置は、隣接車線に他車が存在し、かつ、運転者が車線を維持しようとしている場合であって、運転者が脇見をせずに運転しているときには、車両位置を一定に保とうとする意識が強くなることでステアリング操作が比較的頻繁になり操舵角速度も比較的大きくなるのに対し、運転者が脇見をしながら運転をしているときには、ステアリング操作が比較的緩慢になり操舵角速度も比較的小さくなるという前提条件を設定して、過去の所定時間内における運転者の視線方向の方向別頻度が所定状態となった場合に、過去の所定期間内における操舵角速度の操舵角速度別頻度に基づいて運転者が脇見運転をしているか否かを判定する。
このように、この運転者状態検出装置は、所定期間における操舵角速度の統計値に基づいて予め設定しておいた特定の前提条件が満たされるか否かを判定することで、過去の所定時間内における運転者の視線方向の方向別頻度が所定状態となった場合に、運転者が脇見運転をしているか否かを高精度に判定しようとする。
特開２００３−８０９６９号公報 須田善大、高橋良至、大貫正明、"研究用ユニバーサル・ドライビングシミュレータ"、自動車技術、Vol.59,No.7,(2005),pp.83-88、自動車技術会 岡兼司、菅野裕介、佐藤洋一、"頭部変形モデルの自動構築を伴う実時間頭部姿勢推定"、情報処理学会論文誌：コンピュータビジョンとイメージメディア、Vol.47,No.SIG10(CVIM15),pp.185-194
しかしながら、特許文献１に記載の運転者状態検出装置は、脇見の有無を判定するために観測可能なデータ（操舵角速度）に関する特定の前提条件を定義するので、そのような特定の前提条件に当てはまらないステアリング操作には対応することができず、運転者が脇見運転をしていないにもかかわらず脇見運転をしているものと判定したり、反対に、運転者が脇見運転をしているにもかかわらず脇見運転をしていないものと判定したりしてしまう。
上述の点に鑑み、本発明は、運転者が脇見をしているか否かをより正確に判定できる脇見状態判定装置を提供することを目的とする。
上述の目的を達成するために、本発明の第一の実施例に係る脇見状態判定装置は、運転者の視線に関する情報と、運転操作に関する情報又は走行状態に関する情報のうちの少なくとも一つとを観測量として取得する観測量取得手段と、所定の脇見状態と観測量との間の確率的関係及び前記観測量取得手段が取得した観測量に基づいて該所定の脇見状態が脇見であるか否かを判定する脇見状態判定手段と、を備え、前記所定の脇見発生状態は、少なくとも１種類の観測量の現在時刻における値を用いて定義され、前記脇見状態判定手段は、運転者が脇見をしている確率を算出し、算出した確率が閾値を超えた場合で、且つ、前記所定の脇見発生状態が検出されている場合に、運転者が脇見をしていると判定することを特徴とする。
また、本発明の第二の実施例は、第一の実施例に係る脇見状態判定装置であって、前記脇見状態判定手段は、ベイジアンネットワークを用いて運転者が脇見をしている確率を算出することを特徴とする。
また、本発明の第三の実施例は、第一又は第二の実施例に係る脇見状態判定装置であって、前記脇見状態判定手段は、遷移モデル及び観測モデルを事前に学習し、前記遷移モデル及び前記観測モデルと前記観測量取得手段が取得した観測量とに基づいて運転者が脇見をしている確率を算出することを特徴とする。
また、本発明の第四の実施例は、第一乃至第三の何れかの実施例に係る脇見状態判定装置であって、前記運転操作に関する情報は、操舵角、アクセル踏み込み量、ブレーキ踏み込み量又はウィンカー操作に関する情報を含むことを特徴とする。
また、本発明の第五の実施例は、第一乃至第三の何れかの実施例に係る脇見状態判定装置であって、前記走行状態に関する情報は、車両の速度又は加速度を含むことを特徴とする。
また、本発明の第六の実施例は、第一乃至第三の何れかの実施例に係る脇見状態判定装置であって、前記走行状態に関する情報は、車両とセンターラインとの間の距離又は車両とセンターラインとの間の角度を含むことを特徴とする。
また、本発明の第七の実施例は、第一乃至第三の何れかの実施例に係る脇見状態判定装置であって、前記走行状態に関する情報は、周囲環境に関する情報を含むことを特徴とする。
また、本発明の第八の実施例は、第一乃至第三の何れかの実施例に係る脇見状態判定装置であって、前記運転者の視線に関する情報は、頭部の傾斜角度を含むことを特徴とする。
上述の手段により、本発明は、運転者が脇見をしているか否かをより正確に判定できる脇見状態判定装置を提供することができる。
以下、図面を参照しつつ、本発明を実施するための最良の形態の説明を行う。
図１は、本発明に係る脇見状態判定装置の構成例を示すブロック図であり、脇見状態判定装置１００は、制御部１、各種観測量を取得する装置２０〜２８、運転者の入力を受け付ける入力装置２９、及び、各種音声を出力する音声出力装置３０から構成される車載装置である。
ここで、「観測量」とは、数値として観測できる量であり、例えば、図２に示すようなカテゴリ「運転操作」、「車両状態」又は「運転者情報」に分類され、「運転操作」カテゴリにおける「ステアリング角度」、「アクセル踏み込み量」、「ブレーキ踏み込み量」及び「方向指示器設定」、「車両状態」カテゴリにおける「速度」、「加速度」、「車両とセンターラインとの間の距離」及び「車両のセンターラインに対する角度」、並びに、「運転者情報」カテゴリにおける「頭部ヨー角（運転者の頭部の鉛直軸周りの回転角をいう。）」が含まれる。
また、「観測量」は、アクセル踏み込み速度、ブレーキ踏み込み速度、ステアリング角速度、車両位置（緯度、経度、高度がある。）、道路種類（直線道路、湾曲道路、交差点付近等がある。）、周囲環境（脇見を誘発しやすい繁華街、景勝地、又は、脇見を誘発し難い高速道路等がある。）、歩行者の有無、他車の速度、加速度、自車と他車との間の距離、頭部ピッチ角（運転者の頭部の車両左右方向に伸びる軸周りの回転角をいう。）、頭部ロール角（運転者の頭部の車両前後方向に伸びる軸周りの回転角をいう。）等、観測可能な量であって脇見状態に影響を与え得る如何なるものを含んでいてもよい。
また、「観測量」は、連続値（アナログデータ）が採用されてもよいが、その連続値を複数段階に区分した離散値（デジタルデータであり、例えば、観測量が「速度」の場合、５、１０、１５といった５ｋｍ／ｈ毎の段階で区分される。）や複数の指標（例えば、道路種類における直線道路の指標として「１」を設定し、道路種類における湾曲道路の指標として「２」を設定したりする。）が採用されてもよい。
なお、脇見状態判定装置１００は、好適には、各種観測量をそれぞれ１２段階の離散値に区分して取り扱うこととする。段階数が少ないと各種観測量の特徴を抽出するのが困難となり、一方で、段階数が多いとノイズ（異常値）の混入が無視できなくなるからである。
脇見状態判定装置１００は、例えば、運転者の頭部ヨー角、及び、脇見状態に関連する各種観測量を継続的に取得しながら、その頭部ヨー角が所定角度以上となった場合における各種観測量の瞬間値や統計値（平均値、最大値、最小値、分散、中間値等がある。）と所定の遷移モデル及び所定の観測モデルとに基づいて、直接的に観測できない脇見状態を条件付確率で表すようにする。
ここで、「遷移モデル」とは、二以上の状態が互いに遷移する場合における各状態の条件付確率分布であり、例えば、時刻ｔにおいて脇見状態でなかった（Ｘｔ＝ＯＦＦ）場合に時刻ｔ＋１において脇見状態（Ｘｔ＋１＝ＯＮ）となる条件付確率分布であって、Ｐ（Ｘｔ＋１＝ＯＮ｜Ｘｔ＝ＯＦＦ）のように表される。
また、「観測モデル」とは、観測量の条件付確率分布であり、例えば、時刻ｔにおいて脇見状態（Ｘｔ＝ＯＮ）であった場合に観測量Ｚｔ （ｋ）が所定値ｚとなる条件付確率分布であって、Ｐ（Ｚｔ （ｋ）＝ｚ｜Ｘｔ＝ＯＮ）のように表される。なお、Ｚ（ｋ）は、Ｎ種類ある観測量のｋ番目の観測量の値を示す。
また、脇見状態判定装置１００は、例えば、遷移モデル及び観測モデルを予め用意しているものとし、それら遷移モデル及び観測モデルは、例えば、ドライビングシミュレータ（例えば、非特許文献１参照。）を用いて運転者毎に事前に学習される。
図３は、ドライビングシミュレータの構成例を示す概略図であり、図３（Ａ）は、被験者（運転者）ＤＲが、車両模型ＶＣの各種操作部（図示しない、アクセルペダル、ブレーキペダル、ステアリング等である。）に連動するスクリーンＳＣ上の映像を見ながら車両の運転を擬似的に体験できるようになっていることを示す。
また、図３（Ａ）は、ドライビングシミュレータＤＳが、運転者撮影用カメラ２１を運転席前方に備え、かつ、被験者ＤＲの運転操作を検証するための検証用カメラＭＣを運転席後方上部に備えることを示す。
また、図３（Ａ）は、ドライビングシミュレータＤＳが、運転者ＤＲの脇見を誘発するターゲット画像ＴＧを表示させるためのプロジェクタＰ１、Ｐ２を後部座席の左右に備えることを示し、運転者ＤＲは、首を振らなければ（頭部ヨー角が所定角度φ以上にならなければ）、ターゲット画像ＴＧを視認できないものとする。
このようにして、ドライビングシミュレータＤＳは、運転者撮影用カメラ２１が取得した画像から、従来技術（例えば、非特許文献２参照。）を用いて、脇見状態を最も良く反映すると考えられる頭部ヨー角を検出できるようにする。
ドライビングシミュレータＤＳは、ターゲット画像ＴＧの表示頻度、表示時間、ターゲット画像ＴＧの表示位置、ターゲット画像ＴＧの種類等をランダムに決定し、例えば、表示頻度を１分間当たり２．２回、表示時間を１回当たり５秒間、ターゲット画像ＴＧの種類を５０種類としながら、左右のプロジェクタＰ１、Ｐ２を利用してターゲット画像ＴＧを含む投影画像ＰＧを左右の壁面Ｗ１、Ｗ２にそれぞれ投影させる。
図３（Ｂ）は、右側の壁面Ｗ２に投影される投影画像ＰＧの一例を示し、投影画像ＰＧが、その左側領域に歩行者の形をしたターゲット画像ＴＧを含む状態を示す。
なお、ドライビングシミュレータＤＳは、歩行者の他に、道路標識、四字熟語等、被験者ＤＲの興味を引く画像をターゲット画像ＴＧとして使用してもよく、また、被験者ＤＲに心的負荷を与えることなく自然に脇見をさせるために、左右何れの方向にターゲット画像ＴＧが表示されたかを音声で知らせるようにしてもよい。
また、ドライビングシミュレータＤＳは、被験者ＤＲの頭部ヨー角がφ（例えば、±１０°である。）以上で、かつ、ターゲット画像ＴＧが表示されている状態を脇見が発生している状態と定義した上で、被験者ＤＲに擬似的な運転を所定回数繰り返し実施させるようにする（この行為を教師付き学習と呼ぶ。）。
なお、脇見が発生している状態は、頭部ヨー角以外の観測量を用いて定義されてもよく、また、脇見の発生していない状態が、任意の観測量を用いて定義されてもよい（例えば、頭部ヨー角がφ以上であっても、操舵角が所定角度以上となっている状態を、脇見の発生していない状態と定義する。）。
上述の方法に従って獲得した各種観測量に基づき、ドライビングシミュレータＤＳは、遷移モデル及び観測モデルを学習（生成）する。
なお、遷移モデル及び観測モデルは、フレーム（所定の時間的単位をいい、例えば、運転者撮影用カメラ２１の撮影単位（フレーム／秒）でいうところのフレームである。）の数に基づいて導出される。
具体的には、遷移モデルが（１）式で表され、観測モデルが（２）式で表される。
Figure 0005311793
Figure 0005311793
 なお、ｆｒａｍｅ｛ｙ｝は、条件ｙを満たすフレームの数を意味する。
ここで再度、図１を参照しながら、脇見状態判定装置１００の構成要素について説明する。
制御部１は、ＣＰＵ（Central Processing Unit）、並びに、ＲＡＭ(Random Access Memory)及びＲＯＭ（Read Only Memory）等の記憶部１５を備えたコンピュータであって、例えば、観測量取得手段１０、脇見状態学習手段１１及び脇見状態判定手段１２のそれぞれに対応するプログラムを記憶部１５に記憶しながら、各手段に対応する処理をＣＰＵに実行させる。
記憶部１５は、例えば、ドライビングシミュレータＤＳを用いて学習が行われた遷移モデル１５０及び観測モデル１５１を運転者毎に記憶し、車両を運転する各運転者に対応する遷移モデル１５０及び観測モデル１５１を脇見状態判定装置１００が選択的に利用できるようにする。
道路撮影用カメラ２０は、道路上に設置された区画線や道路標示等を認識するためのカメラであり、例えば、フロントグリル付近に設置され、自車が走行する道路上の車線境界線等を撮影する。
運転者撮影用カメラ２１は、運転者を撮影するためのカメラであり、例えば、インストルメントパネル内やダッシュボード上等に設置され、運転者の頭部を撮影する。なお、運転者撮影用カメラ２１は、好適には、ドライビングシミュレータＤＳで使用されるものと同じ配置、同じ型が使用される。ドライビングシミュレータＤＳで得られた遷移モデル１５０及び観測モデル１５１を有効に利用できるようにするためである。
操舵角センサ２２は、車輪の操舵角に関連するステアリングシャフトの回転角を測定するためのセンサであり、例えば、ステアリングシャフトに埋め込まれた磁石による磁気抵抗をＭＲ（Magnetic Resistance）素子により読み取りステアリングシャフトの回転角を検出し、検出結果を制御部１に出力する。
アクセル踏み込み量センサ２３は、アクセルの踏み込み量を検出するためのセンサであり、例えば、可変抵抗器を用いたポテンショメータによりアクセルペダルの踏み込み量を検出し、検出結果を制御部１に出力する。
ブレーキ踏み込み量センサ２４は、アクセル踏み込み量センサ２３と同様、ブレーキの踏み込み量を検出するための手段である。
方向指示器２５は、自車の進行方向を外部に通知するための装置であり、例えば、ウィンカーランプを点滅させて自車の進行方向を外部に通知するようにし、その状態を示す電気信号を制御部１に出力する。
速度センサ２６は、車両の速度を測定するセンサであり、例えば、各車輪に取り付けられ各車輪とともに回転する磁石による磁界の変化をＭＲ素子が磁気抵抗として読み取り、これを回転速度に比例したパルス信号として取り出すことで車輪の回転速度及び車両の速度を検出し、検出結果を制御部１に出力する。
加速度センサ２７は、車両の加速度を検出するためのセンサであり、例えば、半導体ひずみゲージを用いて車両の前後方向、上下方向、左右方向の３軸方向の加速度を検出し、検出結果を制御部１に出力する。
ナビゲーション装置２８は、ＧＰＳ(Global Positioning System)機能により取得される車両の位置情報と、ハードディスクやＤＶＤ等に記憶された地図情報とに基づいて目的地までの経路を示しながら車両を誘導するための装置であり、自車位置（緯度、経度、高度）、自車が走行する道路の種類（直線道路、湾曲道路、交差点付近等がある。）、又は、周囲環境（脇見を誘発しやすい繁華街、景勝地、又は、脇見を誘発し難い高速道路等がある。）に関する情報等を制御部１に出力する。
入力装置２９は、運転者による入力を受け付けるための装置であり、例えば、ステアリング上に配置されるステアリングスイッチであって、脇見状態判定装置１００による判定結果が正しいか否かのフィードバックを運転者が入力できるようにし、運転者によるその入力情報を制御部１に出力する。
音声出力装置３０は、音声メッセージや警報等を出力するための装置であり、例えば、車載スピーカやアラームであって、脇見状態判定装置１００により運転者が脇見をしていると判定された場合に、制御部１から送られてくる制御信号に応じて注意喚起メッセージやアラーム音を出力する。
次に、制御部１が有する各種手段について説明する。
観測量取得手段１０は、各種観測量を取得するための手段であり、各種観測量を取得する装置２０〜２８からの出力を継続的に取得しながら、取得した観測量を記憶部１５に記憶する。なお、観測量取得手段１０は、取得した直近の観測量をその統計値に反映させた上で観測量を消去又は破棄するようにしてもよい。
また、観測量取得手段１０は、運転開始時から現在時刻までの全期間に取得された観測量の全てを利用できるようにしてもよく、過去の所定期間で取得された観測量のみを利用できるようにしてもよい。
また、観測量取得手段１０は、例えば、道路撮影用カメラ２０が出力する道路の画像を受け、二値化処理、エッジ検出処理等の画像処理を施すことにより道路標示や車線境界線等を抽出する。
更に、観測量取得手段１０は、抽出した車線境界線と既知であるカメラ位置との関係から、自車と車線境界線との間の距離を算出したり、自車と車線境界線とが形成する角度を算出したりする。
また、観測量取得手段１０は、例えば、運転者撮影用カメラ２１が出力する運転者の頭部の画像を受け、既知の頭部姿勢推定方法（例えば、非特許文献２参照。）を用いて頭部の姿勢を検出し、運転者の頭部のヨー角、ピッチ角、ロール角を導出する。
更に、観測量取得手段１０は、運転者撮影用カメラ２１が出力する運転者の顔面の画像を受け、二値化処理、エッジ検出処理等の画像処理を施すことにより顔面内の目、鼻、口の位置を抽出したり、或いは、目の中における瞳の位置を抽出したりすることで、運転者の視線方向を推定するようにしてもよい。
脇見状態学習手段１１は、遷移モデル１５０及び観測モデル１５１の学習を行うための手段であり、例えば、脇見状態判定装置１００が一旦脇見であると判定し音声出力装置３０から警告を出力させた後に、入力装置２９を介して運転者が脇見をしていなかったことを事後的に検知した場合に、その判定結果が誤りであったことを遷移モデル１５０及び観測モデル１５１に反映させるようにする。
また、脇見状態学習手段１１は、指紋認証装置、虹彩認証装置又はパスワード等の運転者識別手段により運転者を識別した上で、運転者毎に、遷移モデル１５０及び観測モデル１５１を更新するようにする。運転者毎の特徴を取り入れながら遷移モデル１５０及び観測モデル１５１を準備することにより、後述の脇見状態判定手段１２による脇見判定の精度を更に向上させるためである。
このようにして、脇見状態学習手段１１は、脇見状態判定装置１００による脇見の判定精度を継続的に向上させることができる。
脇見状態判定手段１２は、脇見をしているか否かを判定するための手段であり、例えば、ダイナミックベイジアンネットワーク（以下、「ＤＢＮ」とする。）を用い、現在時刻までに得られた各種観測量に基づいて現在時刻における脇見の確率を導出し、導出した確率が所定値ξ（例えば、０．８である。）以上の場合に脇見であると判定する。
なお、所定値ξは、例えば、ドライビングシミュレータＤＳにおける複数のシミュレーション結果に対してleave-one-out法に基づく脇見判定精度の評価を行い、ＴＰ（True Positive：真陽性率であり、脇見状態を脇見であると判定する比率をいう。）、ＦＰ(False Positive：偽陽性率であり、非脇見状態を脇見であると判定する比率をいう。)、ＦＮ(False Negative：偽陰性率であり、脇見状態を脇見でないと判定する比率をいう。)、及び、ＴＮ（True Negative：真陰性であり、非脇見状態を脇見でないと判定する確率をいう。）の値を考慮しながら決定される。
ＤＢＮは、隠れ状態変数（観測量の履歴から直接的に取得することができない変数であり、例えば、脇見状態である。）と観測変数（観測量の履歴から直接的に取得することができる変数であり、例えば、頭部ヨー角、速度、加速度等である。）との間に確率的な関係が存在する場合に、有向グラフを用いてその関係を記述する手法である。
ＤＢＮは、この関係を定常状態と仮定し定量的に学習することで、ある時刻までの観測変数の状態の履歴からその時刻の隠れ状態変数の値の尤もらしさを確率的に算出する。
なお、本実施例においては、隠れ状態変数（脇見状態）が１次マルコフ過程に従い、かつ、各時刻における隠れ状態変数（脇見状態）がそれぞれの時刻の観測変数に影響を及ぼすものと仮定する。
図４は、ＤＢＮのネットワークトポロジを示す概念図であり、１次マルコフ過程に従う隠れ状態変数の推移が破線の矢印で表され、各時刻における隠れ状態変数（脇見状態）が各時刻の観測変数に影響を及ぼす様子が実線の矢印で表されている。
ここで、Ｘｔ及びＺｔ（Ｚｔ＝｛Ｚｔ （１）、・・・、Ｚｔ （Ｎ）｝）は、それぞれ、時刻ｔにおける状態変数（脇見状態）の値及び時刻ｔにおける観測変数（頭部ヨー角、速度、加速度等）の値を示し、Ｘｔは、ＯＮ（脇見をしている）又はＯＦＦ（脇見をしていない）の何れかの値を取り、Ｎは、観測変数の種類の数である。また、各観測変数Ｚｔ （ｋ）は、連続量を離散化した離散値を有し、各観測変数の離散値は、例えば、１２段階に区分される。
（３）式は、観測量の取得を開始した時刻から時刻ｔ迄の全観測量に関する情報Ｚ１：ｔに基づいて時刻ｔにおける脇見状態Ｘｔの事後確率Ｐ（Ｘｔ｜Ｚ１：ｔ）を求めるための式であり、ＤＢＮは、（３）式を用いて各観測量が所定値となる場合における脇見の確率を導出する。なお、「事後確率」とは、条件付き確率の一種であり、本実施例においては、既に得られている観測量を考慮に入れた上での脇見の起こりやすさを表すものである。
Figure 0005311793
 ここで、αは、Ｐ（Ｚｔ＋１）を示す定数であり、Ｐ（Ｚｔ＋１ （ｋ）｜Ｘｔ＋１）は、記憶部１５に記憶された観測モデル１５１を用いて決定され、Ｐ（Ｘｔ＋１｜ｘｔ）は、記憶部１５に記憶された遷移モデル１５０を用いて決定される。
従って、現在時刻における脇見の事後確率Ｐ（Ｘｔ＝ＯＮ｜Ｚ１：ｔ）は、これまでに観測された観測量Ｚ１：ｔに基づいてＰ（ｘｔ｜Ｚ１：ｔ （ｋ））を導出することにより導出されることとなる。
脇見状態判定手段１２は、上述のようにＤＢＮを用いて導出した現在時刻における脇見の事後確率Ｐ（Ｘｔ＝ＯＮ｜Ｚ１：ｔ）と所定値ξ（例えば、０．８である。）とを比較し、事後確率Ｐ（Ｘｔ＝ＯＮ｜Ｚ１：ｔ）が所定値ξ以上となる場合に、現在の状態（この場合、頭部ヨー角がφ以上である状態をいう。）が脇見であると判定する。
次に、図５を参照しながら、脇見状態判定装置１００が運転者の脇見に対して注意喚起する処理（以下、「脇見注意喚起処理」とする。）について説明する。なお、図５は、脇見注意喚起処理の流れを示すフローチャートであり、脇見状態判定装置１００は、車両が所定速度以上で走行している間、脇見注意喚起処理を繰り返し実行するものとする。
最初に、脇見状態判定装置１００の制御部１は、脇見状態判定手段１２により、ＤＢＮを用いて現在時刻における脇見の事後確率を算出する（ステップＳ１）。
その後、制御部１は、観測量取得手段１０により、運転者撮影用カメラ２１が出力する画像を受けて運転者の頭部のヨー角を導出し、その頭部のヨー角と所定角度φとを比較する（ステップＳ２）。
その頭部のヨー角が所定角度φ未満である場合（ステップＳ２のＮＯ）、制御部１は、脇見注意喚起処理を一旦終了させる。頭部のヨー角が所定角度φ未満であれば、注意喚起する必要がないからである。
その頭部のヨー角が所定角度φ以上である場合（ステップＳ２のＹＥＳ）、制御部１は、脇見状態判定手段１２により、算出された事後確率と所定値ξとを比較し（ステップＳ３）、算出された事後確率が所定値ξ以下の場合（ステップＳ３のＮＯ）、脇見注意喚起処理を一旦終了させる。算出された事後確率が低ければ、注意喚起する必要がないからであり、注意喚起が必要ないときに警報を出力してしまうのを防止するためである。
算出された事後確率が所定値ξより大きい場合（ステップＳ３のＹＥＳ）、制御部１は、音声出力装置３０に制御信号を出力して警報を出力させ、脇見を止めるよう運転者に注意喚起した上で（ステップＳ４）、脇見注意喚起処理を終了させる。
なお、図５に示す脇見注意喚起処理では、頭部ヨー角が所定角度φ以上の場合に限りＤＢＮを用いて現在時刻における脇見の事後確率を算出するようにしてもよい。
観測量取得手段１０が導出した頭部ヨー角が離散値として扱われる場合であって、その所定角度φが一区分の中間に含まれる場合（例えば、区分が±４°刻みで設定された場合であって、所定角度φ（±１０°）が、±８°から±１２°の区分に含まれる場合をいう。）もあるからであり、このとき、頭部ヨー角±８°と頭部ヨー角±１０°とは、同じ離散値として扱われるからである。これは、頭部ヨー角が所定角度φ未満であっても、脇見をしていると判定される場合が有ることを意味する。
以上の構成により、脇見状態判定装置１００は、各種観測量と脇見状態との間の確率的関係を用いて、直接的に観測できない脇見状態の脇見確率を算出しながら、運転者が脇見をしているか否かを判定するので、脇見の有無をより正確に判定することができる。
また、脇見状態判定装置１００は、各種観測量と脇見状態との間の確率的関係を用いて脇見状態を判定するので、一見しただけでは法則性の見いだせない各種観測量と脇見状態との間の関係にも柔軟に対応することができ、脇見の有無をより正確に判定することができる。
また、脇見状態判定装置１００は、右左折時や車線変更時の安全確認等、脇見でないが視線を前方から逸脱させた場合と、脇見をして視線を前方から逸脱させた場合とを、より正確に区別することができ、脇見でないが視線を前方から逸脱させた場合に警報を出力させてしまうの（誤判定に基づく警報出力）を防止することができる。
以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなしに上述した実施例に種々の変形及び置換を加えることができる。
例えば、上述の実施例では、装置２０〜２８が出力する観測量と脇見状態との確率的関係をＤＢＮで記述し、脇見の事後確率を算出することで脇見をしているか否かを判定するが、本発明に係る脇見状態判定装置は、レーダセンサが出力する車間距離、路車間通信機が出力する車線の種類（走行車線又は追い越し車線等である。）等、更に別の観測量をＤＢＮに入力しながら、脇見をしているか否かを判定するようにしてもよい。
また、本発明に係る脇見状態判定装置は、ニューラルネットワーク等の他の確率モデルを用いて脇見をしているか否かを判定するようにしてもよい。
本発明に係る脇見状態判定装置の構成例を示すブロック図である。 脇見状態判定装置が取得する観測量の分類表の一例である。 ドライビングシミュレータの構成例を示す概略図である。 ＤＢＮのネットワークトポロジを示す概念図である。 脇見注意喚起処理の流れを示すフローチャートである。
符号の説明
１ 制御部
１０ 観測量取得手段
１１ 脇見状態学習手段
１２ 脇見状態判定手段
１５ 記憶部
２０ 道路撮影用カメラ
２１ 運転者撮影用カメラ
２２ 操舵角センサ
２３ アクセル踏み込み量センサ
２４ ブレーキ踏み込み量センサ
２５ 方向指示器
２６ 速度センサ
２７ 加速度センサ
２８ ナビゲーション装置
２９ 入力装置
３０ 音声出力装置
１００ 脇見状態判定装置
１５０ 遷移モデル
１５１ 観測モデル
ＤＲ 被験者
ＤＳ ドライビングシミュレータ
ＭＣ 検証用カメラ
Ｐ１、Ｐ２ プロジェクタ
ＰＧ 投影画像
ＳＣ スクリーン
ＴＧ ターゲット画像
ＶＣ 車両模型
Ｗ１、Ｗ２ 壁面

Claims (8)

  1. 運転者の視線に関する情報と、運転操作に関する情報及び走行状態に関する情報のうちの少なくとも一つとを観測量として取得する観測量取得手段と、
    所定の脇見発生状態と観測量との間の確率的関係及び前記観測量取得手段が取得した観測量に基づいて該所定の脇見発生状態が脇見であるか否かを判定する脇見状態判定手段と、
    を備え、
    前記所定の脇見発生状態は、少なくとも１種類の観測量の現在時刻における値を用いて定義され、
    前記脇見状態判定手段は、運転者が脇見をしている確率を算出し、算出した確率が閾値を超えた場合で、且つ、前記所定の脇見発生状態が検出されている場合に、運転者が脇見をしていると判定する、
    ことを特徴とする脇見状態判定装置。
  2. 前記脇見状態判定手段は、ベイジアンネットワークを用いて運転者が脇見をしている確率を算出する、
    ことを特徴とする請求項１に記載の脇見状態判定装置。
  3. 前記脇見状態判定手段は、遷移モデル及び観測モデルを事前に学習し、前記遷移モデル及び前記観測モデルと前記観測量取得手段が取得した観測量とに基づいて運転者が脇見をしている確率を算出する、
    ことを特徴とする請求項１又は２に記載の脇見状態判定装置。
  4. 前記運転操作に関する情報は、操舵角、アクセル踏み込み量、ブレーキ踏み込み量又はウィンカー操作に関する情報を含む、
    ことを特徴とする請求項１乃至３に記載の脇見状態判定装置。
  5. 前記走行状態に関する情報は、車両の速度又は加速度を含む、
    ことを特徴とする請求項１乃至３に記載の脇見状態判定装置。
  6. 前記走行状態に関する情報は、車両とセンターラインとの間の距離又は車両とセンターラインとの間の角度を含む、
    ことを特徴とする請求項１乃至３に記載の脇見状態判定装置。
  7. 前記走行状態に関する情報は、周囲環境に関する情報を含む、
    ことを特徴とする請求項１乃至３に記載の脇見状態判定装置。
  8. 前記運転者の視線に関する情報は、頭部の傾斜角度を含む、
    ことを特徴とする請求項１乃至３に記載の脇見状態判定装置。
JP2007269455A 2007-10-16 2007-10-16 脇見状態判定装置 Active JP5311793B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2007269455A JP5311793B2 (ja) 2007-10-16 2007-10-16 脇見状態判定装置
US12/738,576 US8665099B2 (en) 2007-10-16 2008-10-16 Inattentive state determination device and method of determining inattentive state
EP08840164.1A EP2201496B1 (en) 2007-10-16 2008-10-16 Inattentive state determination device and method of determining inattentive state
PCT/IB2008/002739 WO2009050564A2 (en) 2007-10-16 2008-10-16 Inattentive state determination device and method of determining inattentive state

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007269455A JP5311793B2 (ja) 2007-10-16 2007-10-16 脇見状態判定装置

Publications (2)

Publication Number Publication Date
JP2009098900A JP2009098900A (ja) 2009-05-07
JP5311793B2 true JP5311793B2 (ja) 2013-10-09

Family

ID=40551472

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007269455A Active JP5311793B2 (ja) 2007-10-16 2007-10-16 脇見状態判定装置

Country Status (4)

Country Link
US (1) US8665099B2 (ja)
EP (1) EP2201496B1 (ja)
JP (1) JP5311793B2 (ja)
WO (1) WO2009050564A2 (ja)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8630768B2 (en) 2006-05-22 2014-01-14 Inthinc Technology Solutions, Inc. System and method for monitoring vehicle parameters and driver behavior
US9067565B2 (en) 2006-05-22 2015-06-30 Inthinc Technology Solutions, Inc. System and method for evaluating driver behavior
US9129460B2 (en) 2007-06-25 2015-09-08 Inthinc Technology Solutions, Inc. System and method for monitoring and improving driver behavior
US9117246B2 (en) 2007-07-17 2015-08-25 Inthinc Technology Solutions, Inc. System and method for providing a user interface for vehicle mentoring system users and insurers
US8397228B2 (en) * 2007-11-14 2013-03-12 Continental Automotive Systems, Inc. Systems and methods for updating device software
US8963702B2 (en) * 2009-02-13 2015-02-24 Inthinc Technology Solutions, Inc. System and method for viewing and correcting data in a street mapping database
JP2011065527A (ja) * 2009-09-18 2011-03-31 Toyota Motor Corp 運転評価システム、車載機及び情報処理センター
US8847771B2 (en) * 2013-01-25 2014-09-30 Toyota Motor Engineering & Manufacturing North America, Inc. Method and apparatus for early detection of dynamic attentive states for providing an inattentive warning
WO2014152802A1 (en) * 2013-03-14 2014-09-25 Gerald Murphy Driver control assistance sensor and method
DE102013013869B4 (de) * 2013-08-20 2019-06-19 Audi Ag Verfahren zum Betrieb eines Fahrerassistenzsystems zur Warnung vor zu großer Ablenkung und Kraftfahrzeug
TWI493511B (zh) * 2013-09-04 2015-07-21 Ind Tech Res Inst 駕駛狀態偵測系統、駕駛狀態偵測方法與電子裝置
US9172477B2 (en) 2013-10-30 2015-10-27 Inthinc Technology Solutions, Inc. Wireless device detection using multiple antennas separated by an RF shield
DE102013224026A1 (de) * 2013-11-25 2015-05-28 Robert Bosch Gmbh Verfahren zur Bewertung des Fahrerverhaltens in einem Fahrzeug
DE102014215461B4 (de) * 2014-08-05 2023-06-15 Robert Bosch Gmbh Verfahren und Vorrichtung zum Betreiben eines Fahrzeugs, insbesondere Eisenbahnfahrzeugs
US10438277B1 (en) 2014-12-23 2019-10-08 Amazon Technologies, Inc. Determining an item involved in an event
US10475185B1 (en) * 2014-12-23 2019-11-12 Amazon Technologies, Inc. Associating a user with an event
US10552750B1 (en) 2014-12-23 2020-02-04 Amazon Technologies, Inc. Disambiguating between multiple users
US9878663B1 (en) 2016-12-07 2018-01-30 International Business Machines Corporation Cognitive dialog system for driving safety
JP6516187B2 (ja) * 2015-07-23 2019-05-22 パナソニックＩｐマネジメント株式会社 眠気判定装置、眠気判定方法、眠気判定プログラムおよび記録媒体
KR102137213B1 (ko) 2015-11-16 2020-08-13 삼성전자 주식회사 자율 주행을 위한 모델 학습 장치 및 방법과 자율 주행 장치
JP6672972B2 (ja) * 2016-04-11 2020-03-25 株式会社デンソー 安全運転支援装置及び安全運転支援プログラム
AU2017285130B2 (en) 2016-06-13 2022-04-21 Xevo Inc. Method and system for providing auto space management using virtuous cycle
JP6759743B2 (ja) * 2016-06-17 2020-09-23 アイシン精機株式会社 視認方向推定装置
CN106384509A (zh) * 2016-10-08 2017-02-08 大连理工大学 考虑出租车运营状态下的城市道路行程时间分布估算方法
US10832148B2 (en) 2016-12-07 2020-11-10 International Business Machines Corporation Cognitive dialog system for driving safety
US10950132B2 (en) 2016-12-22 2021-03-16 Xevo Inc. Method and system for providing artificial intelligence analytic (AIA) services using operator fingerprints and cloud data
US10373332B2 (en) * 2017-12-08 2019-08-06 Nvidia Corporation Systems and methods for dynamic facial analysis using a recurrent neural network
JP6888542B2 (ja) * 2017-12-22 2021-06-16 トヨタ自動車株式会社 眠気推定装置及び眠気推定方法
EP3923809A4 (en) * 2019-02-17 2022-05-04 Gentex Technologies (Israel) Ltd. SYSTEM, DEVICE AND METHODS FOR DETECTING AND OBTAINING INFORMATION ABOUT OBJECTS IN A VEHICLE
JP7047821B2 (ja) * 2019-07-18 2022-04-05 トヨタ自動車株式会社 運転支援装置
US10752253B1 (en) * 2019-08-28 2020-08-25 Ford Global Technologies, Llc Driver awareness detection system
KR102438689B1 (ko) * 2020-12-30 2022-09-01 한국과학기술원 주행 데이터 실시간 분석을 통한 운전자 시선 및 집중도 예측을 위한 컴퓨터 시스템 및 그의 방법
CN113569699B (zh) * 2021-07-22 2024-03-08 上汽通用五菱汽车股份有限公司 注意力分析方法、车辆及存储介质

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3727078B2 (ja) * 1994-12-02 2005-12-14 富士通株式会社 表示装置
JP3319201B2 (ja) * 1995-02-08 2002-08-26 トヨタ自動車株式会社 脇見運転判定装置
KR100214087B1 (ko) * 1996-06-07 1999-08-02 서정욱 정보제공시스템 및 그 방법
US5798687A (en) * 1996-10-15 1998-08-25 Terry Mijal Vehicular safety system
US6198397B1 (en) * 1998-03-18 2001-03-06 Charles D. Angert Magnetic steering wheel movement sensing device
US6191686B1 (en) * 1999-09-27 2001-02-20 Edwin Z. Gabriel Collision avoidance system for cars
JP2001138767A (ja) * 1999-11-17 2001-05-22 Nissan Motor Co Ltd 車両用警報装置
US6218947B1 (en) * 2000-05-23 2001-04-17 Ronald L. Sutherland Driver sleep alarm
JP3073732U (ja) 2000-06-01 2000-12-08 一八 星山 カーナビゲーション機能を有した車両走行記録装置
US6317686B1 (en) * 2000-07-21 2001-11-13 Bin Ran Method of providing travel time
JP2002331850A (ja) * 2001-05-07 2002-11-19 Nissan Motor Co Ltd 運転行動意図検出装置
US7233933B2 (en) * 2001-06-28 2007-06-19 Microsoft Corporation Methods and architecture for cross-device activity monitoring, reasoning, and visualization for providing status and forecasts of a users' presence and availability
JP2003080969A (ja) * 2001-09-11 2003-03-19 Nissan Motor Co Ltd 運転者状態検出装置
JP2004058799A (ja) * 2002-07-26 2004-02-26 Murakami Corp 車載用乗員撮影装置
JP4110902B2 (ja) 2002-09-27 2008-07-02 日産自動車株式会社 脇見検出装置
DE10355221A1 (de) * 2003-11-26 2005-06-23 Daimlerchrysler Ag Verfahren und Computerprogramm zum Erkennen von Unaufmerksamkeiten des Fahrers eines Fahrzeugs
JP4389567B2 (ja) * 2003-12-03 2009-12-24 日産自動車株式会社 車線逸脱防止装置
JP2005208943A (ja) * 2004-01-22 2005-08-04 Denso It Laboratory Inc サービス候補提供システム及びユーザ側通信装置並びにサービス候補提供サーバ
JP4193765B2 (ja) * 2004-01-28 2008-12-10 トヨタ自動車株式会社 車両用走行支援装置
US7639146B2 (en) * 2004-09-29 2009-12-29 Baura Gail D Blink monitor for detecting blink occurrence in a living subject
JP2006202015A (ja) * 2005-01-20 2006-08-03 Ntt Docomo Inc 注視状態検出装置および注視状態推定方法
JP2006343904A (ja) * 2005-06-08 2006-12-21 Xanavi Informatics Corp 運転支援装置
WO2007066740A1 (ja) * 2005-12-07 2007-06-14 Matsushita Electric Industrial Co., Ltd. セキュアデバイス、情報処理端末、サーバ、および認証方法
JP4811025B2 (ja) * 2006-01-06 2011-11-09 トヨタ自動車株式会社 車両用制御装置
JP4967408B2 (ja) * 2006-03-29 2012-07-04 トヨタ自動車株式会社 車両運動設計装置及び車両運動制御装置

Also Published As

Publication number Publication date
JP2009098900A (ja) 2009-05-07
EP2201496A2 (en) 2010-06-30
WO2009050564A2 (en) 2009-04-23
US20100265074A1 (en) 2010-10-21
EP2201496B1 (en) 2018-05-23
WO2009050564A3 (en) 2009-09-03
US8665099B2 (en) 2014-03-04
WO2009050564A8 (en) 2010-07-15

Similar Documents

Publication Publication Date Title
JP5311793B2 (ja) 脇見状態判定装置
CN108068821B (zh) 用于确定驾驶员的专注度的装置、系统及其方法
JP6497915B2 (ja) 運転支援システム
KR102051142B1 (ko) 차량용 운전자 위험 지수 관리 시스템 및 그 방법
US10336252B2 (en) Long term driving danger prediction system
JP5278419B2 (ja) 運転シーンの遷移予測装置及び車両用推奨運転操作提示装置
US20200290628A1 (en) Personalized device and method for monitoring a motor vehicle driver
JP6024679B2 (ja) 標識認識装置
JP5691237B2 (ja) 運転支援装置
US20160055764A1 (en) Method, device and computer program product for managing driver safety, method for managing user safety and method for defining a route
JP2004157880A (ja) 確認行動評価装置
US11745745B2 (en) Systems and methods for improving driver attention awareness
JP2017151694A (ja) 安全確認診断システム及び安全確認診断方法
JP2020024551A (ja) 運転意識推定装置
JP7263997B2 (ja) 運転行動評価装置、方法およびプログラム
JP6631569B2 (ja) 運転状態判定装置、運転状態判定方法及び運転状態判定のためのプログラム
KR102300209B1 (ko) 디지털 클러스터의 차량 주행정보 및 운전자 정보 표시 방법
JP2022041244A (ja) 車載表示装置、方法およびプログラム
JP2017151693A (ja) 漫然運転検出システム及び漫然運転検出方法
JP2022167920A (ja) 運転用情報処理装置および運転用情報処理プログラム
JP2012103849A (ja) 情報提供装置
CN117242460A (zh) 不安全驾驶场景的计算机化检测
JP7333702B2 (ja) 車両の危険状況判別装置、車両の危険状況判別方法、及びプログラム
JP6044516B2 (ja) 運転支援装置
JP2019012480A (ja) 運転診断装置および運転診断方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100816

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120612

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120712

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130305

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20130315

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20130409

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130611

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130702

R151 Written notification of patent or utility model registration

Ref document number: 5311793

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250