JP5018926B2 - 運転補助装置、及びプログラム - Google Patents

Description

本発明は、手放運転に対して警告を発する運転補助装置、及びプログラムに関する。

従来、自動車のステアリングホイールに埋設されたセンサから入力される信号に基づいて、ステアリングホイールが両手で把持されているか片手で把持されているかを検出する装置が知られている（例えば、特許文献１参照）。この特許文献１に記載の装置では、ステアリングホイールが片手で把持されていることが検出された際の当該自動車の走行状況が、自動車を片手で運転せざるを得ない走行状況（以下、規定走行外状況とする）以外の状況である規定走行内状況に合致すると、運転者に当該自動車をより安全に運転させるように警告を出力する。

なお、特許文献１に記載の装置では、規定走行外状況として、当該自動車が後進する場合、当該自動車が旋回する場合、自動車の運転に必要な機器（例えば、シフトレバーや方向指示器、前照灯スイッチ等）が操作される場合、当該自動車が渋滞中である場合が規定されている。

特開２００８−１２２１４９号公報

ところで、自動車を片手で運転する状況の中には、当該自動車の運転者が、ステアリングホイールを把持していない手を、当該自動車に設けられた肘掛や窓枠に置いて運転することがある。このような場合、当該自動車の運転者は、適度にリラックスしつつも、運転に集中していることが多く、通常、自動車は、安全に運転されていることが多い。

このように、ステアリングホイールを把持する手が片手でありながら安全に運転されている自動車であっても、当該自動車の走行状況が規定走行外状況に合致していなければ、特許文献１に記載の装置は、警告を出力する。しかしながら、この警告は、運転者が運転に集中している際に出力されるため、運転者に対して違和感を与え、この警告によって、逆に、運転者の運転に対する集中力を低下させる可能性があった。

つまり、特許文献１に記載の装置では、自動車が片手で運転されている際の運転者の状態に応じて適切な警告が出力されないという問題があった。
そこで、本発明は、手放運転に対して警告を発する運転補助装置において、運転者の状態に応じた適切な警告を出力可能とすることを目的とする。

上記目的を達成するためになされた本発明の運転補助装置では、把持状態検出手段が、車両に設けられたステアリングホイールの把持状態を検出し、画像取得手段が、当該車両の運転席に着座した人物が、当該車両の車室内にて行動可能な範囲を少なくとも含む当該車両の車室内を撮像した画像を取得する。

そして、把持状態検出手段での検出の結果、ステアリングホイールの把持状態が、少なくとも一方の手をステアリングホイールから放した状態であり、かつ当該車両の走行状況が、予め規定された規定走行内状況であれば、位置特定手段が、画像取得手段にて取得した画像に基づいて、ステアリングホイールを把持していない手である非把持手が存在する位置を特定する。これと共に、危険度導出手段が、位置特定手段で特定された位置に非把持手が存在することで、当該車両の運転に対する危険度合いが高くなるほど、値が大きい危険度を導出し、その危険度が小さいほど、警告手段は、弱い警告を出力する。
危険度導出手段では、車室内を危険度合いにて区分した全ての位置のうち、非把持手が存在しても危険度合いが基準値よりも低い位置として予め定められた低危険位置に、非把持手が存在すれば、低危険位置以外の位置である高危険位置に非把持手が存在する場合に比べて、危険度の値を小さくする。

このような運転補助装置によれば、当該車両を片手で運転している運転者の非把持手が存在する位置、即ち、運転者が運転に集中している度合いに応じて適切な警告を出力することができる。

この結果、本発明の運転補助装置を利用する運転者は、手放運転の際に出力される警告に違和感を持つことなく、車両の運転に対する集中力を維持できる。

このような運転補助装置によれば、非把持手が低危険位置に存在していれば、警告手段から出力される警告が弱くなる。このため、低危険位置に非把持手を置いて当該車両を運転する運転者は、出力される警告を必要以上に意識することがなくなり、運転に対する集中力をより確実に維持することができる。

ところで、車両を運転する場合、当該車両の運転に対する危険度合いは、ステアリングホイールから片手が離れている時間長が短いほど小さい。
このため、本発明において、危険度導出手段は、非把持手が、予め定められた車室内の位置である低危険位置に連続して位置する時間長が短いほど、危険度の値を低くしても良い。

このような本発明の運転補助装置によれば、危険度を、実際の車両の運転に即した値にて導出することができる。この結果、本発明の運転補助装置によれば、車両が運転される際に運転者に違和感を与える警告が出力されることを低減できる。

また、危険度導出手段が導出する危険度は、存在時間が、予め定められた時間長である規定時間以下であれば、その値を最小としても良い。

このような本発明の運転補助装置によれば、非把持手が低危険位置に存在すれば、警告手段から出力される警告が最も弱くなり、運転者は、運転に対する集中力をより確実に維持できる。ただし、ここで言う規定時間とは、非把持手が低危険位置に存在したという事実が確認できる程度の極めて短い時間長（例えば、０．１秒以下の時間）を含む時間長である。

さらに、本発明の運転補助装置において、非把持手が高危険位置に存在すれば、危険度導出手段が導出する危険度は、当該高危険位置に非把持手が連続して存在する時間長が長いほど、値を大きくしても良い。

つまり、本発明の運転補助装置における警告手段から出力される警告は、非把持手が、車両の運転に対する危険度合いが高い位置（高危険位置）に存在している時間長、即ち、ステアリングホイールから放れている時間長が長いほど、強くなる。

したがって、当該車両の運転者は、高危険位置に非把持手が存在することで出力された警告を、より確実に認識できる。
なお、危険度導出手段は、高危険位置に非把持手が連続して存在する時間長に比例して階段状に変化するように、危険度を導出してもよい。

このような運転補助装置によれば、警告を、例えば、危険度に応じた「警告文を発声した音声データ」とする場合、予め用意する音声データの種類（数）を低減できる。
そして、本発明において、危険度導出手段が導出する危険度は、非把持手が存在する高危険位置が、ステアリングホイールからの距離が長いほど、値を大きくしてもよい。

つまり、警告手段が出力する警告は、非把持手が存在する高危険位置が、ステアリングホイールからの距離が長いほど、強くなる。これにより、このような高危険位置ほど、運転者は自身の体を大きく動かす必要があるために危険度合いが大きくなることを、当該運転者に認識させることができる。

ところで、高危険位置は、非把持手にて操作される対象物が存在する位置であっても良い。この場合、本発明において、危険度導出手段が導出する危険度は、非把持手が存在する高危険位置が、当該高危険位置に存在する対象物を非把持手が操作してステアリングホイールを把持するまでに要する時間長が長い高危険位置であるほど、値を大きくしても良い。

つまり、このような高危険位置に存在する対象物を操作する際には、警告手段が出力する警告は、強くなる。これにより、運転者の意識が当該操作に集中する結果、危険度が大きくなることを、当該車両の運転者に認識させることができる。

さらに、本発明において、危険度導出手段が導出する危険度は、非把持手が存在する高危険位置が、当該高危険位置に存在する対象物を操作する際に、運転者が車両前方から視線を外す時間長が長い高危険位置であるほど、値を大きくしてもよい。

つまり、このような高危険位置に存在する対象物を操作する際には、警告手段が出力する警告は、強くなる。これにより、運転者の意識が当該操作に集中する結果、危険度が高くなることを、当該車両の運転者に認識させることができる。

これらの運転補助装置によれば、当該車両の運転者に、運転に対して危険な行動を実施していることを認識させることができ、より安全な運転を実施させることができる。

また、本発明において、位置特定手段が特定する非把持手が存在する位置は、低危険位置であるか否かであっても良い。
このような本発明の運転補助装置によれば、非把持手が存在する位置を、低危険位置であるか、低危険位置以外の位置（即ち、高危険位置）であるかの２値にて判定することができる。このため、本発明の運転補助装置によれば、非把持手の位置を特定するための処理量が増加することを防止できる。

なお、本発明の運転補助装置において、低危険位置は、車両に設けられた肘掛、窓枠、及び運転者の上腿のうちの少なくとも１つであっても良い。
これは、車両の運転者が、車両に設けられた肘掛や、窓枠、運転者の上腿に、非把持手を置いて当該車両を運転する場合、運転者は、適度にリラックスしつつも、運転に集中していることが多く、通常、自動車は、安全に運転されていることが多いためである。

本発明の運転補助装置における警告手段は、危険度が、予め規定された閾値以下であれば、警告の出力を禁止しても良い。
このような本発明の運転補助装置によれば、車両が運転される際に不必要な警告が出力されることを、より確実に防止できる。

ところで、本発明は、コンピュータに実行させるプログラムとして構成されたものでも良い。この場合、本発明のプログラムは、車両に設けられたステアリングホイールの把持状態を検出した結果、ステアリングホイールの把持状態が片手であり、かつ当該車両の走行状況が、予め規定された規定走行内状況であれば、当該車両の運転席に着座した人物が、当該車両の車室内にて行動可能な範囲を少なくとも含む当該車両の車室内を撮像した画像に基づいて、ステアリングホイールを把持していない手である非把持手が存在する位置を特定する位置特定手順と、その特定された位置に非把持手が存在することで、当該車両の運転に対する危険度合いが高くなるほど、値が大きい危険度を導出する危険度導出手順と、その導出された危険度が小さいほど、弱い警告を出力する警告手順とをコンピュータに実行させる必要がある。
さらに、危険度導出手順では、車室内を危険度合いにて区分した全ての位置のうち、非把持手が存在しても危険度合いが基準値よりも低い位置として予め定められた低危険位置に、非把持手が存在すれば、低危険位置以外の位置である高危険位置に非把持手が存在する場合に比べて、危険度の値を小さくする。

本発明が、このようになされたプログラムであれば、例えば、ＤＶＤ−ＲＯＭ、ＣＤ−ＲＯＭ、ハードディスク等のコンピュータ読み取り可能な記録媒体に記録し、必要に応じてコンピュータにロードさせて起動することや、必要に応じて通信回線を介してコンピュータに取得させて起動することにより用いることができる。そして、コンピュータに各手順を実行させることで、そのコンピュータを、請求項１に記載された運転補助装置として機能させることができる。

本発明が適用された運転補助装置の概略構成を示したブロック図である。 運転補助装置を構成する画像処理構造にて撮像される画像を例示した説明図である。 第一実施形態における手放運転警告処理の処理手順を示したフローチャートである。 第一実施形態における危険度推定処理の処理手順を示したフローチャートである。 第一実施形態における危険度推定マップの概要を示した説明図である。 第二実施形態における危険度推定処理の処理手順を示したフローチャートである。 第二実施形態における危険度推定マップの概要を示した説明図である。 第二実施形態における危険度推定マップの変形例を示した説明図である。

以下に本発明の実施形態を図面と共に説明する。
［第一実施形態］
〈運転補助装置の全体構成について〉
本発明が適用された運転補助装置の概略構成を図１に示す。

この運転補助装置１は、当該運転補助装置１が搭載された自動車（以下、自車両とする）に設けられたステアリングホイール７１（図２参照）の把持状態を判定し、その判定の結果、ステアリングホイール７１を片手で把持していれば、少なくとも、ステアリングホイール７１を把持していない手（以下、非把持手とする）が存在する位置を特定し、その特定した位置に非把持手が存在することで、自車両の運転に対する危険度合い（以下、危険度とする）に応じた警告を出力するものである。

これを実現するために、運転補助装置１は、ステアリングホイール７１の把持状態を少なくとも含む自車両の走行状況を検知する車載センサスイッチ群１０と、自車両の車室内を撮影した画像に基づいて、少なくとも運転者の手が存在する位置を特定する画像処理構造３０と、車載センサスイッチ群１０にて検知した自車両の走行状況、及び画像処理構造３０にて特定した運転者の手が存在する位置に基づいて危険度を導出し、その導出した危険度に応じた警告を出力する運転補助構造４０とを備えている。

〈画像処理構造について〉
このうち、画像処理構造３０は、デジタル画像を撮像する撮像装置３１と、撮像装置３１にて撮像された画像（以下、撮影画像とする）に対して画像処理を実行して、運転者の手が存在する位置を認識する画像処理プロセッサ３５とを備えている。

このうち、撮像装置３１は、図２に示すように、自車両の運転席に着座した人物が、車室内にて行動可能な範囲を少なくとも含む空間を撮影範囲として撮像するように、車室内の予め規定された位置（例えば、ルームミラーの近傍など）に固定されている。具体的に、本実施形態における撮影範囲は、自車両のステアリングホイール７１、運転席側の窓枠７２、肘掛７３，７４、シフトレバー７５、ルームミラー７６、助手席７７、インストルメントパネル（いわゆるインパネ）に設けられたエアコン操作部７８、ナビゲーション装置の入力受付部７９、グローブボックス８０、運転席に着座した人物の頭部が存在する領域（以下、頭部領域とする）８１、及び運転席に着座した人物の上腿（ここでは、膝から腰までの部位とする）が存在する領域（以下、上腿領域）８２が含まれている。

なお、撮像装置３１は、周知の可視光カメラでも良いし、周知の赤外線カメラでも良い。撮像装置３１は、撮影範囲に赤外光を照射する照明を備えていても良い。
画像処理プロセッサ３５は、記憶装置３６と、メモリ３７と、演算装置３８とを少なくとも備えた周知のマイクロコンピュータを中心に構成されたものである。

このうち、記憶装置３６は、記憶内容を書き換え可能な不揮発性の記憶装置（例えば、フラッシュメモリ等）である。また、メモリ３７は、処理途中で一時的に生じたデータを格納するものである。このメモリ３７には、撮像装置３１からの撮影画像が一時的に格納される。演算装置３８は、処理プログラムを実行することで、メモリ３７に格納された撮影画像に対して、画像処理を実行する。

本実施形態における画像処理では、撮影画像から、運転者の手及び下腕が存在する撮影画像での領域（座標）を認識する（以下、位置認識処理とする）。このような位置認識処理は、様々な手法が周知であるため、詳しい説明は省略するが、本実施形態では、例えば、予め規定された特徴量を撮影画像から導出し、その導出した特徴量を、予め用意された人物の手（ここでは、手首から指先までの部位を表す）及び下腕（ここでは、肘から手首までの部位を表す）を表す識別器に照合する手法を用いることが考えられる。なお、この手法では、特徴量として、周知のＨａａｒ−Ｌｉｋｅ特徴を用い、周知の機械学習（例えば、ＡｄａＢｏｏｓｔ）によって、その特徴量を学習することで生成した識別器を用いることが一般的である。

さらに、本実施形態の画像処理では、位置認識処理にて認識した撮影画像での領域（座標）に対応する車室内の位置を、運転者の手が存在する車室内の位置として特定する（以下、位置確定処理とする）。なお、位置確定処理にて認識される車室内の位置は、自車両のステアリングホイール７１、運転席側の窓枠７２、肘掛７３，７４、シフトレバー７５、ルームミラー７６、助手席７７、エアコン操作部７８、ナビゲーション装置の入力受付部７９、グローブボックス８０、頭部領域８１、上腿領域８２、これら７１〜８２以外（即ち、その他）の位置のいずれか１箇所である。

つまり、本実施形態の画像処理構造３０は、撮影画像から、運転者の手が存在する車室内での位置を特定し、その特定した結果を運転補助構造４０に出力する。
〈車載センサスイッチ群について〉
次に、車載センサスイッチ群１０は、操舵角センサ１１と、ステア把持センサ１２と、車速センサ１３と、シフトポジションセンサ１４と、必須機器操作検知部２０とを含んでいる。これらのセンサ１１〜１４及び必須機器操作検知部２０は、当該センサ１１〜１４または必須機器操作検知部２０にて検知した結果を、検知信号として運転補助構造４０へと出力する。

このうち、操舵角センサ１１は、自車両の操舵角を検知する。車速センサ１３は、自車両の車速を検知する。シフトポジションセンサ１４は、シフトレバー７５の位置（いわゆるシフトポジション）を検知する。

さらに、ステア把持センサ１２は、ステアリングホイール７１の把持状態を検知する。本実施形態のステア把持センサ１２は、人の皮膚が接触すると信号レベルがハイレベルとなる２つのセンシング部（例えば、圧力センサやタッチセンサ）１２Ａ，１２Ｂが、ステアリングホイール７１において左右の手で把持される部位それぞれに設けられることで構成されている。つまり、ステア把持センサ１２を構成するセンシング部１２Ａ，１２Ｂから出力される検知信号は、ステアリングホイール７１が把持されていればハイレベルとなり、ステアリングホイール７１が非把持であればローレベルとなる。

必須機器操作検知部２０は、自動車の運転に不可欠な機器（以下、必須機器とする）が作動、またはその必須機器の動作が停止するように操作されたことを検知する。
この必須機器操作検知部２０は、シフトレバー７５に手が接触すると検知信号の信号レベルがハイレベルとなるシフトレバー操作センサ２１を含んでいる。

さらに、必須機器操作検知部２０は、ステアリングホイール７１またはステアリングコラムに設けられた操作部が操作されることにより、オン・オフされる灯火スイッチ２２と、方向指示スイッチ２３と、ホーンスイッチ２４と、ワイパースイッチ２５とを含んでいる。このうち、灯火スイッチ２２は、自車両の前照灯を必須機器としたものであり、方向指示スイッチ２３は、自車両のウインカーを必須機器としたものである。また、ホーンスイッチ２４は、自車両の警笛を必須機器としたものであり、ワイパースイッチ２５は、自車両のワイパーを必須機器としたものである。

〈運転補助構造について〉
次に、運転補助構造４０は、位置検出部４１と、情報通信部４２と、表示部４３と、音声出力部４４と、入力受付部７９と、記憶部４６と、ナビゲーション電子制御装置（以下、ナビＥＣＵとする）５０とを備えている。

このうち、位置検出部４１は、自車両の現在位置及び進行方向の方位を検出するものであり、図示しないが、周知のＧＰＳ受信機、ジャイロセンサ、及び地磁気センサを少なくとも備えている。また、情報通信部４２は、路上に設けられた通信機器から、専用の無線通信や公衆通信網を介して情報を取得する装置であり、自車両の現在位置周辺にて発生している渋滞の有無、及びその渋滞の始端位置・終端位置を少なくとも含む渋滞情報等を取得する。

さらに、表示部４３は、ナビＥＣＵ５０からの制御信号に従って画像を表示する装置（例えば、液晶ディスプレイ）である。音声出力部４４は、ナビＥＣＵ５０からの制御信号を音声に変換して出力する装置（いわゆるスピーカ）である。入力受付部７９は、乗員からの各種指示を受け付ける装置（例えば、表示部４３と一体に構成されたタッチパネルや、表示部４３の周辺に設けられたキーなど）である。

そして、記憶部４６は、書き換え可能な不揮発性の記憶装置（例えば、ハードディスクドライブや、フラッシュメモリ等）として構成されている。この記憶部４６には、地図データ（ノードデータ、リンクデータ、コストデータ、道路データ、地形データ、マークデータ、交差点データ、施設のデータ等）、案内用の音声データ、音声認識データ等が予め記憶されている。

さらに、ナビＥＣＵ５０は、電源を切断しても記憶内容を保持する必要のあるデータやプログラムを記憶するＲＯＭ５１と、データを一時的に格納するＲＡＭ５２と、ＲＯＭ５１またはＲＡＭ５２に記憶されたプログラムに従って処理を実行するＣＰＵ５３とを少なくとも備えた周知のマイクロコンピュータを中心に構成されている。

そのナビＥＣＵ５０には、車載センサスイッチ群１０からの検知信号に加えて、イグニッション（ＩＧ）信号が入力される。
このようなナビＥＣＵ５０が、処理プログラムを実行することで、位置検出部４１からの出力信号から算出した自車両の現在位置、進行方向の方位、及び記憶部４６に記憶された地図データに基づいて、外部からの入力に従って設定された目的地までの経路案内を行う等のナビゲーション装置としての周知の機能が得られる。

さらに、ナビＥＣＵ５０は、自車両の走行状況、及び自車両の運転者の手が存在する位置に基づいて危険度を導出し、その導出した危険度に応じた警告を出力する手放運転警告処理を実行する。

〈手放運転警告処理の処理内容について〉
次に、ナビＥＣＵ５０が実行する手放運転警告処理について説明する。
この手放運転警告処理は、ＩＧ信号が入力されると、一回目（最初）の処理の実行を開始し、以降、予め規定された規定時間毎に処理を実行する。

図３に示すように、手放運転警告処理は、起動されると、ステア把持センサ１２からの検知信号に基づいて、ステアリングホイール７１の把持状態が、少なくとも一方の手をステアリングホイール７１から放した手放運転であるか否かを判定する（Ｓ１１０）。

具体的に、本実施形態のＳ１１０では、ステア把持センサ１２を構成するセンシング部１２Ａ，１２Ｂからの検知信号のうち、少なくとも一方の検知信号の信号レベルがローレベルであれば、手放運転であると判定する。一方、センシング部１２Ａ，１２Ｂからの検知信号が共にハイレベルであれば、ステアリングホイール７１を両手で把持している両手運転であると判定する。

そして、ステアリングホイール７１の把持状態が手放運転であれば（Ｓ１１０：ＹＥＳ）、車載センサスイッチ群１０からの検知信号に基づく自車両の走行状況が、予め規定された、手放運転とならざるを得ない走行状況（以下、規定走行外状況とする）以外の状況である規定走行内状況に合致するか否かを判定する（Ｓ１２０）。

本実施形態における規定走行外状況として、具体的には、自車両が後進する後進状況、自車両が旋回する旋回状況、必須機器が操作される必須機器操作状況、自車両が渋滞に巻き込まれている渋滞中状況、自車両が低速で走行している低速状況が規定されている。

そして、本実施形態のＳ１２０では、特開２００８−１２２１４９に開示された手法により、自車両の走行状況が規定走行外状況に合致するか否かを判定する。
すなわち、シフトポジションセンサ１４からの検知信号が、シフトポジションが「Ｒ」（即ち、後進）であることを表していれば、自車両の走行状況が後進状況に合致したと判定する。また、操舵角センサ１１にて検知した操舵角が規定角度以上であれば、自車両の走行状況が旋回状況に合致したと判定する。そして、Ｓ１１０にて、ステアリングホイール７１の把持状態が手放運転であると判定されてから、予め設定された設定時間以内に、必須機器操作検知部２０からの検知信号が切り替わると、自車両の走行状況が必須機器操作状況に合致したと判定する。さらに、自車両の現在位置が、情報通信部４２にて取得した渋滞の始端位置から終端位置までの区間に位置していれば、自車両の走行状況が渋滞中状況に合致したと判定する。また、車速センサ１３にて検知した自車両の車速が規定車速以下であれば、自車両の走行状況が低速状況に合致したと判定する。

このようなＳ１２０の判定の結果、自車両の走行状況が規定走行外状況に合致しなければ、即ち、規定走行内状況に合致すれば（Ｓ１２０：ＹＥＳ）、Ｓ１３０に進む。そのＳ１３０では、ステアリングホイール７１を把持していない手（即ち、非把持手）が、ステアリングホイール７１から連続して放れている時間長（以下、停留手放時間とする）を導出すると共に、非把持手が存在する位置を特定し、その特定した位置、及び停留手放時間に基づいて、危険度を推定する危険度推定処理を実行する（Ｓ１３０）。

〈危険度推定処理の処理内容について〉
ここで、手放運転警告処理のＳ１３０にて起動される危険度推定処理について説明する。

図４に示すように、この危険度推定処理は、起動されると、画像処理構造３０から、運転者の左右それぞれの手が存在する車室内での位置を取得する（Ｓ２１０）。
続いて、Ｓ２１０にて取得した運転者の左右それぞれの手が存在する車室内での位置に基づいて、運転者がリラックスして運転する際に手を置く位置として予め規定された低危険位置のうちの低危険位置Ａ（本実施形態では、窓枠７２）に、非把持手が存在しているか否かを判定する（Ｓ２２０）。そのＳ２２０での判定の結果、非把持手が低危険位置Ａに存在していなければ（Ｓ２２０：ＮＯ）、非把持手が低危険位置Ｂ（本実施形態では、肘掛７３，７４）に存在しているか否かを判定する（Ｓ２３０）。

そのＳ２３０での判定の結果、非把持手が低危険位置Ｂに存在していなければ（Ｓ２３０：ＮＯ）、非把持手が低危険位置Ｃ（本実施形態では、上腿領域８２）に存在しているか否かを判定する（Ｓ２４０）。そのＳ２４０での判定の結果、非把持手が低危険位置Ｃに存在していなければ（Ｓ２４０：ＮＯ）、停留手放時間の１つである危険停留手放時間を規定時間インクリメントする（Ｓ２５０）。

つまり、低危険位置以外の位置である高危険位置に非把持手が存在していれば、予め用意された危険度推定マップから、危険停留手放時間に対応する危険度を取得して設定する（Ｓ２６０）。なお、本実施形態における危険度推定マップは、予め実験などにより求められた結果であり、図５に示すように、危険停留手放時間が長くなるほど、危険度の値が大きく（即ち、単調増加と）なるように、危険停留手放時間と危険度とが対応付けられている。この危険停留手放時間と危険度との対応関係は、危険度が、危険停留手放時間に比例して直線状に変化しても良いし、曲線状に変化しても良いし、階段状に段階的に変化しても良い。

通常、高危険位置に非把持手が存在する場合には、高危険位置に位置する車載機器を運転者が操作していることが多く、危険停留手放時間が長くなる。よって、本実施形態のＳ２６０にて取得される危険度は、危険停留手放時間が長いほど、「高レベル」の中で値が大きくなる。

その後、本危険度推定処理を終了して、片手運転警告処理のＳ１６０へと進む。
一方、Ｓ２２０、Ｓ２３０、Ｓ２４０での判定の結果、非把持手が、低危険位置Ａ，Ｂ，Ｃのうちのいずれか１つに存在していれば（Ｓ２２０：ＹＥＳ，Ｓ２３０：ＹＥＳ、またはＳ２４０：ＹＥＳ）、停留手放時間の１つである許容停留手放時間を規定時間インクリメントする（Ｓ２５０）。続いて、許容停留手放時間が、予め規定された許容時間（例えば、３０分）以上であるか否かを判定する（Ｓ２８０）。

そのＳ２８０での判定の結果、許容停留手放時間が許容時間以上であれば（Ｓ２８０：ＹＥＳ）、危険度を「中レベル」に設定する（Ｓ２９０）。一方、Ｓ２８０での判定の結果、許容停留手放時間が許容時間未満であれば（Ｓ２８０：ＮＯ）、危険度を「低レベル（最小値）」に設定する（Ｓ３００）。

つまり、本実施形態では、非把持手が、低危険位置に存在していれば、運転者はリラックスして自車両を運転している可能性が高いため、危険度を「低レベル（最小値）」としている。しかし、非把持手が低危険位置に存在していても、当該低危険位置に連続して存在する時間長が長くなると、自車両の運転に対する危険度合いが高くなるため、危険度を、「低レベル」よりも値が大きな「中レベル」に設定している。

その後、本危険度推定処理を終了して、手放運転警告処理のＳ１６０へと進む。
ここで、手放運転警告処理の処理内容（図３のフローチャート）の説明に戻る。
Ｓ１２０での判定の結果、自車両の走行状況が規定走行外状況に合致すれば、即ち、規定走行内状況に合致しなければ（Ｓ１２０：ＮＯ）、Ｓ１４０へと進む。なお、Ｓ１１０での判定の結果、ステアリングホイール７１の把持状態が両手運転である場合（Ｓ１１０：ＮＯ）にも、Ｓ１４０へと進む。

そのＳ１４０では、停留手放時間長（ここでは、危険停留手放時間及び許容停留手放時間）を初期化（本実施形態では、時間長を０とする）する。続いて、危険度を「低レベル（即ち、最小値）」に設定する（Ｓ１５０）。つまり、ステアリングホイール７１の把持状態が両手運転であれば、自車両が安全に運転されているものと判断して、危険度を最小値とする。また、自車両の走行状況が規定走行外状況に合致すれば、ステアリングホイール７１の把持状態が手放運転である時間長が短時間であることや、自車両の走行状況が安全な走行状況であるとみなせることから、危険度を最小値に設定する。

続いて、表示部４３及び音声出力部４４から警告を出力すると共に、その出力される警告の強さを、危険度の値に比例するように制御する（Ｓ１６０）。
すなわち、本実施形態のＳ１６０では、危険度が「高レベル」の中で最大値であれば、「非常に強い」レベルの警告を、危険度が「高レベル」の中で最小値であれば、「通常レベル」の警告を出力する。一方、危険度が「中レベル」であれば、「通常レベル」よりも「弱いレベル」の警告を、危険度が「低レベル（最小値）」であれば、警告の出力をしない（即ち、警告の出力を禁止する）。具体的には、警告は、危険度が高いほど、音声出力部４４から出力される音の音量を大きくすると共に、表示部４３に表示される警告文の内容を強いものとする。

そして、その後、本手放運転警告処理を終了して、次に手放運転警告処理が起動されるタイミングまで（即ち、規定時間が経過するまで）待機する。
以上、説明したように、本実施形態の手放運転警告処理では、ステアリングホイール７１の把持状態が手放運転であり、かつ自車両の走行状況が規定走行内状況に合致すれば、危険度を、非把持手が存在する車室内の位置に基づいて導出する。この危険度の導出では、非把持手が、高危険位置に存在していれば、危険度を、危険停留手放時間が長いほど、「高レベル」の中で値が大きくなるように設定する。一方、非把持手が、低危険位置に存在していれば、危険度を、「中レベル」、または「低レベル」に設定する。

そして、設定された危険度が「低レベル」であれば、警告を出力せず、危険度が「中レベル」であれば、「通常レベル」よりも弱い強さの警告を出力し、危険度が「高レベル」であれば、「通常レベル」以上の強さの警告を出力する。

［第一実施形態の効果］
したがって、本実施形態の運転補助装置１によれば、運転者の非把持手が存在する位置、即ち、ステアリングホイール７１の把持状態が手放運転である際に、運転者が運転に集中している度合いに応じて適切な強さの警告を出力することができる。

特に、本実施形態の手放運転警告処理では、非把持手が低危険位置に存在し、許容停留手放時間が許容時間未満であれば、警告そのものを出力しない。このため、低危険位置に非把持手を置いて自車両を運転する運転者は、警告を意識することがなくなり、車両の運転に集中することができる。

さらに、本実施形態の手放運転警告処理では、非把持手が低危険位置に存在しても、許容停留手放時間が許容時間以上である場合や、非把持手が高危険位置に存在する場合には、危険度に比例した強さの警告が出力されるため、自車両の運転者は、運転者自身の行動によって、運転に対する危険度が高くなっていることを認識できる。

これらの結果、運転補助装置１によれば、自車両の運転者は、手放運転の際に出力される警告に違和感を持つことなく、自車両を安全に運転するよう努めることができる。
なお、運転補助装置１における危険度推定処理では、非把持手が存在する位置を、低危険位置であるか、高危険位置であるかの２値にて判定している。このため、運転補助装置１によれば、危険度推定処理において、非把持手の位置を特定するための処理量が増加することを防止できる。

［第二実施形態］
次に、本発明の第二実施形態について説明する。
本実施形態における警告装置は、第一実施形態における運転補助装置１と、危険度推定処理の処理内容が異なるのみである。このため、本実施形態における運転補助装置では、第一実施形態における運転補助装置１と同様の構成及び処理については、同一符合を付して説明を省略し、第一実施形態における運転補助装置１とは異なる危険度推定処理の処理内容を中心に説明する。

〈危険度推定処理の処理内容について〉
図６に示すように、本実施形態の危険度推定処理は、手放運転警告処理のＳ１３０にて起動されると、まず、画像処理構造３０から、運転者の左右それぞれの手が存在する車室内での位置を取得する（Ｓ５１０）。

続いて、Ｓ５１０にて取得した運転者の左右それぞれの手が存在する車室内での位置のうち、非把持手が、低危険位置に存在しているか否かを判定する（Ｓ５２０）。本実施形態における低危険位置は、第一実施形態と同様、運転者がリラックスして運転する際に非把持手を置く位置であり、窓枠７２、肘掛７３，７４、上腿領域８２が規定されている。

このＳ５２０での判定の結果、非把持手が低危険位置に存在していなければ、即ち、高危険位置に存在していれば（Ｓ５２０：ＮＯ）、後述するＳ５５０へと進む。
一方、Ｓ５２０での判定の結果、非把持手が低危険位置に存在していれば（Ｓ５２０：ＹＥＳ）、許容停留手放時間を規定時間インクリメントする（Ｓ５３０）。続いて、許容停留手放時間が、予め規定された許容時間（例えば、３０分）以上であるか否かを判定する（Ｓ５４０）。

そのＳ５４０での判定の結果、許容停留手放時間が許容時間以上であれば（Ｓ５４０：ＹＥＳ）、危険度を「中レベル」に設定する（Ｓ５５０）。一方、Ｓ５４０での判定の結果、許容停留手放時間が許容時間未満であれば（Ｓ５４０：ＮＯ）、危険度を「低レベル（最小値）」に設定する（Ｓ５６０）。

その後、本危険度推定処理を終了して、手放運転警告処理のＳ１６０へと進む。
一方、非把持手が高危険位置に存在していれば（Ｓ５２０：ＮＯ）、非把持手が存在する位置（以下、現存在位置Ｐｎ）を特定する（Ｓ５７０）。そして、位置確定処理にて特定可能な車室内の位置（以下、検出可能位置とする）毎に対応付けられた危険停留手放時間のうち、現存在位置Ｐｎ以外の位置に対応する危険停留手放時間を初期化（本実施形態では、「０」とする）する（Ｓ５８０）。さらに、現存在位置Ｐｎに対応する危険停留手放時間を、規定時間インクリメントする（Ｓ５９０）。

続いて、予め用意された危険度推定マップから、現存在位置Ｐｎ及び危険停留手放時間に対応する危険度を取得して設定する（Ｓ６００）。
その本実施形態における危険度推定マップは、予め実験などにより求められた結果であり、図７に示すように、危険停留手放時間が長くなるほど、危険度の値が大きくなるように、危険停留手放時間と危険度とが対応付けられている。この危険停留手放時間と危険度との対応関係は、危険度が、危険停留手放時間に比例して直線状に変化しても良いし、曲線状に変化しても良いし、階段状に段階的に変化しても良い。

さらに、本実施形態の危険度推定マップには、運転席からの距離が遠い検出可能位置であるほど、値が大きな危険度が対応付けられている。
例えば、検出可能位置のうち、助手席７７、及びグローブボックス８０を高危険位置Ｐ１とし、エアコン操作部７８、及びナビゲーション装置の入力受付部７９を高危険位置Ｐ２とし、頭部領域８１を高危険位置Ｐ３とすると、図７に例示する危険度推定マップでは、高危険位置Ｐ３、高危険位置Ｐ２、高危険位置Ｐ１の順で、危険度が高くなるように予め対応付けられている。

つまり、高危険位置Ｐ１，Ｐ２に非把持手が存在する場合には、それらの位置Ｐ１，Ｐ２に位置する車載機器を、運転者が操作していることが多く、高危険位置Ｐ３に非把持手が存在する場合には、自車両内に持ち込んだ物品（例えば、飲食物やタバコ、携帯電話）を、運転者が操作している（即ち、飲食中や、喫煙中、電話中である）ことが多い。これらの場合、当該高危険位置に非把持手を存在させるために運転者が身体を動かす量が大きいほど、自車両の運転に対する危険度合いが高いと考えられるため、運転席から離れた検出可能位置であるほど、値が大きな危険度が対応付けられている。

なお、運転者が車載機器を操作している場合や、飲食中、喫煙中、電話中である場合には、危険停留手放時間が長くなる。これにより、本実施形態のＳ６００にて取得される危険度は、「高レベル」の中で、危険停留手放時間が長いほど、値が大きくなる。

そして、その後、本危険度推定処理を終了して、手放運転警告処理のＳ１６０へと進む。
［第二実施形態の効果］
以上説明したように、本実施形態の運転補助装置では、非把持手が存在する高危険位置が、運転席からの距離が遠いほど、強い警告を出力する。

これにより、本実施形態の運転補助装置によれば、運転者は自身の体を大きく動かす必要がある場合ほど、危険度が大きくなることを、運転者に認識させることができる。
［その他の実施形態］
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、様々な態様にて実施することが可能である。

例えば、第二実施形態における危険度推定マップにおいて、検出可能位置と危険度との対応関係は、非把持手を存在させるために運転者が身体を動かす量が大きい検出可能位置ほど、危険度の値が大きくなるように対応付けられていたが、検出可能位置と危険度との対応関係は、これに限るものではない。つまり、危険度は、検出可能位置に存在する対象物を非把持手が操作してステアリングホイール７１を把持するまでに要する時間長が長いほど、値を大きくしても良いし、高危険位置に存在する対象物を操作する際に、運転者が車両前方から視線を外す時間長が長いほど、値を大きくしても良い。

前者であれば、検出可能位置と危険度との対応関係は、図８（Ａ）に示すように、高危険位置Ｐ２、高危険位置Ｐ１、高危険位置Ｐ３の順に、危険度が大きくなる。これは、高危険位置Ｐ２に位置する車載機器を操作する行動、高危険位置Ｐ１に位置する車載機器を操作する行動、飲食中や喫煙中、電話中といった行動の順で、運転者が意識を集中させる必要がある行動であり、それらの行動によって自車両の運転に対する意識が低下すると考えられるためである。

一方、後者であれば、検出可能位置と危険度との対応関係は、図８（Ｂ）に示すように、高危険位置Ｐ３、高危険位置Ｐ１、高危険位置Ｐ２の順に、危険度が大きくなる。これは、飲食中や喫煙中、電話中といった行動、高危険位置Ｐ１に位置する車載機器を操作する行動、高危険位置Ｐ２に位置する車載機器を操作する行動といった行動の順で、運転者が車両前方から視線を外す時間長が長くなり、それらの行動によって自車両の運転に対する意識が低下すると考えられるためである。

これらの危険度推定マップを用いて危険度を設定すれば、自車両の運転者に、運転に対して危険な行動を実施していることを認識させることができ、より安全な運転を実施させることができる。

また、上記実施形態の運転補助装置１では、画像処理構造３０にて画像処理を実行していたが、この画像処理は、ナビＥＣＵ５０にて実行しても良い。つまり、運転者の手の位置を、画像処理構造３０ではなく、ナビＥＣＵ５０にて特定しても良い。

さらに、上記実施形態の運転補助装置１では、ステアリングホイール７１の把持状態をステア把持センサ１２からの検知信号に基づいて検知していたが、ステアリングホイール７１の把持状態を検知する方法は、これに限るものではなく、例えば、撮影画像から検知しても良い。この場合、ステアリングホイール７１が写り込んだ撮影画像上の領域（以下、ステア領域とする）に重複して、運転者の手が存在していれば、ステアリングホイール７１が把持されているものと判定すれば良い。このとき、ステア領域に重複する運転者の手が２箇所存在していれば、ステアリングホイール７１の把持状態が両手把持であり、ステア領域に重複する運転者の手が１箇所または０箇所であれば、ステアリングホイール７１の把持状態が手放運転であるものと判定しても良い。

そして、運転者の手の位置を特定する方法は、上記実施形態に記載した方法に限るものではない。例えば、特開２００９−０３７５３４号公報や特開２０１０−０４４９３号公報に記載のように、撮影画像から検出した特徴点（例えば、手首や、肘、肩）を、運転者が実行可能な行動の内容毎に予め用意された行動推定モデルそれぞれに照合した結果、最も一致度が高い行動推定モデルに対応する行動内容を特定し、その特定した行動内容において、運転者が操作している車載機器が存在する位置を、運転者の手が存在する位置としても良い。

また、上記手放運転警告処理のＳ１６０では、危険度が「低レベル」であれば、警告の出力を禁止していたが、危険度が「低レベル」であるときの警告は、これに限るものではなく、強さが「弱いレベル」よりも更に弱いレベルの警告を出力しても良い。つまり、危険度が「低レベル」であるときに、強さが最弱レベルの警告が出力されれば、警告の強さはどのようなものでも良い。

さらに、上記実施形態の手放運転警告処理にて出力する警告の内容は、上記実施形態のように、音声出力部４４から出力される音の音量を大きくすることだけでなく、出力する音の周期や、音色を変化させても良い。また、表示部４３に表示する警告文を変更するだけでなく、表示される内容の色や、文字のフォント、図形を変化させても良い。

なお、上記実施形態の運転補助装置１では、手放運転警告処理をナビＥＣＵ５０にて実行していたが、この手放運転警告処理を実行する装置は、ナビＥＣＵ５０に限るものではなく、例えば、画像処理プロセッサ３５にて実行してもよい。
［実施形態と特許請求の範囲との対応関係］
最後に、上記実施形態の記載と、特許請求の範囲の記載との関係を説明する。

上記実施形態のステア把持センサ１２が、本発明の把持状態検出手段に相当し、画像処理構造３０が、本発明の画像取得手段に相当する。そして、上記実施形態の手放運転警告処理におけるＳ１１０，Ｓ１２０及び危険度推定処理におけるＳ２１０〜Ｓ２４０（または、Ｓ５１０，Ｓ５２０，Ｓ５５０）が、本発明の位置特定手段に相当する。さらに、手放運転警告処理におけるＳ１５０、及び危険度推定処理におけるＳ２６０，Ｓ２９０，Ｓ３００（または、Ｓ５４０，Ｓ５５０，Ｓ６００）が、本発明の危険度導出手段に相当する。なお、上記実施形態の手放運転警告処理におけるＳ１６０が、本発明の警告手段に相当する。

１…運転補助装置 １０…車載センサスイッチ群 １１…操舵角センサ １２…ステア把持センサ １２Ａ，Ｂ…センシング部 １３…車速センサ １４…シフトポジションセンサ ２０…必須機器操作検知部 ２１…シフトレバー操作センサ ２２…灯火スイッチ ２３…方向指示スイッチ ２４…ホーンスイッチ ２５…ワイパースイッチ ３０…画像処理構造 ３１…撮像装置 ３５…画像処理プロセッサ ３６…記憶装置 ３７…メモリ ３８…演算装置 ４０…運転補助構造 ４１…位置検出部 ４２…情報通信部 ４３…表示部 ４４…音声出力部 ４６…記憶部 ５０…ナビＥＣＵ ５１…ＲＯＭ ５２…ＲＡＭ ５３…ＣＰＵ ７１…ステアリングホイール ７２…窓枠 ７３…肘掛 ８２…上腿領域

Claims (11)

1. 車両に設けられたステアリングホイールの把持状態を検出する把持状態検出手段と、
   当該車両の運転席に着座した人物が、当該車両の車室内にて行動可能な範囲を少なくとも含む当該車両の車室内を撮像した画像を取得する画像取得手段と、
   前記把持状態検出手段での検出の結果、前記ステアリングホイールの把持状態が、少なくとも一方の手をステアリングホイールから放した状態であり、かつ当該車両の走行状況が、予め規定された規定走行内状況であれば、前記画像取得手段にて取得した画像に基づいて、前記ステアリングホイールを把持していない手である非把持手が存在する位置を特定する位置特定手段と、
   前記位置特定手段で特定された位置に非把持手が存在することで、当該車両の運転に対する危険度合いが高くなるほど、値が大きい危険度を導出する危険度導出手段と、
   前記危険度導出手段で導出された危険度が小さいほど、弱い警告を出力する警告手段と
   を備え、
   前記危険度導出手段は、
   前記車室内を前記危険度合いにて区分した全ての位置のうち、前記非把持手が存在しても前記危険度合いが基準値よりも低い位置として予め定められた低危険位置に、前記非把持手が存在すれば、前記低危険位置以外の位置である高危険位置に前記非把持手が存在する場合に比べて、前記危険度の値を小さくする
   ことを特徴とする運転補助装置。
2. 前記危険度導出手段は、
   前記非把持手が、前記低危険位置に連続して存在する時間長である存在時間が短いほど、前記危険度の値を低くすることを特徴とする請求項１に記載の運転補助装置。
3. 前記危険度導出手段は、
   前記存在時間が、予め定められた時間長である規定時間以下であれば、前記危険度の値を最小とすることを特徴とする請求項２に記載の運転補助装置。
4. 前記危険度導出手段は、
   前記非把持手が前記高危険位置に存在すれば、前記非把持手が当該高危険位置に連続して存在する時間長が長いほど、前記危険度の値を大きくすることを特徴とする請求項１から請求項３のいずれか一項に記載の運転補助装置。
5. 前記危険度導出手段は、
   前記非把持手が存在する前記高危険位置が、前記運転席からの距離が長いほど、前記危険度の値を大きくすることを特徴とする請求項１から請求項４のいずれか一項に記載の運転補助装置。
6. 前記高危険位置は、前記非把持手にて操作される対象物が存在する位置であり、
   前記危険度導出手段は、
   前記非把持手が存在する前記高危険位置が、当該高危険位置に存在する対象物を前記非把持手が操作して前記ステアリングホイールを把持するまでに要する時間長が長い高危険位置であるほど、前記危険度の値を大きくすることを特徴とする請求項１から請求項４のいずれか一項に記載の運転補助装置。
7. 前記高危険位置は、前記非把持手にて操作される対象物が存在する位置であり、
   前記危険度導出手段は、
   前記非把持手が存在する前記高危険位置が、当該高危険位置に存在する対象物を操作する際に、運転者が車両前方から視線を外す時間長が長い高危険位置であるほど、前記危険度の値を大きくすることを特徴とする請求項１から請求項４のいずれか一項に記載の運転補助装置。
8. 前記位置特定手段は、
   前記非把持手が存在する位置が、前記低危険位置であるか否かを特定し、その特定の結果、前記非把持手が存在する位置が前記低危険位置でなければ、前記非把持手が存在する位置を前記高危険位置とすることを特徴とする請求項１から請求項７のいずれか一項に記載の運転補助装置。
9. 前記危険度導出手段は、
   当該車両に設けられた肘掛、窓枠、及び運転者の上腿のうちの少なくとも１つを、前記低危険位置とすることを特徴とする請求項１から請求項８のいずれか一項に記載の運転補助装置。
10. 前記警告手段は、
    前記危険度が、予め規定された閾値以下であれば、前記警告の出力を禁止することを特徴とする請求項１から請求項９のいずれか一項に記載の運転補助装置。
11. 車両に設けられたステアリングホイールの把持状態を検出した結果、前記ステアリングホイールの把持状態が片手であり、かつ当該車両の走行状況が、予め規定された規定走行内状況であれば、当該車両の運転席に着座した人物が、当該車両の車室内にて行動可能な範囲を少なくとも含む当該車両の車室内を撮像した画像に基づいて、前記ステアリングホイールを把持していない手である非把持手が存在する位置を特定する位置特定手順と、
    前記位置特定手順で特定された位置に非把持手が存在することで、当該車両の運転に対する危険度合いが高くなるほど、値が大きい危険度を導出する危険度導出手順と、
    前記危険度導出手順で導出された危険度が小さいほど、弱い警告を出力する警告手順とを、前記コンピュータに実行させ、
    さらに、前記危険度導出手順は、
    前記車室内を前記危険度合いにて区分した全ての位置のうち、前記非把持手が存在しても前記危険度合いが基準値よりも低い位置として予め定められた低危険位置に、前記非把持手が存在すれば、前記低危険位置以外の位置である高危険位置に前記非把持手が存在する場合に比べて、前記危険度の値を小さくする
    ことを特徴とするプログラム。