JP6877651B1 - 視認負荷値推定装置、視認負荷値推定システム、視認負荷値推定方法、及び視認負荷値推定プログラム - Google Patents

視認負荷値推定装置、視認負荷値推定システム、視認負荷値推定方法、及び視認負荷値推定プログラム Download PDF

Info

Publication number
JP6877651B1
JP6877651B1 JP2020539299A JP2020539299A JP6877651B1 JP 6877651 B1 JP6877651 B1 JP 6877651B1 JP 2020539299 A JP2020539299 A JP 2020539299A JP 2020539299 A JP2020539299 A JP 2020539299A JP 6877651 B1 JP6877651 B1 JP 6877651B1
Authority
JP
Japan
Prior art keywords
load value
visual load
visual
vehicle
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020539299A
Other languages
English (en)
Other versions
JPWO2021161443A1 (ja
Inventor
幸典 遠藤
幸典 遠藤
森　健太郎
健太郎 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Application granted granted Critical
Publication of JP6877651B1 publication Critical patent/JP6877651B1/ja
Publication of JPWO2021161443A1 publication Critical patent/JPWO2021161443A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Abstract

視認負荷値推定装置（１００）は、車両の周辺を撮影することで得られた入力映像から１フレーム分の画像を取得する画像取得部（１０１）と、前記画像から複数の直線を抽出し、前記複数の直線を延長し、延長された前記複数の直線の１つ以上の交点に基づく点である注視点の座標を算出する注視点算出部（１０２）と、前記画像から１つ以上の物体を検出し、前記１つ以上の物体の座標を算出する物体検出部（１０３）と、前記注視点と前記１つ以上の物体との間の１つ以上の距離を算出し、前記１つ以上の距離に基づく値を車両のドライバの視認負荷値として出力する視認負荷値推定部（１０４）とを有する。視認負荷値推定システム（５００）は、視認負荷値推定装置（１００）と撮像装置（２００）とを有する。

Description

本開示は、視認負荷値推定装置、視認負荷値推定システム、視認負荷値推定方法、及び視認負荷値推定プログラムに関する。
車両の運転時におけるドライバの視認負荷の程度を示す視認負荷量を推定する装置が提案されている。例えば、特許文献１を参照。この装置は、車両の前方の画像に基づいて生理的注視位置（すなわち、ドライバが注視してしまう位置）を推定すると共に、車速、進行方向などの車両情報に基づいて運転時においてドライバが視認すべき位置を推定し、これらの位置の差異が大きい場合に視認負荷量が大きいと推定する。
特許第５４８２７３７号公報
しかしながら、上記従来の装置は、ドライバが注視してしまう位置を推定する過程であるボトムアップ過程とドライバが視認すべき位置を推定する過程であるトップダウン過程とのそれぞれにおいて、位置を推定するための複雑な演算を実行しているので、リアルタイムな演算量（すなわち、装置における処理負荷）が大きいという課題がある。
本開示は、車両のドライバの視認負荷値を小さい演算量で推定することを目的とする。
本開示の一態様に係る視認負荷値推定装置は、ドライバが運転する車両の前方又は後方を含む領域である前記車両の周辺を撮影することで得られた入力映像から１フレーム分の画像を取得する画像取得部と、前記画像から複数の直線を抽出し、前記複数の直線を延長し、延長された前記複数の直線の１つ以上の交点に基づく点である注視点の座標を算出する注視点算出部と、前記画像から１つ以上の物体を検出し、前記１つ以上の物体の座標を算出する物体検出部と、前記注視点と前記１つ以上の物体との間の１つ以上の距離を前記ドライバの注意力の分散の程度を示す値として算出し、前記１つ以上の距離を加算又は重み付け加算して得られた合計値に基づく値を前記車両のドライバの視認負荷の大小を表す視認負荷値として出力する視認負荷値推定部と、を有することを特徴とする。
本開示の他の態様に係る視認負荷値推定方法は、コンピュータによって実行される方法であって、ドライバが運転する車両の前方又は後方を含む領域である前記車両の周辺を撮影することで得られた入力映像から１フレーム分の画像を取得するステップと、前記画像から複数の直線を抽出し、前記複数の直線を延長し、延長された前記複数の直線の１つ以上の交点に基づく点である注視点の座標を算出するステップと、前記画像から１つ以上の物体を検出し、前記１つ以上の物体の座標を算出するステップと、前記注視点と前記１つ以上の物体との間の１つ以上の距離を前記ドライバの注意力の分散の程度を示す値として算出し、前記１つ以上の距離を加算又は重み付け加算して得られた合計値に基づく値を前記車両のドライバの視認負荷の大小を表す視認負荷値として出力するステップと、を有することを特徴とする。
本開示によれば、車両のドライバの視認負荷値を小さい演算量で推定することができる。
実施の形態１に係る視認負荷値推定装置の構成を示す機能ブロック図である。 実施の形態１に係る視認負荷値推定装置のハードウェア構成を示す図である。 実施の形態１に係る視認負荷値推定装置の動作を示す図である。 図３の一部を拡大して示す図である。 実施の形態１に係る視認負荷値推定装置の動作を示す図である。 逆光時の画像の例を示す図である。 夜間の画像の例を示す図である。 実施の形態１に係る視認負荷値推定装置の動作を示すフローチャートである。 実施の形態１における注視点の座標の算出動作を詳細に示すフローチャートである。 実施の形態２に係る視認負荷値推定装置の構成を示す機能ブロック図である。 実施の形態２に係る視認負荷値推定装置の動作を示すフローチャートである。
以下に、実施の形態に係る視認負荷値推定装置、視認負荷値推定システム、視認負荷値推定方法、及び視認負荷値推定プログラムを、図面を参照しながら説明する。以下の実施の形態は、例にすぎず、実施の形態を適宜組み合わせること及び各実施の形態を適宜変更することが可能である。
実施の形態に係る視認負荷値推定装置は、車両のドライバに対して適切な注意喚起及び適切な運転支援などを行うために用いられる視認負荷値を推定する。視認負荷値は、人が物体を視認する際の視認性の難易度（すなわち、視覚的な認識のし難さの程度）を示す指標である。視認負荷値は、物体を視認し難いほど大きい値になり、物体を視認し易いほど小さい値になる。
また、車両の運転時における物体の視認によってドライバが受ける負荷（すなわち、視認負荷）の程度は物体の視認性の難易度に対応しているので、視認負荷値は視認負荷の程度に対応している。つまり、視認負荷値は、視認負荷の程度が大きいほど大きい値になり、視認負荷の程度が小さいほど小さい値になる。視認負荷値の大小は、ドライバが運転中に同時に見える周辺物体の数、周辺物体の大きさ、周辺物体の位置関係、周辺物体の色合いなど様々な視認性要因又は認知特性要因又はこれらの両方の要因によって刻々と変化するものと考えられる。
実施の形態に係る視認負荷値推定装置は、例えば、ドライバが運転している車両の周辺（例えば、前方、後方など）を撮影することで得られた入力映像の１フレーム分の画像の解析によって、視認負荷値を推定（すなわち、算出）する。入力映像は、例えば、車両の前方を撮影するドライブレコーダ用の撮像装置（すなわち、カメラ）、車両の後方を撮影するドライブレコーダ用の撮像装置、及び車両の後方を撮影する側方電子ミラー用の撮像装置、などによって得られる。なお、実施の形態に係る視認負荷値推定装置は、ドライバの状態（例えば、ドライバの視線の方向など）を取得するためにドライバを撮影する車室内カメラ、ドライバの生体情報（例えば、ドライバの血圧、体温、など）を取得するための生体センサ、などを必要としない。ただし、実施の形態に係る視認負荷値推定装置は、視認負荷値の算出に際し、ドライバの状態又はドライバの生体情報を考慮してもよい。
一般に、車両を運転しているドライバは、車両の前方に見える道路のレーンに沿った直線の延長線が交わる点の位置を注視しようとする。道路のレーンに沿った直線は、例えば、各レーンの両側に描かれた白線である。しかし、ドライバは、自身が運転している車両の周辺において移動する物体である周辺物体が存在すると、視線を周辺物体に向ける。周辺物体の代表例は、自身の車両の周辺にある他の車両である。他の車両は、「周辺車両」とも呼ばれる。このとき、ドライバの注意は、注視点と周辺車両とに交互に向けられる。つまり、ドライバの注意力は分散し、注視点に対する注意力が低下する傾向がある。ドライバの注意力の分散の程度は、注視点の位置と周辺車両との間の距離が大きいほど、つまり、周辺車両を視認し難いほど、大きい。つまり、ドライバの注意力の分散の程度は、ドライバの視認負荷値が大きいほど、大きい。
そこで、実施の形態に係る視認負荷値推定装置は、ドライバの視認負荷値を算出し、視認負荷値を警報装置及び運転支援装置に対して提供する。警報装置は、ドライバに対して、視認負荷値の程度（大小の絶対値）又は変化率（単位時間当たりの程度変化）又はこれらの両方などに基づき、柔軟に選択切り替え可能な内容の注意喚起を行うことができる。運転支援装置は、ドライバに対して、視認負荷値の程度又は変化率又はこれらの両方などに基づき、柔軟に選択切り替え可能な内容の運転支援を行うことができる。
実施の形態１．
図１は、実施の形態１に係る視認負荷値推定装置１００の構成を示す機能ブロック図である。視認負荷値推定装置１００は、実施の形態１に係る視認負荷値推定方法を実施することができる装置である。視認負荷値推定装置１００は、撮像装置２００によって撮影された映像に基づいて視認負荷値Ｖを推定する。推定された視認負荷値Ｖは、警報装置４００、運転支援装置３００、などに提供される。
図１に示されるように、視認負荷値推定装置１００は、画像取得部１０１と、注視点算出部１０２と、物体検出部１０３と、視認負荷値推定部１０４とを有している。視認負荷値推定システム５００は、撮像装置２００と、視認負荷値推定装置１００とを有している。また、視認負荷値推定システム５００は、警報装置４００、又は運転支援装置３００、又はこれらの両方を有してもよい。
画像取得部１０１は、ドライバが運転している自身の車両の周辺を撮影することで得られた映像（すなわち、入力映像）から１フレーム分の画像を順次取得する。入力映像は、車両に搭載された撮像装置２００から出力された動画である。撮像装置２００の台数は、１台に限定されず、２台以上であってもよい。撮像装置２００は、ドライバが運転している車両の前方を撮影するカメラを含む。撮像装置２００は、車両の後方を撮影するカメラを含んでもよい。
注視点算出部１０２は、画像取得部１０１によって取得された各フレームの画像から複数の直線を抽出し、複数の直線を延長し、延長された複数の直線の１つ以上の交点（すなわち、交差位置）に基づく点である注視点の座標を算出する。複数の直線は、例えば、車両の前方に見える道路のレーンに沿った直線（例えば、白線）である。注視点が車両の前方の遠い位置にある場合には、注視点は、道路のレーンに沿って描かれた白線が遠方で見えなくなる位置、すなわち、白線が消失するように見える位置にある。このため、注視点は「消失点」とも呼ばれる。
注視点算出部１０２は、複数の直線として、例えば、道路のレーンに沿う方向に対して、予め決められた角度範囲内の直線を抽出する。注視点算出部１０２は、抽出された複数の直線が、画面の右側と左側から中心方向に向かっている２本の直線である場合には、２本の直線を延長し、延長された２本の直線の交点を注視点の座標とする。注視点算出部１０２は、抽出された複数の直線が、画面の右側と左側から中心方向に向かっている３本以上の直線である場合には、これらの直線を延長し、延長された直線の複数の交点に基づく点を注視点の座標とする。複数の交点に基づく点は、例えば、複数の交点の中心点である。言い換えれば、注視点算出部１０２によって算出される１つ以上の交点が１つの交点である場合、注視点の座標は１つの交点の座標であり、１つ以上の交点が複数の交点である場合、注視点の座標は複数の交点の中心点の座標である。
注視点算出部１０２は、画像取得部１０１によって取得された画像の予め決められた範囲外から直線を抽出せず、予め決められた範囲内から複数の直線を抽出してもよい。予め決められた範囲は、例えば、１フレーム分の画像の下側の予め決められた割合の範囲である。予め決められた範囲は、例えば、１フレーム分の画像の下側の５０％の範囲、すなわち、１フレーム分の画像の下側の半分の範囲である。このように、予め決められた範囲を設定することによって、遠方に映る山と空との直線状の境界線を直線として検出しないことができる。なお、予め決められた割合は、５０％に限定されない。また、予め決められた範囲は、１フレーム分の画像の下端から１０％〜５０％の範囲のように画像の下端を含まない範囲であってもよい。これは、１フレームの画像の下端に、自身の車両の車体の先端部分が映っている場合があるからである。なお、予め決められた範囲は、長方形領域に限定するものではなく、検出対象から除外したいものの都合に合わせて、画面下側の五角形領域などの多角形などであってもよい。
物体検出部１０３は、画像取得部１０１によって取得された画像から１つ以上の物体を検出し、検出された１つ以上の物体の座標を算出する。物体検出部１０３は、例えば、検出される物体として、自身の車両の周辺に存在する移動する物体である周辺物体を検出する。検出される物体は、例えば、周辺車両である。物体検出部１０３は、検出された１つ以上の周辺車両の座標を算出する。物体検出部１０３が使用する物体検出アルゴリズムとしては、ＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）アルゴリズム、機械学習を用いた物体検出のアルゴリズムであるＳｉｎｇｌｅ Ｓｈｏｔ Ｍｕｌｔｉｂｏｘ Ｄｅｔｅｃｔｏｒ（ＳＳＤ）アルゴリズム、などを用いることができる。
視認負荷値推定部１０４は、注視点算出部１０２によって座標が算出された注視点と物体検出部１０３によって検出された１つ以上の物体との間の１つ以上の距離を算出し、算出された１つ以上の距離に基づく値を自身の車両のドライバの視認負荷値Ｖとして出力する。注視点と物体との間の距離は、注視点と物体とを結ぶ線分の長さであるから「線分距離」とも呼ばれる。例えば、視認負荷値推定部１０４は、注視点と１つ以上の周辺車両との間の１つ以上の距離を算出し、算出された１つ以上の距離に基づく値を自身の車両のドライバの視認負荷値Ｖとして出力する。視認負荷値推定部１０４は、算出された１つ以上の距離に重み係数を乗算することで得られた重み付き距離の合計値（すなわち、視認距離値）を計算し、全ての周辺物体についての重み付き距離の合計値である最終的な視認距離値を正規化することによって視認負荷値Ｖを算出する。視認負荷値Ｖは、例えば、視認距離値を正規化して得られた、０から１．０までの範囲内の値として出力される。
視認負荷値推定部１０４は、１つ以上の距離を重み付け加算して視認距離値を算出する場合には、予め決められた重み係数を用いることができる。重み係数は、後述の図２に示される記憶デバイス１１２又は外部の記憶装置から取得される。
重み係数は、例えば、周辺物体の種類ごとに決められている。周辺物体として周辺車両を検出する場合には、大型車（例えば、トラック、トレーラ、など）、普通乗用車（例えば、自家用車、営業車など）、二輪車（例えば、バイク、自転車、など）などの車両の種類に応じて重み係数が設定されている。大型車、普通乗用車、及び二輪車の重み係数は、周辺車両の大きさに応じた値、例えば、３、２、及び１のように設定される。
また、車両以外の周辺物体として、人（例えば、歩行者、子供、など）、動物、設置物（例えば、信号機、道路標識、看板、など）、路上の物体（例えば、車両から脱落したタイヤ、車両から落下した木材のような荷物、など）、が検出されてもよい。また、これらの周辺物体に対して、種類、大きさ、などに応じて重み係数が設定されてもよい。例えば、周辺物体が大きいほど、重み係数が大きく設定される。
また、重み係数は、自身の車両と周辺物体との間の相対的な位置関係又は相対速度に応じて決められてもよい。つまり、重み係数は、自身の車両と周辺物体との間の相対的な位置関係又は相対速度に応じて修正されてもよい。例えば、周辺物体が、自身の車両に、後ろから車間距離が徐々に短くなるように近づいてきている周辺車両である場合には、この周辺車両の重み係数として、前方を走行する車両の重み係数よりも大きな値が設定されてもよい。或いは、自身の車両と並んで同じ速度で走行する周辺車両がある場合、この周辺車両の重み係数として、前方を走行する車両の重み係数よりも大きな値が設定されてもよい。
また、重み係数は、複数の周辺車両の密集度に応じて決められてもよい。つまり、重み係数は、複数の周辺車両の密集度に応じて修正されてもよい。例えば、複数の周辺車両が、右前方（例えば、追い越し車線）に密集している場合（すなわち、渋滞している場合）には、これらの車両の重み係数として、密集していない場合における重み係数よりも、大きい値が設定されてもよい。また、複数の周辺車両が、前方（例えば、料金所の手前）で密集している場合には、これらの車両の重み係数として、密集していない場合における重み係数よりも、大きい値が設定されてもよい。
また、重み係数は、複数の周辺物体の認識率［％］（すなわち、認識精度）に応じて決められてもよい。つまり、重み係数は、複数の周辺車両の密集度に応じて修正されてもよい。例えば、認識率が低い位置である遠くにある周辺車両の重み係数は、認識率が高い位置である近くにある周辺車両の重み係数よりも大きい値に設定されてもよい。また、画像内で小さい（つまり、認識率が低い）周辺車両の重み係数は、画像内で大きい（つまり、認識率が高い）周辺車両の重み係数よりも大きい値に設定されてもよい。なお、大きさは、バウンディングボックスの面積で計算されてもよい。また、周辺車両を囲うバウンディングボックス内の輝度が低い周辺車両の重み係数を、バウンディングボックス内の輝度が高い周辺車両の重み係数よりも大きい値に設定してもよい。
また、重み係数は、周辺物体を囲うバウンディングボックス内の色空間情報に基づいて設定されてもよい。つまり、重み係数は、周辺物体を囲うバウンディングボックス内の色空間情報に基づいて修正されてもよい。例えば、バウンディングボックス内のＨＳＶ値（色相、彩度、明度の３成分からなる。）の平均値、バウンディングボックス内の輝度の平均値などに基づいて、重み係数が設定されてもよい。例えば、入力映像から取得された画像が、逆光の状態の画像である場合、夜間の画像である場合、又は雨天時の画像である場合は、周辺物体の色味が暗くなって、視認し難いので、重み係数が大きく設定されてもよい。
警報装置４００は、ドライバに対して、視認負荷値Ｖに基づく内容の注意喚起を行う。警報装置４００は、例えば、視認負荷値Ｖが予め決められた第１の閾値を超えたときに、警告音、音声メッセージ、ランプの点灯、警告表示、振動、などのうちの１つ又は２つ以上の組み合わせによって、ドライバに対して注意喚起を行う。なお、警報装置４００は、視認負荷値Ｖを複数の閾値と比較し、この比較の結果に対応する注意喚起を行ってもよい。
運転支援装置３００は、ドライバに対して、視認負荷値Ｖに基づく運転支援を行う。運転支援装置３００は、例えば、視認負荷値Ｖが予め決められた第２の閾値を超えたときに、予め決められた処理を実行する。例えば、運転支援装置３００は、視認負荷値Ｖが第２の閾値を超えたときに、運転モードを手動運転モードから自動運転モードに切り替える。具体的に言えば、運転支援装置３００は、前方に多数の周辺車両が存在して視認負荷値Ｖが第２の閾値を超えたときに、ドライバの視認負荷が高い状況が生じていると判断して、前方の周辺車両との距離を一定に維持しながら自身の車両を自動走行させる自動運転モードに切り替える。なお、運転支援装置３００は、視認負荷値Ｖを複数の閾値と比較し、この比較の結果に対応する運転支援を行ってもよい。
図２は、実施の形態１に係る視認負荷値推定装置１００のハードウェア構成を示す図である。図２に示されるように、視認負荷値推定装置１００は、情報処理を行うプロセッサであるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１０と、半導体メモリなどの記憶部としての主メモリ１１１と、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの記憶デバイス１１２と、入力インタフェース（Ｉ／Ｆ）デバイス１１３と、出力Ｉ／Ｆデバイス１１４と、画像処理デバイス１１５と、これらを繋ぐ内部バス１１６とを有している。視認負荷値推定装置１００は、例えば、コンピュータである。視認負荷値推定装置１００は、自動車を制御する電子制御ユニットの一部であってもよい。主メモリ１１１は、実施の形態１に係るソフトウェアである視認負荷値推定プログラム１１７を記憶している。視認負荷値推定プログラム１１７は、ネットワークを経由したダウンロードによって又は情報を記録するコンピュータ読み取り可能な記録媒体からインストールされる。ＣＰＵ１１０は、視認負荷値推定プログラム１１７を実行することによって、図１に示される画像取得部１０１、注視点算出部１０２、物体検出部１０３、及び視認負荷値推定部１０４の各機能の全体又は一部を実現することができる。また、画像処理デバイス１１５は、ＣＰＵ１１０の一部であってもよい。
図３は、実施の形態１に係る視認負荷値推定装置１００の動作を示す図である。図３は、ドライバが運転している自身の車両の前方の道路１５のレーンの両端に道路１５のレーンに沿う白線（又は、他の色の線若しくは段差など）１６、１７が存在し、注視点算出部１０２が、白線１６、１７の一部である直線部分１１、１２を延長し、延長した直線部分の交点を注視点１０とする例を示している。また、図３の例では、視認負荷値推定装置１００は、１フレーム分の画像から直線を検出する際に、画像の下側の半分の範囲１４から直線を抽出している。このため、前方の山の輪郭線は、直線として抽出されない。
図４は、図３の一部である範囲１３を拡大して示す図である。図４は、自身の車両の前方に他の車両である周辺車両２１、２２が存在し、物体検出部１０３が物体としての周辺車両２１、２２を検出し、視認負荷値推定部１０４が、注視点１０と周辺車両２１との間の距離３１と、注視点１０と周辺車両２２との間の距離３２とを検出することを示している。図３及び図４の示される状況では、距離３１、３２は短いので、視認負荷値Ｖは比較的小さい。
図５は、実施の形態１に係る視認負荷値推定装置１００の動作を示す図である。図５は、自身の車両の前方に他の車両である複数の周辺車両４１〜４８が存在し、物体検出部１０３が物体として周辺車両４１〜４８を検出し、視認負荷値推定部１０４が、注視点１０と周辺車両４１〜４８との間の距離５１〜５８を検出することを示す説明図である。例えば、視認負荷値推定部１０４は、注視点１０と周辺車両４１〜４８との間の距離５１〜５８を算出し、算出された距離５１〜５８に基づいて算出された値を自身の車両のドライバの視認負荷値Ｖとして出力する。視認負荷値推定部１０４は、１つ以上の距離の合計値である視認距離値に対応する値として、複数の距離５１〜５８の視認距離値を正規化して、０から１．０までの範囲内の値として出力する。直感的にも分かる通り、本例の視認負荷値Ｖは、前記の図４で述べた視認負荷値Ｖよりも相対的に大きい。
図６は、逆光時の画像の例を示す図である。図６に示される逆光時の画像には、周辺車両６１〜６４が存在している。図６に示される逆光時の画像では、周辺車両６１〜６４を囲うバウンディングボックス内の輝度が低く、周辺車両６１〜６４は黒ずんで見える。この場合には、周辺車両６１〜６４に関する重み係数として、逆光時ではない場合の重み係数より高い値を用いてもよい。
図７は、夜間の画像の例を示す図である。図７に示される夜間の画像には、周辺車両７１〜７４が存在している。図７に示される夜間の画像では、周辺車両７１〜７４を囲うバウンディングボックス内の輝度がその周囲の輝度よりも高く、ヘッドライトの反射等から周辺車両７１〜７４は明るく光って見える。この場合には、周辺車両７１〜７４に関する重み係数として、夜間ではない場合の重み係数より高い値を用いてもよい。
図８は、実施の形態１に係る視認負荷値推定装置１００の動作を示すフローチャートである。先ず、画像取得部１０１は、入力映像から１フレーム分の画像を取得する（ステップＳ１００）。次に、注視点算出部１０２は、ドライバの注視点１０の座標を算出する（ステップＳ１０１）。注視点１０の算出方法の詳細は、後述の図９に示される。
次に、物体検出部１０３は、１フレーム分の画像における自身の車両の周辺に存在する移動する周辺物体である周辺車両の検出を行う（ステップＳ１０２）。次に、物体検出部１０３は、周辺車両が検出されたか否かを判断する（ステップＳ１０３）。
周辺車両が検出された場合（ステップＳ１０３の判断がＹＥＳの場合）、視認負荷値推定部１０４は、検出された周辺車両の位置を示す座標である中心座標を取得する（ステップＳ１０４）。なお、周辺車両の位置を示す座標は、周辺車両の中心座標以外の座標であってもよい。
次に、視認負荷値推定部１０４は、注視点１０の座標と、検出された周辺車両の位置を示す中心座標との間の距離を算出する（ステップＳ１０５）。
次に、視認負荷値推定部１０４は、検出された周辺車両の重み係数を取得する（ステップＳ１０６）。周辺車両の重み係数は、例えば、車両の種類に応じた値である。例えば、サイズの大きい車体を有するトラックの重み係数は、大きい値であり、比較的小さいサイズの車体を有する普通乗用車の重み係数は、小さい値である。
次に、視認負荷値推定部１０４は、算出された距離に重み係数を乗算することで、重み付き距離を算出する（ステップＳ１０７）。次に、視認負荷値推定部１０４は、重み付き距離の合計値である視認距離値を算出し（ステップＳ１０８）、処理をステップＳ１０２に戻す。ステップＳ１０２〜Ｓ１０８の処理は、ステップＳ１０３において未処理の周辺車両が検出されないと判断されるまで繰り返される。
周辺車両が検出されない場合（ステップＳ１０３の判断がＮＯの場合）、視認負荷値推定部１０４は、重み付き距離の合計値である視認距離値を正規化して得られた０から１．０までの範囲内の値である視認負荷値Ｖを出力する（ステップＳ１０９）。次のステップＳ１１０において、視認負荷値推定装置１００は、次のフレームがある場合に、処理をステップＳ１００に戻し、次のフレームがない場合には、処理を終了する。
図９は、実施の形態１における注視点の座標の算出動作（すなわち、図８のステップＳ１０１）を詳細に示すフローチャートである。先ず、注視点算出部１０２は、画像取得部１０１で取得した１フレーム分の画像をグレースケール変換し（ステップＳ２００）、その後、２値化変換する（ステップＳ２０１）。２値化変換には、例えば、エッジ検出のための公知のアルゴリズムであるＣａｎｎｙ法が用いられる。
次に、注視点算出部１０２は、２値化変換された画像内における下側の半分の範囲（例えば、図３における範囲１３に対応する。）の多角形領域を検出し、この多角形領域以外の領域を黒色でマスク化する（ステップＳ２０２）。
次に、注視点算出部１０２は、２値化変換された画像内における下側の半分の範囲において直線を検出する（ステップＳ２０３）。直線の検出には、例えば、直線を検出する公知のアルゴリズムであるＨｏｕｇｈ変換が用いられる。
次に、注視点算出部１０２は、検出された直線の角度に基づいて、道路のレーンを区分する白線（すなわち、道路のレーンに沿う白線）の候補以外の直線を除外する（ステップＳ２０４）。次に、注視点算出部１０２は、複数の直線を延長し、延長した複数の直線の交点の座標を算出する（ステップＳ２０５）。
次に、注視点算出部１０２は、１つの交点が検出されたときには、その交点を注視点とし、複数の交点が検出されたときには、複数の交点の中心点を注視点とし、注視点の座標を算出する（ステップＳ２０６）。
実施の形態１によれば、車両のドライバの視認負荷値Ｖを小さい演算量で推定することができる。また、警報装置４００は、ドライバに対する適切な注意喚起を行うことができる。また、運転支援装置３００は、ドライバに対する適切な運転支援を行うことができる。すなわち、視認負荷値Ｖは、警報装置又は運転支援装置が適切な時だけ適切な内容のＨＭＩ（Ｈｕｍａｎ−Ｍａｃｈｉｎｅ Ｉｎｔｅｒｆａｃｅ）出力をするための判断材料の一つを与えることができ、例えば、別途ドライバ監視装置から得られる集中度の判定結果の値との両方を加味する（掛け合わせる）ことで、ドライバへの情報多寡を抑止し、ユーザの受容性を高めることができる。
また、特許文献１に記載の装置では、相応の精度の視認負荷量を推定するために、車外カメラからの映像情報に加えて、自車両のセンサ等から得る様々な車両情報を入力とすることから、実用化の成立要件（推定処理に必要なデータ種別）がより多く、装置（機能）コストがより高くなると考えられる。これに対し、実施の形態１の装置によれば、車外カメラからの映像情報だけで、相応の精度の視認負荷値の推定ができるので、装置コストの削減の効果が得られる。
実施の形態２．
実施の形態１では、視認負荷値推定装置１００が１つの視認負荷値推定部１０４を備えた例を説明した。これに対し、実施の形態２では、視認負荷値推定装置１００ａが複数の視認負荷値推定部を備えた例を説明する。
図１０は、実施の形態２に係る視認負荷値推定装置１００ａの構成を示す機能ブロック図である。視認負荷値推定装置１００ａは、実施の形態２に係る視認負荷値推定方法を実施することができる装置である。視認負荷値推定装置１００ａは、第１から第３の撮像装置２００ａ、２００ｂ、２００ｃによって撮影された映像に基づいて第１から第３の視認負荷値Ｖ１〜Ｖ３を算出し、これらに基づいて統合された視認負荷値Ｖ０を算出する。統合された視認負荷値Ｖ０は、警報装置４００、運転支援装置３００、などに提供される。
第１の撮像装置２００ａは、ドライバが運転している車両の前方を撮影するカメラである。第１の撮像装置２００ａは、例えば、車両の前方を撮影するドライブレコーダ用のカメラである。第２の撮像装置２００ｂは、ドライバが運転している車両の後方を撮影するカメラである。第２の撮像装置２００ｂは、例えば、後方を撮影するドライブレコーダ用のカメラである。第３の撮像装置２００ｃは、例えば、ドライバが運転している車両の後方を撮影する側方電子ミラー用のカメラである。
視認負荷値推定装置１００ａは、図１に示される画像取得部１０１、注視点算出部１０２、及び物体検出部１０３と同様の構成を有している。さらに、図１０に示されるように、視認負荷値推定装置１００ａは、第１から第３の視認負荷値推定部１０４ａ、１０４ｂ、１０４ｃと、視認負荷値統合部１０４ｄとを有している。視認負荷値推定装置１００ａのハードウェア構成は、図２に示される視認負荷値推定装置１００のハードウェア構成と同様である。
第１の視認負荷値推定部１０４ａは、第１の撮像装置２００ａによって撮影された第１の映像に基づいて、図１に示される視認負荷値推定部１０４と同様の処理を行い、第１の視認負荷値Ｖ１を算出する。第２の視認負荷値推定部１０４ｂは、第２の撮像装置２００ｂによって撮影された第２の映像に基づいて、図１に示される視認負荷値推定部１０４と同様の処理を行い、第２の視認負荷値Ｖ２を算出する。第３の視認負荷値推定部１０４ｃは、第３の撮像装置２００ｃによって撮影された第３の映像に基づいて、図１に示される視認負荷値推定部１０４と同様の処理を行い、第３の視認負荷値Ｖ３を算出する。
視認負荷値統合部１０４ｄは、予め視認分配率ｋ１、ｋ２、ｋ３を記憶しており、視認分配率ｋ１、ｋ２、ｋ３を用いて統合された視認負荷値Ｖ０を算出する。例えば、第１の映像用の視認分配率ｋ１は８０％であり、第２の映像用の視認分配率ｋ２は１０％であり、第３の映像用の視認分配率ｋ３は１０％である。この場合、統合された視認負荷値Ｖ０は、例えば、以下の式によって計算される。
Ｖ０＝（ｋ１×Ｖ１）＋（ｋ２×Ｖ２）＋（ｋ３×Ｖ３）
＝０．８Ｖ１＋０．１Ｖ２＋０．１Ｖ３
図１１は、実施の形態２に係る視認負荷値推定装置１００ａの動作を示すフローチャートである。視認負荷値推定装置１００ａは、第１の撮像装置２００ａによって撮影された第１の映像から１フレーム分の画像を読み込み（ステップＳ１００ａ）、注視点の座標を算出し、周辺車両の座標を算出し、注視点と周辺車両との間の距離を算出し、重み係数を用いて重み付き距離を算出し、重み付き距離を合算して視認距離値を算出し（図１に示されるステップＳ１０１〜Ｓ１０８に対応）、その後、視認距離値を正規化して第１の視認負荷値Ｖ１を算出する（ステップＳ１０９ａ）。
また、視認負荷値推定装置１００ａは、第２の撮像装置２００ｂによって撮影された第２の映像から１フレーム分の画像を読み込み（ステップＳ１００ｂ）、注視点の座標を算出し、周辺車両の座標を算出し、注視点と周辺車両との間の距離を算出し、重み係数を用いて重み付き距離を算出し、重み付き距離を合算して視認距離値を算出し（図１に示されるステップＳ１０１〜Ｓ１０８に対応）、その後、視認距離値を正規化して第２の視認負荷値Ｖ２を算出する（ステップＳ１０９ｂ）。
また、視認負荷値推定装置１００ａは、第３の撮像装置２００ｃによって撮影された第３の映像から１フレーム分の画像を読み込み（ステップＳ１００ｃ）、注視点の座標を算出し、周辺車両の座標を算出し、注視点と周辺車両との間の距離を算出し、重み係数を用いて重み付き距離を算出し、重み付き距離を合算して視認距離値を算出し（図１に示されるステップＳ１０１〜Ｓ１０８に対応）、その後、視認距離値を正規化して第２の視認負荷値Ｖ３を算出する（ステップＳ１０９ｃ）。
次に、視認負荷値推定装置１００ａは、第１から第３の視認距離値Ｖ１、Ｖ２、Ｖ３と視認分配率ｋ１、ｋ２、ｋ３とから、統合された視認負荷値Ｖ０を算出する（ステップＳ１１１）。次のステップＳ１１０ａにおいて、視認負荷値推定装置１００ａは、次のフレームがある場合に、処理をステップＳ１００ａ、Ｓ１００ｂ、Ｓ１００ｃに戻し、次のフレームがない場合には、処理を終了する。
実施の形態２によれば、車両のドライバの視認負荷値Ｖを小さい演算量で推定することができる。また、第１から第３の撮像装置で撮影された第１から第３の映像に基づいて、より適正な視認負荷値Ｖを算出することができる。よって、警報装置４００は、ドライバに対するより適切な注意喚起を行うことができる。また、運転支援装置３００は、ドライバに対するより適切な運転支援を行うことができる。
１００、１００ａ 視認負荷値推定装置、 １０１ 画像取得部、 １０２ 注視点算出部、 １０３ 物体検出部、 １０４ 視認負荷値推定部、 １０４ａ 第１の視認負荷値推定部、 １０４ｂ 第２の視認負荷値推定部、 １０４ｃ 第３の視認負荷値推定部、 １０４ｄ 視認負荷値統合部、 ２００ 撮像装置、 ２００ａ 第１の撮像装置、 ２００ｂ 第２の撮像装置、 ２００ｃ 第３の撮像装置、 ３００ 運転支援装置、 ４００ 警報装置、 ５００ 視認負荷値推定システム。

Claims (18)

  1. ドライバが運転する車両の前方又は後方を含む領域である前記車両の周辺を撮影することで得られた入力映像から１フレーム分の画像を取得する画像取得部と、
    前記画像から複数の直線を抽出し、前記複数の直線を延長し、延長された前記複数の直線の１つ以上の交点に基づく点である注視点の座標を算出する注視点算出部と、
    前記画像から１つ以上の物体を検出し、前記１つ以上の物体の座標を算出する物体検出部と、
    前記注視点と前記１つ以上の物体との間の１つ以上の距離を前記ドライバの注意力の分散の程度を示す値として算出し、前記１つ以上の距離を加算又は重み付け加算して得られた合計値に基づく値を前記車両のドライバの視認負荷の大小を表す視認負荷値として出力する視認負荷値推定部と、
    を有することを特徴とする視認負荷値推定装置。
  2. 前記視認負荷値推定部は、予め決められた重み係数を用いて、前記１つ以上の距離を重み付け加算することを特徴とする請求項１に記載の視認負荷値推定装置。
  3. 前記重み係数は、前記１つ以上の物体の種類ごとに予め決められた値を持つことを特徴とする請求項２に記載の視認負荷値推定装置。
  4. 前記物体検出部は、前記１つ以上の物体として、前記車両の周辺に位置する１つ以上の周辺車両を検出し、
    前記重み係数は、前記１つ以上の周辺車両ごとに予め決められた値を持つ
    ことを特徴とする請求項２に記載の視認負荷値推定装置。
  5. 前記物体検出部は、前記１つ以上の物体として、前記車両の周辺に位置する人、動物、設置物、及び路上の物体のうちの１つ以上を検出し、
    前記重み係数は、前記１つ以上の物体の種類に応じて予め決められた値を持つ
    ことを特徴とする請求項２に記載の視認負荷値推定装置。
  6. 前記重み係数は、前記車両と前記１つ以上の物体との間の相対的な位置関係又は相対速度に応じて予め決められた値を持つことを特徴とする請求項２に記載の視認負荷値推定装置。
  7. 前記重み係数は、前記１つ以上の物体の密集度が大きいほど、大きい値に設定されていることを特徴とする請求項２から６のいずれか１項に記載の視認負荷値推定装置。
  8. 前記重み係数は、前記１つ以上の物体の認識率が低いほど、大きい値に設定されていることを特徴とする請求項２から７のいずれか１項に記載の視認負荷値推定装置。
  9. 前記重み係数は、前記１つ以上の物体を囲うバウンディングボックス内のＨＳＶ値の平均値又は輝度の平均値が低いほど、大きい値に設定されていることを特徴とする請求項２から８のいずれか１項に記載の視認負荷値推定装置。
  10. 前記重み係数は、前記入力映像から取得された前記画像が、逆光の状態の画像である場合、夜間の画像である場合、又は雨天時の画像である場合には、大きい値に設定されていることを特徴とする請求項２から９のいずれか１項に記載の視認負荷値推定装置。
  11. 前記注視点算出部は、前記入力映像から取得された前記画像から抽出された前記複数の直線の角度と前記車両が走行する道路のレーンの方向とに基づいて、前記注視点の座標の算出に用いる直線を選択することを特徴とする請求項１から１０のいずれか１項に記載の視認負荷値推定装置。
  12. 前記注視点算出部は、前記入力映像から取得された前記画像における予め決められた範囲内で前記複数の直線を抽出することを特徴とする請求項１から１１のいずれか１項に記載の視認負荷値推定装置。
  13. 前記１つ以上の交点が１つの交点である場合、前記注視点の座標は前記１つの交点の座標であり、
    前記１つ以上の交点が複数の交点である場合、前記注視点の座標は前記複数の交点の中心点の座標である
    ことを特徴とする請求項１から１２のいずれか１項に記載の視認負荷値推定装置。
  14. 前記入力映像として、前記車両の周辺を撮影する複数の撮像装置から複数の映像を受信し、
    前記複数の映像についての複数の前記視認負荷値を算出し、
    前記複数の撮像装置に予め割り当てられた視認分配率を用いた重み付け加算によって前記複数の視認負荷値から、統合された視認負荷値を算出する
    ことを特徴とする請求項１から１３のいずれか１項に記載の視認負荷値推定装置。
  15. 前記複数の撮像装置は、前記車両の前方を撮影する第１の撮像装置と、前記車両の後方を撮影する第２の撮像装置とを含むことを特徴とする請求項１４に記載の視認負荷値推定装置。
  16. 請求項１から１５のいずれか１項に記載の視認負荷値推定装置と、
    前記車両の周辺を撮影して前記入力映像を出力する撮像装置と、
    を有することを特徴する視認負荷値推定システム。
  17. コンピュータによって実行される視認負荷値推定方法であって、
    ドライバが運転する車両の前方又は後方を含む領域である前記車両の周辺を撮影することで得られた入力映像から１フレーム分の画像を取得するステップと、
    前記画像から複数の直線を抽出し、前記複数の直線を延長し、延長された前記複数の直線の１つ以上の交点に基づく点である注視点の座標を算出するステップと、
    前記画像から１つ以上の物体を検出し、前記１つ以上の物体の座標を算出するステップと、
    前記注視点と前記１つ以上の物体との間の１つ以上の距離を前記ドライバの注意力の分散の程度を示す値として算出し、前記１つ以上の距離を加算又は重み付け加算して得られた合計値に基づく値を前記車両のドライバの視認負荷の大小を表す視認負荷値として出力するステップと、
    を有することを特徴とする視認負荷値推定方法。
  18. ドライバが運転する車両の前方又は後方を含む領域である前記車両の周辺を撮影することで得られた入力映像から１フレーム分の画像を取得する処理と、
    前記画像から複数の直線を抽出し、前記複数の直線を延長し、延長された前記複数の直線の１つ以上の交点に基づく点である注視点の座標を算出する処理と、
    前記画像から１つ以上の物体を検出し、前記１つ以上の物体の座標を算出する処理と、
    前記注視点と前記１つ以上の物体との間の１つ以上の距離を前記ドライバの注意力の分散の程度を示す値として算出し、前記１つ以上の距離を加算又は重み付け加算して得られた合計値に基づく値を前記車両のドライバの視認負荷の大小を表す視認負荷値として出力する処理と、
    をコンピュータに実行させる視認負荷値推定プログラム。
JP2020539299A 2020-02-13 2020-02-13 視認負荷値推定装置、視認負荷値推定システム、視認負荷値推定方法、及び視認負荷値推定プログラム Active JP6877651B1 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/005515 WO2021161443A1 (ja) 2020-02-13 2020-02-13 視認負荷値推定装置、視認負荷値推定システム、視認負荷値推定方法、及び視認負荷値推定プログラム

Publications (2)

Publication Number Publication Date
JP6877651B1 true JP6877651B1 (ja) 2021-05-26
JPWO2021161443A1 JPWO2021161443A1 (ja) 2021-08-19

Family

ID=75961520

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020539299A Active JP6877651B1 (ja) 2020-02-13 2020-02-13 視認負荷値推定装置、視認負荷値推定システム、視認負荷値推定方法、及び視認負荷値推定プログラム

Country Status (2)

Country Link
JP (1) JP6877651B1 (ja)
WO (1) WO2021161443A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023170536A (ja) * 2022-05-19 2023-12-01 キヤノン株式会社 画像処理装置、画像処理方法、移動体、及びコンピュータプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012118871A (ja) * 2010-12-02 2012-06-21 Aisin Aw Co Ltd 走行支援システム、走行支援プログラム、及び走行支援方法
JP2018005891A (ja) * 2016-06-28 2018-01-11 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012118871A (ja) * 2010-12-02 2012-06-21 Aisin Aw Co Ltd 走行支援システム、走行支援プログラム、及び走行支援方法
JP2018005891A (ja) * 2016-06-28 2018-01-11 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム

Also Published As

Publication number Publication date
WO2021161443A1 (ja) 2021-08-19
JPWO2021161443A1 (ja) 2021-08-19

Similar Documents

Publication Publication Date Title
CN108082037B (zh) 制动灯检测
US7366325B2 (en) Moving object detection using low illumination depth capable computer vision
US9384401B2 (en) Method for fog detection
EP2150437B1 (en) Rear obstruction detection
US11749112B2 (en) Warning device, warning method, and warning program
CN109703460B (zh) 多摄像头的复杂场景自适应车辆碰撞预警装置及预警方法
US20190057604A1 (en) Method, device and system for processing startup of preceding vehicle
US9305221B2 (en) Method and apparatus for identifying a possible collision object
JP4528283B2 (ja) 車両周辺監視装置
JP2014515893A (ja) 車両のカメラによって撮影した画像を評価するための方法および画像評価装置
CN104050620A (zh) 对象检测设备
JPWO2013136827A1 (ja) 車両周辺監視装置
JP2011076214A (ja) 障害物検出装置
EP2741234B1 (en) Object localization using vertical symmetry
JP5077088B2 (ja) 画像処理装置及び画像処理方法
KR101264282B1 (ko) 관심영역 설정을 이용한 도로상 차량의 검출방법
Cualain et al. Multiple-camera lane departure warning system for the automotive environment
JP6877651B1 (ja) 視認負荷値推定装置、視認負荷値推定システム、視認負荷値推定方法、及び視認負荷値推定プログラム
Choi et al. Cut-in vehicle warning system exploiting multiple rotational images of SVM cameras
JP2003067727A (ja) 環境複雑度演算装置、環境認識度合推定装置及び障害物警報装置
JP6472504B1 (ja) 情報処理装置、情報処理プログラム、及び、情報処理方法
Dai et al. A driving assistance system with vision based vehicle detection techniques
Lee et al. A warning system for obstacle detection at vehicle lateral blind spot area
JP5720380B2 (ja) 物体検出方法、物体検出装置および物体検出プログラム
JP7145792B2 (ja) 見落し検知装置、見落し検知方法、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200716

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200716

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20201109

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210330

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210427

R150 Certificate of patent or registration of utility model

Ref document number: 6877651

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250