JP7098092B2

JP7098092B2 - 後方画像表示制御装置および後方画像表示制御方法

Info

Publication number: JP7098092B2
Application number: JP2022527177A
Authority: JP
Inventors: 翼森田; 亮祐大垣
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2020-06-26
Filing date: 2020-06-26
Publication date: 2022-07-08
Anticipated expiration: 2040-06-26
Also published as: WO2021260909A1; JPWO2021260909A1

Description

本開示は、車両の後方を撮影した画像を表示装置に表示する後方画像表示制御装置に関するものである。

車両が後退する際に、車両の後方を撮影した画像（以下「後方画像」という）を表示装置に表示して運転者に提示する、いわゆるバックモニタシステムを備える車両が普及している。また、車両の後方画像に映った地物（駐車枠や車止めなど）の位置を示す画像（以下「地物位置画像」という）を後方画像に重畳表示して地物の位置を強調することで、運転者が地物の位置を認識しやすくする駐車支援装置が提案されている（例えば下記の特許文献１，２）。

特開２００７－０９０９３９号公報特開２００８－２８４９６９号公報

従来の技術では、車両の運転者がシフト（ギア）をリバースに設定すると、後方画像に地物位置画像が常に重畳されて、表示装置に表示される。車両の後方にはヘッドライトのような明るい照明が無いため、夜間などには、後方画像に地物が鮮明に映らず、地物位置画像は運転者にとって有用である。しかし、後方画像に地物が鮮明に映っているときには、地物位置画像は後方画像の視認性を低下させる要因になり、運転者にとって不快なものとなることがある。運転者が不快に感じるような地物位置画像は表示されないことが好ましいが、地物位置画像を不快に感じるかどうかには個人差があり、地物位置画像を表示させるか否かの判断は、運転者の個人性を考慮する必要がある。

本開示は以上のような課題を解決するためになされたものであり、運転者の個人性を考慮して後方画像に地物位置画像を重畳表示させるか否かを切り替えることが可能な後方画像表示制御装置を提供することを目的とする。

本開示に係る後方画像表示制御装置は、車両の後方を撮影した画像である後方画像を取得する後方画像取得部と、後方画像の輝度を算出する輝度算出部と、後方画像から地物の画像を抽出し、後方画像における地物の位置を示す地物位置画像を生成する地物位置画像生成部と、後方画像の輝度が予め定められた輝度閾値未満のときは、地物位置画像を重畳させた後方画像である第１後方画像を表示装置に表示し、後方画像の輝度が輝度閾値以上のときは、地物位置画像を重畳させていない後方画像である第２後方画像を表示装置に表示する後方画像表示制御部と、車両の運転者を撮影した画像または運転者の生体情報の少なくとも片方を含む運転者情報を取得する運転者情報取得部と、運転者情報に基づいて、第１後方画像が表示されているときの運転者の心理的負荷量を算出する心理的負荷量算出部と、第１後方画像が表示されているときの運転者の心理的負荷量に応じて輝度閾値を調整する輝度閾値調整部と、を備える。

本開示に係る後方画像表示制御装置は、後方画像表示制御部が地物位置画像を表示するか否かの判断に用いられる輝度閾値を、運転者の心理的負荷量に応じて調整するため、地物位置画像を表示させるか否かを運転者の個人性を考慮して切り替えることができる。

本開示の目的、特徴、態様、および利点は、以下の詳細な説明と添付図面とによって、より明白となる。

実施の形態１に係る後方画像表示制御装置の構成を示すブロック図である。後方画像の例を示す図である。地物位置画像としてのエッジ画像の例を示す図である。地物位置画像が重畳した後方画像の表示例を示す図である。地物位置画像が重畳していない後方画像の表示例を示す図である。地物位置画像および予想進路線が重畳した後方画像の表示例を示す図である。地物位置画像が重畳せず、予想進路線が重畳した後方画像の表示例を示す図である。実施の形態１に係る後方画像表示制御装置の動作を示すフローチャートである。実施の形態２に係る後方画像表示制御装置の動作を示すフローチャートである。後方画像表示制御装置のハードウェア構成例を示す図である。後方画像表示制御装置のハードウェア構成例を示す図である。

＜実施の形態１＞
図１は、実施の形態１に係る後方画像表示制御装置１０の構成を示すブロック図である。本実施の形態では、後方画像表示制御装置１０が、車両に搭載されているものと仮定する。以下においては、特に断りの無い限り、「車両」は後方画像表示制御装置１０を搭載した車両を意味している。

ただし、後方画像表示制御装置１０は車両に常設される必要はなく、例えば、ＰＮＤ（Portable Navigation Device）、携帯電話、スマートフォンなど、車両に持ち込み可能な携帯型の機器上に構築されていてもよい。また、後方画像表示制御装置１０の機能の一部または全部が、後方画像表示制御装置１０に接続された外部装置（例えば、図１に示す後方カメラ２１、車内カメラ２３、表示装置２５など）のＥＣＵ（Electronic Control Unit）上、あるいは、車両の外部に設置され、車両との通信が可能なサーバー上に構築されてもよい。

後方画像表示制御装置１０は、車両に備えられた後方カメラ２１、シフト位置検出装置２２、車内カメラ２３、生体センサ２４および表示装置２５に接続されている。

後方カメラ２１は、車両の後方の画像である後方画像を撮影するカメラである。シフト位置検出装置２２は、車両のシフト（ギア）の位置を検出するセンサである。車内カメラ２３は、車両の運転者を撮影するカメラである。生体センサ２４は、運転者の呼吸、脈拍、血圧といった生体情報を検出するセンサである。表示装置２５は、例えば液晶表示装置などであり、運転者が視認可能な位置（例えばセンターパネルやインストルメントパネルなど）に設置される。

図１のように、後方画像表示制御装置１０は、後方画像取得部１１、輝度算出部１２、地物位置画像生成部１３、後方画像表示制御部１４、運転者情報取得部１５、心理的負荷量算出部１６および輝度閾値調整部１７を備えている。

後方画像取得部１１は、後方カメラ２１が撮影した後方画像を取得する。本実施の形態では、後方画像取得部１１は、車両が後退するとき、具体的には、シフト位置検出装置２２により車両のシフト位置がリバースであることが検出されたときに、後方画像を取得するものとする。

輝度算出部１２は、後方画像取得部１１が取得した後方画像の輝度を算出する。後方画像の輝度の算出方法は任意の方法でよい。例えば、後方画像の２値化処理を行うことで、後方画像の各画素を、輝度値が０（黒）の画素と輝度値が１（白）の画素とに振り分け、後方画像に占める輝度値が１（白）の画素の割合を、後方画素の輝度値として算出する方法が考えられる。

地物位置画像生成部１３は、後方画像取得部１１が取得した後方画像を解析することで、後方画像から地物の画像を抽出し、後方画像における地物の位置を示す画像である地物位置画像を生成する。ここで、地物には、ガードレール、車止め、落下物など立体的なものだけでなく、路面標示、駐車枠、路面の汚れ、水たまりなど平面的なものも含まれる。さらに、車両が走行する道路も地物に含まれる。

地物位置画像生成部１３が生成する地物位置画像は、地物の位置を表すことができる画像であればどのようなものでもよい。本実施の形態では、地物位置画像を、地物のエッジ画像とする。エッジ画像は、例えば、後方画像において水平方向または垂直方向に隣接する画素間の輝度変化が大きい部分を抽出することにより生成可能である。

なお、地物位置画像生成部１３は、必ずしも後方画像に写る全ての地物の地物位置画像を生成しなくてもよく、重要度の高い地物の地物位置画像だけを生成してもよい。重要度の高い地物とは、車両の走行に影響するおそれがある地物（例えば障害物）、車両の進路を定める基準となる地物（例えば駐車枠や路面標示）など、運転者が車両を走行させるときに注意を払う必要がある地物である。通常、車両が道路を走行している限り、道路の外側の地物は車両の走行に影響しないため、重要度が低いと言える。そこで、本実施の形態では、地物位置画像生成部１３は、後方画像に映る地物のうち、道路および当該道路上の地物の位置を表す地物位置画像（エッジ画像）を生成するものとする。

後方画像表示制御部１４は、後方画像取得部１１が取得した後方画像を表示装置２５の画面に表示する。このとき、輝度算出部１２により算出された当該後方画像の輝度が予め定められた閾値（この閾値を「輝度閾値」という）未満であれば、後方画像表示制御部１４は、後方画像が暗い環境で撮影されたものであり、当該後方画像には地物が鮮明に映っていないと判断し、運転者が地物の位置を認識しやすくなるように、地物位置画像を後方画像に重畳表示して地物の位置を強調する。一方、後方画像の輝度が輝度閾値以上であれば、後方画像表示制御部１４は、後方画像が明るい環境で撮影されたものであり、後方画像に地物が鮮明に映っていると判断し、地物位置画像の表示を省略して、運転者が地物位置画像を不快に感じることを防止する。つまり、後方画像表示制御部１４は、後方画像の輝度が輝度閾値未満のときは、地物位置画像を重畳させた後方画像（第１後方画像）を表示装置に表示し、後方画像の輝度が輝度閾値以上のときは、地物位置画像を重畳させていない後方画像（第２後方画像）を表示装置に表示する。

運転者情報取得部１５は、車内カメラ２３が撮影した運転者の画像および生体センサ２４が検出した運転者の生体情報の少なくとも片方を含む運転者情報を取得する。

心理的負荷量算出部１６は、運転者情報取得部１５が取得した運転者情報に基づいて、地物位置画像が後方画像に重畳表示されていたときの運転者の心理的負荷量を算出する。心理的負荷量の算出方法は任意の方法でよい。心理的負荷量は、例えば、運転者の画像を解析して得られる運転者の表情のこわばり具合、運転者の瞳孔径、運転者の視線など、あるいは、運転者の生体情報から分かる運転者の呼吸数、心拍数、血圧などに基づいて算出することができる。つまり、運転者の表情のこわばり具合が強くなったとき、運転者の瞳孔径が大きくなったとき（瞳孔が開いたとき）、運転者の視線が乱れたとき、あるいは、運転者の呼吸数、心拍数または血圧が上昇したときには、運転者が緊張状態あるいは不快な状態にあり、心理的負荷が大きいと判断できる。なお、運転者の表情のこわばり具合は、運転者の顔の画像に対し、こわばった表情のテンプレート画像とのパターンマッチングを行い、運転者の顔の画像とテンプレート画像との類似度を算出することによって、定量的に求めることができる。

なお、図１では、後方画像表示制御装置１０に車内カメラ２３および生体センサ２４の両方が接続されているが、心理的負荷量算出部１６が運転者の画像だけを用いる場合は、生体センサ２４は省略されてもよく、逆に、心理的負荷量算出部１６が運転者の生体情報だけを用いる場合は、車内カメラ２３は省略されてもよい。

輝度閾値調整部１７は、心理的負荷量算出部１６が算出した運転者の心理的負荷量（すなわち、地物位置画像を重畳させた後方画像が表示されていたときの心理的負荷量）に応じて、後方画像表示制御部１４が地物位置画像を表示するか否かを判断するために用いる上記の輝度閾値の大きさを調整する。具体的には、心理的負荷量算出部１６が算出した心理的負荷量が予め定められた閾値（この閾値を「負荷閾値」という）以上であったときに、輝度閾値調整部１７は、輝度閾値を上げる。調整後の輝度閾値は後方画像表示制御部１４に記憶され、次回、後方画像表示制御部１４が後方画像を表示する際に、地物位置画像を重畳させるかどうかの判断に用いられる。

なお、輝度閾値調整部１７が輝度閾値を上げるときの上げ幅は固定値でもよいし、心理的負荷量の大きさに応じて変化させてもよい。輝度閾値の上げ幅を心理的負荷量の大きさに応じて変化させる場合、心理的負荷量が大きいときほど、輝度閾値の上げ幅を大きくするとよい。

次に、後方画像表示制御装置１０の動作を後方画像の具体例を用いて説明する。ここでは、後方カメラ２１により図２のような後方画像３０が撮影されるものと仮定する。後方画像３０には、道路上の地物として落下物および路面の汚れが映っており、道路外の地物として側溝および街路樹が映っている。

運転者が車両のシフト位置をリバースにすると、後方画像取得部１１が後方カメラ２１から後方画像３０を取得する。そして、輝度算出部１２が、後方画像３０の輝度を算出する。

後方画像３０の輝度が輝度閾値未満であれば、地物位置画像生成部１３は、後方画像３０から、道路および道路上の地物の位置を表す地物位置画像として、図３のように、道路のエッジ画像３１、落下物のエッジ画像３２および路面の汚れのエッジ画像３３を生成する。そして、後方画像表示制御部１４が、図４のように、後方画像３０に地物位置画像（道路のエッジ画像３１、落下物のエッジ画像３２および路面の汚れのエッジ画像３３）を重畳させて表示装置２５に表示する。その間、運転者情報取得部１５は、車内カメラ２３または生体センサ２４から運転者情報を取得する。

後方画像３０の輝度が輝度閾値以上であったときは、後方画像表示制御部１４は、図５のように、地物位置画像が重畳していない後方画像３０を表示装置２５に表示する。

その後、運転者が車両のシフト位置をリバース以外にすると、後方画像表示制御部１４は、後方画像３０の表示を終了させる。その際、心理的負荷量算出部１６は、運転者情報取得部１５が取得した運転者情報に基づいて、地物位置画像を重畳させた後方画像が表示されていたときの運転者の心理的負荷量を算出する。輝度閾値調整部１７は、心理的負荷量算出部１６が算出した運転者の心理的負荷量に応じて輝度閾値を調整する。具体的には、心理的負荷量算出部１６が算出した運転者の心理的負荷量が負荷閾値以上であれば、輝度閾値調整部１７は、輝度閾値を上げて、地物位置画像が表示される頻度を減らす。調整後の輝度閾値は後方画像表示制御部１４に記憶され、次回、後方画像表示制御部１４が後方画像を表示するときに、地物位置画像を重畳させるかどうかの判断に用いられる。

後方画像表示制御装置１０が後方画像を表示するたびに以上の動作を繰り返すことで、輝度閾値は、地物位置画像が表示されても運転者の心理的負荷量が負荷閾値を超えなくなるまで、上昇する。その結果、地物位置画像が表示されても運転者が不快に感じない程度に後方画像が暗い場合にだけ、地物位置画像が表示されるようになる。従って、実施の形態１に係る後方画像表示制御装置１０によれば、地物位置画像を表示させるか否かを運転者の個人性を考慮して切り替えることができるようになる。

なお、後方画像表示制御部１４は、後方画像に、地物位置画像だけでなく、車両の運転支援のために他の画像を重畳させてもよい。例えば図６および図７に示すように、車両の予想される進路を示す予想進路線４０（「駐車アシスト線」とも呼ばれる）を、後方画像に重畳してもよい。予想進路線４０は、地物位置画像の表示の有無に関係なく、常時、後方画像に重畳表示されることが好ましい（図６は、地物位置画像が重畳された後方画像３０にさらに予想進路線４０を重畳させた例であり、図７は、地物位置画像が重畳されていない後方画像３０に予想進路線４０を重畳させた例である）。

また、図６のように地物位置画像と予想進路線４０との両方を後方画像に重畳させたとき、予想進路線４０が地物位置画像に干渉する場合（図６では路面の予想進路線４０が汚れのエッジ画像３３に干渉している）、後方画像表示制御装置１０が、音や振動などで運転者に警告を行ってもよい。

次に、後方画像表示制御装置１０の動作を図８のフローチャートを参照しつつ説明する。後方画像表示制御装置１０は起動した後、シフト位置検出装置２２により車両のシフト位置がリバースに設定されたことが検出されるまで待機する（ステップＳ１０１）。

車両のシフト位置がリバースに設定されると（ステップＳ１０１でＹＥＳ）、後方画像取得部１１が、後方カメラ２１から後方画像を取得する（ステップＳ１０２）。そして、後方画像表示制御部１４が、後方画像を表示装置２５に表示する（ステップＳ１０３）。

また、輝度算出部１２が、後方画像の輝度を算出する（ステップＳ１０４）。このとき、後方画像の輝度が予め定められた輝度閾値以上であれば（ステップＳ１０５でＹＥＳ）、後方画像に地物位置画像が重畳されることなく、ステップＳ１０２に戻る。

後方画像の輝度が輝度閾値未満であれば（ステップＳ１０５でＮＯ）、地物位置画像生成部１３が、後方画像から地物の画像を抽出し、後方画像における地物の位置を示す地物位置画像を生成する（ステップＳ１０６）。そして、後方画像表示制御部１４が、地物位置画像を後方画像に重畳させて表示装置２５に表示する（ステップＳ１０７）。さらに、運転者情報取得部１５が、車内カメラ２３が撮影した運転者の画像および生体センサ２４が検出した運転者の生体情報の少なくとも片方を含む運転者情報を取得する（ステップＳ１０８）。

続いて、後方画像表示制御装置１０は車両のシフト位置を確認し、シフト位置がリバースのままであれば（ステップＳ１０９でＹＥＳ）、ステップＳ１０２へ戻る。すなわち、上記のステップＳ１０２～Ｓ１０８は、車両のシフト位置がリバースに設定されている間、繰り返し行われる。

しかし、車両のシフト位置がリバース以外に設定されると（ステップＳ１０９でＹＥＳ）、後方画像表示制御部１４は後方画像の表示を終了し、心理的負荷量算出部１６が、ステップＳ１０８で取得された運転者情報に基づいて、地物位置画像が後方画像に重畳表示されていたときの運転者の心理的負荷量を算出する（ステップＳ１１０）。この心理的負荷量が予め定められた負荷閾値以上であれば（ステップＳ１１１でＹＥＳ）、輝度閾値調整部１７が輝度閾値を上げて（ステップＳ１１２）、ステップＳ１０１へ戻る。当該心理的負荷量が負荷閾値未満であれば（ステップＳ１１１でＮＯ）、輝度閾値は変更されずにステップＳ１０１へ戻る。

＜実施の形態２＞
実施の形態１において、輝度閾値調整部１７は、輝度閾値を上げることは行うが、輝度閾値を下げることは行わない。その理由は、運転者の心理的負荷量が負荷閾値を超えなくなる程度まで輝度閾値を大きくできれば、運転者が不快に感じる地物位置画像が表示されることを防止するという１つの目的を達成できるからである。ただし、地物位置画像の効果を得るために、輝度閾値の初期値はある程度低く設定される必要がある。

実施の形態２では、輝度閾値調整部１７が、輝度閾値を上げることと、輝度閾値を下げることとの両方を行う。なお、実施の形態２の後方画像表示制御装置１０の構成は実施の形態１（図１）と同様であり、実施の形態２の後方画像表示制御装置１０の動作は、輝度閾値調整部１７の動作を除いて、実施の形態１と同様である。よって、実施の形態２では主に輝度閾値調整部１７の動作について説明し、その他の説明は実施の形態１と重複するため省略する。

実施の形態２の輝度閾値調整部１７は、心理的負荷量算出部１６が算出した運転者の心理的負荷量が負荷閾値以上であれば、輝度閾値を上げ、当該心理的負荷量が負荷閾値未満であれば、輝度閾値を下げる。調整後の輝度閾値は後方画像表示制御部１４に記憶され、次回、後方画像表示制御部１４が後方画像を表示するときに、地物位置画像を重畳させるかどうかの判断に用いられる。

後方画像表示制御装置１０が後方画像を表示するたびに、この輝度閾値調整部１７の動作が繰り返されることで、輝度閾値は、地物位置画像が表示されたときに運転者の心理的負荷量が負荷閾値を超えるかどうかの境界に合わせ込まれる。従って、実施の形態２に係る後方画像表示制御装置１０によれば、地物位置画像の効果をできるだけ享受しつつ、地物位置画像を表示させるか否かを運転者の個人性を考慮して切り替えることができる。

なお、輝度閾値調整部１７が輝度閾値を下げるときの下げ幅は固定値でもよいし、心理的負荷量の大きさに応じて変化させてもよい。輝度閾値の下げ幅を心理的負荷量の大きさに応じて変化させる場合、心理的負荷量が小さいときほど（心理的負荷量と負荷閾値との差が大きいときほど）、輝度閾値の下げ幅を大きくするとよい。

図９は、実施の形態２に係る後方画像表示制御装置１０の動作を示すフローチャートである。図９のフローは、図８のフローに対し、ステップＳ１１３を追加したものである。ステップＳ１１３は、ステップＳ１１０で心理的負荷量算出部１６が算出した心理的負荷量が負荷閾値未満のときに（ステップＳ１１１でＮＯのとき）に実行される。ステップＳ１１３では、輝度閾値調整部１７が輝度閾値を上げる（ステップＳ１１２）、ステップＳ１１３の後はステップＳ１０１へ戻る。

＜ハードウェア構成例＞
図１０および図１１は、それぞれ後方画像表示制御装置１０のハードウェア構成の例を示す図である。図１に示した後方画像表示制御装置１０の構成要素の各機能は、例えば図１０に示す処理回路５０により実現される。すなわち、後方画像表示制御装置１０は、車両の後方を撮影した画像である後方画像を取得し、後方画像の輝度を算出し、後方画像から地物の画像を抽出し、後方画像における地物の位置を示す地物位置画像を生成し、後方画像の輝度が予め定められた輝度閾値未満のときは、地物位置画像を重畳させた後方画像である第１後方画像を表示装置に表示し、後方画像の輝度が輝度閾値以上のときは、地物位置画像を重畳させていない後方画像である第２後方画像を表示装置に表示し、車両の運転者を撮影した画像または運転者の生体情報の少なくとも片方を含む運転者情報を取得し、運転者情報に基づいて、第１後方画像が表示されているときの運転者の心理的負荷量を算出し、第１後方画像が表示されているときの運転者の心理的負荷量に応じて輝度閾値を調整する、ための処理回路５０を備える。処理回路５０は、専用のハードウェアであってもよいし、メモリに格納されたプログラムを実行するプロセッサ（中央処理装置（ＣＰＵ：Central Processing Unit）、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、ＤＳＰ（Digital Signal Processor）とも呼ばれる）を用いて構成されていてもよい。

処理回路５０が専用のハードウェアである場合、処理回路５０は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、またはこれらを組み合わせたものなどが該当する。後方画像表示制御装置１０の構成要素の各々の機能が個別の処理回路で実現されてもよいし、それらの機能がまとめて一つの処理回路で実現されてもよい。

図１１は、処理回路５０がプログラムを実行するプロセッサ５１を用いて構成されている場合における後方画像表示制御装置１０のハードウェア構成の例を示している。この場合、後方画像表示制御装置１０の構成要素の機能は、ソフトウェア等（ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせ）により実現される。ソフトウェア等はプログラムとして記述され、メモリ５２に格納される。プロセッサ５１は、メモリ５２に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、後方画像表示制御装置１０は、プロセッサ５１により実行されるときに、車両の後方を撮影した画像である後方画像を取得する処理と、後方画像の輝度を算出する処理と、後方画像から地物の画像を抽出し、後方画像における地物の位置を示す地物位置画像を生成する処理と、後方画像の輝度が予め定められた輝度閾値未満のときは、地物位置画像を重畳させた後方画像である第１後方画像を表示装置に表示し、後方画像の輝度が輝度閾値以上のときは、地物位置画像を重畳させていない後方画像である第２後方画像を表示装置に表示する処理と、車両の運転者を撮影した画像または運転者の生体情報の少なくとも片方を含む運転者情報を取得する処理と、運転者情報に基づいて、第１後方画像が表示されているときの運転者の心理的負荷量を算出する処理と、第１後方画像が表示されているときの運転者の心理的負荷量に応じて輝度閾値を調整する処理と、が結果的に実行されることになるプログラムを格納するためのメモリ５２を備える。換言すれば、このプログラムは、後方画像表示制御装置１０の構成要素の動作の手順や方法をコンピュータに実行させるものであるともいえる。

ここで、メモリ５２は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）などの、不揮発性または揮発性の半導体メモリ、ＨＤＤ（Hard Disk Drive）、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Digital Versatile Disc）およびそのドライブ装置等、または、今後使用されるあらゆる記憶媒体であってもよい。

以上、後方画像表示制御装置１０の構成要素の機能が、ハードウェアおよびソフトウェア等のいずれか一方で実現される構成について説明した。しかしこれに限ったものではなく、後方画像表示制御装置１０の一部の構成要素を専用のハードウェアで実現し、別の一部の構成要素をソフトウェア等で実現する構成であってもよい。例えば、一部の構成要素については専用のハードウェアとしての処理回路５０でその機能を実現し、他の一部の構成要素についてはプロセッサ５１としての処理回路５０がメモリ５２に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。

以上のように、後方画像表示制御装置１０は、ハードウェア、ソフトウェア等、またはこれらの組み合わせによって、上述の各機能を実現することができる。

なお、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略したりすることが可能である。

上記した説明は、すべての態様において、例示であって、例示されていない無数の変形例が想定され得るものと解される。

１０後方画像表示制御装置、１１後方画像取得部、１２輝度算出部、１３地物位置画像生成部、１４後方画像表示制御部、１５運転者情報取得部、１６心理的負荷量算出部、１７輝度閾値調整部、２１後方カメラ、２２シフト位置検出装置、２３車内カメラ、２４生体センサ、２５表示装置、３０後方画像、３１道路のエッジ画像、３２落下物のエッジ画像、３３路面の汚れのエッジ画像、４０予想進路線、５０処理回路、５１プロセッサ、５２メモリ。

Claims

車両の後方を撮影した画像である後方画像を取得する後方画像取得部と、
前記後方画像の輝度を算出する輝度算出部と、
前記後方画像から地物の画像を抽出し、前記後方画像における前記地物の位置を示す地物位置画像を生成する地物位置画像生成部と、
前記後方画像の輝度が予め定められた輝度閾値未満のときは、前記地物位置画像を重畳させた前記後方画像である第１後方画像を表示装置に表示し、前記後方画像の輝度が前記輝度閾値以上のときは、前記地物位置画像を重畳させていない前記後方画像である第２後方画像を前記表示装置に表示する後方画像表示制御部と、
前記車両の運転者を撮影した画像または前記運転者の生体情報の少なくとも片方を含む運転者情報を取得する運転者情報取得部と、
前記運転者情報に基づいて、前記第１後方画像が表示されているときの前記運転者の心理的負荷量を算出する心理的負荷量算出部と、
前記第１後方画像が表示されているときの前記運転者の心理的負荷量に応じて前記輝度閾値を調整する輝度閾値調整部と、
を備える後方画像表示制御装置。
前記地物位置画像生成部は、前記後方画像に映る道路および当該道路上の地物の位置を示す地物位置画像を生成する、
請求項１に記載の後方画像表示制御装置。
前記地物位置画像は、前記地物のエッジ画像である、
請求項１に記載の後方画像表示制御装置。
前記輝度閾値調整部は、前記第１後方画像が表示されているときの前記運転者の前記心理的負荷量が予め定められた負荷閾値以上であれば、前記輝度閾値を上げる、
請求項１に記載の後方画像表示制御装置。
前記輝度閾値調整部は、前記第１後方画像が表示されているときの前記運転者の前記心理的負荷量が前記負荷閾値未満であれば、前記輝度閾値を下げる、
請求項４に記載の後方画像表示制御装置。
前記心理的負荷量算出部は、前記運転者を撮影した画像を解析して得られた前記運転者の表情のこわばり具合に基づいて、前記心理的負荷量を算出する
請求項１に記載の後方画像表示制御装置。
前記心理的負荷量算出部は、前記運転者を撮影した画像を解析して得られた前記運転者の瞳孔径に基づいて、前記心理的負荷量を算出する
請求項１に記載の後方画像表示制御装置。
前記心理的負荷量算出部は、前記運転者を撮影した画像を解析して得られた前記運転者の視線に基づいて、前記心理的負荷量を算出する
請求項１に記載の後方画像表示制御装置。
後方画像表示制御装置の後方画像取得部が、車両の後方を撮影した画像である後方画像を取得し、
前記後方画像表示制御装置の輝度算出部が、前記後方画像の輝度を算出し、
前記後方画像表示制御装置の地物位置画像生成部が、前記後方画像から地物の画像を抽出し、前記後方画像における前記地物の位置を示す地物位置画像を生成し、
前記後方画像表示制御装置の後方画像表示制御部が、前記後方画像の輝度が予め定められた輝度閾値未満のときは、前記地物位置画像を重畳させた前記後方画像である第１後方画像を表示装置に表示し、前記後方画像の輝度が前記輝度閾値以上のときは、前記地物位置画像を重畳させていない前記後方画像である第２後方画像を前記表示装置に表示し、
前記後方画像表示制御装置の運転者情報取得部が、前記車両の運転者を撮影した画像または前記運転者の生体情報の少なくとも片方を含む運転者情報を取得し、
前記後方画像表示制御装置の心理的負荷量算出部が、前記運転者情報に基づいて、前記第１後方画像が表示されているときの前記運転者の心理的負荷量を算出し、
前記後方画像表示制御装置の輝度閾値調整部が、前記第１後方画像が表示されているときの前記運転者の心理的負荷量に応じて前記輝度閾値を調整する、
後方画像表示制御方法。