JP6785172B2

JP6785172B2 - 車両用映像表示装置

Info

Publication number: JP6785172B2
Application number: JP2017049632A
Authority: JP
Inventors: 勇長澤
Original assignee: Subaru Corp
Current assignee: Subaru Corp
Priority date: 2017-03-15
Filing date: 2017-03-15
Publication date: 2020-11-18
Anticipated expiration: 2037-03-15
Also published as: JP2018152822A

Description

本発明は、車両用映像表示装置に関し、特に、自車両を上方から見た俯瞰映像を表示可能な車両用映像表示装置に関する。

従来、自車両周辺を撮像する車載カメラを備えた車両用映像表示装置が知られている。この車両用映像表示装置において、近年、運転者の死角となる自車両直下の領域を透過的な車両の画像と共に俯瞰映像として車室内に設置された表示部に表示させる技術が開発されている。

例えば、特許文献１では、車両後部に設置されて自車両周辺の画像を撮像する車載カメラと、該車載カメラが撮像した画像を基に俯瞰映像を生成し、車載モニタに表示させる車両用映像表示装置が記載されている。車載モニタには、同時に透過的な車両の画像が表示され、この透過部分を通して運転者の死角となる車両直下領域が視認できるように画像が合成されている。

また、特許文献２に記載の車両用映像表示装置では、車両の周縁に配置された複数の車載カメラが撮像した画像を合成して、自車両とその周辺の路面画像を含む俯瞰映像を半透明化した車両の画像とともに表示部に表示させている。

これらの車両用映像表示装置では、車載カメラが撮像した時系列的な撮像画像に視点変換処理を施して、車載カメラがリアルタイムに撮像することのできない自車両直下領域の画像を生成し、賦形映像として表示させている。これにより、運転者の死角となる各タイヤの前方部分に、石等の障害物があっても、運転者がこれを容易に把握して適切な走行を行うことができる。

特開２００４−３３６６１３号公報特開２０１４−０３６３２６号公報

しかしながら、上述した車両用映像表示装置では、走行中に車両挙動が大きく変化する場合、例えば、路面勾配が急激に変化して車両の前後方向の傾きが大きく変化する場合に、車載カメラと路面との距離や、車載カメラが撮像する路面の範囲が変化することから、表示される俯瞰映像に歪みが発生して、路面状況を把握し難くなることがある。具体的に説明すると、車両走行中に表示部に連続的に表示される俯瞰映像は、視点変換処理を行った時系列的な車載カメラの撮像画像（静止画像）の結像により得られるため、車両挙動の変化前後では、結像された映像の遠近感等の差から路面状況を視認しやすい映像になったり、視認し難い映像になったりする。その結果、運転者が必要とする死角領域の情報（例えば、タイヤ前方の障害物の有無など）が適切に得られなかったりする事態が生じていた。

本発明は、上記課題に鑑みてなされたものであって、車載カメラの撮像画像に基づいて自車両の俯瞰映像を生成して表示部に表示させる際に、車両挙動の変化に起因して俯瞰映像に表れる歪みを低減し、運転者に適切な路面情報を提供することが可能な車両用映像表示装置を提供することを目的とする。

上記目的を達成するために、請求項１に記載の車両用映像表示装置は、自車両周辺の路面を撮像する車載カメラと、前記車載カメラが撮像した画像データに基づいて視点変換処理を行った俯瞰映像を生成し、車室内に設置された表示部に表示させる制御部と、車両挙動を検知する挙動センサと、を備え、前記制御部は、前記挙動センサに基づく車両挙動の変化に応じて、前記車載カメラが撮像する画像のサンプリング周波数を変更することを特徴とする。

この構成によれば、車両挙動の変化（すなわち、車両姿勢の変化や車両速度の変化）に応じて車載カメラのサンプリング周波数を変更するので、例えば、車両が平坦な路面から凹凸のある路面へ移行して車両姿勢が変化した際に、サンプリング周波数を下げて、撮像画像の結像部分に生じる視覚的な違和感を低減させたり、サンプリング周波数を上げて、より実態に近い俯瞰映像を生成することで、運転者が正確に路面状況を把握できるようにしたりすることができる。

また、請求項２に記載の発明は、請求項１に記載の車両用映像表示装置において、前記車載カメラは、自車両の前方側下方を撮像する前部車載カメラであることを特徴とする。

この構成によれば、前部車載カメラの画像データに基づいて、車両の前進走行中に自車両直下領域の俯瞰画像を生成して表示部に表示させることができるので、俯瞰映像の生成処理が容易である。

また、請求項３に記載の発明は、請求項１又は２に記載の車両用映像表示装置において、前記車載カメラは、通常時に所定のサンプリング周波数で画像を撮像し、前記制御部は、前記挙動センサの検知結果に基づく車両挙動の変化量が予め設定した変化量閾値を超えた場合に、前記車載カメラが撮像する画像のサンプリング周波数を前記所定のサンプリング周波数よりも高く又は低くすることを特徴とする。

この構成によれば、車両挙動の変化量が少ない通常走行状態では、所定のサンプリング周波数で俯瞰映像を生成する一方、車両挙動の変化量が大きい非通常走行状態（例えば、凹凸のある路面を走行する悪路走行）では、サンプリング周波数を所定の周波数よりも高く又は低くすることで、運転者に対して走行状態に適した賦形映像が生成されるようにすることができる。

また、請求項４に記載の発明は、請求項３に記載の車両用映像表示装置において、前記挙動センサは、少なくとも車両の前後方向の傾きを検知し、前記制御部は、車両の前後方向の傾きの変化量が予め設定した変化量閾値を超えた場合に、前記車載カメラが撮像する画像のサンプリング周波数を前記所定のサンプリング周波数よりも高く又は低くすることを特徴とする。

この構成によれば、車両の前後方向の傾きの変化（すなわち、車両のピッチ角の変化）は、車載カメラと路面との間の距離や、路面の撮像範囲に大きな影響を与えやすいので、このピッチ角の変化を挙動センサにより検知し、ピッチ角の変化量に基づいてサンプリング周波数を変更することで、より適切な俯瞰映像の制御が可能となる。

また、請求項５に記載の発明は、請求項４に記載の車両用映像表示装置において、前記制御部は、車両の前後方向の傾きの変化量が予め設定した変化量閾値を超えた場合に、前記車載カメラが撮像する画像のサンプリング周波数を、前記所定のサンプリング周波数よりも高くした後、前記所定のサンプリング周波数よりも低くする、又は前記所定のサンプリング周波数よりも低くした後、前記所定のサンプリング周波数よりも高くすることを特徴とする。

この構成によれば、サンプリング周波数を所定の周波数よりも高くして、実態に近い俯瞰映像を表示させることによる利点と、サンプリング周波数を所定の周波数よりも低くして、通常状態よりも広範囲の路面状況を把握しやすい俯瞰映像を表示させることによる利点とを組み合わせて、運転者により適切な路面情報を提供することができる。

本発明に係る車両用映像表示装置によれば、走行中に車両挙動の変化に応じてサンプリング周波数を変更することで、俯瞰映像の生成において車両挙動に起因して生じる視覚的な違和感を低減することができ、運転者に対して適切な路面情報を提供することができる。

本発明の実施の形態である車両用映像表示装置の構成を示すブロック図。車両用映像表示装置を備えた車両を示す模式図。サンプリング周波数の設定処理を示すフローチャート図。車両の姿勢変化に伴うサンプリング周波数の変更の一例を説明する図。車両の姿勢変化に伴うサンプリング周波数の変更の他の例を説明する図。表示部に表示される俯瞰映像の例を示す図。従来の車両用映像表示装置において表示部に表示される俯瞰映像の例を示す図。

図１は、本発明の実施の形態である車両用映像表示装置１０の構成を示すブロック図である。車両用撮像装置１０は、車両(自車両)７０に搭載され、カメラの撮像映像に基づいて自車両を上方から見た俯瞰映像を生成し、車室内に設置された表示部に表示させるものであり、カメラ（車載カメラ）２０と、傾斜センサ（挙動センサ）３０と、制御部４０と、表示部５０とを備える。

カメラ２０は、広角撮影が可能な魚眼レンズまたは広角レンズを備え、図２に示すように、車両７０の前部における車幅方向の中央部に配置されており、車両７０の前方側下方を含む広角領域を撮像する。

傾斜センサ３０は、車両挙動の中で、主に路面の勾配に起因する車両７０の傾斜を検知するものであり、例えば、Ｇセンサ、ジャイロセンサ及びサスストロークセンサ等を単独又は組み合わせて用いることができる。傾斜センサ３０としてＧセンサを用いた場合には、比較的小型で、簡易かつ安価に構成することができる。本実施の形態では傾斜センサ３０により、車両７０の前後方向の傾斜角（ピッチ角）を検知している。

制御部４０は、例えばＣＰＵ等の情報処理手段、ＲＡＭやＲＯＭ等の記憶手段、入出力インターフェイス等を有して構成され、カメラ２０、傾斜センサ３０及び表示部５０と接続されている。制御部４０は、サンプリング周波数設定部４１と、俯瞰映像生成部４５とを備える。

サンプリング周波数設定部４１は、傾斜センサ３０の検知結果に基づいてカメラ２０が撮像する画像のサンプリング周波数（１秒間のフレーム数）ｆを設定し、変化量算出部４２と、周波数決定部４３とを有する。

また、サンプリング周波数設定部４１には、初期設定値となる基準サンプリング周波数（所定のサンプリング周波数）ｆ_ｔｈと、基準サンプリング周波数ｆ_ｔｈを変更するための閾値である変化量閾値ｄ_ｔｈが予め設定されている。ここで、閾値を設定している変化量ｄとは、単位時間辺りの車両挙動の変化量であり、本実施の形態では、単位時間辺りのピッチ角の変化量である。

さらに、サンプリング周波数設定部４１には、車両７０のピッチングの方向（すなわち、車両７０の前部が後部に対して上方に上がる上方向と車両７０の前部が後部に対して下方に下がる下方向）と、車両７０のピッチ角の変化量ｄとの関係から導かれるカメラ２０のサンプリング周波数ｆを予め規定した周波数マップが設定されている。この周波数マップには、基準サンプリング周波数ｆ_ｔｈよりも高いサンプリング周波数や低いサンプリング周波数が規定されている。

変化量算出部４２は、傾斜センサ３０の検知結果から車両７０の単位時間辺りのピッチ角の変化量ｄを算出する。周波数決定部４３は、変化量ｄが変化量閾値ｄ_ｔｈを超えた場合に、サンプリング周波数設定部４１が記憶している周波数マップを参照して傾斜センサ３０が検知した車両７０のピッチングの方向と、車両７０のピッチ角の変化量ｄとの関係からカメラ２０が撮像する画像のサンプリング周波数ｆを決定する。

俯瞰映像生成部４５は、カメラ２０が撮像した画像に基づいて、車両７０とその周辺領域を含む俯瞰映像を生成する。この俯瞰映像は、カメラ２０によって撮像した画像を車両７０の上方から見た視点へ座標変換し、時系列的な俯瞰画像を合成（結像）する視点変換処理を行うことで達成できる。このような変換技術は、例えば、特開２００２−０８７１６０号公報等に開示されている。

俯瞰映像生成部４５は、さらに、生成された俯瞰映像に車両７０の輪郭を合成する処理を行って、これを表示部５０に表示させる。表示部５０としては、車室内に設置されて、制御部で生成された映像を表示可能な車載モニタを用いることができる。

表示部５０の画面５５に表示される俯瞰映像には、透過的な車両７０の輪郭形状が表示される（図６参照）。この透過的な車両画像５２にはタイヤの輪郭５２ａも表示されており、運転者は車両画像５２を通して死角となる車両７０の直下領域Ｒ（図２参照）を視認することができる。

図３は、制御部４０によって実行されるサンプリング周波数ｆの設定処理を示すフローチャート図である。以下、ステップ毎に順を追って制御部４０の処理を説明する。

まず、制御部４０のサンプリング周波数設定部４１は、傾斜センサ３０からの検知信号により、車両挙動の変化であるピッチングの変化の有無を判定する（ステップＳ１１）。ピッチングの変化が無い場合（ステップＳ１１：Ｎｏ）、周波数決定部４３は、カメラ２０のサンプリング周波数を基準サンプリング周波数ｆ_ｔｈに設定し（ステップＳ１２）、処理を終了（リターン）する。

ピッチングの変化がある場合（ステップＳ１１：Ｙｅｓ）、変化量算出部４２により、ピッチ角の変化量ｄを算出する（ステップＳ１３）。

次に、周波数決定部４３において、算出された変化量ｄが変化量閾値ｄ_ｔｈを超えているか否かを判定する（ステップＳ１４）。変化量ｄが変化量閾値ｄ_ｔｈ以内の場合（ステップＳ１４：Ｎｏ）、周波数決定部４３は、カメラ２０のサンプリング周波数ｆを基準サンプリング周波数ｆ_ｔｈに設定し（ステップＳ１２）、処理を終了（リターン）する。

変化量ｄが変化量閾値ｄ_ｔｈを超えている場合（ステップＳ１４：Ｙｅｓ）、周波数決定部４３は、周波数マップを参照してカメラ２０のサンプリング周波数ｆを決定する。具体的には、基準サンプリング周波数ｆ_ｔｈよりも高く又は低くなるように、サンプリング周波数ｆを設定し（ステップＳ１５）、処理を終了（リターン）する。

次に、図４を参照して、上述した車両用映像表示装置１０によるサンプリング周波数ｆの設定の一例を説明する。

図４（ａ）に示すように、車両７０がピッチングの変化のない平坦な路面を走行している場合、ピッチ角の変化量ｄが変化量閾値ｄ_ｔｈ以内となり、カメラ２０は、周波数設定部４１により設定された基準サンプリング周波数ｆ_ｔｈ（例えば、６０フレーム／秒）で撮像を行う。

路面が図４（ａ）に示す平坦路面から、図４（ｂ）に示す凹凸のある路面へ移行し、車両７０のピッチ角の変化量ｄが変化量閾値ｄ_ｔｈを超えた場合、カメラ２０は、周波数決定部４３は周波数マップに基づいてサンプリング周波数ｆを変更する。この例では、基準サンプリング周波数ｆ_ｔｈよりも低い周波数ｆ_ｌｏｗ（例えば、５０フレーム／秒）で撮像を行っている。

図４（ｂ）に示すように、短時間に車両７０のピッチング方向が上方向及び下方向に変化し、かつピッチ角の変化量ｄが変化量閾値ｄ_ｔｈよりも大きい場合には、カメラ２０と路面との距離の変化が連続的に生じるため、カメラ２０による時系列的な撮像画像に視覚的な遠近感の差が生じやすくなる。このとき、サンプリング周波数ｆを基準サンプリング周波数ｆ_ｔｈよりも低くすることで、時系列的な撮像画像の間に生じる遠近感の差を少なくして、運転者に与える違和感を低減し、運転者が正確に路面状況を把握できるようにすることができる。

次に、図５を参照して、上述した車両用映像表示装置１０によるサンプリング周波数ｆの設定の別の例を説明する。なお、図５において、車両７０は車両位置Ｐ_１から車両位置Ｐ_５へ順に移動し、カメラ２０は、車両位置Ｐ_１において基準サンプリング周波数ｆ_ｔｈで撮像するものとする。

車両位置Ｐ_２のように、平坦路面から上がり勾配へ移行する際（すなわち、ピッチが上方向であって、ピッチ角の変化量ｄが変化量閾値ｄ_ｔｈよりも大きい）には、サンプリング周波数ｆを基準サンプリング周波数ｆ_ｔｈよりも高い周波数ｆ_ｈｉｇｈ（例えば、７０フレーム／秒）に設定する。なお、図示していないが、車両７０が平坦路面から下り勾配へ移行する際にも、同様にサンプリング周波数ｆを高い周波数ｆ_ｈｉｇｈに設定する。このような周波数制御により、車両姿勢の変化時に、実態に近い路面映像を表示させて、運転者が正確な路面状況を把握できるようにすることができる。

車両位置Ｐ_３では、路面が一定の上り勾配となって、ピッチ角の変化量ｄが変化量閾値ｄ_ｔｈ以下となることから、カメラ２０のサンプリング周波数ｆは、基準サンプリング周波数ｆ_ｔｈに設定される。

車両位置Ｐ_４で示す山の頂上付近では、基準サンプリング周波数ｆ_ｔｈよりも高いサンプリング周波数ｆ_ｈｉｇｈと低いサンプリング周波数ｆ_ｌｏｗとを組み合わせて撮像を行う。具体的に説明すると、車両７０のピッチが上方向である頂上Ｔの手前では、ピッチ角の変化量ｄが変化量閾値ｄ_ｔｈよりも大きくなることにより、高いサンプリング周波数ｆ_ｈｉｇｈに設定される。頂上Ｔにおいて、車両７０のピッチ方向が上方向から下方向へ変わる際には、低いサンプリング周波数_ｌｏｗに設定される。頂上Ｔを越えた後は、再び高いサンプリング周波数ｆ_ｈｉｇｈに設定される。

このように、サンプリング周波数ｆを基準サンプリング周波数ｆ_ｔｈよりも高くした後に基準サンプリング周波数ｆ_ｔｈよりも低くする、又は、基準サンプリング周波数ｆ_ｔｈよりも低くした後に基準サンプリング周波数ｆ_ｔｈよりも高くする、というような２段階制御を行うことで、高い周波数により実態に近い俯瞰映像を表示させる利点と、低い周波数により広範囲の路面状況を把握しやすい俯瞰映像を表示させる利点とを組み合わせて、運転者に対して、より適切な路面情報を提供することができる。

車両位置Ｐ_５では、路面が一定の下り勾配となって、ピッチ角の変化量ｄが変化量閾値ｄ_ｔｈ以下となることから、カメラ２０のサンプリング周波数ｆは、基準サンプリング周波数ｆ_ｔｈに設定される。

なお、図４及び図５におけるサンプリング周波数ｆの設定例は、一例であって、周波数マップの設定時に適宜変更することが可能である。

図７は、従来の車両用映像表示装置において、表示部の画面５５に表示される俯瞰映像の例を示す図である。カメラのサンプリング周波数が常に一定である従来のものでは、車両のピッチ角が変化した際に、透過的な車両画像５２を通して視認される、路面に描かれた「ＡＢＣ」の文字に歪みが生じてしまう。

これに対し、本実施の形態の車両用映像表示装置１０では、図６に示すように、サンプリング周波数を車両挙動に応じて適宜変更することで、ピッチ角が変化した場合であっても、車両画像５２を通して視認される路面に描かれた「ＡＢＣ」の文字の歪みを低減することができる。これにより、運転者により正確な路面情報を提供することが可能となる。

車両姿勢変化（ピッチ角、ロール角及びヨー角の変化）や車速変化などの車両挙動変化の中で、特に、ピッチ角の変化は、カメラ２０と路面との間の距離や、カメラ２０による路面の撮像範囲に大きな影響を与えやすい。本実施の形態の車両用映像表示装置１０では、傾斜センサ３０によりピッチ角を検知し、ピッチ角の変化量ｄが少ない通常走行状態では、基準サンプリング周波数ｆ_ｔｈで俯瞰映像を生成する一方、ピッチ角の変化量ｄが大きい非通常走行状態では、サンプリング周波数ｆを基準サンプリング周波数ｆ_ｔｈよりも高く又は低くすることで、車両７０の走行状態に適した賦形映像を表示させることができる。

また、本実施の形態の車両用映像表示装置１０では、車両７０に搭載した１台の広角カメラ２０の撮像画像に基づいて俯瞰映像を生成しているので、俯瞰映像生成部４５における画像処理が容易になる。

なお、本発明は上述した実施形態に限定されるものではなく、発明の趣旨を逸脱しない範囲で種々の変更が可能である。

例えば、傾斜センサ３０により、さらにロール角を検知し、ピッチ角及びロール角の変化に基づいてサンプリング周波数ｆを適宜変更するものであってもよい。また、車両用映像表示装置１０は、さらに車速センサを備え、車両７０の速度変化と、車両姿勢（ピッチ角やロール角）の変化との両方に基づいて、サンプリング周波数ｆを適宜変更する構成であってもよい。一例として、図４に示す悪路走行において、車速が所定値よりも低い場合に、サンプリング周波数ｆを基準サンプリング周波数ｆ_ｔｈよりも高くして、より正確な路面映像を表示させる構成とすることができる。

このように、センサによって車両挙動の複数の要素を検知する場合には、傾斜センサ３０や車速センサによって検知される各要素（ピッチ角、ロール角、車速など）の相互関係から導かれる最適なサンプリング周波数を規定した周波数マップを周波数設定部４１に設定しておき、この周波数マップに基づいて、車載カメラのサンプリング周波数ｆを決定する構成とすることができる。

また、車両用映像表示装置１０は、複数の車載カメラを備え、これらのカメラによる俯瞰画像を合成することにより、車両７０とその周辺領域を含む俯瞰映像を生成する構成であってもよい。このような画像の合成には、例えば、特開２０１０−１３０４１３号公報等に示される手法を適用することが可能である。複数の車載カメラとしては、例えば、前部カメラ２０の他に、車両７０の左右側部にそれぞれ配置されて車両７０の側部側下方の領域を撮像可能な側部カメラや、車両７０の後部に配置されて車両７０の後部側下方の領域を撮像可能な後部カメラを適宜組み合わせて用いることができる。

１０車両用映像表示装置
２０カメラ（前部車載カメラ）
３０傾斜センサ（挙動センサ）
４０制御部
５０表示部
７０車両

Claims

自車両周辺の路面を撮像する車載カメラと、
前記車載カメラが撮像した画像データに基づいて視点変換処理を行った俯瞰映像を生成し、車室内に設置された表示部に表示させる制御部と、
車両挙動を検知する挙動センサと、を備え、
前記制御部は、前記挙動センサに基づく車両挙動の変化に応じて、前記車載カメラが撮像する画像のサンプリング周波数を変更することを特徴とする車両用映像表示装置。
前記車載カメラは、自車両の前方側下方を撮像する前部車載カメラであることを特徴とする請求項１に記載の車両用映像表示装置。
前記車載カメラは、通常時に所定のサンプリング周波数で画像を撮像し、
前記制御部は、前記挙動センサの検知結果に基づく車両挙動の変化量が予め設定した変化量閾値を超えた場合に、前記車載カメラが撮像する画像のサンプリング周波数を前記所定のサンプリング周波数よりも高く又は低くすることを特徴とする請求項１又は２に記載の車両用映像表示装置。
前記挙動センサは、少なくとも車両の前後方向の傾きを検知し、
前記制御部は、車両の前後方向の傾きの変化量が予め設定した変化量閾値を超えた場合に、前記車載カメラが撮像する画像のサンプリング周波数を前記所定のサンプリング周波数よりも高く又は低くすることを特徴とする請求項３に記載の車両用映像表示装置。
前記制御部は、車両の前後方向の傾きの変化量が予め設定した変化量閾値を超えた場合に、前記車載カメラが撮像する画像のサンプリング周波数を、前記所定のサンプリング周波数よりも高くした後、前記所定のサンプリング周波数よりも低くする、又は前記所定のサンプリング周波数よりも低くした後、前記所定のサンプリング周波数よりも高くすることを特徴とする請求項４に記載の車両用映像表示装置。