JP6969488B2 - 画像表示装置 - Google Patents

Description

本発明は、画像表示装置の技術分野に関する。

この種の装置として、例えば、車外撮影カメラの撮像画像を、ユーザの視線方向において前後に位置する前面側表示面部及び背面側表示面部とを備える二重表示ディスプレイに表示する装置であって、撮像画像の表示に際して、撮像画像に映っている車両走行の障害になる危険物の危険度が高いほど、危険物を示す画像が前面に見えるように前面側表示部の輝度を高めて表示する装置が提案されている（特許文献１参照）。その他、関連する技術として、特許文献２に記載の技術がある。

特開２００８−２６３３２５号公報 特開２０１７−０５８６００号公報

カメラ等の撮像装置により撮像された画像は、撮像装置（即ち、受光装置）の露出設定が変化すると印象が変化する。撮像装置の露出設定が適切でない状況で撮像された画像には、意図しない白とびや黒つぶれが生じることが多い。意図しない白とびや黒つぶれは、特許文献１に記載の技術のように、ディスプレイ（即ち、表示装置）の輝度が調整されたとしても解消されない。

本発明は、上記問題点に鑑みてなされたものであり、車両の走行シーンに応じた適切な画像を表示することができる画像表示装置を提供することを課題とする。

本発明の一態様に係る画像表示装置は、撮像場所の明るさに応じて昼間モードと夜間モードとを自動で切り替え可能な撮像手段と、前記撮像手段により撮像された撮像画像を表示する表示手段と、を備え、車両に搭載された画像表示装置であって、前記車両の状態に係る情報である車両状態情報を取得する取得手段と、前記撮像画像の一部の領域である測光エリアを構成する複数の画素に夫々対応する複数の画素値に基づいて、前記撮像手段に係る露出を調整する露出調整手段と、を備え、前記露出調整手段は、所定条件が満たされた場合は、前記所定条件が満たされない場合に比べて、前記測光エリアを広くし、前記所定条件は、（Ｉ）（ｉ）前記撮像手段が前記夜間モードであること、前記車両状態情報により、（ｉｉ）前記車両の速度が所定値以下であること、及び、（ｉｉｉ）イグニッションがＯＦＦからＯＮに切り替わったこと、又は、シフトポジションが後退ポジションから前進ポジション若しくはパーキングポジションに切り替わったこと、が示されること、並びに、（ＩＩ）（ｉ）前記撮像手段が前記昼間モードから前記夜間モードに切り替わったこと、及び、（ｉｉ）前記撮像手段が前記昼間モードから前記夜間モードに切り替わった時点から所定時間内であること、を含むというものである。

実施形態に係る画像表示装置の構成を示すブロック図である。 実施形態に係る測光エリアの一例及び表示画像の一例を示す図である。 実施形態に係る測光エリア設定部における識別ロジックの一例を示す図である。 実施形態に係る測光エリア設定処理を示すフローチャートである。

画像表示装置に係る実施形態について図１乃至図３を参照して説明する。

（構成）
実施形態に係る画像表示装置の構成について図１を参照して説明する。図１は、実施形態に係る画像表示装置の構成を示すブロック図である。

図１において、画像表示装置１００は車両１に搭載されている。画像表示装置１００は、カメラ１０、制御ユニット２０及び表示部３０を備えて構成されている。

カメラ１０は、車両１の周囲を撮像する。カメラ１０は、撮像機構１１、画像出力部１２、自動露出（Ａｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅ：ＡＥ）機能部１３（以降、適宜“ＡＥ機能部１３”と表記する）、モード選択部１４及び照度センサ１５を備えて構成されている。

撮像機構１１は、例えばレンズ、絞り機構、シャッタ、受光素子等を含んでいる。画像出力部１２は、撮像機構１１により撮像された撮像画像を、ＡＥ機能部１３及び制御ユニット２０に出力する。

ＡＥ機能部１３は、撮像画像のうち測光エリアに相当する領域を構成する複数の画素に夫々対応する複数の輝度値を取得して、該複数の輝度値の平均値である平均輝度値を求める。ＡＥ機能部１３は、平均輝度値と基準値とを比較し、（ｉ）平均輝度値が基準値より大きければ、平均輝度値が小さくなるように撮像機構１１に係る露出値を自動的に調整し、（ｉｉ）平均値輝度値が基準値より小さければ、平均輝度値が大きくなるように撮像機構１１に係る露出値を自動的に調整する。尚、測光エリアについては後述する。

モード選択部１４は、照度センサ１５の出力に基づいて（即ち、撮像場所の明るさに基づいて）、予め定められている複数の撮像モードのうちから一の撮像モードを選択して、該一の撮像モードに対応する、例えば絞り値、シャッタスピード、ゲイン（例えばＩＳＯ感度に相当）等となるように撮像機構１１を制御する。

本実施形態では、上記複数の撮像モードに、昼間モード及び夜間モードが含まれているものとする。夜間モードにおけるシャッタスピードは、昼間モードにおけるシャッタスピードに比べて遅く設定されている。また、夜間モードにおいては、昼間モードよりもゲインを大きく設定したり、低輝度の映像をより強調するγカーブを設定したりすることで、夜間の視認性を向上している。

制御ユニット２０は、その内部に論理的に実現される処理ブロックとして又は物理的に実現される処理回路として、車両情報取得部２１、測光エリア設定部２２及び表示制御部２３を備えて構成されている。

車両情報取得部２１は、車両１に搭載されている、例えば、シフトセンサ４１及び車速センサ４２各々の出力、並びに、イグニッションスイッチ４３の状態を示す信号に基づいて、車両情報を生成する。

測光エリア設定部２２は、車両情報取得部２１により生成された車両情報及びモード選択部１４により選択された撮像モードに基づいて、車両１の走行シーンを推定する（推定方法については後述する）。測光エリア設定部２２は、推定された走行シーンに応じて、ＡＥ機能部１３に係る測光エリアを設定する。

表示制御部２３は、画像出力部１２から出力された撮像画像を、表示部３０に表示する。本実施形態では、表示制御部２３は、撮像画像のうち表示部３０に表示すべき領域である表示領域を、該撮像画像から抽出して（即ち、トリミングして）、表示部３０に表示するものとする。

（自動露出機能の問題点）
ここで、自動露出機能の問題点について説明する。例えば昼間の立体駐車場の内部で撮像された画像には、外光に起因して比較的明るい領域が含まれることがある。このとき、撮像画像が全体的に暗い場合であっても（即ち、撮像画像に係る平均輝度値が比較的小さい場合であっても）、測光エリアに占める比較的明るい領域の割合が比較的大きいと、測光エリアに係る平均輝度値（上述したＡＥ機能部１３により求められる平均輝度値に相当）が比較的大きくなる。すると、測光エリアに係る平均輝度値が比較的大きいことに起因して、露出値が適切に調整されない可能性がある。

上記問題への対策として、例えば撮像画像全体が含まれるように測光エリアが設定される等、測光エリアを比較的広く設定することが考えられる。しかしながら、例えば夜間走行時に、測光エリア（この場合、撮像画像全体）に係る平均輝度値が比較的小さいことに起因して、自動露出機能により露出値が比較的大きく設定されると、例えば他車両のヘッドライトの光等に起因してハレーションが生じる可能性がある。

（測光エリア）
ＡＥ機能部１３に係る測光エリアについて図２を参照して説明する。図２は、実施形態に係る測光エリアの一例及び表示画像の一例を示す図である。

図２（ａ）は、測光エリアの一例を示す図である。図２（ａ）において点線枠Ａ及び破線枠Ｂは、夫々測光エリアを示している。以降、点線枠Ａを「測光エリアＡ」と、破線枠Ｂを「測光エリアＢ」と称する。

測光エリアＡは、撮像画像のうち表示部３０に表示すべき表示領域に相当する。尚、測光エリアＡの位置は、図２（ａ）に示す位置に限定されず、適宜設定されてよい。また、例えば表示制御部２３が、表示部３０に表示された画像の一部を拡大して表示する機能を有する場合には（即ち、表示領域が可変である場合には）、表示領域の変化に合わせて測光エリアＡも変更される。

測光エリアＢは、撮像画像のうち、表示領域を含み且つ該表示領域よりも広い領域に相当する。尚、測光エリアＢは、表示領域が可変である場合であっても、表示領域の最大範囲よりも広くなるように設定される。

本実施形態では、「自動露出機能の問題点」において挙げた問題の発生を抑制するために、測光エリア設定部２２により、車両１の走行シーンに応じて、測光エリアＡ及びＢのいずれかが自動的に設定される（即ち、測光エリアＡ及びＢが自動的に切り替えられる）。車両１の走行シーンと測光エリアとの関係の具体的な説明は後述する。

例えば昼間の立体駐車場の内部で撮像された画像について、測光エリアＡに係る平均輝度値に基づいて露出値が調整されると、例えば図２（ｂ）に示すように、撮像画像が全体的に不鮮明になってしまう。他方で、上記昼間の立体駐車場の内部で撮像された画像について、測光エリアＢに係る平均輝度値に基づいて露出値が調整されると、例えば図２（ｃ）に示すように、図２（ｂ）に比べて鮮明な撮像画像が得られる。このため、測光エリア設定部２２は、車両１が、例えば立体駐車場等の屋根付きの駐車場内を走行している場合、ＡＥ機能部１３に係る測光エリアを測光エリアＢに設定する。

（走行シーンの推定）
測光エリア設定部２２における走行シーンの推定方法について図３を参照して説明する。図３は、実施形態に係る測光エリア設定部における識別ロジックの一例を示す図である。尚、図３のグラフは、イグニッションスイッチ（ＩＧ）、車速、シフトポジション及びカメラシーン各々の時間変化を示している。

測光エリア設定部２２は、車両情報取得部２１により生成された車両情報により示される、例えばイグニッションスイッチ、車両１の車速及びシフトポジション各々の時間変化、並びに、モード選択部１４により選択された撮像モードの時間変化に基づいて、車両１の走行シーンを推定する。具体的には、測光エリア設定部２２は、イグニッションスイッチ、車両１の車速、シフトポジション及びカメラシーン各々の時間変化が、所定の条件を満たすか否かを判定し、判定結果から走行シーンを推定する。

図３の（ａ）に示すように、（ｉ）イグニッションスイッチの状態がＯＦＦからＯＮに変更され、（ｉｉ）車両１の車速が低速に維持され（停止、即ち、時速０キロメートルも含む）、（ｉｉｉ）シフトポジションが前進ポジション（例えばＤ）又はパーキングポジション（Ｐ）に維持され、（ｉｖ）撮像モードが夜間モードに維持されている場合、測光エリア設定部２２は、走行シーンを、例えば立体駐車場等の屋根付きの駐車場内であると推定する。尚、（ｉ）〜（ｉｖ）は、上記判定結果に相当する。以下「走行シーンの推定」において同じ。

図３の（ｂ）に示すように、（ｉ）イグニッションスイッチの状態がＯＮに維持され、（ｉｉ）車両１の車速が低速に維持され（停止、即ち、時速０キロメートルも含む）、（ｉｉｉ）シフトポジションが後退ポジション（Ｒ）から前進ポジション（例えばＤ）又はパーキングポジション（Ｐ）に変更され、（ｉｖ）撮像モードが夜間モードに維持されている場合、測光エリア設定部２２は、走行シーンを、例えば立体駐車場等の屋根付きの駐車場内であると推定する。

図３の（ｃ）に示すように、（ｉ）イグニッションスイッチの状態がＯＮに維持され、（ｉｉ）シフトポジションが前進ポジション（例えばＤ）に維持され、（ｉｉｉ）撮像モードが昼間モードから夜間モードに変更された場合、測光エリア設定部２２は、走行シーンを、トンネル内の入口付近であると推定する。

図３の（ｄ）に示すように、（ｉ）イグニッションスイッチの状態がＯＮに維持され、（ｉｉ）車両１の車速が低速に維持されておらず、（ｉｉｉ）シフトポジションが前進ポジション（例えばＤ）に維持され、（ｉｖ）撮像モードが夜間モードに維持されている場合（言い換えれば、上記（ａ）〜（ｃ）のいずれにも該当しない場合）、測光エリア設定部２２は、走行シーンを、夜間走行中であると推定する。

（測光エリア設定処理）
測光エリア設定部２２における測光エリアの設定処理について図４のフローチャートを参照して説明する。

図４において、測光エリア設定部２２は、モード選択部１４により選択された撮像モードが夜間モードであるか否かを判定する（ステップＳ１０１）。ステップＳ１０１の処理において、夜間モードではないと判定された場合（ステップＳ１０１：Ｎｏ）、測光エリア設定部２２は、ＡＥ機能部１３に係る測光エリアを測光エリアＡ（図２（ａ）参照）に設定する（ステップＳ１１０）。

ステップＳ１０１の処理において、夜間モードであると判定された場合（ステップＳ１０１：Ｙｅｓ）、測光エリア設定部２２は、現在を起点として、現在より前の第１期間内に、撮像モードが昼間モードから夜間モードに変更されたか否かを判定する（ステップＳ１０２）。尚、「第１期間」は、例えば数秒から十数秒等であり、典型的には車両１の車速に応じた可変値として設定されている。

ステップＳ１０２の処理において、第１期間内に、撮像モードが昼間モードから夜間モードに変更されたと判定された場合（ステップＳ１０２：Ｙｅｓ）、測光エリア設定部２２は、走行シーンをトンネル内の入口付近であると推定し（ステップＳ１０３）、ＡＥ機能部１３に係る測光エリアを測光エリアＢ（図２（ａ）参照）に設定する（ステップＳ１０８）。

ステップＳ１０２の処理において、第１期間内に、撮像モードが昼間モードから夜間モードに変更されていないと判定された場合（ステップＳ１０２：Ｎｏ）、測光エリア設定部２２は、車両１の車速が閾速度以下であるか否かを判定する（ステップＳ１０４）。尚、「閾速度」は、例えば時速数キロメートル等、徐行速度とみなされる速度として設定されている。

ステップＳ１０４の処理において、車両１の車速が閾速度より大きいと判定された場合（ステップＳ１０４：Ｎｏ）、測光エリア設定部２２は、走行シーンを夜間走行である推定し（ステップＳ１０９）、ＡＥ機能部１３に係る測光エリアを測光エリアＡ（図２（ａ）参照）に設定する（ステップＳ１１０）。

ステップＳ１０４の処理において、車両１の車速が閾速度以下であると判定された場合（ステップＳ１０４：Ｙｅｓ）、測光エリア設定部２２は、現在を起点として、現在より前の第２期間内に、イグニッションスイッチの状態がＯＦＦからＯＮに変更されたか否か（即ち、イグニッションＯＮされたか否か）を判定する（ステップＳ１０５）。尚、「第２期間」は、例えば数秒から数十秒等に設定されている。

ステップＳ１０５の処理において、第２期間内に、イグニッションスイッチの状態がＯＦＦからＯＮに変更されたと判定された場合（ステップＳ１０５：Ｙｅｓ）、測光エリア設定部２２は、走行シーンを屋根付きの駐車場である推定し（ステップＳ１０７）、ＡＥ機能部１３に係る測光エリアを測光エリアＢ（図２（ａ）参照）に設定する（ステップＳ１０８）。

ステップＳ１０５の処理において、第２期間内に、イグニッションスイッチの状態がＯＦＦからＯＮに変更されていないと判定された場合（ステップＳ１０５：Ｎｏ）、測光エリア設定部２２は、現在を起点として、現在より前の第３期間内に、シフトポジションが、後退ポジション（Ｒ）から前進ポジション（例えばＤ）又はパーキングポジション（Ｐ）に変更されたか否かを判定する（ステップＳ１０６）。尚、「第３期間」は、例えば数秒から数十秒等に設定されている。

ステップＳ１０６の処理において、第３期間内に、シフトポジションが、後退ポジション（Ｒ）から前進ポジション（例えばＤ）又はパーキングポジション（Ｐ）に変更されたと判定された場合（ステップＳ１０６：Ｙｅｓ）、測光エリア設定部２２は、走行シーンを屋根付きの駐車場である推定し（ステップＳ１０７）、ＡＥ機能部１３に係る測光エリアを測光エリアＢ（図２（ａ）参照）に設定する（ステップＳ１０８）。

ステップＳ１０６の処理において、第３期間内に、シフトポジションが、後退ポジション（Ｒ）から前進ポジション（例えばＤ）又はパーキングポジション（Ｐ）に変更されていないと判定された場合（ステップＳ１０６：Ｎｏ）、測光エリア設定部２２は、走行シーンを夜間走行である推定し（ステップＳ１０９）、ＡＥ機能部１３に係る測光エリアを測光エリアＡ（図２（ａ）参照）に設定する（ステップＳ１１０）。

（技術的効果）
当該画像表示装置１００では、測光エリア設定部２２により車両１の走行シーンが推定され、該推定された走行シーンに応じてＡＥ機能部１３に係る測光エリアが設定される。そして、ＡＥ機能部１３により、測光エリアに係る平均輝度値に基づいて撮像機構１１に係る露出値が調整される。このため、撮像機構１１に係る露出値が、車両１の走行シーンに応じて適切に調整されることが期待できる。従って、当該画像表示装置１００によれば、車両１の走行シーンに応じた適切な画像を表示することができる。

具体的には例えば、車両１が屋根付きの駐車場やトンネル内の入口付近を走行している場合、比較的広い測光エリアＢ（図２（ａ）参照）が、ＡＥ機能部１３に係る測光エリアとして設定される。屋根付きの駐車場やトンネル内の入口付近では、撮像画像全体に占める輝度値の比較的小さい画素の割合が比較的多いため、測光エリアに係る平均輝度値は比較的小さくなることが多い。この結果、撮像機構１１に係る露出値が増大され、比較的鮮明な撮像画像が得られることが期待できる（図２（ｃ）参照）。

例えば、車両１が夜間に一般的な道路を走行している場合、比較的狭い測光エリアＡ（図２（ａ）参照）が、ＡＥ機能部１３に係る測光エリアとして設定される。夜間には、例えば他車両のヘッドライトや街灯等の光が撮像画像に映り込むことが多いので、測光エリアが比較的狭いと、該測光エリアに占める輝度値の比較的大きい画素の割合が比較的多くなる。このため、測光エリアに係る平均輝度値は比較的大きくなる。この結果、撮像機構１１に係る露出値が低減され、例えばハレーションの発生が抑制された撮像画像が得られることが期待できる。

以上に説明した実施形態から導き出される発明の各種態様を以下に説明する。

発明の一態様に係る画像表示装置は、撮像場所の明るさに応じて昼間モードと夜間モードとを自動で切り替え可能な撮像手段と、前記撮像手段により撮像された撮像画像を表示する表示手段と、を備え、車両に搭載された画像表示装置であって、前記車両の状態に係る情報である車両状態情報を取得する取得手段と、前記撮像画像の一部の領域である測光エリアを構成する複数の画素に夫々対応する複数の画素値に基づいて、前記撮像手段に係る露出を調整する露出調整手段と、を備え、前記露出調整手段は、所定条件が満たされた場合は、前記所定条件が満たされない場合に比べて、前記測光エリアを広くし、前記所定条件は、（Ｉ）（ｉ）前記撮像手段が前記夜間モードであること、前記車両状態情報により、（ｉｉ）前記車両の速度が所定値以下であること、及び、（ｉｉｉ）イグニッションがＯＦＦからＯＮに切り替わったこと、又は、シフトポジションが後退ポジションから前進ポジション若しくはパーキングポジションに切り替わったこと、が示されること、並びに、（ＩＩ）（ｉ）前記撮像手段が前記昼間モードから前記夜間モードに切り替わったこと、及び、（ｉｉ）前記撮像手段が前記昼間モードから前記夜間モードに切り替わった時点から所定時間内であること、を含むというものである。

上述の実施形態においては、「カメラ１１」が「撮像手段」の一例に相当し、「表示部３０」が「表示手段」の一例に相当し、「車両情報取得部２１」が「取得手段」の一例に相当し、「ＡＥ機能部１３」及び「測光エリア設定部２２」が「露出調整手段」の一例に相当する。上述の実施形態に係る「輝度値」、「閾速度」及び「第１期間」は、夫々、「画素値」、「所定値」及び「所定時間」の一例に相当する。

当該画像表示装置によれば、所定条件が満たされたか否かによって測光エリアの大きさが変更される。ここで、所定条件が満たされる場合は、特定の走行シーンに該当する。他方、所定条件が満たされない場合は、該特定の走行シーン以外の走行シーンに該当する。つまり、所定条件が満たされたか否かによって測光エリアの大きさを変更することは、走行シーンによって測光エリアの大きさを変更することと同義である。

所定条件に含まれる上記（Ｉ）の内容は、例えば屋根付きの駐車場等の外光が建造物によって遮られている比較的暗い場所を、車両が比較的低速で走行する場合の、撮像モード及び車両状態に該当する。所定条件に含まれる上記（ＩＩ）の内容は、車両が、外光が車両に当たる場所から、例えばトンネル内等の外光が建造物によって遮られている比較的暗い場所に移動した場合の、撮像モード及び車両状態に該当する。

これらの場合には、全体的には比較的暗いが、部分的に比較的明るい領域が存在する撮像画像が得られることが多い。このとき、測光エリアが比較的狭いと、測光エリアに占める比較的明るい領域の割合が比較的多くなることがある。すると、撮像画像が全体的には比較的暗いにもかかわらず、露出調整手段が比較的明るい撮像画像であると誤認識し、撮像手段に係る露出が適切に調整されないおそれがある。

上述の如く、所定条件が満たされた場合には、所定条件が満たされない場合に比べて、測光エリアが広くされれば、全体的には比較的暗い撮像画像に部分的に比較的明るい領域が存在したとしても、露出調整手段が、撮像画像の全体的な明るさを誤認識することを抑制することができる。従って、当該画像表示装置によれば、車両の走行シーンに応じて撮像装置に係る露出を適切に調整して、走行シーンに応じた適切な画像を表示することができる。

本発明は、上述した実施形態に限られるものではなく、特許請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う画像表示装置もまた本発明の技術的範囲に含まれるものである。

１…車両、１０…カメラ、１１…撮像機構、１２…画像出力部、１３…自動露出機能部、１４…モード選択部、１５…照度センサ、２０…制御ユニット、２１…車両情報取得部、２２…測光エリア設定部、２３…表示制御部、３０…表示部、４１…シフトセンサ、４２…車速センサ、４３…イグニッションスイッチ、１００…画像表示装置

Claims (1)

1. 撮像場所の明るさに応じて昼間モードと夜間モードとを自動で切り替え可能な撮像手段と、前記撮像手段により撮像された撮像画像を表示する表示手段と、を備え、車両に搭載された画像表示装置であって、
   前記車両の状態に係る情報である車両状態情報を取得する取得手段と、
   前記撮像画像の一部の領域である測光エリアを構成する複数の画素に夫々対応する複数の画素値に基づいて、前記撮像手段に係る露出を調整する露出調整手段と、
   を備え、
   前記露出調整手段は、所定条件が満たされた場合は、前記所定条件が満たされない場合に比べて、前記測光エリアを広くし、
   前記所定条件は、
   （Ｉ）（ｉ）前記撮像手段が前記夜間モードであること、前記車両状態情報により、（ｉｉ）前記車両の速度が所定値以下であること、及び、（ｉｉｉ）イグニッションがＯＦＦからＯＮに切り替わったこと、又は、シフトポジションが後退ポジションから前進ポジション若しくはパーキングポジションに切り替わったこと、が示されること、
   並びに、
   （ＩＩ）（ｉ）前記撮像手段が前記昼間モードから前記夜間モードに切り替わったこと、及び、（ｉｉ）前記撮像手段が前記昼間モードから前記夜間モードに切り替わった時点から所定時間内であること、
   を含む
   ことを特徴とする画像表示装置。

Images