JP7472007B2

JP7472007B2 - 画像投影システムおよび画像投影方法

Info

Publication number: JP7472007B2
Application number: JP2020206894A
Authority: JP
Inventors: 俊明津田
Original assignee: Koito Manufacturing Co Ltd
Current assignee: Koito Manufacturing Co Ltd
Priority date: 2020-12-14
Filing date: 2020-12-14
Publication date: 2024-04-22
Anticipated expiration: 2040-12-14
Also published as: US20240045203A1; JP2022094079A; CN116529103A; WO2022130996A1

Description

本発明は、画像投影システムおよび画像投影方法に関し、特に車両内の運転者等に対して画像を表示する画像投影システムおよび画像投影方法に関する。

近年、車両の操舵や加減速などの運転操作の一部または全部をコンピュータが担う運転支援技術や自動運転技術の開発が進んでいる。また、車両の運転操作を人間が行う手動運転においても、車両に各種センサーや通信装置を複数搭載して車両の状態や周辺状況の情報を入手して、走行時の安全性や快適性を高める走行支援技術も開発されている。

このような運転支援技術、自動運転技術または走行支援技術においては、車両の状態や周辺状況、コンピュータの運転操作状況など、得られた各種情報を運転者に計器類や表示装置を用いて提示している。従来から、各種情報を提示するためには車両内の計器類や表示装置に文字や画像を表示することが一般的であった。

しかし、車両に備えられた計器類や表示装置で情報を提示すると、運転者が視線を走行方向前方から逸して計器類や表示装置を見る必要があるため好ましくない。そこで、車両の前方からの視線移動を小さくしながらも画像情報を提示するために、車両のウィンドシールドに画像を投影して、反射した光を視認させるＨＵＤ（ＨｅａｄＵｐＤｉｓｐｌａｙ）装置が提案されている（例えば特許文献１を参照）。

従来のＨＵＤ装置では、画像投影部からウィンドシールド等の透明な部材を介して投影された虚像を視認し、実空間の背景と虚像が重ね合わされる。これにより運転者は、車両外部の実空間における対象物を視認しながらも、画像投影部から投影された各種情報（虚像）を同一の視野範囲内で視認することができる。

特開２０１９－１１９２６２号公報

従来のＨＵＤ装置では、背景と重ねて投影される虚像の視認性を確保するために、車両外部の明るさを光センサー等で測定し、外界の明るさに応じて画像投影部から照射する光の強度を制御している。これにより、虚像を投影する光の輝度を日中の明るい環境では高め、夜間の暗い環境では低下させることで、背景と虚像のコントラストを適切な範囲にコントロールしている。

しかし、上述した従来のＨＵＤ装置では、路面上の明暗が切り替わる環境などにおいて、車両周囲と背景の明るさが必ずしも一致せず、視認性の低下が生じる可能性があった。例えば、日中走行において車両が暗いトンネル内を走行してトンネル出口に差し掛かる場合や、夜間走行において先行車両の後部を前照灯で照らしている場合、夜間の雨天走行中に対向車両の前照灯からの光が路面で反射する場合などには、車両周囲が暗いため画像投影部からの光強度が低下し、明るい背景と重ね合わされることで視認性を良好に保てなくなる。

また、車両周囲と背景の明るさの差が小さい場合であっても、車両の走行状態によっては虚像を投影する光が背景との対比において目立たず、虚像の視認性が低下する可能性があった。例えば、雪道を走行している場合や、紅葉時期の落葉が路面に散在している場合、新緑の季節に山道を走行している場合、海岸沿いを走行している場合、濃霧中を走行している場合などには、虚像を重ねる領域や視界に入る背景の色調と類似した光での投影では、視認性を良好に保てなくなる。

そこで本発明は、上記従来の問題点に鑑みなされたものであり、様々な走行状況においても、背景と重ね合わせて投影される虚像の視認性を確保することが可能な画像投影システムおよび画像投影方法を提供することを目的とする。

上記課題を解決するために、本発明の画像投影システムは、透光性の部材で構成された透過反射部と、前記透過反射部の内側面に対して画像情報を含んだ光を照射して表示画像を投影する画像投影部と、前記透過反射部よりも外部の状況を外部画像として撮像する外部状況撮像部と、前記外部画像における前記表示画像が投影される表示領域を特定する表示領域特定部と、前記表示領域を含んだ判定領域を設定し、前記外部画像における前記判定領域内の画像を認識して分析する画像判定部と、前記画像判定部の分析結果に基づいて前記画像情報を調整する画像調整部を備え、前記画像判定部は、前記画像情報の内容に基づいて判定期間を設定し、前記判定期間内における前記判定領域内の複数の画像を分析することを特徴とする。
また上記課題を解決するために、本発明の画像投影システムは、透光性の部材で構成された透過反射部と、前記透過反射部の内側面に対して画像情報を含んだ光を照射して表示画像を投影する画像投影部と、前記透過反射部よりも外部の状況を外部画像として撮像する外部状況撮像部と、前記外部画像における前記表示画像が投影される表示領域を特定する表示領域特定部と、前記表示領域を含んだ判定領域を設定し、前記外部画像における前記判定領域内の画像を認識して分析する画像判定部と、前記画像判定部の分析結果に基づいて前記画像情報を調整する画像調整部と、車両の走行速度を取得する車速センサーを備え、前記画像判定部は、前記走行速度に基づいて判定期間を設定し、前記判定期間内における前記判定領域内の複数の画像を分析することを特徴とする。

このような本発明の画像投影システムでは、外部状況撮像部で外部画像を撮像し、判定領域内の画像を分析した結果に基づいて、表示画像を調整して画像投影部から投影するので、様々な走行状況においても、背景と重ね合わせて投影される虚像の視認性を確保することが可能となる。

また本発明の一態様では、前記表示領域および前記判定領域を複数備える。

また本発明の一態様では、前記画像判定部は、前記判定領域内の輝度情報を取得し、前記画像調整部は、前記輝度情報に基づいて前記画像情報の輝度を調整する。

また本発明の一態様では、前記画像判定部は、前記判定領域内の色調情報を取得し、前記画像調整部は、前記色調情報に基づいて前記画像情報の色調を調整する。

また本発明の一態様では、前記外部状況撮像部は、可視光により可視光画像を撮像する可視光撮像部と、赤外光により赤外光画像を撮像する赤外光撮像部を備え、前記外部画像は、前記可視光画像および前記赤外光画像を含む。

また本発明の一態様では、前記赤外光撮像部は、前記赤外光をパルス状に照射する赤外パルス光源を備え、前記赤外パルス光源の発光終了から第１遅延時間が経過した後に、前記赤外光画像を撮像する。

また本発明の一態様では、前記赤外光画像の撮像終了から第２遅延時間が経過した後に、前記可視光画像を撮像する。

また本発明の一態様では、前記画像調整部は、前記赤外光画像の少なくとも一部を前記画像情報に重ね合わせる。

また本発明の一態様では、前記画像判定部は、前記可視光画像と前記赤外光画像の差分に基づいて特徴領域を抽出し、前記画像調整部は前記特徴領域を前記画像情報に重ね合わせる。

また本発明の一態様では、前記赤外光撮像部と前記可視光撮像部は、１つの画像センサー中に、可視光用サブピクセルと赤外光用サブピクセルを混在させて構成される。

また本発明の一態様では、前記透過反射部は、車両のウィンドシールドである。

また、上記課題を解決するために、本発明の画像投影方法は、透光性の部材で構成された透過反射部の内側面に対して画像情報を含んだ光を照射して表示画像を投影する画像投影工程と、前記透過反射部よりも外部の状況を外部画像として撮像する外部状況撮像工程と、前記外部画像における前記表示画像が投影される表示領域を特定する表示領域特定工程と、前記表示領域を含んだ判定領域を設定し、前記外部画像における前記判定領域内の画像を認識して分析する画像判定工程と、前記画像判定工程の分析結果に基づいて前記画像情報を調整する画像調整工程を備え、前記画像判定工程は、前記画像情報の内容に基づいて判定期間を設定し、前記判定期間内における前記判定領域内の複数の画像を分析することを特徴とする。
また、上記課題を解決するために、本発明の画像投影方法は、透光性の部材で構成された透過反射部の内側面に対して画像情報を含んだ光を照射して表示画像を投影する画像投影工程と、前記透過反射部よりも外部の状況を外部画像として撮像する外部状況撮像工程と、前記外部画像における前記表示画像が投影される表示領域を特定する表示領域特定工程と、前記表示領域を含んだ判定領域を設定し、前記外部画像における前記判定領域内の画像を認識して分析する画像判定工程と、前記画像判定工程の分析結果に基づいて前記画像情報を調整する画像調整工程と、車両の走行速度を取得する車速取得工程を備え、前記画像判定工程は、前記走行速度に基づいて判定期間を設定し、前記判定期間内における前記判定領域内の複数の画像を分析することを特徴とする。

本発明では、様々な走行状況においても、背景と重ね合わせて投影される虚像の視認性を確保することが可能な画像投影システムおよび画像投影方法を提供することができる。

第１実施形態に係る画像投影システムの構成を示す模式図である。第１実施形態に係る画像投影システムの構成を示すブロック図である。第１実施形態に係る画像投影システムにおいて外部状況撮像部５０が撮像した外部画像と表示領域の関係を示す模式図である。第１実施形態に係る画像投影方法の手順について説明するフローチャートである。第２実施形態に係る画像投影システムにおける判定領域と表示領域の関係を示す模式図であり、図５（ａ）は判定領域５２内に設けた複数の表示領域５３ａ～５３ｃを示し、図５（ｂ）は表示領域５３ａ～５３ｃに対応したサブ判定領域５４ａ～５４ｃを示している。第４実施形態に係る画像投影システムの構成を示す模式図である。第４実施形態に係る画像投影システムの構成を示すブロック図である。第４実施形態に係る画像投影システムにおける判定領域と表示領域の関係を示す模式図であり、図８（ａ）は可視光画像における判定領域５２ａを示し、図８（ｂ）は赤外光画像における判定領域５２ｂを示し、図８（ｃ）は可視光画像と赤外光画像の比較画像５２ｃを示し、図８（ｄ）は背景と虚像４０を重ね合わせた搭乗者ｅの視点画像５２ｄを示している。第４実施形態に係る画像投影方法の手順について説明するフローチャートである。第４実施形態におけるパルス発光と撮像について説明するタイミングチャートであり、図１０（ａ）は赤外パルス光源５０ｃの発光タイミングを示し、図１０（ｂ）は赤外光撮像部５０ｂの撮像タイミングを示し、図１０（ｃ）は可視光撮像部５０ａの撮像タイミングを示している。

（第１実施形態）
以下、本発明の実施の形態について、図面を参照して詳細に説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付すものとし、適宜重複した説明は省略する。図１は、本実施形態に係る画像投影システムの構成を示す模式図である。図２は、本実施形態に係る画像投影システムの構成を示すブロック図である。

図１，２に示すように本実施形態の画像投影システムでは、画像投影部１０と、投影光学部２０と、透過反射部３０と、外部状況撮像部５０と、情報処理部６０を備えて、虚像４０を投影して空間上に結像する。また情報処理部６０は、画像投影部１０および外部状況撮像部５０との間で情報通信可能に接続されている。

画像投影部１０は、情報処理部６０から画像情報を含んだ信号が供給されることで画像情報を含んだ光を照射して、所定位置に虚像４０を結像する装置である。画像投影部１０から照射された光は、投影光学部２０に入射する。画像投影部１０としては、液晶表示装置、有機ＥＬ表示装置、マイクロＬＥＤ表示装置、レーザ光源を用いたプロジェクター装置等が挙げられる。

投影光学部２０は、所定の焦点距離だけ離れた位置に焦点を有する光学部材である。画像投影部１０から照射された光は、投影光学部２０で反射されて透過反射部３０に到達する。図１では、投影光学部２０として平面反射鏡と凹面ミラーを用い、画像投影部１０からの光を透過反射部３０に反射する例を示しているが、投影光学部２０として透過型レンズを用いるとしてもよい。また図１では、画像投影部１０から照射された光が平面反射鏡と凹面ミラーの投影光学部２０に直接到達する例を示しているが、さらに多くの平面反射鏡等や複数の凹面鏡を用いて反射光を投影光学部２０に到達させるとしてもよい。

透過反射部３０は、外部からの光を透過するとともに、搭乗者ｅの方向に投影光学部２０から到達した光を反射する部材である。画像投影システムを車両用情報表示装置に用いる場合には、車両のウィンドシールドを透過反射部３０として用いることができる。ウィンドシールドとは別にコンバイナーを用意して、コンバイナーを透過反射部３０として用いてもよい。また、ヘルメットのシールドや、ゴーグルや眼鏡を透過反射部３０として用いてもよい。

虚像４０は、透過反射部３０で反射された光が搭乗者ｅに到達した際に、空間中に結像されたように視認される空中立体像である。虚像４０が結像される位置は、画像投影部１０から照射された光が、投影光学部２０と透過反射部３０で反射された後に搭乗者ｅ方向に進行する際の拡がり角度によって決まる。

外部状況撮像部５０は、透過反射部３０を介して搭乗者ｅの反対側（外部）の状況を外部画像として撮像する装置である。外部状況撮像部５０の構成は限定されず、ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）センサーやＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）センサー等の公知の撮像装置を用いることができる。外部状況撮像部５０が撮像する外部画像としては、輝度や色を判別できる程度に詳細な諧調表現が可能なカラー画像であることが好ましい。

外部状況撮像部５０が撮像する方向は、搭乗者ｅが透過反射部３０越しに視認する外部方向であり、例えば車両の進行方向（前方）である。また、外部状況撮像部５０が搭載される位置としては、車両の前面や車室内などが挙げられるが、搭乗者ｅの視線方向に近い撮像範囲で撮像することが好ましく、搭乗者ｅの頭上や透過反射部３０の上部近傍、車両のダッシュボード上などが好ましい。また、外部状況撮像部５０は、情報処理部６０との間で情報通信を行う情報通信手段を備えており、撮像した外部画像の情報を情報処理部６０に伝達する。

図１に示したように、本実施形態の画像投影システムでは、画像投影部１０から投影光学部２０に向けて画像情報を含んだ光を照射する。画像投影部１０から出射した光は、投影光学部２０および透過反射部３０の内側面で反射され、搭乗者ｅの目に入射する。このとき、透過反射部３０から反射した光が搭乗者ｅに向かって拡がることで、搭乗者ｅは透過反射部３０より遠い位置に虚像４０が結像されているように視認する。また搭乗者ｅは、視線の延長上にある背景についても虚像４０が重ね合わされた状態で視認する。同時に、外部状況撮像部５０は透過反射部３０の外部を外部画像として撮像し、情報処理部６０に外部画像のデータを送信する。また、後述するように情報処理部６０では外部画像に基づいて、画像投影部１０から投影する画像を調整して視認性を向上させる。

情報処理部６０は、各種情報を所定の手順に従って処理する部分であり、中央演算処理装置（ＣＰＵ：ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）とメモリ、外部記憶装置、各種インターフェースを備えるコンピュータである。図２に示すように、情報処理部６０は、表示領域特定部６１と、画像判定部６２と、画像調整部６３と、状況取得部６４を備えている。これらの各部は、情報処理部６０のメモリと外部記憶装置に記録されたプログラムに基づいて、ＣＰＵが情報処理を行うことで実現される。また、情報処理部６０は、画像投影部１０および外部状況撮像部５０との間で情報通信を行う情報通信手段を備えている（図示省略）。

表示領域特定部６１は、画像投影部１０が撮像した外部画像を取得し、外部画像中において表示画像（虚像４０）が重ね合わせて投影される領域を表示領域として特定する部分である。ここで表示領域特定部６１が表示領域を特定する方法としては、外部状況撮像部５０の撮像範囲と、搭乗者ｅの視点位置からの視野角との対応関係から求めることができる。より詳しくは、透過反射部３０において画像投影部１０からの光が照射される位置を照射位置とし、予め想定していた搭乗者ｅの視点位置から照射位置を結んだ直線を視線ベクトルとして算出する。また、外部状況撮像部５０の搭載位置と透過反射部３０の相対的な位置関係を予め記録しておき、外部状況撮像部５０の撮像範囲と視線ベクトルから搭乗者ｅが視認する背景と外部画像内での位置を算出し、表示領域を特定する。

画像判定部６２は、表示領域を含んだ判定領域を設定し、外部画像における判定領域内の画像を認識して分析する部分である。搭乗者ｅは表示画像と背景を重ね合わせて視認するため、虚像４０が重ね合わされる表示領域よりも広い範囲を判定領域とする。画像判定部６２は、外部画像における判定領域内の画像から輝度と色調について分析し、輝度情報と色調情報として取得する。取得した輝度情報および色調情報は、画像調整部６３に伝達される。輝度情報および色調情報の分析については後述する。

画像調整部６３は、画像判定部６２の分析結果に基づいて画像情報を調整する部分である。画像判定部６２が分析した輝度情報および色調情報に基づいて、画像投影部１０から照射される表示画像の画像情報において輝度または色調を調整する。ここで、画像情報の調整とは、画像投影部１０が照射する光の光量を増減することや、画像投影部１０から照射される光の経路にカラーフィルターを挿入するなどの物理的な調整であってもよい。また、画像情報のデジタルデータに画像処理を施し、輝度やコントラスト、色調の変更、画像の合成をするとしてもよい。

状況取得部６４は、外部の状況を状況情報として取得し、各部に伝達する部分である。状況取得部６４が取得する外部の状況としては、車両の走行速度、天候状況、車両の位置情報、注意喚起対象物の存在、交通情報等が挙げられる。また、これらの状況を取得する手段としては、車速センサー、ＧＰＳ（ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ）装置、無線通信手段、ナビゲーションシステム、外部画像の画像認識等が挙げられる。

図３は、第１実施形態に係る画像投影システムにおいて、外部状況撮像部５０が撮像した外部画像と表示領域の関係を示す模式図である。図３では、外部状況撮像部５０が撮像した外部画像５１を示し、外部画像５１内での判定領域５２を実線枠で示している。また、判定領域５２内に複数の表示領域５３ａ，５３ｂ，５３ｃが設けられており、各表示領域５３ａ，５３ｂ，５３ｃに表示画像の虚像４０としてアイコンが投影されている。

ここで外部画像５１は、上述したように搭乗者ｅが透過反射部３０越しに視認する背景との対応が算出されており、外部画像５１内における表示領域５３ａ，５３ｂ，５３ｃの位置と、搭乗者ｅが視認する背景と虚像４０の重ね合わせが一致している。したがって、搭乗者ｅが透過反射部３０越しに視認する背景と虚像４０は、図３に示した模式図と同様になる。

搭乗者ｅは、透過反射部３０越しに車両の前方を見ており、前方の路面や路肩の状況を視認している。このとき、視線がより集中するのは搭乗位置の正面または透過反射部３０（ウィンドシールド）の中央近傍となる。したがって、画像判定部６２が設定する判定領域５２は、表示領域５３ａ，５３ｂ，５３ｃを含み、搭乗者ｅの正面および透過反射部３０の中央付近まで含めた領域となる。本実施形態では、画像調整部が判定領域の輝度情報や色調情報に基づいて画像情報を調整して、判定領域内に重ね合わせて結像させることで、虚像４０の視認性が向上する。

図４は、本実施形態に係る画像投影方法の手順について説明するフローチャートである。本実施形態の画像投影システムでは、情報処理部６０が起動して外部記憶装置に記録されたプログラムをメモリに読み込み、ＣＰＵで情報処理を行うことで、表示領域特定部６１、画像判定部６２、画像調整部６３、状況取得部６４の機能が実行される。また、画像投影部１０、外部状況撮像部５０およびその他の各種装置と情報処理部６０の間が接続されて、各部の駆動制御と情報通信が行われる。

ステップＳ１は、外部状況撮像部５０が透過反射部３０よりも外部の状況を外部画像として撮像する外部状況撮像工程である。情報処理部６０は、外部状況撮像部５０を駆動制御して外部の状況を撮像して外部画像を取得する。外部画像を取得した後にステップＳ２に移行する。

ステップＳ２は、画像投影部１０から画像情報を含んだ光を照射して、所定位置に虚像４０を結像させる画像投影工程である。ここで画像情報には、画像をデジタルデータに変換した情報と、輝度や色調に関する補正データを含んでいる。画像投影部１０は、画像情報に含まれる画像のデジタルデータに基づいて画像形状を作成し、補正データの輝度や色調に基づいて照射する光の輝度や色調を制御する。これにより、画像情報に応じた光の強度と色調で、画像投影部１０から虚像４０を構成する光が照射される。画像投影部１０が虚像４０を投影する光を照射した後にステップＳ３に移行する。

ステップＳ３は、外部画像において表示画像が重ね合わせて投影される領域を表示領域として特定する表示領域特定工程である。上述したように、表示領域特定部６１は、外部状況撮像部５０の撮像範囲と搭乗者ｅの視野角の対応関係から、外部画像における表示領域を求める。外部状況撮像部５０の撮像範囲は、外部状況撮像部５０の取り付け位置とレンズの光軸方向から算出して予め記録しておくとしてもよく、外部画像に含まれる車両の一部を画像認識等で抽出し、取り付け位置と画像認識した車両の一部との相対的位置関係から算出するとしてもよい。表示領域特定部６１が外部画像において表示領域を特定した後にステップＳ４に移行する。

ステップＳ４は、外部画像において表示領域を含む判定領域を設定し、判定領域内の画像を認識して分析する画像判定工程である。画像判定部６２は、外部画像において表示領域を包含する広い領域を判定領域として設定し、判定領域内の画像を分析して判定領域の輝度情報と色調情報を取得する。ここで判定領域の設定は、予め透過反射部３０における所定領域に対応する領域を判定領域として記録してもよく、状況取得部６４が取得した状況に基づいて画像判定部６２が設定するとしてもよい。図３に示した例では、搭乗者ｅの視線が集中しやすい搭乗者ｅの正面と透過反射部３０の中央領域を含むように判定領域が設定されている。

画像判定部６２による輝度情報と色調情報の取得方法としては、判定領域内に含まれる画像の画素毎に輝度と色を特定し、判定領域全域での平均値を算出して輝度情報と色調情報とする方法が挙げられる。または、判定領域全域で画素の輝度と色調をランク分けし、該当する画素数が最も多いランクを輝度情報と色調情報とするなどが挙げられる。また、判定領域内の画像を機械学習により画像認識して輝度情報と色調情報を算出するとしてもよい。画像判定部６２が判定領域内の輝度情報と色調情報を取得した後にステップＳ５に移行する。

ステップＳ５は、画像判定工程での分析結果に基づいて、画像投影部１０から投影される虚像４０の画像情報を調整する画像調整工程である。画像調整部６３は、画像判定部６２が判定領域を分析して取得した輝度情報と色調情報に基づいて、画像投影部１０で投影する画像情報を調整する。これにより図３で示した例では、判定領域５２の全体の輝度と色調を把握して、輝度と色調に応じて視認性が高い虚像４０の重ね合わせができる。ここで判定領域５２は、車両周囲の明るさや色調ではなく、実際に搭乗者ｅが視認している外部の背景と略一致しているため、現実の走行状況に応じて虚像４０の視認性を確保することが可能である。

一例としては、判定領域の輝度情報を１０段階評価に分類し、表示領域５３ａ，５３ｂ，５３ｃに重ね合わされる虚像４０の光強度を調整し、輝度情報に対応したコントラストでの虚像４０の投影を行うことが挙げられる。また別の例としては、判定領域の色調情報を色相図や色度図で分類し、補色となる色で虚像４０の投影を行うなどが挙げられる。

また、通常時には警告色である赤色や黄色、視感度が高い緑色で虚像４０の投影を行い、判定領域の色調情報が赤色や黄色、緑色である場合に、背景と虚像４０が同系色とならないように他の色での投影に切り替えるなどが挙げられる。また、判定領域の色調と虚像４０の表示色を予め対応付けて記録しておき、雪道で判定領域の色調情報が白である場合には赤色で投影し、紅葉や夕焼け時で色調情報が赤やオレンジの場合には緑色や青色で投影するなどでもよい。

画像調整部６３が画像投影部１０から投影される画像情報を調整し、虚像４０の輝度または色調を変更した後にステップＳ６に移行する。

ステップＳ６は、虚像４０の投影を継続するかを判断する投影継続判断工程である。投影を継続する場合にはステップＳ１に移行し、継続しない場合には画像投影部１０からの虚像４０の投影を止めて終了する。

上述したように、本実施形態の画像投影システムおよび画像投影方法では、外部状況撮像部５０で外部画像を撮像し、判定領域内の画像を分析した結果に基づいて、表示画像を調整して画像投影部１０から投影する。これにより、搭乗者ｅが実際に視認している視界範囲での背景と虚像４０の重ね合わせを把握し、様々な走行状況においても、背景と重ね合わせて投影される虚像４０の視認性を確保することが可能である。

また、判定領域の輝度情報または色調情報に対応して、画像投影部１０から投影される虚像４０の画像情報を調整することで、様々な状況にリアルタイムで適切に虚像４０の投影を制御可能であり、より虚像４０の視認性を高めることができる。

（第２実施形態）
次に、本発明の第２実施形態について図５を用いて説明する。第１実施形態と重複する内容は説明を省略する。図５は、本実施形態に係る画像投影システムにおいて外部状況撮像部５０が撮像した外部画像と表示領域の関係を示す模式図であり、図５（ａ）は判定領域５２内に設けた複数の表示領域５３ａ～５３ｃを示し、図５（ｂ）は表示領域５３ａ～５３ｃに対応したサブ判定領域５４ａ～５４ｃを示している。

図５（ａ）（ｂ）に示したように、本実施形態では判定領域５２中に複数の表示領域５３ａ～５３ｃが存在しており、それぞれの表示領域５３ａ～５３ｃに対応した位置とサイズでサブ判定領域５４ａ～５４ｃを設定する。ここでは判定領域５２の内部にサブ判定領域５４ａ～５４ｃが含まれる例を示しているが、判定領域５２の外部に表示領域５３ａ～５３ｃおよびサブ判定領域５４ａ～５４ｃを設けるとしてもよい。

サブ判定領域５４ａ～５４ｃは、表示領域５３ａ～５３ｃに対応した位置に設定されており、それぞれが表示領域５３ａ～５３ｃを内包するように設定されている。また、判定領域５２とサブ判定領域５４ａ～５４ｃは排他的に用いられるものではなく、各々独立して画像判定部６２で設定されて分析される対象である。

本実施形態では、ステップＳ４の画像判定工程において、画像判定部６２が各表示領域５３ａ～５３ｃに対応したサブ判定領域５４ａ～５４ｃと、全ての表示領域５３ａ～５３ｃを含む判定領域５２を設定する。また画像判定部６２は、判定領域５２およびサブ判定領域５４ａ～５４ｃの各々について輝度情報と色調情報を取得する。

また、ステップＳ５の画像調整工程において、画像調整部６３は、画像判定部６２が判定領域を分析して取得したサブ判定領域５４ａ～５４ｃの各々の輝度情報と色調情報に基づいて、表示領域５３ａ～５３ｃの各々の画像情報を調整する。このとき画像調整部６３は、表示画像（虚像４０）の画像処理によって表示領域５３ａ～５３ｃの画像情報を個別に調整することが好ましい。

一例としては、各領域の輝度情報に基づいて、背景が表示領域５３ａ，５３ｂでは暗いが表示領域５３ｃでは明るい場合には、表示領域５３ａ，５３ｂよりも表示領域５３ｃで輝度が高くなるように画像処理を行う。また、各領域の色調情報に基づいて、背景の色調が表示領域５３ａ，５３ｂ，５３ｃで異なっている場合には、それぞれの表示領域５３ａ，５３ｂ，５３ｃの色調を変えるように画像処理を行う。また、サブ判定領域５４ａ～５４ｃにおける輝度情報と色調情報を単独で用いるのではなく、判定領域５２も含めて複数の輝度情報と色調情報を関連付けて画像情報の調整をするとしてもよい。

本実施形態では、複数のサブ判定領域５４ａ～５４ｃの各々において輝度と色調を把握して、各表示領域５３ａ～５３ｃで個別に輝度と色調を調整することで、様々な走行状況においても、背景と重ね合わせて投影される虚像４０の視認性を確保することが可能である。

（第３実施形態）
次に、本発明の第３実施形態について説明する。第１実施形態と重複する内容は説明を省略する。第１実施形態では、画像投影部１０が撮像した１枚の外部画像に基づいて画像情報の調整を行ったが、本実施形態では複数枚の外部画像を撮像して画像情報の調整を行う点が異なっている。

本実施形態では、ステップＳ１の外部状況撮像工程において、外部状況撮像部５０は単位時間あたりに複数枚の外部画像を撮像する。例えば１秒間に５枚撮像や３秒間に２０枚撮像など、単位時間と撮像枚数は限定されない。ステップＳ２の画像投影工程と、ステップＳ３の表示領域特定工程は、第１実施形態と同様である。

ステップＳ４の画像判定工程では、第１実施形態と同様に画像判定部６２は複数枚の外部画像について判定領域を設定し、予め定められた判定期間内に撮像された複数の外部画像の各々について、判定領域内の画像を分析して代表となる輝度情報および色調情報を取得する。例えば、外部画像の１枚毎に判定領域から輝度情報と色調情報を取得し、過去１秒間に取得された輝度情報と色度情報の平均値を代表とする方法が挙げられる。

ステップＳ５の画像調整工程では、画像判定工程で取得された代表の輝度情報と色調情報に基づいて、画像情報の調整と画像投影部１０からの光照射が行われる。ステップＳ６の投影継続判断工程も第１実施形態と同様に実行する。図４では、ステップＳ２として画像投影工程を外部状況撮像工程の後に実行する例を示したが、ステップＳ５の画像調整工程後に画像投影工程を実行するとしてもよい。また、他の工程についても実行する順序を適宜入れ替えるとしてもよい。

本実施形態の画像投影システムおよび画像投影方法では、判定期間に撮像された複数枚の外部画像から代表となる輝度情報および色調情報を取得しているため、判定期間における移動平均値で緩やかな変化で画像情報の調整を実施できる。これにより、例えば並木道を走行している際に路面に樹木の影が点在しているような、判定領域内の背景が一時的に急激に変化する状況などにおいて、虚像４０の輝度や色調が急激に変化することを抑制できる。

虚像４０の輝度や色調が急激に変化すると、搭乗者ｅには虚像４０が明滅しているように視認され、却って視認性が低下してしまう。したがって、判定期間内に撮像された複数の外部画像に基づいて画像情報の調整を行うことで、より一層、様々な状況で適切に虚像４０の画像情報を調整することができ、虚像４０の視認性を高めることができる。

（第３実施形態の変形例）
第３実施形態では、判定期間を予め定めておいたが、判定期間を条件に応じて可変に設定するとしてもよい。例えば、複数枚の外部画像において、輝度情報と色調情報の変化周期を算出して、変化周期に応じて判定期間を設定するとしてもよい。

また、虚像４０として投影する画像情報の内容に基づいて、判定期間を設定するとしてもよい。例えば、虚像４０として投影する画像を緊急性でランク分けしておき、ランクに応じて判定期間を設定する。搭乗者ｅに対して迅速に情報提示する必要性が高い画像を投影する場合には、判定期間を短くして瞬時に虚像４０の視認性を向上させることが好ましい。

また、状況取得部６４から外部の状況を状況情報として取得し、状況情報に基づいて判定期間を設定するとしてもよい。例えば、状況取得部６４として車速センサーを用い、状況情報として車両の走行速度を取得し、走行速度に応じて判定期間を設定する。これにより、高速走行時には判定期間を短くして画像情報の調整を即時に反映し、低速走行時には判定期間を長くして緩やかに画像情報の調整を行うことができる。

本変形例では、判定期間を条件に応じて可変に設定するため、状況の変化に柔軟に対応して、虚像４０の視認性を高めることができる。

（第４実施形態）
次に、本発明の第４実施形態について図６～図１０を用いて説明する。第１実施形態と重複する内容は説明を省略する。図６は、本実施形態に係る画像投影システムの構成を示す模式図である。図７は、本実施形態に係る画像投影システムの構成を示すブロック図である。

図６，７に示すように本実施形態の画像投影システムでは、画像投影部１０と、投影光学部２０と、透過反射部３０と、外部状況撮像部５０と、情報処理部６０を備えて、虚像４０を投影して空間上に結像する。また情報処理部６０は、画像投影部１０および外部状況撮像部５０との間で情報通信可能に接続されている。本実施形態では、外部状況撮像部５０が可視光撮像部５０ａと、赤外光撮像部５０ｂと、赤外パルス光源５０ｃとを備えている。

可視光撮像部５０ａは、透過反射部３０を介して外部の状況を可視光で撮像し、可視光画像を取得する撮像装置である。赤外光撮像部５０ｂは、透過反射部３０を介して外部の状況を赤外光で撮像し、赤外光画像を取得する撮像装置である。可視光撮像部５０ａおよび赤外光撮像部５０ｂの構成は限定されず、ＣＣＤセンサーやＣＭＯＳセンサー等の公知の撮像装置を用いることができる。

図６では、可視光撮像部５０ａと赤外光撮像部５０ｂを別体で設けた例を示しているが、ＣＣＤセンサーやＣＭＯＳセンサー等の１つの画像センサー中に、可視光用サブピクセルと赤外光用サブピクセルを混在させるとしてもよい。具体的には、１画素に４つ以上のサブピクセルを設け、３つのサブピクセルにはＲＧＢのカラーフィルターを配置し、１つにはカラーフィルターを配置しない構成としてもよい。これにより、ＲＧＢカラーフィルターを設けたサブピクセルで可視光撮像部５０ａを構成し、カラーフィルターを設けないサブピクセルで赤外光撮像部５０ｂを構成することができ、一つの画像センサーで可視光画像と赤外光画像を撮像することが可能となる。

赤外パルス光源５０ｃは、パルス状に赤外光を発光する光源装置である。赤外パルス光源５０ｃの構成は限定されないが、波長幅とパルス幅が小さいパルス光を良好に発光するためには、赤外レーザ光源をパルス駆動することが好ましい。

本実施形態では、赤外パルス光源５０ｃが赤外パルス光を外部に向けて発光することで、赤外光撮像部５０ｂは反射してきた赤外パルス光により赤外光画像を撮像できる。可視光撮像部５０ａでは、通常の撮像と同様に自然光や前照灯の可視光を受光して可視光画像を撮像できる。外部状況撮像部５０は、可視光画像と赤外光画像を含めた外部画像を情報処理部６０に伝達する。

図８は、本実施形態に係る画像投影システムにおける判定領域と表示領域の関係を示す模式図であり、図８（ａ）は可視光画像における判定領域５２ａを示し、図８（ｂ）は赤外光画像における判定領域５２ｂを示し、図８（ｃ）は可視光画像と赤外光画像の比較画像５２ｃを示し、図８（ｄ）は背景と虚像４０を重ね合わせた搭乗者ｅの視点画像５２ｄを示している。図９は、本実施形態に係る画像投影方法の手順について説明するフローチャートである。図１０は、本実施形態におけるパルス発光と撮像について説明するタイミングチャートであり、図１０（ａ）は赤外パルス光源５０ｃの発光タイミングを示し、図１０（ｂ）は赤外光撮像部５０ｂの撮像タイミングを示し、図１０（ｃ）は可視光撮像部５０ａの撮像タイミングを示している。本実施形態の画像投影方法は以下の手順でステップＳ１１から実行される。

ステップＳ１１は、赤外パルス光源５０ｃから外部に赤外パルス光を照射する赤外パルス発光工程である。図１０（ａ）に示したように、情報処理部６０は、赤外パルス光源５０ｃを制御して所定パルス幅の赤外光を外部に照射し、ステップＳ１２に移行する。

ステップＳ１２は、赤外光撮像部５０ｂで赤外光画像を撮像する赤外画像撮像工程である。図１０（ｂ）に示したように情報処理部６０は、赤外パルス光源５０ｃの発光終了からΔＴ１（第１遅延時間）が経過したタイミングで赤外光撮像部５０ｂにシャッター制御の信号を送り、背景で反射してきた赤外光で赤外光画像を撮像する。赤外光画像の撮像後にステップＳ１３に移行する。

ステップＳ１３は、可視光撮像部５０ａで可視光画像を撮像する可視光画像撮像工程である。図１０（ｃ）に示したように情報処理部６０は、赤外光撮像部５０ｂの赤外光画像撮像終了からΔＴ２（第２遅延時間）が経過したタイミングで可視光撮像部５０ａにシャッター制御の信号を送り、背景で反射してきた可視光で可視光画像を撮像する。可視光画像の撮像後にステップＳ１４に移行する。なお、ΔＴ１（第１遅延時間）とΔＴ２（第２遅延時間）は同じ時間であってもよい。また、ΔＴ２（第２遅延時間）を設けず、可視光画像の撮像中に赤外光画像の撮像を実行するとしてもよい。

ステップＳ１２で撮像した赤外光画像とステップＳ１３で撮像した可視光画像は、情報処理部６０に伝達され、可視光画像と赤外光画像を含めた外部画像として情報処理が行われる。ここで、ステップＳ１１からステップＳ１３までは、外部画像に含まれる赤外光画像と可視光画像を撮像する工程であるため、本願発明における外部状況撮像工程に相当している。

図８（ａ）に示すように、可視光画像は可視光を可視光撮像部５０ａで受光して撮像されたものであるため、背景からの可視光が不十分である領域（図中左側）で鮮明な外部画像が得られない場合がある。単に露出不足である場合には、外部画像の露出補正を行うことも可能であるが、雨や濃霧などの気象条件によっては背景を撮像できず補正が不可能となる。また、露出補正で得られる画像ではノイズが増加するため鮮明な画像を得にくい。

それに対して図８（ｂ）に示した赤外光画像では、赤外パルス光源５０ｃから照射したパルス光の反射を撮像しているので、パルス光の照射から反射光が戻ってくるまでの時間で赤外光撮像部５０ｂのシャッターを切ることで、背景を鮮明に撮像することができる。また、赤外パルス光源５０ｃの発光から複数のタイミングで赤外光撮像部５０ｂのシャッターを切り、得られた複数の画像を重ね合わせることで、異なる距離の背景を鮮明に赤外光画像として撮像することができる。

ステップＳ１４は、画像投影部１０から画像情報を含んだ光を照射して、所定位置に虚像４０を結像させる画像投影工程である。虚像４０を投影した後にステップＳ１５に移行する。ステップＳ１５は、外部画像において表示画像が重ね合わせて投影される領域を表示領域として特定する表示領域特定工程である。本実施形態では、後述する画像判定工程および特徴領域抽出工程で抽出した比較画像５２ｃに基づいて、投影する虚像４０の照射位置と内容が決まるため、虚像４０が投影され得る領域を予め表示領域として設定しておく。表示領域特定部６１が外部画像において表示領域を特定した後にステップＳ１６に移行する。

ステップＳ１６は、外部画像において表示領域を含む判定領域を設定し、判定領域内の画像を認識して分析する画像判定工程である。本実施形態では、虚像４０を照射する可能性がある領域を表示領域としているため、画像判定部６２は表示領域の全域を判定領域として設定し、ステップＳ１７に移行する。

ステップＳ１７は、可視光画像と赤外光画像の差分に基づいて特徴領域を抽出する特定領域抽出工程である。搭乗者ｅが実際に視認している背景は、可視光画像として撮像されたものと同等であるため、搭乗者ｅは可視光が不十分な領域の背景を認識できない。また、赤外光画像はモノクロ画像として取得されるため、背景から注意喚起する対象を搭乗者ｅが認識しにくい。そこで本実施形態では、画像判定部６２が、図８（ａ）の可視光画像における判定領域５２ａと、図８（ｂ）の赤外光画像における判定領域５２ｂを比較して分析を行う。

図８（ｃ）は、判定領域５２ａ，５２ｂにおいて、可視光画像と赤外光画像を比較し、差分を特徴領域５５として抽出した比較画像５２ｃである。比較画像５２ｃには、可視光画像と赤外光画像の両方で撮像された背景部分は取り除かれ、差分である特徴領域５５のみが含まれる。画像判定部６２が、比較画像５２ｃと特徴領域５５を取得した後に、ステップＳ１８に移行する。

ステップＳ１８は、画像判定工程および特徴領域抽出工程での分析結果に基づいて、画像投影部１０から投影される虚像４０の画像情報を調整する画像調整工程である。画像調整部６３は、画像判定部６２が抽出した特徴領域５５を画像情報に重ね合わせて合成し、画像投影部１０から投影する。また、画像判定部６２は、可視光画像の判定領域５２ａについて第１実施形態と同様に輝度情報および色調情報を取得しておき、画像調整部６３は特徴領域５５の輝度および色調を調整するとしてもよい。

このとき、特徴領域５５の照射位置は、赤外光画像中における位置と可視光画像における位置と搭乗者ｅからの視界位置が一致するように設定する。これにより図８（ｄ）に示したように、搭乗者ｅの視点位置からの視点画像５２ｄは、背景に特徴領域５５を重ね合わせたものとなり、可視光だけでは視認が困難な対象物を搭乗者ｅに提示することができる。また、現実の背景と重ね合わせた特徴領域５５の虚像４０について、輝度や色調を調整することで、赤外光画像をそのまま投影するよりも視認性を向上させることができる。

ステップＳ１９は、虚像４０の投影を継続するかを判断する投影継続判断工程である。投影を継続する場合にはステップＳ１に移行し、継続しない場合には画像投影部１０からの虚像４０の投影を止めて終了する。図９では、ステップＳ１４として画像投影工程を可視光画像撮像工程の後に実行する例を示したが、ステップＳ１８の画像調整工程後に画像投影工程を実行するとしてもよい。また、他の工程についても実行する順序を適宜入れ替えるとしてもよい。

上述したように、本実施形態の画像投影システムおよび画像投影方法では、外部状況撮像部５０で可視光画像と赤外光画像を含む外部画像を撮像し、判定領域内の画像を分析して得られた特徴領域５５に基づいて、表示画像を調整して画像投影部１０から投影する。これにより、視聴者ｅが肉眼で目視ができない対称についても、背景と虚像４０を重ね合わせて提示することができる。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の
変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて
得られる実施形態についても本発明の技術的範囲に含まれる。

１０…画像投影部
２０…投影光学部
３０…透過反射部
４０…虚像
５０…外部状況撮像部
６０…情報処理部
５０ａ…可視光撮像部
５０ｂ…赤外光撮像部
５０ｃ…赤外パルス光源
５１…外部画像
５２，５２ａ，５２ｂ…判定領域
５２ｃ…比較画像
５２ｄ…視点画像
５３ａ～５３ｃ…表示領域
５４ａ～５４ｃ…サブ判定領域
５５…特徴領域
６１…表示領域特定部
６２…画像判定部
６３…画像調整部
６４…状況取得部

Claims

透光性の部材で構成された透過反射部と、
前記透過反射部の内側面に対して画像情報を含んだ光を照射して表示画像を投影する画像投影部と、
前記透過反射部よりも外部の状況を外部画像として撮像する外部状況撮像部と、
前記外部画像における前記表示画像が投影される表示領域を特定する表示領域特定部と、
前記表示領域を含んだ判定領域を設定し、前記外部画像における前記判定領域内の画像を認識して分析する画像判定部と、
前記画像判定部の分析結果に基づいて前記画像情報を調整する画像調整部を備え、
前記画像判定部は、前記画像情報の内容に基づいて判定期間を設定し、前記判定期間内における前記判定領域内の複数の画像を分析することを特徴とする画像投影システム。
透光性の部材で構成された透過反射部と、
前記透過反射部の内側面に対して画像情報を含んだ光を照射して表示画像を投影する画像投影部と、
前記透過反射部よりも外部の状況を外部画像として撮像する外部状況撮像部と、
前記外部画像における前記表示画像が投影される表示領域を特定する表示領域特定部と、
前記表示領域を含んだ判定領域を設定し、前記外部画像における前記判定領域内の画像を認識して分析する画像判定部と、
前記画像判定部の分析結果に基づいて前記画像情報を調整する画像調整部と、
車両の走行速度を取得する車速センサーを備え、
前記画像判定部は、前記走行速度に基づいて判定期間を設定し、前記判定期間内における前記判定領域内の複数の画像を分析することを特徴とする画像投影システム。
請求項１または２に記載の画像投影システムであって、
前記表示領域および前記判定領域を複数備えることを特徴とする画像投影システム。
請求項１から３の何れか一つに記載の画像投影システムであって、
前記画像判定部は、前記判定領域内の輝度情報を取得し、
前記画像調整部は、前記輝度情報に基づいて前記画像情報の輝度を調整することを特徴とする画像投影システム。
請求項１から４の何れか一つに記載の画像投影システムであって、
前記画像判定部は、前記判定領域内の色調情報を取得し、
前記画像調整部は、前記色調情報に基づいて前記画像情報の色調を調整することを特徴とする画像投影システム。
請求項１から５の何れか一つに記載の画像投影システムであって、
前記外部状況撮像部は、可視光により可視光画像を撮像する可視光撮像部と、赤外光により赤外光画像を撮像する赤外光撮像部を備え、
前記外部画像は、前記可視光画像および前記赤外光画像を含むことを特徴とする画像投影システム。
請求項６に記載の画像投影システムであって、
前記赤外光撮像部は、前記赤外光をパルス状に照射する赤外パルス光源を備え、
前記赤外パルス光源の発光終了から第１遅延時間が経過した後に、前記赤外光画像を撮像することを特徴とする画像投影システム。
請求項７に記載の画像投影システムであって、
前記赤外光画像の撮像終了から第２遅延時間が経過した後に、前記可視光画像を撮像することを特徴とする画像投影システム。
請求項６から８の何れか一つに記載の画像投影システムであって、
前記画像調整部は、前記赤外光画像の少なくとも一部を前記画像情報に重ね合わせることを特徴とする画像投影システム。
請求項９に記載の画像投影システムであって、
前記画像判定部は、前記可視光画像と前記赤外光画像の差分に基づいて特徴領域を抽出し、前記画像調整部は前記特徴領域を前記画像情報に重ね合わせることを特徴とする画像投影システム。
請求項６から１０の何れか一つに記載の画像投影システムであって、
前記赤外光撮像部と前記可視光撮像部は、１つの画像センサー中に、可視光用サブピクセルと赤外光用サブピクセルを混在させて構成されることを特徴とする画像投影システム。
請求項１から１１の何れか一つに記載の画像投影システムであって、
前記透過反射部は、車両のウィンドシールドであることを特徴とする画像投影システム。
透光性の部材で構成された透過反射部の内側面に対して画像情報を含んだ光を照射して表示画像を投影する画像投影工程と、
前記透過反射部よりも外部の状況を外部画像として撮像する外部状況撮像工程と、
前記外部画像における前記表示画像が投影される表示領域を特定する表示領域特定工程と、
前記表示領域を含んだ判定領域を設定し、前記外部画像における前記判定領域内の画像を認識して分析する画像判定工程と、
前記画像判定工程の分析結果に基づいて前記画像情報を調整する画像調整工程を備え、
前記画像判定工程は、前記画像情報の内容に基づいて判定期間を設定し、前記判定期間内における前記判定領域内の複数の画像を分析することを特徴とする画像投影方法。
透光性の部材で構成された透過反射部の内側面に対して画像情報を含んだ光を照射して表示画像を投影する画像投影工程と、
前記透過反射部よりも外部の状況を外部画像として撮像する外部状況撮像工程と、
前記外部画像における前記表示画像が投影される表示領域を特定する表示領域特定工程と、
前記表示領域を含んだ判定領域を設定し、前記外部画像における前記判定領域内の画像を認識して分析する画像判定工程と、
前記画像判定工程の分析結果に基づいて前記画像情報を調整する画像調整工程と、
車両の走行速度を取得する車速取得工程を備え、
前記画像判定工程は、前記走行速度に基づいて判定期間を設定し、前記判定期間内における前記判定領域内の複数の画像を分析することを特徴とする画像投影方法。