JP4840611B2 - 車両用画像形成装置 - Google Patents

Description

本発明は、各種画像表示手段に表示するための画像を形成する画像形成装置に関する。

近年、フラットパネルディスプレイ（ＦＰＤ）の普及が進み、車両のインストルメントパネル（以下、「インパネ」という）に対しても液晶パネルなどのフラットパネルディスプレイが利用されつつある。特許文献１には、フラットパネルディスプレイの１つである有機ＥＬディスプレイにアナログ式のメータ画像などの計器類を表示することが開示されている。また、特許文献２には、各種パネル状の画像表示器に、従来、機械式で行われていた速度計などの各種計器類を、アナログ式メータ画像に模して表示することを開示している。

特に、この特許文献２は、アナログ式メータ画像の外周に沿ったリングに光沢をもたせて視覚的な高級感を演出するものとなっている。また、近年、フラットパネルディスプレイの性能向上は目覚ましく、日光の元でも視認可能なものも登場している。このようなフラットパネルディスプレイをインパネとして用いれば、直射日光を避けるためインパネをシェードなどで覆う必要もなく、車内インテリアデザインは格段に向上することが期待できる。
特開２００７−９１１５２号公報 特開２００４−１５７４３４号公報

車両装置のインパネにおけるフラットパネル化は、デザインの向上など利点も多いが、従来からの機械式計器類と異なり、画面出力である為のっぺりとした造形になり、デザインの演出方法は制限される。陰影を付した立体的なデザインや、光沢デザインも可能ではあるが、移動に伴って方角を変える車両では、インパネに入射する各種光源からの入射光も刻々と変化することとなるため、本来光源の移動に伴って変化するはずの陰影、光沢、コントラスト、輝度が変化しないため違和感を生むこととなる。また、シェードなどを設けることなく日光の元にさらされるインパネ配置を採用することになると、その違和感は更に増すこととなる。

上記課題を解決するため、請求項１における画像形成装置では、画像を作成して画像表示手段に表示する画像作成手段を備える画像形成装置であって、画像作成手段は、撮像手段が撮影した画像に基づいて、光源から画像表示手段への入射光の入射角度を算出し、算出した入射角度に基づいてライティング効果を行うことを特徴としている。

請求項２における画像形成装置では、画像作成手段は、前記撮影された画像の光源に基づいて、光源から画像表示手段への入射光の入射角度を算出することを特徴としている。

請求項３における画像形成装置では、画像作成手段は、前記撮影された画像の影に基づいて、光源から画像表示手段への入射光の入射角度を算出することを特徴としている。

請求項４における画像形成装置では、画像作成手段は、前記撮影された画像の光源の光強度を検出し、検出した光強度に基づいてライティング効果を行うことを特徴としている。

請求項５における画像形成装置では、画像作成手段は、車両に搭載され、該画像作成手段は、入射角度と車両形状に基づいて、画像表示手段表面上の照度分布を算出し、算出した照度分布に基づいてライティング効果を行うことを特徴としている。

請求項１に係る発明によれば、画像表示手段に差し込む入射光の入射角度を認識し、画像の陰影や、光沢といったライティング効果を入射角度によって変化させることが可能となり、視認者に対し現実感のあるデザインを提供することができる。

請求項２に係る発明によれば、光源を含んで撮影された画像に基づいて、光源から画像表示手段への入射光の入射角度が算出可能となる。

請求項３に係る発明によれば、影を含んで撮影された画像に基づいて、光源から画像表示手段への入射光の入射角度を算出することが可能となる。

請求項４に係る発明によれば、入射光の入射角度に加えて、光源の光強度に基づいてライティング効果を変化させることが可能となり、視認者に対しさらに現実感のあるデザインを提供することができる。

請求項５に係る発明によれば、入射光の入射角度に加えて、画像表示手段の表面上の照度分布に基づいてライティング効果を変化させることが可能となり、視認者に対しさらに現実感のあるデザインを提供することができる。

図１は、各種光源２の下に位置する車両１を示した図である。１は車両、２は光源、３は光源からの光を示している。車両１は、その前方をある方向に向けた状態で位置している。光源２としては、日中であれば太陽が、夜間であれば街灯による比較的明るい照明などが考えられる。光源２からの入射光３は、車両１が向く方向に対し所定の角度で入射されることとなるが、その角度は、移動に伴う車両１の向きの変化によって時事刻々と変化する。

図２は、車両１の内部を模式的に示した図であり、４は運転席、５は本発明における画像表示手段としてのインパネを示している。インパネ５は、液晶パネル、プラズマパネル、有機ＥＬパネルなどを用いたフラットパネルディスプレイで構成される。そして、その画面には、図示しないが、従来、機械式の計器で構成されていた、車速計、回転計、燃料計、水温計などの各種計器が、コンピュータグラフィクスの分野でいうオブジェクトを用いて画像形成される。

例えば車速計では、速度が記載された表示板、指針、メータの縁など、それぞれがオブジェクトにて形成され、これらを組み合わせることで画像による車速計が構成されることとなる。この車速計の計器は、車両１から受信する車速パルスに基づき、表示板上で速度表示(コメント: 回転メーター式に限らない為)するように画像作成され、従来の車速計と視覚的に同様の動きを実現する。なお、画像を構成するオブジェクトは２次元、３次元のどちらを用いても構わない。

上述した各種計器以外にも、ナビゲーションの画面や各種情報を表示する画面などをインパネ５中の一部に表示可能とし、これらの画面に対して立体的な縁を施すようにしてもよい。また、ナビ画面内で表示する建造物についても従来から行われているよう３次元的な表示を行うことも考えられる。

本発明においては、こういった、各種計器、画面の縁、ナビ画面内の建造物など、インパネ５中に表示される立体的な表示に対して現実感を付与するため、陰影処理、光沢処理などのライティング効果が施されることとなる。このライティング効果は、オブジェクトを利用した画像形成と併せて実行され、出力画像が形成されることとなる。

図中、５は運転席４の前面に配置されたインパネであって、本発明における画像表示装置に相当する。車両１の移動に伴って、車両１に対する光源２の相対位置が変化することとなると、車両１内に配置されているインパネ５に対する入射光の入射角度もそれらにあわせて変化する。本発明では、この光源２からの光３の画像表示手段５への入射角度の変化に追従してライティング効果を変更することを特徴としている。

物体に光源からの光を照射した場合に視覚的効果として発生するライティング効果には、主として陰影、光沢、輝度、コントラストに対する視覚的効果などがある。入射光３の入射角度が変化すれば、主に陰影、光沢に対する視覚的変化は大きいものとなる。コンピュータグラフィクスの分野において、陰影に対して視覚的効果を付与する陰影処理と、光沢に対して視覚的効果を付与する光沢処理、および、コントラスト、輝度処理について紹介しておく。

物体の陰は、光源と反対方向に形成されるものであるから、物体の左から入射光が入れば物体の右に、右から入れば物体の左に、上から入れば物体の下に陰を形成する。また、陰の長さは、物体の高さと入射角度を考慮して付与することとなる。基本的には、これらを考慮することで陰影処理が行われる。また、物体面での光の反射を考慮することで、よりリアルに陰影を付与する陰影処理も行われている。

光沢処理では、物体面での光の反射を模擬するハイライト部分を付与する。このハイライト部分は、光源が左なら左、右なら右という具合に光源の方向に向けて描かれることとなる。また、ハイライト部分の大きさは、光源から近い部分のハイライトを大きめに、遠い部分のハイライトを小さめに描くと立体感は増加する。

また、ライティング効果では、物体面に入射する光の入射角度以外に、光の強度の違いにも影響を受けることとなる。光源からの光の強度が大きい場合、物体面での光の照射部分と陰の部分のコントラスト、または輝度の差は大きくなり、また、ハイライト部分の輝度も大きくなる。物体面に対する光の強度の違い、すなわち、照度分布を考慮してライティング効果を付与すれば、さらに現実感のある画像を形成することが可能となる。本発明では、以上のようなライティング効果を付与することにより、実際の光源位置に応じて変化する現実感のある画像を利用者に提供できることとなる。

なお、前述したように陰影処理、光沢処理、コントラスト、輝度処理に分けて処理するのではなく、例えば、オブジェクトを３次元データにて構成し、光源から視点までの光路を計算してライティング効果の付与された画像を形成するようにしてもよい。また、オブジェクトに立体的な視覚効果を施した２次元画像を用いる場合には、予め用意した陰影画像、ハイライト画像を付与することとなる。本発明においては、このような３次元、２次元のオブジェクトで画像作成することを問うものではなく、視覚的にライティング効果が施される構成であれば構わない。

では、本発明における車両用画像形成装置の主要構成を説明する。図３は、車両１全体のシステム構成を示しており、１は自車としての車両、２０はインパネ入射光予測ＥＣＵ、３０はインパネ画像処理ＥＣＵ（本発明における画像作成手段）である。

車両１には、フラットパネルディスプレイを用いたインパネ５が車両１内に配置される。そして、車載カメラ６(撮像手段)には、ドライブレコーダ用として車両１の前方を撮像する前方カメラ６１(前方撮像手段)、バックガイドモニタ用として車両１の後方を撮像する後方カメラ６２(後方撮像手段)、アラウンドビュー用としてのサイドカメラ６３（周辺撮像手段）などがある。各車載カメラ６は、それが有する画角に基づく視野にて車両１の周囲を撮影する。本実施形態では、このような撮影目的を有する既存の車載用カメラ６を流用することとしたが、別途、光源位置を検出するための専用の光源検出カメラ（光源撮像手段）として車載用カメラ６を設けても構わない。

インパネ入射光予測ＥＣＵ２０は、画像解析部２１と、インパネ入射光予測部２２，車両形状である自車形状を蓄える（EQ08-034も同様に修正ください）自車形状ＤＢ２３、影パターンＤＢ２４などを備える。

画像解析部２１は、車載カメラ６が撮影する画像を解析して、画像中の光源２の位置、影のパターン、光源２の光強度を取得する。この解析には、光源２を含んで撮影された画像を用いる場合と、光源２により形成された自車１の影を含んで撮影された画像を用いる形態がある。

光源２を含んで撮影された画像を用いた場合、画像中、太陽、街灯などの輝度の大きい位置を光源２の位置として特定することとなる。例えば、輝度が閾値以上となる画像中の位置によって特定することとなる。太陽など輝度の大きい光源２を撮影する場合、光源位置を特定することが困難となることがある場合には、光源位置を特定できるよう車載カメラ６のシャッタースピードやレンズの絞りを調整するようにしてもよい。

また、この光源２を含んで撮影された画像から光源２による光の強度を算出してもよい。この光の強度は、光源位置として判断した画像の位置の輝度を用いて算出されることとなる。車載カメラ６のシャッタースピードやレンズの絞りを調整した場合には、調整されたシャッタースピード、絞りを考慮して強度を算出することとなる。

次に、自車１の影を含んで撮影された画像から影のパターンと、光源２の強度を算出する形態について説明する。この場合、光源２により形成される自車１の影パターンを抽出することとなる。その抽出方法としては、画像中輝度差の大きい境界が形成する形状を影パターン、すなわち、光源２からの光が当たっている部分と、光が当たっていない部分で形成されるパターンとして抽出する。その際、光が当たっている部分、光が当たっていない部分のどちらかに基づいて、光源２の光の強度を予測して算出するようにしてもよい。

インパネ入射光予測部２２では、画像解析部２１が解析した、画像中における光源２の位置、影のパターン、光源２の光の強度から、インパネ５に差し込む入射光３の入射角度、照度分布を算出する。

インパネ５への入射光３の入射角度は、画像中における光源２の位置、あるいは、影のパターンによって算出することが可能である。画像中における光源２の位置を利用する場合、車載カメラ６の撮影方向、視野、画角などは予め分かっているため、これらを参照することで自車１に対する光源２の位置が特定できる。自車１に対する光源２の位置が分かれば、車内におけるインパネ５の位置を参照することにより、インパネ５に差し込む入射光の入射角度も算出できることとなる。

一方、影のパターンを利用する場合においても、車載カメラ６の撮影方向、視野、画角は予め分かっているため、自車形状ＤＢ２３に記憶している自車１の外部形状、あるいは、影パターンＤＢ２４を参照することで自車１に対する光源２の位置は特定できる。

すなわち、車両１の外形により形成される影のパターンは、車両１の外形と光源２の位置で決まるものであるから、影の形状と車両１の形状が分かれば、車両１と光源２の相対位置は特定される。その際、自車形状ＤＢ２３に記憶する自車１の形状を利用してもよいし、自車１の形状を利用することなく、予め作成したおいた車両１と光源２の相対位置に対応させて影パターンを作成し、作成した影パターンと画像解析部２１が解析した影パターンを照合することで車両１と光源２の相対位置を算出するようにしてもよい。自車１に対する光源２の位置が分かれば、車内におけるインパネ５の位置を参照することにより、インパネ５に差し込む入射光の入射角度も算出できる。

インパネ画像処理ＥＣＵ３０は、表示画像処理決定部３１と、表示画像描画エンジン３２とを備えている。表示画像処理決定部３１は、インパネ入射光予測ＥＣＵ２０から取得した情報に基づき、どのようにライティング効果を付与するか、ライティング効果のコントロール量などを決定する。

表示画像描画エンジン５３は、インパネ５上の画像を構成する各種オブジェクトに対して、表示画像処理決定部５２で決定した、陰影処理、光沢処理、コントラスト、輝度処理といったライティング効果が付与された出力画像を作成してインパネ５に出力することとなる。

図４から図６は、本発明の車載カメラ６による撮影の様子を示した図である。いずれの図も、車載カメラ６を車両１の後部に設けた状態となっており、車載カメラ６は、所定の画角７にて視野Ａを形成し画像を撮影する。

図４は、車載カメラ６に広角レンズを用いた実施形態となっており、光源２が視野Ａ入っている状態が示されている。この状態で画像を撮影すれば、視野Ａに光源２が入った画像を取得することができる。取得した画像は、インパネ入射光予測ＥＣＵ２０にて前述したように解析される。

図５は、車載カメラ６が、光源２により形成される車両１の影８を撮影する場合を示している。光源２からの入射光３は、車両１の輪郭部分によって、地面に光の当たる部分と当たらない部分の境界を形成する。この境界部分を撮影することで取得した画像は、インパネ入射予測ＥＣＵ２０にて前述のように解析される。

図６は、車載カメラ６に、バックガイドモニタ用の後方カメラなどを流用した場合を示している。バックガイドモニタなど後方障害物の監視や、パーキングの際のガイドを目的として設けられた車載カメラ６は、その本来の目的のため図６（Ａ）に示すよう下方を向いた状態で画像を撮影している。これらの車載カメラ６は、通常、車両１が低速である時、あるいは、バックギアを入れた時に画像を撮影するものであるから通常の走行時には利用されていないこととなる。したがって、このような車載カメラ６を通常走行時における光源２の検出のために用いれば、車載カメラ６を新たに設置することなく光源２を検出することが可能となる。具体的には、車両１の走行状態を検出すると、車載カメラ６の撮影方向を図６（Ｂ）に示すように回動させる。このようにすることで、視野をＡからＡ’のように上方に変化させることができ、通常上方に位置している光源２を視野Ａ’に入れ易くすることが可能となる。

以上、説明した本発明の主要構成に基づいて行われる画像形成処理について説明する。図７は、画像作成処理のフローを示した図である。

画像形成装置の電源がオンになると、画像形成処理が開始される（ステップＳ１００）
と、ステップＳ１０１では、車載カメラ６が撮影する画像内に光源２があるか否かを検出する。複数の車載カメラ６を設けている場合には、いずれか１つの車載カメラ６が撮影する画像内に光源２があればよい。また、光源２を含むか否かの判別は、図３の画像解析部２１にて前述したよう行われることとなる。

画像内に光源２があると判別した場合は、ステップＳ１０２において光源２の位置、光強度を検出することとなる。本発明においては、少なくとも光源２の位置を検出すればよく、光の強度はライティング効果のための補助的に用いられるものである。

ステップＳ１０３では、インパネ５に対する光の入射角度をインパネ入射光予測部２２にて算出する。本発明のライティング効果付与においては、少なくともこの入射角度が必要となる。

ステップＳ１０４では、取得した光の入射角度、並びに自車形状ＤＢ２３に記憶する車両１の形状に基づいて、インパネ５上の照度分布を算出する。この照度分布は、インパネ入射光予測部２２にて行われることとなるが、単に、インパネ５に光が照射されている部分とされていない部分を示す照度分布であってもよいし、ステップＳ１０２にて算出した光強度を参照して、光が照射されている部分とされていない部分のおよその光量を示す照度分布としてもよい。

一方、ステップＳ１０１にて、画像内に光源２がないと判別した場合は、ステップＳ１０５に進み、車載カメラ６が自車１の影の境界を撮影しているか否かが判断される。撮影していないと判断した場合には、光源２が無い、あるいは、光源２の位置を特定することが不可能となっている状態であり、ステップＳ１０１に戻ることとなる。この場合、オブジェクトに対するライティング効果を変化させない、あるいは、付与しないこととする。自車１の影の境界を撮影していると判断できた場合は、ステップＳ１０６に進み、自車１の影から光源２の位置、光強度を検出する。本発明においては、少なくとも光源２に対する自車１の相対位置を検出すればよく、光の強度はライティング効果のための補助的に用いられることとなる。

ステップＳ１０７では、インパネ５に対する光の入射角度をインパネ入射光予測部２２にて算出する。本発明のライティング効果付与においては、少なくともこの入射角度が必要となる。

ステップＳ１０８では、取得した情報、並びに自車形状ＤＢ２３に記憶する車両１の形状に基づいて、インパネ５上の照度分布を算出する。この処理は、インパネ入射光予測部２２にて行われることとなるが、単に、インパネ５に光が照射されている部分とされていない部分を示す照度分布であってもよいし、ステップＳ１０２にて算出した光強度を参照して、光が照射されている部分とされていない部分のおよその光量を示す照度分布としてもよい。

以上、ステップＳ１０１からステップＳ１０８の処理では、インパネ５に対する入射光３の入射角度、入射光の光量、インパネ５の表面上での照度分布を取得することとなる。なお、本実施形態では、ステップＳ１０１にて画像内に光源２があるか否かで、ステップＳ１０２からステップＳ１０４での画像内の光源位置を利用する形態と、ステップＳ１０５からステップＳ１０８での画像内の影の境界を利用する形態に分けることとしたが、この判断を行わずにどちらか一方のみで行うこととしても構わない。

ステップＳ１１０では、以上の処理で取得した少なくともインパネ５に対する入射光３の入射角度を用いてオブジェクトに基づいて形成される画像に対するライティング効果の
コントロール量を決定する。また、補助的には、入射光３の光量、インパネ５の表面上での照度分布を用いてライティング効果のコントロール量を決定する。なお、オブジェクトが２次元である場合には、ライティング効果のために予め用意されている画像パターンを選択することとなる。

ステップＳ１１１では、ステップＳ１１０で決定したライティング効果のコントロール量、あるいは、選択した画像パターンにより、オブジェクトで形成される画像にライティング効果を付与して出力画像を得ることとなる。

以上、ステップＳ１０１からステップＳ１１１の処理は、ステップＳ１１２にて、画像形成装置が電源オフなどによって停止したと判断されるまで繰り返されることとなる。この処理の繰り返しにより、インパネ５上の画像は、光源２からの入射光の入射角度の変化に追従して陰影、光沢などのライティング効果が変化することとなり、インパネ５上で現実感のある画像を表示することが可能となる。なお、本発明では、ライティング効果を行うこととしたが、所定のライティング効果がなされた画像に対して、そのライティング効果を変更するものとしても良く、ライティング効果を行うとはこれらの概念を含む概念で用いている。

以上、本発明によれば、画像表示手段に差し込む入射光の入射角度を認識し、更には、光の強度、あるいは、インパネ上の照度分布を取得することで、画像の陰影や、光沢、コントラスト、輝度といったライティング効果を変化させることが可能となり、視認者に対し現実感のあるデザインを提供することが可能となる。

車両外部における光の差込の様子を示した図。 車両内部における光の差込の様子を示した図。 本発明の車両用画像形成装置の主要構成を示した図。 本発明の車載カメラによる撮影の様子を示した図。 本発明の車載カメラによる撮影の様子を示した図。 本発明の車載カメラによる撮影の様子を示した図。 本発明の画像形成フローを示した図。

符号の説明

１…車両、２…光源、３…入射光、４…運転席、５…インストルメントパネル、６…車載カメラ、７…画角、８…自車の影、６１…前方カメラ、６２…後方カメラ、６３…サイドカメラ、２０…インパネ入射光予測ＥＣＵ、２１…画像解析部、２２…インパネ入射光予測部、２３…自車形状ＤＢ、２４…影パターンＤＢ、３０…インパネ画像処理ＥＣＵ、３１…表示画像処理決定部、３２…表示画像描画エンジン

Claims (4)

1. 画像を作成して画像表示手段に表示する画像作成手段を備える画像形成装置であって、
   画像作成手段は、撮像手段が撮影した画像の影と、車両形状もしくは車両の影パターンに基づいて、光源から画像表示手段への入射光の入射角度を算出し、算出した入射角度に基づいてライティング効果を行う
   車両用画像形成装置。
2. 撮像手段により撮影される画像は、車両の周囲を撮影して得られたものである
   請求項１に記載の車両用画像形成装置。
3. 画像作成手段は、前記撮影された画像の光源の光強度を検出し、検出した光強度に基づいてライティング効果を行う
   請求項１または請求項２に記載の車両用画像形成装置。
4. 該画像作成手段は、入射角度と車両形状に基づいて、画像表示手段表面上の照度分布を算出し、算出した照度分布に基づいてライティング効果を行う
   請求項１から請求項３のいずれかに記載の車両用画像形成装置。

Images