JP6810589B2

JP6810589B2 - 車載用投影装置

Info

Publication number: JP6810589B2
Application number: JP2016236892A
Authority: JP
Inventors: 光浩稲垣
Original assignee: Kojima Industries Corp
Current assignee: Kojima Industries Corp
Priority date: 2016-12-06
Filing date: 2016-12-06
Publication date: 2021-01-06
Anticipated expiration: 2036-12-06
Also published as: JP2018093427A

Description

本発明は、車載用投影装置に関し、特に、投影画像に対する歪み補正を行う装置に関する。

車室の天井等をスクリーンとして画像を投影する車両搭載用の投影装置につき広く研究開発が行われている。この投影装置では、車両外の様子を撮影した映像や、カーナビゲーションの映像、テレビ受像機の映像等をプロジェクタによってスクリーンに投影する。スクリーンとしては、車室の天井の他、壁、窓ガラス等の平坦でない表面が用いられる。そこで、画像を投影する際には、画像データに対して歪み補正処理が施される。歪み補正処理は、乗員から見た歪みが抑制されるように、投影する画像にスクリーンの形状に応じた補正用歪みを与える処理である。歪み補正処理に用いる補正データを取得するため、キャリブレーションが予め実行される。キャリブレーションでは、歪み補正処理を施していない基準画像がスクリーンに投影され、基準画像がカメラによって撮影され、これによって得られた基準画像データを用いて補正データが取得される。

以下の特許文献１には、車室内に投影する画像の歪みを補正する技術が記載されている。

特開２０１５−１８４４０９号公報特開２０１６−３８６２１号公報

車載用投影装置については、安全運転の観点から乗員に対する操作負担を軽くすることが好ましい。そこで、特許文献２に記載されているように、乗員の手振り（ジェスチャ）をカメラによって認識し、ジェスチャに応じて車載用投影装置を制御する空間入力システムを導入することが考えられる。しかし、補正データを取得するためのカメラに加えてジェスチャ認識用のカメラが必要となり、構成が複雑となってしまう。

本発明は、簡単な構成によって車載用投影装置の操作負担を軽減することを目的とする。

本発明に関連する技術は、車室内に画像を投影するプロジェクタと、前記車室内にあるカメラの撮影方向が画像投影面に向かう方向であるときに撮影された画像を用いて、前記画像投影面に投影される画像に対する補正データを取得するキャリブレーション処理部と、前記撮影方向が前記画像投影面に向かう方向から外れているときに撮影された画像に応じて、前記プロジェクタを制御する制御部と、を備え、前記プロジェクタは、前記制御部の制御に応じて、前記補正データによって補正された画像を前記画像投影面に投影する。

また、本発明は、車載用投影装置において、車室内に画像を投影するプロジェクタと、
前記車室内を撮影するカメラと、コントローラと、を備え、前記コントローラは、前記カメラの撮影方向を調整する方向調整部を備え、前記撮影方向が画像投影面に向かう方向であり、前記プロジェクタによって前記画像投影面に基準画像が投影されているときに実行されるキャリブレーションであって、前記カメラによって撮影された前記基準画像を用いて補正データを取得するキャリブレーションを実行し、前記補正データを用いて投影対象の画像に対して歪み補正処理を施し、前記プロジェクタは、前記補正データによって歪み補正処理が施された画像を前記画像投影面に投影し、前記コントローラは、前記撮影方向が画像投影面に向かう方向から外れているときに前記カメラによって撮影された画像に基づいて、乗員によるジェスチャを検出する検出部と、前記検出部によって検出された前記ジェスチャに応じて、前記車載用投影装置に対する操作を決定し、その操作に応じて前記車載用投影装置を制御する制御部と、を備えることを特徴とする。

望ましくは、前記補正データが取得された後に、前記方向調整部は、乗員に向かう方向に前記撮影方向を設定する。

望ましくは、前記カメラによる撮影画像に基づいて、前記車室内に投影する画像の輝度を調整する輝度調整部、を備える。

本発明によれば、簡単な構成によって車載用投影装置の操作負担を軽減することができる。

本発明の実施形態に係る車載用投影装置を示す図である。本発明の実施形態に係る車載用投影装置の変形例を示す図である。本発明の実施形態に係る車載用投影装置の変形例を示す図である。本発明の実施形態に係る車載用投影装置の変形例を示す図である。投影画像の歪み補正処理について説明する図である。コントローラが実行する処理のフローチャートである。

図１には、本発明の実施形態に係る車載用投影装置１０が示されている。車載用投影装置１０は、車両外の映像等を天井２４に投影すると共にジェスチャ操作処理を実行する。映像の投影に際しては予めキャリブレーションが実行され、投影画像の歪みを補正するための補正データが取得される。この補正データによって歪み補正処理が施された画像が天井２４に投影される。また、ジェスチャ操作処理は、乗員のジェスチャを撮影し、ジェスチャに応じた制御を実行する処理である。

車載用投影装置１０は、プロジェクタ１２、車内カメラ１４、車外カメラ１６、およびコントローラ１８を備える。これらのうち、車外カメラ１６以外の構成要素は、車室２０内に設けられていてよい。

車外カメラ１６は、車両外に配置されるカメラであって、例えば、鉛直上向き方向の風景を撮影する。車外カメラ１６は、車両内の前方に配置されてもよい。その場合、運転者の視野の妨げとならないように、例えば運転者から見てルームミラー２２の背面に車外カメラ１６が配置される。車外カメラ１６は、例えばＣＣＤカメラやＣＭＯＳカメラから構成される。車外カメラ１６による撮影画像データは、コントローラ１８に送られる。

プロジェクタ１２は、車室前方のオーバーヘッドモジュール３０に設けられており、天井２４に画像を投影する。プロジェクタ１２は、動画像または静止画像を投影可能なものであってよい。プロジェクタ１２は、コントローラ１８と通信可能となっており、コントローラ１８から種々の制御信号を受信する。また、投影面のサイズが可変となるように、プロジェクタ１２はズーム機能を備えていてもよい。

プロジェクタ１２は、コントローラ１８を介して車外カメラ１６の撮影画像を投影可能となっている。車外カメラ１６が鉛直上向き方向の風景を撮影し、プロジェクタ１２が車室２０の天井２４に光路を定めることで、車両外の鉛直上向きの風景が天井２４に投影される。これによってサンルーフを開放させたときと同様の効果が得られ、乗員は開放感を得る。

また、プロジェクタ１２は、車外カメラ１６による撮影画像の他、テレビ受像機の映像、ビデオディスクレコーダの映像、カーナビゲーションの映像、乗員に対するメッセージ等を天井２４に投影してもよい。

車内カメラ１４は、２つの後部座席２８の頭部の間に配置されている。車内カメラ１４は、例えばＣＣＤカメラやＣＭＯＳカメラから構成される。車内カメラ１４は、コントローラ１８による制御に応じて撮影視野が可変となっている。すなわち、撮影視野は、撮影方向および視野角によって表され、車内カメラ１４は、コントローラ１８による制御に応じて撮影方向および視野角が調整可能となっている。車内カメラ１４の撮影視野は、例えば矩形である。この場合、視野角は、縦方向の視野角および横方向の視野角の組によって定義され、撮影方向は、縦方向視野角の範囲および横方向視野角の範囲の中心方向として定義される。

キャリブレーションにおいて、車内カメラ１４はプロジェクタ１２による投影画像を撮影する。すなわち、車内カメラ１４の撮影方向が投影画像の方向に向けられ、撮影視野に投影画像が入るように視野角が設定される。キャリブレーション時の撮影視野は、プロジェクタ１２の光路（図１にて破線で示す）を含むように設定されていることが好適である。

一方、ジェスチャ操作処理においては、車内カメラ１４は２つの後部座席２８の間のジェスチャ認識領域３６を撮影する。すなわち、車内カメラ１４の撮影方向がジェスチャ認識領域３６の方向に向けられ、撮影視野内にジェスチャ認識領域３６が入るように視野角が設定される。後部座席に座った乗員はジェスチャ認識領域３６に手をかざし、手を動かしてジェスチャを表現する。車内カメラ１４による撮影画像データは、コントローラ１８に送られる。コントローラ１８は撮影画像データに基づいて車載用投影装置１０を制御する。車内カメラ１４の撮影視野の設定は、フロントパネルに設けられたスイッチ、ダイアル等によって行われてもよい。この場合、コントローラ１８が、スイッチやダイアルの操作に応じて車内カメラ１４の撮影視野を設定する。なお、ジェスチャ認識領域は、車両内におけるその他の領域であってもよい。例えば、運転席３２と助手席３４との間の領域であってもよい。この場合、助手席３４に座った乗員がジェスチャ認識領域に手をかざし、手を動かしてジェスチャを表現する。

コントローラ１８は、車内カメラ１４や車外カメラ１６から撮影画像データを受信すると共に、プロジェクタ１２に制御信号や画像データを送信する。コントローラ１８は、例えば、車両を制御する電子コントロールユニット（ＥＣＵ）の一部であってよい。

コントローラ１８は、車内カメラ１４の撮影方向を調整する方向調整部と、車内カメラ１４の撮影方向がプロジェクタ１２による画像投影面に向かう方向であるときに撮影された画像を用いて、画像投影面に投影される画像に対する補正データを取得するキャリブレーション処理部と、車内カメラ１４の撮影方向がジェスチャ認識領域３６に向けられているとき（画像投影面に向かう方向から外れているとき）に撮影された画像に基づいて検出対象物としての乗員の手を検出する検出部と、この検出部によって検出された乗員の手の動き（ジェスチャ）に基づいて、車載用投影装置１０を制御する制御部としての機能を有する。これらの構成要素は、プログラムの実行によって構成されてもよいし、ハードウエアであるディジタル回路によって個別に構成されてもよい。

なお、図１に示されたプロジェクタ１２は、車室前方のオーバーヘッドモジュール３０に設けられているが、図２および図３に示されているように、２つの後部座席２８の間やセンターコンソール２６上に設けられてもよい。また、図１に示された車内カメラ１４は、２つの後部座席２８の間に設けられているが、図４に示されているように、センターコンソール２６上に設けられてもよい。

コントローラ１８が実行するキャリブレーションについて図５を参照して説明する。天井２４が曲面形状である場合に、投影対象の画像データに何ら処置を施さないと、乗員から見た投影画像には歪みが生じる。そこで、コントローラ１８は、次のようなキャリブレーションを実行する。

コントローラ１８はプロジェクタ１２を制御して、基準画像をスクリーンとしての天井２４に投影させ、さらに車内カメラ１４を制御して、天井２４に投影された基準画像を撮影させる。基準画像は、例えば、所定の図形が描かれた画像やテストパターンが描かれた画像である。コントローラ１８は、基準画像の撮影画像データに基づいて補正データを求める。補正データは、通常時に投影する画像に天井２４の形状に応じた補正用歪みを与えて、すなわち各画素を移動させて、乗員から見た歪みを抑制するためのデータである。補正データは、例えば、移動前の各画素の位置座標と移動後の各画素の位置座標とを対応付けた情報や、移動後の各画素の輝度を表す情報を含んでいる。

キャリブレーションを実行した後の通常処理においてコントローラ１８は、補正データを用いて投影対象の画像データに対して歪み補正処理を実行し、歪み補正処理が施された画像データに基づく画像をプロジェクタ１２に投影させる。

図６にはコントローラ１８が実行する処理のフローチャートが示されている。コントローラ１８は、車両のエンジンスタート／ストップボタンが押下される等によって、電気系統の電源がオンになり、または、エンジンが始動したときは、車内カメラ１４の撮影視野を第１視野に設定する（Ｓ１０１）。第１視野は、キャリブレーションを実行する場合の撮影視野であり、所定の撮影方向および視野角によって規定される。すなわち、コントローラ１８は、車内カメラ１４の撮影方向を投影画像の方向に向け、撮影視野内に投影画像が入るように車内カメラ１４の視野角を設定する。

車内カメラ１４の撮影視野が第１視野に設定された後、コントローラ１８はキャリブレーションを実行して補正データを取得し（Ｓ１０２）、プロジェクタ１２による画像の投影を開始する（Ｓ１０３）。コントローラ１８は、天井２４に投影する画像については、補正データを用いてその画像データに対して歪み補正処理を実行する。

天井２４への画像の投影を開始した後、コントローラ１８は、車内カメラ１４の撮影視野を第２視野に設定する（Ｓ１０４）。第２視野は、ジェスチャ操作処理を実行する場合の撮影視野であり、所定の撮影方向および視野角によって規定される。すなわち、コントローラ１８は、車内カメラ１４の撮影方向をジェスチャ認識領域３６の方向に向け、撮影視野内にジェスチャ認識領域３６が入るように車内カメラ１４の視野角を設定する。車内カメラ１４の撮影視野を第２視野に設定する処理は、フロントパネルに設けられたスイッチ、ダイアル等の操作によって行われてもよい。

車内カメラ１４の撮影視野を第２視野に設定した後、コントローラ１８は、時間経過と共に車内カメラ１４から順次出力される撮影画像データに基づいて、乗員の手のジェスチャを認識する（Ｓ１０５）。コントローラ１８は、複数種のジェスチャのそれぞれに対し、車載用投影装置１０に対する操作を決定する情報を記憶している。車載用投影装置１０に対する操作には、例えば、車外カメラ１６による撮影画像、テレビ受像機の映像、ビデオディスクレコーダの映像、カーナビゲーションの映像等のうちいずれを天井２４に投影するかを選択する操作がある。また、動画像が天井２４に投影される場合には、動画像の再生、停止、低速再生、高速再生等についての操作があってもよい。さらに、画像の投影と共に、音声が再生される場合には、車載用投影装置１０に対する操作には音量の調整をする操作があってもよい。また、車載用投影装置１０に対する操作には、画像の投影を終了する操作があってもよい。

コントローラ１８は、ステップＳ１０５で認識されたジェスチャに応じて、車載用投影装置１０に対する操作を決定し、その操作に応じて車載用投影装置１０を制御する（Ｓ１０６）。

コントローラ１８は、車載用投影装置１０の処理を終了させる操作がされたか否かを判定する（Ｓ１０７）。この操作はジェスチャの認識（Ｓ１０５）によるものであってもよいし、フロントパネルのボタン等の操作によるものであってもよい。コントローラ１８は、終了操作がされたときは、プロジェクタ１２による画像の投影を停止し、車載用投影装置１０の処理を終了させる（Ｓ１０７）。コントローラ１８は、終了操作がされていないときはステップＳ１０５の処理に戻る（Ｓ１０７）。

このような処理によれば、ジェスチャによって車載用投影装置１０が操作されるため、乗員に対する操作負担が軽減される。また、キャリブレーションを実行するときと、ジェスチャ操作処理を実行するときの両者において同一の車内カメラ１４が用いられる。これによって、簡単な構成によってキャリブレーションおよびジェスチャ操作処理の２つの処理が実行される。

さらに、キャリブレーションおよびジェスチャ操作処理のそれぞれにおいては、個別に適切な撮影視野が設定されるため、高精度な補正データが得られると共に、ジェスチャが高精度で認識される。

なお、コントローラ１８は、撮影画像に基づいて、車室２０内に投影する画像の輝度を調整する輝度調整部としての機能を有していてもよい。コントローラ１８は、ジェスチャの認識（Ｓ１０５）およびジェスチャに応じた制御（Ｓ１０６）と並行して、投影画像の輝度を調整する処理を実行してもよい。この場合、コントローラ１８は、ステップ１０４において、車内カメラ１４の撮影視野内にジェスチャ認識領域３６のみならず天井近傍領域３８が入るように車内カメラ１４の視野角を設定する。ここで、ジェスチャ認識領域３６のみならず天井近傍領域３８も入るように撮影視野を設定する理由は、天井２４に投影する画像の輝度を、天井近傍領域３８の明るさに応じて調整するためである。

投影画像に対する輝度調整処理について説明する。コントローラ１８は、車内カメラ１４による撮影画像の輝度評価値を求める。輝度評価値は、投影画像の輝度が大きい程大きい値を有する評価値である。コントローラ１８は、輝度評価値が所定範囲外であるときは、プロジェクタ１２が投影する画像の輝度を調整する。すなわち、輝度評価値が所定範囲の上限値を超えたときは、プロジェクタ１２が投影する画像の輝度を小さくし、輝度評価値が所定範囲の下限値を下回ったときは、プロジェクタ１２が投影する画像の輝度を大きくする。一方、輝度評価値が所定範囲内であるときは、コントローラ１８はプロジェクタ１２が投影する画像の輝度を維持する。

コントローラ１８が、車内カメラ１４による撮影画像の輝度評価値を求める処理について具体的に説明する。撮影画像の輝度評価値は、例えば、撮影画像のうち天井近傍領域３８の部分に含まれる画素の輝度の平均値、最大値、最小値、中央値、メディアン等、統計的な処理によって得られる値である。また、輝度評価値は、時間経過と共に順次車内カメラ１４から出力される撮影画像データについて、過去に遡った所定フレーム数分についての輝度評価値の移動平均値であってもよい。すなわち、輝度評価値は、過去に遡って所定フレーム数の撮影画像のそれぞれについて輝度評価値を求め、さらに、その所定フレーム数の撮影画像データのそれぞれについて求められた輝度評価値の平均値を最終的な輝度評価値として求めた値であってもよい。コントローラ１８は、例えば、車内カメラ１４が１フレームの撮影画像データを出力するごとに、新たに輝度評価値を求める。

このような処理によれば、車内カメラ１４によって天井近傍領域３８が撮影され、天井近傍領域３８に対応する画像上の領域の輝度に応じて投影画像の輝度が調整される。ジェスチャの認識と、天井近傍領域３８に対応する輝度評価値の取得には同一の車内カメラ１４が用いられる。これによって、簡単な構成によって投影画像の輝度の調整とジェスチャの認識の両者が行われる。

なお、上記では、輝度評価値が所定範囲外であるときに、投影画像の輝度を調整する処理について説明した。このような処理の他、コントローラ１８は、輝度評価値の変化が所定範囲外であるときに、投影画像の輝度を調整する処理を実行してもよい。輝度評価値の変化は、例えば、最後に求められた輝度評価値から、所定フレーム前に求められた輝度評価値を減算した値として求められる。

上記ではプロジェクタ１２が天井２４に画像を投影する実施形態について説明した。プロジェクタ１２は、窓ガラスや車室２０の壁面等に画像を投影してもよい。

１０車載用投影装置、１２プロジェクタ、１４車内カメラ、１６車外カメラ、１８コントローラ、２０車室、２２ルームミラー、２４天井、２８後部座席、３０オーバーヘッドモジュール、３２運転席、３４助手席、３８天井近傍領域。

Claims

車載用投影装置において、
車室内に画像を投影するプロジェクタと、
前記車室内を撮影するカメラと、
コントローラと、を備え、
前記コントローラは、
前記カメラの撮影方向を調整する方向調整部を備え、
前記撮影方向が画像投影面に向かう方向であり、前記プロジェクタによって前記画像投影面に基準画像が投影されているときに実行されるキャリブレーションであって、前記カメラによって撮影された前記基準画像を用いて補正データを取得するキャリブレーションを実行し、
前記補正データを用いて投影対象の画像に対して歪み補正処理を施し、
前記プロジェクタは、
前記補正データによって歪み補正処理が施された画像を前記画像投影面に投影し、
前記コントローラは、
前記撮影方向が画像投影面に向かう方向から外れているときに前記カメラによって撮影された画像に基づいて、乗員によるジェスチャを検出する検出部と、
前記検出部によって検出された前記ジェスチャに応じて、前記車載用投影装置に対する操作を決定し、その操作に応じて前記車載用投影装置を制御する制御部と、
を備えることを特徴とする車載用投影装置。
請求項１に記載の車載用投影装置において、
前記カメラによる撮影画像に基づいて、前記車室内に投影する画像の輝度を調整する輝度調整部、
を備えることを特徴とする車載用投影装置。