WO2016194191A1

WO2016194191A1 - 投射型映像表示装置および映像表示方法

Info

Publication number: WO2016194191A1
Application number: PCT/JP2015/066163
Authority: WO
Inventors: 田中　和彦; 中嶋　満雄; 伸宏福田
Original assignee: 日立マクセル株式会社
Priority date: 2015-06-04
Filing date: 2015-06-04
Publication date: 2016-12-08

Abstract

投射対象物と投射映像との間の位置ずれを軽減する映像表示技術である。投射型映像表示装置は、光源と、光源からの光を変調する表示素子と、表示素子からの光を投射する投射レンズと、映像入力部１７０と、映像入力部１７０で入力された映像に基づいて表示素子を制御する基準透視変換行列生成部１００、投射映像生成部１１０、１５０および映像合成部１３０と、複数の映像投射対象面を撮像可能なカメラ２０と、を備える。そして、第１の映像投射対象面に第１の映像を投射し、第２の映像投射対象面に第２の映像を投射するための設定処理として、基準透視変換行列生成部１００、投射映像生成部１１０、１５０および映像合成部１３０は、カメラ２０の撮像結果に基づいて、第１の映像投射対象面に対する映像投射位置の調整処理と、第２の映像投射対象面に対する映像投射位置の調整処理とをそれぞれ行う。

Description

投射型映像表示装置および映像表示方法

　本発明は、映像表示技術に関し、特に、カメラ等の映像撮像手段を用いて、実世界に置かれた物体に対して映像を投射する投射型映像表示装置、およびこの投射型映像表示装置における映像表示方法に関する。

　近年、実世界に置かれた物体に対して、プロジェクタ等の映像投射装置を用いて映像を投射する、いわゆるプロジェクションマッピングと呼ばれる技術が注目を浴びている。

　この技術を用いると、プロジェクタに正対した平面のスクリーンだけでなく、プロジェクタに正対せずに角度を持って置かれたスクリーンや凹凸のある物体等に対して映像を投射することが可能となる。プロジェクタに対してスクリーン等の投射対象が正対していない場合、すなわちプロジェクタの光軸と投射対象面とが直角に交わっていない場合、投射された映像に幾何学的な歪が発生する。

　例えば、スクリーンの上辺がプロジェクタに近く、下辺が遠くになるようにスクリーンが設置された場合に、プロジェクタから正方形の映像を投射すると、正方形の上辺が下辺よりも短く投射される、いわゆる台形歪が発生することになる。実際には、上下方向だけでなく、左右方向にも同様の現象が発生するので、プロジェクタから投射した正方形の映像は、平行な辺の無い歪んだ四角形として投射されうることになる。

　この場合、この歪を打ち消すように、あらかじめ投射する映像に逆方向の幾何補正を掛けておくことで、正しく正方形として表示することが可能となる。この幾何補正（幾何変換）は、透視変換または射影変換と呼ばれ、行列計算によって実現することが可能である。

　この変換で使用する変換行列は、プロジェクタとスクリーン等の投射対象物の幾何的な位置関係によって一意に定まるため、プロジェクタや投射対象物の設営図面等から決定することが可能であるが、計算が煩雑である上、投射対象物が時間と共に移動するような場合には対応することが困難である。

　この変換行列の算出を簡易化する方法が、例えば特許文献１（特許第３９７８９３８号公報）に記載されている。

特許第３９７８９３８号公報

　上記特許文献１では、投射対象物にマーカーを付加し、これをカメラで撮像することでマーカーの位置を特定し、幾何変換の変換行列を算出する。このようにして算出した変換行列を用いて、投射映像に対して透視変換を適用し、プロジェクタを用いてこれを投射することで、投射対象物の位置や傾き等に合致した映像投射が可能であるとしている。

　上記特許文献１の方式は、プロジェクタと投射対象物との距離がほぼ一定の場合、またはプロジェクタの光軸とカメラの光軸とが完全に一致している場合には有効である。しかし、プロジェクタの光軸とカメラの光軸とを完全に一致させるためにはハーフミラー等を用いる必要があり、光学系が複雑になるため、プロジェクタ筐体の大型化、コスト増、性能低下（輝度や映像品質）に繋がる。これを避けるため、プロジェクタの光軸から離れた場所にカメラを設置すると、この光軸ずれの影響によりプロジェクタと投射対象物との距離が、透視変換行列を作成する際に基準とした距離との差が大きくなるに従い、投射対象物と投射映像との間に位置ずれが発生することになる。

　本発明の目的は、投射対象物と投射映像との間の位置ずれを軽減する映像表示技術を提供することである。

　本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。

　本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、次のとおりである。

　一実施の形態における投射型映像表示装置は、投射レンズからの距離が異なる複数の映像投射対象面に対して映像を投射する投射型映像表示装置である。前記投射型映像表示装置は、光源と、前記光源からの光を変調する表示素子と、前記表示素子からの光を投射する投射レンズと、映像入力部と、前記映像入力部で入力された映像に基づいて前記表示素子を制御する表示制御部と、前記複数の映像投射対象面を撮像可能な一つまたは複数の撮像部と、を備える。そして、前記複数の映像投射対象面のうち、第１の映像投射対象面に前記映像入力部に入力された第１の映像を投射し、第２の映像投射対象面に前記映像入力部に入力された第２の映像を投射するための設定処理として、前記表示制御部は、前記撮像部の撮像結果に基づいて、前記第１の映像投射対象面に対する映像投射位置の調整処理と、前記第２の映像投射対象面に対する映像投射位置の調整処理とをそれぞれ行う。

　一実施の形態における別の投射型映像表示装置は、投射レンズからの距離が時間と共に変化しうる映像投射対象面に対して映像を投射する投射型映像表示装置である。前記投射型映像表示装置は、光源と、前記光源からの光を変調する表示素子と、前記表示素子からの光を投射する投射レンズと、映像入力部と、前記映像入力部で入力された映像に基づいて前記表示素子を制御する表示制御部と、前記映像投射対象面を撮像可能な一つまたは複数の撮像部と、を備える。そして、前記映像投射対象面に前記映像入力部に入力された映像を投射するための設定処理として、前記表示制御部は、前記撮像部の撮像結果に対して調整処理を行ったうえで、前記映像投射対象面に適合させるための幾何変換に必要な情報の生成を行う。

　一実施の形態における映像表示方法は、投射型映像表示装置における調整処理をソフトウェア処理で実施する映像表示方法である。前記映像表示方法は、映像入力ステップと、前記映像入力ステップで入力された映像に基づいて表示素子を制御する表示制御ステップと、複数の映像投射対象面を撮像可能な一つまたは複数の撮像ステップと、を備える。そして、前記表示制御ステップでは、前記複数の映像投射対象面のうち、第１の映像投射対象面に前記映像入力ステップで入力された第１の映像を投射し、第２の映像投射対象面に前記映像入力ステップで入力された第２の映像を投射するための設定処理として、前記撮像ステップの撮像結果に基づいて、前記第１の映像投射対象面に対する映像投射位置の調整処理と、前記第２の映像投射対象面に対する映像投射位置の調整処理とをそれぞれ行う。

　本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下の通りである。

　一実施の形態によれば、投射対象物と投射映像との間の位置ずれを軽減する映像表示技術を提供することができる。

本発明の実施の形態１における投射型映像表示装置の構成の一例を示す図である。本発明の実施の形態１において、プロジェクタの構成の一例を示す図である。本発明の実施の形態１において、カメラ、プロジェクタ、投射基準面の位置関係の一例を示す図である。本発明の実施の形態１において、投射基準面に調整用スクリーンを設置した状態の一例を示す図である。本発明の実施の形態１において、カメラで撮像される映像の一例を示す図である。本発明の実施の形態１において、カメラで撮像した投射対象物およびその周辺の一例を示す図である。本発明の実施の形態１において、別の投射対象物をカメラで撮像する様子の一例を示す図である。本発明の実施の形態１において、別の投射対象物へプロジェクタで映像を投射する様子の一例を示す図である。本発明の実施の形態１において、別の投射対象物と投射映像との位置ずれの一例を示す図である。本発明の実施の形態１において、マーカー位置補正部の内部およびその周辺処理部の一例を示す図である。本発明の実施の形態１において、カメラとプロジェクタとを異なる筐体で実現した場合の外観の一例を示す図である。本発明の実施の形態１において、カメラとプロジェクタとを単一の筐体で実現した場合の外観の一例を示す図である。本発明の実施の形態２における投射型映像表示装置の構成の一例を示す図である。本発明の実施の形態３における投射型映像表示装置の構成の一例を示す図である。本発明の実施の形態４における投射型映像表示装置の構成の一例を示す図である。本発明の実施の形態４において、カメラ、プロジェクタ、投射基準面の位置関係の一例を示す図である。本発明の実施の形態４において、投射基準面に調整用スクリーンを設置した状態の一例を示す図である。本発明の実施の形態４において、別の投射対象物をカメラで撮像する様子の一例を示す図である。本発明の実施の形態４において、別の投射対象物へプロジェクタで映像を投射する様子の一例を示す図である。本発明の実施の形態４において、別の投射対象物を別のカメラで撮像する様子の一例を示す図である。本発明の実施の形態４において、別の投射対象物へプロジェクタで映像を投射する様子の一例を示す図である。本発明の実施の形態４において、別の投射対象物をカメラ付きプロジェクタのカメラで撮像する様子の一例を示す図である。本発明の実施の形態４において、カメラの位置に応じた投射対象物の映り方の一例を示す図である。本発明の実施の形態４において、投射レンズの上下にカメラを配置したプロジェクタの外観の一例を示す図である。本発明の実施の形態４において、投射レンズの左右にカメラを配置したプロジェクタの外観の一例を示す図である。本発明の実施の形態４において、投射レンズの左右にカメラを異なる距離で配置したプロジェクタの外観の一例を示す図である。本発明の実施の形態４において、図２６に示すカメラの位置に応じた投射対象物の映り方の一例を示す図である。

　以下の実施の形態においては、便宜上その必要があるときは、複数のセクションまたは実施の形態に分割して説明するが、特に明示した場合を除き、それらは互いに無関係なものではなく、一方は他方の一部または全部の変形例、詳細、補足説明等の関係にある。また、以下の実施の形態において、要素の数等（個数、数値、量、範囲等を含む）に言及する場合、特に明示した場合および原理的に明らかに特定の数に限定される場合等を除き、その特定の数に限定されるものではなく、特定の数以上でも以下でも良い。

　さらに、以下の実施の形態において、その構成要素（要素ステップ等も含む）は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。同様に、以下の実施の形態において、構成要素等の形状、位置関係等に言及するときは、特に明示した場合および原理的に明らかにそうでないと考えられる場合等を除き、実質的にその形状等に近似または類似するものなどを含むものとする。このことは、上記数値および範囲についても同様である。
　［実施の形態の概要］

　まず、実施の形態の概要について説明する。本実施の形態の概要では、一例として、括弧内に各実施の形態の対応する構成要素および符号等を付して説明する。

　一実施の形態における投射型映像表示装置は、投射レンズからの距離が異なる複数の映像投射対象面に対して映像を投射する投射型映像表示装置である。前記投射型映像表示装置は、光源（光源１４）と、前記光源からの光を変調する表示素子（表示素子１２）と、前記表示素子からの光を投射する投射レンズ（投射レンズ１１）と、映像入力部（映像入力部１７０）と、前記映像入力部で入力された映像に基づいて前記表示素子を制御する表示制御部（基準透視変換行列生成部１００、１００ａ、１００ｂ、投射映像生成部１１０、１５０、１２０、１２１および映像合成部１３０）と、前記複数の映像投射対象面を撮像可能な一つまたは複数の撮像部（カメラ２０、２１）と、を備える。そして、前記複数の映像投射対象面のうち、第１の映像投射対象面（投射対象物Ａ（５０））に前記映像入力部に入力された第１の映像を投射し、第２の映像投射対象面（投射対象物Ｂ（５１））に前記映像入力部に入力された第２の映像を投射するための設定処理として、前記表示制御部は、前記撮像部の撮像結果に基づいて、前記第１の映像投射対象面に対する映像投射位置の調整処理と、前記第２の映像投射対象面に対する映像投射位置の調整処理とをそれぞれ行う。

　一実施の形態における別の投射型映像表示装置は、投射レンズからの距離が時間と共に変化しうる映像投射対象面（投射対象物Ｂ（５１））に対して映像を投射する投射型映像表示装置である。前記投射型映像表示装置は、光源（光源１４）と、前記光源からの光を変調する表示素子（表示素子１２）と、前記表示素子からの光を投射する投射レンズ（投射レンズ１１）と、映像入力部（映像入力部１７０）と、前記映像入力部で入力された映像に基づいて前記表示素子を制御する表示制御部（基準透視変換行列生成部１００、１００ａ、１００ｂ、投射映像生成部１１０、１５０、１２０、１２１および映像合成部１３０）と、前記映像投射対象面を撮像可能な一つまたは複数の撮像部（カメラ２０、２１）と、を備える。そして、前記映像投射対象面に前記映像入力部に入力された映像を投射するための設定処理として、前記表示制御部は、前記撮像部の撮像結果に対して調整処理を行ったうえで、前記映像投射対象面に適合させるための幾何変換に必要な情報の生成を行う。

　一実施の形態における映像表示方法は、投射型映像表示装置における調整処理をソフトウェア処理で実施する映像表示方法である。前記映像表示方法は、映像入力ステップ（映像入力インターフェース５１１における動作）と、前記映像入力ステップで入力された映像に基づいて表示素子を制御する表示制御ステップ（チップセット５０１、主記憶装置５０２、ＧＰＵ５０３およびＣＰＵ５１０における動作）と、複数の映像投射対象面を撮像可能な一つまたは複数の撮像ステップ（カメラ２０、映像撮像部２９における動作）と、を備える。そして、前記表示制御ステップでは、前記複数の映像投射対象面のうち、第１の映像投射対象面（投射対象物Ａ（５０））に前記映像入力ステップで入力された第１の映像を投射し、第２の映像投射対象面（投射対象物Ｂ（５１））に前記映像入力ステップで入力された第２の映像を投射するための設定処理として、前記撮像ステップの撮像結果に基づいて、前記第１の映像投射対象面に対する映像投射位置の調整処理と、前記第２の映像投射対象面に対する映像投射位置の調整処理とをそれぞれ行う。

　以下、上述した実施の形態の概要に基づいた各実施の形態を図面に基づいて詳細に説明するが、本発明は必ずしもこれらの実施の形態に限定されるものではない。なお、実施の形態を説明するための各図面において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。
　［実施の形態１］

　実施の形態１における投射型映像表示装置および映像表示方法について、図１～図１２を用いて説明する。本実施の形態１は、投射レンズからの距離が異なる複数の投射対象物に対して映像を投射する投射型映像表示装置、およびこの投射型映像表示装置における映像表示方法である。また、本実施の形態１は、投射レンズからの距離が時間と共に変化しうる投射対象物に対して映像を投射する投射型映像表示装置、およびこの投射型映像表示装置における映像表示方法である。
　＜投射型映像表示装置＞

　本実施の形態１における投射型映像表示装置について、図１を用いて説明する。図１は、本実施の形態１における投射型映像表示装置の構成の一例を示す図である。

　本実施の形態１における投射型映像表示装置は、プロジェクタ１０と、カメラ２０と、基準透視変換行列生成部１００と、複数（図１では２つの例を図示）の投射映像生成部１１０、１５０と、映像合成部１３０と、基準マーカー生成部１４０と、映像入力部１７０とで構成される。

　プロジェクタ１０は、入力された映像を、スクリーンや凹凸のある物体等の投射対象物へ投射する投射部である。この投射対象物（より詳細には投射対象物の物体面）は、映像投射対象面の一例である。プロジェクタ１０は、図２を用いて後述するように、少なくとも、光源１４、表示素子１２、投射レンズ１１を含む。

　カメラ２０は、投射対象物を撮像する撮像部である。本実施の形態１では、可視光のカメラを想定しているが、マーカーとして、人間に見ることのできない波長の光を発生する光源である赤外光のＬＥＤ等を使用する場合には、赤外線カメラを使用する場合もありうる。

　基準透視変換行列生成部１００は、カメラ２０で撮像された映像における座標系（以後、カメラ座標系と称する）をプロジェクタ１０が投射する映像における座標系（以後、プロジェクタ座標系と称する）に変換するための基準透視変換行列８０を作成する生成部である。カメラ座標系は、カメラ２０から出力される映像の左上を原点とした座標系である。プロジェクタ座標系は、プロジェクタ１０で投射する映像の左上を原点とした座標系である。プロジェクタ１０から投射された映像は、投射対象物に投射され、それをカメラ２０で撮像することになる。

　基準透視変換行列生成部１００には、基準透視変換行列生成部１０１、マーカー位置算出部１０２、および、投射基準面マーカー検出部１０３の各処理部が含まれる。詳細は後述する。

　投射映像生成部１１０、１５０は、投射対象物の物体面に合わせて、入力された映像を幾何変換する投射映像生成部である。本実施の形態１では、２つの投射対象物Ａ、Ｂに対して映像を投射するケースを想定しているため、投射映像生成部を２つ含んだ装置構成となっているが、これは必ずしも２個に限定されるものではない。１個であっても良いし、３個以上の任意の数であっても構わない。また、後述する実施の形態２で説明するように、パソコンのソフトウェア等でこの装置を実現する場合は、動的に個数を変更することも可能である。

　投射映像生成部１１０、１５０には、マーカー位置補正部１１１、映像投射位置算出部１１３、投射映像識別部１１４、透視変換部１１５、映像透視変換行列生成部１１６、マーカー位置算出部１１７、マーカー検出部１１８、および、透視変換部１１９の各処理部が含まれる。詳細は後述する。

　映像合成部１３０は、複数の投射映像生成部１１０、１５０によって生成された映像を合成する映像合成部であり、ここで合成された映像がプロジェクタ１０へ送出される。

　基準マーカー生成部１４０は、基準透視変換行列８０の算出の際に、プロジェクタ１０によって投射対象物に投射するマーカーを生成する生成部である。

　映像入力部１７０は、投射対象物Ａへの投射映像７０と投射対象物Ｂへの投射映像７１との２つの映像が入力される入力部である。本実施の形態１では、投射映像７０、投射映像７１は、単に、映像７０、映像７１とも称する。

　以上のような構成による投射型映像表示装置の動作では、映像入力部１７０に入力された映像（投射対象物Ａへの投射映像７０、投射対象物Ｂへの投射映像７１）が投射される。まず、プロジェクタ１０において、入力された映像を投射対象物へ投射する。この投射対象物へ投射された映像をカメラ２０で撮像する。カメラ２０で撮像された映像は、基準透視変換行列生成部１００および投射映像生成部１１０、１５０へ出力される。

　続いて、基準透視変換行列生成部１００において、カメラ２０で撮像された映像におけるカメラ座標系を、プロジェクタ１０が投射する映像におけるプロジェクタ座標系に変換するための基準透視変換行列を作成する。この基準透視変換行列生成部１００で作成された基準透視変換行列は、投射映像生成部１１０、１５０へ出力される。

　さらに、投射映像生成部１１０、１５０において、カメラ２０で撮像された映像および基準透視変換行列生成部１００で生成された基準透視変換行列に基づいて、投射対象物の物体面に合わせて、入力された映像を幾何変換する。この投射映像生成部１１０、１５０で幾何変換された映像は、映像合成部１３０へ出力される。

　そして、映像合成部１３０において、投射映像生成部１１０、１５０で生成された映像を合成する。この映像合成部１３０で合成された映像は、プロジェクタ１０へ送出される。

　本実施の形態１における投射型映像表示装置の構成において、映像入力部１７０は映像入力部の一例であり、基準透視変換行列生成部１００、投射映像生成部１１０、１５０および映像合成部１３０は映像入力部で入力された映像に基づいて表示素子を制御する表示制御部の一例であり、カメラ２０は複数の映像投射対象面を撮像可能な撮像部の一例である。また、本実施の形態１における投射型映像表示装置の動作において、映像入力部１７０における動作は映像入力ステップの一例であり、基準透視変換行列生成部１００、投射映像生成部１１０、１５０および映像合成部１３０における動作は表示制御ステップの一例であり、カメラ２０における動作は撮像ステップの一例である。以下において、各部の構成および動作について、詳細に説明する。
　＜プロジェクタ＞

　図２は、前述したプロジェクタ１０の構成の一例を示す図である。プロジェクタ１０は、光源１４と、反射鏡１５と、照明光学系１３と、表示素子１２と、投射レンズ１１と、表示素子駆動回路３１と、映像インターフェース（Ｉ／Ｆ）（３２）とで構成される。光源１４は、例えば放電ランプ等からなる。照明光学系１３は、例えば集光レンズ等からなる。表示素子１２は、例えば液晶パネルまたはＤＭＤ（デジタルミラーデバイス）等からなる。投射レンズ１１は、投射光学系である。

　図２では、単板式の透過型表示素子プロジェクタを例に挙げているが、これに限定されるものではなく、複数の表示素子や反射型表示素子を使用した構成等であっても構わない。表示素子は、液晶方式でもＤＭＤ方式でも構わない。

　光源１４から出力された光は、反射鏡１５、照明光学系１３を経て、表示素子１２に照射される。なお、光源１４の種類次第では、反射鏡１５は必ずしも必要ない。例えば、光源が放電ランプである場合は反射鏡を備えるのが一般的であるが、ＬＥＤ、レーザー光源、レーザー励起デバイス等の固体光源の場合は、反射鏡に替えて、それぞれの光源と配置に合う光学系とを適宜追加すればよい。

　表示素子１２は、入力画素値に応じて透過率、反射率、または反射時間が変化する素子を二次元状に多数配置した構造となっており、映像Ｉ／Ｆ（３２）および表示素子駆動回路３１を介して入力された投射映像に対応した二次元の透過率、反射率または反射時間分布を実現することができる。すなわち、この表示素子１２へ照射された光は、表示素子１２により変調され、投射レンズ１１等の投射光学系を通してスクリーン等の対象物へ投射される。
　＜カメラ、プロジェクタ、投射基準面の位置関係＞

　図３は、前述したカメラ２０、プロジェクタ１０、投射基準面の位置関係の一例を示す図である。本実施の形態１では、図３のように、プロジェクタ１０、カメラ２０、投射対象物Ａ（５０）が配置されているケースを用いて説明する。図３は、これらの構成要素から構成される装置を横方向から見た図であるが（プロジェクタ１０の上にカメラ２０が載っている場合）、これが上下方向から見た図である場合等にも（プロジェクタ１０に対し向かって右側にカメラ２０がある場合等）、以下の説明に支障は生じない。すなわち、これらの位置関係は相対的なものである。

　この図３において、投射基準面４０は、カメラ座標系からプロジェクタ座標系への透視変換を行う際の基準となる面であり、この面を基準にカメラ座標系からプロジェクタ座標系への透視変換行列を算出する。この例では、プロジェクタ１０と投射基準面４０との間の距離はＬ０離れているとしている。また、投射対象物Ａ（５０）の投射面は、この投射基準面４０に一致しているものとする。
　＜基準透視変換行列生成部の動作＞

　最初に、図１の基準透視変換行列生成部１００の動作について説明する。基準透視変換行列生成部１００で生成するのは、カメラ座標系からプロジェクタ座標系への変換行列である基準透視変換行列８０である。本行列の生成処理は、最初に一度だけ行えば良く、プロジェクタ１０とカメラ２０とを動かさない限り、投射対象物が移動しても再度実施する必要は無い。すなわち、投射対象物が移動して、投射レンズ１１からの距離が時間と共に変化しうる対象物に対しても適用可能である。

　基準透視変換行列８０を作成する際には、図４に示すように投射基準面４０に沿う様に、調整用スクリーン６０を設置する。図４は、投射基準面４０に調整用スクリーン６０を設置した状態の一例を示す図である。原理的には、投射対象物Ａ（５０）の投射面を調整用スクリーン６０の代わりに使用することも可能であるが、ここで使用する投射面が広いほど基準透視変換行列８０を高精度に生成できるため、ここでは調整用スクリーン６０を用いた場合について説明する。

　調整用スクリーン６０を設置した状態で、カメラ２０で撮像される映像の例を図５に示す。図５は、カメラ２０で撮像される映像の一例を示す図である。この図５において、２５はカメラ２０で撮像されるカメラ撮像範囲の全体であり、この中に調整用スクリーン６０が写っている。この例では、調整用スクリーン６０の全体がカメラ撮像範囲２５に完全に含まれているが、必ずしもこのようになっている必要はない。

　調整用スクリーン６０には、プロジェクタ１０から投射された映像がプロジェクタ投射範囲１６へ投射される。図５では、プロジェクタ投射範囲１６は、調整用スクリーン６０に包含される形になっているが、必ずしもこのようになっている必要はない。また、プロジェクタ投射範囲１６が長方形ではなく、歪んだ四角形となっている場合も本発明は有効である。

　カメラ座標系上の点（Ｘｃ，Ｙｃ）を、基準透視変換行列８０を用いた透視変換によってプロジェクタ座標系上の点（Ｘｐ，Ｙｐ）に変換する場合の式を式１、式２に示す。

　これらの式において、透視変換行列Ｍｃｐは、（Ｘｃ，Ｙｃ）とそれに対応する（Ｘｐ，Ｙｐ）との組を４点与えることによって、一意に決定することが可能である。

　そこで、基準透視変換行列８０の算出の際には、図１に記載されている基準マーカー生成部１４０によって、図５に記載されているマーカーＰ００、Ｐ１０、Ｐ０１、Ｐ１１を一つずつ表示し、プロジェクタ１０によって調整用スクリーン６０上に投射する。これをカメラ２０で撮像し、投射基準面マーカー検出部１０３、マーカー位置算出部１０２によって、各マーカーに対応したカメラ座標系の座標（Ｘｃ，Ｙｃ）を得る。このようにして、カメラ画像から得られた４つの座標（Ｘｃ，Ｙｃ）と、基準マーカー生成部１４０が使用したプロジェクタ座標系における各マーカーの座標（Ｘｐ，Ｙｐ）との組を用いて、基準透視変換行列生成部１０１が、透視変換行列Ｍｃｐ（基準透視変換行列８０）を算出する。ここで、投射基準面マーカー検出部１０３は、色や輝度やマーカー形状等の特徴を用いてマーカーを検出している。
　＜投射映像生成部の動作＞

　次に、算出された基準透視変換行列８０を用いて、投射映像生成部１１０の動作により、投射対象物Ａ（５０）に映像を投射する方法を説明する。前述のように、投射対象物Ａ（５０）の投射面は投射基準面４０上にある。ここでは、説明を簡単にするため、図６に示すように、投射対象物Ａ（５０）の４隅にマーカーＴ００、Ｔ１０、Ｔ０１、Ｔ１１を貼り付けてある場合を想定して説明する。図６は、カメラ２０で撮像した投射対象物Ａ（５０）およびその周辺の一例を示す図である。投射対象物Ａ（５０）の４隅に貼り付けるマーカーは、特定の色のついたシールであっても良いし、前述したように赤外光のＬＥＤ等でも構わない。また、マーカーを使わずに、パターンマッチング等で投射対象物Ａ（５０）の位置・形状を取得しても構わない。本実施の形態１では、投射対象物Ａ（５０）の投射面の形状は四角形を想定しているが、これは、曲面やより複雑な形状であっても構わない。この様な場合には、投射面を三角形や四角形等の小領域に分割して、それぞれの領域面に対して、本発明の変換を実施した上で映像を投射することで対応が可能となる。

　本実施の形態１では、投射対象物Ａ（５０）の投射面とそこに投射するための映像７０はどちらも四角形であり、マーカーＴ００、Ｔ１０、Ｔ０１、Ｔ１１は投射対象物Ａ（５０）の投射面の４隅に位置するものとして説明を行う。これら４つのマーカーをカメラ２０で撮像し、マーカー検出部１１８、マーカー位置算出部１１７で処理することにより、各マーカーのカメラ座標系における座標（Ｘｍｃ、Ｙｍｃ）を得ることができる。

　なお、理想的には、これらのマーカーは面積０で、投射面の４隅に位置するのが良いが、実際にカメラ２０で検出を行う際には、ある程度の面積を持ち、投射面の４隅よりも多少内側に位置することになる。このような場合は、マーカーの形状・面積や投射面における座標を用いた補正を行うことで、実際の投射面の４隅の座標を得るものとする。

　また、投射対象物が投射基準面４０上に無い場合は、後述するマーカー位置の補正が必要であるが、投射対象物Ａ（５０）は投射基準面４０上にあり、マーカー位置を補正する必要がないため、ひとまずマーカー位置補正部１１１における処理については無視して説明を続ける。先ほど得られた各マーカーのカメラ座標系における座標（Ｘｍｃ、Ｙｍｃ）に対して、基準透視変換行列８０を用いた透視変換部１１５による処理を適用すると、各マーカーのプロジェクタ座標系における座標（Ｘｍｐ、Ｙｍｐ）が得られる。

　各マーカーは、投射対象物Ａ（５０）の４隅に位置しているので、基準透視変換行列８０の算出の際に用いた方法と同様に、投射対象物Ａ（５０）へ投射する映像７０の４隅の座標（Ｘｉ、Ｙｉ）からプロジェクタ座標系における投射対象物Ａ（５０）の４隅の座標（Ｘｍｐ、Ｙｍｐ）への透視変換行列（映像透視変換行列８１）を算出することが可能である。本行列の算出処理は、映像透視変換行列生成部１１６にて実施される。

　このようにして算出された映像透視変換行列８１を用いて、透視変換部１１９によって投射対象物Ａ（５０）へ投射する映像７０の各画素に対して順次透視変換を適用し、必要に応じて画素の補間処理を行うことで投射映像生成部１１０の出力映像が生成される。これを、映像合成部１３０を経由してプロジェクタ１０へ送出し、投射することで、投射対象物Ａ（５０）の投射面に合致した形で、映像７０を投射することが可能となる。

　次に、投射基準面４０上に存在しない別の投射対象物Ｂ（５１）に映像を投射する場合について説明する。投射対象物Ｂ（５１）への投射映像は、投射映像生成部１１０ではなく、投射映像生成部１５０で生成する。両者の内部構造は基本的に同じであるが、マーカー検出部１１８におけるマーカー検出条件を変更することで、投射対象物Ａ（５０）と投射対象物Ｂ（５１）とを区別して扱えるようになっている。

　ここでは、単純に投射対象物Ａ（５０）と投射対象物Ｂ（５１）とでは、異なる色のマーカーを使うことで両者を判別することとしている。その他の方法としては、マーカー形状を変えるとか、ＬＥＤマーカーの点灯パターンを変えるなどの方法も考えられる。

　図７は、別の投射対象物Ｂ（５１）をカメラ２０で撮像する様子の一例を示す図である。図７に示すように、投射対象物Ｂ（５１）はプロジェクタ１０から距離Ｌ１だけ離れた位置に置かれている。これは、プロジェクタ１０と投射基準面４０との間の距離Ｌ０よりも短い距離である（本発明はＬ０≦Ｌ１であっても同様に成立する）。

　これを、プロジェクタ１０と光軸が一致していないカメラ２０で撮像すると、投射対象物Ｂ（５１）はカメラ２０と投射対象物Ｂ（５１）との延長線上にある仮想的な位置５５にあるかのように撮像されることになる。この仮想的な位置５５は、投射基準面４０上の投射対象物Ｂ（５１）のカメラ像仮想位置である。この状態で、投射対象物Ａ（５０）と同様の手順で投射対象物Ｂ（５１）に映像７１を投射すると、仮想的な位置５５に合致する形で透視変換部１１９における処理が実施されるため、図８に示す位置９１に対して映像が投射されることになる。これを正面から見ると、図９に示すように、投射対象物Ｂ（５１）とずれた位置９１に映像が投射されていることになる。図８は、投射対象物Ｂ（５１）へプロジェクタ１０で映像を投射する様子の一例を示す図である。図９は、投射対象物Ｂ（５１）と投射映像との位置ずれの一例を示す図である。

　本実施の形態１の方式では、カメラ２０を用いて、位置９１に投射された映像を取り込み、このずれ量を計測してフィードバックすることでずれを軽減する。すなわち、このフィードバック処理では、投射対象物Ｂ（５１）の位置と、この投射対象物Ｂ（５１）への映像表示の位置９１とのずれ量である差分が小さくなるように制御する。本方式では、まずカメラ２０から取り込んだ映像を投射対象物Ｂ（５１）向けの映像を処理する投射映像生成部１５０（以下の説明において、投射映像７１に関する処理は、投射映像生成部１１０ではなく投射映像生成部１５０で処理するものとする）の内部にある投射映像識別部１１４において、投射映像７１とパターンマッチングを行い、その結果をもとに映像投射位置算出部１１３は、投射映像７１の投射位置を算出する。このパターンマッチング処理は、カメラ２０から取り込んだ映像または投射映像７１に対して透視変換を行った後に実施しても良いし、透視変換を行わずに実施しても構わない。

　ここで算出される投射映像７１の投射位置は、カメラ２０の撮像映像の中にある投射映像７１の投射位置９１の４隅の座標をカメラ座標系で表した数値である。マーカー位置補正部１１１は、これらの数値とマーカー位置算出部１１７が算出した投射対象物Ｂ（５１）の４隅の座標を比較し、座標のずれ量を算出し、このずれ量を用いてマーカー位置算出部１１７が算出した投射対象物Ｂ（５１）の４隅の座標に対して補正処理を行う。

　補正の方法についてはいくつか考えられるが、本実施の形態１では図１０に示す構成に基づいた方式を使用する。この図１０は、マーカー位置補正部１１１の内部およびその周辺処理部の一例を示す図である。マーカー位置補正部１１１は、補正量生成部２００と、加算器２１０と、減算器２２０とで構成される。補正量生成部２００には、１フレーム遅延部２０１、加算器２０２、および、セレクタ２０３を含んでいる。

　本実施の形態１では、プロジェクタ１０とカメラ２０との光軸はＹ方向のみが不一致となっているため、マーカー位置補正部１１１では座標のＹ方向の補正のみを行う。マーカー位置補正部１１１には、映像投射位置算出部１１３がパターンマッチングによって算出した映像７１の投射位置９１の４隅のＹ座標１６０と、マーカー位置算出部１１７によって求められた投射対象物Ｂ（５１）の投射面の４隅のＸ座標１６１、Ｙ座標１６２が入力される。このうち、４隅のＸ座標１６１については、そのまま透視変換部１１５へ送られる。

　ここで、それぞれの隅について、減算器２２０によって、Ｙ座標１６０とＹ座標１６２とを比較する。なお、隅は４つあるので、減算器２２０は論理的には４個必要となるが、本実施の形態１ではこれを時分割処理することを想定しているため、図１０には１個のみの記載となっている。その他の構成要素についても同様に時分割処理を想定している（ただし１フレーム遅延部２０１内の記憶素子については４隅分必要である）。

　補正量生成部２００は、加算器２１０でＹ座標１６２に加算する補正量１６３を生成するものであり、減算器２２０によって出力される位置ずれが小さくなるように補正量１６３を生成する。例えば、パターンマッチングにより算出したＹ座標１６０がマーカーから算出したＹ座標１６２よりも大きいケース、すなわち、映像７１の表示位置９１が投射対象物Ｂ（５１）よりも下側にある場合は、補正量１６３が負の数になるように補正量生成部２００は動作することになる。補正量生成部２００は、１フレーム遅延部２０１、加算器２０２およびセレクタ２０３からなるフィードバック系を有しており、その出力１６３は減算器２２０の出力に応じて１フレームごとに＋ｄまたは－ｄ増減する。ｄは補正量１６３の変化する速度を決めるパラメータになっており、ｄを大きくすると補正量の変化が速くなり、追従速度は改善するが、補正量１６３の出力が振動しやすくなるため、ｄについては小さめの値を設定したほうが良い結果を得やすい。
　＜投射型映像表示装置の外観＞

　本実施の形態１における投射型映像表示装置は、図１１に示すように、カメラ２０とプロジェクタ１０とを異なる筐体で実現し、プロジェクタ１０の上に別筐体のカメラ２０を搭載した構造となる。図１１は、カメラ２０とプロジェクタ１０とを異なる筐体で実現した場合の外観の一例を示す図である。なお、本実施の形態１は、図１１のような構造に限定されるものではない。例えば、図１２に示すように、カメラ２０とプロジェクタ１０とを単一の筐体で実現し、カメラ２０をプロジェクタ１０の内部に内蔵しても構わない。図１２は、カメラ２０とプロジェクタ１０とを単一の筐体で実現した場合の外観の一例を示す図である。また、カメラ２０は、必ずしもプロジェクタ１０の投射レンズ１１の上方に存在する必要はなく、下方、または左右や斜めに存在する場合であっても本発明の手法は有効となる。
　＜実施の形態１の効果＞

　以上説明したように、本実施の形態１における投射型映像表示装置および映像表示方法によれば、投射対象物Ａ（５０）、Ｂ（５１）と投射映像７０、７１との間の位置ずれを軽減することができる。すなわち、カメラ２０で撮像したマーカーＴ００、Ｔ１０、Ｔ０１、Ｔ１１の位置とカメラ２０で撮像した投射映像の位置９１との間の位置ずれを映像透視変換行列８１にフィードバック制御する手法を用いて、投射対象物Ａ（５０）、Ｂ（５１）と投射映像７０、７１との間の位置ずれを軽減することができる。この結果、プロジェクタ１０とカメラ２０との光軸が一致していない場合であっても、異なる距離に置かれた投射対象物Ａ（５０）、Ｂ（５１）に対して、それらと適合する形に映像を変換し、投射することが可能となる。より詳細には、以下の通りである。

　（１）投射型映像表示装置は、投射レンズ１１からの距離が異なる複数の投射対象物Ａ（５０）、Ｂ（５１）に対して映像を投射する装置であり、光源１４と、表示素子１２と、投射レンズ１１と、映像入力部１７０と、基準透視変換行列生成部１００、投射映像生成部１１０、１５０および映像合成部１３０と、カメラ２０と、を備える。そして、投射対象物Ａ（５０）に投射映像７０を投射し、投射対象物Ｂ（５１）に投射映像７１を投射するための設定処理として、基準透視変換行列生成部１００、投射映像生成部１１０、１５０および映像合成部１３０は、カメラ２０の撮像結果に基づいて、投射対象物Ａ（５０）に対する映像投射位置の調整処理と、投射対象物Ｂ（５１）に対する映像投射位置の調整処理とをそれぞれ行う。これにより、投射対象物Ａ（５０）、Ｂ（５１）と投射映像７０、７１との間の位置ずれを軽減することができる。

　（２）基準透視変換行列生成部１００、投射映像生成部１１０、１５０および映像合成部１３０による調整処理は、カメラ２０によって取得した投射対象物Ｂ（５１）の位置と、カメラ２０によって取得したプロジェクタ１０の投射映像の位置との差分が小さくなるように制御するフィードバック処理を含む。このように、調整処理にフィードバック処理を含むことにより、投射対象物Ａ（５０）、Ｂ（５１）と投射映像７０、７１との間の位置ずれを軽減することができる。

　（３）投射対象物Ａ（５０）、Ｂ（５１）の位置の検出処理は、投射対象物Ａ（５０）、Ｂ（５１）上に存在するマーカーＴ００、Ｔ１０、Ｔ０１、Ｔ１１をカメラ２０によって取得することで行う。マーカーＴ００、Ｔ１０、Ｔ０１、Ｔ１１は、赤外光のＬＥＤ等の光源であり、人間に見ることのできない波長の光を発生することが可能である。カメラ２０は、赤外線カメラ等であり、光源が発生する光を感知することが可能となる。

　（４）投射型映像表示装置が、投射レンズ１１からの距離が時間と共に変化しうる投射対象物Ｂ（５１）に対して映像を投射する装置の場合には、投射対象物Ｂ（５１）に投射映像７１を投射するための設定処理として、基準透視変換行列生成部１００、投射映像生成部１１０、１５０および映像合成部１３０は、カメラ２０の撮像結果に対して調整処理を行ったうえで、投射対象物Ｂ（５１）に適合させるための幾何変換に必要な情報の生成を行う。これにより、投射対象物Ｂ（５１）が移動して、投射レンズ１１からの距離が時間と共に変化しうる投射対象物Ｂ（５１）に対しても、投射対象物Ｂ（５１）と投射映像７１との間の位置ずれを軽減することができる。

　（５）本実施の形態１によれば、カメラ２０を用いて、投射対象物Ａ（５０）、Ｂ（５１）およびこの投射対象物Ａ（５０）、Ｂ（５１）へ投射する投射映像７０、７１の位置を特定し、両者の位置の差分が小さくなるようにフィードバック処理を行うことで、投射対象物Ａ（５０）、Ｂ（５１）に対して投射映像７０、７１を、位置ずれを軽減して投射することが可能となる。
　［実施の形態２］

　実施の形態２における投射型映像表示装置および映像表示方法について、図１３を用いて説明する。本実施の形態２では、前記実施の形態１と異なる点を主に説明する。

　前記実施の形態１では、それぞれの基本的な処理を専用の電子回路等の機能モジュールで実現することを想定して説明したが、これらはパソコンのような汎用装置上のソフトウェアで実現しても構わない。本実施の形態２は、投射型映像表示装置の構成の一部をパソコンで実現する場合の一例である。
　＜投射型映像表示装置＞

　本実施の形態２における投射型映像表示装置について、図１３を用いて説明する。図１３は、本実施の形態２における投射型映像表示装置の構成の一例を示す図である。

　本実施の形態２における投射型映像表示装置は、プロジェクタ１０と、カメラ２０と、パソコン５００と、キーボード／マウス５０９とで構成される。

　パソコン５００は、一般的なパソコンとほぼ同一の構成であり、チップセット５０１、主記憶装置５０２、ＧＰＵ５０３、映像出力インターフェース（Ｉ／Ｆ）５０４、内部バス５０５、ハードディスクインターフェース（ＨＤＤＩ／Ｆ）５０６、汎用周辺機器インターフェース（ＵＳＢＩ／Ｆ）５０７、ハードディスク（ＨＤＤ）５０８、ＣＰＵ５１０、映像入力インターフェース（Ｉ／Ｆ）５１１等で構成される。

　パソコン５００では、ＣＰＵ５１０、主記憶装置５０２、チップセット５０１、ＧＰＵ５０３等の基本的な演算処理部に対し、内部バス５０５や専用バス等を用いて映像入力インターフェース５１１、映像出力インターフェース５０４、ハードディスクインターフェース５０６、汎用周辺機器インターフェース５０７等を介して、プロジェクタ１０、カメラ２０、ハードディスク５０８、キーボード／マウス５０９等が接続されている。

　このパソコン５００では、前記実施の形態１における、基準透視変換行列生成部１００、投射映像生成部１１０、１５０、映像合成部１３０、基準マーカー生成部１４０、および、映像入力部１７０と同様の処理を、ソフトウェア処理で実施することができる。すなわち、このソフトウェア処理では、投射型映像表示装置における映像表示方法の映像入力ステップおよび表示制御ステップの処理を行う。例えば、映像入力ステップは映像入力インターフェース５１１における動作であり、表示制御ステップはチップセット５０１、主記憶装置５０２、ＧＰＵ５０３およびＣＰＵ５１０における動作である。また、カメラ２０では、撮像ステップの動作が行われる。

　プロジェクタ１０で、投射対象物Ａ（５０）、Ｂ（５１）に投射する投射映像７０、７１としては、映像入力インターフェース５１１から入力する場合に限らず、ハードディスク５０８に格納された動画やＣＰＵ５１０やＧＰＵ５０３で描画したグラフィックス等が考えられる。映像が、ハードディスク５０８に格納されている場合やＣＰＵ５１０で生成される場合等は、ＣＰＵ５１０やハードディスク５０８の性能さえ満足していれば、プロジェクタ１０で投射する投射対象物の個数に上限は存在しないことになる。
　＜実施の形態２の効果＞

　以上説明したように、本実施の形態２における投射型映像表示装置および映像表示方法によれば、投射型映像表示装置の一部をパソコン５００で実現する場合においても、前記実施の形態１と同様の効果を得ることができる。

　より詳細に、本実施の形態２によれば、投射型映像表示装置における調整処理をソフトウェア処理で実施することができる。すなわち、投射型映像表示装置における映像表示方法の表示制御ステップでは、投射対象物Ａ（５０）に投射映像７０を投射し、投射対象物Ｂ（５１）に投射映像７１を投射するための設定処理として、パソコン５００は、カメラ２０の撮像結果に基づいて、投射対象物Ａ（５０）に対する映像投射位置の調整処理と、投射対象物Ｂ（５１）に対する映像投射位置の調整処理とをそれぞれ行う。これにより、投射対象物Ａ（５０）、Ｂ（５１）と投射映像７０、７１との間の位置ずれを軽減することができる。
　［実施の形態３］

　実施の形態３における投射型映像表示装置および映像表示方法について、図１４を用いて説明する。本実施の形態３では、前記実施の形態２と異なる点を主に説明する。

　前記実施の形態２では、プロジェクタ１０、カメラ２０、パソコン５００は異なる筐体であり、これらの間をケーブルや無線等で接続している場合を想定していたが、これらは一つの筐体内に格納しても構わない。本実施の形態３は、投射型映像表示装置の構成の全てを一つの筐体内に格納する場合の一例である。
　＜投射型映像表示装置＞

　本実施の形態３における投射型映像表示装置について、図１４を用いて説明する。図１４は、本実施の形態３における投射型映像表示装置の構成の一例を示す図である。

　本実施の形態３における投射型映像表示装置であるプロジェクタ１８において、映像投射部１９は図１３のプロジェクタ１０に相当する機能を持ち、映像撮像部２９は図１３のカメラ２０に相当する機能を持ち、その他の部分は図１３のパソコン５００に相当する機能を持つ。ただし、本実施の形態３における投射型映像表示装置は一般的なプロジェクタ１８を想定し、キーボード／マウス５０９については、操作パネル５１５に置き換えている。操作パネル５１５は、液晶等のモニタ表示とスイッチ類から構成されるが、単にスイッチ類のみであっても構わない。
　＜実施の形態３の効果＞

　以上説明したように、本実施の形態３における投射型映像表示装置および映像表示方法によれば、投射型映像表示装置であるプロジェクタ１８の構成の全てを一つの筐体内に格納する場合においても、前記実施の形態１および２と同様の効果を得ることができる。
　［実施の形態４］

　実施の形態４における投射型映像表示装置および映像表示方法について、図１５～図２７を用いて説明する。本実施の形態４では、前記実施の形態１～３と異なる点を主に説明する。

　前記実施の形態１～３では、投射位置のずれを１台のカメラを用いて補正していたが、本実施の形態４では複数台のカメラを用いる方法について説明する。
　＜投射型映像表示装置＞

　本実施の形態４における投射型映像表示装置について、図１５を用いて説明する。図１５は、本実施の形態４における投射型映像表示装置の構成の一例を示す図である。

　本実施の形態４における投射型映像表示装置は、プロジェクタ１０と、複数（図１５では２つの例を図示）のカメラ２０、２１と、複数（図１５では２つの例を図示）の基準透視変換行列生成部１００ａ、１０２ｂと、複数（図１５では２つの例を図示）の投射映像生成部１２０、１２１と、映像合成部１３０と、基準マーカー生成部１４０と、映像入力部１７０とで構成される。

　基準透視変換行列生成部１００ａ、１００ｂには、それぞれ、基準透視変換行列生成部１０１、マーカー位置算出部１０２、および、投射基準面マーカー検出部１０３の各処理部が含まれる。投射映像生成部１２０、１２１には、それぞれ、マーカー位置補正部１２５、透視変換部１１５ａ、１１５ｂ、映像透視変換行列生成部１１６、マーカー位置算出部１１７ａ、１１７ｂ、マーカー検出部１１８ａ、１１８ｂ、および、透視変換部１１９の各処理部が含まれる。基準透視変換行列生成部１００ａ、１００ｂおよび投射映像生成部１２０、１２１における各構成部の動作は前記実施の形態１と同様である。

　本実施の形態４における投射型映像表示装置では、２台のカメラ２０、２１を用いて投射位置のずれを補正している。
　＜カメラ、プロジェクタ、投射基準面の位置関係＞

　図１６は、前述したカメラ２０、２１、プロジェクタ１０、投射基準面の位置関係の一例を示す図である。本実施の形態４では、図１６に示すように、プロジェクタ１０の上側にカメラ２０を、下側にカメラ２１を設置している。ここでは、カメラ２０の光軸とプロジェクタ１０の光軸との間の距離と、カメラ２１の光軸とプロジェクタ１０の光軸との間の距離とが等しくなるように、カメラ２０、２１を設置しているものとする。それぞれのカメラ２０、２１は、基準透視変換行列生成部１００ａ、１００ｂに接続されており、図１７のように調整用スクリーン６０を用いて、基準透視変換行列を算出する。図１７は、投射基準面４０に調整用スクリーン６０を設置した状態の一例を示す図である。基準透視変換行列の算出方法については、前記実施の形態１で説明した方法と同じであるため、ここではその詳細を説明しないが、カメラ２０とカメラ２１とでは、プロジェクタ１０や調整用スクリーン６０に対する位置関係が異なるため、基準透視変換行列も異なるものとなる点に注意する必要がある。

　次に、投射基準面４０上に存在しない投射対象物Ｂ（５１）に対し、上側のカメラ２０を用いて投射位置を決定して、映像を投射した場合の例を図１８、図１９に示す。図１８は、投射対象物Ｂ（５１）をカメラ２０で撮像する様子の一例を示す図である。図１９は、投射対象物Ｂ（５１）へプロジェクタ１０で映像を投射する様子の一例を示す図である。図１８に示すように、投射対象物Ｂ（５１）は、カメラ２０からは、投射基準面４０上の位置５６に存在するように見えることになる。ここで、５６ｔは、位置５６に存在する投射面に相当する四角形の右上隅の点である。この状態で、何も補正を行わずにプロジェクタ１０によって投射対象物Ｂ（５１）へ映像を投射すると、図１９の位置９２に、投射対象物Ｂ（５１）からずれて投射されることになる。

　同様に、投射基準面４０上に存在しない投射対象物Ｂ（５１）に対し、下側のカメラ２１を用いて投射位置を決定し、映像を投射した例を図２０、図２１に示す。図２０は、投射対象物Ｂ（５１）をカメラ２１で撮像する様子の一例を示す図である。図２１は、投射対象物Ｂ（５１）へプロジェクタ１０で映像を投射する様子の一例を示す図である。図２０に示すように、投射対象物Ｂ（５１）は、カメラ２１からは、投射基準面４０上の位置５７に存在するように見えることになる。ここで、５７ｔは、位置５７に存在する投射面に相当する四角形の右上隅の点である。この状態で、何も補正を行わずにプロジェクタ１０によって投射対象物Ｂ（５１）へ映像を投射すると、図２１の位置９３に、投射対象物Ｂ（５１）からずれて投射されることになる。

　このように、プロジェクタ１０と光軸が一致しないカメラ２０またはカメラ２１を用いて、投射対象物Ｂ（５１）への投射位置を算出すると、実際の投射対象物Ｂ（５１）からずれた位置に映像が投射されてしまうことになる。

　ここで、理想的なケースとしてプロジェクタ１０の光軸とカメラの光軸とが完全に一致している場合を考える。これを図２２に示す。図２２は、投射対象物Ｂ（５１）をカメラ付きプロジェクタ１０ａのカメラで撮像する様子の一例を示す図である。この図２２において、１０ａは、プロジェクタおよびプロジェクタと完全に光軸が一致しているカメラを含むカメラ付きプロジェクタである。この場合、カメラ付きプロジェクタ１０ａに搭載されたカメラで撮像すると、投射対象物Ｂ（５１）は投射基準面４０上の位置５８に存在するように見えることになる。ここで、５８ｔは、位置５８に存在する投射面に相当する四角形の右上隅の点である。この状態で、カメラ付きプロジェクタ１０ａに搭載されたプロジェクタで何も補正を行わずに投射対象物Ｂ（５１）へ映像を投射すると、図２２の位置９４に、投射対象物Ｂ（５１）に合致して正しく投射されることになる。

　このようにプロジェクタとカメラとの光軸が完全に揃っていれば、投射対象物の距離によらず、位置ずれ無しに表示が可能である。プロジェクタとカメラとの光軸がずれている場合であっても、仮想的にプロジェクタ１０の位置にカメラがあると仮定した場合の投射対象物Ｂ（５１）の投射基準面４０における位置５８の４隅の座標を求めることができれば、投射対象物Ｂ（５１）へ位置ずれ無しに映像を投射することが可能となる。

　この座標を求める方法について、図１８、図２０、図２２における、四角形の右上隅の点５６ｔ、５７ｔ、５８ｔの位置関係を１枚の図面に重ねたて図示した図２３を用いて説明する。図２３は、カメラ２０、２１の位置に応じた投射対象物Ｂ（５１）の映り方の一例を示す図である。この図２３において、点５６ｔはカメラ２０を用いた場合に得られる投射対象物Ｂ（５１）の右上隅の投射基準面４０上の像の位置、点５７ｔはカメラ２１を用いた場合に得られる投射対象物Ｂ（５１）の右上隅の投射基準面４０上の像の位置、点５８ｔはプロジェクタ１０の位置にカメラを置いた場合に得られる投射対象物Ｂ（５１）の右上隅の投射基準面４０上の像の位置である。

　図２３では、カメラ２０と点５６ｔを結ぶ直線と、プロジェクタ１０と点５８ｔとを結ぶ直線とが点６８で交差しており、点６８の両端に相似形の三角形が２個形成されている。同様のことが、点５７ｔに関しても言えることから、点５６ｔと点５８ｔとの距離と、点５７ｔと点５８ｔとの距離との比は、カメラ２０とプロジェクタ１０との光軸間の距離と、カメラ２１とプロジェクタ１０との光軸間の距離との比に等しいことになる。今回の例では、カメラ２０とプロジェクタ１０との光軸間の距離と、カメラ２１とプロジェクタ１０との光軸間の距離とは等しいので、点５６ｔと点５７ｔとのちょうど中央に点５８ｔが存在することになり、点５６ｔと点５７ｔとの座標から、点５８ｔの座標を一意に求めることが可能である。

　ここでは、４隅の代表として、右上隅を用いて説明したが、他の３つの隅（左上隅、右下隅、左下隅）についても同様のことが言える。
　＜投射映像生成部の動作＞

　前述した座標を求める方法を使って、図１５の構成ではプロジェクタ１０の位置にカメラ２０、２１が置かれた場合の投射対象物Ｂ（５１）の投射基準面４０上の像の位置５８の４隅の座標を求め、これを用いて映像透視変換行列８１を算出し、透視変換を実施する。

　図１５において、１２０は投射対象物Ａ（５０）へ投射するための映像を生成する投射映像生成部であり、１２１は投射対象物Ｂ（５１）へ投射するための映像を生成する投射映像生成部である。両者の構造は、マーカー検出の条件が異なる以外（詳細は前記実施の形態１参照）は同一であり、また投射映像生成部の個数は２個に限定されるものではない。

　本実施の形態４は、投射対象物Ｂ（５１）に対する説明なので、説明対象の投射映像生成部は投射映像生成部１２１のことである。図１５において、カメラ２０、２１から入力された映像は、マーカー検出部１１８ａ、１１８ｂ、マーカー位置算出部１１７ａ、１１７ｂに入力され、それぞれのカメラ２０、２１のカメラ座標系における４つのマーカー座標（＝投射対象物Ｂの４隅の座標）が算出される。これを、基準透視変換行列を用いた透視変換部１１５ａ、１１５ｂでプロジェクタ座標系に変換する。

　マーカー位置補正部１２５では、カメラ２０から得られた投射対象物Ｂ（５１）の４隅のマーカー位置と、カメラ２１から得られた投射対象物Ｂ（５１）の４隅のマーカー位置とについて、それぞれの隅毎にＹ座標の平均値を求めることで、プロジェクタ１０の位置にカメラ２０、２１が置かれたと仮定した場合の投射対象物Ｂ（５１）の４隅のマーカー位置を算出する。この４隅の座標を用いて、映像透視変換行列生成部１１６において、映像透視変換行列８１を作成し、さらに、透視変換部１１９で投射対象物Ｂ（５１）への投射映像７１に対して透視変換を行い、変換後の投射映像を得る。

　それぞれの投射映像生成部１２０、１２１によって生成された変換後の投射映像は、映像合成部１３０によって合成され、プロジェクタ１０によって投射される。このようにすることで、プロジェクタ１０と投射対象物の距離に依存せずに、正しく映像を投射することが可能となる。
　＜投射型映像表示装置の外観＞

　本実施の形態４における投射型映像表示装置は、プロジェクタ１０の内部にカメラ２０、２１を内蔵し、図２４、図２５に示すような構造で実現できる。図２４は、投射レンズ１１の上下にカメラ２０、２１を配置したプロジェクタ１０の外観の一例を示す図である。この図２４の例では、ここまで説明してきたように、プロジェクタ１０の投射レンズ１１の上下にカメラ２０とカメラ２１とを光軸間の距離が等しくなるように配置している。プロジェクタ１０の投射レンズ１１、カメラ２０、２１は光軸の水平位置が一致するように配置されており、マーカー位置補正部１２５は、それぞれのカメラ２０、２１から得られたマーカー位置について、垂直方向に平均化して映像透視変換行列生成部１１６に使用するマーカー座標を算出している。

　図２５は、投射レンズ１１の左右にカメラ２０、２１を配置したプロジェクタ１０の外観の一例を示す図である。この図２５の例では、プロジェクタ１０の投射レンズ１１の左右にカメラ２０とカメラ２１とを光軸間の距離が等しくなるように配置している。プロジェクタ１０、カメラ２０、２１は光軸の垂直位置が一致するように配置されており、マーカー位置補正部１２５は、それぞれのカメラ２０、２１から得られたマーカー位置について、水平方向に平均化して映像透視変換行列生成部１１６で使用するマーカー座標を算出している。

　すなわち、図２４、図２５のような構造における投射映像生成部１２１の調整処理は、カメラ２０によって取得した投射対象物Ｂ（５１）のマーカー位置と、カメラ２１によって取得した投射対象物Ｂ（５１）のマーカー位置とに対して、あらかじめ定義された１：１の比率による重み付けの平均化処理演算を施すことによって得られるマーカー座標を用いた演算処理を行う。

　なお、図２４、図２５の構成では、カメラ２０、２１の光軸の中央にプロジェクタ１０の光軸が一致するように、カメラ２０、２１とプロジェクタ１０の投射レンズ１１とを配置しているが、本実施の形態４はこれに限定されるものではない。例えば、投射レンズ１１は、必ずしもカメラ２０、２１の中央に存在している必要は無い。この例を、図２６に示す。

　図２６は、投射レンズ１１の左右にカメラ２０、２１を異なる距離で配置したプロジェクタ１０の外観の一例を示す図である。この図２６の例では、カメラ２０と投射レンズ１１との光軸間の距離をａ、カメラ２１と投射レンズ１１との光軸間の距離をｂ＝２×ａとした場合のプロジェクタ１０の外観を示している。この構成において、プロジェクタ１０や投射基準面４０の関係を上から見た図を図２７に示す。図２７は、カメラ２０、２１の位置に応じた投射対象物Ｂ（５１）の映り方の一例を示す図である。この図２７に示すように、投射レンズ１１がカメラ２０、２１の中央に配置されていない場合であっても、カメラ２０から得られた投射対象物Ｂ（５１）の投射基準面４０上における座標８５と、カメラ２１から得られた投射対象物Ｂ（５１）の投射基準面４０上における座標８６とを、ａ’：ｂ’＝ａ：ｂの比率に従って分割することで、プロジェクタ１０の投射レンズ１１の位置にカメラ２０、２１を置いたと仮定した場合の投射対象物Ｂ（５１）の投射基準面４０上における座標８７を得ることが可能となる。これを用いて映像透視変換行列８１を作成することで、投射対象物Ｂ（５１）とプロジェクタ１０との距離によらず、正しい位置に映像を投射することが可能となる。

　すなわち、図２６、図２７のような構造における投射映像生成部１２１の調整処理は、カメラ２０によって取得した投射対象物Ｂ（５１）の座標８５と、カメラ２１によって取得した投射対象物Ｂ（５１）の座標８６とに対して、あらかじめ定義されたａ：ｂの比率による重み付け演算を施すことによって得られる座標８７を用いた演算処理を行う。
　＜変形例＞

　また、本実施の形態４の構成は、前記実施の形態２、３において図１３、図１４を用いて説明したのと同様に、ソフトウェア処理で実現することも可能である。この場合には、図１３中のカメラ２０や図１４中の映像撮像部２９は複数個搭載することになる。
　＜実施の形態４の効果＞

　以上説明したように、本実施の形態４における投射型映像表示装置および映像表示方法によれば、複数台のカメラ２０、２１を用いてカメラ２０、２１とプロジェクタ１０との光軸ずれの影響を相殺し、適切な透視変換行列を生成する手法を用いて、前記実施の形態１～３と同様の効果を得ることができる。より詳細に、本実施の形態４において、前記実施の形態１～３と異なる効果は、以下の通りである。

　（１）カメラ２０、２１は、複数台であり、投射レンズ１１から映像が照射される側の空間の投射レンズ１１の光軸上からプロジェクタ１０を見た場合に、カメラ２０、２１が投射レンズ１１を挟む位置関係に配置される。これにより、プロジェクタ１０とカメラ２０、２１との光軸が一致していない場合であっても、複数台のカメラ２０、２１を用いて、カメラ２０、２１とプロジェクタ１０との光軸ずれの影響を相殺し、適切な透視変換行列を生成することができる。

　（２）基準透視変換行列生成部１００ａ、１００ｂ、投射映像生成部１２０、１２１および映像合成部１３０による調整処理は、カメラ２０によって取得した投射対象物Ｂ（５１）の位置情報と、カメラ２１によって取得した投射対象物Ｂ（５１）の位置情報とを用いて算出した位置情報を用いた演算処理である。これにより、カメラ２０、２１を用いてカメラ２０、２１とプロジェクタ１０との光軸ずれの影響を相殺し、投射対象物Ｂ（５１）と投射映像７１との間の位置ずれを軽減することができる。

　（３）基準透視変換行列生成部１００ａ、１００ｂ、投射映像生成部１２０、１２１および映像合成部１３０による調整処理は、カメラ２０によって取得した投射対象物Ｂ（５１）の位置情報と、カメラ２１によって取得した投射対象物Ｂ（５１）の位置情報とに対して、あらかじめ定義された比率による重み付け演算を施すことによって得られる位置情報を用いた演算処理である。例えば、あらかじめ定義された比率による重み付けは、１：１の平均化処理である。また、あらかじめ定義された比率による重み付けは、ａ：ｂの比率による処理である。このように、調整処理にあらかじめ定義された比率による重み付け演算を施すことにより、投射対象物Ｂ（５１）と投射映像７１との間の位置ずれを軽減することができる。

　（４）投射型映像表示装置は、プロジェクタ１０の投射レンズ１１と同一の筐体に複数のカメラ２０、２１が搭載されている。これにより、同一の筐体内において、調整処理で使用する映像を取得することができる。

　（５）複数台のカメラ２０、２１と投射レンズ１１とは、同一直線状に配置されている。カメラ２０と投射レンズ１１との中心距離と、カメラ２１と投射レンズ１１との中心距離とが等しい。これにより、複数台のカメラ２０、２１を用いた場合でも、カメラ２０、２１とプロジェクタ１０との光軸ずれの影響を相殺することができる。

　以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。

　また、上記実施の形態は、本発明を分かり易く説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施の形態の構成の一部を他の実施の形態の構成に置き換えることが可能であり、また、ある実施の形態の構成に他の実施の形態の構成を加えることも可能である。また、各実施の形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

　また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１０：プロジェクタ、１１：投射レンズ、１２：表示素子、１３：照明光学系、１４：光源、１５：反射鏡、１８：プロジェクタ、２０：カメラ、２１：カメラ、４０：投射基準面、５０：投射対象物Ａ、５１：投射対象物Ｂ、６０：調整用スクリーン、７０：投射対象物Ａへの投射映像、７１：投射対象物Ｂへの投射映像、８０：基準透視変換行列、８１：映像透視変換行列、１００、１００ａ、１００ｂ：基準透視変換行列生成部、１０１：基準透視変換行列生成部、１０２：マーカー位置算出部、１０３：投射基準面マーカー検出部、１１０：投射映像生成部、１１１：マーカー位置補正部、１１３：映像投射位置算出部、１１４：投射映像識別部、１１５、１１５ａ、１１５ｂ：透視変換部、１１６：映像透視変換行列生成部：１１７、１１７ａ、１１７ｂ：マーカー位置算出部、１１８、１１８ａ、１１８ｂ：マーカー検出部、１１９：透視変換部、１２０：投射映像生成部、１２１：投射映像生成部、１２５：マーカー位置補正部、１３０：映像合成部、１４０：基準マーカー生成部、１５０：投射映像生成部、５００：パソコン。

Claims

　投射レンズからの距離が異なる複数の映像投射対象面に対して映像を投射する投射型映像表示装置であって、
　光源と、
　前記光源からの光を変調する表示素子と、
　前記表示素子からの光を投射する投射レンズと、
　映像入力部と、
　前記映像入力部で入力された映像に基づいて前記表示素子を制御する表示制御部と、
　前記複数の映像投射対象面を撮像可能な一つまたは複数の撮像部と、
　を備え、
　前記複数の映像投射対象面のうち、第１の映像投射対象面に前記映像入力部に入力された第１の映像を投射し、第２の映像投射対象面に前記映像入力部に入力された第２の映像を投射するための設定処理として、前記表示制御部は、前記撮像部の撮像結果に基づいて、前記第１の映像投射対象面に対する映像投射位置の調整処理と、前記第２の映像投射対象面に対する映像投射位置の調整処理とをそれぞれ行う、投射型映像表示装置。
　請求項１に記載の投射型映像表示装置であって、
　前記撮像部は複数であって、
　前記投射レンズから映像が照射される側の空間の前記投射レンズの光軸上から前記投射型映像表示装置を見た場合に、前記複数の撮像部が前記投射レンズを挟む位置関係に配置される、投射型映像表示装置。
　請求項１に記載の投射型映像表示装置であって、
　前記撮像部は一つであって、
　前記調整処理は、前記撮像部によって取得した映像投射対象面の位置と、前記撮像部によって取得した前記投射型映像表示装置の投射映像の位置との差分が小さくなるように制御するフィードバック処理を含む、投射型映像表示装置。
　請求項２に記載の投射型映像表示装置であって、
　前記複数の撮像部は、少なくとも第１の撮像部と第２の撮像部とを含み、
　前記調整処理は、前記第１の撮像部によって取得した映像投射対象面の第１の位置情報と、前記第２の撮像部によって取得した映像投射対象面の第２の位置情報とを用いて算出した第３の位置情報を用いた演算処理である、投射型映像表示装置。
　請求項２に記載の投射型映像表示装置であって、
　前記複数の撮像部は、少なくとも第１の撮像部と第２の撮像部とを含み、
　前記調整処理は、前記第１の撮像部によって取得した映像投射対象面の第１の位置情報と、前記第２の撮像部によって取得した映像投射対象面の第２の位置情報とに対して、あらかじめ定義された比率による重み付け演算を施すことによって得られる第３の位置情報を用いた演算処理である、投射型映像表示装置。
　請求項１に記載の投射型映像表示装置であって、
　前記映像投射対象面の位置の検出処理は、前記映像投射対象面上に存在するマーカーを前記撮像部によって取得することで行い、
　前記マーカーは、人間に見ることのできない波長の光を発生する光源であり、
　前記撮像部は、前記光源が発生する光を感知することが可能である、投射型映像表示装置。
　請求項２に記載の投射型映像表示装置であって、
　前記投射型映像表示装置の投射レンズと同一の筐体に前記複数の撮像部が搭載されている、投射型映像表示装置。
　請求項７に記載の投射型映像表示装置であって、
　前記複数の撮像部と前記投射レンズとは同一直線状に配置されている、投射型映像表示装置。
　投射レンズからの距離が時間と共に変化しうる映像投射対象面に対して映像を投射する投射型映像表示装置であって、
　光源と、
　前記光源からの光を変調する表示素子と、
　前記表示素子からの光を投射する投射レンズと、
　映像入力部と、
　前記映像入力部で入力された映像に基づいて前記表示素子を制御する表示制御部と、
　前記映像投射対象面を撮像可能な一つまたは複数の撮像部と、
　を備え、
　前記映像投射対象面に前記映像入力部に入力された映像を投射するための設定処理として、前記表示制御部は、前記撮像部の撮像結果に対して調整処理を行ったうえで、前記映像投射対象面に適合させるための幾何変換に必要な情報の生成を行う、投射型映像表示装置。
　請求項９に記載の投射型映像表示装置であって、
　前記撮像部は一つであって、
　前記調整処理は、前記撮像部によって取得した映像投射対象面の位置と、前記撮像部によって取得した前記投射型映像表示装置の投射映像の位置との差分が小さくなるように制御するフィードバック処理を含む、投射型映像表示装置。
　請求項９に記載の投射型映像表示装置であって、
　前記撮像部は複数であって、少なくとも第１の撮像部と第２の撮像部とを含み、
　前記調整処理は、前記第１の撮像部によって取得した映像投射対象面の第１の位置情報と、前記第２の撮像部によって取得した映像投射対象面の第２の位置情報とを用いて算出した第３の位置情報を用いた演算処理である、投射型映像表示装置。
　投射型映像表示装置における調整処理をソフトウェア処理で実施する映像表示方法であって、
　映像入力ステップと、
　前記映像入力ステップで入力された映像に基づいて表示素子を制御する表示制御ステップと、
　複数の映像投射対象面を撮像可能な一つまたは複数の撮像ステップと、
　を備え、
　前記表示制御ステップでは、前記複数の映像投射対象面のうち、第１の映像投射対象面に前記映像入力ステップで入力された第１の映像を投射し、第２の映像投射対象面に前記映像入力ステップで入力された第２の映像を投射するための設定処理として、前記撮像ステップの撮像結果に基づいて、前記第１の映像投射対象面に対する映像投射位置の調整処理と、前記第２の映像投射対象面に対する映像投射位置の調整処理とをそれぞれ行う、映像表示方法。