WO2020137174A1

WO2020137174A1 - プロジェクタシステム

Info

Publication number: WO2020137174A1
Application number: PCT/JP2019/043401
Authority: WO
Inventors: 亮佑中越
Original assignee: 株式会社Ｊｖｃケンウッド
Priority date: 2018-12-28
Filing date: 2019-11-06
Publication date: 2020-07-02
Also published as: EP3904957A4; CN113227896A; CN113227896B; US20210325766A1; US11624971B2; EP3904957A1; JPWO2020137174A1; EP3904957B1

Abstract

ユーザから見て背面側が凸の透過型の曲面スクリーン（３０）に、それぞれ映像を投影する複数のプロジェクタ装置（１０）を備えるプロジェクタシステム（１）において、制御部（２０）は、入力映像を、それぞれ重複領域を持たせて複数の映像に分割し、分割した複数の映像を複数のプロジェクタ装置（１０）にそれぞれ供給する。複数のプロジェクタ装置（１０）の各投射光の光軸は、曲面スクリーン（３０）の中心点よりも複数のプロジェクタ装置（３０）から見て遠方の位置を交点とする。

Description

プロジェクタシステム

　本発明は、超広角レンズを使用して撮影された映像を複数のプロジェクタ装置から投影するプロジェクタシステムに関する。

　プロジェクションマッピング、シミュレータ（例えば、フライトシミュレータ）等において、１つの映像を複数のプロジェクタ装置で投影するマルチ投影システムが使用されることがある。マルチ投影システムでは、通常、複数のプロジェクタ装置を等間隔に配置している（例えば、特許文献１参照）。

　プロジェクタ装置から曲面スクリーン（例えば、シリンドリカルスクリーンやドームスクリーン）に投影する場合、プロジェクタ装置のレンズに、魚眼レンズやスクリーンの曲率に最適化された特殊なレンズが用いられることが多い。上記プロジェクタ装置から魚眼レンズや特殊なレンズを介して投射され、スクリーンに投影された映像は、中心領域の解像度が密で、周辺領域の解像度が粗になる。

　遠隔地の映像を、リアルタイムに没入感のある映像として曲面スクリーンに投影するには、超広角で高精細な映像を撮影し、撮影した映像を低遅延で伝送する必要がある。超広角で高精細な映像を撮影する方法として、複数のカメラで撮影する方法と、魚眼レンズ等の超広角レンズを使用した単眼カメラで撮影する方法が考えられる。後者の方が映像処理にかかる負荷が少ないためリアルタイム性において有利である。

特開２００９－２０６６６５号公報

　魚眼レンズ等の超広角レンズで撮影された映像は、中心領域の解像度が密で、周辺領域の解像度が粗になる。したがって、超広角レンズを使用して撮影した映像を、魚眼レンズや特殊なレンズを備えるプロジェクタ装置から投射すると、スクリーンに投影された画像の周辺領域の解像度が二重に低下することになる。

　本実施形態はこうした状況に鑑みてなされたものであり、その目的は、超広角レンズを使用して撮影された映像を複数のプロジェクタ装置から投影する際、投影された映像の品質低下を抑制する技術を提供することにある。

　上記課題を解決するために、本実施形態のある態様のプロジェクタシステムは、ユーザから見て背面側が凸の透過型の曲面スクリーンと、前記曲面スクリーンに、それぞれ映像を投影する複数のプロジェクタ装置と、入力映像を、それぞれ重複領域を持たせて複数の映像に分割し、分割した複数の映像を前記複数のプロジェクタ装置にそれぞれ供給する制御部と、を備える。前記複数のプロジェクタ装置の各投射光の光軸は、前記曲面スクリーンの中心点よりも前記複数のプロジェクタ装置から見て遠方の位置を交点とする。

　なお、以上の構成要素の任意の組合せ、本実施形態の表現を方法、装置、システムなどの間で変換したものもまた、本実施形態の態様として有効である。

　本実施形態によれば、超広角レンズを使用して撮影された映像を複数のプロジェクタ装置から投影する際、投影された映像の品質低下を抑制することができる。

本発明の実施の形態に係るプロジェクタシステムを説明するための図である。図１の撮像装置の構成例を示す図である。図１の制御装置の構成例を示す図である。図１のプロジェクタ装置の構成例を示す図である。２台のプロジェクタ装置による配置例１を示す図である。２台のプロジェクタ装置による配置例２を示す図である。２台のプロジェクタ装置による配置例３を示す図である。図７の配置例３におけるプロジェクタ装置の投射光の光軸の条件を説明するための図である。図７の配置例３におけるプロジェクタ装置の投射光の光軸の条件を説明するための別の図である。４台のプロジェクタ装置による配置例４を示す図である。４台のプロジェクタ装置による配置例５を示す図である。図１１の配置例５におけるプロジェクタ装置の投射光の光軸の条件を説明するための図である。図１３（ａ）、（ｂ）は、プロジェクタ装置から投影される映像の画素密度と投射距離の関係を説明するための図である。

　図１は、本発明の実施の形態に係るプロジェクタシステム１を説明するための図である。本実施の形態に係るプロジェクタシステム１では、曲面スクリーン３０を使用する。本実施の形態では曲面スクリーン３０として、ユーザＡから見て背面側が凸で水平方向に湾曲する透過型のシリンドリカルスクリーンを使用する例を説明する。図１は、プロジェクタシステム１を上から見た図であり、中心角が１８０°の円弧上に曲面スクリーン３０が形成されている。例えば、曲面スクリーン３０の幅（直径）は約２～３ｍに設計され、ユーザＡは曲面スクリーン３０の中心点付近から、曲面スクリーン３０に投影された映像を観察する。このような設計では、ユーザＡは高い没入感を得ることができる。

　プロジェクタシステム１は、複数のプロジェクタ装置１０と制御装置２０を備える。図１では、４台のプロジェクタ装置１０（第１プロジェクタ装置１０ａ、第２プロジェクタ装置１０ｂ、第３プロジェクタ装置１０ｃ、第４プロジェクタ装置１０ｄ）を使用する例を示している。

　複数のプロジェクタ装置１０は、ユーザＡから見て曲面スクリーン３０の背面側に設置され、曲面スクリーン３０の背面から曲面スクリーン３０に向けて映像を投射する。制御装置２０は、入力映像をフレーム単位で重複領域を持たせて空間的に分割し、それぞれ重複領域を持つ分割した映像を複数のプロジェクタ装置１０にそれぞれ供給する装置である。

　本実施の形態において、複数のプロジェクタ装置１０が投射すべき映像は、撮像装置３で撮像され、ネットワーク２を介して制御装置２０に伝送されてくる映像である。以下、撮像装置３で撮像された実写の動画映像をリアルタイムに曲面スクリーン３０に投影させる例を想定する。

　図２は、図１の撮像装置３の構成例を示す図である。撮像装置３は、撮像部３１及び処理部３５を備える。撮像部３１は、超広角レンズ３２、固体撮像素子３３及び信号処理回路３４を含む。超広角レンズ３２は、画角が１４０°以上の超広角レンズであり、本実施の形態では、画角が１８０°の魚眼レンズを使用することを想定する。超広角レンズ３２の画角と、曲面スクリーン３０の中心角は近似した値であることが好ましい。なお、画角が１８０°以上の魚眼レンズが使用されてもよい。また、中心角が１８０°以上の曲面スクリーン３０が使用されてもよい。

　固体撮像素子３３は、超広角レンズ３２を介して入射される光を電気的な画像信号に変換し、信号処理回路３４に出力する。固体撮像素子３３は例えば、３０Ｈｚ／６０Ｈｚのフレームレートで画像信号を出力する。固体撮像素子３３には例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ又はＣＣＤ（Charge Coupled Devices）イメージセンサを使用することができる。信号処理回路３４は、固体撮像素子３３から入力される画像信号に対して、Ａ／Ｄ変換、ノイズ除去などの信号処理を施し、処理部３５に出力する。

　処理部３５は、画像処理部３６、圧縮部３７及び通信部３８を含む。処理部３５の機能はハードウェア資源とソフトウェア資源の協働、又はハードウェア資源のみにより実現できる。ハードウェア資源として、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、その他のＬＳＩを利用できる。ソフトウェア資源としてファームウェア等のプログラムを利用できる。

　画像処理部３６は、信号処理回路３４から入力された画像信号を、超広角レンズ３２の視野角に応じて設定された歪パラメータに基づき座標変換する。例えば、画面の中心からの距離と角度が比例する等距離射影方式を用いて座標変換する。また画像処理部３６は、座標変換して生成した円形画像から矩形画像を切り出して、一般的なアスペクト比の画像信号を生成する。また画像処理部３６は、画像信号に対して、階調補正、色補正、輪郭補正などの各種の画像処理を施すこともできる。

　圧縮部３７は、画像処理部３６から入力される画像信号を、所定の圧縮方式に基づき圧縮する。圧縮方式には、高圧縮率でビジュアルロスレスな圧縮方式が用いられることが好ましい。通信部３８は、有線または無線によりネットワーク２に接続するための通信インタフェースであり、圧縮部３７により圧縮された画像信号を含む映像信号を、所定の通信規格に従い制御装置２０に送信する。ネットワーク２は、インターネットや専用線などの通信路の総称であり、その通信媒体、通信経路、プロトコルは問わない。

　図３は、図１の制御装置２０の構成例を示す図である。制御装置２０は、通信部２１、伸張部２２、分割部２３、重複領域補正部２４及び映像出力部２５を備える。制御装置２０の機能もハードウェア資源とソフトウェア資源の協働、又はハードウェア資源のみにより実現できる。ハードウェア資源として、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＧＰＵ、ＤＳＰ、ＡＳＩＣ、ＦＰＧＡ、その他のＬＳＩを利用できる。ソフトウェア資源としてファームウェア等のプログラムを利用できる。

　図１では、制御装置２０が複数のプロジェクタ装置１０から独立した装置として構成される例を示している。制御装置２０は、複数のプロジェクタ装置１０とそれぞれケーブル（例えば、ＨＤＭＩ（登録商標）ケーブル、ＬＡＮケーブル）で接続されている。なお制御装置２０と複数のプロジェクタ装置１０間が無線で接続されてもよい。

　なお、制御装置２０が複数のプロジェクタ装置１０から独立した装置として構成されるのではなく、制御装置２０が実装されたボードが、複数のプロジェクタ装置１０のいずれかに内蔵される構成でもよい。その場合、制御装置２０を内蔵するプロジェクタ装置１０と、他のプロジェクタ装置１０間が有線または無線で接続される。

　通信部２１は、有線または無線によりネットワーク２に接続するための通信インタフェースであり、撮像装置３から送信されてきた映像信号を、所定の通信規格に従い受信する。伸張部２２は、撮像装置３における圧縮方式に対応した伸張方式で、受信された映像信号を伸張する。

　分割部２３は、伸張部２２から入力された映像信号を、複数のプロジェクタ装置１０の台数の映像信号に分割する。本実施の形態では入力された映像を、水平方向に４分割する。その際、各映像の境界部分に重複領域を持たせる。即ち、各映像の境界部分において冗長部分を持たせた状態で、元の入力映像から各映像を切り出す。隣接する２つの映像間の重複領域の大きさは、後述する複数のプロジェクタ装置１０の設置態様に依存する。

　重複領域補正部２４は、分割された複数の映像において、隣接する２つの映像の重複領域の各輝度を、両者のブレンド比に応じて補正する。最も単純な処理では、２つの映像の重複領域の各輝度を１：１で規定し、２つの映像の重複領域のブレンド比の合計が１になるように各映像の重複領域の各輝度を０．５倍して、各輝度を補正する。また重複領域に輝度傾斜が付いたブレンド比が規定されてもよい。例えば、重複領域の左側の映像と右側の映像のブレンド比を、重複領域の左端で１：０、右端で０：１になるように輝度傾斜が付けられてもよい。

　なお複数のプロジェクタ装置１０の台数が多い場合、隣接する３つの映像で重複領域が形成される場合もある。その場合も、３つの映像の重複領域のブレンド比の合計が１になるように、各映像の重複領域の各輝度を補正する。

　映像出力部２５は、それぞれ重複領域が補正され、分割された複数の映像を複数のプロジェクタ装置１０にそれぞれ出力する。図１に示す例では、４つの分割された映像を、４つのプロジェクタ装置１０にそれぞれ出力する。

　図４は、図１のプロジェクタ装置１０の構成例を示す図である。プロジェクタ装置１０は、投射部１１及び処理部１５を備える。投射部１１は、光源１２、光変調部１３及び投写レンズ１４を含む。処理部１５は、映像入力部１６及び映像信号設定部１７を含む。処理部１５の機能もハードウェア資源とソフトウェア資源の協働、又はハードウェア資源のみにより実現できる。ハードウェア資源として、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＧＰＵ、ＤＳＰ、ＡＳＩＣ、ＦＰＧＡ、その他のＬＳＩを利用できる。ソフトウェア資源としてファームウェア等のプログラムを利用できる。

　映像入力部１６に、制御装置２０から映像が入力される。映像信号設定部１７は、入力された映像信号を光変調部１３に設定する。

　光源１２には、ハロゲンランプ、キセノンランプ、メタルハライドランプ、超高圧水銀ランプ、レーザーダイオード等を使用することができる。

　光変調部１３は、映像信号設定部１７から設定される映像信号に応じて、光源１２から入射される光を変調する。光変調部１３には、ＬＣＤ（Liquid Crystal Display）方式、ＬＣｏＳ（Liquid Crystal on Silicon）方式、ＤＬＰ（Digital Light Processing）方式などが使用される。ＬＣＤ方式では、３原色の透過型液晶パネルが使用され、各色の透過型液晶パネルで生成された映像が合成されて投射される。ＬＣｏＳ方式では、３原色の反射型液晶パネルが使用され、各色の反射型液晶パネルで生成された映像が合成されて投射される。ＤＬＰ方式では、ＤＭＤ（Digital Micromirror Device）が使用される。ＤＭＤは、画素数に対応した複数のマイクロミラーを備え、各マイクロミラーの向きが各映像信号に応じて制御されることにより、所望の映像が生成される。

　投写レンズ１４は、光変調部１３から入射される光を拡大して出力する。投写レンズ１４には、一般的な画角のレンズが使用され、魚眼レンズや曲面スクリーン３０の曲率に最適化された特殊なレンズは使用されない。

　以下、複数のプロジェクタ装置１０の配置について考察する。最初に単純化のため、２台のプロジェクタ装置１０（第１プロジェクタ装置１０ａ、第２プロジェクタ装置１０ｂ）が使用される場合を説明する。

　図５は、２台のプロジェクタ装置１０による配置例１を示す図である。配置例１は、曲面スクリーン３０ではなく、平面スクリーン３０ｆが使用される例である。また分割前の入力映像は、図２に示した超広角レンズ３２を使用して撮像された映像ではなく、標準レンズを使用して撮像された映像が使用される。標準レンズを使用して撮像された映像は、画面内の画素密度が略均一になる。一方、超広角レンズ３２を使用して撮像された映像は、中心から周辺にかけて画素密度（解像度）が低下する。即ち、映像の中心の画素サイズが最も小さくなり、画面端の画素サイズが最も大きくなる。

　プロジェクタ装置１０と投影面との間の距離が近いほど、投影された映像の画素密度（解像度）が高くなる。即ち、画素サイズが小さくなる。また両者の距離が近いほど、映像が明るくなる。反対に両者の距離が離れるほど、投影された映像の画素密度（解像度）が低くなる。即ち、画素サイズが大きくなる。また両者の距離が離れるほど、映像が暗くなる。

　図５に示す例では、第１プロジェクタ装置１０ａ及び第２プロジェクタ装置１０ｂは、それぞれの投射光の光軸が、平面スクリーン３０ｆの投影面に対して垂直になるように配置される。第１プロジェクタ装置１０ａの投射位置から平面スクリーン３０ｆの各投影位置までの距離は周辺にいくほど長くなる。したがって、厳密には第１プロジェクタ装置１０ａから平面スクリーン３０ｆに投影された映像は、周辺にいくほど画素密度が低下し、かつ暗くなる。しかしながら、画面の中心部と周辺部の画素密度および明るさの差は、無視できる程度であり、画面内の画素密度と明るさ分布は、略均一といえる。第２プロジェクタ装置１０ｂから平面スクリーン３０ｆに投影された映像も同様である。

　上述したように分割前の入力映像の画素密度も略均一であるため、第１プロジェクタ装置１０ａ及び第２プロジェクタ装置１０ｂから平面スクリーン３０ｆに投影された全体映像の画素密度も略均一となる。

　図６は、２台のプロジェクタ装置１０による配置例２を示す図である。配置例２以降では、平面スクリーン３０ｆではなく曲面スクリーン３０が使用され、分割前の入力映像は、図２に示した超広角レンズ３２を使用して撮像された映像が使用される。

　ここで、曲面スクリーン３０の円弧の中心点を、曲面スクリーン３０の中心点Ｐ１とする。図６に示す例は、曲面スクリーン３０に対して第１プロジェクタ装置１０ａと第２プロジェクタ装置１０ｂを等間隔に配置した例である。曲面スクリーン３０の中心角度を、（プロジェクタ装置１０の台数＋１）で割った角度で、曲面スクリーン３０に対して複数のプロジェクタ装置１０の投射光の光軸が等間隔に設定されるように、複数のプロジェクタ装置１０が設置される。より具体的には、複数のプロジェクタ装置１０の投射光の光軸が曲面スクリーン３０の中心点Ｐ１で交わり、複数のプロジェクタ装置１０の投射光の光軸が曲面スクリーン３０の投影面に等角度で当たり、かつ各プロジェクタ装置１０の投射位置から各投射光の光軸が投影面に当たる位置（Ｐａ、Ｐｂ）までの投影距離が等しくなるように、複数のプロジェクタ装置１０の投射位置が設定される。

　図６に示す例では、曲面スクリーン３０の中心角度が１８０°、プロジェクタ装置１０の台数が２である。したがって、第１プロジェクタ装置１０ａと第２プロジェクタ装置１０ｂの投射光の各光軸が曲面スクリーン３０の中心点Ｐ１で交わり、第１プロジェクタ装置１０ａと第２プロジェクタ装置１０ｂの投射光の各光軸が曲面スクリーン３０の投影面に６０°間隔の位置（Ｐａ、Ｐｂ）で当たり、かつ第１プロジェクタ装置１０ａと第２プロジェクタ装置１０ｂの各投射位置から各投射光の光軸が投影面に当たる位置（Ｐａ、Ｐｂ）までの投射距離が等しくなるように、第１プロジェクタ装置１０ａと第２プロジェクタ装置１０ｂの投射位置が設定される。

　図６の下側の３本の帯は、入力映像の画素密度、第１プロジェクタ装置１０ａの投射光が曲面スクリーン３０に投影された映像の画素密度、及び第２プロジェクタ装置１０ｂの投射光が曲面スクリーン３０に投影された映像の画素密度をそれぞれ模式的に表している。

　入力映像は、魚眼レンズを使用して撮像された映像であるため、中心部分の画素密度が最も高く、周辺にいくにしたがって低下していく。第１プロジェクタ装置１０ａから投影された映像の画素密度は、第１プロジェクタ装置１０ａの投射光の光軸が曲面スクリーン３０の投影面に当たる位置が最も高くなり、その位置から左右に離れるにしたがって低下していく。同様に、第２プロジェクタ装置１０ｂから投影された映像の画素密度は、第２プロジェクタ装置１０ｂの投射光の光軸が曲面スクリーン３０の投影面に当たる位置が最も高くなり、その位置から左右に離れるにしたがって低下していく。

　図６に示す例では、曲面スクリーン３０全体に投影された映像の画素密度に２つの山（水平方向における画素密度が相対的に高い領域）が発生し、２つの山の間の中心部分の画素密度は２つの山の部分の画素密度より低くなっている。ここで２つの山は、各プロジェクタ装置１０の画素密度において光軸が投影面に当たる位置（Ｐａ、Ｐｂ）にそれぞれ対応している。これに対して入力映像の画素密度は中心部分が最も高くなるため、入力映像の画素密度の分布と、曲面スクリーン３０全体に投影された映像の画素密度の分布との間に大きな乖離が発生する。なお、画素密度の分布は明るさの分布にも対応しており、曲面スクリーン３０全体に投影された映像の中心部分の明るさは、両側の２つの山の部分の明るさより暗くなっている。

　人間の眼は、視線方向を中心に３０°程度の視野角範囲の映像に対して敏感であるため、曲面スクリーン３０の中心部分を見ているユーザＡにとって、曲面スクリーン３０の中心部分の解像度および明るさの低下は目立ちやすく、没入感を低下させる要因となる。

　図７は、２台のプロジェクタ装置１０による配置例３を示す図である。配置例３では、曲面スクリーン３０全体に投影される映像の中心部の画素密度が、周辺部の画素密度より高くなるように第１プロジェクタ装置１０ａと第２プロジェクタ装置１０ｂの投射位置が設定される。

　上記を実現するために、複数のプロジェクタ装置１０を、ケラレ等の画像不具合が発生しない範囲で可能な限り、曲面スクリーン３０の中心に寄せた状態でオフセット配置する。この場合、複数のプロジェクタ装置１０の投射光の光軸が曲面スクリーン３０の中心点Ｐ１より複数のプロジェクタ装置１０から見て遠方の位置の交点Ｐ２で交わる。より具体的には交点Ｐ２は、曲面スクリーン３０の投影面上の中心と中心点Ｐ１とを結んだ線の延長線上に位置する。また、複数のプロジェクタ装置１０の投射光の光軸が曲面スクリーン３０の投影面に当たる位置（Ｐａ’、Ｐｂ’）が、当該複数の光軸が曲面スクリーン３０の投影面に等角度で当たる場合の位置（Ｐａ、Ｐｂ）より、それぞれ投影面上の中心に近づいた位置になる。なお複数のプロジェクタ装置１０の投射光の光軸が曲面スクリーン３０の投影面に当たる位置（Ｐａ’、Ｐｂ’）は、複数のプロジェクタ装置１０の投射光の光軸が交点Ｐ２で交われば、当該複数の光軸が曲面スクリーン３０の投影面に等角度で当たる場合の位置（Ｐａ、Ｐｂ）と同じ位置でもよい。

　図７に示す例では、第１プロジェクタ装置１０ａと第２プロジェクタ装置１０ｂの投射光の光軸が曲面スクリーン３０の中心点Ｐ１より遠方の位置の交点Ｐ２で交わる。また、第１プロジェクタ装置１０ａと第２プロジェクタ装置１０ｂの各投射光の光軸が曲面スクリーン３０の投影面に当たる位置（Ｐａ’、Ｐｂ’）が、当該２つの光軸が投影面に等角度で当たる２点の位置（Ｐａ、Ｐｂ）より、それぞれ投影面上の中心に近づいた位置になっている。したがって、第１プロジェクタ装置１０ａの投射光の光軸と第２プロジェクタ装置１０ｂの投射光の光軸とのなす角度が６０°未満になる。

　図８に示すように、第１プロジェクタ装置１０ａと第２プロジェクタ装置１０ｂのそれぞれの投射光の光軸は、２つの投射光の光軸の交点Ｐ２を中心とする円Ｃ１の円弧の接線Ｌ１と直交する関係になる。ここで接線Ｌ１は、第１プロジェクタ装置１０ａと第２プロジェクタ装置１０ｂのそれぞれの投射光の光軸と、２つの投射光の光軸の交点Ｐ２を中心とする円Ｃ１と、の交点を接点とする。

　なお図９に示すように、実線で表す曲面スクリーン３０ａが、中心角が１８０°に満たない円弧である場合でも、図８に示した条件と同様に、第１プロジェクタ装置１０ａと第２プロジェクタ装置１０ｂのそれぞれの投射光の光軸は、２つの投射光の光軸の交点Ｐ２を中心とする円Ｃ１の円弧の接線Ｌ１と直交する関係になる。ここで接線Ｌ１は、第１プロジェクタ装置１０ａと第２プロジェクタ装置１０ｂのそれぞれの投射光の光軸と、２つの投射光の光軸の交点Ｐ２を中心とする円Ｃ１と、の交点を接点とする。

　曲面スクリーンは円弧に限らない。曲面スクリーンは例えば、楕円の弧でもよい。曲面スクリーンが楕円の弧である場合、楕円の長軸と短軸との交点を曲面スクリーンの中心点Ｐ１とする。

　図６と図７の第１プロジェクタ装置１０ａから投影された映像の画素密度を示す帯を比較すると、図７に示す例のほうが、画素密度が最も高い領域が、曲面スクリーン３０全体に投影された映像の中心に寄っていることが分かる。即ち、右方向に寄っていることが分かる。同様に、図６と図７の第２プロジェクタ装置１０ｂから投影された映像の画素密度を示す帯を比較すると、図７に示す例のほうが、画素密度が最も高い領域が、曲面スクリーン３０全体に投影された映像の中心に寄っていることが分かる。即ち、左方向に寄っていることが分かる。

　第１プロジェクタ装置１０ａの投射光の光軸と第２プロジェクタ装置１０ｂの投射光の光軸とのなす角度をさらに小さく設定すれば、第１プロジェクタ装置１０ａから投影された映像の画素密度が最も高い領域と、第２プロジェクタ装置１０ｂから投影された映像の画素密度が最も高い領域をさらに中心に寄せることができる。

　図７に示す例では図６に示した例と比較して、曲面スクリーン３０全体に投影された映像の画素密度の分布が入力映像の画素密度の分布に近づいており、撮像装置３で撮像された映像の解像度と明るさに近い映像を投影することができる。したがって、ユーザＡの没入感を向上させることができる。

　図１０は、４台のプロジェクタ装置１０による配置例４を示す図である。配置例４は、曲面スクリーン３０に対して第１プロジェクタ装置１０ａ、第２プロジェクタ装置１０ｂ、第３プロジェクタ装置１０ｃ及び第４プロジェクタ装置１０ｄを等間隔に配置した例である。図１０に示す例では、曲面スクリーン３０の中心角度が１８０°、プロジェクタ装置１０の台数が４である。したがって、第１プロジェクタ装置１０ａ、第２プロジェクタ装置１０ｂ、第３プロジェクタ装置１０ｃ及び第４プロジェクタ装置１０ｄの各投射光の光軸が曲面スクリーン３０の中心点Ｐ１で交わり、第１プロジェクタ装置１０ａ、第２プロジェクタ装置１０ｂ、第３プロジェクタ装置１０ｃ及び第４プロジェクタ装置１０ｄの各投射光の光軸が曲面スクリーン３０の投影面に３６°間隔で当たり、かつ第１プロジェクタ装置１０ａ、第２プロジェクタ装置１０ｂ、第３プロジェクタ装置１０ｃ及び第４プロジェクタ装置１０ｄの各投射位置から各投射光の光軸が投影面に当たる位置（Ｐａ、Ｐｂ、Ｐｃ、Ｐｄ）までの投射距離が等しくなるように、第１プロジェクタ装置１０ａ、第２プロジェクタ装置１０ｂ、第３プロジェクタ装置１０ｃ及び第４プロジェクタ装置１０ｄの投射位置が設定される。

　図１０の下側の５本の帯は、入力映像の画素密度、第１プロジェクタ装置１０ａの投射光が曲面スクリーン３０に投影された映像の画素密度、第２プロジェクタ装置１０ｂの投射光が曲面スクリーン３０に投影された映像の画素密度、第３プロジェクタ装置１０ｃの投射光が曲面スクリーン３０に投影された映像の画素密度、及び第４プロジェクタ装置１０ｄの投射光が曲面スクリーン３０に投影された映像の画素密度をそれぞれ模式的に表している。

　図１０に示す例では、曲面スクリーン３０全体に投影された映像の画素密度に４つの山（水平方向における画素密度が相対的に高い領域）が発生している。ここで４つの山は、各プロジェクタ装置１０の画素密度において光軸が投影面に当たる位置（Ｐａ、Ｐｂ、Ｐｃ、Ｐｄ）にそれぞれ対応している。隣接する２つの山の谷間部分の画素密度は、２つの山の部分の画素密度より低くなっている。このように曲面スクリーン３０全体に投影された映像の画素密度が、不自然なばらつきを持つものになっている。明るさについても同様に、不自然なばらつきを持つものになっている。

　図１１は、４台のプロジェクタ装置１０による配置例５を示す図である。配置例５では、曲面スクリーン３０全体に投影される映像の中心部の画素密度が、周辺部の画素密度より高くなるように第１プロジェクタ装置１０ａ、第２プロジェクタ装置１０ｂ、第３プロジェクタ装置１０ｃ及び第４プロジェクタ装置１０ｄの投射位置が設定される。

　図１１に示す例では、第１プロジェクタ装置１０ａ、第２プロジェクタ装置１０ｂ、第３プロジェクタ装置１０ｃ及び第４プロジェクタ装置１０ｄの各投射光の光軸が曲面スクリーン３０の投影面に当たる位置（Ｐａ’、Ｐｂ’、Ｐｃ’、Ｐｄ’）が、当該４つの光軸が投影面に等角度で当たる４点の位置（Ｐａ、Ｐｂ、Ｐｃ、Ｐｄ）より、それぞれ投影面上の中心に近づいた位置になっている。

　隣接する２つのプロジェクタ装置１０の２つの投射光の光軸がなす角度は、投影面上の中心に近いほど、小さく設定されることが好ましい。図１１に示す例では、第２プロジェクタ装置１０ｂの投射光の光軸と第３プロジェクタ装置１０ｃの投射光の光軸とのなす角度は、第１プロジェクタ装置１０ａの投射光の光軸と第２プロジェクタ装置１０ｂの投射光の光軸とのなす角度、及び第３プロジェクタ装置１０ｃの投射光の光軸と第４プロジェクタ装置１０ｄの投射光の光軸とのなす角度より小さく設定されている。

　図１１に示す例では、曲面スクリーン３０の中心部に投射している第２プロジェクタ装置１０ｂと第３プロジェクタ装置１０ｃの各投射位置から各投射光の光軸が投影面に当たる位置（Ｐｂ’、Ｐｃ’）までの投射距離が、曲面スクリーン３０の周辺部に投射している第１プロジェクタ装置１０ａと第４プロジェクタ装置１０ｄの各投射位置から各投射光の光軸が投影面に当たる位置（Ｐａ’、Ｐｄ’）までの投射距離より、短く設定されている。上述したように当該距離が短くなるほど、投影された映像の画素密度が高くなり、明るくなる。

　図１１に示す例では、曲面スクリーン３０の中心部に投射している第２プロジェクタ装置１０ｂと第３プロジェクタ装置１０ｃの投射光の光軸は、曲面スクリーン３０の中心点Ｐ１より各プロジェクタ装置１０から見て遠方の位置の交点Ｐ２で交わっている。曲面スクリーン３０の周辺部に投射している第１プロジェクタ装置１０ａと第４プロジェクタ装置１０ｄの投射光の光軸は、各プロジェクタ装置１０から見て、第２プロジェクタ装置１０ｂと第３プロジェクタ装置１０ｃの投射光の光軸の交点Ｐ２より近傍であり、かつ曲面スクリーン３０の中心点Ｐ１より遠方の位置の交点Ｐ３で交わっている。交点Ｐ３の位置は、上述した各プロジェクタ装置１０の投射距離に依存する。交点Ｐ２及び交点Ｐ３は、曲面スクリーン３０の投影面上の中心と中心点Ｐ１とを結んだ線の延長線上に位置する。

　複数のプロジェクタ装置１０の投射光の光軸が曲面スクリーン３０の投影面に当たる位置（Ｐａ’、Ｐｂ’、Ｐｃ’、Ｐｄ’）は、複数のプロジェクタ装置１０の投射光の光軸が中心点Ｐ１よりも遠方で交われば、当該複数の光軸が曲面スクリーン３０の投影面に等角度で当たる場合の位置（Ｐａ、Ｐｂ、Ｐｃ、Ｐｄ）と同じ位置でもよい。

　図１２に示すように、画面中心部に投影する第２プロジェクタ装置１０ｂと第３プロジェクタ装置１０ｃのそれぞれの投射光の光軸は、それら２つの投射光の光軸の交点Ｐ２を中心とする円Ｃ１の円弧の接線Ｌ１と直交する関係になる。ここで接線Ｌ１は、第２プロジェクタ装置１０ｂと第３プロジェクタ装置１０ｃのそれぞれの投射光の光軸と、２つの投射光の光軸の交点Ｐ２を中心とする円Ｃ１と、の交点を接点とする。画面側部に投影する第１プロジェクタ装置１０ａと第４プロジェクタ装置１０ｄのそれぞれの投射光の光軸は、それら２つの投射光の光軸の交点Ｐ３を中心とする円Ｃ２の円弧の接線Ｌ２と直交する関係になる。ここで接線Ｌ２は、第１プロジェクタ装置１０ａと第４プロジェクタ装置１０ｄのそれぞれの投射光の光軸と、２つの投射光の光軸の交点Ｐ３を中心とする円Ｃ２と、の交点を接点とする。なお、プロジェクタ装置１０の数がさらに増えても同様の関係が成り立つ。

　図１０と図１１の第１プロジェクタ装置１０ａ、第２プロジェクタ装置１０ｂ、第３プロジェクタ装置１０ｃ及び第４プロジェクタ装置１０ｄから投影された映像の画素密度を示す帯をそれぞれ比較すると、図１１に示す例のほうが、画素密度が最も高い領域が、曲面スクリーン３０全体に投影された映像の中心に寄っていることが分かる。

　図１１に示す例では図１０に示した例と比較して、曲面スクリーン３０全体に投影された映像の画素密度の分布が入力映像の画素密度の分布に近づいており、撮像装置３で撮像された映像の解像度と明るさに近い映像を投影することができる。したがって、ユーザＡの没入感を向上させることができる。

　図１３（ａ）、（ｂ）は、プロジェクタ装置１０から投影される映像の画素密度と投射距離の関係を説明するための図である。図１３（ａ）は平面スクリーン３０ｆに投影する場合の例であり、図１３（ｂ）は曲面スクリーン３０に投影する場合の例である。

　図１３（ａ）において、プロジェクタ装置１０の投射距離をＬ、平面スクリーン３０ｆ上の投影範囲の水平方向の長さをＨ、プロジェクタ装置１０の投写角をθとすると、下記（式１）の関係が成り立つ。

　Ｈ／２＝Ｌ＊ｔａｎ（θ／２）　・・・（式１）

　図１３（ｂ）において、プロジェクタ装置１０の投射光が曲面スクリーン３０のシリンドリカル投影面に当たる中心位置（第１投影位置）とプロジェクタ装置１０の投射位置との間の距離（第１投射距離）をＬ、プロジェクタ装置１０の投射光の第１投射距離地点における投射範囲の水平方向の長さをＨ、プロジェクタ装置１０の投写角をθとすると、下記（式２）の関係が成り立つ。

　図１３（ｂ）において、プロジェクタ装置１０の投射光が曲面スクリーン３０のシリンドリカル投影面に当たる最端位置（第２投影位置）を、当該投射光の光軸上に平行移動させた位置と、プロジェクタ装置１０の投射位置との間の距離（第２投射距離）をＬ’、プロジェクタ装置１０の投射光の第２投射距離地点における投射範囲の水平方向の長さをＨ’、プロジェクタ装置１０の投写角をθとすると、下記（式３）の関係が成り立つ。

　Ｈ／２＝Ｌ＊ｔａｎ（θ／２）　・・・（式２）
　Ｈ’／２＝Ｌ’＊ｔａｎ（θ／２）　・・・（式３）

　プロジェクタ装置１０から投影される映像の水平方向の画素数をＸとすると、平面スクリーン３０ｆに示すような平面上での水平方向における画素密度Ｐは下記（式４）で表される。

　Ｐ＝Ｘ／Ｈ＝Ｘ／（２＊Ｌ＊ｔａｎ（θ／２））　・・・（式４）

　曲面スクリーン３０に示すようなシリンドリカル投影面の中心の画素密度に対する端の画素密度の画素密度比は、第１投射距離Ｌに対する第２投射距離Ｌ’の投射距離比（Ｌ’／Ｌ）に反比例する。

　つまり、魚眼レンズのような画素密度が中心から周辺にかけて低下していく入力映像に対しては、複数のプロジェクタ装置１０をオフセット配置させ、中心に近いところでの投射距離比を小さく、周辺では大きくすることで、入力映像の解像度の低下を抑えた表示が可能となる。図１３（ｂ）において、例えば入力映像の画素密度の変化特性が、中心の画素密度に対して端の画素密度が０．８倍であるとする。この場合、プロジェクタ装置１０の投影範囲において、第２投射距離Ｌ’は第１投射距離Ｌの１．２５倍まで許容されることになり、その条件下でプロジェクタ装置１０を配置することができる。

　入力映像の中心から端にかけての画素密度の変化特性は、例えば撮像に使用したレンズのＭＴＦ（Modulation Transfer Function）特性から推定することができる。したがって、各プロジェクタ装置１０の第１投射距離Ｌと第２投射距離Ｌ’は、入力映像のＭＴＦ特性から推定される、入力映像の表示解像度を低下させない投射距離比の範囲に収まるように決定される。

　以上説明したように本実施の形態によれば、魚眼レンズ等の超広角レンズを使用して撮影された入力映像を複数のプロジェクタ装置１０を用いてマルチ投影する際、複数のプロジェクタ装置１０を等間隔に配置するのではなく、入力映像の解像度の変化に応じた配置とする。超広角レンズを使用して撮影された入力映像は、画面内の解像度が均一でなく、中心から周辺にかけて解像度が低下していく。複数のプロジェクタ装置１０を入力映像の解像度の変化に応じた配置とすることにより、スクリーンに投影された映像の解像度を最適化することができる。

　具体的には、複数のプロジェクタ装置１０を、ケラレ等の画像不具合が発生しない範囲で可能な限り、曲面スクリーン３０の中心に寄せた状態でオフセット配置する。これにより、各プロジェクタ装置１０から投影される映像の画素密度が左右不均一になり、曲面スクリーン３０全体に投影された映像は曲面スクリーン３０の中心に近いほど画素密度が高い状態となる。したがってユーザＡが観察する映像は、超広角レンズを使用して撮影された映像の画素密度の分布と近い画素密度の分布となり、入力映像の持つ解像度を損ねることなく曲面スクリーン３０に投影することが可能となる。なお本実施の形態に係る複数のプロジェクタ装置１０の配置方法は、曲面スクリーン３０に特に有効であるが、平面スクリーン３０ｆに対しても一定の効果がある。

　またプロジェクタ装置１０の投写レンズ１４に、魚眼レンズや曲面スクリーン３０の曲率に最適化された特殊なレンズを使用する必要がないため、既存のプロジェクタ装置１０を有効に活用することができる。

　以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

　上述の実施の形態では、ユーザＡから見て背面側が凸で水平方向に湾曲する透過型のシリンドリカルスクリーンを使用する例を説明した。この点、背面側が凸で垂直方向に湾曲する透過型のシリンドリカルスクリーンにも、複数のプロジェクタ装置１０を垂直方向に並べて配置する場合、上述の実施の形態に係る配置方法を使用することができる。また、背面側が凸の透過型のドームスクリーンにも、複数のプロジェクタ装置１０を垂直方向および水平方向に並べて配置する場合、上述の実施の形態に係る配置方法を使用することができる。

　またユーザＡから見て正面側が凸の反射型のシリンドリカルスクリーン又はドームスクリーンを使用し、複数のプロジェクタ装置１０で正面側から投影する場合にも、上述の実施の形態に係る配置方法を使用することができる。

　また上記図５－図１２では、各プロジェクタ装置１０の投射光の光軸の角度を、プロジェクタ装置１０の配置により調整する例を示したが、プロジェクタ装置１０のあおり角調整機能により調整してもよい。

　本発明は、曲面スクリーンに投影するプロジェクタシステムに利用可能である。

　１　プロジェクタシステム、　２　ネットワーク、　３　撮像装置、　３１　撮像部、　３２　超広角レンズ、　３３　固体撮像素子、　３４　信号処理回路、　３５　処理部、　３６　画像処理部、　３７　圧縮部、　３８　通信部、　Ａ　ユーザ、　１０　プロジェクタ装置、　１１　投射部、　１２　光源、　１３　光変調部、　１４　投写レンズ、　１５　処理部、　１６　映像入力部、　１７　映像信号設定部、　１０ａ　第１プロジェクタ装置、　１０ｂ　第２プロジェクタ装置、　１０ｃ　第３プロジェクタ装置、　１０ｄ　第４プロジェクタ装置、　２０　制御装置、　２１　通信部、　２２　伸張部、　２３　分割部、　２４　重複領域補正部、　２５　映像出力部、　３０　曲面スクリーン、　３０ｆ　平面スクリーン。

Claims

　ユーザから見て背面側が凸の透過型の曲面スクリーンと、
　前記曲面スクリーンに、それぞれ映像を投影する複数のプロジェクタ装置と、
　入力映像を、それぞれ重複領域を持たせて複数の映像に分割し、分割した前記複数の映像を前記複数のプロジェクタ装置にそれぞれ供給する制御部と、を備え、
　前記複数のプロジェクタ装置の各投射光の光軸は、前記曲面スクリーンの中心点よりも前記複数のプロジェクタ装置から見て遠方の位置を交点とすることを特徴とするプロジェクタシステム。
　前記曲面スクリーンは、シリンドリカルスクリーン又はドームスクリーンであることを特徴とする請求項１に記載のプロジェクタシステム。
　前記複数のプロジェクタ装置の各投射光の光軸が前記曲面スクリーンの投影面に当たる位置が、前記曲面スクリーンの中心角度を前記複数のプロジェクタ装置の台数に１を加えた値で割った角度で、前記複数のプロジェクタ装置の投射位置が等間隔に設定される場合に各投射光の光軸が前記曲面スクリーンの投影面に当たる複数の位置より、それぞれ前記投影面上の中心に近い位置になるように、前記複数のプロジェクタ装置の投射位置が設定されることを特徴とする請求項１または２に記載のプロジェクタシステム。
　前記プロジェクタ装置の投射光の光軸が前記曲面スクリーンの投影面に当たる位置と当該プロジェクタ装置の投射位置との間の距離を第１投射距離とし、前記プロジェクタ装置の投射光が前記曲面スクリーンの投影面に当たる最端位置を、前記投射光の光軸上に平行移動させた位置と、当該プロジェクタ装置の投射位置との間の距離を第２投射距離とし、前記第１投射距離に対する前記第２投射距離の比率を投射距離比とするとき、
　各プロジェクタ装置の前記第１投射距離と第２投射距離が、前記入力映像の中心から端にかけての画素密度の変化特性から特定される前記入力映像の表示解像度を低下させない前記投射距離比の範囲に収まるように決定されることを特徴とする請求項３に記載のプロジェクタシステム。