JP5217497B2 - 画像投影システム、制御装置、画像投影方法、プログラム及び記録媒体 - Google Patents

画像投影システム、制御装置、画像投影方法、プログラム及び記録媒体 Download PDF

Info

Publication number
JP5217497B2
JP5217497B2 JP2008045215A JP2008045215A JP5217497B2 JP 5217497 B2 JP5217497 B2 JP 5217497B2 JP 2008045215 A JP2008045215 A JP 2008045215A JP 2008045215 A JP2008045215 A JP 2008045215A JP 5217497 B2 JP5217497 B2 JP 5217497B2
Authority
JP
Japan
Prior art keywords
image
luminance
projection
information
projector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008045215A
Other languages
English (en)
Other versions
JP2009206665A (ja
JP2009206665A5 (ja
Inventor
哲二郎 近藤
仁志 向井
正則 岩崎
健司 田中
哲志 小久保
啓文 日比
和政 田中
裕之 森崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2008045215A priority Critical patent/JP5217497B2/ja
Priority to US12/380,167 priority patent/US8267523B2/en
Publication of JP2009206665A publication Critical patent/JP2009206665A/ja
Publication of JP2009206665A5 publication Critical patent/JP2009206665A5/ja
Application granted granted Critical
Publication of JP5217497B2 publication Critical patent/JP5217497B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/14Details
    • G03B21/26Projecting separately subsidiary matter simultaneously with main image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/3147Multi-projection systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3182Colour adjustment, e.g. white balance, shading or gamut
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3188Scale or resolution adjustment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • H04N9/3194Testing thereof including sensor feedback
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/13Projectors for producing special effects at the edges of picture, e.g. blurring

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Projection Apparatus (AREA)
  • Video Image Reproduction Devices For Color Tv Systems (AREA)

Description

本発明は、複数のプロジェクタ装置を用いて、スクリーンに画像を投影する場合に適用して好適な画像投影システム、制御装置及び画像投影方法、並びにその処理方法を適用したプログラムとそのプログラムを格納した記録媒体に関する。
従来、高解像度で大画面のディスプレイを実現するため、複数台のプロジェクタ装置を格子状に並べて1枚の大きな画像を投影する方式が提案されている。
図39は、複数台のプロジェクタ装置によって構成される従来の画像投影システム100の構成例を示す。画像投影システム100は、N台のプロジェクタ装置と、投影された画像の表示面となるスクリーン102と、スクリーン102に投影された画像を観測する観測部104と、観測部104が観測した情報を受取り、各プロジェクタ装置に画像信号を供給する制御装置5と、を備える。ただし、図39では、プロジェクタ装置101−1〜101−4,101−11〜101−14,101−21〜101−24のみ簡略して示す。各プロジェクタ装置は、スクリーン102に画像を投影しており、各プロジェクタ装置が投影した画像をつなげることで、全体として1枚の画像が構成される。スクリーン102全体として一つの画像が形成される。なお、以下の説明において、1台のプロジェクタ装置がスクリーン102に投影する画像を、「投影画像」と称する。図39では、プロジェクタ装置101−12がスクリーン102に投影する投影画像を、投影画像103−12とする。
図40は、画像投影システム100を、正面、側面、上面の三面から見た場合を示す三面図である。投影画像103−12は、他のプロジェクタ装置による投影画像と比較するため、強調表示してある。従来、複数台のプロジェクタ装置によってスクリーン102に画像を投影する場合、隣り合う投影画像の一部(周辺部)は、互いに重なる。
しかし、画像投影システム100を用いて画像を投影すると隣り合う投影画像の″繋ぎ目″が目立ってしまう。その為、画像を提示する前に、隣り合う投影画像の繋ぎ目を目立たなくさせる為の前処理(キャリブレーション)を行うことが一般的である。
代表的な前処理(キャリブレーション)には以下の2方式が知られている。
(1)幾何補正
隣り合うプロジェクタ装置が投影する複数の投影画像が繋がるように、各プロジェクタ装置を正確に配置することは難しい。そこで、複数の投影画像が繋がるように、提示したい画像に対して予め幾何変換を行う。図41は、スクリーン102をxy平面とした場合における投影画像を示す図である。図41には、プロジェクタ装置101−11の投影画像103−11と、プロジェクタ装置101−12の投影画像103−12を取り出して説明する。投影画像103−11,103−12には、それぞれ格子状の模様が表示されるものとする。そして、プロジェクタ装置101−11,101−12は、設置される位置によってわずかに水平がずれた状態となる。
図41(a)は、幾何補正前の投影画像の表示例である。
幾何補正前は、投影画像103−11,103−12の格子がずれて表示される。このため、画像の水平線、垂直線が歪み、好ましくない。
図41(b)は、幾何補正後の投影画像の表示例である。
幾何補正後は、投影画像103−11,103−12の格子が重なって表示される。画像の水平線、垂直線が歪むことなく表示される。
このように、プロジェクタ装置毎に投影する画像に対して幾何補正を施すことによって、スクリーン102の全体としてズレなく画像が表示される。
(2)輝度色度(色味)補正
同じ型式のプロジェクタ装置であっても、内部の光学素子や投影ランプの特性のばらつきにより、出力される光の強度やRGBそれぞれの強度バランスには個体差がある。また、隣り合うプロジェクタ装置から投影される投影画像が重なる領域は、二つのプロジェクタ装置からの光の強度が加算される為、周囲よりも極端に明るくなる。
図42は、画像投影システム100を用いて投影された投影画像毎に、輝度及び色のばらつきが生じる例を示す写真である。プロジェクタ装置をタイル状に配置し、各プロジェクタ装置に同一の入力(白(R,G,B)=(255,255,255))をした時にスクリーンに投影される画像の一部を観測部で撮影する。四角い1つの領域が1台のプロジェクタ装置に対応する。隣り合う投影画像103−11,103−12の輝度や色度にばらつきがあることが分かる。また、プロジェクタ装置毎に輝度の違いがあったり、同じ白でも色度の違いがあったりすることが分かる。また、1台のプロジェクタ装置であっても、その投影画像に輝度や色度がばらつくことも分かる。
そこで、輝度の不均衡を揃えるため、図43に示すように、輝度補正を行う。図43は、プロジェクタ装置101−11,101−12からスクリーン102に投影された画像の輝度Lを縦軸とし,スクリーン102上のxy平面を横軸とする説明図である。
図43(a)は、輝度補正前の投影画像の輝度の例を示す。
輝度補正前は、プロジェクタ装置101−11,101−12から投影される画像の輝度は、曲線で示される。そして、隣り合う投影画像が重なる箇所は、輝度が高まるため、画面に明るい線が出てしまう。
図43(b)は、輝度補正後の投影画像の輝度の例を示す。
輝度補正後は、プロジェクタ装置101−11,101−12から投影される画像の輝度は、直線で示される。輝度補正前の投影画像は、比較のため破線で示す。そして、隣り合う投影画像が重なる箇所で高まった輝度は、平坦化された輝度と高さがほぼ一致するため、画面に明るい線が出ることはない。
上記以外にも、様々なキャリブレーションの技術が提案されている。
特許文献1には、3つのプロジェクタ装置から投影した画像を、スクリーンに一つの画像として表示する技術について開示されている。
また、特許文献2には、複数の画像を隣接して投影する場合に、色補正用画像を重ね合わせて投影することで画像中に発生する不均一な色の分布を補正する技術について開示されている。
特開2006−109168号公報 特開2007−251294号公報
ところで、従来の画像投影システム100は、以下に挙げる課題を有していた。
(1)プロジェクタ装置の個体差に対して脆弱である点
輝度色度補正を行うキャリブレーションにおいて、これまでに提案された画像投影システムは、複数あるプロジェクタ装置のうち、最も特性の悪い(輝度が低い)プロジェクタ装置に、それ以外のプロジェクタ装置の特性を合わせることが主流であった。このことについて、図44を参照して説明する。
図44は、7台のプロジェクタ装置(第1〜第7のプロジェクタ装置)がそれぞれスクリーンに投影する画像(白の単色画像)の輝度の例を示す。
図44(a)は、特性を合わせる前における、プロジェクタ装置毎に投影した画像の輝度の例を示す。このとき、第5のプロジェクタ装置が投影する画像の輝度が最も特性が悪い。
図44(b)は、特性を合わせた後における、プロジェクタ装置毎に投影した画像の輝度の例を示す。特性を合わせる前の輝度は、比較のため破線で示す。
第1〜第4のプロジェクタ装置と第6及び第7のプロジェクタ装置が投影する画像の輝度は、第5のプロジェクタ装置が投影する画像の輝度に合わせるため、全体の輝度が低くなることが分かる。
すなわち、画像投影システム全体の性能が個々のプロジェクタ装置の性能に左右されてしまう。このため、画像投影システムの輝度性能は、プロジェクタ装置の個体差に依存しやすく、輝度が低くなりやすい。
(2)プロジェクタ装置の故障に対して脆弱である点
また、従来の画像投影システムでは、画像を投影する最中に、例えば、1台のプロジェクタ装置が故障し、光源ランプが消灯すると、そのプロジェクタ装置が投影していた領域には一切画像が表示されなくなってしまう。このため、スクリーンに投影された画像の一部が掛けてしまう。そして、故障したプロジェクタ装置が回復するまでの時間がわずかであっても、使用するアプリケーション(例えば、セキュリティ用途の監視用画面)によっては、画像投影システムの品質を著しく落としてしまう。
本発明はこのような状況に鑑みて成されたものであり、複数台のプロジェクタ装置投影する画像を重ねてスクリーンに提示する場合に、投影画像毎の輝度を均一化することを目的とする。
本発明は、複数台のプロジェクタ装置によって、入力された画像信号に基づく画像を互いに所定量ずらして重ね合わせてスクリーンに投影する。そして、スクリーンに投影され、第1の投影画像と、第1の投影画像より高い解像度である第2の投影画像を重ね合わせて提示された複数の投影画像からなる画像領域を構成する画素であって、画像領域の任意の画素は、隣り合うn(nは、2以上の整数)台のプロジェクタ装置からの投影画像の対応する画素によって重ね合わせてある画像領域の輝度を観測する。観測された画像領域の各画素の投影位置より、プロジェクタ装置毎に投影画像を構成する画素の位置を位置情報として算出し、観測された画像領域の輝度と位置情報より、スクリーン上の画像領域の各画素の輝度を輝度情報として算出し、入力された第1の投影画像の画像信号に基づく画像を、所定の領域に分割し、位置情報に基づいて、分割された画像領域のうち、最小値の輝度を、最小値輝度情報として算出し、位置情報に基づいて、分割された画像領域の輝度と最小値輝度情報に基づく輝度の差を、差分値輝度情報として算出し、画像領域の最小値輝度情報と差分値輝度情報に対する各プロジェクタ装置の投影画像の輝度の配分を輝度補正係数として決定し、算出された輝度補正係数と最小値輝度情報と差分値輝度情報とに基づき各プロジェクタ装置の投影画像の目標投影輝度を決定し、決定した目標投影輝度、位置情報および最小値輝度情報と差分値輝度情報に基づいて、プロジェクタ装置毎に投影する画像の各画素の画素値を算出し、算出された画素値に基づいて画像信号を生成し、各プロジェクタ装置に供給する。
また、本発明は、複数台のプロジェクタ装置によって、入力された画像信号に基づく画像を互いに所定量ずらして重ね合わせ、スクリーンに投影し、スクリーンに投影され、第1の投影画像と、第1の投影画像より高い解像度である第2の投影画像を重ね合わせて提示された複数の投影画像からなる画像領域を構成する画素であって、画像領域の所定の画素は、隣り合うn(nは、2以上の整数)台のプロジェクタ装置からの投影画像の対応する画素によって重ね合わせてある画像領域の輝度を観測し、観測された画像領域の各画素の投影位置より、プロジェクタ装置毎に投影画像を構成する画素の位置を位置情報として算出し、観測された画像領域の輝度と位置情報より、スクリーン上の画像領域の各画素の輝度を輝度情報として算出し、R画像とG画像とB画像とで構成される入力された第1の投影画像の画像信号に基づく画像を、所定の領域に分割し、位置情報に基づいて、分割された画像領域のうち、R画像とB画像の輝度をRB輝度情報として算出し、位置情報に基づいて、分割された画像領域のうち、G画像の輝度をG輝度情報として算出し、画像領域のRB輝度情報とG輝度情報に対する各プロジェクタ装置の投影画像の輝度の配分を輝度補正係数として決定し、算出された輝度補正係数とRB輝度情報とG輝度情報とに基づき各プロジェクタ装置の投影画像の目標投影輝度を決定し、決定した目標投影輝度、位置情報および輝度情報に基づいて、プロジェクタ装置毎に投影する画像の各画素の画素値を算出し、算出された画素値に基づいて画像信号を生成し、画像信号を各プロジェクタ装置に供給する。
このように、スクリーンに投影される画像の画素を複数台のプロジェクタ装置が投影する画像で重ね合わせるため、スクリーン全体の輝度を均一に保つことが可能となる。
本発明によれば、複数台のプロジェクタ装置がスクリーンに投影する画像を重ね合わせるため、スクリーン全体の画像の輝度が均一化される。また、一部のプロジェクタ装置が故障して、画像を投影できなくなった場合であっても、故障したプロジェクタ装置に隣り合う他のプロジェクタ装置によって画像が投影され続けるため、スクリーンに投影された画像が欠けないという効果がある。
以下、本発明の第1の実施形態例について、図1〜図26を参照して説明する。本実施の形態例では、複数台のプロジェクタ装置を用いて投影した画像を重ね合わせることによって、輝度を均一化し、スクリーンに高精細な画像を表示することが可能な画像投影システム10に適用した例について説明する。
図1は、複数台のプロジェクタ装置によって構成される画像投影システム10の構成例を示す。画像投影システム10は、同じ投影性能を有するN台のプロジェクタ装置1−1〜1−Nに対して、画像信号を供給する。本例では、N=35台のプロジェクタ装置について説明する。
本例の画像投影システム10は、N台のプロジェクタ装置と、投影された画像の表示面となるスクリーン2と、スクリーン2に投影された画像を観測する観測部4と、観測部4が観測した情報を受取り、各プロジェクタ装置に画像信号を供給する制御装置5と、を備える。ただし、図1では、プロジェクタ装置1−1〜1−4,1−11〜1−14,1−21〜1−24のみ簡略して示す。
N台のプロジェクタ装置は、所定の間隔で格子状に配置されており、入力された画像信号に基づく画像を互いに所定量ずらして重ね合わせてスクリーン2に投影する。各プロジェクタ装置は、スクリーン2の一部に画像を投影しており、全体として一つの画像が形成される。図1では、プロジェクタ装置1−12がスクリーン2に投影する投影画像を、投影画像3−12とする。
観測部4は、スクリーン2に投影された複数の投影画像からなる画像領域の輝度を観測する。観測部4は、スクリーン2の正面方向に代えて、背面方向に配置してもよい。
制御装置5は、観測部4の観測結果に基づいて、プロジェクタ装置毎に投影する画像を構成する各画素の輝度値を調整し、複数のプロジェクタ装置に供給する。
そして、複数の投影画像からなる画像領域は、第1の投影画像と、前記第1の投影画像より高い解像度である第2の投影画像が重ね合わされて提示される。画像領域の所定の画素は、隣り合う複数台のプロジェクタ装置からの投影画像の対応する画素によって重ね合わされる。投影画像の1辺の長さは、隣り合って配置されたプロジェクタ装置間の距離のn倍(nは2以上の整数)である。
図2は、画像投影システム10の三面図である。投影画像3−12は、他のプロジェクタ装置による投影画像と比較するため、強調表示してある。
各プロジェクタ装置は、1台のプロジェクタ装置が投影する画像の投影画像の幅(水平方向、垂直方向それぞれ)が、プロジェクタ装置の配列間隔のほぼ2倍(3倍、4倍等の整数倍であればよい。)となるように配置される。このため、隣り合うプロジェクタ装置が無い周辺部を除く、全ての画素で、異なる4台のプロジェクタ装置からの光が重畳される。
そして、隣り合うプロジェクタ装置の投影画像が重なる領域をスクリーン2の全面に広げる。さらに、スクリーン2に投影された全体画像の周辺部を除く投影画像の全ての位置で、複数台のプロジェクタ装置が投影した画像(光)が重なるよう設定する。
従来、複数台のプロジェクタ装置によってスクリーン2に画像を投影する場合、隣り合う投影画像の周辺部は、互いに重なる。ただし、従来のように投影画像の周辺部が重なるわけではない。本例では、例えば、1台のプロジェクタ装置の投影画像は、上下左右に隣り合う4台のプロジェクタ装置の投影画像と重なる。
ところで、画像投影システム10は、投影画像を重畳するプロジェクタ装置の台数が限定されない。1台のプロジェクタ装置の投影画像の幅を更に広げて、1つの画素を構成する光が異なる9台、16台、25台…といった4台以上のプロジェクタ装置を備える画像投影システムとして構成することも可能である。この点については、投影画像を重ねる実験結果と共に後述する。
図3は、投影画像を不均一に拡大する例を示す。本例の画像投影システム10は、投影画像の領域(以下、画像領域とも称する。)を不均一に拡大して、重畳させることを特徴とする。図3では、破線で囲まれた第1の画像領域6a、第2の画像領域6bのうち、いずれか一方の解像度を保持(高解像度の投影画像)したまま、残りの領域だけを拡大(低解像度の投影画像)してスクリーン2に投影する。
図3(a)は、拡大前の画像領域の例を示す。
図3(b)は、第2の画像領域6bの解像度を保持したまま、他の領域を拡大した第1の画像領域6a′の表示例である。
図3(c)は、第1の画像領域6aの解像度を保持したまま、他の領域を拡大した第2の画像領域6b′の表示例である。図3(c)に示す第1の画像領域6aと第2の画像領域6b′を、不均一投影画像6とする。
図4は、不均一投影画像6をスクリーン2に投影する場合の構成例である。
図4(a)は、不均一に投影画像を拡大する例である。
プロジェクタ装置1−1が投影する画像は、画像を不均一に拡大する不均一拡大光学部7−1を透過する。不均一拡大光学部7−1は、スクリーンの対応する領域に投影する画像のうち、所定の領域と、他の領域とで、画像の拡大率が異なる光学系である。不均一拡大光学部7−1は、例えば、フレネルレンズで構成される。不均一拡大光学部7−1を透過した画像は、上述した図3(c)に示した例のように、スクリーン2に投影される。
図4(b)は、フレネルレンズの構成例である。
フレネルレンズ7は、レンズを同心円状に切った薄いレンズである。図4(a)に示すように、フレネルレンズ7の中心付近を矩形の孔が空くように形成する。穴の空いた領域を通る光線は、拡大されずにそのまま通り抜け、穴の空いていない部分を通る光線は、拡大されてスクリーン2に投影される。
ただし、不均一拡大光学部7−1は、一部の領域を高解像度に保持し、それ以外の領域を広範囲に拡大する投影であれば何でもよい。例えば、レンズ中央の切り取った部分の厚みが、光線の邪魔をしなければ(例えば、十分薄ければ)、フレネルレンズでなくてもよい。また、魚眼レンズを用いることで、投影画像を、解像度が不均一な拡大像とすることができる。
図5は、図4(a)に示したプロジェクタ装置と不均一拡大光学部を複数配置し、複数の拡大された不均一投影画像を重畳する例を示す。このとき、投影画像の高解像度領域(図3(c)における第1の画像領域6aに相当する。)が隙間無く並ぶようにプロジェクタ装置を配置する。
図5(a)は、1枚の不均一投影画像の例である。
この場合、スクリーン2には、不均一投影画像6−1が投影される。
図5(b)は、2枚の不均一投影画像を重畳した例である。
この場合、スクリーン2には、隣り合う2台のプロジェクタ装置から投影された不均一投影画像6−1,6−2が重ねて投影される。
図5(c)は、3枚の不均一投影画像を重畳した例である。
この場合、スクリーン2には、隣り合う3台のプロジェクタ装置から投影された不均一投影画像6−1〜6−3が重ねて投影される。
図5(d)は、4枚の不均一投影画像を重畳した例である。
この場合、スクリーン2には、隣り合う4台のプロジェクタ装置から投影された不均一投影画像6−1〜6−4が重ねて投影される。
図5(a)〜図5(d)に示すように、各画像領域は、1台のプロジェクタ装置による高解像度な投影画像と、その周囲にあるプロジェクタ装置の低解像度な複数の投影画像が重畳された状態で照らされる。
図5は、4台のプロジェクタの投影画像を重ねたところまで示している。ただし、実際には、図5で示した投影画像に対して、更に、その周囲にあるプロジェクタからの投影画像も重なる。そして、中央の高解像度な投影画像の横幅(もしくは縦幅)が横方向に(もしくは縦方向に)隣り合うプロジェクタの配置間隔と等しい。このため、4台のプロジェクタ装置が投影する投影画像を重ねると、中央の高解像度な投影画像がスクリーン2の全面に隙間無く並ぶこととなる。ただし、スクリーン2には、重ね合わされた投影画像の周辺部に位置する低解像度な画像領域を投影しない。そして、スクリーン上の任意の位置の投影画像の構成(高解像度な投影画像と低解像度な投影画像の個数)はどこでも同じになる。その為、その構成の違いにより輝度ムラが生じることはない。
図6は、画像投影システム10の内部構成例を示すブロック図である。
観測部4は、図示しない光学レンズ系と、所定のシャッタタイミングで光学レンズ系を介して取り込んだ像光を電気信号に変換する撮像素子と、変換された電気信号を静止画データ又は動画データとして記憶する記憶部と、制御装置5と接続され、記憶部に記憶された静止画データ又は動画データを伝送するための伝送処理部と、を備えるカメラを用いる。ただし、観測部4は、例えば動画像や静止画像を撮像可能なカメラであったり、輝度を計測する輝度計であったりしてもよい。
観測部4は、記憶部に記憶された静止画データ又は動画データに基づいて、スクリーン2上の前記画像領域を構成する画素の投影位置を観測する投影位置観測部41と、プロジェクタ装置が投影する画像の輝度を観測する投影輝度観測部42と、を備える。投影位置観測部41と、投影輝度観測部42が観測した結果、得られたプロジェクタ装置毎の投影位置と投影輝度の情報は、制御装置5に供給される。ただし、観測部4は、スクリーン2の投影画像の色度(色相と彩度)を観測する色度観測部として、色度計を備える構成としてもよい。
制御装置5は、投影位置観測部41によって観測された画像領域の各画素の投影位置より、プロジェクタ装置毎に投影画像を構成する画素の位置を「ジオメトリ情報」として算出するジオメトリ情報算出部51と、ジオメトリ情報算出部51で算出されたジオメトリ情報を一時的に保持する記憶領域であるジオメトリ情報保持部52と、を備える。
また、制御装置5は、投影輝度観測部42によって観測された画像領域の輝度と位置情報より、スクリーン上の画像領域の各画素の輝度を「輝度情報」として算出する輝度情報算出部53と、輝度情報算出部53で算出された輝度情報を一時的に保持する記憶領域である輝度情報保持部54と、を備える。
また、制御装置5は、プロジェクタ装置に投影させる元画像データを記憶する画像データ保持部55と、画像データ保持部55から画像データを読み出す画像データ読出部56と、画像データ読出部56によって読み出された入力された低解像度の画像信号に基づく画像を、所定の領域に分割するブロック分割部57と、ブロック分割部57で分割されたブロックより、位置情報に基づいて、ブロック分割部によって分割された画像領域のうち、最小値の輝度を、「最小値目標輝度」の情報として算出する最小値目標輝度算出部58と、位置情報に基づいて、ブロック分割部によって分割された画像領域の輝度と最小値輝度情報に基づく輝度の差を、「差分値目標輝度」の情報として算出する差分値目標輝度算出部59と、を備える。最小値目標輝度算出部58と、差分値目標輝度算出部59には、ジオメトリ情報保持部52が保持するジオメトリ情報が供給される。そして、最小値目標輝度算出部58は、供給されたジオメトリ情報に基づいて、画素毎に適切な目標輝度を複数のプロジェクタ装置による投影画像の輝度の最大値と最小値の範囲内で設定する。また、差分値目標輝度算出部59は、供給されたジオメトリ情報に基づいて、画素毎に適切な差分値目標輝度を複数のプロジェクタ装置による投影画像の輝度の最大値と最小値の範囲内で設定する。つまり、プロジェクタ装置毎に目標輝度を算出することとなる。
また、制御装置5は、ジオメトリ情報保持部52に保持されたジオメトリ情報と、輝度情報保持部54に保持された輝度情報と、最小値目標輝度算出部58によって算出された最小値目標輝度と、差分値目標輝度算出部59によって算出された差分値目標輝度の情報に基づいて、輝度を補正する輝度補正係数を算出する輝度補正係数算出部60と、輝度補正係数算出部60によって算出された輝度補正係数を一時的に保持する記憶領域である輝度補正係数保持部61と、を備える。
輝度補正係数算出部60は、画像領域の最小値輝度情報と差分値輝度情報に対する各プロジェクタ装置の投影画像の輝度の配分を輝度補正係数として決定する。
また、制御装置5は、輝度補正係数算出部によって算出された輝度補正係数と最小値輝度情報と差分値輝度情報とに基づき各プロジェクタ装置の投影画像の目標投影輝度を決定し、決定した目標投影輝度、ジオメトリ情報および最小値輝度情報と差分値輝度情報に基づいて、プロジェクタ装置毎に投影する画像の各画素の入力画素値を算出する入力画素値算出部62を備える。
入力画素値算出部60は、輝度補正係数算出部60によって算出された輝度補正係数と、最小値目標輝度と、差分値目標輝度と、に基づき各プロジェクタ装置の投影画像の目標投影輝度を決定する。そして、決定した目標投影輝度、位置情報および輝度情報に基づいて、プロジェクタ装置毎に投影する画像の各画素の画素値を算出する。
また、制御装置5は、入力画素値算出部62によって算出された入力画素値に基づいて、プロジェクタ装置を制御する制御信号と画像信号を生成し、各プロジェクタ装置に供給する信号供給部63と、を備える。
信号供給部63は、供給対象となるプロジェクタ識別番号と供給する入力画像データを、入力画素値算出部62より受け取って、該当するN台のプロジェクタ装置1−1〜1−Nに、画像信号を供給する。本例では、N=35台のプロジェクタ装置について説明する。プロジェクタ装置1−1〜1−Nは、それぞれ、不均一光学部7−1〜7−Nを備える。不均一光学部7−1〜7−Nの構成は、上述した図4の説明における不均一光学部と同様である。そして、プロジェクタ装置1−1〜1−Nは、信号供給部63から供給された画像信号に基づいて、輝度を調節し、不均一光学部7−1〜7−Nを介して、画像をスクリーン2に投影する。
次に、制御装置5が行う画像処理の例について、図7〜図11を参照して説明する。
図7は、スクリーン2に投影される画像の画素位置を示す。
以下、スクリーン2の周辺部を除いた、各プロジェクタ装置からの光が重畳される領域(例えば、異なる4台のプロジェクタ装置からの光が重畳される領域)を、「画像提示領域」と呼ぶ。
スクリーン2にXY座標軸をとり、原点(0,0)の位置を決める。このため、スクリーン2の画素位置は、原点に対して一意に定まる。この画像提示領域に、所望の画像を投影する際、スクリーン2に投影された画像を構成する各画素に相当する位置を、画素位置(X,Y)と表す。ここでは、スクリーン2に投影された画像の一部を拡大した拡大領域8に含まれる画素8aの位置が画素位置(X,Y)として求まる。本例では、隣り合う4台のプロジェクタ装置が投影する画像の画素によって、画素8aが投影されている。
図8は、図7で求められた画素位置(X,Y)に対して、画像投影システム10で用いられる諸変数の例を示す説明図である。
(1)第1のキャリブレーション:(x,y)と(X,Y)の対応関係を求める。
ここでは、画素位置(X,Y)について、低解像度の画素を投影しているプロジェクタ装置の総数をnとし、このうち、第k番目のプロジェクタ装置について検討する。
総数N台のプロジェクタ装置のうち、画素位置(X,Y)に光を投影する第k番目のプロジェクタ装置について、画素位置(X,Y)に相当するプレーン毎の画素位置を対応画素位置(x,y)と表す。
プロジェクタを識別する為の番号kがシステムに存在するプロジェクタの総数N台のうちの第何番目のプロジェクタに相当するかについては、画素位置(X,Y)によって異なる。投影画像の画素位置(X,Y)とプロジェクタ装置毎に投影するRプレーン、Gプレーン、Bプレーン上の対応画素位置(x,y)の関係式(1)〜(4)で示される関係は、予め計測しておく。
X,Y,x,yは、画素位置(X,Y)とプロジェクタ装置番号kの全ての組み合わせについて、それぞれ固有に定まる関数である。これらの関数(X,Y,x,y)を、上述のように「ジオメトリ情報」と呼ぶ。なお、式(1)と式(3)、式(2)と式(4)は、互いに逆関数である。
(2):第2のキャリブレーション:入力画素値に対するスクリーン2上の画素位置(X,Y)における輝度を求める。
第k番目のプロジェクタ装置のパネルの第p番目のプレーン(カラー画像であればRプレーン(p=0),Gプレーン(p=1),Bプレーン(p=2))に、画素値iを入力した時の、スクリーン上の画素位置(X,Y)で観測される輝度をlと定めて、予め、関係式(5),(6)で示される関係を計測しておく。
,iは、画素位置(X,Y)と、プロジェクタ装置を1台毎に識別するためのプロジェクタ装置番号k、プレーン番号pの全ての組み合わせについて、それぞれ固有に定まる関数である。なお、式(5)と式(6)は、互いに逆関数である。
これらの関数(l,i)を、上述のように「輝度情報」と呼ぶ。関係式(5)は、Rプレーン、Gプレーン、Bプレーン上の対応画素位置(x,y)に、0(最小出力),1,2,3,…,255(最大出力)の数値を入れた場合、実測した画素位置(X,Y)での明るさが何カンデラであるかを求めることにより得られる。
画素位置(X,Y)について、その画素位置の輝度Lは、その画素位置に光を投影する全プロジェクタ装置の投影輝度の総和になるので、式(7)のように表される。
スクリーン上の画素位置(X,Y)に投影する目標輝度をLとして表す。入力画素値算出部62は、目標輝度Lを求める。Lは、当該位置における提示画像の画素値Iと、予め適当な値に設定されたガンマγを使って、式(8)を用いて計算される。ガンマの値は、式(8)で計算される値が、複数のプロジェクタ装置による投影画像の輝度の最大値と最小値の範囲内に収まるように、予め設定しておく。
画素位置(X,Y)には、低解像度なプロジェクタ装置からの光と高解像度なプロジェクタ装置からの光の両方とが重畳されている。低解像度なプロジェクタ装置からの光が足し合わさった結果の輝度をLT1、高解像度なプロジェクタ装置からの光が足し合わさった結果の輝度をLT2とすると、LT1とLT2を足し合わせた結果が目標輝度Lとなるように、各プロジェクタ装置へ入力する画素値を算出する。以下、図8では、低解像度なプロジェクタ装置からの輝度の総和LT1を目標輝度Lとして説明する。
目標輝度Lを実現する為に必要な各プロジェクタ装置への入力画素値i(k=1,2,…,m)の組み合わせは複数ある。そこで、プロジェクタ装置毎に、Lの内のどれだけの輝度を投影するのか、輝度の配分を決める必要がある。その配分量を「輝度補正係数」と呼ぶ。輝度補正係数wは、式(9)のように表される。輝度補正係数wを、0から1の実数値で表しており、輝度補正係数wの総和は1とする。例えば、4台のプロジェクタ装置が出力する画像の輝度に対する輝度補正係数wは、0.125,0.375,0.25,0.25と決められる。
(3):第3のキャリブレーション:プロジェクタ装置毎の輝度の配分を求める。
輝度補正係数は、画素位置(X,Y)と、プロジェクタ装置番号k、プレーン番号pの全ての組み合わせについて、それぞれ固有に定まる定数である。また、輝度補正係数は、各スクリーン上の位置(X,Y)での各プロジェクタ装置の出しうる最大輝度lk,maxに合わせて、もしくは、lk,maxと目標輝度Lに合わせて、予め決めておく。例えば、個々のプロジェクタ装置の輝度に合わせて、単純に比例配分する場合、式(11),(12)を用いて輝度補正係数が決定される。
そして、個々のプロジェクタ装置が出しうる最大輝度に合わせて比例配分する輝度補正係数を決定する。画素位置(X,Y)について、提示画像の画素が、縦横それぞれm個集まった大きさ、つまり、m×m個の面積が低解像度な画素の投影画像の面積に等しいとする。その場合、提示画像の画素をm×m個のブロックに分割して処理を行う。単純に比例配分する場合、輝度補正係数wが決定される。
本例の画像投影システムでは、スクリーン2上の各画素が複数のプロジェクタ装置から投影される光で照らされる。各プロジェクタ装置が照らす投影光の強さは自由度がある(色々な強さ配分が考えられる。)。その自由度は、状況や目的に応じて適宜決めることができる。この自由度を決めるために、画像投影システムの設計パラメータの一つとして、輝度補正係数を求めている。本例では、スクリーン上の画像領域の任意の画素について、当該画素に投影するプロジェクタ装置毎の画像の輝度の配分を、輝度補正係数に基づいて変更することによって、自由度を決めることが可能である。
例えば、画素位置(X,Y)の目標輝度を800カンデラとした場合であって、第1のプロジェクタ装置の出力が弱いため、100カンデラ分の光量しか得られない場合を想定する。この場合、例えば、第2のプロジェクタ装置の光量を230カンデラ、第3のプロジェクタ装置の光量を230カンデラ、第4のプロジェクタ装置の光量を240カンデラとすることによって、目標輝度の800カンデラに達することができる。このように、複数のプロジェクタ装置で輝度を補完することによって、一部で輝度が落ち込むような画像を投影することがない。
そして、目標輝度Lに対する、第k番目のプロジェクタ装置に入力すべき画素値iは、式(13),(14)を用いて計算される。
ここで、iが、小数点も含む実数値になった場合は、四捨五入して、整数値に丸める。また、iは0≦i≦255の範囲を越えないように決定する。
以上説明した手順と同様にして、高解像度の画素を投影しているプロジェクタ装置の総数をn′とし、このうち、第k′番目のプロジェクタ装置についても画素値を求める。高解像度な画素を投影しているプロジェクタ装置に対する輝度補正係数をw(X,Y,k′,p)とする。
また、k′番目のプロジェクタ装置に入力すべき画素値ik′を求める手順は、k番目のプロジェクタ装置に入力すべき画素値iを求める手順と同様である。
ここで、目標輝度について図9を参照して説明する。図9は、プロジェクタ装置1−1〜1−4の設置位置に対する輝度分布の例を示す。
目標輝度とは、画像投影システムで投影したい入力画像データの各画素値から、スクリーン上の各位置(画素)について、一意に算出される量である。
図9(a)は、各プロジェクタ装置が最大出力で投影した場合におけるスクリーン2上の輝度分布31−1と、各プロジェクタ装置が最小出力で投影した場合におけるスクリーン2上の輝度分布31−2を示す。
図9(b)は、スクリーン2に提示したい画像の輝度の例を示す。
提示したい画像32の輝度が、各プロジェクタ装置が投影する輝度の最小出力と最大出力の範囲内であれば、任意の輝度を投影することができる。このため、提示したい画像32に応じて、各プロジェクタ装置が投影すべき輝度を求める。この提示したい画像32によって定まる投影すべき輝度を、「目標輝度」と表現する。輝度分布31−3は、目標輝度を表す輝度分布である。
図9(c)は、目標輝度を算出する例を示す。
提示したい画像32に対して、任意の位置における水平線33を指定する。この水平線33から求まる画素値は、画素値分布34のように求まる。画素値分布34に対して、予め設定されたガンマを掛ける(累乗する)ことによって、目標輝度値L(画像データの各画素値)が求まる。
ガンマとは、画像データの各画素値(0〜255)をスクリーン2上で観測される輝度(数10カンデラ〜数万カンデラ)の値に変換するための数値である。本例の画像投影システム10では、第1〜第3のキャリブレーションで得られる、各プロジェクタ装置が最小の出力を行った際のスクリーン上での輝度分布と、各プロジェクタ装置が最大の出力を行った際のスクリーン上での輝度分布の範囲内に収まるように、予め適切な値を算出しておく。
図10は、制御装置5が画像を提示する処理の全体の流れを示すフローチャートである。
始めに、ジオメトリ情報算出部51は、各プロジェクタ装置の投影位置であるジオメトリ情報(f,f,g,g)を計測する(ステップS1)。この処理は、上述した第1のキャリブレーションに相当する。
次に、輝度情報算出部53は、各プロジェクタ装置の投影輝度である輝度情報(h)を算出する(ステップS2)。この処理は、上述した第2のキャリブレーションに相当する。
次に、輝度補正係数算出部60は、輝度補正係数w(X,Y,k,p)および輝度補正係数w(X,Y,k´,p)を生成する(ステップS3)。この処理は、上述した第3のキャリブレーションに相当する。
最後に、入力画素値算出部62は、投影画像の輝度を調整する画像提示処理を行い(ステップS4)、処理を終了する。
図11は、入力画素値の算出処理の例を示すフローチャートである。
始めに、入力画素値算出部62は、R,G,Bの各プレーンについて、処理を開始する(ステップS11)。つまり、pの値を、0,1,2の順に循環することで、Rプレーン、Gプレーン、Bプレーンの順に選択して処理を行う。
次に、ブロック分割部57は、画像データをブロックに分割する(ステップS12)。
ブロックとは、低解像度な投影画像(最小値)の1画素の大きさを示す。高解像度な投影画像(差分値)の1画素の大きさは、低解像度な投影画像の1画素の大きさよりも更に小さいので、高解像度な投影画像の1画素の大きさは、ブロックの大きさとは異なる。高解像度な投影画像の各画素の入力画素値を決めるためには、その画素と同じ位置を、より広い範囲で照らしている低解像度な投影画像の1画素に対する入力画素値も考慮する必要がある。このため、ブロックで分割して各画素への入力値を決めていく。
以下、分割されたブロックを選択し、順に所定の処理を行う(ステップS13)。
次に、提示画像の画素値について、選択されたブロック内の最小値を算出する(ステップS14)。そして、最小値にガンマを掛けた値を算出する(ステップS15)。この値を、最小値目標輝度と呼ぶ。そして、低解像度の画素を投影している全てのプロジェクタ装置について、ステップS16〜S20の処理を繰り返す(ステップS16)。
まず、最小値目標輝度に輝度補正係数wを掛けた値を算出する(ステップS17)。そして、最小値目標輝度に輝度補正係数wを掛けた値に最も近い入力画素値iを算出する(ステップS18)。
次に、入力画素値iを該当するプロジェクタ装置に出力し(ステップS19)、最後のプロジェクタ装置であるか否かを判別する(ステップS20)。次のプロジェクタ装置がある場合、ステップS16に戻り、処理を繰り返す。
ステップS20の処理で、最後のプロジェクタ装置に達したことを判別した場合、ブロック内の各画素について、差分値目標輝度を算出する処理を開始する(ステップS21)。そして、該当する画素位置の提示画像の画素値にガンマを掛けた値を算出する(ステップS22)。
次に、該当する画素位置の提示画像の画素値にガンマを掛けた値から最小値目標輝度を引いた値を算出する(ステップS23)。この値を、差分値目標輝度と呼ぶ。そして、高解像度の画素を投影している全てのプロジェクタ装置について、ステップS24〜S28の処理を繰り返す(ステップS24)。
まず、差分値目標輝度に輝度補正係数wを掛けた値を算出する(ステップS25)。そして、差分値目標輝度に輝度補正係数wを掛けた値に最も近い入力画素値ik′を算出する(ステップS26)。
次に、入力画素値ik′を該当するプロジェクタ装置に出力し(ステップS27)、最後のプロジェクタ装置であるか否かを判別する(ステップS28)。次のプロジェクタ装置がある場合、ステップS24に戻り、処理を繰り返す。
ステップS28の処理で、最後のプロジェクタ装置に達したことを判別した場合、分割されたブロック内の最後の画素であるか否かを判別する(ステップS29)。最後の画素ではない場合、ステップS21に処理を移し、以降の処理を繰り返す。
一方、ステップS29で、最後の画素であることを判別した場合、選択したブロックが最後のブロックであるか否かを判別する(ステップS30)。最後のブロックではない場合、ステップS13に処理を移し、以降の処理を繰り返す。
一方、ステップS30で、最後のブロックであることを判別した場合、選択したプレーンが最後のプレーン(例えば、Bプレーン)であるか否かを判別する(ステップS31)。最後のプレーンではない場合、ステップS11に処理を移し、以降の処理を繰り返す。一方、最後のプレーンである場合、処理を終了する。
図12は、各プロジェクタ装置が投影する画像の例を示す。
図12では、図5(d)で示した第1の不均一投影画像6−1〜第4の不均一投影画像6−4を投影するプロジェクタ装置がどのような画像を投影するかを示している。
高解像度の領域9は、プロジェクタ装置1−1が投影する高解像度の画像と、プロジェクタ装置1−2〜1−5が投影する低解像度の画像を重ねて構成される。
図13は、各プロジェクタ装置が投影する画像の画素値(輝度)の例を示す。
ここでは、各プロジェクタに入力する画像データについて説明する。
まず、ブロック分割部57は、提示したい画像データを適当なサイズのブロックに分割する。図13では、2×2のブロックに分解しているが、3×3でも4×4でも任意のサイズで良い。
そして、ブロック内の画素値を最小値とその差分という2つの和に分解し、最小値に相当する画素値を低解像度の(広い範囲に拡大された)投影画像を提示する。一方、差分に相当する画素値を高解像度な投影画像を提示する。ただし、図13では、単純に画素値の加減算をしているが、実際は、所望の画素値に相当する輝度が提示されるように、各プロジェクタのガンマを考慮した画素値に変換する必要がある。
例えば、ブロックごとに提示したい画素値が、150,100,175,100である場合、最小値は100であると求められる。そして、プロジェクタ装置1−1が投影する高解像度の画像6−1については、提示したい画素値と最小値100の差分を求める。
また、ブロックごとに提示したい画素値の最小値は、100,100,100,100である。このため、提示したい画素値の最小値は、プロジェクタ装置が投影1−2〜1−5が投影する低解像度の画像6−2〜6−5で均等に割った値とする。
そして、高解像度の画像と低解像度の画像を重ねることで、提示したい画素値(輝度)でスクリーン2に画像を投影することができる。
ところで、図13では、スクリーン上の任意の点について、高解像度な投影画像が1つ、低解像度な投影画像が4つの場合について示している。しかしながら、最小値と差分値を投影するプロジェクタの台数にそれぞれ本質的な制限はない。原理的には、差分値を投影するプロジェクタの台数も最小値を投影するプロジェクタの台数もそれぞれ何台でも可能である。差分値の(高解像度な)投影画像も投影領域の幅が、隣り合うプロジェクタの配置間隔よりも大きければ、隣接する他の高解像度な投影画像と重なりが生じる。すると、スクリーン上の1点は、複数の高解像度な投影画像により投影されることになる。なお、差分値の投影画像も複数である場合についての説明は明示的には行っていないが、この場合であっても、本発明に係る画像投影システムは、最小値と差分値を投影するプロジェクタの台数にそれぞれ本質的な制限はない。
本例の画像投影システム10は、輝度のムラをなくしつつ、高輝度で投影した画像を表示することを目的とする。そして、画像投影システム10を用いて投影される画像は、複数のプロジェクタ装置が投影した光によって、各画素を構成する。ここで、画像投影システム10によって、補正される輝度の例について、図14を参照して説明する。
図14は、7台のプロジェクタ装置(第1〜第7のプロジェクタ装置)がそれぞれスクリーンに投影する画像(白の単色画像)の輝度の例を示す。
図14(a)は、特性を合わせる前における、プロジェクタ装置毎に投影した画像の輝度の例を示す。このとき、第5のプロジェクタ装置が投影する画像の輝度が最も特性が悪い。
図14(b)は、特性を合わせた後における、プロジェクタ装置毎に投影した画像の輝度の例を示す。特性を合わせる前の輝度は、比較のため破線で示す。
第1〜第7のプロジェクタ装置が投影する画像は、それぞれ隣り合うプロジェクタ装置が投影する画像に重ね合わせている。このため、全体の輝度は、従来のプロジェクタ装置が投影する画像よりも高くなる。また、例えば、第5のプロジェクタ装置を除く他のプロジェクタ装置は、目的輝度に対して高い輝度となる。このため、第5のプロジェクタ装置を除く他のプロジェクタ装置は、目的輝度に合わせて出力を落とすことで、スクリーン2に投影された画像全体が均一な輝度となる。
図14に示したように、画像投影システム10は、特性が悪いプロジェクタ装置が投影する画像の輝度に合わせる必要がない。つまり、特性が悪いプロジェクタ装置があったとしても、他のプロジェクタ装置が投影する画像によって、不足する輝度を補完することができる。
次に、プロジェクタ装置が投影する画像を重ねた領域内における特性(色度)のばらつきを計測した結果について説明する。ここでは、製造メーカーと製品の型番が同じであるプロジェクタ装置を4台用いて、色度値x,yを計測した例について説明する。
図15は、プロジェクタ装置を用いて投影する画像を重ね合わせた場合における、色度計測の様子を示す模式図である。図15(a)〜図15(d)において、スクリーン2に投影される画像は、色度計7を用いて色度が計測される。
図15(a)は、1台のプロジェクタ装置(プロジェクタ装置1−1)をスクリーン2に投影した場合における投影画像の例である。スクリーン2には、画像3−1が投影される。
図15(b)は、2台のプロジェクタ装置(プロジェクタ装置1−1,1−11)をスクリーン2に投影した場合における投影画像の例である。スクリーン2には、画像3−1,3−11が重ねて投影される。
図15(c)は、3台のプロジェクタ装置(プロジェクタ装置1−1〜1−21)をスクリーン2に投影した場合における投影画像の例である。スクリーン2には、画像3−1〜3−21が重ねて投影される。
図15(d)は、4台のプロジェクタ装置(プロジェクタ装置1−1〜1−31)をスクリーン2に投影した場合における投影画像の例である。スクリーン2には、画像3−1〜3−31が重ねて投影される。
そして、図15に示した各プロジェクタ装置の各画素に対して、全て共通な画像信号((R,G,B)=(200,200,200))を入力した。そして、1台〜4台のプロジェクタ装置で投影した場合について、色度計7を用いて、投影画像内のXYZ表色系における色度値x,yの分布を計測した。そして、図16(a)〜図16(d)における各白枠内の色度を計測している。
図16は、1台〜4台のプロジェクタ装置をスクリーン2に投影した場合における投影画像の例である。
図16(a)は、1台のプロジェクタ装置(プロジェクタ装置1−1)がスクリーン2に投影する投影画像の例を示す。
図16(b)は、2台のプロジェクタ装置(プロジェクタ装置1−1,1−11)がスクリーン2に重畳して投影する投影画像の例を示す。
図16(c)は、3台のプロジェクタ装置(プロジェクタ装置1−1〜1−21)がスクリーン2に重畳して投影する投影画像の例を示す。
図16(d)は、4台のプロジェクタ装置(プロジェクタ装置1−1〜1−31)がスクリーン2に重畳して投影する投影画像の例を示す。
図16(a)〜図16(d)より、1台のプロジェクタ装置であっても色、輝度のムラがあるものの、複数台のプロジェクタ装置が投影する画像を重ね合わせることによって、色、輝度のムラが均一化されることが分かる。
図17は、図16(a)〜図16(d)に示したXYZ表色系における色度値x,yの標準偏差を算出した図である。
図17より、XYZ表色系における色度値x,yの分布は、プロジェクタ装置の台数が多くなる(言い換えれば、重ね合わせる画像枚数が多くなる。)につれて、収束することが分かる。
図16(a)に示すように、1台のプロジェクタ装置である場合、色度値x,yの標準偏差が高いため、色度のばらつきが大きい。しかし、プロジェクタ装置の台数を増やすにつれて、色度値x,yの標準偏差が低くなり、スクリーンに投影した画像の色度のばらつきが小さくなっていくことが確認できる。
更に、製造メーカーと製品の型番が同じであるプロジェクタ装置を多数集め、隣り合うプロジェクタ装置で投影する画像を重ねることで色度がどの程度平均化されるかをシミュレーションする実験を行った。この実験と、測定結果について、以下、図18〜図23を参照して説明する。
図18は、色度計測の様子を示す模式図である。
各プロジェクタ装置には、各画素に対して、全て共通な画像信号((R,G,B)=(200,200,200))を入力する。
そして、各プロジェクタ装置について、投影画像の色度分布を計測し、投影画像の中央領域8付近の平均色度を算出した。
本例では、104台のプロジェクタ装置について計測した。
以下、図19〜図23において、同じ画像信号が入力されたプロジェクタ装置がスクリーン2に投影する画像の色度がばらつく様子について示す。各プロジェクタ装置が格子状に配置されたことを想定し(計測した各プロジェクタ装置の色度データを無作為に格子状に配列し)、各データに対して、隣接するデータとの平均値を算出する。そして、全ての平均値について標準偏差を計算する。この計算は、隣接する4台、9台、16台、25台のプロジェクタ装置について、それぞれ行う。
図19は、画像を重ね合わせない場合(図19(a))における色度値x,yを算出した結果を示している。
以下、図19(a)〜図23(a)において、格子状に配置された円は、プロジェクタ装置の配置位置を示す。また、実線または破線で囲まれた領域は、平均値を算出した範囲を示している。
図19(b)は、算出した平均値の分布を示している。
図20は、隣り合う4台のプロジェクタ装置間(図20(a))で色度値x,yの平均値を算出した結果を示している。
図20(b)は、色度値x,yの平均値の分布を示している。
図21は、隣り合う9台のプロジェクタ装置間(図21(a))で色度値x,yの平均値を算出した結果を示している。
図21(b)は、色度値x,yの平均値の分布を示している。
図22は、隣り合う16台のプロジェクタ装置間(図22(a))で色度値x,yの平均値を算出した結果を示している。
図22(b)は、色度値x,yの平均値の分布を示している。
図23は、隣り合う25台のプロジェクタ装置間(図23(a))で色度値x,yの平均値を算出した結果を示している。
図23(b)は、色度値x,yの平均値の分布を示している。
図24は、図19(b)〜図23(b)に示したXYZ表色系における色度値x,yの標準偏差と、重ね合わせたプロジェクタ装置の台数との関係を示す図である。
図24より、周囲のプロジェクタ装置の光と重畳することで、プロジェクタ装置の特性のばらつきが減ることが示される。周囲の4台と重畳するだけでも色度のばらつきは、ほぼ半減する。一般に、標準偏差がσの母集団からn個を取り出して平均を取った場合の標準偏差は、一般式としてσ/√nの関係を満たす。図24に示す結果は、標準偏差の一般式に準じている。
そして、1台のプロジェクタ装置によって投影された画像の標準偏差に比べて、投影した画像を重畳するプロジェクタ装置の台数が増すにつれて、色度値x,yの標準偏差が低い値に収束することが分かる。このため、投影した画像を重畳するプロジェクタ装置の台数を増すと、色度のばらつきが小さくなると言える。
ところで、例えば、25台のプロジェクタ装置が投影する投影画像を重ねる場合等、従来の投影方式に比べて、1台のプロジェクタ装置がより広い面積の領域を投影する必要がある。このためには、以下の手法を用いればよい。
(1)スクリーン2とプロジェクタ装置の間の距離(投射距離)を延長する。
(2)プロジェクタ装置に、より広角な投射レンズを取り付ける。
また、投影画像を重ねると、厳密に投影位置を調整しない限り、複数台のプロジェクタ装置からの画素がずれて重なるため、投影画像の解像度は低下する。その為、投影画像の解像度を維持する必要がある。
ここで、最小値と差分値を重畳した画像の例について、図25と図26を参照して説明する。
図25は、投影画像の例である。
図25(a)は、所望の投影画像の例を示す。
この投影画像の例は、1台のプロジェクタ装置で画像を投影して、カメラで撮影した写真である。本実施の形態では、低解像度の画像と、高解像度の画像を重畳して図25(a)に示す画像をスクリーン2に表示可能とすることを目指している。
図25(b)は、低解像度の投影画像による最小値画像の例を示す。
この投影画像の例も、1台のプロジェクタ装置で画像を投影して、カメラで撮影した写真である。プロジェクタ装置への入力画像を、2×2画素のブロックに分割し、各ブロック(合計4画素)内での画素値の最小値を算出した上で、その最小値の画素値でブロック内の全画素を置き換えたものである。この処理は、R,G,Bの各プレーンで独立に行う。
図26は、投影画像の例である。
図26(a)は、高解像度の投影画像による差分値画像の例を示す。
この投影画像の例は、所定の処理を加えて算出した画素値を入力画像として当該プロジェクタ装置に入力し、投影した時の画像をカメラで撮影した写真である。
図26(a)に示す画像を投影するためには、2×2画素のブロック内の各画素について、入力画像の画素値に予め全画面で一律に定めたガンマの値を乗じる。そして、その値から、先に求めたブロック内での最小値の画素値に同じくガンマを掛けた値を差し引いた値(目標輝度)を入力画像としたものである。そして、プロジェクタ装置をスクリーンに投影した時のスクリーン上での輝度が、その差し引いて求めた値と等しくなるような当該プロジェクタ装置への入力画素値を、予め計測してある当該プロジェクタ装置への入力画素値とスクリーン上で観測される輝度値との関係から算出する。
図26(b)は、図25(b)と図26(a)に示した投影画像を重ねた場合の例を示す。この投影画像の例も、所定の処理を加えて算出した画素値を入力画像として当該プロジェクタ装置に入力し、投影した時の画像をカメラで撮影した写真である。
このように、最小値画像と差分値画像を重畳して投影することで、図25(a)に示した入力画像をそのまま投影した場合と同様に、画像が表示されることが分かる。
以上説明した第1の実施の形態に係る画像投影システム10では、スクリーン2上のどの箇所の画像も、複数台の異なるプロジェクタ装置の投影光が重なり合って構成されることを特徴とする。また、不均一拡大光学部7−1〜7−Nは、静的な機構であり、一旦設置しておくと、動きを制御しなくてもよい。このため、各装置のメンテナンスが容易となるという効果がある。
また、複数台のプロジェクタ装置からの光で各画素を構成することによって、プロジェクタ装置間の特性(輝度)のばらつきが平均化される。このため、特性の悪いプロジェクタ装置があったとしても、そのプロジェクタ装置が担当する画素と同じ画素を担当する他のプロジェクタ装置によって輝度の不足を補うことが出来る。そして、従来の技術と比べて、プロジェクタ装置のリソースをより効率的に利用することが可能になる。すなわち、より高画質な画像の投影が可能になる。
次に、本発明の第2の実施の形態について、図27〜図29を参照して説明する。本実施の形態例においても、複数台のプロジェクタ装置を用いて投影した画像を重ね合わせることによって、スクリーンに高精細な画像を表示することが可能な画像投影システム70に適用した例について説明する。本実施の形態では、上述した第1の実施の形態で示した最小値、差分値に相当する画素値(光、輝度)を、それぞれ別のプロジェクタ装置で投影することを特徴とする。
制御装置5は、m台のプロジェクタ装置のうち、k台(kは1以上の整数)のプロジェクタ装置に差分値輝度情報に基づいて決定された画像信号を供給し、k台のプロジェクタ装置とは異なる(m−k)台のプロジェクタ装置に、最小値輝度情報に基づいて決定された画像信号を供給する。
図27は、最小値画像と差分値画像をそれぞれ別のプロジェクタ装置で投影する場合の例を示す。最小値を担当するプロジェクタ装置と差分値を担当するプロジェクタ装置は、同じ種類、同じ特性でなくてもよい。例えば、最小値を担当するプロジェクタ装置に、解像度は低いが、明るく輝度の高いプロジェクタ装置を用い、差分値を担当するプロジェクタ装置には、輝度は低いが、解像度の高いプロジェクタ装置を用いるなど、それぞれの特性、用途に合わせた、効率的なプロジェクタ装置の利用が可能になる。
図28は、プロジェクタ装置の配置例を示す。
プロジェクタ装置の総数は、N台とする。そして、スクリーン2に対して、最小値画像を投影するプロジェクタ装置をm台、差分値画像を投影するプロジェクタ装置を、N−m台とする。図1で示したように、プロジェクタ装置は、正面方向から見て格子状に配置する。
ただし、最小値画像を投影するプロジェクタ装置と、差分値画像を投影するプロジェクタ装置が配置される奥行きを異ならせている。つまり、最小値画像を投影するプロジェクタ装置1−1〜1−mの間に、差分値画像を投影するプロジェクタ装置1−(m+1)〜1−Nをそれぞれ配置した。このように配置することによって、高解像度な画素の投影も複数のプロジェクタ装置による重ね合わせで行うことが可能となる。例えば、低解像度な画素の投影に対して、高解像度な画素の投影の輝度が足りない場合には、高解像度な画素の投影も複数台のプロジェクタ装置が投影する画像を重ね合わせることで、投影画像の輝度を向上させることが出来る。
図29は、複数台のプロジェクタ装置によって構成される画像投影システム70の構成例を示す。制御装置5は、N台のプロジェクタ装置1−1〜1−Nに対して、画像信号を供給する。
ただし、画像投影システム70では、低解像度な画素の投影と高解像度な画素の投影を、プロジェクタ装置毎に異ならせることを特徴とする。なお、第2の実施の形態において、上述した第1の実施の形態における画像投影システム10と同じ部位については、詳細な説明は省略する。
本例の画像投影システム70は、N台のプロジェクタ装置と、投影された画像の表示面となるスクリーン2と、スクリーン2に投影された画像を観測する観測部4と、観測部4が観測した情報を受取り、各プロジェクタ装置に画像信号を供給する制御装置15と、を備える。そして、N台のプロジェクタ装置のうち、第1のプロジェクタ装置1−1〜第mのプロジェクタ装置1−mを、低解像度画像(最小値画像)投影用のプロジェクタ装置とする。また、第m+1のプロジェクタ装置1−(m+1)〜第Nのプロジェクタ装置1−Nを、高解像度画像(差分値画像)投影用のプロジェクタ装置とする。
以上説明した第2の実施の形態に係る画像投影システム70では、低解像度画像(最小値画像)と高解像度画像(差分値画像)を投影するプロジェクタ装置を異ならせることによって、高輝度かつ高解像度の投影画像を提示可能としている。このため、全てのプロジェクタ装置を同質としなくてもよい。例えば、低解像度画像(最小値画像)を投影するプロジェクタ装置の輝度性能は、高解像度画像(差分値画像)を投影するプロジェクタ装置に比べて劣っていても、輝度を複数台のプロジェクタ装置で補完し合うため、高輝度な投影画像が得られるという効果がある。
なお、第2の実施の形態の説明では、図28に示すように、最小値画像を投影するプロジェクタ装置は、奥に配置したが、他の配置としてもよい。スクリーン2の全面に渡って、差分値画像を投影する光と最小値画像を投影する為の光が照射されていれば、プロジェクタの奥行きがすべて同じであっても、もしくは、図28とは奥行き配置が逆になったとしても、実施可能である。
次に、本発明の第3の実施の形態について、図30〜図33を参照して説明する。本実施の形態例においても、複数台のプロジェクタ装置を用いて投影した画像を重ね合わせることによって、スクリーンに高精細な画像を表示することが可能な画像投影システム80に適用した例について説明する。本実施の形態では、R,G成分だけの画像を投影するプロジェクタ装置と、G成分だけを投影するプロジェクタ装置を用いてスクリーンに画像を投影することを特徴とする。
図30は、各プロジェクタ装置が投影するR,G,Bプレーンの例を示す。
本実施の形態では、人間の眼の感度が最も高い、G成分の画像だけを高解像度のプロジェクタ装置で投影する。そしてR,B成分の画像は、互いに重なるように広い範囲に重畳した複数のプロジェクタ装置で投影する。このことは、上述した第2の実施の形態における、差分値をG成分に、最小値をRとB成分に置き換えたものに等しい。
図31は、複数台のプロジェクタ装置によって構成される画像投影システム80の構成例を示す。制御装置5は、N台のプロジェクタ装置1−1〜1−Nに対して、画像信号を供給する。
ただし、画像投影システム80では、R,Bプレーンの投影とGプレーンの投影を、プロジェクタ装置毎に異ならせることを特徴とする。なお、第3の実施の形態において、上述した第1の実施の形態における画像投影システム10と同じ部位については、詳細な説明は省略する。
本例の画像投影システム80は、N台のプロジェクタ装置と、投影された画像の表示面となるスクリーン2と、スクリーン2に投影された画像を観測する観測部4と、観測部4が観測した情報を受取り、各プロジェクタ装置に画像信号を供給する制御装置15と、を備える。
ブロック分割部57は、R画像とG画像とB画像とで構成される入力された画像信号に基づく画像を、所定の領域に分割する。
制御装置15は、ブロック分割部57で所定の領域に分割されたR画像とG画像とB画像とで構成される入力された画像信号に基づく所定の領域(分割画像領域)から、R画像とB画像の輝度を「RB目標輝度」の情報として算出するRB目標輝度算出部64と、G画像の輝度を「G目標輝度」の情報として算出するG目標輝度算出部65と、を備える。
輝度補正係数算出部60は、画像領域の前記RB輝度情報と前記G輝度情報に対する各プロジェクタ装置の投影画像の輝度の配分を輝度補正係数として決定する。輝度補正係数保持部61は、決定された輝度補正係数を一時的に保持する。
入力画素値算出部63は、輝度補正係数算出部によって算出された前記輝度補正係数と前記RB輝度情報と前記G輝度情報とに基づき各プロジェクタ装置の投影画像の目標投影輝度を決定し、決定した目標投影輝度、前記位置情報および前記輝度情報に基づいて、前記プロジェクタ装置毎に投影する画像の各画素の画素値を算出する。そして、信号供給部63から各プロジェクタ装置に生成された画像信号が供給される。
制御装置15は、m台のプロジェクタ装置のうち、k台(kは1以上の整数)のプロジェクタ装置に前記RB輝度情報に基づいて決定された画像信号を供給する。第1のプロジェクタ装置1−1〜第mのプロジェクタ装置1−mを、R,Bプレーン投影用のプロジェクタ装置とする。
そして、前記k台のプロジェクタ装置とは異なる(m−k)台のプロジェクタ装置に、前記G輝度情報に基づいて決定された画像信号を供給する。第m+1のプロジェクタ装置1−(m+1)〜第Nのプロジェクタ装置1−Nを、Gプレーン投影用のプロジェクタ装置とする。
図32は、入力画素値の算出処理の例を示すフローチャートである。
始めに、ブロック分割部57は、画像データをブロックに分割する(ステップS41)。以下、分割されたブロックを選択し、順に所定の処理を行う(ステップS42)。
次に、RプレーンとBプレーンに対して処理を行う(ステップS43)。そして、提示画像のRプレーンとBプレーンの画素値について、ブロック内の平均値を算出する(ステップS44)。
次に、算出した平均値にガンマを掛けた値を算出する(ステップS45)。この値を、RB目標輝度と呼ぶ。そして、R,Bプレーンを投影する全てのプロジェクタ装置について、ステップS46〜S50の処理を繰り返す(ステップS46)。
まず、RB目標輝度に輝度補正係数wを掛けた値を算出する(ステップS47)。輝度補正係数wは、上述した第1の実施の形態における輝度補正係数wと同様に求められる。そして、RB目標輝度に輝度補正係数wを掛けた値に最も近い入力画素値iを算出する(ステップS48)。
次に、入力画素値iを該当するプロジェクタ装置に出力し(ステップS49)、最後のプロジェクタ装置であるか否かを判別する(ステップS50)。次のプロジェクタ装置がある場合、ステップS46に戻り、処理を繰り返す。
ステップS50の処理で、最後のプロジェクタ装置に達したことを判別した場合、最後のプレーンであるか否かを判別する(ステップS51)。最後のプレーンに達していない場合、ステップS43に戻り、次のプレーンについて処理を繰り返す。
一方、最後のプレーンに達している場合、ブロック内の各画素について、G目標輝度を算出する処理を開始する(ステップS52)。そして、該当する画素位置の提示画像の画素値にガンマを掛けた値を算出する(ステップS53)。この値を、G目標輝度と呼ぶ。
そして、Gプレーンの画素を投影している全てのプロジェクタ装置について、ステップS54〜S58の処理を繰り返す(ステップS54)。
まず、G目標輝度に輝度補正係数wを掛けた値を算出する(ステップS55)。輝度補正係数wは、上述した第1の実施の形態における輝度補正係数wと同様に求められる。そして、G目標輝度に輝度補正係数wを掛けた値に最も近い入力画素値ik′を算出する(ステップS56)。
次に、入力画素値ik′を該当するプロジェクタ装置に出力し(ステップS57)、最後のプロジェクタ装置であるか否かを判別する(ステップS58)。次のプロジェクタ装置がある場合、ステップS54に戻り、処理を繰り返す。
ステップS58の処理で、最後のプロジェクタ装置に達したことを判別した場合、分割されたブロック内の最後の画素であるか否かを判別する(ステップS59)。最後の画素ではない場合、ステップS52に処理を移し、以降の処理を繰り返す。
一方、ステップS59で、最後の画素であることを判別した場合、選択したブロックが最後のブロックであるか否かを判別する(ステップS60)。最後のブロックではない場合、ステップS42に処理を移し、以降の処理を繰り返す。一方、ステップS60で、最後のブロックであることを判別した場合、処理を終了する。
図33は、投影画像の表示例である。
ここでは、原画像に対して、R成分、B成分、G成分、それぞれの成分について、ローパスフィルタを適用して周波数帯域を落した画像を生成する。そして、G成分の周波数帯域だけを元の周波数帯域に戻すだけで、見た目の解像度がどの程度向上するのかについて示す。
図33(a)は、原画像の表示例である。
図33(b)は、原画像からR,G,B成分の周波数帯域を半分に下げた投影画像の表示例である。
図33(c)は、原画像からR,B成分の周波数帯域を半分に下げた(G成分の周波数帯域を元に戻した場合)投影画像の表示例である。R,B成分の周波数帯域が下がると、解像度も下がる。
図33(c)に示すように、R成分、B成分については、低解像度のままで、G成分のみ高解像度である。しかし、人間の眼に対する感度がもっとも良いG成分の解像度は保持しているので、全体として、高解像度の画像に見える。つまり、高解像度の画像として提示される。
ところで、R,B成分の周波数帯域を下げる処理は、RB目標輝度算出部64が行う(図32のステップS44を参照)。本実施の形態では、各プロジェクタ装置からの投影画像を、図30に示す仕組みを使って、G成分と、R,B成分のそれぞれについて、拡大率を変えて投影することを特徴とする。G成分の投影画像は、スクリーン全面を少なくとも隙間なく照らせる程度の拡大率で投影する。一方、R,B成分の投影画像は、G成分の投影画像よりも大きな拡大率で投影する。そうすることで、R,B成分の投影画像は、G成分の投影画像と比べて、より多くの隣接するプロジェクタ装置と重なり合う。その為、スクリーン上の任意の点で、高解像度なG成分の光と、G成分の光よりは低解像度だが、より多くのプロジェクタ装置からの光で混合された、R,B成分の光が観測されることになる。通常、RGB全ての成分の投影画像を拡大して隣接するプロジェクタ装置の投影画像と重ね合わせようとすると解像度を保持できない。このため、人間が感じる解像度で最も感度が高いG成分だけを残して、R、B成分の光だけを重ね合わせることで、R,B成分についてだけは複数のプロジェクタ装置間の特性のばらつきを低減することが可能となる。
以上説明した第3の実施の形態における画像投影システム80では、G成分の投影光のみ出力するプロジェクタ装置と、R,B成分の投影光のみ出力するプロジェクタ装置と、を別に設けることを特徴とする。そして、R,B成分の投影光のみ出力するプロジェクタ装置は、原画像からR,B成分の周波数帯域を落とした画像信号に基づいて画像を投影するようにした。このため、全てのプロジェクタ装置を同質としなくてもよい。例えば、R,B成分の画像を投影するプロジェクタ装置の輝度性能は、G成分の画像を投影するプロジェクタ装置に比べて劣っていても、輝度を複数台のプロジェクタ装置で補完し合うため、高輝度な投影画像が得られるという効果がある。
一般にプロジェクタ装置の内部には(液晶プロジェクタ装置の場合)、高輝度なランプによる光をRGBのそれぞれの成分に分ける光学素子(ダイクロイックプリズムやダイクロイックフィルタなど)が含まれている。しかし、例えば、Gの成分を担当するプロジェクタ装置については、そうした光学素子を必要としない。その分、構造が単純になりコストも安く抑えられる。G成分の特性のばらつきは抑えられないが、RとB成分の特性のばらつきは、投影画像を重ね合わせることによって低減されるという効果がある。
次に、本発明の第4の実施の形態について、図34〜図36を参照して説明する。本実施の形態例においても、複数台のプロジェクタ装置を用いて投影した画像を重ね合わせることによって、スクリーンに高精細な画像を表示することが可能な画像投影システム80に適用した例について説明する。本実施の形態では、プロジェクタ装置の投影光を、R,B成分と、G成分に分け、R,B成分の投影光を拡大し、G成分の投影光はそのままスクリーンに投影することを特徴とする。
図34は、1台のプロジェクタ装置からの投影光をG成分と、B,R成分に分け、B,R成分の投影光だけを拡大する場合の構成例を示す。
プロジェクタ装置1−1は、G成分の光は透過し、B,R成分の投影光は90度反射する素子としてダイクロイックプリズム91−1と、B,R成分の投影光を反射するミラー92−1と、ミラー92−1で反射されたB,R成分の投影光(R画像及びG画像)を拡大投射する拡大光学部93−1を備える。これら、ダイクロイックプリズム91−1と、ミラー92−1と、拡大光学部93−1を、拡大光学系95−1とする。ダイクロイックプリズム91−1によりプロジェクタ装置の投影光は、G成分の投影光と、B,R成分の投影光に分けられる。G成分の投影光はそのままスクリーン2に投影される。一方、B,R成分の投影光は、ミラー92−1を介して、拡大光学系93−1に入力され、拡大されて、スクリーン2に投影される。拡大光学系93−1は、フレネルレンズ等を含む光学系である。
図35は、複数台のプロジェクタ装置によって構成される画像投影システム90の構成例を示す。制御装置5は、同じ投影性能を有するN台のプロジェクタ装置1−1〜1−Nに対して、画像信号を供給する。
ただし、画像投影システム90では、各プロジェクタ装置1−1〜1−Nは、それぞれ拡大光学系95−1〜95−Nを備えることを特徴とする。なお、第4の実施の形態において、上述した第1の実施の形態における画像投影システム10と同じ部位については、詳細な説明は省略する。
本例の画像投影システム80は、N台のプロジェクタ装置と、投影された画像の表示面となるスクリーン2と、スクリーン2に投影された画像を観測する観測部4と、観測部4が観測した情報を受取り、各プロジェクタ装置に画像信号を供給する制御装置15と、を備える。そして、プロジェクタ装置1−1〜1−Nは、それぞれ投影光を、拡大光学系95−1〜95−Nを介した上で、スクリーン2に投影する。このため、スクリーン2に投影される画像は、G成分の投影光からなる画像と、B,R成分の投影光からなる画像が重ね合わされたものとなる。
図36は、R,G,B成分毎の入力画像と提示した投影画像の例を示す。
図36(a)は、R,G,B成分の入力画像の例である。
プロジェクタ装置1−1には、G成分の入力画像96−1と、B成分の入力画像96−2と、R成分の入力画像96−3が入力される。
図36(b)は、1台のプロジェクタ装置による投影画像の例である。
プロジェクタ装置1−1に、G成分の入力画像96−1と、B成分の入力画像96−2と、R成分の入力画像96−3が入力されると、スクリーン2には、G成分の投影画像97−1と、B成分の投影画像97−2と、R成分の投影画像97−3が投影される。B成分の投影画像97−2と、R成分の投影画像97−3は同じ大きさであり、同じ位置に重ねて投影される。そして、R,B成分の投影画像は、G成分の投影画像より広い領域を照らす。
図36(c)は、複数台のプロジェクタ装置による投影画像の例である。
プロジェクタ装置1−1〜1−3の投影画像は、それぞれ重なり合いながら、スクリーン2に提示される。
プロジェクタ装置のR,G,B成分に入力される画像の画素数は、すべて同じである。しかし、R,B成分の入力画像と、G成分の入力画像は異なる。本例では、R,B成分の入力画像は、G成分の入力画像より広い領域の画像としている。
例えば、ユーザが、R,G,B成分の入力画像それ自体を、コンピュータ装置に接続されたモニタで見ても、どのような画像であるかは分からない。しかし、本実施の形態で示す画像投影システム90によって、スクリーン2に投影されると、どのような画像であるかが分かる。このように、R,B成分の投影画像を拡大し、隣接するプロジェクタ装置と投影画像を重ね合わせることで、プロジェクタ装置間の特性のばらつきを低減できるという効果がある。
ここで、図36を参照して説明したR,G,B成分毎の入力画像と提示した投影画像の例について、図37と図38を参照して詳述する。
図37は、スクリーンに提示される投影画像の例を示す。
図37(a)は、1台のプロジェクタ装置の投影画像の例である。図37(a)に示す画像の投影パターンは、図36(a)で説明した画像の投影パターンと同様である。
図37(b)は、複数台のプロジェクタ装置の投影画像の例である。
ここでは、G成分の投影画像が隙間なく並ぶように、複数台のプロジェクタ装置を配置する。
図37(c)は、横(X方向)に6台、縦(Y方向)に4台のプロジェクタ装置を配列した例である。このとき、プロジェクタ装置の合計は24台である。
図37(d)は、(X,Y)=(6,2)に位置するプロジェクタ装置を強調表示した例である。
図37(e)は、(X,Y)=(6,2)にG成分の投影画像を提示するプロジェクタ装置と、他のプロジェクタ装置の関係を示す例である。(X,Y)=(6,2)の位置に対して、説明のため番号“1”を付す。番号1には、1台のプロジェクタ装置のG成分の投影画像が提示される。
同様に、(X,Y)=(5,2)にG成分の投影画像を提示するプロジェクタ装置に対して、番号“2”を付す。(X,Y)=(5,3)に投影画像を提示するプロジェクタ装置に対して、番号“3”を付す。(X,Y)=(4,2)に投影画像を提示するプロジェクタ装置に対して、番号“4”を付す。(X,Y)=(4,3)に投影画像を提示するプロジェクタ装置に対して、番号“5”を付す。
例えば、番号5にG成分の投影画像が提示されると、R,B成分の投影画像は、(X,Y)=(5,2),(5,3),(6,2),(6,3)の領域に提示される。他のG成分の投影画像に対するR,B成分の投影画像も同様のパターンで提示される。このため、番号1の提示領域には、番号2〜5にG成分の投影画像を提示するプロジェクタ装置が同時に出力するR,B成分の投影画像が提示される。
図37(f)は、他の画像提示領域の例である。
他のプロジェクタ装置によって提示されるG成分の投影画像は、1≦X≦6、2≦Y≦5の範囲であることが示される。
図37(g)は、有効画像提示領域の例である。
スクリーン2に提示される投影画像のうち、ユーザが視認することが可能な有効画像提示領域は、3≦X≦6、2≦Y≦4の範囲である。この範囲内にG成分の投影画像が提示されると、ユーザは高精細な投影画像99を見ることができる。
図38は、各プロジェクタ装置に入力される画像と、投影画像との関係を示す。
本例では、24台のプロジェクタ装置(横に6台、縦に4台)によって提示される投影画像について説明する。
図38(a)は、プロジェクタ装置に入力される元画像の例である。
ただし、1台のプロジェクタ装置に入力される画像は、この元画像98を所定の領域で分割した画像である。複数台のプロジェクタ装置が投影する複数の投影画像をつなげることで、この元画像98がスクリーンに提示される。各プロジェクタ装置の位置を示すため、便宜的に1〜24の番号を付す。
図38(b)は、元画像98のG,B,R成分画像の例である。
これらG成分画像98g、R成分画像98r、B成分画像98gがプロジェクタ装置に入力され、スクリーンに重ねて投影されることで、ユーザは画像を認識できる。
図38(c)は、G成分画像を提示するプロジェクタ装置の例である。
番号3〜6,9〜12,15〜18が振られたプロジェクタ装置が提示する投影画像によって、元画像98のG成分画像98gが提示されることが示される。
また、G成分画像98gが投影されない領域には、G成分の画像が入力しない。
図38(d)は、R成分画像98rとB成分画像98bを縮小した画像の例である。
ここでは、R成分画像98rの縦横を半分に縮小したR成分画像98r′と、B成分画像98bの縦横を半分に縮小したB成分画像98b′を生成する。
図38(e)は、縮小したR成分画像98r′を提示するプロジェクタ装置の例である。以下の説明において、縮小したB成分画像98b′を提示するプロジェクタ装置の例についても同様である。
R成分画像98r′を提示するプロジェクタ装置の位置は、太枠で示す。例えば、番号7,9,11,19,21,23のプロジェクタ装置が投影する画像は、R成分画像98r′をサンプリングして得られる画像である。つまり、サンプリングされた各画像94aのうち、(X,Y)=(1,1)の画像は、番号7のプロジェクタ装置が投影する。以下、同様に、(X,Y)=(2,1)の画像は、番号9のプロジェクタ装置が投影する。(X,Y)=(3,1)の画像は、番号11のプロジェクタ装置が投影する。(X,Y)=(1,2)の画像は、番号19のプロジェクタ装置が投影する。(X,Y)=(2,2)の画像は、番号21のプロジェクタ装置が投影する。(X,Y)=(3,2)の画像は、番号23のプロジェクタ装置が投影する。
他のサンプリング画像94b〜94dについても同様である。
図38(f)は、有効画像提示領域における投影画像99の例である。
このようにして、投影画像99は、24台のプロジェクタ装置の投影画像が重ねて提示される。そして、ユーザは、投影画像99を視認することが可能となる。そして、投影画像99の周辺部には画像が提示されない。
以上説明した第4の実施の形態における画像投影システム90では、プロジェクタ装置が備えるBR拡大光学系によって、G成分の投影光からなる画像と、B,R成分の投影光からなる画像を分けて、スクリーン2に投影することを特徴とする。このため、重ね合わせられる画像の内、1台でも高性能なプロジェクタ装置が投影する画像が含まれていれば、高輝度かつ、高解像度の画像がスクリーン2に提示される。そして、例えば、複数台のプロジェクタ装置のうち、一部の輝度性能が劣っていても、輝度を複数台のプロジェクタ装置で補完し合うため、高輝度な投影画像が得られるという効果がある。
上述した第1〜第4の実施の形態に係る画像投影システムによれば、スクリーン2上のどの箇所の画像も、複数台の異なるプロジェクタ装置の投影光が重なり合って構成されることを特徴とする。このとき、均一な輝度の画像が得られる。そして、従来の技術に比べて、大画面で高画質な画像を提示することが可能になる。画像提示中に、一部のプロジェクタ装置が故障、停止しても、提示画像の一部の領域が欠ける(画像が出なくなる)というリスクが低減する。従来、問題とされていた、プロジェクタ装置が故障した場合における画像投影システムの脆弱性は、本実施の形態に係る画像投影システム10を用いることで解消される。例えば、1台のプロジェクタ装置が故障したり、停止したりした場合であっても、不完全ながらも(例えば輝度が低下するなど)、何らかの情報はスクリーン2に提示される。これは、各画素は複数台のプロジェクタ装置が投影する光で構成されるためである。このため、故障したプロジェクタ装置が担当する領域であっても、一切画像が出なくなるといった不具合は生じない。この結果、画像を連続して提示できるという効果がある。
また、従来、輝度を補完するために、スクリーンの全体に光を当てる画像投影システムが知られていたが、このシステムでは、スクリーンが大きくなるほど、スクリーンに光を当てる装置の光源ランプの出力を高める必要がある。出力が大きい光源ランプを用いると、電力消費量が大きくなるばかりでなく、光源ランプ自体の寿命も短くなりやすいばかりか、解像度を高める点について工夫されていなかった。しかし、第1〜第4の実施の形態に係る画像投影システムでは、プロジェクタ装置の配置を工夫しており、隣り合うプロジェクタ装置が投影する画像の幅は、隣り合うプロジェクタ装置の幅の整数倍に等しい。そして、隣り合う複数台のプロジェクタ装置によって、互いに画像を投影しながらスクリーンに投影される画像の輝度を補完する。また、輝度補正係数を自由に変えることで、目標輝度に対して各プロジェクタ装置の輝度の配分を自由に変えて対応できる。このため、光源ランプの出力は、全てのプロジェクタ装置で同一としてよい。また、光源ランプの出力を下げた場合であっても、複数台のプロジェクタ装置によって輝度を補完するため、光源ランプの寿命を長くすることができるという効果がある。
また、高精細で、輝度のばらつきが少ない画像を大きなスクリーンに投影することができるため、複数人で同じ映像(例えば、DNAの構造が映し出された映像)を見ることができる。また、1組のプロジェクタ装置(例えば、4台のプロジェクタ装置)を繰り返して配置可能である。このため、スクリーンの大きさ、形状が限定されなくなり(長方形でなくてもよい。)、ホームシアターや業務用で投影する用途に用いることができる。また、複数の投影画像を重ね合わせることで、隣り合う投影画像の繋ぎ目が見えることがなく、スクリーン2全体に自然な状態で大画面の映像が提示される。
なお、上述した第1及び第4の実施の形態では、説明の便宜上、プロジェクタ装置を格子状に配置した場合について説明したが、必ずしもプロジェクタ装置を格子状に並べる必要はない。つまり、プロジェクタ装置が格子状に並んでいなくても実施は可能である。ただし、レンズの向きを変えるだけでは投影画像の位置を正確に変えることはできない。この場合、ミラーに一度反射させ、ミラーの向きを変えることで、投影画像の位置を変えることが可能となる。このことから、上述した第2及び第3の実施の形態であっても、ミラーを設置することによって、投影画像の位置を変えることは可能である。このように、本発明に係る画像投影システムは、プロジェクタの配置が限定されない。
上述した実施の形態例における一連の処理は、ハードウェアにより実行することができるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムを、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで各種の機能を実行することが可能な例えば汎用のパーソナルコンピュータなどに所望のソフトウェアを構成するプログラムをインストールして実行させる。
また、上述した実施の形態例の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPU等の制御装置)が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。
この場合のプログラムコードを供給するための記録媒体としては、例えば、フロッピディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、磁気テープ、不揮発性のメモリカード、ROMなどを用いることができる。
また、コンピュータが読み出したプログラムコードを実行することにより、上述した実施の形態例の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOSなどが実際の処理の一部又は全部を行い、その処理によって上述した実施の形態例の機能が実現される場合も含まれる。
また、本明細書において、ソフトウェアを構成するプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
さらに、本発明は上述した実施の形態例に限られるものではなく、本発明の要旨を逸脱することなくその他種々の構成を取り得ることは勿論である。
本発明の第1の実施形態に係る画像投影システムの外部構成例を示す構成図である。 本発明の第1の実施形態に係る画像投影システムの各プロジェクタ装置の配置例と投影画像の例を示す三面図である。 本発明の第1の実施形態に係る投影画像を不均一に拡大する例を示す説明図である。 本発明の第1の実施形態に係る投影画像を不均一に拡大する例を示す説明図である。 本発明の第1の実施形態に係る不均一投影画像を重畳する例を示す説明図である。 本発明の第1の実施形態に係る画像投影システムの内部構成例を示すブロック図である。 本発明の第1の実施形態に係る投影画像の画素をXY座標軸で表す例を示す説明図である。 本発明の第1の実施形態に係るプロジェクタ装置とプレーンと画素位置の各変数の対応例を示す説明図である。 本発明の第1の実施形態に係る投影画像の輝度分布の例を示す説明図である。 本発明の第1の実施形態に係る画像投影処理の例を示すフローチャートである。 本発明の第1の実施形態に係る入力画素値の算出処理の例を示すフローチャートである。 本発明の第1の実施形態に係る各プロジェクタ装置が投影する画像の画素値(輝度)の例を示す説明図である。 本発明の第1の実施形態に係る各プロジェクタ装置が投影する画像を分割したブロックごとの画素値の例を示す説明図である。 本発明の第1の実施形態に係るプロジェクタ装置毎の補正前後の輝度の例を示す説明図である。 複数台のプロジェクタ装置を用いて投影画像を重畳させるための構成例を示す説明図である。 プロジェクタ装置の投影画像を重畳した場合における投影画像の表示例を示す説明図である。 プロジェクタ装置の投影画像を重畳した場合における色度値x,yの標準偏差の例を示す説明図である。 色度値を計測する例を示す説明図である。 投影画像を重ね合わせない場合における色度値x,yの例を示す説明図である。 隣り合う4台のプロジェクタ装置の投影画像を重ね合わせた場合における色度値x,yの例を示す説明図である。 隣り合う9台のプロジェクタ装置の投影画像を重ね合わせた場合における色度値x,yの例を示す説明図である。 隣り合う16台のプロジェクタ装置の投影画像を重ね合わせた場合における色度値x,yの例を示す説明図である。 隣り合う25台のプロジェクタ装置の投影画像を重ね合わせた場合における色度値x,yの例を示す説明図である。 色度値x,yと投影画像を重ね合わせたプロジェクタ装置の台数との関係例を示す説明図である。 投影画像の表示例を示す説明図である。 投影画像の表示例を示す説明図である。 本発明の第2の実施形態に係る画像投影システムの外部構成例を示す構成図である。 本発明の第2の実施形態に係るプロジェクタ装置の配置例を示す構成図である。 本発明の第2の実施形態に係る画像投影システムの内部構成例を示すブロック図である。 本発明の第3の実施形態に係る画像投影システムにおいて、各プロジェクタ装置が投影するR,G,Bプレーンの例を示す説明図である。 本発明の第3の実施形態に係る画像投影システムの内部構成例を示すブロック図である。 本発明の第3の実施形態に係る入力画素値の算出処理の例を示すフローチャートである。 本発明の第3の実施形態に係る画像投影システムによる投影画像の表示例を示す説明図である。 本発明の第4の実施形態に係る画像投影システムにおいて、1台のプロジェクタ装置からの投影光をG成分と、B,R成分に分け、B,R成分の投影光だけを拡大する場合の構成例を示す説明図である。 本発明の第4の実施形態に係る画像投影システムの内部構成例を示すブロック図である。 本発明の第4の実施形態に係る画像投影システムにおけるR,G,B成分毎の入力画像と提示した投影画像の例を示す説明図である。 本発明の第4の実施形態に係る画像投影システムにおけるスクリーンに提示される投影画像の例を示す説明図である。 本発明の第4の実施形態に係る画像投影システムにおける各プロジェクタ装置に入力される画像の例を示す説明図である。 従来の画像投影システムの外部構成例を示す構成図である。 従来の画像投影システムの各プロジェクタ装置の配置例と投影画像の例を示す三面図である。 キャリブレーション(幾何補正)の例を示す説明図である。 投影画像毎に輝度と色度がばらつく例を示す説明図である。 キャリブレーション(輝度補正)の例を示す説明図である。 従来のプロジェクタ装置毎の補正前後の輝度の例を示す説明図である。
符号の説明
1…プロジェクタ装置、2…スクリーン、3…投影画像、4…観測部、5…制御装置、6…拡大領域、6a…画素、7…色度計、10,70,80,90…画像投影システム、41…投影位置観測部、42…投影輝度観測部、51…ジオメトリ情報算出部、52…ジオメトリ情報保持部、53…輝度情報算出部、54…輝度情報保持部、55…画像データ保持部、56…画像データ読出部、57…ブロック分割部、58…目標輝度算出部、59…G目標輝度算出部、60…輝度補正係数算出部、61…輝度補正係数保持部、62…入力画素値算出部、63…信号供給部

Claims (16)

  1. 入力された画像信号に基づく画像を互いに所定量ずらして重ね合わせてスクリーンに投影する複数台のプロジェクタ装置と、
    前記スクリーンに投影された複数の投影画像からなる画像領域の輝度を観測する観測と、
    前記観測の観測結果に基づいて、前記プロジェクタ装置毎に投影する画像を構成する各画素の輝度値を調整した前記画像信号を、前記複数のプロジェクタ装置に供給する制御装置と、を含み、
    前記複数の投影画像からなる画像領域は、第1の投影画像と、前記第1の投影画像より高い解像度である第2の投影画像が重ね合わされて提示され、
    前記画像領域の所定の画素は、隣り合うn(nは、2以上の整数)台の前記プロジェクタ装置からの投影画像の対応する画素によって重ね合わされる画像投影システムであって、
    前記観測部は、
    前記スクリーン上の前記画像領域を構成する画素の投影位置を観測する投影位置観測部と、
    前記スクリーン上の画像領域の輝度を観測する輝度観測部と、を含み、
    前記制御装置は、
    前記投影位置観測部によって観測された前記画像領域の各画素の投影位置より、前記プロジェクタ装置毎に前記投影画像を構成する画素の位置を位置情報として算出する位置情報算出部と、
    前記輝度観測部によって観測された前記画像領域の輝度と前記位置情報より、前記スクリーン上の前記画像領域の各画素の輝度を輝度情報として算出する輝度情報算出部と、
    入力された前記第1の投影画像の画像信号に基づく画像を、所定の領域に分割するブロック分割部と、
    前記位置情報に基づいて、前記ブロック分割部によって分割された前記画像領域のうち、最小値の輝度を、最小値輝度情報として算出する最小値輝度算出部と、
    前記位置情報に基づいて、前記ブロック分割部によって分割された前記画像領域の輝度と前記最小値輝度情報に基づく輝度の差を、差分値輝度情報として算出する差分値輝度算出部と、
    前記画像領域の前記最小値輝度情報と前記差分値輝度情報に対する各プロジェクタ装置の投影画像の輝度の配分を輝度補正係数として決定する輝度補正係数算出部と、
    前記輝度補正係数算出部によって算出された前記輝度補正係数と前記最小値輝度情報と前記差分値輝度情報とに基づき各プロジェクタ装置の投影画像の目標投影輝度を決定し、決定した目標投影輝度、前記位置情報および前記最小値輝度情報と前記差分値輝度情報に基づいて、前記プロジェクタ装置毎に投影する画像の各画素の画素値を算出する画素値算出部と、
    前記画素値算出部によって算出された画素値に基づいて画像信号を生成し、前記画像信号を各プロジェクタ装置に供給する信号供給部と、を含む
    画像投影システム。
  2. 請求項に記載の画像投影システムにおいて、
    前記プロジェクタ装置は、
    前記スクリーンの対応する領域に投影する画像のうち、所定の領域と、他の領域とで、画像の拡大率が異なる画像拡大部と、を含む
    画像投影システム。
  3. 請求項に記載の画像投影システムにおいて、
    前記制御装置は、
    前記プロジェクタ装置は、m台であって、前記m台のプロジェクタ装置のうち、k台(kは1以上の整数)のプロジェクタ装置に前記差分値輝度情報に基づいて決定された画像信号を供給し、前記k台のプロジェクタ装置とは異なる(m−k)台のプロジェクタ装置に、前記最小値輝度情報に基づいて決定された画像信号を供給する
    画像投影システム。
  4. 請求項に記載の画像投影システムにおいて、
    前記スクリーン上の画像領域の任意の画素について、当該画素に投影する前記プロジェクタ装置毎の画像の輝度の配分を、前記輝度補正係数に基づいて変更する
    画像投影システム。
  5. 入力された画像信号に基づく画像を互いに所定量ずらして重ね合わせてスクリーンに投影する複数台のプロジェクタ装置と、
    前記スクリーンに投影された複数の投影画像からなる画像領域の輝度を観測する観測部と、
    前記観測部の観測結果に基づいて、前記プロジェクタ装置毎に投影する画像を構成する各画素の輝度値を調整した前記画像信号を、前記複数のプロジェクタ装置に供給する制御装置と、を含み、
    前記複数の投影画像からなる画像領域は、第1の投影画像と、前記第1の投影画像より高い解像度である第2の投影画像が重ね合わされて提示され、
    前記画像領域の所定の画素は、隣り合うn(nは、2以上の整数)台の前記プロジェクタ装置からの投影画像の対応する画素によって重ね合わされる画像投影システムであって、
    前記観測部は、
    前記スクリーン上の前記画像領域を構成する画素の投影位置を観測する投影位置観測部と、
    前記スクリーン上の画像領域の輝度を観測する輝度観測部と、を含み、
    前記制御装置は、
    前記投影位置観測部によって観測された前記画像領域の各画素の投影位置より、前記プロジェクタ装置毎に前記投影画像を構成する画素の位置を位置情報として算出する位置情報算出部と、
    前記輝度観測部によって観測された前記画像領域の輝度と前記位置情報より、前記スクリーン上の前記画像領域の各画素の輝度を輝度情報として算出する輝度情報算出部と、
    R画像とG画像とB画像とで構成される入力された前記第1の投影画像の画像信号に基づく画像を、所定の領域に分割するブロック分割部と、
    前記位置情報に基づいて、前記ブロック分割部によって分割された前記画像領域のうち、前記R画像とB画像の輝度をRB輝度情報として算出するRB輝度算出部と、
    前記位置情報に基づいて、前記ブロック分割部によって分割された前記画像領域のうち、前記G画像の輝度をG輝度情報として算出するG輝度算出部と、
    前記画像領域の前記RB輝度情報と前記G輝度情報に対する各プロジェクタ装置の投影画像の輝度の配分を輝度補正係数として決定する輝度補正係数算出部と、
    前記輝度補正係数算出部によって算出された前記輝度補正係数と前記RB輝度情報と前記G輝度情報とに基づき各プロジェクタ装置の投影画像の目標投影輝度を決定し、決定した目標投影輝度、前記位置情報および前記輝度情報に基づいて、前記プロジェクタ装置毎に投影する画像の各画素の画素値を算出する画素値算出部と、
    前記画素値算出部によって算出された画素値に基づいて画像信号を生成し、前記画像信号を各プロジェクタ装置に供給する信号供給部と、を含む
    画像投影システム。
  6. 請求項に記載の画像投影システムにおいて、
    前記RB輝度情報に基づいて決定された画像信号は、前記入力された画像信号に基づく画像の周波数帯域より下げてある
    画像投影システム。
  7. 請求項に記載の画像投影システムにおいて、
    前記制御装置は、
    前記プロジェクタ装置は、m台であって、前記m台のプロジェクタ装置のうち、k台(kは1以上の整数)のプロジェクタ装置に前記RB輝度情報に基づいて決定された画像信号を供給し、前記k台のプロジェクタ装置とは異なる(m−k)台のプロジェクタ装置に、前記G輝度情報に基づいて決定された画像信号を供給する
    画像投影システム。
  8. 請求項に記載の画像投影システムにおいて、
    前記プロジェクタ装置は、
    前記スクリーンに投影する画像から分離した前記R画像及び画像を拡大投射する拡大光学部と、を含む
    画像投影システム。
  9. 複数台のプロジェクタ装置によって、入力された画像信号に基づく画像を互いに所定量ずらして重ね合わせ、スクリーンに投影された複数の投影画像からなる画像領域の輝度を観測する観測部であって、前記スクリーン上の前記画像領域を構成する画素の投影位置を観測する投影位置観測部と、前記スクリーン上の画像領域の輝度を観測する輝度観測部と、を含む前記観測部の観測結果に基づいて、前記プロジェクタ装置毎に投影する画像を構成する各画素の輝度値を調整した前記画像信号を、前記複数のプロジェクタ装置に供給し、
    前記複数の投影画像からなる画像領域を、第1の投影画像と、前記第1の投影画像より高い解像度である第2の投影画像を重ね合わせて提示し、
    前記画像領域の所定の画素は、隣り合うn(nは、2以上の整数)台の前記プロジェクタ装置からの投影画像の対応する画素によって重ね合わせる制御装置であって、
    前記投影位置観測部によって観測された前記画像領域の各画素の投影位置より、前記プロジェクタ装置毎に前記投影画像を構成する画素の位置を位置情報として算出する位置情報算出部と、
    前記輝度観測部によって観測された前記画像領域の輝度と前記位置情報より、前記スクリーン上の前記画像領域の各画素の輝度を輝度情報として算出する輝度情報算出部と、
    入力された前記第1の投影画像の画像信号に基づく画像を、所定の領域に分割するブロック分割部と、
    前記位置情報に基づいて、前記ブロック分割部によって分割された前記画像領域のうち、最小値の輝度を、最小値輝度情報として算出する最小値輝度算出部と、
    前記位置情報に基づいて、前記ブロック分割部によって分割された前記画像領域の輝度と前記最小値輝度情報に基づく輝度の差を、差分値輝度情報として算出する差分値輝度算出部と、
    前記画像領域の前記最小値輝度情報と前記差分値輝度情報に対する各プロジェクタ装置の投影画像の輝度の配分を輝度補正係数として決定する輝度補正係数算出部と、
    前記輝度補正係数算出部によって算出された前記輝度補正係数と前記最小値輝度情報と前記差分値輝度情報とに基づき各プロジェクタ装置の投影画像の目標投影輝度を決定し、決定した目標投影輝度、前記位置情報および前記最小値輝度情報と前記差分値輝度情報に基づいて、前記プロジェクタ装置毎に投影する画像の各画素の画素値を算出する画素値算出部と、
    前記画素値算出部によって算出された画素値に基づいて画像信号を生成し、前記画像信号を各プロジェクタ装置に供給する信号供給部と、を含む
    制御装置。
  10. 複数台のプロジェクタ装置によって、入力された画像信号に基づく画像を互いに所定量ずらして重ね合わせ、スクリーンに投影し、
    前記スクリーンに投影され、第1の投影画像と、前記第1の投影画像より高い解像度である第2の投影画像を重ね合わせて提示された複数の投影画像からなる画像領域を構成する画素であって、前記画像領域の所定の画素は、隣り合うn(nは、2以上の整数)台の前記プロジェクタ装置からの投影画像の対応する画素によって重ね合わせてある前記画像領域の輝度を観測し、
    観測された前記画像領域の各画素の投影位置より、前記プロジェクタ装置毎に前記投影画像を構成する画素の位置を位置情報として算出し、
    観測された前記画像領域の輝度と前記位置情報より、前記スクリーン上の前記画像領域の各画素の輝度を輝度情報として算出し、
    入力された前記第1の投影画像の画像信号に基づく画像を、所定の領域に分割し、
    前記位置情報に基づいて、分割された前記画像領域のうち、最小値の輝度を、最小値輝度情報として算出し、
    前記位置情報に基づいて、分割された前記画像領域の輝度と前記最小値輝度情報に基づく輝度の差を、差分値輝度情報として算出し、
    前記画像領域の前記最小値輝度情報と前記差分値輝度情報に対する各プロジェクタ装置の投影画像の輝度の配分を輝度補正係数として決定し、
    算出された前記輝度補正係数と前記最小値輝度情報と前記差分値輝度情報とに基づき各プロジェクタ装置の投影画像の目標投影輝度を決定し、
    決定した目標投影輝度、前記位置情報および前記最小値輝度情報と前記差分値輝度情報に基づいて、前記プロジェクタ装置毎に投影する画像の各画素の画素値を算出し、
    算出された画素値に基づいて画像信号を生成し、前記画像信号を各プロジェクタ装置に供給する
    画像投影方法。
  11. 複数台のプロジェクタ装置によって、入力された画像信号に基づく画像を互いに所定量ずらして重ね合わせ、スクリーンに投影する処理と、
    前記スクリーンに投影され、第1の投影画像と、前記第1の投影画像より高い解像度である第2の投影画像を重ね合わせて提示された複数の投影画像からなる画像領域を構成する画素であって、前記画像領域の所定の画素は、隣り合うn(nは、2以上の整数)台の前記プロジェクタ装置からの投影画像の対応する画素によって重ね合わせてある前記画像領域の輝度を観測する処理と、
    観測された前記画像領域の各画素の投影位置より、前記プロジェクタ装置毎に前記投影画像を構成する画素の位置を位置情報として算出する処理と、
    観測された前記画像領域の輝度と前記位置情報より、前記スクリーン上の前記画像領域の各画素の輝度を輝度情報として算出する処理と、
    入力された前記第1の投影画像の画像信号に基づく画像を、所定の領域に分割し、
    前記位置情報に基づいて、分割された前記画像領域のうち、最小値の輝度を、最小値輝度情報として算出する処理と、
    前記位置情報に基づいて、分割された前記画像領域の輝度と前記最小値輝度情報に基づく輝度の差を、差分値輝度情報として算出する処理と、
    前記画像領域の前記最小値輝度情報と前記差分値輝度情報に対する各プロジェクタ装置の投影画像の輝度の配分を輝度補正係数として決定する処理と、
    算出された前記輝度補正係数と前記最小値輝度情報と前記差分値輝度情報とに基づき各プロジェクタ装置の投影画像の目標投影輝度を決定する処理と、
    決定した目標投影輝度、前記位置情報および前記最小値輝度情報と前記差分値輝度情報に基づいて、前記プロジェクタ装置毎に投影する画像の各画素の画素値を算出する処理と、
    算出された画素値に基づいて画像信号を生成し、前記画像信号を各プロジェクタ装置に供給する処理と、を
    コンピュータに実行させるプログラム。
  12. 請求項1に記載のプログラムを格納した
    記録媒体。
  13. 複数台のプロジェクタ装置によって、入力された画像信号に基づく画像を互いに所定量ずらして重ね合わせ、スクリーンに投影された複数の投影画像からなる画像領域の輝度を観測する観測部であって、前記スクリーン上の前記画像領域を構成する画素の投影位置を観測する投影位置観測部と、前記スクリーン上の画像領域の輝度を観測する輝度観測部と、を含む前記観測部の観測結果に基づいて、前記プロジェクタ装置毎に投影する画像を構成する各画素の輝度値を調整した前記画像信号を、前記複数のプロジェクタ装置に供給し、
    前記複数の投影画像からなる画像領域を、第1の投影画像と、前記第1の投影画像より高い解像度である第2の投影画像を重ね合わせて提示し、
    前記画像領域の所定の画素は、隣り合うn(nは、2以上の整数)台の前記プロジェクタ装置からの投影画像の対応する画素によって重ね合わせる制御装置であって、
    前記投影位置観測部によって観測された前記画像領域の各画素の投影位置より、前記プロジェクタ装置毎に前記投影画像を構成する画素の位置を位置情報として算出する位置情報算出部と、
    前記輝度観測部によって観測された前記画像領域の輝度と前記位置情報より、前記スクリーン上の前記画像領域の各画素の輝度を輝度情報として算出する輝度情報算出部と、
    R画像とG画像とB画像とで構成される入力された前記第1の投影画像の画像信号に基づく画像を、所定の領域に分割するブロック分割部と、
    前記位置情報に基づいて、前記ブロック分割部によって分割された前記画像領域のうち、前記R画像とB画像の輝度をRB輝度情報として算出するRB輝度算出部と、
    前記位置情報に基づいて、前記ブロック分割部によって分割された前記画像領域のうち、前記G画像の輝度をG輝度情報として算出するG輝度算出部と、
    前記画像領域の前記RB輝度情報と前記G輝度情報に対する各プロジェクタ装置の投影画像の輝度の配分を輝度補正係数として決定する輝度補正係数算出部と、
    前記輝度補正係数算出部によって算出された前記輝度補正係数と前記RB輝度情報と前記G輝度情報とに基づき各プロジェクタ装置の投影画像の目標投影輝度を決定し、決定した目標投影輝度、前記位置情報および前記輝度情報に基づいて、前記プロジェクタ装置毎に投影する画像の各画素の画素値を算出する画素値算出部と、
    前記画素値算出部によって算出された画素値に基づいて画像信号を生成し、前記画像信号を各プロジェクタ装置に供給する信号供給部と、を含む
    制御装置。
  14. 複数台のプロジェクタ装置によって、入力された画像信号に基づく画像を互いに所定量ずらして重ね合わせ、スクリーンに投影し、
    前記スクリーンに投影され、第1の投影画像と、前記第1の投影画像より高い解像度である第2の投影画像を重ね合わせて提示された複数の投影画像からなる画像領域を構成する画素であって、前記画像領域の所定の画素は、隣り合うn(nは、2以上の整数)台の前記プロジェクタ装置からの投影画像の対応する画素によって重ね合わせてある前記画像領域の輝度を観測し、
    観測された前記画像領域の各画素の投影位置より、前記プロジェクタ装置毎に前記投影画像を構成する画素の位置を位置情報として算出し、
    観測された前記画像領域の輝度と前記位置情報より、前記スクリーン上の前記画像領域の各画素の輝度を輝度情報として算出し、
    R画像とG画像とB画像とで構成される入力された前記第1の投影画像の画像信号に基づく画像を、所定の領域に分割し、
    前記位置情報に基づいて、分割された前記画像領域のうち、前記R画像とB画像の輝度をRB輝度情報として算出し、
    前記位置情報に基づいて、分割された前記画像領域のうち、前記G画像の輝度をG輝度情報として算出し、
    前記画像領域の前記RB輝度情報と前記G輝度情報に対する各プロジェクタ装置の投影画像の輝度の配分を輝度補正係数として決定し、
    算出された前記輝度補正係数と前記RB輝度情報と前記G輝度情報とに基づき各プロジェクタ装置の投影画像の目標投影輝度を決定し、
    決定した目標投影輝度、前記位置情報および前記輝度情報に基づいて、前記プロジェクタ装置毎に投影する画像の各画素の画素値を算出し、
    算出された画素値に基づいて画像信号を生成し、前記画像信号を各プロジェクタ装置に供給する
    画像投影方法。
  15. 複数台のプロジェクタ装置によって、入力された画像信号に基づく画像を互いに所定量ずらして重ね合わせ、スクリーンに投影する手順、
    前記スクリーンに投影され、第1の投影画像と、前記第1の投影画像より高い解像度である第2の投影画像を重ね合わせて提示された複数の投影画像からなる画像領域を構成する画素であって、前記画像領域の所定の画素は、隣り合うn(nは、2以上の整数)台の前記プロジェクタ装置からの投影画像の対応する画素によって重ね合わせてある前記画像領域の輝度を観測する手順、
    観測された前記画像領域の各画素の投影位置より、前記プロジェクタ装置毎に前記投影画像を構成する画素の位置を位置情報として算出する手順、
    観測された前記画像領域の輝度と前記位置情報より、前記スクリーン上の前記画像領域の各画素の輝度を輝度情報として算出する手順、
    R画像とG画像とB画像とで構成される入力された前記第1の投影画像の画像信号に基づく画像を、所定の領域に分割する手順、
    前記位置情報に基づいて、分割された前記画像領域のうち、前記R画像とB画像の輝度をRB輝度情報として算出する手順、
    前記位置情報に基づいて、分割された前記画像領域のうち、前記G画像の輝度をG輝度情報として算出する手順、
    前記画像領域の前記RB輝度情報と前記G輝度情報に対する各プロジェクタ装置の投影画像の輝度の配分を輝度補正係数として決定する手順、
    算出された前記輝度補正係数と前記RB輝度情報と前記G輝度情報とに基づき各プロジェクタ装置の投影画像の目標投影輝度を決定する手順、
    決定した目標投影輝度、前記位置情報および前記輝度情報に基づいて、前記プロジェクタ装置毎に投影する画像の各画素の画素値を算出する手順、
    算出された画素値に基づいて画像信号を生成し、前記画像信号を各プロジェクタ装置に供給する手順とを
    コンピュータに実行させるプログラム。
  16. 請求項15に記載のプログラムを格納した
    記録媒体。
JP2008045215A 2008-02-26 2008-02-26 画像投影システム、制御装置、画像投影方法、プログラム及び記録媒体 Expired - Fee Related JP5217497B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008045215A JP5217497B2 (ja) 2008-02-26 2008-02-26 画像投影システム、制御装置、画像投影方法、プログラム及び記録媒体
US12/380,167 US8267523B2 (en) 2008-02-26 2009-02-24 Image projecting system, method, computer program and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008045215A JP5217497B2 (ja) 2008-02-26 2008-02-26 画像投影システム、制御装置、画像投影方法、プログラム及び記録媒体

Publications (3)

Publication Number Publication Date
JP2009206665A JP2009206665A (ja) 2009-09-10
JP2009206665A5 JP2009206665A5 (ja) 2011-01-20
JP5217497B2 true JP5217497B2 (ja) 2013-06-19

Family

ID=40997963

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008045215A Expired - Fee Related JP5217497B2 (ja) 2008-02-26 2008-02-26 画像投影システム、制御装置、画像投影方法、プログラム及び記録媒体

Country Status (2)

Country Link
US (1) US8267523B2 (ja)
JP (1) JP5217497B2 (ja)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2436182B1 (en) * 2009-05-29 2019-07-24 Hewlett-Packard Development Company, L.P. Multi-projector system, multi-projector method and program therefor
RU2562757C2 (ru) * 2010-04-18 2015-09-10 АЙМАКС Юроп СА Двойное наложенное проецирование
JP5477185B2 (ja) * 2010-06-17 2014-04-23 セイコーエプソン株式会社 マルチプロジェクションシステム、プロジェクター、及び、画像投射制御方法
JP2013536601A (ja) * 2010-06-21 2013-09-19 アイマックス コーポレイション 二重スタック投影
JPWO2012073649A1 (ja) 2010-11-30 2014-05-19 日本電気株式会社 マルチプロジェクションディスプレイシステム及びその輝度調整方法
GB2486275B (en) * 2010-12-10 2013-10-09 Global Immersion Ltd Optical mask
JP2012255884A (ja) * 2011-06-08 2012-12-27 Konica Minolta Advanced Layers Inc 映像投影システム
WO2013024430A1 (en) 2011-08-16 2013-02-21 Imax Corporation Hybrid image decomposition and projection
JP5779071B2 (ja) * 2011-10-12 2015-09-16 日本電信電話株式会社 多重投影輝度調整方法、多重投影輝度調整装置、コンピュータプログラム及び記録媒体
US10326968B2 (en) 2011-10-20 2019-06-18 Imax Corporation Invisible or low perceptibility of image alignment in dual projection systems
US9503711B2 (en) 2011-10-20 2016-11-22 Imax Corporation Reducing angular spread in digital image projection
US9298071B2 (en) * 2012-07-12 2016-03-29 Cj Cgv Co., Ltd. Multi-projection system
US9134594B2 (en) 2012-07-12 2015-09-15 Cj Cgv Co., Ltd Projection device management system
KR101305249B1 (ko) * 2012-07-12 2013-09-06 씨제이씨지브이 주식회사 다면 상영 시스템
KR102170182B1 (ko) * 2014-04-17 2020-10-26 한국전자통신연구원 패턴 프로젝션을 이용한 왜곡 보정 및 정렬 시스템, 이를 이용한 방법
US9588408B1 (en) 2014-05-15 2017-03-07 Autofuss Methods and systems for projecting a target portion of an image at a higher resolution
CN106154867B (zh) * 2015-03-25 2019-11-08 上海分众软件技术有限公司 一种协同控制方法及系统以及多面投影显示系统
CN106527024B (zh) * 2016-12-16 2019-01-18 广东威创视讯科技股份有限公司 一种边缘融合无缝拼接显示系统及菲涅尔透镜及通过短焦投影机模拟长焦投影机的方法
JP2020098273A (ja) * 2018-12-18 2020-06-25 ソニーセミコンダクタソリューションズ株式会社 画像表示装置
JPWO2020137174A1 (ja) 2018-12-28 2021-11-18 株式会社Jvcケンウッド プロジェクタシステム
WO2020195220A1 (ja) * 2019-03-27 2020-10-01 富士フイルム株式会社 画像処理装置、投影システム、画像処理方法、及び画像処理プログラム
JP7223837B2 (ja) * 2019-03-29 2023-02-16 富士フイルム株式会社 画像処理装置、投影システム、画像処理方法、及び画像処理プログラム
TWI737138B (zh) * 2020-01-22 2021-08-21 明基電通股份有限公司 投影機推薦方法及投影機推薦系統
JP7103387B2 (ja) * 2020-06-16 2022-07-20 セイコーエプソン株式会社 画像投射システムの調整要否判定方法、画像投射システム、及び画像投射制御装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3650614A (en) * 1968-12-12 1972-03-21 Ricoh Kk Projector
US4734756A (en) * 1981-12-31 1988-03-29 3-D Video Corporation Stereoscopic television system
JPH08322060A (ja) * 1995-05-26 1996-12-03 Victor Co Of Japan Ltd ビデオプロジェクタ
US6310650B1 (en) * 1998-09-23 2001-10-30 Honeywell International Inc. Method and apparatus for calibrating a tiled display
JP3706264B2 (ja) * 1998-12-21 2005-10-12 日本放送協会 投射型マルチ画面ディスプレイ装置
JP2001238152A (ja) * 2000-02-25 2001-08-31 Hitachi Ltd マルチプロジェクション映像表示装置
US7088353B2 (en) * 2002-07-10 2006-08-08 Fuji Photo Film Co., Ltd. Display device
US7090358B2 (en) * 2004-03-04 2006-08-15 International Business Machines Corporation System, apparatus and method of displaying information for foveal vision and peripheral vision
JP3960325B2 (ja) * 2004-08-11 2007-08-15 セイコーエプソン株式会社 ディスプレイ装置およびディスプレイ装置における画像情報生成方法
JP4904678B2 (ja) * 2004-09-24 2012-03-28 株式会社ニコン プロジェクタシステム、携帯電話、カメラ
JP4583863B2 (ja) 2004-10-06 2010-11-17 Necディスプレイソリューションズ株式会社 画像表示システム
JP2007251294A (ja) 2006-03-14 2007-09-27 Seiko Epson Corp 投写表示システムおよび投写表示方法
JP4961852B2 (ja) * 2006-06-19 2012-06-27 セイコーエプソン株式会社 マルチプロジェクションシステム、画像表示方法及びプロジェクタ

Also Published As

Publication number Publication date
US8267523B2 (en) 2012-09-18
JP2009206665A (ja) 2009-09-10
US20090213337A1 (en) 2009-08-27

Similar Documents

Publication Publication Date Title
JP5217497B2 (ja) 画像投影システム、制御装置、画像投影方法、プログラム及び記録媒体
US11930304B2 (en) System and method for providing improved display quality by display adjustment and image processing using optical feedback
JP5217496B2 (ja) 画像投影システム、制御装置、画像投影方法、プログラム及び記録媒体
TWI485695B (zh) 影像修正資料產生系統、影像修正資料產生方法、影像修正資料產生程式及影像修正電路
JP4114683B2 (ja) 投写画像の位置調整方法
JP6037375B2 (ja) 画像投影装置および画像処理方法
EP1061500A2 (en) Color correction in image display
JP2017083672A (ja) 画像投射システム、プロジェクター、及び、画像投射システムの制御方法
JP2007043274A (ja) 投写画像の位置調整方法
JP2001054131A (ja) カラー画像表示システム
KR20160031966A (ko) 멀티 프로젝션 시스템 및 이의 프로젝터 보정 방법
JP5590668B2 (ja) プロジェクタ装置、映像信号補正装置、映像信号補正方法及びプログラム
JP2005020581A (ja) 画像表示装置における補正データ取得方法およびキャリブレーションシステム
US11069038B2 (en) Information processing apparatus, information processing method, and image display apparatus
US7813578B2 (en) Method and apparatus for unobtrusively correcting projected image
JP2017228947A (ja) 画像処理装置および画像処理方法
JP3911456B2 (ja) マルチプロジェクションシステム及びマルチプロジェクションシステムにおける補正データ取得方法
JP6140987B2 (ja) 画像処理装置および画像処理方法
JP5362753B2 (ja) 画質調整装置及び画像補正データ生成プログラム
JP2012120126A (ja) 画像処理装置、画像処理方法
JP2008311898A (ja) マルチプロジェクションシステム
WO2023203984A1 (ja) 情報処理システム、調整方法、およびプログラム
WO2023203985A1 (ja) 情報処理システム、調整方法、およびプログラム
JP2020191586A (ja) 投影装置
JP6866915B2 (ja) 画像投射システム、及び画像投射システムの制御方法

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101130

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101130

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120809

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120828

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121017

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130218

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160315

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160315

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees