JP5691290B2 - 表示システムの設定方法、表示システムの設定装置、およびコンピューター読み取り可能な記憶媒体 - Google Patents

表示システムの設定方法、表示システムの設定装置、およびコンピューター読み取り可能な記憶媒体 Download PDF

Info

Publication number
JP5691290B2
JP5691290B2 JP2010182818A JP2010182818A JP5691290B2 JP 5691290 B2 JP5691290 B2 JP 5691290B2 JP 2010182818 A JP2010182818 A JP 2010182818A JP 2010182818 A JP2010182818 A JP 2010182818A JP 5691290 B2 JP5691290 B2 JP 5691290B2
Authority
JP
Japan
Prior art keywords
image
projector
virtual display
display space
assigned
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010182818A
Other languages
English (en)
Other versions
JP2011050053A (ja
Inventor
スティーブ　ネルソン
ネルソン スティーブ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Publication of JP2011050053A publication Critical patent/JP2011050053A/ja
Application granted granted Critical
Publication of JP5691290B2 publication Critical patent/JP5691290B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Projection Apparatus (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Description

本開示は一般的にプロジェクターに基づく表示システムに関する。より具体的に、本開
示はプロジェクターに基づく表示システム向けのプロジェクターの位置決めに関する。
より良い画質でより多くの情報を見たいという希望が高まる中、大画面ディスプレイが
人気を博している。画面解像度が向上し、サイズが増大した画面は絶え間なく台頭し、テ
レビ、コンピューターモニター、および他のビデオ装置において利用されている。最近ま
で、大画面ディスプレイは通常高価過ぎ、物理的に扱いにくく、または単に入手できなか
った。ビデオプロジェクターは1つの解決法を供し、かなり大きい表示面積を比較的安価
に提供することにより広範囲のコミュニケーションおよび娯楽機能を可能にした。これら
の装置はプレゼンテーション用として会議室に、ホームシアターとして、教室における訓
練用、および広告掲示板のディスプレイとして用途を見出している。
他のビデオ技術と同様に、ビデオプロジェクターはその表示可能なピクセル解像度およ
び光出力を向上させている。現在汎用プロジェクターは以前に比べより明るく、より良い
画質を提供し、しばしばより安価である。携帯性の高いプロジェクター（重量とサイズ双
方において）も簡単に手に入るようになっている。汎用プロジェクターはもはや入念に準
備された表示面を有する薄暗い部屋に制約されない。従ってビデオプロジェクターの投影
出力に対する物理的に小型なサイズは魅力的である。
しかしこれらの改良をもってしても、単独の一般的なプロジェクターが非常に高い解像
度を達成し、非常に広い面積にわたり投影し、または非常に明るい表面領域（例えば日の
当たる窓のそば）で明るい投影を作り出すのはまだ難しいか不可能である。しかしこのよ
うな表示特性はますます望ましくなっている。解像度の向上、明るさ、およびより大きい
表示面の面積はより多くの聴衆に向けられ、全面的な実物大の没入型環境を提供するのに
有用であることが示されている。あいにく、このような大型ディスプレイの構築は複雑で
高価である。
複数のプロジェクターをまとめその投影出力をタイル化し任意の望まれるサイズの大画
面表示を生み出すなどの1つの一般的な手法は位置決め（つまり、プロジェクターピクセ
ルの位置合わせ）に関し難題を呈する。別々の装置にわたり、また特定装置内でも、色お
よび明度の変動は補正が難しい。表示面の些細な形状または幾何学的不整合も満足できる
結果を妨げ得る。プロジェクターのルーメン、または光出力、はより明るい場所では不充
分かもしれない。より大型表示に形成される個々の成分へのコンテンツの同期化はさらに
解決しなければならない障害である。これらの問題のいくつかは単独プロジェクター表示
にも当てはまる（例えば特許文献１参照。）。
米国特許出願公開第２００７／００９１２７７号明細書
これらのシステム問題の解決は色々な形を取る。多くはプロジェクター配置の物理的な
調節を必要とする手動の方法を用いた精密なピクセルおよび色の位置合わせが必要である
。1つのプロジェクターからの出力ピクセルが別のプロジェクターからのピクセルに充分
に近くない場合、合成表示において投影間に可視的な隙間が生じるかもしれない。同様に
、複数のプロジェクターにわたり重なり合ったピクセルは同じく好ましくない明るい継ぎ
目を形成する。特殊レンズ光学またはエッジ融合／ぼかしフィルターを有する高性能プロ
ジェクターを使えばこれらの問題を削減できるかもしれないが、最適には程遠い。
特殊プロジェクターおよび実装ハードウェア、測定ツール、および飽き飽きするような
較正方法は物理的なプロジェクター位置合わせのリソースコストおよび複雑さに拍車をか
けるさらなる条件であり、平均的なユーザーにとっては厳し過ぎるかもしれない。高度な
技術や時間的条件は殆どの者がそこまで努力はしないものである。多くの構成において、
限定された光学経路のプロジェクターを使用し、またはわずかな表示面の凹凸でも物理的
な位置合わせは不可能かもしれない。切れたランプを置き換えるための交換が必要になる
と、較正方法はしばしば繰り返さなければならない。
高レベルの周囲光が存在する中でも1つ以上の汎用プロジェクターから合成表示を作成
する自動的な方法を標準的なユーザーに提供できる簡単な較正および再生メカニズムを提
供するシステムが必要である。この方法は気軽なプロジェクター配置または変更後1回実
施される比較的迅速な一時的な較正機能を提供すべきである。
本発明の一態様の表示システムの設定方法は、グレーコードを用いて生成した第1画像を受信するステップであって、前記第1画像は複数の実質的に平行な第1縞を含み、前記第1画像は仮想表示空間に割り当てられるものであり、前記仮想表示空間は第1の複数の第1ピクセル位置を有しているステップと、プロジェクターから面上に前記第１画像を投影するステップであって、前記プロジェクターは第2の複数の第2ピクセル位置を有するプロジェクター空間により規定されるステップと、前記面に投影された前記第1画像の第2画像を取り込むステップであって、前記第2画像は前記仮想表示空間に割り当てられるものであるステップと、前記第2画像に基づき前記第1縞のエッジを検出するステップと、前記第1縞のエッジに基づき第2縞を生成するステップと、前記第2縞に基づき前記第2の複数の第2ピクセル位置の各々と前記第1の複数の第1ピクセル位置のうちの1つ以上との間の対応を判定するステップと、を有し、前記面にかかる周囲光の第4画像を取り込むステップであって、前記第4画像は前記仮想表示空間に割り当てられるものであるステップと、ラスター画像を受信するステップであって、前記ラスター画像は複数の実質的に平行な線を含むとともに、前記ラスター画像は前記仮想表示空間に割り当てられるものであるステップと、前記ラスター画像を前記プロジェクターから前記面に投影するステップと、前記面に投影された前記ラスター画像の第5画像を取り込むステップであって、前記第5画像は前記仮想表示空間に割り当てられるものであるステップと、前記第4画像、および前記第5画像に基づき前記対応を判定するステップと、をさらに有することを特徴とする。
また、上記の本発明に係る表示システムの設定方法は、第1画像を受信するステップであって、前記第1画像は複数の実質的に平行な第1縞を含み、前記第1画像は仮想表示空間に適合し、前記仮想表示空間は第1の複数の第1ピクセル位置を有しているステップと、
プロジェクターから面上に前記第１画像を投影するステップであって、前記プロジェクターは第2の複数の第2ピクセル位置を有するプロジェクター空間により規定されるステップと、
前記面に投影された前記第1画像の第2画像を取り込むステップであって、前記第2画像は前記仮想表示空間に適合するステップと、
前記第2画像に基づき前記第1縞のエッジを検出するステップと、
前記第1縞のエッジに基づき第2縞を生成するステップと、
前記第2縞に基づき各前記第2ピクセル位置と前記第1ピクセル位置の1つ以上との間の対応を判定するステップとを有することを特徴とする。

また、本発明の表示システムの設定方法において、前記判定された対応に基づき、前記
プロジェクターから第3画像を前記面に投影するステップであって、前記第3画像は前記仮
想表示空間に適合するステップをさらに有することを特徴とする。
また、本発明の表示システムの設定方法において、1つ以上のグレーコードに基づき前
記第2縞を生成するステップをさらに有することを特徴とする。
また、本発明の表示システムの設定方法において、前記面にかかる周囲光の第4画像を
取り込むステップであって、前記第4画像は前記仮想表示空間に適合するステップと、
ラスター画像を受信するステップであって、前記ラスター画像は複数の実質的に平行な
線を含むとともに、前記ラスター画像は前記仮想表示空間に適合するステップと、
前記ラスター画像を前記プロジェクターから前記面に投影するステップと、
前記面に投影された前記ラスター画像の第5画像を取り込むステップであって、前記第5
画像は前記仮想表示空間に適合するステップと、
前記第2縞、前記第4画像、および前記第5画像に基づき前記対応を判定するステップと
をさらに有することを特徴とする。
また、本発明の表示システムの設定方法において、前記第4画像の色チャンネルに基づ
き第1グレースケール画像を生成するステップと、
前記第5画像の色チャンネルに基づき第2グレースケール画像を生成するステップと、
前記第1グレースケール画像を前記第2グレースケール画像から引き差分画像を生成する
ステップと、
前記第2縞と前記差分画像に基づき前記対応を判定するステップとをさらに有すること
を特徴とする。
また、本発明の表示システムの設定方法において、前記差分画像における線を強化して
強化差分画像を生成するステップと、
前記第2縞と前記強化差分画像に基づき前記対応を判定するステップとをさらに有する
ことを特徴とする。
また、本発明の表示システムの設定方法において、前記第4および第5画像はRGB画像で
あり、前記色チャンネルは緑であることを特徴とする。
本発明の一態様の表示システムの設定装置は、グレーコードを用いて生成した第1画像を受信する入力モジュールであって、前記第1画像は複数の実質的に平行な第1縞を含み、前記第1画像は仮想表示空間に割り当てられるものであり、前記仮想表示空間は第1の複数の第1ピクセル位置を有する入力モジュールと、前記第1画像を面に投影するプロジェクターであって、前記プロジェクターは第2の複数の第2ピクセル位置を有するプロジェクター空間により規定されるプロジェクターと、前記面に投影された前記第1画像の第2画像を取り込むカメラであって、前記第2画像は前記仮想表示空間に割り当てられるものであるカメラと、前記第2画像に基づき第1縞のエッジを検出するエッジモジュールと、前記第1縞のエッジに基づき第2縞を生成する縞モジュールと、前記第2縞に基づき前記第2の複数の第2ピクセル位置の各々と前記第1の複数の第1ピクセル位置のうちの1つ以上との間の対応を判定する対応モジュールと、を有し、前記カメラは前記面にかかる周囲光の第4画像を取り込み、前記第4画像は前記仮想表示空間に割り当てられるものであり、前記入力モジュールはラスター画像を受信し、前記ラスター画像は複数の実質的に平行な線を含むとともに、前記ラスター画像は仮想表示空間に割り当てられるものであり、前記プロジェクターは前記ラスター画像を前記プロジェクターから前記面に投影し、前記カメラは前記面に投影された前記ラスター画像の第5画像を取り込み、前記第5画像は前記仮想表示空間に割り当てられるものであり、前記対応モジュールは、前記第4画像、および前記第5画像に基づき前記対応を判定することを特徴とする。
また、上記の本発明に係る表示システムの設定装置は、第1画像を受信する入力モジュールであって、前記第1画像は複数の実質的に平行な第1縞を含み、前記第1画像は仮想表示空間に適合し、前記仮想表示空間は第1の複数の第1ピクセル位置を有する入力モジュールと、
前記第1画像を面に投影するプロジェクターであって、前記プロジェクターは第2の複数の第2ピクセル位置を有するプロジェクター空間により規定されるプロジェクターと、
前記面に投影された第1画像の第2画像を取り込むカメラであって、前記第2画像は前記仮想表示空間に適合するカメラと、
前記第2画像に基づき第1縞のエッジを検出するエッジモジュールと、
前記第1縞のエッジに基づき第2縞を生成する縞モジュールと、
前記第2縞に基づき各前記第2ピクセル位置と前記第1ピクセル位置の1つ以上との間の対応を判定する対応モジュールとを有する表示システムの設定装置。

また、本発明の表示システムの設定装置において、前記プロジェクターは前記判定され
た対応に基づき前記プロジェクターから第3画像を前記面に投影し、前記第3画像は前記仮
想表示空間に適合することを特徴とする。
また、本発明の表示システムの設定装置において、前記縞モジュールは1つ以上のグレ
ーコードに基づき前記第2縞を生成することを特徴とする。
また、本発明の表示システムの設定装置において、前記カメラは前記面にかかる周囲光
の第4画像を取り込み、前記第4画像は前記仮想表示空間に適合し、
前記入力モジュールはラスター画像を受信し、前記ラスター画像は複数の実質的に平行
な線を含むとともに、前記ラスター画像は仮想表示空間に適合し、
前記プロジェクターは前記ラスター画像を前記プロジェクターから前記面に投影し、
前記カメラは前記面に投影された前記ラスター画像の第5画像を取り込み、前記第5画像
は前記仮想表示空間に適合し、
前記対応モジュールは前記第2縞、前記第4画像、および前記第5画像に基づき前記対応
を判定することを特徴とする。
また、本発明の表示システムの設定装置において、さらに、前記第4画像の色チャンネ
ルに基づき第1グレースケール画像を生成し、前記第5画像の色チャンネルに基づき第2グ
レースケール画像を生成するグレースケールモジュールと、
前記第1グレースケール画像を前記第2グレースケール画像から引くことによって差分画
像を生成する差分モジュールとを有し、
前記対応モジュールは前記第2縞と前記差分画像に基づき前記対応を判定することを特
徴とする。
また、本発明の表示システムの設定装置において、前記差分画像に基づき強化差分画像
を生成する強化モジュールをさらに有し、
前記対応モジュールは前記第2縞および前記強化差分画像に基づき前記対応を判定する
ことを特徴とする。
また、本発明の表示システムの設定装置において、前記第4および第5画像はRGB画像で
あり、前記色チャンネルは緑であることを特徴とする。
本発明の一態様のコンピュータ読み取り可能な記憶媒体は、コンピューターにより実行可能な命令を具現する有形のコンピューター読み取り可能な記憶媒体であって、グレーコードを用いて生成した第1画像を受信するステップであって、前記第1画像は複数の実質的に平行な第1縞を含み、前記第1画像は仮想表示空間に割り当てられるものであり、前記仮想表示空間は第1の複数の第1ピクセル位置を有しているステップと、プロジェクターから面上に前記第１画像を投影するステップであって、前記プロジェクターは第2の複数の第2ピクセル位置を有するプロジェクター空間により規定されるステップと、前記面に投影された前記第1画像の第2画像を取り込むステップであって、前記第2画像は前記仮想表示空間に割り当てられるものであるステップと、前記第2画像に基づき前記第1縞のエッジを検出するステップと、前記第1縞のエッジに基づき第2縞を生成するステップと、前記第2縞に基づき前記第2の複数の第2ピクセル位置の各々と前記第1の複数の第1ピクセル位置のうちの1つ以上との間の対応を判定するステップと、を含み、前記面にかかる周囲光の第4画像を取り込むステップであって、前記第4画像は前記仮想表示空間に割り当てられるステップと、前記プロジェクターから前記面に投影されたラスター画像の第5画像を受信するステップであって、前記ラスター画像は複数の実質的に平行な線を含み、前記ラスター画像は前記仮想表示空間に割り当てられるものであり、前記第5画像は前記仮想表示空間に割り当てられるものであるステップと、前記第4画像、および前記第5画像に基づき前記対応を判定するステップと、をさらに含む方法を実施させることを特徴とする。
上記の本発明に係るコンピューター読み取り可能な記憶媒体は、コンピューターにより実行可能な命令を具現する有形のコンピューター読み取り可能な記憶媒体であって、
第1画像を受信するステップであって、前記第1画像は複数の実質的に平行な第1縞を含み、前記第1画像は仮想表示空間に適合し、前記仮想表示空間は第1の複数の第1ピクセル位置を有しているステップと、
プロジェクターから面上に前記第１画像を投影するステップであって、前記プロジェクターは第2の複数の第2ピクセル位置を有するプロジェクター空間により規定されるステップと、
前記面に投影された前記第1画像の第2画像を取り込むステップであって、前記第2画像は前記仮想表示空間に適合するステップと、
前記第2画像に基づき前記第1縞のエッジを検出するステップと、
前記第1縞のエッジに基づき第2縞を生成するステップと、
前記第2縞に基づき各前記第2ピクセル位置と前記第1ピクセル位置の1つ以上との間の対応を判定するステップとを含む方法を実施することを特徴とする。
また、本発明のコンピューター読み取り可能な記憶媒体において、前記プロジェクター
は前記対応に基づき第3画像を前記表面に投影し、前記第3画像は前記仮想表示空間に適合
することを特徴とする。
また、本発明のコンピューター読み取り可能な記憶媒体において、前記方法はさらに、
1つ以上のグレーコードに基づき第2縞を生成するステップをさらに有することを特徴とす
る。
また、本発明のコンピューター読み取り可能な記憶媒体において、前記方法はさらに、
前記面にかかる周囲光の第4画像を取り込むステップであって、前記第4画像は前記仮想
表示空間に適合するステップと、
前記プロジェクターから前記面に投影された前記ラスター画像の第5画像を受信するス
テップであって、前記ラスター画像は複数の実質的に平行な線を含み、前記ラスター画像
は前記仮想表示空間に適合し、前記第5画像は前記仮想表示空間に適合するステップと、
前記第2縞、前記第4画像、および前記第5画像に基づき前記対応を判定するステップと
をさらに有することを特徴とする。
また、本発明のコンピューター読み取り可能な記憶媒体において、前記方法はさらに、
前記第4画像の色チャンネルに基づき第1グレースケール画像を生成するステップと、
前記第5画像の色チャンネルに基づき第2グレースケール画像を生成するステップと、
前記第1グレースケール画像を前記第2グレースケール画像から引くことによって差分画
像を生成するステップと、
前記第2縞と前記差分画像とに基づき前記対応を判定するステップとを有することを特
徴とする。
また、本発明のコンピューター読み取り可能な記憶媒体において、前記方法はさらに、
前記差分画像における線を強化することによって強化差分画像を生成するステップと、
前記第2縞および前記強化差分画像に基づき前記対応を判定するステップとを有するこ
とを特徴とする。
また、本発明のコンピューター読み取り可能な記憶媒体において、前記第4および第5画
像はRGB画像であり、前記色チャンネルは緑であることを特徴とする。
いくつかの実施形態によるマルチプロジェクター表示システムを示す図である。 いくつかの実施形態によりプロジェクターの位置決めをするための図1におけるプロジェクタープラットフォームの要素を示す図である。 いくつかの実施形態により縞模様較正画像を用いてプロジェクターの位置決めをするための図2におけるプロジェクタープラットフォームのプロセスを示す図である。 いくつかの実施形態により縞模様較正画像を用いてプロジェクターの位置決めをするための図2におけるプロジェクタープラットフォームのプロセスを示す図である。 縞が垂直方向にあるグレーコード符号化された縞模様取り込み較正画像のシーケンス例を示す。 縞が垂直方向にあるグレーコード符号化された縞模様取り込み較正画像のシーケンス例を示す。 縞が垂直方向にあるグレーコード符号化された縞模様取り込み較正画像のシーケンス例を示す。 縞が垂直方向にあるグレーコード符号化された縞模様取り込み較正画像のシーケンス例を示す。 縞が垂直方向にあるグレーコード符号化された縞模様取り込み較正画像のシーケンス例を示す。 縞が垂直方向にあるグレーコード符号化された縞模様取り込み較正画像のシーケンス例を示す。 縞が垂直方向にあるグレーコード符号化された縞模様取り込み較正画像のシーケンス例を示す。 縞が垂直方向にあるグレーコード符号化された縞模様取り込み較正画像のシーケンス例を示す。 縞模様較正画像の差分画像を示す図である。 縞模様較正画像の差分画像を示す図である。 図13の差分画像における縞の左エッジを表す線を含む画像を示す図である。 図13の差分画像における縞の左エッジを表す線を含む画像を示す図である。 線強化の前の、エッジを表す線を示す図である。 図16における線に対する線強化の結果を示す図である。 強化された線に基づき縞を再現するコードの例を示す図である。 強化された線に基づき縞を再現するコードの例を示す図である。 プロジェクター領域マスクでマスクされた、強化された取り込み較正画像を示す図である。 図19の拡大図である。 いくつかの実施形態により、ラスター較正画像を用いてプロジェクターの位置決めをする、図2のプロジェクタープラットフォームのプロセスを示す図である。 いくつかの実施形態により、ラスター較正画像を用いてプロジェクターの位置決めをする、図2のプロジェクタープラットフォームのプロセスを示す図である。 16のシーケンスにおいて、線が垂直方向の取り込みラスター較正画像の例を示す図である。 ラスター較正画像の拡大図である。 単一の閾値がどのように図23の画像に影響するかを示す図である。 初期処理の前の差分画像を示す図である。 初期処理の後の差分画像を示す図である。 図26における1つの線の拡大図である。 LineOffsetオブジェクトのデータメンバーを示す図である。 LineTrackingDataオブジェクトのデータメンバーを示す図である。 処理ループを実施するコードの例を示す図である。 ラスター画像処理で得られる画像の例を示す図である。 図30の画像の拡大図である。
本明細書に用いられる各参照番号の先頭桁は参照番号が最初に現れる図面の番号を示す
。
本発明はプロジェクター表示システムのカメラに基づく位置決めに関する。位置決めの
際、1つ以上のプロジェクターが表示面に較正画像を投影する。カメラが投影された各較
正画像の1つ以上の画像を取り込む。プロジェクタープラットフォームが各プロジェクタ
ーに対しカメラのピクセル位置とプロジェクターのピクセル位置とのマッピングを作成す
る。位置決め後、マッピングは投影の前に画像を歪めるために用いられる。位置決めおよ
び歪め手法は単一プロジェクターシステムとともにマルチプロジェクターシステムにも使
用できる。
位置決めプロセスはマッピングを作成するために2つの手法の内1つまたは双方を用いる
ことができる。最初の手法によると、グレーコードを用いて生成できる縞模様の較正画像
を用いて各プロジェクターに対し粗マッピングが作成される。この手法は約16ピクセル内
へのマッピングを確立できる。2番目の手法によると、ラスター較正画像が用いられる。
双方の手法が用いられると、カメラのピクセル位置とプロジェクターのピクセル位置との
間に正確なマッピングを作成できる。マッピングは台形ひずみなどの歪みの補正、複数の
プロジェクターの位置合わせ、等々に用いることができる。
図1はいくつかの実施形態によるマルチプロジェクター表示システム100を示す。システ
ム100は表示面104に照準を当てた4台のプロジェクター102A―102Dを含む。もちろん別の
数のプロジェクター102を用いることができる。例えば、単一のプロジェクター102を用い
ることができる。プロジェクタープラットフォームによりデータがプロジェクター102に
提供され、前者はソース入力をメディアプレーヤー108、コンピューター110、インターネ
ットなどのネットワーク112により接続されたソース、等々から取得することがえきる。
較正用にシステム100はデジタルスチールカメラ114を含む。
一実施形態において、システム100は4台のプロジェクター102を含み、プロジェクター
プラットフォーム106は中央演算装置（CPU）および各々プロジェクター102の1台に接続さ
れる4つのビデオ出力を提供する図形処理装置（GPU）で構成されるパソコン（PC）として
実施される。オプションの取り込みカードはコンピューター110、メディアプレーヤー108
、等々などのソースからビデオ入力を提供する。デジタルスチールカメラ114は較正プロ
セス用にPCに取り付けられる。他の実施形態において、較正プロセスにビデオカメラを用
いることができる。較正後、デジタルスチールカメラ114は取り除くこともでき、または
プロジェクタープラットフォーム106によりメディア入力装置として使用されることがで
きる。
プロジェクター102A―102Dは表示面104に各々成分投影120A―120Dを形成する。成分投
影120A―120Dは合わせて1つの合成投影122を形成する。成分投影120は領域124A―124Cに
おいて重なり合うことに留意されたい。
図2はいくつかの実施形態によりプロジェクター102の位置決めをするための図1のプロ
ジェクタープラットフォーム106の要素を示す。本明細書で提供される開示および教示に
基づき関連技術の当業者であれば明らかであろうが、説明される実施形態において装置の
要素は1つの配列で呈示されるものの、他の実施形態は他の配置を特色とし得る。例えば
、装置の要素はハードウェア、ソフトウェア、またはその組み合わせで実施することがで
きる。
図2を参照すると、プロジェクタープラットフォーム106はカメラ114から取り込み較正
画像204を受信するよう適応される入力モジュール202およびカメラ114のピクセル位置と
プロジェクター102のピクセル位置との間のマッピング208を生成するよう適応される対応
モジュール206を含む。プロジェクタープラットフォーム106はエッジ検出モジュール212
、縞モジュール214、グレースケールモジュール216、差分モジュール218、強化モジュー
ル220、およびエッジ充填モジュール222を含む画像処理モジュール210も含む。
図3.A―3.Bはいくつかの実施形態により、縞模様の較正画像を用いてプロジェクター10
2の位置決めをするための図2におけるプロジェクタープラットフォームのプロセス300を
示す。本明細書で提供される開示および教示に基づき関連技術の当業者であれば明らかで
あろうが、説明される実施形態においてプロセスの要素は1つの配列で呈示されるものの
、他の実施形態は他の配置を特色とし得る。例えば、さまざまな実施形態において、開示
されたプロセスの工程は異なる順序で、同時に、等々、実行することができる。プロセス
300の要素はマルチプロジェクターシステム100における各プロジェクター102に対し繰り
返すことができる。
図3.A―3.Bを参照すると、プロセス300は各々複数の実質的に平行な縞を含む縞模様の
較正画像を1つ以上生成することで始まる（工程302）。いくつかの実施形態において、縞
模様の較正画像はグレーコードの符号化を用いて生成される。縞模様の較正画像は縞が垂
直方向にある画像のシーケンスおよび縞が水平方向にある画像のシーケンスを含むことが
できる。次にカメラ114は表示面104に当たる周囲光の画像を取り込む（工程304）。周囲
の取り込みの際、面104に当たる周囲光のみが取り込まれるように、プロジェクター102か
らの光はすべて遮蔽される。
次に縞模様の較正画像の1つが受信される（工程306）。プロジェクター102は画像を表
示面104に投影する（工程308）。プロジェクター102は複数のピクセル位置を有してなる
プロジェクター空間により規定される。明確にするため、プロジェクター空間におけるピ
クセル位置は本明細書において「プロジェクターピクセル位置」または「プロジェクター
ピクセル」と呼ばれる。
カメラ114は投影された縞模様の較正画像を取り込む（工程310）。改良された実施形態
によると、縞模様の較正画像はRGB形式でカメラ114により取り込まれる。しかし、実施形
態はRGB形式という形で説明されるが、本開示を読んだ後明らかになるように、代わりに
他の形式を用いることもできる。
工程306―310は投影された縞模様の較正画像すべてが取り込まれるまで繰り返される（
工程312）。図4―11はグレーコードで符号化された、取り込まれた縞が垂直方向の8つの
縞模様の較正画像のシーケンスを示す。取り込まれた縞模様の較正画像204は検索用に画
像204が識別できるようなファイル名を付けて記憶される。
次にプロジェクタープラットフォーム106が縞模様の取り込み較正画像204を処理する。
入力モジュール202が縞模様の取り込み較正画像204の1つを受信する（工程314）。各取り
込み較正画像204は複数のピクセル位置を含む仮想表示空間に適合する。いくつかの実施
形態において、仮想表示空間はカメラ114のフレームで定義される。すなわち、仮想表示
空間はカメラ114のフレームと同じ解像度と寸法を有する。従って、明確にするために、
仮想表示空間におけるピクセル位置は本明細書において「カメラピクセル位置」または「
カメラピクセル」と呼ばれる。他の実施形態において、他の仮想表示空間を用いることが
できる。
いくつかの実施形態において、グレーコード画像は画像を青と緑の色チャンネルに分解
することにより処理される。次に青チャンネルを緑チャンネルから引き、図12に示すよう
に緑領域を白が表し青領域を黒が表すグレースケール画像が作成される。この方法の1つ
の問題は、カメラ114により取り込まれる緑および青チャンネルは純粋でないため、色チ
ャンネル間の分離は画像が引かれるとアーティファクトを残すことである。これらのアー
ティファクトは、図12に示されるように、特に緑／青のエッジ付近において位置決めの精
度にマイナスの影響を与える。この問題に対応するために、以下に説明するような改良実
施形態が開発された。
体験によりRGB形式の赤チャンネルが最も雑音が多く、続いて青チャンネル、その後に
緑チャンネルとなる。従って取り込まれた縞模様の較正画像204各々の処理は緑チャンネ
ルから始まる。もちろん、他の色チャンネルを代わりに使用することができる。グレース
ケールモジュール216は取り込まれた縞模様の較正画像204から緑チャンネルを選択し、そ
れにより「緑」グレースケール画像を作成する（工程316）。グレースケールモジュール2
16はさらに周囲光の取り込み画像から緑チャンネルを選択し、それにより「周囲」グレー
スケール画像を作成する（工程318）。差分モジュール218は次に周囲グレースケール画像
を緑グレースケール画像から引き、それにより差分画像を作成する（工程320）。<5の値
のピクセルを取り除くために差分画像に光閾値化を適用する。もたらされる差分画像の例
を図13に示す。
ファイル名付けの仕組みに基づき、画像処理モジュール210は差分画像における縞の方
向を判定することができる。垂直縞を有する差分画像の処理を説明する。水平縞を有する
差分画像も同様に処理される。
プロジェクタープラットフォーム106のエッジ検出モジュール212が差分画像における縞
のエッジを検出する（工程322）。垂直縞を処理する際、エッジ検出モジュール212はエッ
ジ検出フィルターを適用し、差分画像を左から右に横切って動く場合暗から明に移動する
勾配を用いて縞の左エッジを選択する。得られた画像は図14に示すように、図13の差分画
像における縞の左エッジを表す線を含む。同様の処理を適用し、図15に示すように図13の
差分画像における縞の右エッジを検出する。
エッジ検出の際作成された線は図16に示すように複数のピクセルにわたり、雑音を含む
。従って、強化モジュール220は線を強化する（工程324）。具体的に、強化モジュール22
0は左および右エッジを含む画像を処理単一ピクセル幅のみの線を得る。図17は図16の線
に対する線強化の結果を示す。図17における線の各側面にあるグレーの帯は強化モジュー
ル220で加えることができるが、必要ではない。
線強化の後、縞モジュール214は強化された線に基づき縞を再生する（工程326）。すな
わち、縞モジュール214は縞の左および右エッジを表す強化された線に基づき各縞再生す
る。この再生は縞の左および右エッジの2つの線強化画像を扱って２回のパスで達成され
、1つの強化取り込み較正画像を形成する。再生を実施するコードの例を図18.A―18.Bに
示す。図19は表示面104上の投影により占有されるプロジェクター102の仮想表示空間にお
ける領域を定義するプロジェクター領域マスクでマスクされた、強化取り込み較正画像例
を示す。図20は図19の拡大図で、上述の処理による望ましくないアーティファクトの除去
を示すために図12と比較することができる。
取り込まれた縞模様の較正画像のいくつかにおいて、緑領域はプロジェクター領域マス
クの左または右エッジと同一平面上にある。雑音および光パターンの多少の変動のため、
これらの画像のエッジ検出はプロジェクター領域マスクに正確に従わないかもしれない。
緑領域のエッジとマスクとの間に隙間がある場合、隙間におけるピクセルは無効なマッピ
ング座標を有することになり、プロジェクター画像の主体に散在ピクセルが現れる原因と
なる。この場合に対応するためにエッジ充填プロセスを用いることができる。次にプロジ
ェクタープラットフォーム106のエッジ充填モジュール222のエッジ充填プロセスの例を説
明する。
まず強化取り込み較正画像とプロジェクター領域マスクのエッジとの距離が測定される
。次に画像のエッジから強化取り込み較正画像の最初の充填縞のエッジまでの距離が測定
される。次に角を包み込んで広い距離を生み出すピクセルを考慮に入れてこれら距離の差
が計算される。次に平均距離が計算される。例えば、平均距離は差の合計をゼロを越える
差を有する線の数で割ったものとして計算することができる。この平均距離が3.0未満で
ある場合、エッジは同一面上にあり、充填する必要がある。充填工程は縞のエッジとプロ
ジェクター領域マスクのエッジとの間に白ピクセルを充填する。エッジ充填が完了すると
、画像はカメラからプロジェクター座標へのマッピング208を作成するために保存される
。
取り込まれた縞模様の較正画像すべてが処理されると（工程328）、座標マッピング208
を生成することができる。対応モジュール206は各プロジェクターピクセルと1つ以上のカ
メラピクセルとの対応を強化取り込み較正画像における縞に基づき判定することにより座
標マッピング208を生成する（工程330）。マッピング208は通常の手法に従い生成するこ
とができる。マッピング208は各座標軸について1つといった仮想表示空間に適合する2つ
の行列で記憶することができる。マッピング208は約16ピクセルに解像される。
一旦プロジェクター102に対しマッピング208が生成されると、マッピング208およびプ
ロジェクター102を用いて仮想表示空間に適合する静止画像およびビデオフレームなどの
画像を投影することができる。もちろん、任意の画像を、その画像を仮想表示空間にマッ
ピング208した後、用いることができる。プロジェクター102は対応に基づきこれらの画像
を表面104に投影する（工程332）。
次にラスター較正画像を用いてプロジェクター102の位置決めをするプロセスを説明す
る。このプロセスは縞模様の較正画像を用いてプロジェクター102の位置決めをするプロ
セス300に独立して、またはそれと併せて用いることができる。プロセス300と併せて用い
られる場合、ラスター画像較正プロセスはプロジェクターからカメラへのマッピング208
解像度を16ピクセルから1つのピクセルに移すことができる。
図21.A―21.Bはいくつかの実施形態により、図2におけるプロジェクタープラットフォ
ーム106についてラスター較正画像を用いてプロジェクター102の位置決めをするプロセス
2100を示す。本明細書で提供される開示および教示に基づき関連技術の当業者であれば明
らかであろうが、説明される実施形態においてプロセスの要素は1つの配列で呈示される
ものの、他の実施形態は他の配置を特色とし得る。例えば、さまざまな実施形態において
、開示されたプロセスの工程は異なる順序で、同時に、等々、実行することができる。プ
ロセス2100の要素は図1のマルチプロジェクターシステム100における各プロジェクター10
2に対し繰り返すことができる。
図21.―21.Bを参照すると、プロセス2100は各々複数の実質的に平行な線を含む1つ以上
のラスター較正画像を生成することで始まる（工程2102）。ラスター較正画像は線が垂直
方向にある画像のシーケンスおよび線が水平方向にある画像のシーケンスを含むことがで
きる。
次にカメラ114は表示面104に当たる周囲光の2つの画像を取り込む（工程2104）。場合
によって、単一ピクセルの白線は線の方向により変動し得る。較正プロセスの一環として
垂直および水平ラスター画像双方について正しいカメラ露出が決定される。これらの2つ
のカメラ露出設定を用い、2つの周囲画像が取り込まれる。周囲の取り込みの際、面104に
当たる周囲光のみが取り込まれるように、プロジェクター102からの光はすべて遮蔽され
る。
入力モジュール202はラスター較正画像の1つを受信する（工程2106）。プロジェクター
102は画像を表示面104上に投影する（工程2108）。カメラ114は投影されたラスター較正
画像を取り込む（工程2110）。改良された実施形態によると、ラスター較正画像はRGB形
式でカメラ114により取り込まれる。しかし、実施形態はRGB形式という形で説明されるが
、本開示を読んだ後明らかになるように、代わりに他の形式を用いることもできる。
工程2106―2110は投影されたラスター較正画像のすべてが取り込まれるまで繰り返され
る（工程2112）。図22は線が垂直方向の取り込みラスター較正画像の例を16のシーケンス
で示す。シーケンスの例において、線は16プロジェクター離れており、シーケンスの各画
像において、シーケンスの先行画像と比較して1プロジェクターピクセル分右にずらされ
ている。取り込みラスター較正画像204は検索用に画像204が識別できるようなファイル名
を付けて記憶される。
次にプロジェクタープラットフォーム106がラスター取り込み較正画像204を処理する。
入力モジュール202がラスター取り込み較正画像204の1つを受信する（工程2114）。各取
り込み較正画像204は複数のピクセル位置を含む仮想表示空間に適合する。いくつかの実
施形態において、仮想表示空間はカメラ114のフレームで定義される。すなわち、仮想表
示空間はカメラ114のフレームと同じ解像度と寸法を有する。従って、明確にするために
、仮想表示空間におけるピクセル位置は本明細書において「カメラピクセル位置」または
「カメラピクセル」と呼ばれる。他の実施形態において、他の仮想表示空間を用いること
ができる。
いくつかの実施形態において、閾値化の方法を用いて取り込みラスター画像を処理する
。しかし、閾値化はいくつかのアーティファクトを残し、線と背景との間で値の距離を最
大化するためには完全に暗い部屋で一番効果を発揮する。プロジェクターからカメラへの
マッピング208を精緻化するために、バイナリー画像を用いて各点を正確に配置する。図2
3は取り込みラスター較正画像204の拡大図である。プロジェクターにより投影された単一
のピクセル線は取り込まれる時複数ピクセルの線になることに留意されたい。取り込み画
像は一般的に投影画像より高い解像度を有する。従って複数のカメラピクセルが1つの投
影ピクセルにマップされる。他の実施形態において、投影画像の解像度は取り込み画像の
解像度と同じ、またはそれより高くても良い。
マップされるカメラピクセルの数を最小化することが望ましい。しかし、プロジェクタ
ーからの不規則な光レベルは通常投影の中央に明るく照明された部分を形成し、エッジは
はるかに暗くなる。この特色は1つの閾値がラスター画像の正確なバイナリー表示を作成
することを妨げる。図24は1つの閾値がどのように図23の画像に影響を与えるかを示し、
図24の左側の線は右側の線よりはるかに細く雑音が多い。これらのアーティファクトは位
置決めの精度にマイナスの影響を与える。この問題に対応するために、以下に説明するよ
うな改良実施形態が開発された。
体験によりRGB形式の赤チャンネルが最も雑音が多く、続いて青チャンネル、その後に
緑チャンネルとなる。従って各取り込みラスター較正画像204の処理は緑チャンネルから
始まる。もちろん、他の色チャンネルを代わりに使用することができる。グレースケール
モジュール216は取り込みラスター較正画像204から緑チャンネルを選択し、それにより「
緑」グレースケール画像を作成する（工程2116）。グレースケールモジュール216はさら
に対応する周囲光の取り込み画像から緑チャンネルを選択し、それにより「周囲」グレー
スケール画像を作成する（工程2118）。差分モジュール218は次に周囲グレースケール画
像を緑グレースケール画像から引き、それにより差分画像を作成する（工程2120）。
ファイル名付けの仕組みに基づき、画像処理モジュール210は差分画像における縞の方
向を判定することができる。垂直縞を有する差分画像の処理を説明する。水平縞を有する
差分画像も同様に処理される。
除算に続き、光閾値化が適用され値が<5のピクセルを取り除く。引き続き3×3のメディ
アンフィルターを用いて画像の平滑化がなされる。次に画像は垂直線を強化するためには
1×3の列構成部を用い、水平線を強化するためには1×3の行構成部によって2回拡張され
る。最後に別の光閾値化が適用され、画像処理工程から残余物を取り除く。図25と26は各
々これらの初期処理工程の前と後を示す。
しかし、初期処理後でも、図26における線の拡大図である図27に示すように、各線は幅
で多数のカメラピクセルに渡る。以下に説明するように、線のより正確な表示を作成する
ために線強化が適用される。
強化モジュール220は差分画像に基づく強化差分画像を生成する（工程2122）。すなわ
ち、強化モジュール220は取り込みラスター較正画像を処理して線の最も正確な単一ピク
セルの表示を見出す。線幅を単一ピクセルに削減するとプロジェクターからカメラへのマ
ッピング208の精度を高め、従ってこれらのマッピング208を用いる投影の画質を高める。
次にいくつかの実施形態による線強化プロセスを説明する。
線強化処理はまず画像の中央地点を横切る線列を識別する。中央の行にピクセルが欠け
ている場合に備え、中央の行、中央の行−1および中央の行＋1のピクセルの平均が取られ
る。このプロセス線を識別するLineOffsetオブジェクトのアレイを作り出す。LineOffset
オブジェクトのデータメンバーを図28に示す。
次に画像の角にのみ現れ中央地点を横切らない線の処理および検出を役立てるためにLi
neOffsetオブジェクトを用いて平均線間隔および線幅を見出す。LineOffsetオブジェクト
に記憶される情報で、各線に対するLineTrackingDataオブジェクトが作成される。LineTr
ackingDataオブジェクトは各行が処理される中で線の状態に関する情報を保持するのに用
いられる。LineTrackingDataオブジェクトのデータメンバーを図29に示す。
中央の行から始まり最上部の行（0オフセット）まで各行を処理するために処理ループ
が開始される。ラスター画像から1行のピクセルが読み取られ、LineTrackingDataアレイ
における各線が処理される。各線につき、最大強度値のオフセットがその前に処理された
線の限度内で見出される。2つの等しい強度値が見出された場合、前の行における同等の
オフセットと合致し得るオフセットが優先される。これはギザギザした線をもたらすよう
な各行の値をずらすことなく、一貫した線を保つのに役立つ。さらに、最大値は強度が所
定の割合内にあることを保証するために前の値と比較される。これは線のパスが例えば画
像のエッジ付近で次第に消えるのをプロセスが検出するのに役立つ。
一旦線の限度について最大強度ピクセルが見出されると、前のNサンプルについて平均
強度値が計算される。ここでも、雑音または歪みによる大きな変化を避けるために最大強
度ピクセルが平均の特定割合内にあるか、およびオフセットがLINE_STRAY定数の限度内に
あるかを調べるために確認が数回行なわれる。最大強度ピクセルが有効である場合、Line
TrackingDataオブジェクトは最大強度値オフセット引く平均線幅に等しい現在のオフセッ
トで更新される。これは処理される次の行における最大強度ピクセルの検索を始めるのに
用いられるオフセットである。出力画像は最大強度ピクセルについて計算された位置に25
5の単一ピクセルで書き込まれる。加えて129のピクセル値が最大強度位置のとなりの列に
書き込まれ、128の値のピクセルが右の列に書き込まれる。追加ピクセル（129および128
の値）はその後の処理において線間に小さな隙間があるかもしれないので用いられる。追
加ピクセルは他のいずれの線もその位置に255ピクセルを有しない場合マッピング情報を
提供する。
最大強度オフセットまたはその値のいずれかに問題が検出された場合、線追跡失敗回数
が更新される。連続3行を超えて問題がある場合、LineTrackingDataオブジェクトはもは
や追跡をしていないとしてマークを付けられる。その後の行において線は無視され追跡さ
れない。
画像の行についてすべての線が処理されると、画像の中央の行を横断しない追加の線が
見出されたか判定するための確認が行なわれる。画像の行のエッジに現れる新しいラスタ
ー線を検出するために、LineTrackingDataオブジェクトのアレイを検索して現在の線オフ
セットの最小および最大を見出す。続く部分ではバッファーの初めに新しい線がどのよう
に検出されるかを説明する。バッファーの終わりにおける検出も同様の手法に従う。
まず最小ピクセル強度値が計算される。次に現在の線を過ぎて移動するためにバッファ
ーを先頭の方向に横切る。次にバッファーオフセットポインターを前に計算された最小列
間隔分バッファーの先頭に移動させる。次にバッファーをその先頭方向に検索し計算され
た最小強度値を超える1つ以上の連続ピクセルを探す。このような1つ以上のピクセルが見
出された場合、新しいLineTrackingDataオブジェクトが作成され、オブジェクトは初期の
線検出の際見出されなかった線としてマークが付けられる。このオブジェクトはさらに他
のLineTrackingDataオブジェクトを保持するアレイに加えられ、他の線と同じように線処
理ループにおいて処理される。次に偽のピクセルを避けるためにバッファーオフセットポ
インターは最小列間隔分進められる。
画像の中央から最上部までのすべての線が処理されると、LineTrackingDataオブジェク
トは元の線のLineOffsetデータでリセットされる。次に画像の中央から画像の最下部まで
の線を処理するために処理ループが開始される。処理ループを実施するコード例を図30に
示す。
一旦画像におけるすべての線が処理されると、画像は保存される。図31はラスター画像
処理から得られた画像例を示す。図32は図31の画像の拡大図である。画像における各線は
129および128の値を有するピクセルで囲まれた255の単一ピクセルで表される。
すべての取り込みラスター較正画像が処理されると（工程2124）、座標マッピング208
を生成することができる。対応モジュール206は強化取り込みラスター較正画像における
線に基づき各プロジェクターピクセルと1つ以上のカメラピクセルとの間の対応を判定す
ることにより座標マッピング208を生成する（工程2126）。上述の処理はマッピング208が
通常の手法に従い生成されることを許す。上述の処理はマッピングが単一ピクセルに還元
されることを可能にする。
一旦プロジェクター102についてマッピング208が生成されると、そのマッピング208お
よびプロジェクター102を用いて仮想表示空間に適合する静止画像およびビデオフレーム
などの画像を投影することができる。もちろん、任意の画像もその画像を仮想表示空間に
マッピングすれば用いることができる。プロジェクター102は対応に基づきこれらの画像
を面104に投影する（工程2128）。
さまざまな実施形態は電子回路、またはコンピューターハードウェア、ファームウェア
、ソフトウェア、またはこれらの組み合わせとして実施することができる。装置は機械読
み取り可能な記憶装置に有形的に具現されるコンピュータープログラムとして実施され、
プログラマブルプロセッサーにより実行されることができる。
また方法工程は命令のプログラムを実行するプログラマブルプロセッサーが入力データ
を操作して出力を生成することにより実施することができる。実施形態はデータ記憶シス
テムからデータおよび命令を受信し、そこへデータおよび命令を伝送するよう連結される
少なくとも1つのプログラマブルプロセッサー、少なくとも1つの入力装置、および少なく
とも1つの出力装置を含むプログラマブルシステム上で実行可能な1つ以上のコンピュータ
ープログラムにおいて有利に実施することができる。
各コンピュータープログラムはハイレベルの手順型言語もしくはオブジェクト指向のプ
ログラミング言語、または望ましい場合アッセンブリもしくは機械言語において実施する
ことができる。
またいずれにせよ、言語はコンパイラー型またはインタープリター型言語であることが
できる。適するプロセッサーは例として汎用および特殊用途のマイクロプロセッサー双方
を含む。一般的に、プロセッサーは命令およびデータを読み取り専用メモリーおよび／ま
たはランダムアクセスメモリーから受信する。一般的にコンピューターはデータファイル
を記憶する1つ以上の大容量記憶装置を含む。
このような装置は内蔵されたハードディスクやリムーバブルディスクなど磁気ディスク
、光磁気ディスク、および光ディスクを含む。コンピュータープログラム命令およびデー
タを有形的に具現するのに適した記憶装置は例としてEPROM、EEPROM、およびフラッシュ
メモリー装置などの半導体メモリー装置、内蔵されたハードディスクおよびリムーバブル
ディスクなどの磁気ディスク、光磁気ディスク、およびCD−ROMディスクを含むあらゆる
形の不揮発性メモリーを含む。前述のいずれもASIC（特定用途向け集積回路）により補充
され、またはそれに組み込まれることができる。
いくつかの実施が説明された。しかし本開示の精神および範囲から逸脱することなく各
種の変更をなし得ることが理解されよう。従って、他の実施も続くクレームの範囲内にあ
る。
１０２ プロジェクター、１０６ プロジェクタープラットフォーム、１０８ メディ
アプレーヤー、１１０ コンピューター、１１２ ネットワーク、１１４ デジタルスチ
ールカメラ、１２０ 成分投影、１２４ 領域。

Claims (18)

  1. グレーコードを用いて生成した第1画像を受信するステップであって、前記第1画像は複数の実質的に平行な第1縞を含み、前記第1画像は仮想表示空間に割り当てられるものであり、前記仮想表示空間は第1の複数の第1ピクセル位置を有しているステップと、
    プロジェクターから面上に前記第１画像を投影するステップであって、前記プロジェクターは第2の複数の第2ピクセル位置を有するプロジェクター空間により規定されるステップと、
    前記面に投影された前記第1画像の第2画像を取り込むステップであって、前記第2画像は前記仮想表示空間に割り当てられるものであるステップと、
    前記第2画像に基づき前記第1縞のエッジを検出するステップと、
    前記第1縞のエッジに基づき第2縞を生成するステップと、
    前記第2縞に基づき前記第2の複数の第2ピクセル位置の各々と前記第1の複数の第1ピクセル位置のうちの1つ以上との間の対応を判定するステップと、
    を有し、
    前記面にかかる周囲光の第4画像を取り込むステップであって、前記第4画像は前記仮想表示空間に割り当てられるものであるステップと、
    ラスター画像を受信するステップであって、前記ラスター画像は複数の実質的に平行な線を含むとともに、前記ラスター画像は前記仮想表示空間に割り当てられるものであるステップと、
    前記ラスター画像を前記プロジェクターから前記面に投影するステップと、
    前記面に投影された前記ラスター画像の第5画像を取り込むステップであって、前記第5画像は前記仮想表示空間に割り当てられるものであるステップと、
    前記第4画像、および前記第5画像に基づき前記対応を判定するステップと、
    をさらに有する表示システムの設定方法。
  2. 前記判定された対応に基づき、前記プロジェクターから第3画像を前記面に投影するステップであって、前記第3画像は前記仮想表示空間に割り当てられるものであるステップをさらに有する請求項１に記載の表示システムの設定方法。
  3. 1つ以上の前記グレーコードに基づき前記第2縞を生成するステップをさらに有する請求項１または２に記載の表示システムの設定方法。
  4. 前記第4画像の色チャンネルに基づき第1グレースケール画像を生成するステップと、
    前記第5画像の色チャンネルに基づき第2グレースケール画像を生成するステップと、
    前記第1グレースケール画像を前記第2グレースケール画像から引き差分画像を生成するステップと、
    前記差分画像に基づき前記対応を判定するステップと、
    をさらに有する請求項１乃至３のいずれかに記載の表示システムの設定方法。
  5. 前記差分画像における前記エッジの線幅を小さくして強化差分画像を生成するステップと、
    前記強化差分画像に基づき前記対応を判定するステップと、
    をさらに有する請求項４に記載の表示システムの設定方法。
  6. 前記第4画像および前記第5画像はRGB画像であり、前記色チャンネルは緑である請求項４または５に記載の表示システムの設定方法。
  7. グレーコードを用いて生成した第1画像を受信する入力モジュールであって、前記第1画像は複数の実質的に平行な第1縞を含み、前記第1画像は仮想表示空間に割り当てられるものであり、前記仮想表示空間は第1の複数の第1ピクセル位置を有する入力モジュールと、
    前記第1画像を面に投影するプロジェクターであって、前記プロジェクターは第2の複数の第2ピクセル位置を有するプロジェクター空間により規定されるプロジェクターと、
    前記面に投影された前記第1画像の第2画像を取り込むカメラであって、前記第2画像は前記仮想表示空間に割り当てられるものであるカメラと、
    前記第2画像に基づき第1縞のエッジを検出するエッジモジュールと、
    前記第1縞のエッジに基づき第2縞を生成する縞モジュールと、
    前記第2縞に基づき前記第2の複数の第2ピクセル位置の各々と前記第1の複数の第1ピクセル位置のうちの1つ以上との間の対応を判定する対応モジュールと、
    を有し、
    前記カメラは前記面にかかる周囲光の第4画像を取り込み、前記第4画像は前記仮想表示空間に割り当てられるものであり、
    前記入力モジュールはラスター画像を受信し、前記ラスター画像は複数の実質的に平行な線を含むとともに、前記ラスター画像は仮想表示空間に割り当てられるものであり、
    前記プロジェクターは前記ラスター画像を前記プロジェクターから前記面に投影し、
    前記カメラは前記面に投影された前記ラスター画像の第5画像を取り込み、前記第5画像は前記仮想表示空間に割り当てられるものであり、
    前記対応モジュールは、前記第4画像、および前記第5画像に基づき前記対応を判定する表示システムの設定装置。
  8. 前記プロジェクターは前記判定された対応に基づき前記プロジェクターから第3画像を前記面に投影し、前記第3画像は前記仮想表示空間に割り当てられるものである請求項７に記載の表示システムの設定装置。
  9. 前記縞モジュールは1つ以上の前記グレーコードに基づき前記第2縞を生成する請求項７または８に記載の表示システムの設定装置。
  10. 前記表示システムの設定装置はさらに、
    前記第4画像の色チャンネルに基づき第1グレースケール画像を生成し、前記第5画像の色チャンネルに基づき第2グレースケール画像を生成するグレースケールモジュールと、
    前記第1グレースケール画像を前記第2グレースケール画像から引くことによって差分画像を生成する差分モジュールと、
    を有し、
    前記対応モジュールは、前記差分画像に基づき前記対応を判定する請求項７乃至９のいずれかに記載の表示システムの設定装置。
  11. 前記差分画像における前記エッジの線幅を小さくして強化差分画像を生成する強化モジュールをさらに有し、
    前記対応モジュールは、前記強化差分画像に基づき前記対応を判定する請求項１０に記載の表示システムの設定装置。
  12. 前記第4画像および前記第5画像はRGB画像であり、前記色チャンネルは緑である請求項１０に記載の表示システムの設定装置。
  13. コンピューターにより実行可能な命令を具現する有形のコンピューター読み取り可能な記憶媒体であって、
    グレーコードを用いて生成した第1画像を受信するステップであって、前記第1画像は複数の実質的に平行な第1縞を含み、前記第1画像は仮想表示空間に割り当てられるものであり、前記仮想表示空間は第1の複数の第1ピクセル位置を有しているステップと、
    プロジェクターから面上に前記第１画像を投影するステップであって、前記プロジェクターは第2の複数の第2ピクセル位置を有するプロジェクター空間により規定されるステップと、
    前記面に投影された前記第1画像の第2画像を取り込むステップであって、前記第2画像は前記仮想表示空間に割り当てられるものであるステップと、
    前記第2画像に基づき前記第1縞のエッジを検出するステップと、
    前記第1縞のエッジに基づき第2縞を生成するステップと、
    前記第2縞に基づき前記第2の複数の第2ピクセル位置の各々と前記第1の複数の第1ピクセル位置のうちの1つ以上との間の対応を判定するステップと、
    を含み、
    前記面にかかる周囲光の第4画像を取り込むステップであって、前記第4画像は前記仮想表示空間に割り当てられるステップと、
    前記プロジェクターから前記面に投影されたラスター画像の第5画像を受信するステップであって、前記ラスター画像は複数の実質的に平行な線を含み、前記ラスター画像は前記仮想表示空間に割り当てられるものであり、前記第5画像は前記仮想表示空間に割り当てられるものであるステップと、
    前記第4画像、および前記第5画像に基づき前記対応を判定するステップと、
    をさらに含む方法を実施させるコンピューター読み取り可能な記憶媒体。
  14. 前記プロジェクターは前記対応に基づき第3画像を前記表面に投影し、前記第3画像は前記仮想表示空間に割り当てられるものである請求項１３に記載のコンピューター読み取り可能な記憶媒体。
  15. 前記方法はさらに、1つ以上の前記グレーコードに基づき第2縞を生成するステップをさらに有する請求項１３または１４に記載のコンピューター読み取り可能な記憶媒体。
  16. 前記方法はさらに、
    前記第4画像の色チャンネルに基づき第1グレースケール画像を生成するステップと、
    前記第5画像の色チャンネルに基づき第2グレースケール画像を生成するステップと、
    前記第1グレースケール画像を前記第2グレースケール画像から引くことによって差分画像を生成するステップと、
    前記差分画像に基づき前記対応を判定するステップとを有する請求項１３乃至１５のいずれかに記載のコンピューター読み取り可能な記憶媒体。
  17. 前記方法はさらに、
    前記差分画像における前記エッジの線幅を小さくすることによって強化差分画像を生成するステップと、
    前記強化差分画像に基づき前記対応を判定するステップと、
    を有する請求項１６に記載のコンピューター読み取り可能な記憶媒体。
  18. 前記第4および第5画像はRGB画像であり、前記色チャンネルは緑である請求項１６及び１７に記載のコンピューター読み取り可能な記憶媒体。
JP2010182818A 2009-08-27 2010-08-18 表示システムの設定方法、表示システムの設定装置、およびコンピューター読み取り可能な記憶媒体 Expired - Fee Related JP5691290B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/549,011 2009-08-27
US12/549,011 US8201950B2 (en) 2009-08-27 2009-08-27 Camera-based registration for projector display systems

Publications (2)

Publication Number Publication Date
JP2011050053A JP2011050053A (ja) 2011-03-10
JP5691290B2 true JP5691290B2 (ja) 2015-04-01

Family

ID=43624449

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010182818A Expired - Fee Related JP5691290B2 (ja) 2009-08-27 2010-08-18 表示システムの設定方法、表示システムの設定装置、およびコンピューター読み取り可能な記憶媒体

Country Status (2)

Country Link
US (1) US8201950B2 (ja)
JP (1) JP5691290B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8262229B2 (en) * 2010-03-22 2012-09-11 Seiko Epson Corporation Multi-projector display system calibration
US9035969B2 (en) * 2012-11-29 2015-05-19 Seiko Epson Corporation Method for multiple projector display using a GPU frame buffer
KR20150072090A (ko) * 2013-12-19 2015-06-29 삼성전자주식회사 관심 영역 검출 장치 및 그 방법
JP7190701B2 (ja) * 2019-03-27 2022-12-16 パナソニックＩｐマネジメント株式会社 投写画像調整システム及び方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6733138B2 (en) * 2001-08-15 2004-05-11 Mitsubishi Electric Research Laboratories, Inc. Multi-projector mosaic with automatic registration
JP2004015205A (ja) * 2002-06-04 2004-01-15 Olympus Corp マルチプロジェクションシステム及びマルチプロジェクションシステムにおける補正データ取得方法
US7146036B2 (en) * 2003-02-03 2006-12-05 Hewlett-Packard Development Company, L.P. Multiframe correspondence estimation
JP3871061B2 (ja) * 2003-03-25 2007-01-24 セイコーエプソン株式会社 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
TWI249959B (en) * 2003-05-16 2006-02-21 Seiko Epson Corp Image processing system, projector, information memorizing medium and image processing method
US7001023B2 (en) * 2003-08-06 2006-02-21 Mitsubishi Electric Research Laboratories, Inc. Method and system for calibrating projectors to arbitrarily shaped surfaces with discrete optical sensors mounted at the surfaces
JP2006121231A (ja) * 2004-10-19 2006-05-11 Olympus Corp プロジェクタ
US20070091277A1 (en) * 2005-10-26 2007-04-26 Niranjan Damera-Venkata Luminance based multiple projector system
JP2007295375A (ja) * 2006-04-26 2007-11-08 Nippon Telegr & Teleph Corp <Ntt> 投影映像補正装置及び投影映像補正プログラム
US20080007700A1 (en) * 2006-07-10 2008-01-10 Vanbaar Jeroen Method and system for aligning an array of rear-projectors
JP2008172667A (ja) * 2007-01-15 2008-07-24 Tamron Co Ltd 撮像装置
US8042954B2 (en) * 2007-01-24 2011-10-25 Seiko Epson Corporation Mosaicing of view projections
US8994757B2 (en) * 2007-03-15 2015-03-31 Scalable Display Technologies, Inc. System and method for providing improved display quality by display adjustment and image processing using optical feedback

Also Published As

Publication number Publication date
US20110051094A1 (en) 2011-03-03
US8201950B2 (en) 2012-06-19
JP2011050053A (ja) 2011-03-10

Similar Documents

Publication Publication Date Title
US8262229B2 (en) Multi-projector display system calibration
JP4424314B2 (ja) 書画撮影装置、書画静止検出方法及びプログラム
CN104702928B (zh) 修正图像交叠区的方法、记录介质以及执行装置
US20140176730A1 (en) Projection-type image display device, image projection method, and computer program
US8400468B2 (en) Projector masks for calibrating projector-based display systems
JP5907580B2 (ja) 投写型表示装置および記録画像生成方法
EP1861748A1 (en) Method of and apparatus for automatically adjusting alignement of a projector with respect to a projection screen
JP2007531094A (ja) カメラ写真から得られる画像から原データを抽出する方法
KR20150024191A (ko) 영상 중첩 영역의 보정 방법, 기록 매체 및 실행 장치
JP2011082798A (ja) 投写型映像表示装置
JP6766662B2 (ja) 画像処理装置、画像投影装置、および画像処理方法
JP5691290B2 (ja) 表示システムの設定方法、表示システムの設定装置、およびコンピューター読み取り可能な記憶媒体
JP2019220887A (ja) 画像処理装置、画像処理方法およびプログラム
JP4661576B2 (ja) 投写画像の位置調整方法
JP2008076445A (ja) 投影型表示装置、投影型表示方法、該方法を実行させるプログラム及び該プログラムを格納したコンピュータ読み取り可能な記録媒体
JP5585117B2 (ja) マルチディスプレイシステム、マルチディスプレイ調整方法およびプログラム
JP6295635B2 (ja) 画像投影装置、画像投影システムおよび画像投影方法
JP4795314B2 (ja) フリッカ補正装置及びフリッカ補正方法
JP4661651B2 (ja) 投写画像の位置調整方法
JP7074171B2 (ja) 画像処理装置、画像投影装置、および画像処理方法
CN118158367A (zh) 一种投影设备及投影画面入幕方法
KR101564974B1 (ko) 영상 중첩 영역의 보정 방법, 기록 매체 및 실행 장치
Zietlow et al. Advanced luminance control and black offset correction for multi-projector display systems
JP2019075688A (ja) 画像投影装置及びその制御方法並びにプログラム
JP2010026202A (ja) 画像補正装置、画像補正方法、プロジェクタおよびプロジェクションシステム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130801

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140529

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140617

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140811

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150106

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150119

R150 Certificate of patent or registration of utility model

Ref document number: 5691290

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees