JP3761563B2 - 投影システムの投影画像自動調整方法およびプロジェクタ - Google Patents

Description

本発明は、一般的には画像プロジェクタに関し、より詳細には、投影された画像を変更することに関する。

ポータブルデジタル画像プロジェクタは一般的なものである。かかるデジタル画像プロジェクタはパソコンまたはその他の画像／ビデオソースに接続されたまま、ある面に置かれ、「スライド」プレゼンテーションまたはビデオプレゼンテーションを見せるために投影面に向けられる。これらプロジェクタの多くは透過または反射液晶の表示装置を使用しており、一般には１つのメインレンズしか有していない。その他のかかるプロジェクタは異なるイメージングデバイス、例えばデジタルマイクロミラーを使用するものであり、２つ以上のレンズを含むことがある。プロジェクタは同時に複数の画像を表示したり、ビデオの場合のように、あるシーケンスの画像として画像を表示できる。

これらデジタルプロジェクタは一般にプロジェクタの光軸が投影面に直交するよう整合した状態で、平らな面に水平にプロジェクタが置かれると、投影面に歪のない長方形の画像を投影するようになっている。しかしながら、整合および向きが変えられた場合、その結果、投影面に生じる画像が歪むことがある。多くの場合、画像は台形となり、その他のケースでは任意の形状の四辺形となる。投影された画像が長方形でない形状はキーストーン形状と称される。

このキーストーン歪を調節するための１つの技術は、長方形に近い画像が表示されるまでプロジェクタを動かし、傾け、回転させることによって、プロジェクタの物理的位置を手間をかけて調節することである。しかしながら、多くの場合、プロジェクタの位置を物理的に十分調節することは実現不能である。例えば、正しい画像のプレゼンテーションを行えるように、プロジェクタを表示面の上もしくは下に位置決めしなければならないことがある。

「オーバーヘッドプロジェクタのためのキーストーン補正および焦点補正」を発明の名称とする米国特許第５，５４８，３５７号明細書（特許文献１）は、テストスライドを表示するシステムについて述べている。ユーザはまず互いに平行に見えるラインのペアを識別し、ユーザが識別したラインのペアによって歪補正プログラムを起動する。このプログラムは、プロジェクタの水平面とスクリーン面との斜め角を使用している。この作業は、ユーザが正しく実行するには負担のかかる作業である。

「画像を表示するためのプロジェクタシステムにおいて非対称画像を予め補正するための方法」を発明の名称とする米国特許第５，７９５，０４６号明細書（特許文献２）は、ユーザがキーボードを介してシステムに位置情報を入力することによって投影角および台形エラーを補正するシステムについて述べている。位置情報を決定し、入力することはユーザにとって困難であり、かつ負担のかかる作業である。

「任意の方向によるプロジェクタのための自動キーストーン補正方法」を発明の名称とする米国特許出願公開第２００２／００２１４１８号明細書（特許文献３）は、一対の傾斜センサとカメラとを含む投影システムについて述べている。傾斜センサおよびカメラからのデータを使用するシステムは、長方形の画像を表示するように、投影された画像を変形する。しかしながら、傾斜センサは高価であり、システムは投影レンズが移動したとき、例えばプロジェクタをズーミングおよび／または合焦したときに複雑な再調整をしなければならない。このような固有の複雑さによって、この結果得られるプロジェクタのコストが高くなっている。
米国特許第５，５４８，３５７号明細書 米国特許第５，７９５，０４６号明細書 米国特許出願公開第２００２／００２１４１８号明細書

図１を参照すると、代表的なプロジェクタシステムは電子回路およびイメージングデバイスを収納する密閉体を含む。画像を正しく表示するためにプロジェクタを設定するには、次の多くのステップを実行する。すなわち（１）ラップトップパソコンまたはその他の画像のソースにケーブルを接続するステップと、（２）電源スイッチ（オン／オフ）を切り換えるステップと、（３）投影垂直角度を調節するステップと、（４）表示画像を合焦するステップと、（５）画像のズームを調節するステップと、（６）キーストーンを手動で調節するステップとを必要とする。このように、この方法は一般に適切な順で実行しなければならない多くのステップを含む。

図２を参照すると、ここに示されたプロジェクタシステムは電子回路とイメージングデバイスを収納する密閉体を含む。画像を正しく表示するために、このプロジェクタを設定するには、一般に次のステップを含む上記より少ないステップで実行する。すなわち（１）ケーブルをラップトップパソコンまたはその他の画像ソースに接続するステップと、（２）電源スイッチ（オン／オフ）を切り換えるステップと、（３）自動設定機能を選択するステップとを実行する。このように、これを行うにはかなり少ない動作だけでよく、誤った操作が起こりにくくなっている。より自動化されたプロジェクタシステムは、大きさおよび設備が異なる部屋内にプロジェクタをより自由に位置決めするフレキシビリティを享受するユーザに便利さを提供する。

図３を参照する。自動調節（設定不要）プロジェクタの基本構成はイメージングセンサシステム１０と、画像予備処理モジュール１２と、投影スクリーン検出モジュール１４と、焦点検出および自動焦点モジュール１６と、キーストーン検出および補正モジュール１８と、画像センタリングおよびズーミングモジュール２０と、プロジェクタ制御システム２２と、プロジェクタの光学部品および機構部品２４とを含む。

プロジェクタの投影プロセスは抽象化によってモデル化できる。すなわち投影プロセスはプロジェクタからプロジェクタの外部の投影面（例えばスクリーンまたは壁）へ画像を配置することでよい。この配置は、理想的な薄いレンズモデルの変換関数ｆｐによって近似できる。更に検出デバイスのイメージングプロセスも理想レンズモデルの変換関数ｔｃによって記述できる。所望すれば、その他のモデルも同じように使用できると理解すべきである。光軸に関する次の説明は理想レンズモデルに関するものであり、このモデルおよび光軸も、同じようにシステムの任意の部分の実際の光軸を基準にすることができる。多くのケースでは、プロジェクタの光軸が投影面に対して直交していないときにキーストーン歪が生じる。すなわち、プロジェクタからの代表的な長方形画像は投影面に非長方形の四辺形として投影される。ある場合において、イメージングおよび光学系は直交方向に投影された場合に、キーストーン画像を投影するかも知れないが、このキーストーン画像は非キーストーン画像に調節できる（または他の方法でキーストーン歪を減少できる）。

本発明者達は上記「任意の方向によるプロジェクタのための自動キーストーン補正方法」を発明の名称とする米国特許出願公開第２００２／００２１４１８号明細書（特許文献３）のプロジェクタシステムについて検討したところ、このプロジェクタシステムは時々キーストーンを正しく補正できないことがあると判断した。キーストーンを正しく補正できないと判断した後に、本発明者達はかかる潜在的な失敗は、少なくとも一部は、プロジェクタが十分には焦点を合わせることができない結果であるとの認識に達した。多くの場合、ユーザは問題を解消するキーストーン補正の前にプロジェクタを手動で合焦しようとする。しかしながら、別のケースではユーザはそのときのニーズのためにプロジェクタが十分に合焦したと判断し、画像のキーストーンを補正しようと試みるが、成功しないので、その結果ユーザにフラストレーションが生じる。例えば大きく焦点がずれた状態で投影されたテストパターンの結果、キーストーンパラメータの検出が不十分となり得る。このような、以前には検討されなかった問題を克服するには、システムはキーストーン補正前にオートフォーカスを行うことが好ましい。任意多数の種々のオートフォーカス機構を使用できるが、このシステムはプロジェクタが合焦状態にあるかどうかを判断するのに適切なテストパターンを使用することが好ましい（図４参照）。システムが正しく合焦していない場合（図５参照）、焦点ずれ量を決定し、レンズを合焦し、焦点ずれ量を決定し、レンズを合焦するなどの操作を繰り返し実行する。焦点ずれ量を決定するための１つの技術は、投影されたテストパターンの画像の周波数スペクトルを使用し（図６参照）、これとプロジェクタが正しく合焦状態にあったときに得られたテストパターンの画像の基準周波数スペクトルとを比較することである（図７参照）。所望すれば、その他の焦点ずれ（または焦点）検出機構、決定機構および調節機構を同じように利用できる。プロジェクタシステムのオートフォーカスを実行した後に、システムはキーストーン補正を実行する。このキーストーンの修正は所望すれば画像の一部に基づいて行うことができることも理解できよう。

一実施例では、自動的にオートフォーカス実行後、ユーザによって手動でキーストーン補正を実行できる。別の実施例では、自動的にオートフォーカス実行後、システムによって自動的にキーストーン補正を実行できる。更に別の実施例では、自動的にオートフォーカス実行後、一部を手動で、一部を自動的にキーストーン補正を実行できる。キーストーン補正を有効にしまたはその他の方法で実行するには、システムによりオートフォーカス機能を呼び出さなければならない。キーストーン補正に適用されるオートフォーカス機能を有効にするにはその他にプロジェクタの現在のオートフォーカス機能をユーザが別個に選択しなくてもよいようにしなければならない。このように、システムのフォーカス動作はキーストーン補正を完了する前に行われる。

投影スクリーンのコーナ、例えば上部左側コーナ、上部右側コーナ、下部左側コーナおよび下部右側コーナを識別できる。４つのすべてのコーナが識別された状態、または少なくとも一対の対角にあるコーナが識別された状態で投影スクリーンのアスペクト比を決定できる。これとは異なり、システムは投影スクリーンのエッジを検出し、これから投影スクリーンの全体の境界を判断できる。いずれのケースにおいても、画像を表示するのに適した領域を表示する投影スクリーンの１つ以上のアスペクトの識別、さもなければ投影スクリーンの外部境界、を境界と称す。多くのケースでは、投影スクリーンのアスペクト比は投影される画像の所望するアスペクト比に類似する。一部のケースでは投影スクリーンの上部コーナまたは下部コーナしか検出されず、この場合、投影スクリーンの幅をスクリーンの代表的なアスペクト比、例えば４：３のアスペクト比を予測するための基準として使用できる。同様に、投影スクリーンの垂直エッジを使用することもできる。一部のケースでは投影スクリーンの右コーナまたは左コーナしか検出しない。この場合、投影スクリーンの高さをスクリーンの代表的なアスペクト比、例えば４：３のアスペクト比を予測するための基準として使用できる。同様に、投影スクリーンの水平エッジを使用することもできる。

投影された画像、例えばテストパターンをカメラで検出し、投影スクリーンのサイズと比較する。最も好ましくは、投影されたテストパターンの特徴を定めるのに、投影された四辺形の領域の２つ、３つまたは４つのコーナを使用できる。これは投影されたテストパターンの４つのコーナと、検出された投影スクリーンの４つのコーナ（またはその他）と比較することによって行うことができる。次に、投影スクリーンに従って投影された画像のエッジをシフトするように、投影された画像の調節を行うことができる。投影された画像の所望するサイズ（水平および／または垂直）および／またはアスペクト比が得られるまで、カメラによる投影された画像の検出、および投影された画像のサイズを再び調節することを繰り返すことができる。例えばスクリーンの左側に投影がされた場合、スクリーン検出モジュールはかかるアライメントを検出し、プロジェクタを右側に向けてシフトさせるよう、一組の制御パラメータを出力できる。画像および投影スクリーンのエッジも同じように使用できる。一実施例では、制御パラメータを投影スクリーン全体の中心と投影された画像全体の中心との間の距離とすることができる。システムは投影された画像と投影スクリーンのサイズとの適切な関係を利用できる。例えば画像を投影スクリーンの中心に位置させ、投影スクリーンの約９０％にフィットするようなサイズとすることができる。例えば、投影画像が検出されたスクリーンよりも大きければ、プロジェクタをズームインできる。また投影画像が検出されたスクリーンよりも小さければ、プロジェクタをズームアウトできる。このように、システムは自動ズームおよび／または自動センタリング機能を実行し、画像を整合できる。更に、キーストーンのための調節を行う前に自動ズームおよび／または自動センタリング機能を実行する場合、プロジェクタはプロジェクタのイメージングパネルをより効率的に使用でき、よって（例えばデジタル的な）歪み補正を実行すると、より良好な画質が得られる。これと対照的に、プロジェクタのイメージングパネルの画像のより小さい領域でキーストーン補正を実行する場合、画質が大きく低下することがある。

図１７を参照する。別の適切なテストパターンは、システムがブロック検出をするために、プロジェクタの４つのコーナに４つのブロックを含む。一部のケースでは図１８に示されるように、周辺光のためにブロックが極めて暗くなったり、または黒色のスクリーンの境界にブロックが位置することもあり得る。従って、かかるパターンを信頼性高く検出することは困難である。これら問題を解消するために、処理技術はサーチ領域を限定し、小さいテスト領域を利用することを含まなければならない。テスト領域の各々は画像の総面積の１０％未満を含むことが好ましく、更には画像の総面積の５％未満を含むことがより好ましい。更に、テスト領域の総面積は画像の総面積の４０％または３０％未満を含むことが好ましく、更に画像の総面積の２０％または１０％未満を含むことがより好ましい。

プロジェクタがレンズをシフトできる場合、このレンズシフト能力をシステムに組み込むことができる。レンズシフトはサーチ領域を大幅に狭めることであるので、レンズのシフトは通常、かなり制限されていることに留意すべきである。また、距離センサ、例えば赤外線光を使って距離を決定できる。測定された距離はキーストーン補正動作で使用できる。

図１８に示されるように、投影されたテストパターンを検出することが困難な理由の１つは、パターンが白色スクリーンの領域の外側になることである。ほとんどのケースでは、画像を白色スクリーン領域内に投影させることが望ましい。スクリーン検出モジュールを用いることにより、システムはスクリーンの境界がどこに位置するかを知り、よってテストパターンをスクリーンの境界内に投影するようにプロジェクタを制御できる。

スクリーンの境界の外部に位置し得るパターンを探さなくてもよいようにするために、システムは、プロジェクタの領域内の中心に位置し、よってスクリーン上に位置しやすいパターンを含むことが好ましい。このパターンは、例えばプロジェクタ領域内の画像のエッジから少なくとも２０％の距離（例えば、対応する方向の幅に対する各エッジから２０％の距離）に位置することができる。システムは検出されたテストパターンの小さい画像を用いることにより、投影された画像のエッジの位置を計算でき、よって図２３に示されるように画像をスケーリングし、シフトし、ズーミングし、キーストーンを適切に除去することができる。

投影を検出するための別の技術例はテストパターンとして色のついた長方形フレーム、例えばグリーン色の長方形フレームを使用することである。このことは図１９に示されている。おおむねグリーン色のカラーを使用することにより少なくとも２つの利点が得られる。ｉ）ほとんどのオフィス環境ではバックグラウンド（一般には壁の一部）はグリーン色の材料を含むことはほとんどないので、ほとんどの状況でグリーン色のパターンを容易に検出できる。ｉｉ）グリーン色は例えば青色と比較した場合、投影画像の輝度に最も寄与するので、グリーン色のパターンの視覚性は、特にあまり暗くない周辺光の面で他の単一カラーのパターンよりも良好である。

グリーン色のフレームはスクリーンの黒色フレームに類似するので、投影されたグリーン色のフレームはスクリーンの境界を区別することを妨害する傾向があると判断されてきた。スクリーンの境界とグリーン色とを区別できない問題を克服するために、システムはカメラとプロジェクタの関係が固定された状態ではグリーン色のパターンの４つの辺は、測定できる固定されたある範囲内に位置するという事実を利用する変形検出技術を含むことができる。従って、検出ステップを変更でき、次のような概略となる。一例として、一次元技術を挙げると、グリーン色のフレームの４つの辺の各々に対し、ある検索範囲を決定する。各検索範囲内で、一次元アルゴリズムを適用するが、次のような追加的特徴がある。すなわち（パターンはグリーン色であるので）カラー情報を使用してまず最初に境界ポイントの検出を行い、輝度情報を使って局部的に精度を高める。スクリーン検出の場合のように、一次元検出ステップの後で、システムは個々のポイントを統合するためにラインフィット法を使用できる。この段階でより確実なラインフィット技術を提供するために、プロジェクタの光軸の近くにカメラが位置していると、投影されたグリーン色のフレームはカメラの領域においてほぼ長方形のように見える。特に理論的には、カメラの光軸とプロジェクタの有効な光軸とが一致する場合、カメラは常に歪のないグリーン色のフレームが見えるはずである。所望すれば、このことと孤立点の除去とを組み合わせることにより、システムは一次元ステップから、ありそうもない候補を除去することができる。

上記のような手法は、プロジェクタのフル解像度のグリーン色のテストパターンを使用している。上記のように、小さいパターンを使用することは有利である。別の検出技術例は、テストパターンとして小さいフレームパターンを使用する。投影の検出はスクリーンを検出した後に実行されるので、システムはスクリーン内のみにパターンを投影しなければならない。これとは異なり、システムは小さいパターンを投影し、パターンがスクリーン内に収まるようにプロジェクタを設定することをユーザに求めてもよい（この場合、この方法は本明細書に説明した「スマイリーフェース」アプローチに類似している）。いずれのケースにせよ、システムは投影されたパターンが常にスクリーン内に収まっていると適正に見なすことができる。このような制限により、システムはテストパターンを無色のものに簡略化できる。その理由は、システムはパターンがスクリーン（一般に白色で均一である）内に収まることを知っており、システムはバックグラウンドに起因する混同について心配する必要はないからである。従って、この技術例は次の３つの主なステップを含むことができる。１）スクリーンの検出結果に基づき、内部で投影検出を行うべき四辺形を判断し、２）前のステップで計算された四辺形内で投影されたパターンを検出するための技術を使用し、３）実際に検出された小さいパターンから仮想的なフル解像度の投影を判断するための技術を使用する。例えば、投影スクリーンに位置決めすべき画像は画像のうちの５０％未満を占めなければならず、好ましくは画像のうちの３０％未満、より好ましくは画像のうちの２０％未満を占めなければならない。

別の技術例は次のようになり得る。
ステップ１． プロジェクタのイメージングパネルの領域において、小さい長方形のパターンをＩ_Ｓ―ｐｊで表示し、最大の長方形をＩ_ｂ―ｐｊで表示する。ここで、Ｔ_０（Ｉ_Ｓ―ｐｊ）＝Ｉ_ｂ―ｐｊであり、Ｔ_０は選択された変換関数（例えば２のファクタによる純粋なスケール変換関数）である。実際には検出されたスクリーンのサイズおよび位置によってＴ_０を決定できるので、Ｉ_Ｓ―ｐｊを検出されたスクリーン内に良好に維持できる。
ステップ２． カメラ領域においてＩ_ｓ―ｐｊのうちの画像Ｉ_ｓ―ｃｍを検出する。
ステップ３． Ｉ_Ｓ−ｐｊと同じアスペクト比の小さい長方形Ｑ_ｓを構成する。
ステップ４． Ｉ_ｓ―ｃｍ＝Ｔ_１（Ｑ_ｓ）となるように、Ｉ_ｓ―ｃｍとＱ_ｓとの間の変換関数Ｔ_１を計算する。
ステップ５． Ｑ_ｂ＝Ｔ_０（Ｑ_ｓ）となるように、大きい長方形Ｑ_ｂを構成する。
ステップ６． Ｉ_ｂ―ｃｍ＝Ｔ_１（Ｑ_ｂ）となるように、Ｉ_ｂ―ｐｊのうちの仮想画像Ｉ_ｂ―ｃｍを計算する。

図８を参照すると、投影スクリーンを検出するための１つの技術は、一次元のイメージングセンサを使用することである。代表的な安価なセンサはノイズレベルの大きいデータを取り込むので、ノイズを除去するための入力データラインにメディアンフィルタ８０をかける。メディアンフィルタには不連続性を保存する性質があるので、メディアンフィルタが好ましい。フィルタにかけられたデータを次に勾配計算モジュール８２へ送る。図９に示されるように、シャドー／シェードに起因し、輝度には変動があり得るので、スクリーンを識別するのに絶対的な輝度レベルは最も信頼できる基準ではないことが理解できよう。従って、勾配領域において検出を実行することが好ましい。勾配が発見された後でゼロクロス／ピーク発見モジュール８４が勾配配列内のゼロクロス点およびピークを探す。これらゼロクロス点／ピークをスクリーンの境界であると仮定できる。一般にゼロクロス点／ピークは複数あり、これらのすべてが有効なスクリーンの境界に対応するとは言えないので、候補ペア一致モジュール８６は２つのゼロクロス点／ピークを一致させ、スクリーンの一見信頼できる候補であるペアを構成する。一致の判断はスクリーンの幅、スクリーンの平均輝度などの複数の基準に基づくことができる。このモジュールは複数のかかるペアを得る。使用される基準の各タイプの重要性を示す経験的な確率に基づき、最も信頼できるペアを選択するのに統計学的推定モジュール８８は推定アルゴリズムを使用する。この技術は両方向（例えば、必ずしも直行しない２つの異なる方向）に適用され得る。

上記アプローチの基本原理を入力配列が二次元となっている二次元センサケースまで拡張できる。実際に、検出された二次元配列を行ごとに処理し、次に列ごとに処理するのに、上記一次元アプローチを使用することもできる。しかしながら、１つの方法は、水平方向の一次元スクリーン境界のすべてが垂直方向の２つのラインを構成するように追加的二次元制約を利用することもできる。これとは異なり、二次元データを用いてエッジ検出でスタートし、ライン検出を実行し、次に相対的に均一なカラー（白色）および一般にバックグラウンドよりも相対的に輝度が高い領域を囲む四辺形を抽出する。投影スクリーンは１つ以上のカメラにより識別できることが理解できよう。

スクリーンを検出するための１つの技術は、センサからの入力画像の選択された行および／または列をラインごとに処理することに基づく。このセンサは画像全体を１つのフレームとして取り込んでもよいし、またはラインごと（行および／または列ごと）に画像を検出してもよい。データをラインごとに処理する方法を使用することにより、投影システムの計算条件を緩和できる。図１４を参照すると、このシステムは選択された行および選択された列の一組を処理できる。潜在的に利用できるデータのサブセットのみを利用することにより計算条件を緩和できる。選択された行および／または列の各々は投影スクリーンの近似エッジを探すのに適切なスクリーン検出技術を使用できる。２つの異なる検出方向の１組を用い、各方向からのデータを１つのラインに積分または他の方法で総和し、図１５に示されるように、ラインの交点を決定することによって投影スクリーンのおおまかなコーナを推定できる。ラインごとの処理技術はフレーム全体の画像を記憶しなくてもよいことにより（すなわちフレーム全体の画像のうちの２分の１未満だけを記憶することにより）、メモリが少なくてすみ、コーナを決定するのにラインフィットを使用することは、二次元技術を使用して直接コーナを検出することよりもより確実になる傾向があることが理解できよう。

別の技術は二次元データ設定を使用し、エッジ検出を実行し、次にエッジに基づき、ラインを選択されたエッジにフィットすることにより実行される。これらラインは投影スクリーンのコーナを識別するのに使用でき、更にこれらラインは、比較的暗いバックグラウンドでの比較的均一なカラー（例えば白色）の領域を囲む四辺形領域を識別するための基準として使用することもできる。

再び図１５を参照する。検出されたエンドポイントにラインをフィットすることができる。処理ステップとして、システムは外れた、または他のすべてのセグメントと交差しないラインセグメントからエンドポイントを廃棄できる。外れたセグメントは、一般にバックグラウンド内の均一で明るい領域に起因したエラーである。図１６を参照すると、フィットのために適切な任意の技術、例えば最小二乗誤差を使用できる。更に所望すれば、フィットにおいて孤立点を廃棄してもよい。例えば図１６では、第４のポイントを孤立点と見なし、排除してもよい。更に、孤立点を除くために追加制限を構成するのにスクリーン境界を使用してもよい。

投影スクリーンを検出した後に、所望すればユーザが更にアスペクト比および／またはキーストーンを調節できるように相互対話（インタラクティブな）技術を使用してもよい。自動調節を無効にし、自動調整可能な動作範囲を越えたとき（例えば極めて暗い部屋など）にも正しい動作を提供するように、これら技術を同じように使用してもよい。かかる技術は、使用を容易にするためにユーザの最小の相互対話を必要とする。プロジェクタのリモコンと統合されているか、またはプロジェクタと別個となっているレーザポインタ（またはその他のポインティングデバイス）を介し、またはプロジェクタの適切な機能を選択することにより、ユーザが相互対話する「キーストーン調節パターン」を投影する。ユーザはユーザの動作に応答するキーストーン補正パターンのダイナミックに変化する形状を観察することにより、視覚的なフィードバックを元に相互対話調節をスタートし、これをストップする。更にプロジェクタスクリーンの検出後、所望すればシステムはオートフォーカス、オートセンタリング（位置決め）、オートズーミングおよびオートキーストーン補正を行うことができるが、これら操作のすべてをユーザが更にプロジェクタと相互対話しないで行うことができる。またプロジェクタスクリーンの検出後、システムはオートセンタリング（位置決め）および／またはオートズーミングも実行できる。

図１０を参照する。好ましい実施例では、相互対話調節をするのに長方形パターンを使用できる。キーストーンが存在するときにパターンは歪んだ長方形１００として現れ、キーストーンが補正されたときに完全に（または実質的に）長方形となる。長方形のコーナの各１つにおいてパターンは北、南、西および東方向をポイントする４つの矢印のマークを有する。１つの可能な実現例では、ユーザはまず最初にオンスクリーンメニュー内の対応するオプションを選択することにより、キーストーン調節モードに入り、次にレーザポインタを使ってキーストーンを調節する。レーザ光が矢印に入射すると、その方向に向かって投影が調節される。カメラはレーザの位置を検出し、補正機構を呼び出す。この補正機構はプロジェクタイメージングシステムのデジタル画像予備処理および／または光学的／機械的制御の形態でよい。レーザポインタはプロジェクタのリモコン内に組み込んでもよいし、別個でもよい。

好ましい実現例では、ユーザはプロジェクタのリモコンユニットを使用して、特に代表的なリモコン上の４つの方向（Ｎ、Ｓ、ＷおよびＥを指し示す）ナビゲーション矢印を使って、例えば円形の方向パッド上の矢印を使って、矢印方向の作業をする。図１１には、４つの異なる方向に押すことができる円形パッド上に設けられた４つの矢印のかかる組み合わせが示されている。

この実現例では、ユーザはまずオンスクリーンディスプレイメニュー上の対応するオプションを選択することにより、キーストーン調節モードに入る。次にキーストーン調節パターンが投影される。調節前に、ユーザはまず調節する４つのコーナのうちの１つを選択する。この選択を行う方法は多数存在する。例えば、ユーザはリモコン上のボタンまたはオンスクリーンディスプレイ上のソフトボタン（以下、ＳＥＬＥＣＴボタンと称す）を押すか／クリックすることによって選択を行う。ユーザがＳＥＬＥＣＴボタンを押すと、特定の１つのコーナ上に４つの矢印のマークが現れ、調節のためにこのコーナが選択された旨の表示が行われる。次にユーザはリモコンユニット（図１１）の方向パッド上の４つの対応する方向矢印を押すことにより４つの方向のうちの１つを選択する。調節が完了した後にユーザがＳＥＬＥＣＴボタンを押すか／クリックすると、次のコーナが選択される。このことは、次に選択されたコーナに４つの矢印のマークが現れることによってユーザに表示される。ＳＥＬＥＣＴボタンを繰り返し押すことにより、ユーザは時計回り方向に１つのコーナから次のコーナに移ることができる。１つのコーナが選択されると、ユーザに対して視覚的な確認をするために、そのコーナに４つの矢印のマークが現れる。残りの３つのコーナには４つの矢印のマークはない。

相互対話によるアスペクト比調節をするために、上記と同じやり方を使用できる。調節パターンの適切な部分に設けられた２つの矢印（上下または左右の矢印）を使って、アスペクト比の補正に合わせて相互対話しながら調節するために画像を伸ばしたり縮めたりする。

多くの場合、投影スクリーンがないか、または画像を表示するのに使用される、認識できる境界を有する壁がない。この場合、有効なキーストーン補正をするのに単一のイメージングデバイスを使用することは問題がある。従って、システムは２つ以上のイメージングデバイス、例えば２つ以上のカメラまたはプロジェクタの光学システムと組み合わせた１つ以上のカメラを使用できる。一般に、検出される投影されたテストパターンを使って相対的な水平偏差角および垂直偏差角を推定するのに、光学検出デバイスのペアを使用でき、これら偏差角からキーストーン補正パラメータを推定できる。例えば、テストパターンとして格子縞パターンを使用できる。

別の実施例では、イメージングするには１つ以上のイメージングデバイスと共にプロジェクタの光学系（例えばプロジェクタのレンズ）を使用できる。センサは単一の二次元カメラであることが好ましい。イメージングデバイスはプロジェクタに対して固定位置に維持でき、プロジェクタと一体的であることが好ましい。しかしながら、使用中にある態様でプロジェクタの光学系を調節する場合、ズーミングおよび／または合焦および／またはレンズのシフトを補正するために新しい組のパラメータに対してシステムを再調整する必要があることが判った。このような制限を克服するために、本発明者たちは、システムはレンズがズーミング中および／または合焦中および／またはレンズのシフト中に移動する際にレンズの制御パラメータからプロジェクタの光学系の新しいパラメータを計算できるように、システムはプロジェクタの光学系を予備調整できると判断した。この予備調整をするにはオンラインの再調整を自動的に行うことができるよう、１つ以上のレンズ制御パラメータに応じて光学パラメータの変化を具現化することを含む。この調整は予備調整またはルックアップテーブルからの計算を含むことができる。

システムはｆ_ｐを計算する際の基準として既知のランドマークと共に、単一次元または多次元の１つ以上のイメージングデバイスを使用できる。次にテストパターンを検出した後にプロジェクタのパネルとカメラの画像との間の変換関数Ｑを計算する。更にシステムは投影面とカメラ画像との間の変換式ｔ_ｃを計算することができ、式Ｑ＝ｔ_ｃｆ_ｐを使用することによりｆ_ｐを解くことができる。

ランドマークの検出を使用するための好ましいシステムは、プロジェクタと一体化され、投影レンズに対して固定された近い関係に維持された単一カメラである。ランドマークは任意の物品、例えば投影スクリーンとすることができる。更に、システムは未知のアスペクト比まで補正することもできる。システムは所望する場合、適切なアスペクト比とするために相互対話技術を使用できる。これとは異なり、プロジェクタはユーザが選択するためのプロジェクタに一般的なアスペクト比のリストを含んでもよい。更に自動調整中、そのつどユーザがアスペクト比を選択することをシステムが求めないように、使用できるデフォルトのアスペクト比をユーザが選択するようにしてもよい。

図１２を参照する。キーストーン補正をした後に投影画像は長方形となり得るが、頂部エッジおよび底部エッジを水平にし、かつ右エッジおよび左エッジを垂直にしたいユーザに対して投影画像が必ずしも正しく向くわけではない。一部の実施例では、プロジェクタが図１３に示されるように実際の世界に対して整合されるよう、プロジェクタの回転した投影に対して正しくなるための基準として、検出された投影スクリーンもしくはその一部を使用できる。

一部の場合、プロジェクタ自ら自由に移動できない場合があるので、ユーザは大まかにスクリーンに向けてプロジェクタを位置決めしなければならない。ユーザがプロジェクタをスクリーンから過度に外れるように向けた場合、カメラはスクリーンの重要な部分を見ることはできないので、自動設定を初期化できない。更に、プロジェクタは自由に移動できないので、かかる状況でスクリーンが検出された場合でも、スクリーンに投影を維持するためにプロジェクタの利用可能な解像度が大幅に低下する。図２０にはかかる極端な位置決めの一例が示されている。

ユーザが自動設定モードまたは手動設定モードのためにプロジェクタの適切な作動範囲に向けてプロジェクタを位置決めし、および／または整合するのをアシストするために、ある画像を投影できる。この投影される画像は、例えばプロジェクタを移動することにより、スクリーン上の画像を位置決めすることが好ましいことをユーザに表示しなければならない。ユーザがプロジェクタをオンにし、設定をアシストするためのモードを選択する。そうでない場合、自動設定モードは調節を正しく行えないことがある。ユーザがアシストモードを選択するとシステムは、図２１に示すような画面中央部にスマイリーフェース３０１が表示されると共に、スマイリーフェース３０１をスクリーン枠内に入れて位置決めすることを促すメッセージ３０２も表示されるアシスト画面３００を投影する。カメラとプロジェクタとは互いに固定された関係にあるので、システムはカメラ領域におけるスマイリーフェースの大まかな位置を予め計算できる。したがって、システムはユーザによりスクリーン上に位置することを保証されるカメラ領域内の初期位置を推定できる。この推定に基づき、所望するようにセットアップ技術の残りの部分を適用できる。その他のグラフィックおよび／または他のテキストメッセージも同様に使用できると理解すべきである。多くのケースでは、投影画像が投影スクリーン上に位置するように投影を変更することが好ましい旨をユーザに表示する画像またはテキストを提示しなければならない。

「スマイリーフェース」技術により、システムの２つの主な工程（スクリーン検出および投影画像検出）で良好な初期スタートポイントを得る可能性が高くなる。例えば、スマイリーフェースがスクリーン上にあることをシステムが検討し、スマイリーフェースが投影画像の中心領域にあるようなテストパターンを含む場合、システムはカメラ画像の中心がスクリーン上にあると見なすことができる。換言すれば、システムはスマイリーフェースが占める領域がスクリーン上にあると見なし、（除くことができる）スマイリーフェースが占める領域の上に重なるか、またはその近くにある投影パターンも同じようにスクリーン上にあると見なすことができる。スマイリーフェースを除いた後、またはスマイリーフェースが表示され続けている間、本明細書に記載した自動セットアップの特徴事項を実行するようにテストパターンを投影してもよい。

ユーザはスクリーンに対して、任意の回転角方向位置および距離にプロジェクタを置くことができる。従って、カメラはスクリーンを見ることができ、中心から大きくずれた位置決め角度でも検出を行うように、プロジェクタの光学系が投影する面積よりも広い面積を映す事ができることが望ましい。従って、ワイド視野角を有するカメラが望まれる。しかしながら、一部の広角カメラ、特に低コストの広角カメラはレンズの歪がひどいことがよくある。ラジアル歪が１つのタイプの大きなレンズの歪であり、この歪はレンズの中心から周辺の縁までレンズの倍率が均一とならない効果を意味する。画像の領域では、物理的ラインが直線状となっていても、このことはカーブしたラインを生じさせる。図２２はラジアル歪の一例を示す。

かかるラジアル歪および広角レンズから生じる他の潜在的な歪を除くために、カメラのレンズの撮像特性を設定し、ある態様でモデル化する。次に投影システムにおいて、カメラ領域内の座標を使用するときに、まずこの座標をレンズ歪補正モデルに通過させ、この結果得られる値を種々の計算モジュールで使用する。

投影システムは、本明細書に説明したスクリーン検出技術によりプロジェクタまたはプロジェクタのレンズを移動させることにより、投影画像を自動的にセンタリングすることができる。例えば投影画像がスクリーンの左側にある場合、スクリーン検出アルゴリズムがこれを検出し、プロジェクタ／レンズを右側に向けてシフトさせる一組の制御パラメータを出力し、同様なことを繰り返す。一実施例では、スクリーン全体の中心と投影された長方形全体の中心との間の距離から制御パラメータを計算する。

自動ズーミングを達成するのに同じ原理を使用できる。投影画像が検出されたスクリーンよりも大きい場合、プロジェクタはズームインする（投影画像をより小さくする）。投影画像がスクリーンよりも小さければ、プロジェクタはズームアウトする（投影画像をより大きくする）。

キーストーンを低減するために立体視技術を使用する場合、投影画像が長方形となっても、補正された投影画像が垂直方向に整合するという絶対的な保証はない。この状況では、キーストーン補正にスクリーン検出は不要であるが、投影画像が図１２および図１３に示されるように垂直方向に整合するようにプロジェクタの回転した投影を調節するために、スクリーン検出モジュールおよび検出されたスクリーンを使用できる。

プロジェクタのセットアップの一部の動作の間では、ユーザは別個に追加機能を開始しなくてもよいことが理解できよう。このように、ユーザは２つ以上の動作を行う単一機能を開始できる。更にユーザは異なる機能、例えばオートズームボタンを押し、次にキーストーンボタンを押すことを別々に行わなくてもよい。変換は単一動作でもよいし、一連の動作および／または計算の結果でもよいことも理解できよう。別個のパソコンを使用するのと異なり、キーストーンの処理のすべてをプロジェクタ自身の内部で実行すると、これによって処理がスピードアップし、ユーザに対する接続性の問題を簡略化できることも理解できよう。更に、所望すれば、１つ以上の他の機能を同じようにプロジェクタ内に実装できる。

本明細書で引用したすべての参考文献を本明細書で援用する。

これまでの明細書で説明で用いた用語および表現は、本明細書では発明を限定するためではなく、発明を説明する用語として用いたものであり、かかる用語および表現の使用にあたっては、本明細書に示し、説明した事項またはその一部の均等物を排除する意図はなく、発明の範囲は特許請求の範囲のみによって限定されるものであることが認識できよう。

現在の投影システムを示す図である。 変形された投影システムを示す図である。 自動調節投影システムを示す図である。 合焦した画像を示す図である。 焦点からずれた画像を示す図である。 図５のスペクトルを示す図である。 図４のスペクトルを示す図である。 画像フィルタリングを示す図である。 取り込まれた画像を示す図である。 相互対話式（インタラクティブな）キーストーン調節を示す図である。 キーパッドを示す図である。 回転した投影を示す図である。 補正された回転した投影を示す図である。 一次元検出を示す図である。 一次元検出の結果からの二次元のラインフィットを示す図である。 ラインのフィットを示す図である。 テストパターンのテストブロックを示す図である。 テストパターンのフェードしたテストブロックを示す図である。 固定された関係から生じた軌跡を示す図である。 プロジェクタの極端な不整合を示す図である。 「スマイリーフェース」技術を示す図である。 広角レンズの歪を示す図である。 グリーン色のフレームを示す図である。

Claims (10)

1. プロジェクタの投影レンズからスクリーンに投影される投影画像の位置、サイズおよびキーストーン歪みを自動的に調整する投影システムにおける投影画像の自動調整方法において、
   （ａ）ユーザによるプロジェクタの大まかな位置決めをアシストする画像を画面中央部に表示すると共に、該アシスト用の画像をスクリーン枠内に入れることを促すメッセージを表示するアシスト用画面を投影するステップと、
   （ｂ）前記プロジェクタの位置決め後、スクリーンに第１のテストパターンを投影するステップと、
   （ｃ）イメージングセンサにより、スクリーンに投影された前記第１のテストパターンを撮像し、オートフォーカス調整を実行するステップと、
   （ｄ）前記オートフォーカス調整を実行後、イメージングセンサを用いて、スクリーンを検出するステップと、
   （ｅ）スクリーンに第２のテストパターンを投影するステップと、
   （ｆ）前記イメージングセンサを用いて前記第２のテストパターンを検出するステップと、
   （ｇ）前記イメージングセンサによる検出結果に基づいて、投影レンズのズーミングおよび／またはレンズシフトを行い、スクリーンに投影されている投影画像がスクリーンに合うように投影画像のサイズと位置を調整するステップと、
   （ｈ）前記イメージングセンサの検出結果に基づいて、前記投影画像のキーストーン歪を補正するステップと、
   を有すること特徴とする投影システムにおける投影画像の自動調整方法。
2. 前記アシスト用の画像は、スクリーン領域の５０パーセント未満を占める領域を含むことを特徴とする請求項１記載の方法。
3. 前記アシスト用の画像が、スマイリーフェースを含むことを特徴とする請求項１又は２に記載の方法。
4. 前記スクリーンの検出および／または前記第２のパターンの検出は、前記イメージングセンサの入力画像データの選択された行および／または列をラインごとに、利用可能なラインより少ないラインを使用して行う画像処理において、輝度の変化点からスクリーンのおおよそのエッジを決定し、該エッジからラインフィット法により、ラインを決定し、一対のラインの交点から各コーナを決定することを特徴とする請求項１〜３のいずれかに記載の方法。
5. 前記スクリーンの検出は、カラー又は輝度が他の領域よりも比較的均一な領域を囲む矩形領域の識別を含むことを特徴とする請求項４記載の方法。
6. 前記画像処理は、前記エッジの各点を結ぶ処理の際、孤立点は除去することを特徴とする請求項４記載の方法。
7. 前記第２のテストパターンは、おおむねグリーン色の長方形フレームであることを特徴とする請求項1、４、５又は６のいずれかに記載の方法。
8. 前記グリーン色の第２のテストパターンの検出は、そのカラー情報からおおよその境界ポイントを把握し、高精度な検出は局部的に輝度情報により行うことを特徴とする請求項７記載の方法。
9. 前記第２のテストパターンは、外形が矩形状で各コーナ付近に他の部分と輝度が異なるブロックを有することを特徴とする請求項1、４、５又は６のいずれかに記載の方法。
10. ズーミングおよびレンズシフトが可能な投影レンズと、スクリーンおよび投影画像を検出するイメージングセンサを備え、スクリーンに投影される投影画像の位置、サイズおよびキーストーン歪みを自動的に調整する機能を備えたプロジェクタにおいて、
    起動時に、画面中央部にユーザによるプロジェクタの大まかな位置決めをアシストする画像が表示される共に、該アシスト用の画像をスクリーン枠内に入れることを促すメッセージが表示されるアシスト用画面を投影するアシスト用画面投影手段と、
    プロジェクタの前記位置決め後、フォーカス調整用の第１テストパターンをスクリーンに投影する第１テストパターン投影手段と、
    前記第１テストパターンを利用してフォーカス調整を自動的に行うオートフォーカス手段と、
    フォーカス調整終了後に第２テストパターンをスクリーンに投影する第２テストパターン投影手段と、
    前記イメージングセンサによる前記スクリーンおよび前記第２テストパターンの検出結果に基づいて前記投影レンズのズーミングおよび／またはレンズシフトを実行し、投影画像のサイズと位置をスクリーンに合わせる投影画像調整手段と、
    前記投影画像がスクリーンに合った状態で、前記イメージングセンサの検出結果に基づいて、キーストーン歪の補正を行うキーストーン補正手段と、
    を有することを特徴とするプロジェクタ。

Images