JP3996617B2 - 画像歪み補正機能を備えたプロジェクタ装置 - Google Patents

Description

本発明は、投写型表示装置（以下、プロジェクタ装置という。）に関し、特に、自動画
像歪み補正機能を備えたプロジェクタ装置に関する。

プロジェクタ装置において、スクリーンがプロジェクタ装置と正対していない場合に生
ずる画像歪み補正については、その歪み補正手段は特願2002-018407の明細書などに記載
されている。

従来、画像のあおり投射によって生ずる台形歪み補正は、垂直方向のみの処理が一般的
であり、プロジェクタの設置についても、スクリーンに対して、水平方向は正対させる位
置に設置していた。

しかしながら、近年、水平方向の台形歪み補正機能が登場し、垂直・水平・斜め方向の
補正が可能になってきた。

その中で、スクリーンに対しての補正方法については、相変わらず手動に頼る補正とな
っており、垂直方向あるいは、水平方向のみの台形歪み補正だけなら容易に手動による補
正が可能であるが、斜め方向の歪み補正については、その補正操作が非常に難しいことと
なっていた。

従来の技術としては、スクリーンに対して投射光軸を斜めに傾斜させて映像を投射した
ときの投射映像の歪みを補正する投射型の格子状表示装置がある(例えば特許文献１参照
。)。

また、プロジェクタとは違った視点から撮った映像を提供することで、斜め方向の歪み
補正を自動的に提供することが可能となるプロジェクタ装置がある(例えば特許文献２及
び３参照)。

また、投射レンズからスクリーンまでの距離を検出し、この検出結果から傾き角を算出
し、歪み補正を自動的に提供することが可能となるプロジェクタ装置がある(例えば特許
文献４、５及び６参照)。

また、撮像された画像の明度データを二値化する方法は、画像全体のヒストグラムから
二値化の閾値を決定する方法があり、例えば、判別分析の手法により閾値を決定する方法
がある（例えば非特許文献１参照）。
特開２００２−４４５７１号公報 特開２００１−８３９４９号公報 特開２００１−１６９２１１号公報 特開平４−３５５７４０号公報 特開２０００−８１５９３号公報 特開２０００−１２２６１７号公報 大津、「判別および最小２乗基準に基づく自動しきい値選定法」、 電子通信学会論文誌、第Ｊ６３−Ｄ巻、第４号、ｐ．３４９−３５６

しかし、上述の従来の技術は、測距装置をプロジェクタ本来の機能とは、独立に備え、
投射映像を使うなどの方法を採っていない。また、複数の位置の距離を測定するためには
、複数の測距装置が必要になっている。

また、投射される画像との相対的な位置関係については、示されていない。投射映像に
ついては、投射レンズの状態により、大きくその位置並びに画面の大きさが変化するため
、単にプロジェクタとスクリーンの位置関係だけを測定するだけでは、本当に映し出され
ている映像に適した補正がなされるか不明である。

また、測定している位置についても、測距装置の設置誤差や、投射レンズと表示デバイ
スの機械的位置関係のばらつきなどにより、正確な位置を示すことができない。

加えて、スクリーンのすぐ外側に枠などが存在し手前方向に飛び出している場合や、ス
クリーン自身が奥まっている場合など、測距装置の測定位置とスクリーン位置が必ずしも
一致するとは限らない。

本発明の目的は、スクリーンに投写表示された画像の歪みに対して、斜め方向の補正を
非常に簡単に自動的に提供することが可能となるプロジェクタ装置を提供することにある
。

また、本発明は、ドットマトリクスで構成された、表示デバイスを拡大投射してスクリ
ーンに投影するプロジェクタに関して、スクリーンがプロジェクタに正対していない状態
で投影された時に、投射レンズから、表示画像の４隅の角までの距離を検出し、この距離
の差より、投影された画像のあおり角度を算出することで、画像の歪みを検出し、その逆
補正を行うことで、画像歪み補正を行う。

スクリーンの検出には、２次元イメージセンサ(カメラ)を用いる。

ただし、２次元イメージセンサを用いずとも、投射レンズから画像の表示されている面
までの、長方形の４隅の角までの距離を知ることができれば、同様な手段で、補正が可能
となる。この手段についても、一例を挙げる。

２次元イメージセンサにより、投射レンズから表示画面上の４隅の角あるいは、４隅に
近い部分までの距離を検出するために、投射レンズのフォーカス調整機構に回転位置検出
センサを装着しておく。回転位置検出センサと、フォーカスが合う投射レンズからの距離
を、あらかじめキャリブレーション作業により、検出・記憶しておく。光学的にフォーカ
スが合う位置では、画面の表示状態が表示デバイス上に表示された画像がボケ無く投射表
示される。逆にフォーカスが合っていない位置では、画像がボケて表示される。２次元イ
メージセンサにより、この表示画像を撮像すると、フォーカスが合う位置において、撮像
された画像のコントラストが最大となる。このコントラスト最大となる位置を検出するこ
とで、フォーカスが合う位置を検出できる。

上記フォーカスが合う位置におけるファーカス調整機構に装着された回転位置検出セン
サからの信号と、あらかじめ検出・記憶しておいた投射レンズからの距離のデータを用い
れば、投射レンズからスクリーンまでの距離を知ることができる。

フォーカス位置を知るために、表示デバイス上には、フォーカス検出が行いやすい画像
をあらかじめ表示しておくことで、フォーカス調整動作を効果的に補助することができる
。

２次元イメージセンサによって、投影された画面上の４隅までをも、撮像することが可
能で、例えば、フォーカス調整機構をその調整範囲全域にわたって回転させることで、画
面上の４隅におけるフォーカス位置を同時に知ることができる。

上記動作により、投射レンズから、画面４隅までの距離を知ることが出来、結果、プロ
ジェクタとスクリーンの正対位置からどの程度の角度を持って傾いているかを検出可能と
なり、これにより算出される画像の歪みを逆補正することにより、自動的に画像歪み補正
を実現する。

本発明には、以下の効果がある。

本発明の距離の測定方法では、測距装置として、１つのイメージセンサと、投射された
映像（装置の基本機能である映像を投射する機能を利用）と、フォーカスが合う点と投射
レンズにおけるフォーカス位置を用いることで検出できる。これから分かるとおり、測距
装置としての構成は、プロジェクタ装置本来の機能を利用する形で作られており、切り離
して利用できる従来技術とは異なる。測距装置としての追加機能は、レンズに付加するフ
ォーカス位置センサ（可変抵抗器を使用した位置センサ）、テストパターン生成回路、単
一のイメージセンサであり、測定点の数も縦横の角度変化を検出するために、３箇所以上
の測距が必要となるため、別々に測距装置を用いるのに比べ、大幅にコストダウンが可能
となるという効果がある。

投射映像との相対的関係については、本発明の方法では、投射された映像を用いて距離
を測定しているため、投射された映像そのものの位置は、正確に把握でき、また、スクリ
ーン上に映し出された映像のフォーカスが合っていることを検出するため、投射レンズか
らスクリーンに投射されている映像までの距離が、レンズなどの設定状態によらず、検出
できるという効果がある。レンズなどの状態とは、ズームレンズの場合、ワイド側か、テ
レ側かの違いなどを意味する。よって、従来技術に示された方法よりも、正確に、また、
省コストにて、機能が実現できるという効果がある。

以上より、本発明は、従来技術に示された方法よりも、少ない構成部品とプロジェクタ
本来の機能を利用したテストパターンの投影により、スクリーンの３次元的傾きを検出で
き、その補正が可能となるため、従来技術に示された方法よりも有効である。

（第１の参考例）
図１に第１の参考例を示す。

ここでは、光源(ランプ)１、表示デバイス(液晶パネル)２、投射レンズ３を経て、投射
映像が、スクリーン４まで投射できるものとする。イメージセンサ５は、投射レンズ３に
隣接し、スクリーン４までの距離に比較して、無視できるほど近い所に位置する。イメー
ジセンサ５は、投射表示された映像並びに、スクリーン４の形を取り込めるものとして、
代表的には、ラスタスキャンタイプのカメラが使用可能である。

ラスタスキャンタイプのカメラをイメージセンサ５とした場合は、カメラからの撮像結
果を画像取込部６で1枚の絵として認識できるように取り込む。イメージセンサ５の取り
込める映像は、投射表示する画面全体よりも大きな範囲とする。まず、あらかじめ、投射
表示する画面全体をイメージセンサ５によって撮像し、イメージセンサ撮像画像２１上の
投射表示する画面全体の位置を記憶する（図２）。

次に、設置されたスクリーン４のスクリーン面全体を覆うように、プロジェクタを設置
し、イメージセンサ撮像画像２１から、スクリーン４の位置を検出する。通常のスクリー
ン４は、投射映像を表示する面が白色ないし、光を反射する表面色になっており、それよ
り外側の部分(枠)は、黒に代表される投射映像を表示する面とは異なる色となっている。
スクリーン４の検出は、スクリーン色と枠は、イメージセンサ５による撮像結果から明る
さ・色の違う境界点を認識し、境界線を算出する方法で可能となる。境界線の算出は、ス
クリーン４の縦・横の区切り位置に対してそれぞれ漸近線を描くことで、可能となる。縦
横の区切り位置から、その交点である画面の４角の検出も可能になる。

検出されたスクリーン位置は、前述の投射表示画面全体の検出結果と合わせ、それらの
相対的位置が判別できる。相対的位置が分かることによって、表示デバイス２上への画像
の表示位置を知ることが出来、歪み補正の最終目的画像形状を知ることができる。

歪み補正の手段は、出願番号が特願2002-018407の明細書などによって、記されている
。上記歪み補正の手段を用いて、歪み補正を行い、上記検出されたスクリーン位置に合う
ように歪み補正を行えば、目的のスクリーン面にぴったり合わせる形でプロジェクタ映像
を投射できる。

次に、第１の参考例の動作について説明する。

図１のブロック図において、自動調整の手順を以下に示す。

まず、プロジェクタ装置の製造あるいは、キャリブレーション段階において、表示デバ
イス２に全白または、クロスハッチ(格子柄)などの特定の表示を行い、イメージセンサ上
の投射表示画面全体の画像位置を検出する。

図２に、その様子を示す図を記す。

イメージセンサ５の位置は、イメージセンサ撮像画像２１全体の内側に、プロジェクタ
投射表示画面全体画像２２全体を撮像できるように配置する。イメージセンサ５でプロジ
ェクタ投射表示画面全体画像２２を取り込み、イメージセンサ５の撮像におけるプロジェ
クタ投射表示画面全体画像２２の位置を検出する。

プロジェクタ投射表示画面全体画像２２がイメージセンサ５にて撮像されるときは、イ
メージセンサ５の取り付け精度、レンズ歪み等により、通常台形または、若干湾曲した映
像として取り込まれる。

全白映像を表示しておけば、プロジェクタ投射表示画面全体画像２２の映像から、表示
画像の４隅は容易に検出が可能であり、クロスハッチ信号などを表示しておけば、プロジ
ェクタ投射表示画面全体画像２２の特定の位置をクロスハッチ信号のライン位置よりおお
むね判別でき、プロジェクタ投射表示画面全体画像２２が、イメージセンサ５のどの位置
に取り込まれるかを細かく知ることが可能となる。

同様に、プロジェクタ投射表示画面全体画像２２上に位置を示す表示を行うことにより
、プロジェクタ投射表示画面全体画像２２の位置と、イメージセンサ撮像画像２１の位置
の関係を定義付けることが可能となる。

キャリブレーションは、図１のブロック図において、映像入力部１０より上記全白信号
またはクロスハッチ信号などを入力して、画像歪み補正回路１１を歪み無しとして、表示
デバイス駆動回路１２を通じて、表示デバイス２に画像を表示するか、表示デバイス駆動
回路１２にテストパタン発生回路を設け、上記信号を発生することでプロジェクタ表示を
行う。

キャリブレーションの際は、映像を投射するスクリーン４を大きな物として、イメージ
センサ撮像画像２１全体がスクリーン内に収まるようにすると、キャリブレーションの際
に便利である。投射された表示画像は、イメージセンサ５により、撮像され、画像取込部
６によって、画像データとして装置に取り込まれる。

そのときの撮像画像を図２のイメージセンサ撮像画像例で示す。前述したとおり、プロ
ジェクタ投射表示画面全体画像２２は、スクリーン４に投影されたときには長方形である
が、イメージセンサ５によって撮像されたときは、若干の歪みを生じている。

画像取込部６によって取り込まれた画像を、投射表示位置検出部７によって、その位置
を検出する。位置検出は、イメージセンサ撮像画像２１上で、水平方向、垂直方向それぞ
れx,yの位置と、プロジェクタ投射表示画面全体画像２２における水平方向、垂直方向の
それぞれの表示位置xp,ypの位置との関係を一対一で表す形で行われる。簡易的に、いく
つかの代表点のみで、上記位置関係を表現することも出来る。例えば、プロジェクタ投射
表示画面全体画像２２の４隅の位置、あるいは、プロジェクタ投射表示画面全体画像２２
の数点の代表的位置である。

以上の操作により、キャリブレーション作業が終了する。キャリブレーション作業は、
前述の通り、工場での生産時に、または、使用する初期状態として行われる。

次に、実際のスクリーン４を設置し、スクリーン４の位置を検出する動作に入る。スク
リーン全体に画像を表示する意味から、プロジェクタ投射表示画面全体画像２２は、スク
リーン４を全体を覆いつくすように設置する。上記設置されたスクリーン４をイメージセ
ンサ５にて撮像した画像例が図３のスクリーン位置画像２４である。

スクリーン位置は、前述の通り、反射面である本来の画像表示位置と、枠の部分の明る
さ・色が異なることを利用し検出を行う。イメージセンサ５により、図３のように撮像さ
れた画像を画像取込部６によって、データとして取り込む。

取り込まれたデータは、スクリーン位置検出部８により、スクリーンの位置が検出され
る。

スクリーン位置検出部８の第１の構成を図４に示す。撮像された画像の明度データ１４
が二値化手段１５に入力される。二値化手段１５は、画像全体のヒストグラムから二値化
の閾値を決定する。例えば、判別分析の手法により閾値を決定する（非特許文献１参照）
。この手法は、画像中の各画素の明度を調べ、明るい部分と暗い部分の２つの領域に分類
する。スクリーン４は、通常白く、画面中のほかの部分より明るいため、明るい部分に分
類される。その結果、画像中のスクリーン部分は、図５に示すように切り出される。二値
化手段１５の出力である二値画像データは、直線検出手段１６に入力される。直線検出手
段１６は、明るい部分と暗い部分の境界をトレースし、境界線を得、境界線を直線部分に
分割する。図５に、L1、L2、L3、L4の４本の直線が検出された様子を示す。更に、検出さ
れた直線に対し、交点検出手段１７は、L1とL4の交点としてC1、L1とL2の交点としてC2、
L2とL3の交点としてC3、L3とL4の交点としてC4を検出する。以上のようにして、スクリー
ン４の４隅の位置が求まる。

スクリーン位置検出部１８の第２の構成を図６に示す。撮像された画像の明度データ１
４が、エッジ検出手段１９に入力される。エッジ検出手段１９では、各画素について隣接
する画素値との比較が行なわれ、画素値の差が予め設定された閾値より大きいときに、そ
の画素にエッジが存在すると判定する。すると、図７に示すようなエッジ画像が得られる
。閾値の設定によっては、ある程度の太さを持ったエッジが検出されるが、その場合には
、公知の細線化手法を施し、1画素程度の幅のエッジ画像を出力する。直線当てはめ手段
２０は、得られたエッジ部分に対して、直線の当てはめを行なう。実際にはエッジ部分に
対して、直線の方程式を当てはめ、直線L1〜L4を決定する。交点検出手段１７は第１の構
成と同様に、得られた直線に対して、隣り合うものの交点を求め、スクリーン４の４隅の
位置を求める。

検出された位置は、プロジェクタ投射表示画面全体画像２２内に位置し、スクリーン歪
み検出部９により、スクリーン位置と表示デバイス２の表示範囲との相対的位置関係を決
定する。画像歪み補正回路１１は、スクリーン歪み検出部９によって決定された表示デバ
イス２上に表示すべき映像の形に画像を表示する。

結果、映像入力部１０より入力された、映像信号が画像歪み補正回路１１を通ることで
、スクリーンの形状に合わせた形に変形され、表示デバイス駆動回路１２を経由して、表
示デバイス２に表示され、スクリーン４に投射表示される。

（第２の参考例）
第２の参考例として、スクリーン位置検出を行った後に、スクリーン位置画像２４がプロジェクタ投射表示画面全体画像２２の範囲内に入らなかった場合が考えられる（図８）。

この時は、今までの処置では、使用者にとって満足な映像を提供できない。図８に示す
ように、この対処方法として、スクリーン位置を検出した後で、その形を相似的に拡大縮
小並びにスクリーン内での位置移動を行うことで、スクリーン４に対して投射された画像
は長方形を維持し、かつプロジェクタ投射表示画面全体画像２２の範囲内であることを満
足する画像の大きさ、並びに位置を算出し、その位置に対応する表示デバイス２の当該位
置に画像を表示することにより、実用的に使用者を満足させ得る画像を提供できる。

これは、スクリーン歪み検出部９に、上記条件を満足させる処理を盛り込むことで可能
となる。

（第３の参考例）
イメージセンサの取り付けについても、投射レンズ３の近傍に位置させる第１の実施の形態の方法と、図９に示すとおり、投射レンズ３を通した画像を、ハーフミラー１３によってイメージセンサ５に導くことで撮像する第３の実施の形態の方法がある。ハーフミラー１３は、イメージセンサ５の撮像時のみ表示デバイス２と投射レンズ３の間に割り込ませる様な可動式とすれば、通常使用時に、このハーフミラー１３の影響を受けることはない。

（発明の第１の実施の形態）
図１０に本発明の第１の実施の形態を示す。

スクリーンがいわゆる壁のような状態の場合に、第１の参考例の方法により、スクリーンの枠をとらえることが出来ない。この時に、以下の方法を使うことができる。

ここでは、光源(ランプ)１、表示デバイス(液晶パネル)２、投射レンズ３を経て、投射
映像が、スクリーン４まで投射できるものとする。イメージセンサ５は、投射レンズ３に
隣接し、スクリーン４までの距離に比較して、無視できるほど近い所に位置する。イメー
ジセンサ５は、投射表示された映像並びに、スクリーン４の形を取り込めるものとして、
代表的には、ラスタスキャンタイプのカメラが使用可能である。

ラスタスキャンタイプのカメラをイメージセンサ５とした場合は、カメラからの撮像結
果を画像取込部６で1枚の絵として認識できるように取り込む。イメージセンサ５の取り
込める映像は、投射表示する画面全体を取り込める範囲とする。

まず、投射レンズと画像が投射投影されるスクリーンまでの距離を測定する手段につい
て、説明する。

イメージセンサ５を内蔵したプロジェクタにおいて、プロジェクタからスクリーン４ま
での距離と投射された画像のフォーカスが合った位置に対応したレンズのフォーカス位置
の関係（以下フォーカスプロファイルという）を、あらかじめプロジェクタを製造する工
場において記憶させる。

この作業によって、ユーザーが使用する場面で、フォーカスが合った状態でのレンズの
フォーカス位置を検出し、上記フォーカスプロファイルと照らし合わせることで、プロジ
ェクタからフォーカスが合ったスクリーン４までの距離を知ることができる。

次に、実際のスクリーン４に投射したときの表示画面上の４隅でそれぞれフォーカスが
合った位置をレンズのフォーカス位置を変化させ、上記フォーカスプロファイルを照らし
合わせることで検出し、プロジェクタからスクリーン上に投射された表示画面の４隅まで
のそれぞれの距離を知ることができる。

以下に、プロジェクタから表示画面の４隅までの距離の求め方について詳細に述べる。

まず、画面の４隅のフォーカスを計測するためのテストパターンは、図１１に示す様な
パターンが代表例としてあげられる。外周は、表示デバイス２の表示エリアを示す。画面
十字型のテストパターンを画面４隅に位置するように投射し、十字型テストパターンの位
置でのフォーカス点を検出する。フォーカス点の位置と距離の関係（フォーカスプロファ
イル）は、予め図１２の様に測定しておく。この測定は、通常、プロジェクタ製造時に行
われ、プロジェクタ本体内に記憶される。図１２のフォーカスプロファイルにより、画面
４隅でフォーカスの合ったフォーカス位置を検出することで、それぞれの点でスクリーン
４との距離を検出することが可能となる。もしも、画面４隅でフォーカスプロファイルが
若干ずれているようならば、４つの点それぞれに上記フォーカスプロファイルを作成して
おけばよい。以上の測定により、投射レンズ３からスクリーン４上の４隅のテストパター
ン位置と投射レンズ３との距離が従来の技術よりも正確に把握できる。

プロジェクタから表示画面の４隅までの距離を知ることができれば、プロジェクタとス
クリーン４の位置関係が把握できる。

スクリーン４が平面であることを前提とすると、投射された画面を構成する平面は、プ
ロジェクタに対してｘｙ軸の傾き角度で表現できる。スクリーン４が枠を持った四角い形
状の場合は、投射された画面とスクリーン平面との関係はさらに回転角が加わることにな
る。しかしながら、純粋に投射された画面の歪み方のみを考える時は、四角いスクリーン
枠と投射画面の関係は考える必要がなく、投射された画面が表示される平面とプロジェク
タの位置関係を考えるのみでよい。

また、プロジェクタから表示画面の４隅までの距離から、スクリーン４の３次元的傾き
を計算し、スクリーン４が平面であることを前提にすれば、補正すべき表示画面形状も知
ることができる。

投射表示された画面は平面スクリーンの傾き角度により、画面内の投射された拡大率が
変化する。プロジェクタと平面スクリーンが正対している場合を図１３と図１５に示す。
プロジェクタに対し平面スクリーンが傾いている場合を図１４と図１６に示す。

拡大率の変化は、投射距離の比に比例する。例えば１ｍの投射距離に投射表示した場合
と２ｍの投射距離で投射表示した場合では、拡大率は２倍となる。

画面の拡大率は、画面の中央からの比で表せる。すなわち、画面の４角を示す位置１，
２，３，４点のそれぞれについて、距離を測定し、その比率を計算することによって、拡
大率の差が計算でき、この拡大率の変化を用いて、出願番号が特願2002-018407の明細書
などによって、記されている歪み補正の手段を動作させる係数を発生させる。

図１０のブロック図において、自動調整の手順を以下に示す。

図１０において、投射画面場の角に特定のパターンを出現させ、光学レンズのフォーカ
ス調整を動作させることで特定パターンのそれぞれのフォーカス最良点をフォーカス検出
部２６にて検出する。

そのときのレンズフォーカス位置をレンズフォーカス位置検出部２７にて、検出するこ
とで、フォーカス最良点の距離が算出される。

距離検出部補正係数算出部２８では、それぞれの距離に応じた補正係数を発生する。

補正係数は、プロジェクタから４角までの距離から、図１４に示すスクリーン４の傾き
角度φをｘｙ軸それぞれに求め、演算することで拡大率の変化が求められ、その係数を画
像歪み補正回路１１に入力することで検出したスクリーン傾きに応じた画像歪み補正が可
能となる。

（発明の第２の実施の形態）
スクリーンを平面と限定した場合に、距離検出を４点ではなく、３点で行うことが可能となる。スクリーンを平面と仮定すれば、図１７に示すａ軸およびｂ軸での回転により、画像の投写状態が表せる。ａ軸およびｂ軸での回転を表すには、ｂ軸のａ軸に対する傾き・位置を示す２点とｂ軸に対しての回転角度を示すための１点を確定すれば、その傾きが求まる。

（発明の第３の実施の形態）
スクリーンが曲面スクリーンの場合においても、距離検出する点をメッシュ状に増やし検出点間の補完を直線補完ないし高次の曲線補完を行うことによって、画像歪みの補正係数を算出することが可能となり、自動画像歪み補正が実現できる。

（発明の第４の実施の形態）
以上の本発明の第１の実施の形態から第３の実施の形態、第１の参考例から第３の参考例は、画像のあおり投射によって生ずる台形歪み補正を自動的に補正する方法として、プロジェクタに内蔵されたイメージセンサを用いプロジェクタの投射表示画面全体位置に対するスクリーン位置を検出し、スクリーンに投射映像が合うように画像歪み補正をする方法であるが、この方法ではイメージセンサ上の投射表示画面全体をあらかじめキャリブレーションにより検出しておく必要があり、この場合の投射表示画面全体位置は固定値である。

このとき、イメージセンサの内蔵方法として投射レンズを通した画像をハーフミラー等
によって導いて撮像するように位置させる方法と投射レンズの近傍に投射方向に向けて位
置させる方法などがあるが、後者の場合のように投射レンズの位置とイメージセンサの撮
像位置が一致しない場合は、あおり投射によりイメージセンサ上の撮像される投射表示画
面全体位置は変化してしまい、この変化の度合いはあおり投射の度合いが大きいほど大き
くなるため、この投射表示画面全体位置をあらかじめキャリブレーションにより検出して
おく方法ではあおり投射時に実際のイメージセンサ上の投射表示画面全体位置と一致せず
、投射表示画面全体位置に対するスクリーン位置を検出し、スクリーンに投射映像が合う
ように画像歪み補正を行う際に誤差を生じてしまい、スクリーンと投射されたプロジェク
タ映像が合わなくなる。

このため、スクリーン位置を検出するときごとに投射表示画面全体の位置を検出すれば
良いことになるが、スクリーン位置検出を用いた自動画像歪み補正ではスクリーン位置検
出のためプロジェクタの全画面表示画像がスクリーンを覆いつくすように投射するため投
射表示画面全体の境界線はスクリーンの外側に位置してしまい、スクリーンの外側にはさ
まざまな物体があることが予想されるためイメージセンサで撮像した画像から直接検出す
ることは困難である。

本発明の第４の実施の形態では、スクリーン内にパターンを表示してその位置を検出し、その位置から投射表示画面全体の位置を算出することにより投射表示画面全体の位置を検出することができるものである。

これにより、イメージセンサが投射レンズよりも離れたところに位置していても正確に
投射表示画面全体の位置の検出を行うことができる。

図１８を参照すると本発明の第４の実施の形態としての自動画像歪み補正機能を備えたプロジェクタ装置が示されている。

１はプロジェクタの光源（ランプ）、２は表示デバイス（液晶パネル）、３はプロジェ
クタの投射レンズ、４は映像を投射するためのスクリーン、５はスクリーンおよび投射映
像を撮像するために投射方向に向けられたイメージセンサ、６はイメージセンサで撮像さ
れた画像を取り込む画像取込部、３３はイメージセンサの光学的歪みを補正するためのイ
メージセンサ光学的歪み補正回路、７はイメージセンサで撮像された画像中の投射映像の
表示位置を検出する投射表示位置検出部、８はイメージセンサで撮像された画像中のスク
リーン位置を検出するスクリーン位置検出部、４１は７の結果から投射表示画面全体の位
置を算出する投射表示画面全体位置算出部、９は４１と８の相対的位置からスクリーン歪
みを検出するスクリーン歪み検出部、１０はプロジェクタで投射する映像を入力する映像
入力部、１１は９の結果を元に歪みを補正する画像歪み補正回路、１２は１１からの映像
を２の表示デバイスに表示する表示デバイス駆動回路、２３は７での投射表示位置検出の
ためのパターンを生成する表示用パターン生成部である。

図１８を参照して本発明の第４の実施の形態の動作を説明する。

プロジェクタの投射表示画面全体がスクリーン４を覆うようにプロジェクタを設置し、
イメージセンサ５で撮像を行い画像取込部６でその撮像画像を取り込み、イメージセンサ
光学的歪み補正回路３３でイメージセンサ５での光学的歪みを補正する。撮像した画像は
図１９のスクリーン位置画像２４のようになっており、スクリーン位置検出部８ではスク
リーン位置画像２４の境界を検出することによりスクリーン４の位置を検出する。ここで
、イメージセンサ光学的歪み補正回路３３でのイメージセンサ５での光学的歪みの補正は
計算で行ってもいいし、あらかじめ用意された光学的歪みの補正用データを用いて行って
も良い。

次に投射表示画面全体の位置を以下のようにスクリーン４の内側に２種類の全白パター
ンを表示してその位置を検出し、その結果から算出する方法で検出する。

まず、表示用パターン生成部２３によりスクリーン４に縦横の長さがプロジェクタ投射
表示画面全体の７５％である全白のパターンを表示し、このパターンをイメージセンサ５
で撮像を行い画像取込部６でその撮像画像を取り込み、イメージセンサ光学的歪み補正回
路３３でイメージセンサ５での光学的歪みを補正した後、投射表示位置検出部７でその位
置を検出し投射表示画面全体位置算出部４１へ送る。次に、表示用パターン生成部２３に
よりスクリーン４に縦横の長さがプロジェクタ投射表示画面全体の５０％である全白のパ
ターンを表示し、このパターンをイメージセンサ５で撮像を行い画像取込部６でその撮像
画像を取り込み投射表示位置検出部７でその位置を検出し投射表示画面全体位置算出部４
１へ送る。

このとき、撮像した７５％全白パターンと５０％全白パターンは図２０の７５％全白表
示画像３４と５０％全白表示画像３５のようになっており、投射表示位置検出部７で７５
％全白表示画像３４と５０％全白表示画像３５の境界をそれぞれ検出することにより７５
％全白表示画像３４と５０％全白表示画像３５の位置を検出し、投射表示画面全体位置算
出部４１で７５％全白表示画像３４と５０％全白表示画像３５の相対位置からプロジェク
タ投射表示画面全体画像２２の位置を算出する。

次にスクリーン歪み検出部９で上記のスクリーン位置検出部８で検出したスクリーン位
置と投射表示画面全体位置算出部４１で検出したプロジェクタ投射表示画面全体画像２２
の位置の相対的位置関係から表示デバイス２上でのスクリーン４の位置を求める。これに
より歪み補正の最終目的画像形状がわかり、画像歪み補正回路１１ではスクリーン歪み検
出部９で検出した歪み補正の最終目的画像形状になるように映像入力部１０から映像信号
に歪み補正を施し投射する。

歪み補正の手段は、出願番号が特願2002-018407号の明細書などによって記されており
、上記歪み補正の手段を用いて歪み補正を行い、上記検出されたスクリーン位置に合うよ
うに歪み補正を行えば、目的のスクリーン面に合わせる形でプロジェクタ映像を投射でき
る。

なお、上記２つのパターンは７５％、５０％の比の大きさでなくてもかまわず、全白で
なくてもかまわない。

また、前述の例では７５％と５０％の２つの全白パターンを表示しその位置を検出して
プロジェクタ投射表示画面全体画像２２の位置を算出したが、例えば、図２１のように７
５％全白表示画像３４のパターンと中心を示す中心表示画像３６のパターンを表示して位
置を検出しその相対位置からプロジェクタ投射表示画面全体画像２２の位置を算出しても
よい。

（第４の参考例）
図２２を参照すると第４の参考例としての自動画像歪み補正機能を備えたプロジェクタ装置が示されている。

本実施の形態では、図１８に比べイメージセンサ５の光学的歪み補正を直接行うのではなく、前述の本発明の第４の実施の形態の方法で一旦画像歪み補正を行い、その後、画像歪み補正後の投射表示位置とスクリーン位置を比較し、一致するようにフィードバック制御で補正するものである。

前述の第４の実施の形態ではスクリーン位置検出部８で検出したスクリーン位置と投射表示画面全体位置算出部４１で算出したプロジェクタ投射表示画面全体画像２２の位置からその相対的位置関係が求まると、表示デバイス２上でのスクリーン４の位置がわかって歪み補正の最終目的画像形状を知ることができ、画像歪み補正回路１１でスクリーン位置に合うように歪み補正を行い、目的のスクリーン面に合わせる形でプロジェクタ映像を投射するが、イメージセンサ５に光学的歪みがありイメージセンサ光学的歪み補正回路３３で補正できないような場合はスクリーン４に投射された画像歪み補正を施した映像とスクリーン４が一致しない。すなわち、光学的歪みが複雑で計算が困難である場合やあらかじめ光学的歪み補正用データを用意するのが困難、例えば、生産するプロジェクタ装置ごとに光学的歪み特性を測定してデータを作るのに時間を要し現実的でない場合は前述の第４の実施の形態のような光学的歪み補正を行うことができない。

このため、本参考例では図１８のイメージセンサ光学的歪み補正回路３３の代わりに、投射表示画面位置−スクリーン位置比較部２９、画像歪み補正データ部４０が追加され、表示用パターン生成部２３が表示デバイス駆動回路１２でなく、その生成パターン出力に画像歪み補正が掛けられるように画像歪み補正回路１１へ入力されている。

まず、画像歪み補正回路１１では画像歪み補正が施されない、すなわち、映像入力部１
０からの映像信号がそのまま表示デバイス駆動回路１２へ出力されるようにし、前述の第
７の実施の形態と同じ方法でスクリーン４の位置をスクリーン位置検出部８で検出し、プ
ロジェクタ投射表示画面全体の位置を投射表示画面全体位置算出部４１で算出し、スクリ
ーン歪み検出部９でそれらの相対的位置関係から表示デバイス２上でのスクリーンの位置
を求めることにより歪み補正の最終目的画像形状を検出する。

次に、この検出した形状を図２３のように縮小して画像歪み補正データ部４０に格納し
、画像歪み補正回路１１で画像歪み補正データ部４０に格納されたデータを元に画像歪み
補正が施されるようにし、画像歪み補正が施された画像歪み補正回路１１の出力信号が投
射されるようにする。このとき、画像歪み補正データ部４０にはスクリーン歪み検出部９
の出力を縮小して格納しているため投射映像は図２４のようにスクリーンの内側に表示さ
れる。ここで、上記縮小はイメージセンサ５の光学的歪みによる投射表示画面全体位置算
出部４１でのプロジェクタ投射表示画面全体位置の算出の誤差３２を考慮し、スクリーン
４の外側に表示されない範囲で行う。

表示用パターン生成部２３から１００％全白パターンすなわちプロジェクタ全画面表示
画像サイズのパターンを表示し、このパターンをイメージセンサ５で撮像を行い画像取込
部６でその撮像画像を取り込み、投射表示位置検出部７で投射表示位置の検出を行う。こ
こで、前述の通りスクリーン歪み検出部９の出力を縮小処理しているので、この１００％
全白パターンは図２４の縮小した表示範囲３１のようにスクリーン４の内側に表示される
。

なお、縮小しない場合、すなわち、図２３の検出したプロジェクタ投射表示画面全体範
囲３８で画像歪み補正を施すと縮小しない表示範囲３０の範囲となり、そのときのイメー
ジセンサ５の光学歪による誤差が光学的歪みによる誤差３２の部分になる。

次に、上記投射表示位置検出部７で検出した投射表示画面の位置と前述のスクリーン位
置検出部８で検出したスクリーン位置を投射表示画面位置−スクリーン位置比較部２９で
比較し、投射表示画面位置がスクリーン位置に一致する方向に変化するように画像歪み補
正データ部４０の画像歪み補正データを更新する。そして、上記の表示された１００％全
白パターンの撮像、投射表示画面位置の検出、スクリーン位置との比較、画像歪みデータ
の更新を繰り返し行い最終的に投射表示位置検出部７で検出した投射表示画面の位置とス
クリーン位置検出部８で検出したスクリーン位置が一致するように制御する。このとき、
スクリーンの外に投射されたパターンの位置検出は正しく行えないため必ずスクリーンの
内側からスクリーンに一致するように画像歪み補正データを更新させる。

（発明の第５の実施の形態）
図２５に第５の実施の形態を示す。第１の実施の形態のブロック図（図１０）に加え、画面上のポインタ制御・表示部４２を加えてある。

実際の画像歪み補正動作は、その回路構成によって、限界があり、図２６に示すような
、中央部映像４３と外周部映像４４を表示し、スクリーン４を中央部映像４３を内包し、
外周部映像４４をはみ出さない形で設置してもらう。この行為は、使用者に対して、暗に
画像歪み補正の動作範囲を指示することになり、自動補正を行う際にその回路限界以内で
の補正動作が行えることとなり、画像歪み補正の動作限界による補正実行が不可能となる
事はなくなる。

しかしながら、スクリーン４や、スクリーン４の外枠に模様等が表示されていたり、透
過型スクリーンの様な場合には、自動でスクリーン４を検出することが難しい。

このような場合に、従来は、全く別の手動補正モードを提供していた(例えば、特許文
献１に示されている。)。

本発明の実施の形態では、図２７に示すように、上記自動補正時に使用した中央部映像
４３をそのまま用いて、その４隅をポインタにより指示することで、画像補正を手動で行
うことにより、淀みない操作の流れが構築でき、ユーザーは、最小の時間で画像歪み補正
操作を実施できる。

自動調整方法については、第１の実施の形態と同様であり、その後の手動調整動作を説明する。

自動調整が失敗に終わった後に、中央部映像４３に対して、その４隅にポイント可能な
点を明示的に表示するなどして、その部分がポイント可能であることを示唆する。その後
、装置に備えられたポインタによって、中央部映像４３の４隅をスクリーン４の４隅に合
致させることで、表示画面上の位置とスクリーンの４隅が関係付けられ、その後、図２５
に示される画像歪み補正回路１１にて、補正を行うことで補正が可能となる。

第１の参考例の形態を示す図である。 イメージセンサ撮像画像例を示す図である。 スクリーン位置画像例を示す図である。 スクリーン位置検出部の第１の構成を示す図である。 L1、L2、L3、L4の４本の直線が検出された様子を示す図である。 スクリーン位置検出部の第２の構成を示す図である。 エッジ画像が得られた様子を示す図である。 スクリーン位置検出を行った後に、スクリーン位置画像がプロジェクタ全画面表示画像の範囲内に入らなかった場合を示す図である。 投射レンズを通した画像を、ハーフミラーによってイメージセンサに導くことで撮像する第３の参考例を示す図である。 本発明の第１の実施の形態を示す図である。 画面の４隅のフォーカスを計測するためのテストパターンを示す図である。 プロジェクタからスクリーンまでの距離と投射された画像のフォーカスが合った位置に対応したレンズのフォーカス位置の関係（フォーカスプロファイル）を示す図である。 プロジェクタと平面スクリーンが正対している場合を示す図である。 プロジェクタに対し平面スクリーンが傾いている場合を示す図である。 プロジェクタと平面スクリーンが正対している場合を示す図である。 プロジェクタに対し平面スクリーンが傾いている場合を示す図である。 スクリーンを平面と仮定すれば、ａ軸およびｂ軸での回転により、画像の投写状態が表せることを示す図である。 本発明の第４の実施の形態を示す図である。 イメージセンサ撮像画像例（プロジェクタ投射表示画面全体画像とスクリーン位置画像）を示す図である。 イメージセンサ撮像画像例（７５％全白表示画像と５０％全白表示画像）を示す図である。 イメージセンサ撮像画像例（７５％全白表示画像と中心表示画像）を示す図である。 第４の参考例を示す図である。 表示デバイス上の画像を示す図である。 スクリーン上の投射画像を示す図である。 本発明の第５の実施の形態を示す図である。 中央部映像と外周部映像を表示し、スクリーンを中央部映像を内包し、外周部映像をはみ出さない形で設置してもらうことを示す図である。 自動補正時に使用した中央部映像をそのまま用いて、その４隅をポインタにより指示することで、画像補正を手動で行うことを示す図である。

符号の説明

１ 光源(ランプ)
２ 表示デバイス(液晶パネル)
３ 投射レンズ
４ スクリーン
５ イメージセンサ
６ 画像取込部
７ 投射表示位置検出部
８、１８ スクリーン位置検出部
９ スクリーン歪み検出部
１０ 映像入力部
１１ 画像歪み補正回路
１２ 表示デバイス駆動回路
１３ ハーフミラー
１４ 画像明度データ
１５ 二値化手段
１６ 直線検出手段
１７ 交点検出手段
１９ エッジ検出手段
２０ 直線当てはめ手段
２１ イメージセンサ撮像画像
２２ プロジェクタ投射表示画面全体画像
２３ 表示用パターン生成部
２４ スクリーン位置画像
２５ 位置・大きさ補正された表示画像
２６ フォーカス検出部
２７ レンズフォーカス位置検出部
２８ 距離検出部補正係数算出部
２９ 投射表示画面位置−スクリーン位置比較部
３０ 縮小しない表示範囲
３１ 縮小した表示範囲
３２ 光学的歪みによる誤差
３３ イメージセンサ光学的歪み補正回路
３４ ７５％全白表示画像
３５ ５０％全白表示画像
３６ 中心表示画像
３７ 表示デバイス上の画像
３８ 検出したプロジェクタ投射表示画面全体範囲
３９ ３８を縮小した表示範囲
４０ 画像歪み補正データ部
４１ 投射表示画面全体位置算出部
４２ 画面上のポインタ制御・表示部
４３ 中央部映像
４４ 外周部映像

Claims (9)

1. プロジェクタ装置であって、
   画像を表示する表示デバイスと、
   前記画像を投射する投射レンズと、
   前記投射レンズのフォーカス位置を変化させる手段と、
   前記投射レンズの近傍に配置されたイメージセンサと、
   補正係数を算出する補正係数算出部と、
   前記補正係数に従って前記表示デバイスへの供給画像を変形する画像歪補正回路と、
   前記スクリーンと前記投射レンズとの間の位置関係を求める距離検出器を備え、
   前記投射レンズが前記表示デバイス上に表示された、四隅近傍にテストパターンが配置されたテスト画像を投射し、
   前記イメージセンサが該投射されたテスト画像を撮像し、
   前記距離検出器が、前記テストパターンのフォーカスが合ったときの前記投射レンズのフォーカス位置に基づいて、前記テスト画像に含まれる各テストパターンと前記投射レンズとの間のそれぞれの距離を計算することにより前記位置関係を求め、
   前記補正係数算出部が前記補正係数を前記位置関係に基づいて算出することを特徴とするプロジェクタ装置。
2. 前記請求項１記載のプロジェクタ装置であって、
   前記テストパターンが十字型であることを特徴とするプロジェクタ装置。
3. 前記請求項１記載のプロジェクタ装置であって、
   前記テスト画像が前記テストパターンを４個含むことを特徴とするプロジェクタ装置。
4. 前記請求項１記載のプロジェクタ装置であって、
   前記テスト画像が前記テストパターンを３個のみ含むことを特徴とするプロジェクタ装置。
5. 前記請求項１記載のプロジェクタ装置であって、
   前記テスト画像が前記テストパターンをメッシュ状に含むことを特徴とするプロジェクタ装置。
6. 前記請求項１記載のプロジェクタ装置であって、
   さらに、手動で前記画像歪補正回路を制御する手動調整動作部を有することを特徴とするプロジェクタ装置。
7. 前記請求項６記載のプロジェクタ装置であって、
   前記手動調整動作部がポインタの制御及び表示を行うポインタ制御・表示部であることを特徴とするプロジェクタ装置。
8. 前記請求項１記載のプロジェクタ装置であって、
   前記イメージセンサは前記投射レンズを通して撮像することを特徴とするプロジェクタ装置。
9. プロジェクタ装置の画像歪補正方法であって、
   表示デバイスに表示された、四隅近傍にテストパターンが配置されたテスト画像を投射レンズを通じて投射し、
   該投射されたテスト画像を前記投射レンズ近傍に配置されたイメージセンサにて撮像し、
   前記テストパターンのフォーカスが合ったときの前記投射レンズのフォーカス位置に基づいて、前記テスト画像に含まれる各テストパターンと前記投射レンズとの間のそれぞれの距離を計算することにより前記位置関係を求めて補正係数を算出し、
   前記補正係数に従って前記表示デバイスへの供給画像を変形することを特徴とする画像歪補正方法。

Images