JP5067536B2

JP5067536B2 - プロジェクタ、プログラム、情報記憶媒体および画像生成方法

Info

Publication number: JP5067536B2
Application number: JP2007044242A
Authority: JP
Inventors: 志紀古井
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2007-02-23
Filing date: 2007-02-23
Publication date: 2012-11-07
Anticipated expiration: 2027-02-23
Also published as: JP2008211355A

Description

本発明は、画像の形状を補正して投写するためのプロジェクタ、プログラム、情報記憶媒体および画像生成方法に関する。

プロジェクタがスクリーン等に画像を投写する場合、画像に歪みが発生する場合がある。このような画像の歪みを補正する手法として、例えば、特開２００６−６０４４７号公報では、撮像画像におけるスクリーンの各辺の消失点を２次元平面において決定し、当該消失点に基づいて撮像画像におけるスクリーンの辺を補完して画像の歪みを補正する手法が提案されている。
特開２００６−６０４４７号公報

特開２００６−６０４４７号公報では、プロジェクタの水平方向の傾き（ヨー角）、プロジェクタの垂直方向の傾き（ピッチ角）のみが考慮され、プロジェクタの投写光の光軸に対する傾き（ロール角）は考慮されていない。しかし、実際には、プロジェクタの設置されたテーブルが傾いている場合等にはロール角が０度でなく、特開２００６−６０４４７号公報の手法では正確に画像の歪みを補正することができない。

本発明の目的は、プロジェクタが、投写光の光軸に対して傾いている場合であっても正確に画像の歪みを補正することが可能なプロジェクタ、プログラム、情報記憶媒体および画像生成方法を提供することにある。

上記課題を解決するため、本発明に係るプロジェクタは、キャリブレーション画像を、投写パネルを介して矩形の投写対象物へ向け投写する投写部と、前記キャリブレーション画像が前記投写対象物に投写された状態における撮像部からの撮像情報または当該状態における操作部からの操作情報に基づき、前記投写対象物の少なくとも一部の形状を決定する形状決定部と、当該形状決定部によって決定された形状に沿った領域であって、かつ、前記投写パネルにおける領域である補正目標領域を設定する補正目標領域設定部と、前記補正目標領域の形状で画像を前記投写パネルに生成する画像生成部と、を含み、前記補正目標領域設定部は、前記投写対象位置情報に基づき、前記撮像領域における前記補正目標領域の位置に関する補正目標位置情報を生成する補正目標位置情報生成部と、当該補正目標位置情報に基づき、前記撮像領域における前記補正目標領域の座標値を、前記投写パネルにおける座標値に変換する座標変換部と、当該座標変換部による変換後の座標値に基づき、前記補正目標領域を設定する領域設定部と、を含み、前記領域設定部は、前記形状決定部によって前記投写対象物の全形状が決定されない場合、前記座標変換部による変換後の座標値に基づき、前記投写パネルの座標系における前記投写対象物の辺によって形成される垂直方向および水平方向の消失点の座標値を決定するととともに、当該座標値に基づき、前記形状決定部による前記投写対象物の未決定部分を補完することにより、前記補正目標領域を設定することを特徴とする。

また、本発明に係るプログラムは、投写部を含むプロジェクタの有するコンピュータにより読み取り可能なプログラムであって、前記コンピュータを、キャリブレーション画像を、投写パネルを介して矩形の投写対象物へ向け前記投写部に投写させる投写制御部と、前記キャリブレーション画像が前記投写対象物に投写された状態における撮像部からの撮像情報または当該状態における操作部からの操作情報に基づき、前記投写対象物の少なくとも一部の形状を決定する形状決定部と、当該形状決定部によって決定された形状に沿った領域であって、かつ、前記投写パネルにおける領域である補正目標領域を設定する補正目標領域設定部と、前記補正目標領域の形状で画像を前記投写パネルに生成する画像生成部として機能させ、前記補正目標領域設定部は、前記投写対象位置情報に基づき、前記撮像領域における前記補正目標領域の位置に関する補正目標位置情報を生成する補正目標位置情報生成部と、当該補正目標位置情報に基づき、前記撮像領域における前記補正目標領域の座標値を、前記投写パネルにおける座標値に変換する座標変換部と、当該座標変換部による変換後の座標値に基づき、前記補正目標領域を設定する領域設定部と、を含み、前記領域設定部は、前記形状決定部によって前記投写対象物の全形状が決定されない場合、前記座標変換部による変換後の座標値に基づき、前記投写パネルの座標系における前記投写対象物の辺によって形成される垂直方向および水平方向の消失点の座標値を決定するととともに、当該座標値に基づき、前記形状決定部による前記投写対象物の未決定部分を補完することにより、前記補正目標領域を設定することを特徴とする。

また、本発明に係る情報記憶媒体は、投写部を含むプロジェクタの有するコンピュータにより読み取り可能なプログラムを記憶した情報記憶媒体であって、上記プログラムを記憶したことを特徴とする。

本発明によれば、プロジェクタは、前記投写パネルの座標系における投写対象物の辺によって形成される垂直方向および水平方向の消失点の座標値を決定するととともに、当該座標値に基づき、形状決定部による投写対象物の未決定部分を補完することにより、プロジェクタが、投写光の光軸に対して傾いている場合であっても正確に画像の歪みを補正することができる。

また、前記撮像部は、前記投写部によって投写された前記キャリブレーション画像の少なくとも一部と、前記投写対象物の少なくとも一部とを含む領域を撮像して撮像画像を示す前記撮像情報を生成し、前記形状決定部は、前記撮像情報に基づき、前記撮像画像に含まれる前記投写対象物の少なくとも一部の形状を決定してもよい。

これによれば、プロジェクタは、撮像情報に基づいて投写対象物の少なくとも一部の形状を決定することができるため、操作情報を入力することなく、画像の歪みを正確に補正することができる。

また、前記領域設定部は、第１の条件である前記形状決定部によって前記投写対象物の水平方向の少なくとも１辺および前記投写対象物の垂直方向の少なくとも１辺が決定された場合または前記形状決定部によって前記投写対象物の上辺および下辺が決定された場合に該当する場合、前記投写部の光軸に対する前記プロジェクタの回転角を変数として演算することにより、前記形状決定部による前記投写対象物の未決定部分を補完してもよい。

これによれば、プロジェクタは、プロジェクタの回転角を変数とする演算を行うことにより、投写光の光軸に対して傾いている場合であっても正確に画像の歪みを補正することができる。

また、前記領域設定部は、第１の条件に該当せず、前記形状決定部によって前記投写対象物の上辺または下辺が決定された場合である第２の条件に該当する場合、前記投写部の光軸に対する前記プロジェクタの回転角を０度として演算することにより、前記形状決定部による前記投写対象物の未決定部分を補完してもよい。

これによれば、プロジェクタは、プロジェクタの回転角を変数とする演算を行うことができない場合であっても、画像の歪みを補正することができる。

以下、本発明をプロジェクタに適用した場合を例に採り、図面を参照しつつ説明する。なお、以下に示す実施例は、特許請求の範囲に記載された発明の内容を何ら限定するものではない。また、以下の実施例に示す構成のすべてが、特許請求の範囲に記載された発明の解決手段として必須であるとは限らない。

（従来の問題点）
図１は、従来の投写画像１２を示す図である。従来のプロジェクタは、投写対象物の一種であるスクリーン１０の横：縦の比が４：３．１程度の場合であっても、設定に応じて横：縦の比が４：３の画像を投写していた。このため、図１に示すように、スクリーン１０の上端と下端に画像が投写されない領域が発生してしまい、ユーザーに違和感を与えていた。また、従来のプロジェクタは、撮像画像に応じて画像の歪みを補正しているが、当該撮像画像が光学歪み、ノイズ、撮像部の解像度限界等による誤差の影響を受けている場合、スクリーン１０に非表示領域が発生し、ユーザーに違和感を与えていた。

図２は、プロジェクタ２０のロール角を示す図である。また、従来のプロジェクタ２０は、縦方向の投写角度（ピッチ角）、横方向の投写角度（ヨー角）に応じて画像の歪みを補正していたが、投写光の光軸に対するプロジェクタ２０の回転角度（ロール角）を用いていないため、プロジェクタ２０の設置されたテーブル等が傾いている場合、画像の歪みを正確に補正することができなかった。

図３は、従来の歪み補正後の投写画像１２を示す図である。また、従来のプロジェクタ２０は、撮像部（例えば、ＣＣＤセンサー等）の撮像領域（例えば，ＣＣＤパネル等）の座標値を用いて多くの演算を行っていた。このため、撮像部のプロジェクタ２０への取り付け位置が本来の位置からわずかにずれている場合であっても、従来の歪み補正後の投写画像１２が図３に示すように歪んでしまっていた。

（第１の実施例）
これらの問題を解決するため、本実施例におけるプロジェクタは、補正目標領域のアスペクト比と基準アスペクト比との相違を示す値が設定条件を満たすかどうかを判定し、当該判定結果に応じたアスペクト比で画像を投写することにより、状況に応じたアスペクト比で画像を投写する機能を有する。また、本実施例におけるプロジェクタは、ロール角を用いて画像の歪みを補正する機能を有する。さらに、本実施例におけるプロジェクタは、画像の座標値に関する演算を投写パネルの座標系で演算する機能を有する。

次に、これらの機能を有するプロジェクタ１００の機能ブロックについて説明する。図４は、第１の実施例におけるプロジェクタ１００の機能ブロック図である。プロジェクタ１００は、スクリーン１０に投写されたキャリブレーション画像を撮像して撮像画像を示す撮像情報を生成する撮像部１１０と、種々のデータを記憶する記憶部１２０と、撮像情報に基づき、スクリーン１０の少なくとも一部の形状を決定する形状決定部１３０とを含んで構成されている。

また、記憶部１２０は、画像を生成するための画像情報１２２、撮像部１１０からの撮像情報１２４、基準アスペクト比や判定基準値等を示す基準データ１２６等を記憶している。

また、プロジェクタ１００は、補正目標領域を設定する補正目標領域設定部１４０と、投写パネルの一種である液晶パネルの補正目標領域に画像を生成する画像生成部１５０と、当該画像を投写する投写部１９０と、補正目標領域のアスペクト比を演算するアスペクト比演算部１７０と、種々の判定を行う判定部１７２と、プロジェクタ１００の縦方向の投写角度を判定する縦投写角判定部１８０とを含んで構成されている。

また、補正目標領域設定部１４０は、形状決定部１３０からの情報に基づき、補正目標位置情報を生成する補正目標位置情報生成部１４２と、撮像領域の座標値を液晶パネルの座標値に変換する座標変換部１４４と、当該座標値に基づき、補正目標領域を設定する領域設定部１４６とを含んで構成されている。

なお、これらの各部の機能をプロジェクタ１００に実装するためのハードウェアとしては、例えば、以下のハードウェアが採用されてもよい。例えば、撮像部１１０としてはＣＣＤセンサー等、記憶部１２０としてはＲＡＭ、ＨＤＤ等、形状決定部１３０、補正目標領域設定部１４０、アスペクト比演算部１７０、判定部１７２としてはＣＰＵ等、画像生成部１５０としては画像処理回路、液晶駆動回路等、縦投写角判定部１８０としては角度センサー等、投写部１９０としては液晶パネル、ランプ、投写レンズ等が採用されてもよい。

なお、プロジェクタ１００は、これらの各部の機能を実装するためのプログラムを記憶した情報記憶媒体２００から当該プログラムを読み取って各部の機能を実装してもよい。このような情報記憶媒体２００としては、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＲＯＭ、ＲＡＭ、ＨＤＤ等を適用でき、そのプログラムの読み取り方式は接触方式であっても、非接触方式であってもよい。

次に、これらの各部を用いた投写手順について説明する。図５は、第１の実施例における投写手順を示すフローチャートである。例えば、プロジェクタ１００は、プロジェクタ１００が起動した場合、ユーザーから補正指示があった場合等に画像の歪みを補正する。画像の歪みを補正する場合、まず、画像生成部１５０は、画像情報１２２に基づき、キャリブレーション画像を生成し、投写部１９０は、当該キャリブレーション画像をスクリーン１０へ向け投写する（ステップＳ１）。

撮像部１１０は、スクリーン１０に投写されたキャリブレーション画像を撮像して撮像情報１２４を生成し、記憶部１２０に記憶する（ステップＳ２）。本実施例では、プロジェクタ１００は、３種類のキャリブレーション画像を投写し、撮像する。

図６（Ａ）は、全白のキャリブレーション画像３００を示す図であり、図６（Ｂ）は、中央白のキャリブレーション画像３０１を示す図であり、図６（Ｃ）は、全黒のキャリブレーション画像３０２を示す図である。まず、プロジェクタ１００は、全白（画像全体が白）のキャリブレーション画像３００を投写し、自動露出で撮像する。

次に、プロジェクタ１００は、全体の画像と比例形状の中央領域（例えば、画像全体の９分の１の領域であって、画像の中央にある領域）が白であり、中央領域以外の領域が黒であるキャリブレーション画像３０１を投写し、キャリブレーション画像３００撮像時の自動露出によって決定された露出で撮像する。さらに、プロジェクタ１００は、全黒（画像全体が黒）のキャリブレーション画像３０２を投写し、キャリブレーション画像３００撮像時の自動露出によって決定された露出で撮像する。

図７（Ａ）は、全白のキャリブレーション画像３００の撮像画像４００を示す図であり、図７（Ｂ）は、中央白のキャリブレーション画像３０１の撮像画像４０１を示す図であり、図７（Ｃ）は、全黒のキャリブレーション画像３０２の撮像画像４０２を示す図である。

例えば、図７（Ａ）に示すように、キャリブレーション画像３００の一部がスクリーン１０の外部にはみ出している場合であっても、図７（Ｂ）に示すように、キャリブレーション画像３０１の中央領域はスクリーン１０上に投写されている。これにより、プロジェクタ１００は、スクリーン１０における全白画像の輝度値、形状等を把握することができる。なお、３種類のキャリブレーション画像３００〜３０２の撮像順序は任意である。

形状決定部１３０は、撮像部１１０による上記３種類の撮像が終了したかどうかを判定し（ステップＳ３）、撮像が終了した場合、撮像情報１２４に基づき、撮像領域におけるスクリーン１０の位置を示す投写対象位置情報を生成する（ステップＳ４）。具体的には、例えば、形状決定部１３０は、撮像画像４００と撮像画像４０２との差分画像を生成し、当該差分画像に対してエッジ検出等を行うことにより、撮像領域におけるスクリーン１０と背景部分との境界線を決定し、当該境界線の位置に関する投写対象位置情報を生成する。なお、差分画像を用いるのは蛍光灯等の光が撮像画像４００等に写ることによるノイズの影響をなくすためである。

補正目標位置情報生成部１４２は、形状決定部１３０からの投写対象位置情報に基づき、補正目標位置情報を生成する（ステップＳ５）。図８は、撮像画像４０３における補正後のスクリーン１０の一例を示す図である。例えば、補正目標位置情報生成部１４２は、撮像画像４０３におけるスクリーン１０を１画素分大きくした領域ＡＢＣＤ（図８の破線で示す領域）を設定し、領域ＡＢＣＤの位置に関する（例えば、当該領域の４隅の撮像領域における座標値等を示す）補正目標位置情報を生成する。

座標変換部１４４は、補正目標位置情報生成部１４２からの補正目標位置情報に基づき、領域ＡＢＣＤの撮像領域における座標値を液晶パネルにおける座標値に変換する（ステップＳ６）。なお、この変換としては、具体的には、例えば、射影変換等が該当する。

領域設定部１４６は、座標変換部１４４による座標変換後の座標値に基づき、補正目標領域を設定する（ステップＳ７）。次に、補正目標領域の設定について、より詳細に説明する。図９は、第１の実施例における補正目標領域設定手順を示すフローチャートである。

領域設定部１４６は、形状決定部１３０によって差分画像におけるスクリーン１０の４辺が検出されたかどうかを判定する（ステップＳ１１）。また、領域設定部１４６は、４辺が検出されなかった場合、スクリーン１０の３辺が検出されたかどうかを判定する（ステップＳ１２）。

図１０は、垂直消失点Ｖと水平消失点Ｈを示す模式図である。例えば、図１０に示す例では、スクリーン１０の上辺、下辺、左辺の３辺が検出されている。領域設定部１４６は、３辺が検出されている場合、垂直、水平のどちらか一方の消失点に基づき、もう一方の消失点を決定する（ステップＳ１３）。

具体的には、例えば、領域設定部１４６は、図１０に示す例の場合、Ｚ＝１である平面に仮想投写面１４を設定し、スクリーン１０の上辺の延長線と下辺の延長線が交わる水平消失点Ｈの座標値を演算する。

垂直消失点Ｖは左辺の延長線上にあり、かつ、各消失点と原点Ｏのなす角ＨＯＶは直角である。領域設定部１４６は、この性質を利用してスクリーン１０の左辺の延長線と右辺の延長線が交わる垂直消失点Ｖの座標値を演算する。

一方、３辺が検出されていない場合、領域設定部１４６は、スクリーン１０の縦辺（左辺または右辺）と横辺（上辺または下辺）が検出されているかどうかを判定する（ステップＳ１４）。縦辺と横辺が検出されている場合、領域設定部１４６は、縦投写角、横投写角、ロール角が変数の式に基づき、各消失点を決定する（ステップＳ１５）。

例えば、縦投写角をθ、横投写角をφ、ロール角をψとすると、仮想投写面１４における各消失点の座標値（Ｘ，Ｙ）は、

で表される。なお、これらの式の根拠については後述する。

また、ここで、縦投写角は、例えば、スクリーン１０と投写部１９０による投写光の光軸との垂直方向の相対的な角度のことであり、横投写角は、例えば、スクリーン１０と投写部１９０による投写光の光軸との水平方向の相対的な角度のことである。また、縦投写角は縦投写角判定部１８０によって判定されるプロジェクタ１００の垂直方向の傾きを示す値であってもよい。

領域設定部１４６は、縦投写角判定部１８０によって判定されたプロジェクタ１００の垂直方向の傾きを示す値をθに代入することにより、上記の式をφとψの連立方程式として解くことができ、垂直消失点と水平消失点を決定することができる。

一方、横辺と縦辺が検出されていない場合、領域設定部１４６は、スクリーン１０の上辺と下辺が検出されているかどうかを判定する（ステップＳ１６）。上辺と下辺が検出されている場合、領域設定部１４６は、ステップＳ１５と同様に各消失点を決定する（ステップＳ１７）。具体的には、領域設定部１４６は、上辺と下辺の位置情報から水平消失点を決定することができる。また、垂直消失点は、ステップＳ１５と同様に、縦投写角判定部１８０によって判定されたプロジェクタ１００の垂直方向の傾きを示す値をθに代入することにより、上記の式をφとψの連立方程式として解くことができ、垂直消失点を決定することができる。

一方、上辺と下辺が検出されていない場合、領域設定部１４６は、スクリーン１０の上辺または下辺が検出されているかどうかを判定する（ステップＳ１８）。上辺または下辺が検出されている場合、領域設定部１４６は、特開２００６−６０４４７号に記載された従来の手法を用いて各消失点を決定する（ステップＳ１９）。

また、以上の条件のいずれにも当てはまらない場合、画像生成部１５０は、画像情報１２２に基づき、画像の歪みを補正できないことを示す画像を生成し、投写部１９０は、当該画像を投写し（ステップＳ２０）、プロジェクタ１００は歪み補正処理を終了する。

また、領域設定部１４６は、ステップＳ１３、Ｓ１５、Ｓ１７、Ｓ１９のいずれかの処理によって消失点を決定した場合、既知のスクリーン１０の座標値と、各消失点の座標値に基づき、補正目標領域の不足辺を補完する（ステップＳ２１）。

以上の手順により補正目標領域の形状が決定される。補正目標領域の形状が決定された状態で、領域設定部１４６は、補正目標領域のアスペクト比を補正する（ステップＳ２２）。ここで、アスペクト比補正手順についてより詳細に説明する。図１１は、第１の実施例におけるアスペクト比補正手順を示すフローチャートである。

アスペクト比演算部１７０は、領域設定部１４６によって決定された補正目標領域のアスペクト比を演算する（ステップＳ３０）。なお、アスペクト比は、縦辺の長さを横辺の長さで割った値である。例えば、横辺の長さ：縦辺の長さが４：３であれば、アスペクト比は０．７５である。

判定部１７２は、形状決定部１３０によってスクリーン１０の４辺が検出されたかどうかを判定する（ステップＳ３１）。当該４辺が検出されている場合、判定部１７２は、条件を補正目標領域のアスペクト比と基準アスペクト比の差が１０％以内に設定する（ステップＳ３２）。

なお、基準アスペクト比は、例えば、プロジェクタ１００の製造業者やユーザーによって設定される望ましいアスペクト比のことであり、基準データ１２６の一部として記憶部１２０に記憶されている。例えば、基準アスペクト比が０．７５である場合、上記条件は補正目標領域のアスペクト比が０．６７５以上０．８２５以下となる。

また、判定部１７２は、上記４辺が検出されていない場合、条件を補正目標領域のアスペクト比と基準アスペクト比の差が３％以内に設定する（ステップＳ３２）。例えば、基準アスペクト比が０．７５である場合、この条件は補正目標領域のアスペクト比が０．７２７５以上０．７７２５以下となる。

そして、判定部１７２は、アスペクト比演算部１７０によって演算された補正目標領域のアスペクト比が、設定した条件を満たすかどうかを判定する（ステップＳ３４）。条件を満たさない場合、判定部１７２は、基準アスペクト比になるように補正目標領域を設定する（ステップＳ３５）。

判定部１７２は、液晶パネルにおける最終的な補正目標領域の４隅の座標値を示す情報を画像生成部１５０に出力する。画像生成部１５０は、当該情報と、画像情報１２２に基づき、液晶パネルにおける補正目標領域に画像を生成する（ステップＳ８）。投写部１９０は、当該画像を投写する（ステップＳ９）。

以上のように、本実施例によれば、プロジェクタ１００は、補正目標領域のアスペクト比と基準アスペクト比との相違を示す値が設定条件を満たすかどうかを判定し、当該判定結果に応じたアスペクト比で画像を投写することにより、状況に応じたアスペクト比で画像を投写することができる。

また、本実施例によれば、プロジェクタ１００は、撮像情報に基づいてスクリーン１０の少なくとも一部の形状を決定することができるため、操作情報を入力することなく、正確に画像の歪みを補正でき、所望のアスペクト比で画像を投写することができる。

また、本実施例によれば、プロジェクタ１００は、撮像画像にスクリーン１０の全部が含まれない場合であってもスクリーン１０の未決定部分を補完することができるため、より汎用的に状況に応じたアスペクト比で画像を投写することができる。

また、本実施例によれば、プロジェクタ１００は、アスペクト比の相違を範囲で判定することにより、測定誤差等を吸収することができるため、スクリーン１０に非表示領域が発生する事態の発生を抑制することができる。

また、本実施例によれば、プロジェクタ１００は、形状決定部１３０によってスクリーン１０の全形状が決定されない場合は当該全形状が決定される場合と比べて判定用の範囲を狭く設定することにより、画像の歪み等が大きい場合により厳しく判定することができ、誤った形状で画像を投写する事態の発生を抑制することができる。

また、本実施例によれば、プロジェクタ１００は、スクリーン１０の形状よりも少なくとも１画素分広い領域を補正目標領域として設定することにより、スクリーン１０に非表示領域が発生する事態の発生を抑制することができる。

また、本実施例によれば、プロジェクタ１００は、投写パネルの座標系におけるスクリーン１０の辺によって形成される垂直方向および水平方向の消失点の座標値を決定するととともに、当該座標値に基づき、形状決定部１３０によるスクリーン１０の未決定部分を補完することにより、プロジェクタ１００が、投写光の光軸に対して傾いている場合や撮像部１１０の取り付け誤差が発生している場合であっても正確に画像の歪みを補正することができる。

また、本実施例によれば、プロジェクタ１００は、プロジェクタ１００の回転角を変数とする演算を行うことにより、投写光の光軸に対して傾いている場合であっても正確に画像の歪みを補正することができる。また、本実施例によれば、プロジェクタ１００は、当該回転角を０度として演算することにより、プロジェクタ１００の回転角を変数とする演算を行うことができない場合であっても、画像の歪みを補正することができる。

また、本実施例によれば、プロジェクタ１００は、投写パネルにおける座標値に基づいて補正目標領域を設定することにより、撮像部１１０の取り付け状態に誤差が生じている場合であっても画像の歪みを適切に補正することができる。

（消失点の求め方についての説明）
ここで、上述した消失点の求め方についてより詳細に説明する。ピッチ角θとヨー角φを固定しておけば、スクリーン１０がロール方向に回転しても補正形状には影響しないため、ピッチ角θ、ヨー角φ、ロール角ψの順序でプロジェクタ１００を回転させることとする。

ピッチ角θ、ヨー角φ、ロール角ψの回転を行う３次元の回転行列は、

したがって、

となる（θは向きが逆なので−θの回転になっている）。

これは、プロジェクタ１００を外から見たときの回転であり、プロジェクタ１００自身からはこの行列とは反対方向に回転しているように見える。したがって、プロジェクタ１００から見たスクリーン１０の回転を表す座標変換行列はこの逆行列になる。回転行列は、直交行列の一種であるため、逆行列を求めるには、

を求めればよい。

転置行列Ｒ’で回転前の水平方向の無限遠点[1:0:0]と垂直方向の無限遠点[0:1:0]を回転させると消失点を求めることができる。すなわち、３次元空間においては、垂直消失点と水平消失点は互いに直交している。なお、奥行方向の無限遠点[0:0:1]を回転させるとスクリーン１０の法線を求めることができる。具体的には、
垂直消失点Ｖ＝[sinψcosφ:-sinψsinφsinθ+cosψcosθ:sinψsinφcosθ+cosψsinθ]・・・式（３）
水平消失点Ｈ＝[cosψcosφ:-cosψsinφsinθ-sinψcosθ:cosψsinφcosθ-sinψsinθ]・・・式（４）
スクリーン１０の法線=[-sinφ:-cosφsinθ:cosφcosθ]
となる。

なお、ここで、[x:y:z]は射影幾何学における点(x,y,z)を表している。垂直消失点Ｖと水平消失点Ｈの３次元座標値をＺ成分で割ることにより、上述した式（１）および（２）で座標値を表すことができる。

また、垂直消失点Ｖとスクリーン１０の横辺から水平消失点を求める場合は以下の演算を行えばよい。上述したように、垂直消失点Ｖと水平消失点Ｈは３次元空間では直交している。したがって、垂直消失点Ｖ[a:b:c]とすると、水平消失点ＨはＶを法線とする平面上になければならない。Ｖを法線とする平面の方程式はax+by+cz=0なので、z=1を代入すれば、水平消失点Ｈは直線ax+by+c=0上にあることになる。したがって、水平消失点Ｈは横辺と直線ax+by+c=0の交点として求められる。

また、スクリーン１０の縦辺および横辺と縦投写角θから以下の演算を行うことにより、垂直消失点Ｖを求めることができる。まず、左辺または右辺の式をAx+By+C=0とし、上辺または下辺の式をDx+Ey+F=0とする。

上述した垂直消失点Ｖおよび水平消失点Ｈの式をそれぞれ縦辺および横辺の式に代入してまとめると、
0=Atanψcosφ+Bcosθ+Csinθ+(-Bsinθ+Cc osθ)tanψsinφ
0=Dcosφ-(Ecosθ+Fsinθ)tanψ+(-Esinθ+Fcosθ)sinφ
となる。縦投写角判定部１８０からθを得ることができ、この２式に含まれる未知数はφとψだけとなるため、垂直消失点Ｖを求めることができる。

また、水平消失点Ｈと縦投写角θから以下の演算を行うことにより、垂直消失点Ｖを求めることができる。まず、式（３）および（４）を縦投写角判定部１８０からのθを用いてＸ軸に対して回転すると、
垂直消失点Ｖ’＝[sinψcosφ:cosψ:sinψsinφ]
水平消失点Ｈ’＝[cosψcosφ:-sinψ:cosψsinφ]
となる。

水平消失点Ｈは既知であるため、θ回転したＨ’の成分も求められる。そこで、Ｈ’の成分からＶ’を求めるため、Ｖ’の成分を定数倍すると、
垂直消失点Ｖ’＝[cosφ:cosψ/sinψ:sinφ]
=[cosψcosφ:-sinψ-(1/-sinψ):cosψsinφ]
となる。

したがって、この式のＹ成分をV'y=H'y-(1/H'y)と置き換えるとＨ’からＶ’を求めることができる。Ｖ’が求められた場合、Ｘ軸を中心に−θ回転させることにより、垂直消失点Ｖを求めることができる。

また、縦投写角判定部１８０からのθのみから垂直消失点Ｖを求める場合は、ロール角ψを０度とする。式（１）にψ＝０を代入すると、垂直消失点Ｖ＝（０，１／ｔａｎθ）となり、θから垂直消失点Ｖを求めることができる。

（第２の実施例）
図１２は、第２の実施例におけるプロジェクタ１０１の機能ブロック図である。プロジェクタ１０１は、撮像部１１０に代えてユーザーの操作情報１２８を入力する操作部１６０を有している。また、記憶部１２０は、撮像情報１２４に代えて操作情報１２８を記憶する。

例えば、ユーザーがリモコン（リモートコントローラ）を用いて投写画像１２の４隅をスクリーン１０の４隅に移動させる操作を行った場合、操作部１６０は、当該操作の内容を示す操作情報１２８を入力し、記憶部１２０に記憶する。形状決定部１３０は、操作情報１２８に基づいてスクリーン１０の形状を決定し、補正目標領域設定部１４０は、当該形状に応じて補正目標領域を設定する。

以上のように、撮像情報を用いない場合であっても、プロジェクタ１０１は、第１の実施例と同様に、正確に画像の歪みを補正することができる。

（その他の実施例）
なお、本発明の適用は上述した実施例に限定されず、種々の変形が可能である。例えば、本発明の適用は、画像の歪み補正には限定されず、例えば、指示位置の検出、画像の明るさ補正、画像の色補正等に適用されてもよい。

また、ステップＳ３２における条件の値は１０％には限定されず、ステップＳ３３における条件の値も３％には限定されず、任意の数値を適用可能である。また、ステップＳ３２およびステップＳ３３における条件が同一の条件であってもよい。また、ステップＳ３２〜Ｓ３４では、判定部１７２は、補正目標領域のアスペクト比と基準アスペクト比との差分値を用いて判定しているが、差分値以外にも、例えば、比率等の相違を示す種々の値を採用可能である。

また、上述した実施例ではスクリーン１０よりも１画素分大きい領域を適用したが、スクリーン１０と一致する領域であってもよく、スクリーン１０よりも２画素分以上大きい領域であってもよい。また、当該領域は、液晶パネルの画素数と撮像領域の画素数の比率から決定されてもよい。

また、プロジェクタ１００、１０１がズーム機能を有する場合、プロジェクタ１００、１０１は、ズーム状態に応じた補正を行ってもよい。また、上述した実施例では、撮像画像の差分画像を用いているが、撮像画像４００、４０１をそのまま用いてもよい。また、キャリブレーション画像は、上述したキャリブレーション画像３００〜３０２には限定されない。例えば、プロジェクタ１００、１０１は、キャリブレーション画像３００のみを用いてもよいし、キャリブレーション画像３０１のみを用いてもよいし、キャリブレーション画像３０１に代えて白と黒の市松模様のキャリブレーション画像を用いてもよい。

また、投写対象物は、スクリーン１０には限定されず、例えば、ホワイトボード、黒板、壁に設けられた長方形枠等の矩形の投写対象領域を有する種々の投写対象物を採用可能である。また、プロジェクタ１００、１０１としては、例えば、液晶プロジェクタ、ＣＲＴ（Cathode Ray Tube）プロジェクタ、ＤＭＤ（Digital Micromirror Device）を用いたプロジェクタ等を用いてもよい。なお、ＤＭＤは米国テキサスインスツルメンツ社の商標である。

従来の投写画像を示す図である。プロジェクタのロール角を示す図である。従来の歪み補正後の投写画像を示す図である。第１の実施例におけるプロジェクタの機能ブロック図である。第１の実施例における投写手順を示すフローチャートである。図６（Ａ）は、全白のキャリブレーション画像を示す図であり、図６（Ｂ）は、中央白のキャリブレーション画像を示す図であり、図６（Ｃ）は、全黒のキャリブレーション画像を示す図である。図７（Ａ）は、全白のキャリブレーション画像の撮像画像を示す図であり、図７（Ｂ）は、中央白のキャリブレーション画像の撮像画像を示す図であり、図７（Ｃ）は、全黒のキャリブレーション画像の撮像画像を示す図である。撮像画像における補正後のスクリーンの一例を示す図である。第１の実施例における補正目標領域設定手順を示すフローチャートである。垂直消失点と水平消失点を示す模式図である。第１の実施例におけるアスペクト比補正手順を示すフローチャートである。第２の実施例におけるプロジェクタの機能ブロック図である。

符号の説明

１０スクリーン、１２投写画像、１４仮想投写面、２０、１００、１０１プロジェクタ、１１０撮像部、１２０記憶部、１２２画像情報、１２４撮像情報、１２６基準データ、１２８操作情報、１３０形状決定部、１４０補正目標領域設定部、１４２補正目標位置情報生成部、１４４座標変換部、１４６領域設定部、１５０画像生成部、１６０操作部、１７０アスペクト比演算部、１７２判定部、１８０縦投写角判定部、１９０投写部、２００情報記憶媒体、３００〜３０２キャリブレーション画像、４００〜４０３撮像画像

Claims

キャリブレーション画像を、投写パネルを介して矩形の投写対象物へ向け投写する投写部と、
前記キャリブレーション画像が前記投写対象物に投写された状態における撮像部からの撮像情報に基づき、前記投写対象物の少なくとも一部の形状を決定する形状決定部と、
当該形状決定部によって決定された形状に沿った領域であって、かつ、前記投写パネルにおける領域である補正目標領域を設定する補正目標領域設定部と、
プロジェクタの縦方向の投写角を判定する縦投写角判定部と、
を含み、
前記補正目標領域設定部は、
前記撮像部の内部の撮像領域における前記補正目標領域の座標値を、前記投写パネルにおける座標値に変換する座標変換部と、
当該座標変換部による変換後の座標値に基づき、前記投写パネルにおける前記補正目標領域を設定する領域設定部と、
を含み、
前記領域設定部は、前記形状決定部によって前記投写対象物の水平方向の少なくとも１辺および前記投写対象物の垂直方向の少なくとも１辺が決定されたという条件、あるいは、前記形状決定部によって前記投写対象物の上辺および下辺が決定されたという条件である第１の条件に該当する場合、前記プロジェクタの縦方向の投写角、前記プロジェクタの横方向の投写角及び前記投写部の光軸に対する前記プロジェクタの回転角を変数として、前記縦投写角判定部によって判定された前記縦方向の投写角を示す値に基づき演算することにより、前記形状決定部による前記投写対象物の未決定部分を補完する、
プロジェクタ。
請求項１に記載のプロジェクタにおいて、
前記領域設定部は、前記プロジェクタの縦方向の投写角、前記プロジェクタの横方向の投写角及び前記投写部の光軸に対する前記プロジェクタの回転角を変数とする式に、前記縦投写角判定部によって判定された前記縦方向の投写角を示す値を代入して演算すること
により、前記形状決定部による前記投写対象物の未決定部分を補完する、
プロジェクタ。
請求項１、２のいずれかに記載のプロジェクタにおいて、
前記補正目標領域設定部は、前記撮像情報に基づき、前記撮像領域における前記補正目標領域の位置に関する補正目標位置情報を生成する補正目標位置情報生成部を含み、
前記撮像部は、前記投写部によって投写された前記キャリブレーション画像の少なくとも一部と、前記投写対象物の少なくとも一部とを含む領域を撮像して撮像画像を示す前記撮像情報を生成し、
前記形状決定部は、前記撮像情報に基づき、前記撮像領域における前記投写対象物の位置に関する投写対象位置情報を生成し、
前記補正目標位置情報生成部は、前記投写対象位置情報に基づき、前記補正目標位置情報を生成し、
前記座標変換部は、前記補正目標位置情報に基づき、前記撮像領域における前記補正目標領域の座標値を、前記投写パネルにおける座標値に変換する、
プロジェクタ。
請求項１〜３のいずれかに記載のプロジェクタにおいて、
前記領域設定部は、前記第１の条件に該当せず、前記形状決定部によって前記投写対象物の上辺または下辺が決定された場合である第２の条件に該当する場合、前記投写部の光軸に対する前記プロジェクタの回転角を０度として演算することにより、前記形状決定部による前記投写対象物の未決定部分を補完する、
プロジェクタ。
投写部を含むプロジェクタの有するコンピュータにより読み取り可能なプログラムであって、
前記コンピュータを、
キャリブレーション画像を、投写パネルを介して矩形の投写対象物へ向け前記投写部に投写させる投写制御部と、
前記キャリブレーション画像が前記投写対象物に投写された状態における撮像部からの撮像情報に基づき、前記投写対象物の少なくとも一部の形状を決定する形状決定部と、
当該形状決定部によって決定された形状に沿った領域であって、かつ、前記投写パネルにおける領域である補正目標領域を設定する補正目標領域設定部として機能させ、
前記補正目標領域設定部は、
前記撮像部の内部の撮像領域における前記補正目標領域の座標値を、前記投写パネルにおける座標値に変換する座標変換部と、
当該座標変換部による変換後の座標値に基づき、前記投写パネルにおける前記補正目標領域を設定する領域設定部と、
を含み、
前記領域設定部は、前記形状決定部によって前記投写対象物の水平方向の少なくとも１辺および前記投写対象物の垂直方向の少なくとも１辺が決定されたという条件、あるいは、前記形状決定部によって前記投写対象物の上辺および下辺が決定されたという条件である第１の条件に該当する場合、前記プロジェクタの縦方向の投写角、前記プロジェクタの横方向の投写角及び前記投写部の光軸に対する前記プロジェクタの回転角を変数として、前記プロジェクタの縦方向の投写角を判定する縦投写角判定部によって判定された前記縦方向の投写角を示す値に基づき演算することにより、前記形状決定部による前記投写対象物の未決定部分を補完する、
プログラム。
請求項５に記載のプログラムにおいて、
前記領域設定部は、前記プロジェクタの縦方向の投写角、前記プロジェクタの横方向の投写角及び前記投写部の光軸に対する前記プロジェクタの回転角を変数とする式に、前記縦投写角判定部によって判定された前記縦方向の投写角を示す値を代入して演算することにより、前記形状決定部による前記投写対象物の未決定部分を補完する、
プログラム。
投写部を含むプロジェクタの有するコンピュータにより読み取り可能なプログラムを記憶した情報記憶媒体であって、
請求項５、６のいずれかに記載のプログラムを記憶した情報記憶媒体。
投写部を含むプロジェクタの有するコンピュータによる画像生成方法であって、
前記コンピュータは、
キャリブレーション画像を、投写パネルを介して矩形の投写対象物へ向け前記投写部に投写させ、
前記キャリブレーション画像が前記投写対象物に投写された状態における撮像部からの撮像情報に基づき、前記投写対象物の少なくとも一部の形状を決定し、
当該決定において、前記投写対象物の水平方向の少なくとも１辺および前記投写対象物の垂直方向の少なくとも１辺を決定したという条件、あるいは、前記投写対象物の上辺および下辺を決定したという条件である第１の条件に該当する場合、前記プロジェクタの縦方向の投写角、前記プロジェクタの横方向の投写角及び前記投写部の光軸に対する前記プロジェクタの回転角を変数として、前記プロジェクタの縦方向の投写角を判定する縦投写角判定部によって判定された前記縦方向の投写角を示す値に基づき演算することにより、前記投写対象物の未決定部分を補完し、
前記決定または前記補完によって決定した形状に沿った補正目標領域であって、前記撮像部の内部の撮像領域における前記補正目標領域の座標値を、前記投写パネルにおける座標値に変換し、
当該変換後の座標値に基づき、前記投写パネルにおける前記補正目標領域を設定する、
画像生成方法。
請求項８に記載の画像生成方法において、
前記プロジェクタの縦方向の投写角、前記プロジェクタの横方向の投写角及び前記投写部の光軸に対する前記プロジェクタの回転角を変数とする式に、前記縦投写角判定部によって判定された前記縦方向の投写角を示す値を代入して演算することにより、前記投写対象物の未決定部分を補完する、
画像生成方法。