JPWO2007072695A1 - 画像投射装置 - Google Patents

Abstract

本発明の画像投射装置は、投射面に応じた補正画像を投射する画像投射装置であって、投射された画像を撮像する撮像部（１１０）と、撮像された画像に基づいて、投射面に起因する画像の歪みを補正する補正パラメータを計算する補正パラメータ計算部（１０７）と、前記補正パラメータを用いて画像を補正することにより補正画像を生成する補正部（１０８）と、原画像に対する補正画像の再現度を計算する再現度計算部（１０９）と、再現度に関するガイダンス画像を生成する画像生成部（１１１）と、ガイダンス画像の投射を制御する制御部（１００）とを備える。

Description

本発明は、投射面の形状および色の少なくとも一方に応じた補正画像を投射する画像投射装置に関する。

従来の画像投射装置（プロジェクタ装置）として、特許文献１等には、投射面の形状に応じて画像の歪み補正を行い、凸凹のある面や曲面の投射面に対しても表示画像の歪みを補正するプロジェクタ装置が開示されている。

また、非特許文献１等には、投射面の色や形状に応じて画像を補正し、補正画像を投射することによって原画像により近い投射結果を得るプロジェクタ装置が開示されている。このプロジェクタ装置は、白スクリーンだけでなく柄のあるカーテンや、色が一様でない壁や、壁のコーナーなど、部屋の中の任意の場所を投射面として利用可能にしている。
特開２００１−６１１２１号公報 特開２００２−７１３１５号公報 Oliver Bimber,Andreas Emmerling,Thomas Klemmer「Embeded Entertainment with Smart Projectors」(IEEE Computer January,2005 pp48-55）

しかしながら、従来の画像投射装置によれば、投射面の色や形状に応じて画像を補正することによって、原画像に近い画像を投射することを可能にするが、使用者にとってはどの程度原画像に近い画像が得られているのかがわからず、より原画像に近い画像を得たくてもどうしていいかわからなかった。例えば、柄のある壁に投射した場合と、柄あるカーテンに投射した場合と、柄のある壁と柄のあるカーテンに跨って投射した場合とで、原画像に最も近い画像が得られる場合がどれであるのか使用者にはわかりにくく、より原画像に近い補正画像を確実に利用することは困難だった。

本発明は、使用者がより原画像に近い画像を利用することを容易にする画像投射装置、方法を提供することを目的とする。

上記課題を解決するため本発明の画像投射装置は、投射された画像を撮像する撮像手段と、撮像された画像の原画像に対する再現度を計算する計算手段と、前記再現度に基づいて画像の投射を制御する制御手段とを備える。

この構成によれば、原画像に対する撮像された画像の再現度に基づいて画像の投射を制御するので、より原画像に近い画像を利用することを容易にすることができる。言い換えれば、再現度の高い投射領域の利用を容易にする。

また、本発明の画像投射装置は、投射面に応じた補正画像を投射する画像投射装置であって、投射された画像を撮像する撮像手段と、撮像された画像に基づいて、投射面に起因する画像の歪みを補正する補正パラメータを計算する第１計算部と、前記補正パラメータを用いて画像を補正することにより補正画像を生成する補正手段と、補正手段により生成された補正画像、投射と撮像を通して得られた補正画像の一方について、原画像に対する再現度を計算する第２計算手段と、前記再現度に基づいて画像の投射を制御する制御手段とを備える。

この構成によれば、原画像に対する撮像された補正画像の再現度に基づいて画像の投射を制御するので、より原画像に近い補正画像を利用することを容易にすることができる。言い換えれば、再現度の高い投射領域の利用を容易にする。

ここで、前記画像投射装置は、さらに、前記再現度に関するガイダンス画像を生成する画像生成手段を備え、前記制御部は、前記ガイダンス画像の投射を制御してもよい。

この構成によれば、使用者はガイダンス画像によって再現度に関する情報を得るので、より原画像に近い補正画像を利用することができる。

ここで、前記画像生成手段は、前記再現度に応じて投射面に対する投射の適否を判定し、判定結果を示すガイダンス画像を生成してもよい。

この構成によれば、使用者はガイダンス画像によって投射の適否を知ることができるので、より原画像に近い補正画像を確実に利用することができる。

ここで、前記画像生成手段は、前記適否の判定において用途に応じたしきい値を選択し、選択されたしきい値を用いてもよい。

この構成によれば、投射の適否を用途に応じて適切に判定することができる。

ここで、前記第２計算手段は、投射面における投射領域に含まれる複数の部分領域毎に前記再現度を計算し、前記ガイダンス生成手段は、前記再現度に応じて前記部分領域毎に投射の適否を判定し、領域毎の判定結果を示すガイダンス画像を生成してもよい。

この構成によれば、使用者は投射の適否を部分領域毎に知ることができる。

ここで、前記第２計算手段は、投射面における投射領域に含まれる複数の部分領域毎に前記再現度を計算し、前記ガイダンス生成手段は、領域毎の前記再現度に関するガイダンス画像を生成してもよい。

この構成によれば、使用者は再現度に関する情報を部分領域毎に知ることができる。

ここで、前記制御手段は、前記再現度が所定の値よりも大きいとき、画像を補正しかつ投射するよう制御してもよい。

この構成によれば、再現度がしきい値よりも大きい場合、つまり再現度が良い場合だけ投射することができる。

ここで、前記第２計算手段は、補正画像と原画像との間で対応する画素同士を比較することによって、前記再現度を計算してもよい。

この構成によれば、投射された補正画像を撮像した画像についての再現度が計算されるので、色の再現性と形状の再現性の両者を併せ持つ再現度を得ることができる。それゆえ、投射面の形状がかなり複雑である場合や、壁のコーナーである場合等に効果的である。

ここで、前記制御手段は、投射面に投射された補正画像を前記撮像手段に撮像させ、前記第２計算手段は、撮像手段によって補正画像から得られた撮像画像と、原画像との間で対応する画素同士を比較することによって、前記再現度を計算してもよい。

この構成によれば、投射された補正画像を撮像する場合と比べて、再現度の計算が完了するまでの時間を短縮することができる。また、逆変換された補正画像の再現度は、主に色の再現性を表すが、投射面の形状がよほど複雑でない限り、十分実用的である。

ここで、前記画像投射手段は、さらに、投射方向を変更する変更手段を備え、前記制御手段は、拡大領域を得るための複数の投射方向を決定し、前記拡大領域は前記複数の投射方向に対応する複数の投射領域によって形成され、前記第２計算手段は、複数の投射領域の個々の投射領域毎に再現度を計算し、投射領域毎の前記再現度に基づいて前記拡大領域の再現度を計算してもよい。

この構成によれば、投射領域よりも広範な拡大領域に対して再現度を得ることができるので、より確実に再現度の高い投射領域を探すことできる。

ここで、前記制御手段は、さらに、ユーザ操作に基づいて部分領域を選択し、選択された部分領域に画像を投射するよう制御してもよい。

この構成によれば、使用者に最も再現度の高い投射領域の選択を促すことができる。

また、本発明の制御方法、半導体装置、プログラムについても上記と同様に構成されているので、説明を省略する。

本発明の画像投射装置によれば、より原画像に近い補正画像を利用することを容易にすることができる。言い換えれば、再現度の高い投射領域の利用を容易にする。

図１は、本発明の実施の形態１における画像投射装置の構成を示すブロック図である。 図２（ａ）〜（ｃ）は、被投射対象の例を示す説明図である。 図３（ａ）〜（ｄ）は、補正部１０８による補正の説明するための説明図である。 図４（ａ）〜（ｄ）は、再現度に関するガイダンス画像の例を示す説明図である。 図５Ａは、再現度取得提示処理を示すフローチャート図である。 図５Ｂは、再現度取得提示処理の他の例を示すフローチャート図である。 図６は、再現度計算処理の詳細を示すフローチャート図である。 図７は、ガイダンス画像生成処理の詳細を示すフローチャート図である。 図８は、補正パラメータ取得処理の詳細を示すフローチャート図である。 図９（ａ）〜（ｃ）は、テストパターン画像の例を示す説明図である。 図１０は、補正パラメータ計算処理の詳細を示すフローチャート図である。 図１１（ａ）〜（ｃ）は、投射枠決定の説明図である。 図１２（ａ）〜（ｃ）は、テストパターン画像の例を示す図である。 図１３は、マップ表の一例を示す図である。 図１４は、実施の形態２における画像投射装置の構成を示すブロック図である。 図１５（ａ）〜（ｆ）は、拡大領域の説明図である。 図１６は、補正および再現度の拡大処理を示すフローチャート図である。

符号の説明

１、２ 画像投射装置
１００、２００ 制御部
１０１ 投射部
１０２ 撮像部
１０３ 画像メモリ
１０４ パターン画像生成部
１０５ａ〜１０５ｃ スイッチ
１０６ 画像処理部
１０７ 補正パラメータ計算部
１０８ 補正部
１０９ 再現度計算部
１１０ 補正パラメータ記憶部
１１１ ガイダンス画像生成部
２０１ 首振り部

（実施の形態１）
図１は、本発明の実施の形態１における画像投射装置の構成を示すブロック図である。同図の画像投射装置１は、投射面の形状および色に応じた補正画像を投射する画像投射装置であって、制御部１００、投射部１０１、撮像部１０２、画像メモリ１０３、パターン画像生成部１０４、スイッチ１０５ａ、１０５ｂ、１０５ｃ、画像処理部１０６、補正パラメータ計算部１０７、補正部１０８、再現度計算部１０９、補正パラメータ記憶部１１０およびガイダンス画像生成部１１１を備え、再現度計算部１０９によって計算される再現度に基づいて画像の投射を制御する。

制御部１００は、画像投射装置１全体の制御を行い、次の処理等を制御する。（ａ）投射面の形状および色に応じて画像を補正するための補正パラメータを取得する処理、（ｂ）補正パラメータを用いて補正画像を生成する補正処理、（ｃ）原画像に対する補正画像の再現度を取得する処理、（ｄ）再現度に関するガイダンス画像の生成処理および投射する処理。本発明は、主として上記（ｃ）、（ｄ）に関する。上記（ａ）、（ｂ）は従来技術同様であってもよいし、本実施形態で後述するようにしてもよい。

ここで、原画像とは補正されていない画像、つまり補正部１０８に入力されていない画像をいい、例えば、スイッチ１０５ｃに入力されるパターン画像生成部１０４から出力されるパターン画像、外部からの映像信号に含まれる画像、ガイダンス画像生成部１１１から出力されるガイダンス画像等をいう。補正画像とは、投射面の形状および色に起因する画像の歪（形状の歪と色の歪）を抑制するために補正された画像をいう。また、再現度とは、原画像に対して、投射された補正画像が一致する度合い示し、つまり、投射された補正画像が原画像にどれだけ近い画像を再現しているかを示す。例えば、再現度は、パーセントで表され、原画像と補正画像が完全に一致する場合は１００パーセントである。

投射部１０１は、液晶透過型やマイクロミラー反射型などの投射器を有し、画像処理部１０６からの画像を投射する。本実施例では、外部から入力される映像信号以外に、パターン画像生成部１０４により生成され上記（ａ）で用いられるテストパターン画像や、補正部１０８から出力され上記（ｃ）で用いられる補正されたテストパターン画像や、ガイダンス画像生成部１１１に生成され上記（ｄ）で用いられるガイダンス画像などがある。

図２（ａ）〜（ｃ）は、投射部１０１の被投射対象となる投射面の例を示す図である。図２（ａ）は部屋の側壁Ｗ１とＷ２の角に投射する場合を示している。この場合側壁Ｗ１とＷ２の角を挟んで投射領域に歪（形状歪）が生じるが、この形状歪は補正部１０８によって補正可能である。図２（ｂ）は部屋の側壁Ｗ３と家具Ｆ１に投射する場合を示している。側壁Ｗ３と家具Ｆ１による角の部分で形状歪みが生じ、側壁Ｗ３と家具Ｆ１との色調の差、側壁Ｗ３の柄、家具Ｆ１の柄により色歪が生じるが、これらの歪は補正部１０８によって補正可能である。図２（ｃ）は部屋のカーテンＣ１に投射する場合を示している。カーテンＣ１の形状による形状歪と柄による色歪が生じるが、これらの歪も補正部１０８によって補正可能である。

撮像部１０２は、ＭＯＳまたはＣＣＤ固体撮像素子を有するカメラであり、投射部１０
１によって投射された前記画像を撮像する。撮像部１０２の撮像領域は、画像投射装置１の通常の使用範囲内では、投射部１０１の投射領域を余裕を持って含むように設定されている。

画像メモリ１０３は、撮像部１０２による撮像画像を保持するためのメモリである。

パターン画像生成部１０４、上記（ａ）および（ｃ）で用いられる複数種類のテストパターン画像を生成する。

スイッチ１０５ａ、１０５ｂは、制御部１００により制御され、共にＡ端子に接続された場合は、パターン画像生成部１０４に生成された原画像を補正部１０８を介して画像処理部１０６に出力し、共にＢ端子に接続された場合は、原画像をそのまま画像処理部１０６に出力する。

スイッチ１０５ｃは、原画像のソースを選択する。具体的には、制御部１００の制御の下でスイッチ１０５ｃは、上記（ａ）および（ｃ）においてパターン画像生成部１０４から出力されるパターン画像を選択し、上記（ｄ）においててガイダンス画像生成部１１１から出力されるガイダンス画像を選択し、上記（ａ）〜（ｄ）終了後に外部から入力される映像信号を選択する。

画像処理部１０６は、スイッチ１０５ｂから入力される画像を、投射部１０１に適した形式に変換する処理を行い、変換された画像信号を投射部１０１に出力する。変換処理は、例えば、画像の解像度変換や、ＹＵＶ信号−ＲＢＧ信号変換などである。

補正パラメータ計算部１０７は、上記（ａ）における補正パラメータを計算する。補正パラメータは原画像（スイッチ１０５ａから補正部１０８に入力される画像）の座標毎に座標補正パラメータと色補正パラメータとで表される。例えば、原画像の座標を（ｘ、ｙ）、補正画像の座標を（ｘ’、ｙ’）とすると、座標補正パラメータは、（ｘ、ｙ）、（ｘ’、ｙ’）で表される。色補正パラメータは、原画像の画素値に対する被減算数としての（Ｒ、Ｇ、Ｂ）で表される。

補正部１０８は、補正パラメータを用いて原画像を補正し、補正画像をスイッチ１０５ｂを介して画像処理部１０６に出力する。

図３（ａ）〜（ｄ）は、補正部１０８による補正の説明するための説明図である。図３（ａ）の画像Ｔ１は、テストパターン画像の１つを示し、メッシュを示す画像となっている。図３（ｂ）の画像Ｔ２は、画像Ｔ１を補正することなく、図２（ａ）のように投射部１０１から部屋の角にやや斜め上に投射された投射画像を、撮像部１０２によって撮像した撮像画像を示している。投射画像は、角を中心に大きな形状歪が生じている。図３（Ｃ）の画像Ｔ３は、投射領域が定められた様子を示す。図中白の領域は画像Ｔ２中の投射画像に内接する最大の矩形領域であって、そのアスペクト比が画像Ｔ１のアスペクト比と等しくなるように定められている。図３（ｄ）の画像Ｔ４は、画像Ｔ１に対してあるべき補正画像を表す図である。この画像Ｔ４は、画像Ｔ１に対して（ｉ）画像Ｔ１から画像Ｔ２への変換Ｔ１２の逆の変換（つまり画像Ｔ２から画像Ｔ１への変換Ｔ２１）と、（ｉｉ）画像Ｔ３内の矩形領域へのスケーリングとを行うことにより生成される。この（ｉ）と（ｉｉ）とを実現する座標変換をグリッド（メッシュの交点）毎に求めることにより、形状補正パラメータ（ｘ、ｙ）、（ｘ’、ｙ’）を得ることができる。

再現度計算部１０９は、投射部１０１によって撮像された補正画像と原画像との間で対応する画素を比較することによって、撮像された補正画像の再現度を計算する。例えば、再現度は、撮像された補正画像の全画素のうち、原画像の対応する画素と一致する画素の割合、つまり一致度として計算される。ただし、この場合の一致とは、撮像された補正画像の画素と、原画像の対応する画素との差分が所定値より小さいこととしてもよい。この所定値は誤差として許容される範囲を示す。また、再現度計算部１０９は、撮像された補正画像全体の再現度だけでなく、投射面における投射領域に含まれる複数の部分領域毎に前記再現度を計算する。これにより、投射領域全体で再現度が良くない場合に、再現度が良い部分領域に縮小投射することによって、より原画に近い投射画像を得ることができる。

補正パラメータ記憶部１１０は、補正パラメータ計算部１０７で計算された補正パラメータを記憶する。補正パラメータは、画像投射装置１の設置場所が固定されている場合には、初回の起動時に補正パラメータ計算部１０７が補正パラメータを計算し、次回以降の起動時に、補正パラメータ記憶部１１０に記憶された補正パラメータを繰り返し適用することができる。また投射面が、カーテンのように形状の変わりやすい物体である場合には、補正パラメータ記憶部１１０に記憶された補正パラメータを次回以降の起動時における補正パラメータの初期値として用いることができる。これにより、補正パラメータを求めるためにかかる時間を短縮することができる。

ガイダンス画像生成部１１１は、再現度計算部１０９から出力される再現度に関するガイダンス画像を生成する。その際、ガイダンス画像生成部１１１は、前記再現度に応じて画像全体の再現度に応じて投射の適否と、部分領域毎の再現度に応じて部分領域毎の投射の適否とを判定し、それらの判定結果を示すガイダンス画像を生成する。

図４（ａ）〜（ｄ）はガイダンス画像の例を示す説明図である。

図４（ａ）のガイダンス画像Ｄ１は、「再現度は９０％です。ここに投射してよろしいですか？」というメッセージを含む。これは、撮像された補正画像全体の再現度が良好な場合のガイダンス画像の例であり、再現度を表示するとともに現状での投射を促すメッセージが表示される。

図４（ｂ）のガイダンス画像Ｄ２は、部分領域Ｄ３と部分領域Ｄ４を示す枠（図は破線枠）と、部分領域Ｄ３内の「再現度は８５％です。」というメッセージと、部分領域Ｄ４内の「再現度は４０％です。」というメッセージと、部分領域Ｄ３内の推奨投射枠Ｄ５（図では太線枠）とを含む。これは、撮像された補正画像全体の再現度が良好でないが、再現度が良好な部分領域が存在する場合のガイダンス画像の例であり、推奨投射枠Ｄ５への表示を促している。

図４（ｃ）のガイダンス画像Ｄ６は、「ここでは綺麗に画像を再現できません。他の場所に変更して下さい。」というメッセージを含む。これは、撮像された補正画像全体の再現度が良好でなく、かつ良好な部分領域も存在しない場合のガイダンス画像の例であり、良好な投射場所の変更を促すメッセージが表示される。

図４（ｄ）のガイダンス画像Ｄ７は、推奨投射枠Ｄ８と、推奨投射枠Ｄ８内に「前回の投射場所です。再現率は８０％です」というメッセージを含む。このガイダンス画像Ｄ７は、例えば、図４（ｃ）のガイダンス画像Ｄ６の後にあるいは交互に投射され、ガイダンス画像生成部１１１内部の記憶部に記憶されていた過去のガイダンス画像をアレンジしたガイダンス画像である。これにより、もっと良好な投射場所の変更を強く促すメッセージが表示される。また、上記記憶部は、良好な投射領域を示すガイダンス画像（例えば、ガイダンス画像Ｄ１、Ｄ２）が投射されているときに、撮像部１０２によって撮像された当該ガイダンス画像を背景画像（投影面の画像または投影面とその周辺部の画像）とともに記憶する。ガイダンス画像生成部１１１は、図４（ｃ）のように現在の投射場所の再現度が良好でない場合に、記憶部内の過去のガイダンス画像とその背景画像をアレンジして、変更を促すガイダンス画像を生成する。

図５Ａは、制御部１００の制御による再現度取得および提示処理を示すフローチャートである。同図において、前半（Ｓ５１０まで）は、原画像に対する撮像された補正画像の再現度を計算する処理を、後半（Ｓ５１２以降）は、再現度に基づいて画像の投射を制御する処理を示している。同図の処理は補正パラメータの取得後に実行される。

まず、制御部１００は、パターン画像生成部１０４に１つのテストパターン画像（以下、パターン画像と略す。）を生成させ（Ｓ５００）、スイッチ１０５ｃにパターン画像を選択させ、スイッチ１０５ａおよび１０５ｂを共にＡ端子に接続させて、補正部１０８に当該パターン画像を補正させる（Ｓ５０２）。補正後のパターン画像（以下補正画像と略す。）は画像処理部１０６によって投射部１０１に適した形式に変換されると、制御部１００は、変換後の補正画像を投射部１０１から投射面に投射させ（Ｓ５０４）、撮像部１０２に投射面を撮像させ（Ｓ５０６）、撮像された補正画像を画像メモリ１０３に格納する。さらに、制御部１００は、パターン画像生成部１０４により生成される複数種類のパターン画像の全てについて上記Ｓ５００からＳ５０６までを繰り返させる。

ここで用いられる複数のパターン画像は、種類を問わず自然画像であってもよく、エッジの分布や色の分布が異なる方が望ましい。また、パターン画像生成部１０４は、分野毎に当該分野に含まれる複数の画像を生成してもよい。例えば、野球中継でよく現れる場面に対応する複数画像、映画でよく現れるシーンや人物画像、テニス中継でよく現れる場面に対応する複数画像、アニメーションのシーンに対応する複数画像、テレビドラマのシーンに対応する複数画像、パソコンの画面に表示されるウィンドウやメニューなどの複数画像、などでもよい。これにより、分野毎に異なる再現率を示すことも可能となる。なお、本実施形態では、補正パラメータ取得処理で用いられるテストパターン画像を、再現度取得および提示処理に流用するものとする。なお、パターン画像は複数枚でなくてもよく１枚でもよい。

パターン画像の全てについて撮像が完了した後、制御部１００は、再現度計算部１０９に再現度計算処理を実行させ（Ｓ５１０）、ガイダンス画像生成部１１１にガイダンス画像生成処理を実行させ（Ｓ５１２）、ガイダンス画像の投射（Ｓ５１４）を制御する。

なお、Ｓ５００からＳ５０６までの処理は、必ずしも全ての補正パターン画像について行う必要はない。例えば、代表的な補正パターン画像のみに対して行うことができる。これにより再現度の精度は低くなるが、撮像のための時間を短縮することができる。

また、補正パターン画像を投射して（Ｓ５０４）、撮像する（Ｓ５０６）処理の代わりに、画像投射装置の内部でこの処理をシミュレートする方法もある。この場合のフローチャートを図５Ｂに示す。図５Ｂにおいては、Ｓ５０４、Ｓ５０６の代わりに、Ｓ５０５の処理が施される。Ｓ５０５においては、Ｓ５０４において生成した補正画像に対して、逆補正を施す。ここで逆補正とは、例えば図３（ａ）の画像が図３（ｂ）のようになる変化のことを示し、補正パラメータ計算部１０７で求めた補正パラメータの逆変換を行うことに対応する。逆変換のためのパラメータは補正パラメータ計算部１０７で求められ、逆補正は画像処理部１０６によって行われ、逆補正された補正パターン画像は画像メモリ１０３に格納される。これにより、再現度を計算するために必要な、画像を撮像する時間を削減することができる。なお、上記逆変換（Ｓ５０５）は、画像処理部１０６の代わりに補正部１０８が行ってもよい。その場合、補正部１０８は、補正画像は一旦画像メモリ１０３に格納し、さらに、画像メモリ１０３から補正画像を読み出して、読み出した補正画像に対して逆補正パラメータにより逆補正を施し、逆補正画像として画像メモリ１０３に格納すればよい。

図６は、図５Ａ中の再現度計算処理Ｓ５１０の詳細を示すフローチャート図である。同図において、前半（Ｓ６０６まで）は全ての撮像画像（撮像部１０２が投射された補正パターン画像を撮像した画像）中の全画素について、原画像中の対応する画素と画素単位で比較することにより一致判定をする処理であり、後半（Ｓ６０８以降）は、再現度を計算する処理である。

まず、再現度計算部１０９は、処理対象の撮像画像の画素値Ｐｃを取得し（Ｓ６００）、原画像の対応する画素値Ｐｏを取得し（Ｓ６０２）、画素値Ｐｃと画素値Ｐｏが一致するか否かを判定する（Ｓ６０４）。この一致判定では、既に説明したように差分ｄ（＝Ｐｃ−Ｐｏ)が所定値より小さいか否かによる。この所定値は誤差として許容される範囲を示す。再現度計算部１０９は、Ｓ６００〜Ｓ６０４において処理対象の撮像画像に含まれる全ての画素について一致判定を行い、その結果、画素毎に一致するか否かを示す一致フラグからなるビットマップデータが生成される。

全ての撮像画像について一致判定が完了すると、再現度計算部１０９は、１つの画像全体の再現度Ｒａを計算する（Ｓ６０８）。再現度Ｒａは、ビットマップデータにおける、一致を示すフラグの割合を再現度として算出する。複数の撮像画像に対応する複数のビットマップデータは、その全体で、全ビットに対する一致を示すフラグの割合を再現度として算出する。なお、複数のビットマップデータにおける同じ画素位置の一致フラグ同士の論理和をとって、新たなビットマップデータを作成し、新たなビットマップデータにおいて一致を示すフラグの割合を再現度として算出してもよい。

さらに、再現度計算部１０９は、画像全体の再現度Ｒａが第１しきい値Ｔｈ１より大きい場合、部分領域の再現度を計算することなく、再現度計算処理を終了する（Ｓ６１０：Yes）。第１のしきい値は例えば８０％である。この場合の画像全体の再現度Ｒａが良好
なので、画像全体の現在の投射領域をそのまま投射面として良いからである。また、第１のしきい値は、用途に応じて異なる値であってもよい。例えば、ＴＶ視聴に対しては第１のしきい値は７５％、映画視聴に対しては第１のしきい値は８５％というようにしてもよい。

また、再現度計算部１０９は、画像全体の再現度Ｒａが第１しきい値Ｔｈ１より小さい場合、再現度が第２しきい値Ｔｈ２より大きくなるような、部分領域を探索し（Ｓ６１２）、見つかった場合には当該部分領域の再現度Ｒｂを計算（Ｓ６１４、Ｓ６１６）する。第２しきい値は、例えば初期値９０％で刻み幅Ａで終値Ｂまで減少する変数である。例えば、Ａは１０％、Ｂは５０％程度でよい。

さらに再現度計算部１０９は、部分領域が見つからなかったとき、または部分領域の再現度Ｒｂを計算したとき、第２しきい値Ｔｈ２が終値Ｂを下っていなければ（Ｓ６１８）、第２しきい値Ｔｈ２＝Ｔｈ２−Ａに更新し（Ｓ６２０）、再度部分領域の探索を行う。

これにより、画像全体の再現度が良好でない場合には、再現度が良好な部分領域と良好でない部分領域を探索することができる。

ここで、図５Ａの代わりに図５Ｂの処理方法を用いた場合には、Ｓ６００において撮像画像の画素値Ｐｃを取得する代わりに、逆補正された補正パターン画像の画素値を取得すれば良い。

図７は、図５Ａおよび図５Ｂ中のガイダンス画像生成処理Ｓ５１２の詳細を示すフローチャート図である。同図においてガイダンス画像生成部１１１は、画像全体の再現度Ｒａが第１しきい値Ｔｈ１より大きい場合、図４（ａ）のガイダンス画像Ｄ１のような、現状での投射を促す第１のガイダンス画像を生成する（Ｓ７０２）。

また、画像全体の再現度Ｒａが第１しきい値Ｔｈ１より大きくない場合、ガイダンス画像生成部１１１は、面積の広さと再現度Ｒｂとを優先して、１つ以上の部分領域を選択する（Ｓ７０４）。ここで選択される１つ以上の部分領域は、重なりがあっても、入れ子になっていてもよいし、上位５個と固定個数でもよい。

さらに、選択された部分領域毎にガイダンス画像生成部１１１は、次の処理を行う。ガイダンス画像生成部１１１は当該部分領域の枠を示す画像を生成し（Ｓ７０６）、当該部分領域の再現度Ｒｂに応じて投射の可否を判定し（Ｓ７０８）、判定結果を示すメッセージを生成する（Ｓ７１０）。投射の可否の判定については、例えば再現度Ｒｂ８０％以上であれば投射可、それ以下であれば投射不可と判定する。

選択された部分領域の全てについて上記処理が完了すれば（Ｓ７１２）、ガイダンス画像生成部１１１は、選択された部分領域のうち最高の再現度ｍａｘＲｂが第３しきい値（例えば８０％）より小さいかどうかを判定し（Ｓ７１４）、最高の再現度ｍａｘＲｂが第３しきい値より小さくない場合に、図４（ｂ）の枠Ｄ４のような、最高の再現度ｍａｘＲｂを持つ部分領域枠内に推奨表示枠を設定し（Ｓ７１６）、部分領域枠、投射の適否、メッセージ、推奨表示枠などを含むガイダンス画像を生成し（Ｓ７１８）、最高の再現度ｍａｘＲｂが第３しきい値より小さい場合に、図４（ｃ）のガイダンス画像Ｄ６のような、投射領域の変更を促す第２ガイダンス画像を生成し（７２０）、さらに、内部の記憶部を参照して、図４（ｄ）のガイダンス画像Ｄ７のような、以前の投射領域を示すガイダンス画像を生成する（Ｓ７２２）。

このようにガイダンス画像生成部１１１は、再現度Ｒｂに応じて部分領域毎に投射の適否を判定し、領域毎の判定結果を示すメッセージ、領域毎の再現度に関するメッセージなどを含むガイダンス画像や、投射領域の変更を促すガイダンス画像や、現状での投射を促すガイダンス画像や、以前の投射領域を示すガイダンス画像などを生成する。これにより使用者がより再現度のよい投射領域に変更することを容易にする。

続いて、補正パラメータ取得処理について説明する。

図８は、制御部１００の制御による補正パラメータ取得処理を示すフローチャート図である。同図において、制御部１００は、パターン画像生成部１０４に１つのパターン画像を生成させ（Ｓ８００）、補正していないパターン画像を投射部１０１に投射させ（Ｓ８０２）、投射面に投射された画像を撮像部１０２に撮像させる（Ｓ８０４）。撮像された画像は、画像メモリ１０３に格納される。図９（ａ）〜（ｃ）は、パターン画像生成部１０４によって生成されるテストパターン画像の例を示す説明図である。図９（ａ）の画像Ｔ１は白色のパターン画像である。この画像Ｔ１は、投射面の色および柄の検出や、投射画像の形状が歪んでいる場合に、補正画像を投射すべき投射領域を決定するために用いられる。図９（ｂ）の画像Ｔ２は、一本の水平直線Ｌｈを表すパターン画像である。この画像Ｔ２は、水平直線Ｌｈの位置を１画素単位にまたはＮ画素単位に変更させた複数の水平直線画像のうちの１つである。また、図９（ｃ）の画像Ｔ３は、一本の垂直直線Ｌｖを表すパターン画像である。この画像Ｔ３は、垂直直線Ｌｖの位置を１画素ずつまたはＮ画素ずつを変更させた複数の垂直直線画像のうちの１つである。１つの水平直線画像と１つの垂直直線画像との組みは、原画像と投射画像との間の座標の対応関係を検出するのに用いられる。

制御部１００は、図８に示したＳ８００〜Ｓ８０４を全てのパターン画像について繰り返す（Ｓ８０６）。全てのパターン画像の撮像が完了すると、制御部１００は、補正パラメータ計算処理を制御し（８０８）、補正パラメータを補正パラメータ記憶部１１０に記憶させる（Ｓ８１０）。

図１０は、図８中の補正パラメータ計算処理Ｓ８０８の詳細処理を示すフローチャート図である。まず。補正パラメータ計算部１０７は、白色画像Ｔ１の撮像画像を用いて補正画像の投射枠を決定する（Ｓ１０００）。図１１（ａ）〜（ｃ）は、投射枠決定についての説明図である。図１１（ａ）の撮像画像Ｉ１は、投射面が図２（ａ）のように部屋の角を含む場合に、投射された白色画像Ｔ１の撮像画像である。元の白色画像Ｔ１と比べると撮像画像Ｉ１の外形が大きく歪んでいる。補正パラメータ計算部１０７は、図１１（ａ）の撮像画像Ｉ１を二値化することによって、図１１（ｂ）の画像Ｉ２を得る。さらに、補正パラメータ計算部１０７は、二値化された画像Ｉ２中の投射画像に内接する最大の矩形領域であって、そのアスペクト比が原画像のアスペクト比と等しくなるように投射枠を決定する。図１１（ｃ）は決定された投射枠を表している。

さらに、補正パラメータ計算部１０７は、水平直線画像と垂直直線画像との全ての組みについて、つまり、水平直線と垂直直線の交点として定まるグリッド座標（Ｘｇ，Ｙｇ）の全てについて、次の処理を行う。まず、補正パラメータ計算部１０７は、撮像画像のグリッド座標（Ｘｇ，Ｙｇ）を取得する（Ｓ１００２）。図１２（ａ）〜（ｃ）は、撮像されたテストパターン画像とグリッド座標の例を示す説明図である。図１２（ａ）の画像Ｉ４は１つの水平直線画像の撮像結果を、図１２（ｂ）の画像Ｉ５は、１つの垂直直線画像の撮像結果を示す。この撮像結果は図３（ｂ）の画像Ｔ２と同様に歪んでいる。図１２（ｃ）の画像Ｉ６は、例えば、画像Ｉ４と画像Ｉ５の両者を二値化してから、対応する画素同士のＡＮＤをとった結果であり、画像Ｉ４の水平直線と画像Ｉ５の垂直直線との交点を示す。この交点の座標がグリッド座標（Ｘｇ，Ｙｇ）であり、原画像の水平直線画像と垂直直線画像の交点（Ｘ,Ｙ）と対応している。

グリッド座標取得の後、補正パラメータ計算部１０７は、原画像の対応する座標（Ｘ，Ｙ）を取得し（Ｓ１００４）、この２つの座標から補正画像の対応する座標（Ｘ’，Ｙ’）を計算する（Ｓ１００６）。詳しく言うと、原画像の対応する座標（Ｘ，Ｙ）は図３（ａ）の画像Ｔ１の座標に該当する。撮像画像のグリッド座標（Ｘｇ，Ｙｇ）は図３（ｂ）の画像Ｔ２の座標に該当する。一方、未知の補正画像の座標（Ｘ’，Ｙ’）は図３（ｄ）の画像Ｔ４の座標に該当する。画像Ｔ１から画像Ｔ２への変換関数をｆとすると、座標（Ｘ，Ｙ）と座標（Ｘｇ，Ｙｇ）の関係は（式１）と表される。

ｆ（Ｘ，Ｙ）＝（Ｘｇ，Ｙｇ）---------（式１）
また、画像Ｔ４を補正画像にするためには、画像Ｔ４から画像Ｔ１への変換関数もｆでなければならないので、座標（Ｘ’，Ｙ’）と座標（Ｘ，Ｙ）の関係は（式２）でなければならない。

ｆ（Ｘ’，Ｙ’）＝（Ｘ，Ｙ）---------（式２）
補正パラメータ計算部１０７は、この２つの式から未知の（Ｘ’，Ｙ’）を計算する（Ｓ１００６）。その際、補正パラメータ計算部１０７は、（Ｘ，Ｙ）を画像Ｔ１と同じ大きさのメッシュではなく、画像Ｔ３の投射枠に収まる大きさのメッシュにするために、スケーリングする（Ｓ１００８）。このようにして、座標（Ｘ，Ｙ）に対応する（Ｘ’，Ｙ’）の値が計算される。この（Ｘ，Ｙ）と（Ｘ’，Ｙ’）とが１つの座標に対する形状補正パラメータとなる。

さらに、補正パラメータ計算部１０７は、グリッド座標（Ｘｇ，Ｙｇ）の色（画素値）を取得し（Ｓ１０１０）、取得した色成分毎の値（Ｒ、Ｇ、Ｂ）をその座標における色補正パラメータとして、形状補正パラメータと共にマップ表に書き込む（Ｓ１０１２）。

全グリッド座標について補正パラメータの計算が完了すれば（Ｓ１０１４）、補正パラメータ計算部１０７はグリッド座標以外の座標の補正パラメータを既に計算済の補正パラメータを用いて補間により計算し（Ｓ１０１６）、マップ表に書き込む。図１３は、マップ表の一例を示す図である。同図のマップ表は、原画像の座標（Ｘ，Ｙ）毎に、形状補正パラメータ（ｘ’、ｙ’）と色補正パラメータ（Ｒ，Ｇ，Ｂ）とが記載されている。

以上説明してきたように本実施の形態における画像投射装置によれば、原画像に対する撮像された補正画像の再現度に基づいて画像の投射を制御するので、より原画像に近い補正画像を利用することを容易にすることができる。言い換えれば、再現度の高い投射領域の利用を使用者にもたらすことができる。

また、使用者はガイダンス画像によって再現度に関する情報を得ることができるので、より原画像に近い補正画像を利用することができる。使用者はガイダンス画像によって投射の適否を知ることができるので、より原画像に近い補正画像を確実に利用することができる。投射の適否を用途に応じて用途別に適切に判定することもできる。

使用者は投射の適否を投射領域全体だけでなく、部分領域毎に知ることができる。また、使用者は再現度に関する情報を部分領域毎に知ることができる。

再現度がしきい値よりも大きい場合、つまり再現度が良い場合だけ投射することもできる。

投射された補正画像を撮像した画像についての再現度が計算されるので、色の再現性と形状の再現性の両者を併せ持つ再現度を得ることができる。それゆえ、投射面の形状がかなり複雑である場合や、壁のコーナーである場合等に効果的である。

なお、図３（ａ）に示したグリッドの間隔は、１画素（つまり全画素がグリッド）でもよい。

（実施の形態２）
図１４は、実施の形態２における画像投射装置の構成を示すブロック図である。同図の画像投射装置２は、図１と比較して、首振り部２０１が追加された点と、制御部１００の代わりに制御部２００を備える点とが異なっている。図１と同じ点は説明を省略し、以下異なる点を中心に説明する。なお、撮像部１０２の撮像範囲は実施の形態１と比べて広角になっているものとする。

首振り機構２０１は、投射部１０１の投射方向を変更する機構であり、投射部１０１の投射方向を横方向に変更する水平首振り機構と、投射部１０１の投射方向を縦方向に変更する垂直首振り機構とからなる。水平首振り機構、垂直首振り機構は何れもモータに駆動され、制御部２００からの制御により任意の首振り角度で静止する。

制御部２００は、図１の制御部１００の機能に加えて、（Ａ）複数の投射方向に対応する複数の投射領域によって形成される拡大領域の設定、（Ｂ）拡大領域の再現度計算処理の制御、（Ｃ）拡大領域のガイダンス画像の提示の制御と行う。拡大領域において部分領域を探索することによって、より確実に再現度の良好な部分領域を設定することができる。

図１５（ａ）〜（ｆ）は、拡大領域の説明図である。図１５（ａ）における画像Ａ１は、撮像部１０２に撮像された画像であり、投射領域Ｄ１１は、首振り機構２０１の首振り角度が第１の角度（例えば左右の首振り中心を０度として＋１０度）における投射領域を示す。図１５（ｂ）における画像Ａ２は、撮像部１０２に撮像された画像であり、投射領域Ｄ１２は、首振り機構２０１の首振り角度が第２の角度（例えば０度）における投射領域を示す。図１５（ｃ）における画像Ａ３は、撮像部１０２に撮像された画像であり、投射領域Ｄ１３は、首振り機構２０１の首振り角度が第３の角度（例えば−１０度）における投射領域を示す。

図１６は、制御部２００に制御による拡大領域の設定、補正パラメータ取得処理、再現度取得処理および提示処理の一例を示すフローチャート図である。同図において、まず制御部２００は、上記（Ａ）として、複数の投射方向に対応する複数の投射領域（例えば、Ｄ１１、Ｄ１２、Ｄ１３）が連続するか否かを判定して、連続する場合には、図１５（ｃ）に示すような、拡大領域として取り扱うために、第１〜第３の角度を記憶し、各角度に首振り機構２０１を設定するため設定値を記憶する。これにより連続領域を拡大領域として設定したことになる。なお、このときの投射画像は例えば白色画像パターンでよい。

さらに、制御部２００は、複数の投射領域個別に、補正パラメータ取得処理を制御し（Ｓ１６０２）、再現度計算・提示処理を制御する（Ｓ１６０４）。ここで、ステップＳ１６０２は図８と同じでよい。ステップＳ１６０４は、図５ＡのＳ５００〜Ｓ５１０までと同じでよい。複数の投射領域に対応する全ての角度について完了すると、制御部２００は、拡大領域を対象に、再現度計算処理を行う（Ｓ１６０８）。この再現度計算処理は、投射領域個別に計算された画素毎の一致判定フラグから、図１５（ｅ）に示すような、拡大領域に対応する１つのビットマップデータが作成し、拡大領域を対象に部分領域の探索を行う。このステップＳ１６０８は、図６のステップ７１０からＳ７２０と同じでよい。

制御部２００は、上記Ｓ１６０８の再現度計算処理では、拡大領域内で再現度が良好な部分領域を探索する。その結果、図１５（ｆ）における部分領域Ｒ１、Ｒ２、Ｒ３のうち、部分領域Ｒ１、Ｒ２は、投射領域と投射領域の境界に跨っている領域であり、単独の投射領域では探索ができない領域であるが、拡大領域を設定することによって容易に部分領域を探索することができる。

さらに、制御部２００は、拡大領域を対象にガイダンス画像生成処理を制御し（Ｓ１６１０）、ガイダンス画像を投射させ（Ｓ１６１２）、ユーザ操作に従って選択された部分領域に投射方向を向けるために首振り機構２０１の角度および投射領域を設定する（Ｓ１６１４）。これによりユーザに選択された部分領域に投射を開始する。

以上説明してきたように本実施の形態における画像投射装置２によれば、投射領域よりも広範な拡大領域に対して再現度を得ることができるので、より確実に再現度の高い部分領域を探すことできる。さらに、使用者に最も再現度の高い投射領域の選択を促すことができる。

なお、実施の形態２において、制御部２００は、拡大領域の設定を、首振り機構２０１による首振りをしながら、連続領域となる投射領域の角度を設定するようにしてもよい。

また、首振り機構２０１は、上下に回動する鏡、左右に回動する鏡を組み合わせて構成し、投影光の反射方向を上下、左右に変更可能な構成としてもよい。

また、首振り機構２０１の代わりに、画像投射装置２の本体ごと回転させる回転機構を備えてもよい。

また、画像投射装置２がＬＣＤ等の表示部を備えている場合には、上記のガイダンス画像を当該表示部に表示してもよい。例えば、上記実施の形態１または２における画像投射装置を小型化したプロジェクタが携帯端末機器（携帯電話機やＰＤＡやノートパソコン等）に実装される場合に、上記のガイダンス画像は表示部と投射の少なくとも一方により表示してもよい。

なお、撮像部１０２は、カラー画像ではなく、モノクロ画像を撮像する構成でもよい。この場合、投射部１０１がテストパターン画像を赤、緑、青の三回に分けて投射し、撮像部１０２によって赤、緑、青に対応する３つのモノクロ画像を３つの色成分画像として合成すればよい。

さらに、図１、図１４に示したブロック図の各機能ブロックは典型的には集積回路装置であるＬＳＩとして実現される。このＬＳＩは１チップ化されても良いし、複数チップ化されても良い。例えば、画像メモリ１０３などのメモリ以外の機能ブロックが１チップ化されていても良い。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

また、各機能ブロックのうち、データを格納するユニットだけ１チップ化せずに、別構成としても良い。

また、図１、図１４に示したブロック図の各機能ブロックおよび図５Ａ〜図８、図１０、図１６に示したフローチャートにおいて、制御部１０９を含む中心的な部分はマイクロプロセッサおよびプログラムによって実現される。それゆえ、本発明をプログラムとして構成してもよい。

本発明は、画像をスクリーンに投射する画像投射装置に適している。

本発明は、投射面の形状および色の少なくとも一方に応じた補正画像を投射する画像投射装置に関する。

従来の画像投射装置（プロジェクタ装置）として、特許文献１等には、投射面の形状に応じて画像の歪み補正を行い、凸凹のある面や曲面の投射面に対しても表示画像の歪みを補正するプロジェクタ装置が開示されている。

また、非特許文献１等には、投射面の色や形状に応じて画像を補正し、補正画像を投射することによって原画像により近い投射結果を得るプロジェクタ装置が開示されている。このプロジェクタ装置は、白スクリーンだけでなく柄のあるカーテンや、色が一様でない壁や、壁のコーナーなど、部屋の中の任意の場所を投射面として利用可能にしている。
特開２００１−６１１２１号公報 特開２００２−７１３１５号公報 Oliver Bimber,Andreas Emmerling,Thomas Klemmer「Embeded Entertainment with Smart Projectors」(IEEE Computer January,2005 pp48-55）

しかしながら、従来の画像投射装置によれば、投射面の色や形状に応じて画像を補正することによって、原画像に近い画像を投射することを可能にするが、使用者にとってはどの程度原画像に近い画像が得られているのかがわからず、より原画像に近い画像を得たくてもどうしていいかわからなかった。例えば、柄のある壁に投射した場合と、柄あるカーテンに投射した場合と、柄のある壁と柄のあるカーテンに跨って投射した場合とで、原画像に最も近い画像が得られる場合がどれであるのか使用者にはわかりにくく、より原画像に近い補正画像を確実に利用することは困難だった。

本発明は、使用者がより原画像に近い画像を利用することを容易にする画像投射装置、方法を提供することを目的とする。

上記課題を解決するため本発明の画像投射装置は、投射された画像を撮像する撮像手段と、撮像された画像の原画像に対する再現度を計算する計算手段と、前記再現度に基づいて画像の投射を制御する制御手段とを備える。

この構成によれば、原画像に対する撮像された画像の再現度に基づいて画像の投射を制御するので、より原画像に近い画像を利用することを容易にすることができる。言い換えれば、再現度の高い投射領域の利用を容易にする。

また、本発明の画像投射装置は、投射面に応じた補正画像を投射する画像投射装置であって、投射された画像を撮像する撮像手段と、撮像された画像に基づいて、投射面に起因する画像の歪みを補正する補正パラメータを計算する第１計算部と、前記補正パラメータを用いて画像を補正することにより補正画像を生成する補正手段と、補正手段により生成された補正画像、投射と撮像を通して得られた補正画像の一方について、原画像に対する再現度を計算する第２計算手段と、前記再現度に基づいて画像の投射を制御する制御手段とを備える。

この構成によれば、原画像に対する撮像された補正画像の再現度に基づいて画像の投射を制御するので、より原画像に近い補正画像を利用することを容易にすることができる。言い換えれば、再現度の高い投射領域の利用を容易にする。

ここで、前記画像投射装置は、さらに、前記再現度に関するガイダンス画像を生成する画像生成手段を備え、前記制御部は、前記ガイダンス画像の投射を制御してもよい。

この構成によれば、使用者はガイダンス画像によって再現度に関する情報を得るので、より原画像に近い補正画像を利用することができる。

ここで、前記画像生成手段は、前記再現度に応じて投射面に対する投射の適否を判定し、判定結果を示すガイダンス画像を生成してもよい。

この構成によれば、使用者はガイダンス画像によって投射の適否を知ることができるので、より原画像に近い補正画像を確実に利用することができる。

ここで、前記画像生成手段は、前記適否の判定において用途に応じたしきい値を選択し、選択されたしきい値を用いてもよい。

この構成によれば、投射の適否を用途に応じて適切に判定することができる。

ここで、前記第２計算手段は、投射面における投射領域に含まれる複数の部分領域毎に前記再現度を計算し、前記ガイダンス生成手段は、前記再現度に応じて前記部分領域毎に投射の適否を判定し、領域毎の判定結果を示すガイダンス画像を生成してもよい。

この構成によれば、使用者は投射の適否を部分領域毎に知ることができる。

ここで、前記第２計算手段は、投射面における投射領域に含まれる複数の部分領域毎に前記再現度を計算し、前記ガイダンス生成手段は、領域毎の前記再現度に関するガイダンス画像を生成してもよい。

この構成によれば、使用者は再現度に関する情報を部分領域毎に知ることができる。

ここで、前記制御手段は、前記再現度が所定の値よりも大きいとき、画像を補正しかつ投射するよう制御してもよい。

この構成によれば、再現度がしきい値よりも大きい場合、つまり再現度が良い場合だけ投射することができる。

ここで、前記第２計算手段は、補正画像と原画像との間で対応する画素同士を比較することによって、前記再現度を計算してもよい。

この構成によれば、投射された補正画像を撮像した画像についての再現度が計算されるので、色の再現性と形状の再現性の両者を併せ持つ再現度を得ることができる。それゆえ、投射面の形状がかなり複雑である場合や、壁のコーナーである場合等に効果的である。

ここで、前記制御手段は、投射面に投射された補正画像を前記撮像手段に撮像させ、前記第２計算手段は、撮像手段によって補正画像から得られた撮像画像と、原画像との間で対応する画素同士を比較することによって、前記再現度を計算してもよい。

この構成によれば、投射された補正画像を撮像する場合と比べて、再現度の計算が完了するまでの時間を短縮することができる。また、逆変換された補正画像の再現度は、主に色の再現性を表すが、投射面の形状がよほど複雑でない限り、十分実用的である。

ここで、前記画像投射手段は、さらに、投射方向を変更する変更手段を備え、前記制御手段は、拡大領域を得るための複数の投射方向を決定し、前記拡大領域は前記複数の投射方向に対応する複数の投射領域によって形成され、前記第２計算手段は、複数の投射領域の個々の投射領域毎に再現度を計算し、投射領域毎の前記再現度に基づいて前記拡大領域の再現度を計算してもよい。

この構成によれば、投射領域よりも広範な拡大領域に対して再現度を得ることができるので、より確実に再現度の高い投射領域を探すことできる。

ここで、前記制御手段は、さらに、ユーザ操作に基づいて部分領域を選択し、選択された部分領域に画像を投射するよう制御してもよい。

この構成によれば、使用者に最も再現度の高い投射領域の選択を促すことができる。

また、本発明の制御方法、半導体装置、プログラムについても上記と同様に構成されているので、説明を省略する。

本発明の画像投射装置によれば、より原画像に近い補正画像を利用することを容易にすることができる。言い換えれば、再現度の高い投射領域の利用を容易にする。

（実施の形態１）
図１は、本発明の実施の形態１における画像投射装置の構成を示すブロック図である。同図の画像投射装置１は、投射面の形状および色に応じた補正画像を投射する画像投射装置であって、制御部１００、投射部１０１、撮像部１０２、画像メモリ１０３、パターン画像生成部１０４、スイッチ１０５ａ、１０５ｂ、１０５ｃ、画像処理部１０６、補正パラメータ計算部１０７、補正部１０８、再現度計算部１０９、補正パラメータ記憶部１１０およびガイダンス画像生成部１１１を備え、再現度計算部１０９によって計算される再現度に基づいて画像の投射を制御する。

制御部１００は、画像投射装置１全体の制御を行い、次の処理等を制御する。（ａ）投射面の形状および色に応じて画像を補正するための補正パラメータを取得する処理、（ｂ）補正パラメータを用いて補正画像を生成する補正処理、（ｃ）原画像に対する補正画像の再現度を取得する処理、（ｄ）再現度に関するガイダンス画像の生成処理および投射する処理。本発明は、主として上記（ｃ）、（ｄ）に関する。上記（ａ）、（ｂ）は従来技術同様であってもよいし、本実施形態で後述するようにしてもよい。

ここで、原画像とは補正されていない画像、つまり補正部１０８に入力されていない画像をいい、例えば、スイッチ１０５ｃに入力されるパターン画像生成部１０４から出力されるパターン画像、外部からの映像信号に含まれる画像、ガイダンス画像生成部１１１から出力されるガイダンス画像等をいう。補正画像とは、投射面の形状および色に起因する画像の歪（形状の歪と色の歪）を抑制するために補正された画像をいう。また、再現度とは、原画像に対して、投射された補正画像が一致する度合いを示し、つまり、投射された補正画像が原画像にどれだけ近い画像を再現しているかを示す。例えば、再現度は、パーセントで表され、原画像と補正画像が完全に一致する場合は１００パーセントである。

投射部１０１は、液晶透過型やマイクロミラー反射型などの投射器を有し、画像処理部１０６からの画像を投射する。本実施例では、外部から入力される映像信号以外に、パターン画像生成部１０４により生成され上記（ａ）で用いられるテストパターン画像や、補正部１０８から出力され上記（ｃ）で用いられる補正されたテストパターン画像や、ガイダンス画像生成部１１１に生成され上記（ｄ）で用いられるガイダンス画像などがある。

図２（ａ）〜（ｃ）は、投射部１０１の被投射対象となる投射面の例を示す図である。図２（ａ）は部屋の側壁Ｗ１とＷ２の角に投射する場合を示している。この場合側壁Ｗ１とＷ２の角を挟んで投射領域に歪（形状歪）が生じるが、この形状歪は補正部１０８によって補正可能である。図２（ｂ）は部屋の側壁Ｗ３と家具Ｆ１に投射する場合を示している。側壁Ｗ３と家具Ｆ１による角の部分で形状歪みが生じ、側壁Ｗ３と家具Ｆ１との色調の差、側壁Ｗ３の柄、家具Ｆ１の柄により色歪が生じるが、これらの歪は補正部１０８によって補正可能である。図２（ｃ）は部屋のカーテンＣ１に投射する場合を示している。カーテンＣ１の形状による形状歪と柄による色歪が生じるが、これらの歪も補正部１０８によって補正可能である。

撮像部１０２は、ＭＯＳまたはＣＣＤ固体撮像素子を有するカメラであり、投射部１０
１によって投射された前記画像を撮像する。撮像部１０２の撮像領域は、画像投射装置１の通常の使用範囲内では、投射部１０１の投射領域を余裕を持って含むように設定されている。

画像メモリ１０３は、撮像部１０２による撮像画像を保持するためのメモリである。

パターン画像生成部１０４、上記（ａ）および（ｃ）で用いられる複数種類のテストパターン画像を生成する。

スイッチ１０５ａ、１０５ｂは、制御部１００により制御され、共にＡ端子に接続された場合は、パターン画像生成部１０４に生成された原画像を補正部１０８を介して画像処理部１０６に出力し、共にＢ端子に接続された場合は、原画像をそのまま画像処理部１０６に出力する。

スイッチ１０５ｃは、原画像のソースを選択する。具体的には、制御部１００の制御の下でスイッチ１０５ｃは、上記（ａ）および（ｃ）においてパターン画像生成部１０４から出力されるパターン画像を選択し、上記（ｄ）においてガイダンス画像生成部１１１から出力されるガイダンス画像を選択し、上記（ａ）〜（ｄ）終了後に外部から入力される映像信号を選択する。

画像処理部１０６は、スイッチ１０５ｂから入力される画像を、投射部１０１に適した形式に変換する処理を行い、変換された画像信号を投射部１０１に出力する。変換処理は、例えば、画像の解像度変換や、ＹＵＶ信号−ＲＢＧ信号変換などである。

補正パラメータ計算部１０７は、上記（ａ）における補正パラメータを計算する。補正パラメータは原画像（スイッチ１０５ａから補正部１０８に入力される画像）の座標毎に座標補正パラメータと色補正パラメータとで表される。例えば、原画像の座標を（ｘ，ｙ）、補正画像の座標を（ｘ’，ｙ’）とすると、座標補正パラメータは、（ｘ，ｙ）、（ｘ’，ｙ’）で表される。色補正パラメータは、原画像の画素値に対する被減算数としての（Ｒ，Ｇ，Ｂ）で表される。

補正部１０８は、補正パラメータを用いて原画像を補正し、補正画像をスイッチ１０５ｂを介して画像処理部１０６に出力する。

図３（ａ）〜（ｄ）は、補正部１０８による補正の説明するための説明図である。図３（ａ）の画像Ｔ１は、テストパターン画像の１つを示し、メッシュを示す画像となっている。図３（ｂ）の画像Ｔ２は、画像Ｔ１を補正することなく、図２（ａ）のように投射部１０１から部屋の角にやや斜め上に投射された投射画像を、撮像部１０２によって撮像した撮像画像を示している。投射画像は、角を中心に大きな形状歪が生じている。図３（ｃ）の画像Ｔ３は、投射領域が定められた様子を示す。図中白の領域は画像Ｔ２中の投射画像に内接する最大の矩形領域であって、そのアスペクト比が画像Ｔ１のアスペクト比と等しくなるように定められている。図３（ｄ）の画像Ｔ４は、画像Ｔ１に対してあるべき補正画像を表す図である。この画像Ｔ４は、画像Ｔ１に対して（ｉ）画像Ｔ１から画像Ｔ２への変換Ｔ１２の逆の変換（つまり画像Ｔ２から画像Ｔ１への変換Ｔ２１）と、（ｉｉ）画像Ｔ３内の矩形領域へのスケーリングとを行うことにより生成される。この（ｉ）と（ｉｉ）とを実現する座標変換をグリッド（メッシュの交点）毎に求めることにより、形状補正パラメータ（ｘ，ｙ）、（ｘ’，ｙ’）を得ることができる。

再現度計算部１０９は、投射部１０１によって撮像された補正画像と原画像との間で対応する画素を比較することによって、撮像された補正画像の再現度を計算する。例えば、再現度は、撮像された補正画像の全画素のうち、原画像の対応する画素と一致する画素の割合、つまり一致度として計算される。ただし、この場合の一致とは、撮像された補正画像の画素と、原画像の対応する画素との差分が所定値より小さいこととしてもよい。この所定値は誤差として許容される範囲を示す。また、再現度計算部１０９は、撮像された補正画像全体の再現度だけでなく、投射面における投射領域に含まれる複数の部分領域毎に前記再現度を計算する。これにより、投射領域全体で再現度が良くない場合に、再現度が良い部分領域に縮小投射することによって、より原画に近い投射画像を得ることができる。

補正パラメータ記憶部１１０は、補正パラメータ計算部１０７で計算された補正パラメータを記憶する。補正パラメータは、画像投射装置１の設置場所が固定されている場合には、初回の起動時に補正パラメータ計算部１０７が補正パラメータを計算し、次回以降の起動時に、補正パラメータ記憶部１１０に記憶された補正パラメータを繰り返し適用することができる。また投射面が、カーテンのように形状の変わりやすい物体である場合には、補正パラメータ記憶部１１０に記憶された補正パラメータを次回以降の起動時における補正パラメータの初期値として用いることができる。これにより、補正パラメータを求めるためにかかる時間を短縮することができる。

ガイダンス画像生成部１１１は、再現度計算部１０９から出力される再現度に関するガイダンス画像を生成する。その際、ガイダンス画像生成部１１１は、前記再現度に応じて画像全体の再現度に応じて投射の適否と、部分領域毎の再現度に応じて部分領域毎の投射の適否とを判定し、それらの判定結果を示すガイダンス画像を生成する。

図４（ａ）〜（ｄ）はガイダンス画像の例を示す説明図である。

図４（ａ）のガイダンス画像Ｄ１は、「再現度は９０％です。ここに投射してよろしいですか？」というメッセージを含む。これは、撮像された補正画像全体の再現度が良好な場合のガイダンス画像の例であり、再現度を表示するとともに現状での投射を促すメッセージが表示される。

図４（ｂ）のガイダンス画像Ｄ２は、部分領域Ｄ３と部分領域Ｄ４を示す枠（図は破線枠）と、部分領域Ｄ３内の「再現度は８５％です。」というメッセージと、部分領域Ｄ４内の「再現度は４０％です。」というメッセージと、部分領域Ｄ３内の推奨投射枠Ｄ５（図では太線枠）とを含む。これは、撮像された補正画像全体の再現度が良好でないが、再現度が良好な部分領域が存在する場合のガイダンス画像の例であり、推奨投射枠Ｄ５への表示を促している。

図４（ｃ）のガイダンス画像Ｄ６は、「ここでは綺麗に画像を再現できません。他の場所に変更して下さい。」というメッセージを含む。これは、撮像された補正画像全体の再現度が良好でなく、かつ良好な部分領域も存在しない場合のガイダンス画像の例であり、良好な投射場所の変更を促すメッセージが表示される。

図４（ｄ）のガイダンス画像Ｄ７は、推奨投射枠Ｄ８と、推奨投射枠Ｄ８内に「前回の投射場所です。再現率は８０％です」というメッセージを含む。このガイダンス画像Ｄ７は、例えば、図４（ｃ）のガイダンス画像Ｄ６の後にあるいは交互に投射され、ガイダンス画像生成部１１１内部の記憶部に記憶されていた過去のガイダンス画像をアレンジしたガイダンス画像である。これにより、もっと良好な投射場所の変更を強く促すメッセージが表示される。また、上記記憶部は、良好な投射領域を示すガイダンス画像（例えば、ガイダンス画像Ｄ１、Ｄ２）が投射されているときに、撮像部１０２によって撮像された当該ガイダンス画像を背景画像（投影面の画像または投影面とその周辺部の画像）とともに記憶する。ガイダンス画像生成部１１１は、図４（ｃ）のように現在の投射場所の再現度が良好でない場合に、記憶部内の過去のガイダンス画像とその背景画像をアレンジして、変更を促すガイダンス画像を生成する。

図５Ａは、制御部１００の制御による再現度取得および提示処理を示すフローチャートである。同図において、前半（Ｓ５１０まで）は、原画像に対する撮像された補正画像の再現度を計算する処理を、後半（Ｓ５１２以降）は、再現度に基づいて画像の投射を制御する処理を示している。同図の処理は補正パラメータの取得後に実行される。

まず、制御部１００は、パターン画像生成部１０４に１つのテストパターン画像（以下、パターン画像と略す。）を生成させ（Ｓ５００）、スイッチ１０５ｃにパターン画像を選択させ、スイッチ１０５ａおよび１０５ｂを共にＡ端子に接続させて、補正部１０８に当該パターン画像を補正させる（Ｓ５０２）。補正後のパターン画像（以下補正画像と略す。）は画像処理部１０６によって投射部１０１に適した形式に変換されると、制御部１００は、変換後の補正画像を投射部１０１から投射面に投射させ（Ｓ５０４）、撮像部１０２に投射面を撮像させ（Ｓ５０６）、撮像された補正画像を画像メモリ１０３に格納する。さらに、制御部１００は、パターン画像生成部１０４により生成される複数種類のパターン画像の全てについて上記Ｓ５００からＳ５０６までを繰り返させる。

ここで用いられる複数のパターン画像は、種類を問わず自然画像であってもよく、エッジの分布や色の分布が異なる方が望ましい。また、パターン画像生成部１０４は、分野毎に当該分野に含まれる複数の画像を生成してもよい。例えば、野球中継でよく現れる場面に対応する複数画像、映画でよく現れるシーンや人物画像、テニス中継でよく現れる場面に対応する複数画像、アニメーションのシーンに対応する複数画像、テレビドラマのシーンに対応する複数画像、パソコンの画面に表示されるウィンドウやメニューなどの複数画像、などでもよい。これにより、分野毎に異なる再現率を示すことも可能となる。なお、本実施形態では、補正パラメータ取得処理で用いられるテストパターン画像を、再現度取得および提示処理に流用するものとする。なお、パターン画像は複数枚でなくてもよく１枚でもよい。

パターン画像の全てについて撮像が完了した後、制御部１００は、再現度計算部１０９に再現度計算処理を実行させ（Ｓ５１０）、ガイダンス画像生成部１１１にガイダンス画像生成処理を実行させ（Ｓ５１２）、ガイダンス画像の投射（Ｓ５１４）を制御する。

なお、Ｓ５００からＳ５０６までの処理は、必ずしも全ての補正パターン画像について行う必要はない。例えば、代表的な補正パターン画像のみに対して行うことができる。これにより再現度の精度は低くなるが、撮像のための時間を短縮することができる。

また、補正パターン画像を投射して（Ｓ５０４）、撮像する（Ｓ５０６）処理の代わりに、画像投射装置の内部でこの処理をシミュレートする方法もある。この場合のフローチャートを図５Ｂに示す。図５Ｂにおいては、Ｓ５０４、Ｓ５０６の代わりに、Ｓ５０５の処理が施される。Ｓ５０５においては、Ｓ５０４において生成した補正画像に対して、逆補正を施す。ここで逆補正とは、例えば図３（ａ）の画像が図３（ｂ）のようになる変化のことを示し、補正パラメータ計算部１０７で求めた補正パラメータの逆変換を行うことに対応する。逆変換のためのパラメータは補正パラメータ計算部１０７で求められ、逆補正は画像処理部１０６によって行われ、逆補正された補正パターン画像は画像メモリ１０３に格納される。これにより、再現度を計算するために必要な、画像を撮像する時間を削減することができる。なお、上記逆変換（Ｓ５０５）は、画像処理部１０６の代わりに補正部１０８が行ってもよい。その場合、補正部１０８は、補正画像は一旦画像メモリ１０３に格納し、さらに、画像メモリ１０３から補正画像を読み出して、読み出した補正画像に対して逆補正パラメータにより逆補正を施し、逆補正画像として画像メモリ１０３に格納すればよい。

図６は、図５Ａ中の再現度計算処理Ｓ５１０の詳細を示すフローチャート図である。同図において、前半（Ｓ６０６まで）は全ての撮像画像（撮像部１０２が投射された補正パターン画像を撮像した画像）中の全画素について、原画像中の対応する画素と画素単位で比較することにより一致判定をする処理であり、後半（Ｓ６０８以降）は、再現度を計算する処理である。

まず、再現度計算部１０９は、処理対象の撮像画像の画素値Ｐｃを取得し（Ｓ６００）、原画像の対応する画素値Ｐｏを取得し（Ｓ６０２）、画素値Ｐｃと画素値Ｐｏが一致するか否かを判定する（Ｓ６０４）。この一致判定では、既に説明したように差分ｄ（＝Ｐｃ−Ｐｏ)が所定値より小さいか否かによる。この所定値は誤差として許容される範囲を示す。再現度計算部１０９は、Ｓ６００〜Ｓ６０４において処理対象の撮像画像に含まれる全ての画素について一致判定を行い、その結果、画素毎に一致するか否かを示す一致フラグからなるビットマップデータが生成される。

全ての撮像画像について一致判定が完了すると、再現度計算部１０９は、１つの画像全体の再現度Ｒａを計算する（Ｓ６０８）。再現度Ｒａは、ビットマップデータにおける、一致を示すフラグの割合を再現度として算出する。複数の撮像画像に対応する複数のビットマップデータは、その全体で、全ビットに対する一致を示すフラグの割合を再現度として算出する。なお、複数のビットマップデータにおける同じ画素位置の一致フラグ同士の論理和をとって、新たなビットマップデータを作成し、新たなビットマップデータにおいて一致を示すフラグの割合を再現度として算出してもよい。

さらに、再現度計算部１０９は、画像全体の再現度Ｒａが第１しきい値Ｔｈ１より大きい場合、部分領域の再現度を計算することなく、再現度計算処理を終了する（Ｓ６１０：Yes）。第１のしきい値は例えば８０％である。この場合の画像全体の再現度Ｒａが良好
なので、画像全体の現在の投射領域をそのまま投射面として良いからである。また、第１のしきい値は、用途に応じて異なる値であってもよい。例えば、ＴＶ視聴に対しては第１のしきい値は７５％、映画視聴に対しては第１のしきい値は８５％というようにしてもよい。

また、再現度計算部１０９は、画像全体の再現度Ｒａが第１しきい値Ｔｈ１より小さい場合、再現度が第２しきい値Ｔｈ２より大きくなるような、部分領域を探索し（Ｓ６１２）、見つかった場合には当該部分領域の再現度Ｒｂを計算（Ｓ６１４、Ｓ６１６）する。第２しきい値は、例えば初期値９０％で刻み幅Ａで終値Ｂまで減少する変数である。例えば、Ａは１０％、Ｂは５０％程度でよい。

さらに再現度計算部１０９は、部分領域が見つからなかったとき、または部分領域の再現度Ｒｂを計算したとき、第２しきい値Ｔｈ２が終値Ｂを下っていなければ（Ｓ６１８）、第２しきい値Ｔｈ２＝Ｔｈ２−Ａに更新し（Ｓ６２０）、再度部分領域の探索を行う。

これにより、画像全体の再現度が良好でない場合には、再現度が良好な部分領域と良好でない部分領域を探索することができる。

ここで、図５Ａの代わりに図５Ｂの処理方法を用いた場合には、Ｓ６００において撮像画像の画素値Ｐｃを取得する代わりに、逆補正された補正パターン画像の画素値を取得すれば良い。

図７は、図５Ａおよび図５Ｂ中のガイダンス画像生成処理Ｓ５１２の詳細を示すフローチャート図である。同図においてガイダンス画像生成部１１１は、画像全体の再現度Ｒａが第１しきい値Ｔｈ１より大きい場合、図４（ａ）のガイダンス画像Ｄ１のような、現状での投射を促す第１のガイダンス画像を生成する（Ｓ７０２）。

また、画像全体の再現度Ｒａが第１しきい値Ｔｈ１より大きくない場合、ガイダンス画像生成部１１１は、面積の広さと再現度Ｒｂとを優先して、１つ以上の部分領域を選択する（Ｓ７０４）。ここで選択される１つ以上の部分領域は、重なりがあっても、入れ子になっていてもよいし、上位５個と固定個数でもよい。

さらに、選択された部分領域毎にガイダンス画像生成部１１１は、次の処理を行う。ガイダンス画像生成部１１１は当該部分領域の枠を示す画像を生成し（Ｓ７０６）、当該部分領域の再現度Ｒｂに応じて投射の可否を判定し（Ｓ７０８）、判定結果を示すメッセージを生成する（Ｓ７１０）。投射の可否の判定については、例えば再現度Ｒｂ８０％以上であれば投射可、それ以下であれば投射不可と判定する。

選択された部分領域の全てについて上記処理が完了すれば（Ｓ７１２）、ガイダンス画像生成部１１１は、選択された部分領域のうち最高の再現度ｍａｘＲｂが第３しきい値（例えば８０％）より小さいかどうかを判定し（Ｓ７１４）、最高の再現度ｍａｘＲｂが第３しきい値より小さくない場合に、図４（ｂ）の枠Ｄ４のような、最高の再現度ｍａｘＲｂを持つ部分領域枠内に推奨表示枠を設定し（Ｓ７１６）、部分領域枠、投射の適否、メッセージ、推奨表示枠などを含むガイダンス画像を生成し（Ｓ７１８）、最高の再現度ｍａｘＲｂが第３しきい値より小さい場合に、図４（ｃ）のガイダンス画像Ｄ６のような、投射領域の変更を促す第２ガイダンス画像を生成し（７２０）、さらに、内部の記憶部を参照して、図４（ｄ）のガイダンス画像Ｄ７のような、以前の投射領域を示すガイダンス画像を生成する（Ｓ７２２）。

このようにガイダンス画像生成部１１１は、再現度Ｒｂに応じて部分領域毎に投射の適否を判定し、領域毎の判定結果を示すメッセージ、領域毎の再現度に関するメッセージなどを含むガイダンス画像や、投射領域の変更を促すガイダンス画像や、現状での投射を促すガイダンス画像や、以前の投射領域を示すガイダンス画像などを生成する。これにより使用者がより再現度のよい投射領域に変更することを容易にする。

続いて、補正パラメータ取得処理について説明する。

図８は、制御部１００の制御による補正パラメータ取得処理を示すフローチャート図である。同図において、制御部１００は、パターン画像生成部１０４に１つのパターン画像を生成させ（Ｓ８００）、補正していないパターン画像を投射部１０１に投射させ（Ｓ８０２）、投射面に投射された画像を撮像部１０２に撮像させる（Ｓ８０４）。撮像された画像は、画像メモリ１０３に格納される。図９（ａ）〜（ｃ）は、パターン画像生成部１０４によって生成されるテストパターン画像の例を示す説明図である。図９（ａ）の画像Ｔ１は白色のパターン画像である。この画像Ｔ１は、投射面の色および柄の検出や、投射画像の形状が歪んでいる場合に、補正画像を投射すべき投射領域を決定するために用いられる。図９（ｂ）の画像Ｔ２は、一本の水平直線Ｌｈを表すパターン画像である。この画像Ｔ２は、水平直線Ｌｈの位置を１画素単位にまたはＮ画素単位に変更させた複数の水平直線画像のうちの１つである。また、図９（ｃ）の画像Ｔ３は、一本の垂直直線Ｌｖを表すパターン画像である。この画像Ｔ３は、垂直直線Ｌｖの位置を１画素ずつまたはＮ画素ずつを変更させた複数の垂直直線画像のうちの１つである。１つの水平直線画像と１つの垂直直線画像との組みは、原画像と投射画像との間の座標の対応関係を検出するのに用いられる。

制御部１００は、図８に示したＳ８００〜Ｓ８０４を全てのパターン画像について繰り返す（Ｓ８０６）。全てのパターン画像の撮像が完了すると、制御部１００は、補正パラメータ計算処理を制御し（８０８）、補正パラメータを補正パラメータ記憶部１１０に記憶させる（Ｓ８１０）。

図１０は、図８中の補正パラメータ計算処理Ｓ８０８の詳細処理を示すフローチャート図である。まず。補正パラメータ計算部１０７は、白色画像Ｔ１の撮像画像を用いて補正画像の投射枠を決定する（Ｓ１０００）。図１１（ａ）〜（ｃ）は、投射枠決定についての説明図である。図１１（ａ）の撮像画像Ｉ１は、投射面が図２（ａ）のように部屋の角を含む場合に、投射された白色画像Ｔ１の撮像画像である。元の白色画像Ｔ１と比べると撮像画像Ｉ１の外形が大きく歪んでいる。補正パラメータ計算部１０７は、図１１（ａ）の撮像画像Ｉ１を二値化することによって、図１１（ｂ）の画像Ｉ２を得る。さらに、補正パラメータ計算部１０７は、二値化された画像Ｉ２中の投射画像に内接する最大の矩形領域であって、そのアスペクト比が原画像のアスペクト比と等しくなるように投射枠を決定する。図１１（ｃ）は決定された投射枠を表している。

さらに、補正パラメータ計算部１０７は、水平直線画像と垂直直線画像との全ての組みについて、つまり、水平直線と垂直直線の交点として定まるグリッド座標（Ｘｇ，Ｙｇ）の全てについて、次の処理を行う。まず、補正パラメータ計算部１０７は、撮像画像のグリッド座標（Ｘｇ，Ｙｇ）を取得する（Ｓ１００２）。図１２（ａ）〜（ｃ）は、撮像されたテストパターン画像とグリッド座標の例を示す説明図である。図１２（ａ）の画像Ｉ４は１つの水平直線画像の撮像結果を、図１２（ｂ）の画像Ｉ５は、１つの垂直直線画像の撮像結果を示す。この撮像結果は図３（ｂ）の画像Ｔ２と同様に歪んでいる。図１２（ｃ）の画像Ｉ６は、例えば、画像Ｉ４と画像Ｉ５の両者を二値化してから、対応する画素同士のＡＮＤをとった結果であり、画像Ｉ４の水平直線と画像Ｉ５の垂直直線との交点を示す。この交点の座標がグリッド座標（Ｘｇ，Ｙｇ）であり、原画像の水平直線画像と垂直直線画像の交点（Ｘ，Ｙ）と対応している。

グリッド座標取得の後、補正パラメータ計算部１０７は、原画像の対応する座標（Ｘ，Ｙ）を取得し（Ｓ１００４）、この２つの座標から補正画像の対応する座標（Ｘ’，Ｙ’）を計算する（Ｓ１００６）。詳しく言うと、原画像の対応する座標（Ｘ，Ｙ）は図３（ａ）の画像Ｔ１の座標に該当する。撮像画像のグリッド座標（Ｘｇ，Ｙｇ）は図３（ｂ）の画像Ｔ２の座標に該当する。一方、未知の補正画像の座標（Ｘ’，Ｙ’）は図３（ｄ）の画像Ｔ４の座標に該当する。画像Ｔ１から画像Ｔ２への変換関数をｆとすると、座標（Ｘ，Ｙ）と座標（Ｘｇ，Ｙｇ）の関係は（式１）と表される。

ｆ（Ｘ，Ｙ）＝（Ｘｇ，Ｙｇ）---------（式１）
また、画像Ｔ４を補正画像にするためには、画像Ｔ４から画像Ｔ１への変換関数もｆでなければならないので、座標（Ｘ’，Ｙ’）と座標（Ｘ，Ｙ）の関係は（式２）でなければならない。

ｆ（Ｘ’，Ｙ’）＝（Ｘ，Ｙ）---------（式２）
補正パラメータ計算部１０７は、この２つの式から未知の（Ｘ’，Ｙ’）を計算する（Ｓ１００６）。その際、補正パラメータ計算部１０７は、（Ｘ，Ｙ）を画像Ｔ１と同じ大きさのメッシュではなく、画像Ｔ３の投射枠に収まる大きさのメッシュにするために、スケーリングする（Ｓ１００８）。このようにして、座標（Ｘ，Ｙ）に対応する（Ｘ’，Ｙ’）の値が計算される。この（Ｘ，Ｙ）と（Ｘ’，Ｙ’）とが１つの座標に対する形状補正パラメータとなる。

さらに、補正パラメータ計算部１０７は、グリッド座標（Ｘｇ，Ｙｇ）の色（画素値）を取得し（Ｓ１０１０）、取得した色成分毎の値（Ｒ，Ｇ，Ｂ）をその座標における色補正パラメータとして、形状補正パラメータと共にマップ表に書き込む（Ｓ１０１２）。

全グリッド座標について補正パラメータの計算が完了すれば（Ｓ１０１４）、補正パラメータ計算部１０７はグリッド座標以外の座標の補正パラメータを既に計算済の補正パラメータを用いて補間により計算し（Ｓ１０１６）、マップ表に書き込む。図１３は、マップ表の一例を示す図である。同図のマップ表は、原画像の座標（Ｘ，Ｙ）毎に、形状補正パラメータ（ｘ’，ｙ’）と色補正パラメータ（Ｒ，Ｇ，Ｂ）とが記載されている。

以上説明してきたように本実施の形態における画像投射装置によれば、原画像に対する撮像された補正画像の再現度に基づいて画像の投射を制御するので、より原画像に近い補正画像を利用することを容易にすることができる。言い換えれば、再現度の高い投射領域の利用を使用者にもたらすことができる。

また、使用者はガイダンス画像によって再現度に関する情報を得ることができるので、より原画像に近い補正画像を利用することができる。使用者はガイダンス画像によって投射の適否を知ることができるので、より原画像に近い補正画像を確実に利用することができる。投射の適否を用途に応じて用途別に適切に判定することもできる。

使用者は投射の適否を投射領域全体だけでなく、部分領域毎に知ることができる。また、使用者は再現度に関する情報を部分領域毎に知ることができる。

再現度がしきい値よりも大きい場合、つまり再現度が良い場合だけ投射することもできる。

投射された補正画像を撮像した画像についての再現度が計算されるので、色の再現性と形状の再現性の両者を併せ持つ再現度を得ることができる。それゆえ、投射面の形状がかなり複雑である場合や、壁のコーナーである場合等に効果的である。

なお、図３（ａ）に示したグリッドの間隔は、１画素（つまり全画素がグリッド）でもよい。

（実施の形態２）
図１４は、実施の形態２における画像投射装置の構成を示すブロック図である。同図の画像投射装置２は、図１と比較して、首振り部２０１が追加された点と、制御部１００の代わりに制御部２００を備える点とが異なっている。図１と同じ点は説明を省略し、以下異なる点を中心に説明する。なお、撮像部１０２の撮像範囲は実施の形態１と比べて広角になっているものとする。

首振り機構２０１は、投射部１０１の投射方向を変更する機構であり、投射部１０１の投射方向を横方向に変更する水平首振り機構と、投射部１０１の投射方向を縦方向に変更する垂直首振り機構とからなる。水平首振り機構、垂直首振り機構は何れもモータに駆動され、制御部２００からの制御により任意の首振り角度で静止する。

制御部２００は、図１の制御部１００の機能に加えて、（Ａ）複数の投射方向に対応する複数の投射領域によって形成される拡大領域の設定、（Ｂ）拡大領域の再現度計算処理の制御、（Ｃ）拡大領域のガイダンス画像の提示の制御と行う。拡大領域において部分領域を探索することによって、より確実に再現度の良好な部分領域を設定することができる。

図１５（ａ）〜（ｆ）は、拡大領域の説明図である。図１５（ａ）における画像Ａ１は、撮像部１０２に撮像された画像であり、投射領域Ｄ１１は、首振り機構２０１の首振り角度が第１の角度（例えば左右の首振り中心を０度として＋１０度）における投射領域を示す。図１５（ｂ）における画像Ａ２は、撮像部１０２に撮像された画像であり、投射領域Ｄ１２は、首振り機構２０１の首振り角度が第２の角度（例えば０度）における投射領域を示す。図１５（ｃ）における画像Ａ３は、撮像部１０２に撮像された画像であり、投射領域Ｄ１３は、首振り機構２０１の首振り角度が第３の角度（例えば−１０度）における投射領域を示す。

図１６は、制御部２００に制御による拡大領域の設定、補正パラメータ取得処理、再現度取得処理および提示処理の一例を示すフローチャート図である。同図において、まず制御部２００は、上記（Ａ）として、複数の投射方向に対応する複数の投射領域（例えば、Ｄ１１、Ｄ１２、Ｄ１３）が連続するか否かを判定して、連続する場合には、図１５（ｃ）に示すような、拡大領域として取り扱うために、第１〜第３の角度を記憶し、各角度に首振り機構２０１を設定するため設定値を記憶する。これにより連続領域を拡大領域として設定したことになる。なお、このときの投射画像は例えば白色画像パターンでよい。

さらに、制御部２００は、複数の投射領域個別に、補正パラメータ取得処理を制御し（Ｓ１６０２）、再現度計算・提示処理を制御する（Ｓ１６０４）。ここで、ステップＳ１６０２は図８と同じでよい。ステップＳ１６０４は、図５ＡのＳ５００〜Ｓ５１０までと同じでよい。複数の投射領域に対応する全ての角度について完了すると、制御部２００は、拡大領域を対象に、再現度計算処理を行う（Ｓ１６０８）。この再現度計算処理は、投射領域個別に計算された画素毎の一致判定フラグから、図１５（ｅ）に示すような、拡大領域に対応する１つのビットマップデータが作成し、拡大領域を対象に部分領域の探索を行う。このステップＳ１６０８は、図６のステップ７１０からＳ７２０と同じでよい。

制御部２００は、上記Ｓ１６０８の再現度計算処理では、拡大領域内で再現度が良好な部分領域を探索する。その結果、図１５（ｆ）における部分領域Ｒ１、Ｒ２、Ｒ３のうち、部分領域Ｒ１、Ｒ２は、投射領域と投射領域の境界に跨っている領域であり、単独の投射領域では探索ができない領域であるが、拡大領域を設定することによって容易に部分領域を探索することができる。

さらに、制御部２００は、拡大領域を対象にガイダンス画像生成処理を制御し（Ｓ１６１０）、ガイダンス画像を投射させ（Ｓ１６１２）、ユーザ操作に従って選択された部分領域に投射方向を向けるために首振り機構２０１の角度および投射領域を設定する（Ｓ１６１４）。これによりユーザに選択された部分領域に投射を開始する。

以上説明してきたように本実施の形態における画像投射装置２によれば、投射領域よりも広範な拡大領域に対して再現度を得ることができるので、より確実に再現度の高い部分領域を探すことできる。さらに、使用者に最も再現度の高い投射領域の選択を促すことができる。

なお、実施の形態２において、制御部２００は、拡大領域の設定を、首振り機構２０１による首振りをしながら、連続領域となる投射領域の角度を設定するようにしてもよい。

また、首振り機構２０１は、上下に回動する鏡、左右に回動する鏡を組み合わせて構成し、投影光の反射方向を上下、左右に変更可能な構成としてもよい。

また、首振り機構２０１の代わりに、画像投射装置２の本体ごと回転させる回転機構を備えてもよい。

また、画像投射装置２がＬＣＤ等の表示部を備えている場合には、上記のガイダンス画像を当該表示部に表示してもよい。例えば、上記実施の形態１または２における画像投射装置を小型化したプロジェクタが携帯端末機器（携帯電話機やＰＤＡやノートパソコン等）に実装される場合に、上記のガイダンス画像は表示部と投射の少なくとも一方により表示してもよい。

なお、撮像部１０２は、カラー画像ではなく、モノクロ画像を撮像する構成でもよい。この場合、投射部１０１がテストパターン画像を赤、緑、青の三回に分けて投射し、撮像部１０２によって赤、緑、青に対応する３つのモノクロ画像を３つの色成分画像として合成すればよい。

さらに、図１、図１４に示したブロック図の各機能ブロックは典型的には集積回路装置であるＬＳＩとして実現される。このＬＳＩは１チップ化されても良いし、複数チップ化されても良い。例えば、画像メモリ１０３などのメモリ以外の機能ブロックが１チップ化されていても良い。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

また、各機能ブロックのうち、データを格納するユニットだけ１チップ化せずに、別構成としても良い。

また、図１、図１４に示したブロック図の各機能ブロックおよび図５Ａ〜図８、図１０、図１６に示したフローチャートにおいて、制御部１００を含む中心的な部分はマイクロプロセッサおよびプログラムによって実現される。それゆえ、本発明をプログラムとして構成してもよい。

本発明は、画像をスクリーンに投射する画像投射装置に適している。

図１は、本発明の実施の形態１における画像投射装置の構成を示すブロック図である。 図２（ａ）〜（ｃ）は、被投射対象の例を示す説明図である。 図３（ａ）〜（ｄ）は、補正部１０８による補正の説明するための説明図である。 図４（ａ）〜（ｄ）は、再現度に関するガイダンス画像の例を示す説明図である。 図５Ａは、再現度取得提示処理を示すフローチャート図である。 図５Ｂは、再現度取得提示処理の他の例を示すフローチャート図である。 図６は、再現度計算処理の詳細を示すフローチャート図である。 図７は、ガイダンス画像生成処理の詳細を示すフローチャート図である。 図８は、補正パラメータ取得処理の詳細を示すフローチャート図である。 図９（ａ）〜（ｃ）は、テストパターン画像の例を示す説明図である。 図１０は、補正パラメータ計算処理の詳細を示すフローチャート図である。 図１１（ａ）〜（ｃ）は、投射枠決定の説明図である。 図１２（ａ）〜（ｃ）は、テストパターン画像の例を示す図である。 図１３は、マップ表の一例を示す図である。 図１４は、実施の形態２における画像投射装置の構成を示すブロック図である。 図１５（ａ）〜（ｆ）は、拡大領域の説明図である。 図１６は、補正および再現度の拡大処理を示すフローチャート図である。

符号の説明

１、２ 画像投射装置
１００、２００ 制御部
１０１ 投射部
１０２ 撮像部
１０３ 画像メモリ
１０４ パターン画像生成部
１０５ａ〜１０５ｃ スイッチ
１０６ 画像処理部
１０７ 補正パラメータ計算部
１０８ 補正部
１０９ 再現度計算部
１１０ 補正パラメータ記憶部
１１１ ガイダンス画像生成部
２０１ 首振り部

Claims (25)

1. 画像を投射する画像投射装置であって、
   投射された画像を撮像する撮像手段と、
   撮像された画像の原画像に対する再現度を計算する計算手段と、
   前記再現度に基づいて画像の投射を制御する制御手段と
   を備えることを特徴とする画像投射装置。
2. 前記画像投射装置は、さらに、前記再現度に関するガイダンス画像を生成する画像生成手段を備え、
   前記制御部は、前記ガイダンス画像の投射を制御する
   ことを特徴とする請求項１記載の画像投射装置。
3. 前記画像生成手段は、前記再現度に応じて投射面に対する投射の適否を判定し、判定結果を示すガイダンス画像を生成する
   ことを特徴とする請求項２記載の画像投射装置。
4. 投射面に応じた補正画像を投射する画像投射装置であって、
   投射された画像を撮像する撮像手段と、
   撮像された画像に基づいて、投射面に起因する画像の歪みを補正する補正パラメータを計算する第１計算部と、
   前記補正パラメータを用いて画像を補正することにより補正画像を生成する補正手段と、
   補正手段により生成された補正画像、および投射と撮像を通して得られた補正画像の一方について、原画像に対する再現度を計算する第２計算手段と、
   前記再現度に基づいて画像の投射を制御する制御手段と
   を備えることを特徴とする画像投射装置。
5. 前記画像投射装置は、さらに、前記再現度に関するガイダンス画像を生成する画像生成手段を備え、
   前記制御部は、前記ガイダンス画像の投射を制御する
   ことを特徴とする請求項４記載の画像投射装置。
6. 前記画像生成手段は、前記再現度に応じて投射面に対する投射の適否を判定し、判定結果を示すガイダンス画像を生成する
   ことを特徴とする請求項５記載の画像投射装置。
7. 前記画像生成手段は、前記適否の判定において用途に応じたしきい値を選択し、選択されたしきい値を用いる
   ことを特徴とする請求項６記載の画像投射装置。
8. 前記第２計算手段は、投射面における投射領域に含まれる複数の部分領域毎に前記再現度を計算し、
   前記ガイダンス生成手段は、前記再現度に応じて前記部分領域毎に投射の適否を判定し、領域毎の判定結果を示すガイダンス画像を生成する
   ことを特徴とする請求項５記載の画像投射装置。
9. 前記第２計算手段は、投射面における投射領域に含まれる複数の部分領域毎に前記再現度を計算し、
   前記ガイダンス生成手段は、領域毎の前記再現度に関するガイダンス画像を生成する
   ことを特徴とする請求項５記載の画像投射装置。
10. 前記制御手段は、前記再現度が所定の値よりも大きいとき、画像を補正しかつ投射するよう制御することを特徴とする請求項１記載の画像投射装置。
11. 前記第２計算手段は、補正画像と原画像との間で対応する画素同士を比較することによって、前記再現度を計算する
    ことを特徴とする請求項４記載の画像投射装置。
12. 前記制御手段は、投射面に投射された補正画像を前記撮像手段に撮像させ、
    前記第２計算手段は、撮像手段によって補正画像から得られた撮像画像と、原画像との間で対応する画素同士を比較することによって、前記再現度を計算する
    ことを特徴とする請求項１１記載の画像投射装置。
13. 前記第１計算手段は、さらに、前記補正パラメータによる補正の逆変換を示す逆補正パラメータを計算し、
    前記補正手段は、さらに、補正画像を逆補正パラメータにより逆変換し、
    前記第２計算手段は、逆変換された補正画像と、原画像との間で対応する画素同士を比較することによって、前記再現度を計算する
    ことを特徴とする請求項１１記載の画像投射装置
14. 前記画像投射装置は、さらに、前記再現度に関するガイダンス画像を生成する画像生成手段を備え、
    前記制御部は、前記ガイダンス画像の投射を制御する
    ことを特徴とする請求項１１記載の画像投射装置。
15. 前記画像生成手段は、前記再現度に応じて投射面に対する投射の適否を判定し、判定結果を示すガイダンス画像を生成する
    ことを特徴とする請求項１４記載の画像投射装置。
16. 前記画像生成手段は、前記適否の判定において用途に応じたしきい値を選択し、選択されたしきい値を用いる
    ことを特徴とする請求項１５記載の画像投射装置。
17. 前記第２計算手段は、投射面における投射領域に含まれる複数の部分領域毎に前記再現度を計算し、
    前記ガイダンス生成手段は、前記再現度に応じて前記部分領域毎に投射の適否を判定し、領域毎の判定結果を示すガイダンス画像を生成する
    ことを特徴とする請求項１４記載の画像投射装置。
18. 前記第２計算手段は、投射面における投射領域に含まれる複数の部分領域毎に前記再現度を計算し、
    前記ガイダンス生成手段は、領域毎の前記再現度に関するガイダンス画像を生成する
    ことを特徴とする請求項１４記載の画像投射装置。
19. 前記画像投射手段は、さらに、投射方向を変更する変更手段を備え、
    前記制御手段は、拡大領域を得るための複数の投射方向を決定し、
    前記拡大領域は前記複数の投射方向に対応する複数の投射領域によって形成され、
    前記第２計算手段は、複数の投射領域の個々の投射領域毎に再現度を計算し、投射領域毎の前記再現度に基づいて前記拡大領域の再現度を計算する
    ことを特徴とする請求項４記載の画像投射装置。
20. 前記第２計算手段は、前記拡大領域に含まれる複数の部分領域毎に前記再現度を計算し、
    前記ガイダンス生成手段は、前記再現度に応じて前記部分領域毎に投射の適否を判定し、領域毎の判定結果を示すガイダンス画像を生成する
    ことを特徴とする請求項１９記載の画像投射装置。
21. 前記制御手段は、さらに、ユーザ操作に基づいて部分領域を選択し、選択された部分領域に画像を投射するよう制御する
    ことを特徴とする請求項２０記載の画像投射装置。
22. 前記第２計算手段は、前記拡大領域に含まれる複数の部分領域毎に前記再現度を計算し、
    前記ガイダンス生成手段は、領域毎の前記再現度に関するガイダンス画像を生成する
    ことを特徴とする請求項１９記載の画像投射装置。
23. 画像を投射する画像投射装置を制御する方法であって、
    投射された画像を撮像し
    撮像された画像の原画像に対する再現度を計算し、
    前記再現度に基づいて画像の投射を制御する
    ことを特徴とする制御方法。
24. 画像を投射する画像投射装置を制御する半導体装置さあって、
    投射された画像を撮像する撮像手段と、
    撮像された画像の原画像に対する再現度を計算する計算手段と、
    前記再現度に基づいて画像の投射を制御する制御手段と
    を備えることを特徴とする半導体装置。
25. 画像を投射する画像投射装置に備えられるコンピュータに読み取り可能なプログラムであって、
    投射された画像を撮像し
    撮像された画像の原画像に対する再現度を計算し、
    前記再現度に基づいて画像の投射を制御する
    ことを前記コンピュータに実行させることを特徴とするプログラム。

Images