JP6398235B2 - 画像投影装置、画像投影システム、及び画像投影装置の制御方法 - Google Patents

Description

本発明は、画像投影装置、画像投影システム、及び画像投影装置の制御方法に関する。

画像投影装置の一例であるプロジェクタに使用される代表的な表示デバイスとして、ＤＭＤ（Digital Micro mirror Device）が挙げられる。ＤＭＤは、シリコン上の微細ミラーを画素単位に傾けることにより反射させた光で映像を作り出すデバイスである。反射方式であることからコントラスト性に優れ、また、微細ミラーの応答速度の速さから、ＲＧＢ（Red Green Blue）各色の制御を１チップで行うことができるため、装置を小型化し易いという利点がある。

ＤＭＤは、ミラーを物理的にデバイス上に並べ、それを＋１０度、又は−１０度という傾きを設け、オンかオフかの位置を採るような構造となっている。このオンの位置、又はオフの位置のときの光の反射の仕方によって、０又は１というような、光でのスイッチング動作を持たせている。

ＤＭＤがどのようにして光のオン又はオフという動きを持たせているかというと、ランプから発せられた光がまずＤＭＤデバイスに当たり、ミラーがオンの位置か、又はオフの位置かによって、反射される方向が決まる。オンの位置により反射された光はレンズを通りスクリーン上に投影される。ミラーがオフ位置のときは、光がレンズを通らない方向に反射するのでスクリーン上には黒い画像が再現される。すなわち、ミラーが実際にオンかオフかということによって、レンズに光が行っているのか否かにより、光学的に１、０のデジタル動作を実現している。

そして、ミラー自体はオンかオフかの何れかの位置しか採らないので、階調としては、ある時間軸においてオンになっている時間がどれくらいであるかというものを設定することによりグレーの中間階調を出している。すなわち、ミラーはオンの位置かオフの位置か（０か１か）の位置を採るが、物理的にオンとオフとの中間の位置も通過点として瞬間的に通ることになる。ある時間軸において全部オンであれば全白となり、全部オフであれば全黒、５０％オンで５０％オフであれば真中の灰色（中間階調）という時間割り振りをしている。

画像投影装置の一例であるプロジェクタは、本来、平面度の高いスクリーンに投影することを前提とし、これに映像を投影する装置である。しかし、オフィスにおける通常使用や、展示ディスプレイ等の不定形物に投影するような応用利用の現場においては、必ずしも平面性が保証されない投影対象に対する投影が行われる。特許文献１には、特に、想定される標準的な投影映像の観察方向と、スリーンへの投影方向とが著しく異なる場合、スクリーンの歪曲による投影映像の見掛けの歪みが大きくなることが問題点として挙げられている。

このような問題点に対し、特許文献１や特許文献１で引用する先行技術文献には、格子状に配置した点をパターン映像としてスクリーンに投影し、これを想定される観察方向から撮像して歪みを検出することにより、プロジェクタへの入力画像の補正を行い、観察方向からの歪みを低減する方法が開示されている。特に、特許文献１では、外部カメラを用いた画像歪み検出に適した方法として、中間階調で平坦部の背景画像を形成し、これを基準として、より低い階調レベルと高い階調レベルのパターンを格子状に千鳥配列にするパターン構成が開示されている。

また、特許文献２及び特許文献３には、曲面にプロジェクタからの投影による画像歪みを、規則的に配置されたな円パターンの投影画像の撮像結果から補正する技術が開示されている。特に、特許文献２には、自由曲面に対して斜めに配置されたプロジェクタが想定されている。

これらの特許文献に共通する技術思想は、均等に配置された円パターンの投影画像の撮像結果に基づいて画像歪みを算出する点に有るが、特許文献２及び特許文献３においては、パターンそのものに対して、外乱に対するロバスト性を向上させるための工夫は特に開示されていない。これに対し、特許文献１は、パターンのコントラストを向上させる工夫が開示されている点に特徴が有る。さらに、特許文献１は、投影されたパターン映像のただ一回の撮影画像に基づいて歪み補正を実施できるため、外部カメラを固定する必要がなく、手持ち撮影を可能としている点で優れている。

しかしながら、本来のスクリーンではない壁等への投影を想定した場合、撮影されたパターン画像（以下、「取得パターン画像」という。）には、壁面のテクスチャーや汚れ等様々なノイズが重畳してしまう。したがって、投影されるパターンには、撮影時の輝度ムラやノイズに対するより高いロバスト性が要求される。

この点に関し、特許文献１では、平坦領域を取得パターン画像における隣接する４×４の輝度のピーク、又は輝度のボトムの中点として検出し、背景の輝度勾配を検出する方法を採っている。そのため、外光や投影面テクスチャーの影響でコントラストが低下した取得パターン画像でのパターン検出限界を低くするためには、平坦領域検出に先立って、ピーク（ボトム）を正しく検出することが要求される。

これに対し、本発明は、画像投影手段としてのプロジェクタを中心に構成される映像投影システムの歪み検出において、取得パターン画像のピーク（ボトム）や平坦領域の検出を先行することなく、背景の輝度勾配の検出を可能とすることとしている。そのため、取得パターン画像のコントラスト低下やノイズの重畳に対して、よりロバストネスな歪み検出を可能とすることを解決課題としている。また、歪み検出を、単一の取得パターン画像で実現し、利便性を損なわないこと、さらに、取得パターン画像において、一部のパターン（特に周辺部）のパターンが欠損した場合であっても、ロバストに歪み検出を可能とすることも、併せて課題となる。

そこで、本発明は、上記従来技術の問題点に鑑みてなされたものであって、撮影されたパターン画像のコントラスト低下やノイズの重畳に対して、よりロバストな歪み検出をすることが可能な画像投影装置を提供することを目的とする。

上記課題を解決するため、本発明における画像投影装置は、投影面に投影される画像信号を入力する画像信号入力手段と、所定のパターン形状から構成されるパターン画像を生成するパターン画像生成手段と、前記パターン画像を前記投影面に投影する投影手段と、前記投影面に投影された前記パターン画像を撮像する撮像手段と、前記撮像されたパターン画像に基づいて画像信号の歪みを補正する補正パラメータを算出する幾何歪み検出手段と、前記算出された補正パラメータに基づいて、前記画像信号入力手段から入力された画像信号を補正する画像歪み補正手段と、を含み、前記所定のパターン形状を構成するパターンの平均輝度と前記所定のパターン形状を構成する背景の輝度とが略等しく、前記パターン画像は、最大輝度を有する第１の点を中心とする第１のパターン画像と、最小輝度を有する第２の点を中心とする第２のパターン画像と、前記最大輝度と前記最小輝度との中間の輝度を有する背景のパターン画像とから構成され、前記所定のパターン形状は、前記第１のパターン画像と前記第２のパターン画像とが、前記背景のパターン画像に対して格子状に千鳥配列された繰り返し形状であるいことを特徴とする。

本発明によれば、撮影されたパターン画像のコントラスト低下やノイズの重畳に対して、よりロバストな歪み検出をすることが可能な画像投影装置を得ることができる。

本実施形態に係る画像投影システムの基本構成について説明する図である。 本実施形態に係る画像投影システムを構成するプロジェクタに組み込まれた歪み補正を行う画像処理部の構成について説明する概略ブロック図である。 本実施形態に係る画像投影システムを構成するプロジェクタに組み込まれた歪み補正を行う画像処理部の画像歪み補正処理の動作について説明するフロー図である。 本実施形態に係る画像投影システムを構成するプロジェクタによって投影されるパターン画像の例を示す図である。 本実施形態に係る画像投影システムを構成するプロジェクタによって投影されるパターン画像のスクリーンへの投影像としての輝度分布の断面を模式的に表した図である。 本実施形態に係る画像投影システムを構成するプロジェクタによって投影されるパターン画像を２値画像として構築した場合のパターン３１ｂ近傍の拡大図である。 本実施形態に係る画像投影システムを構成するプロジェクタによって投影されるパターン画像を２値画像として構築した場合のパターン３１ｂのその他のバリエーションを示す図である。 本実施形態に係る画像投影システムを構成するプロジェクタに組み込まれた歪み補正を行う画像処理部の画像歪み補正の動作を実行させるユーザインタフェースの例を示す図である。 本実施形態に係る画像投影システムを構成するプロジェクタに組み込まれた歪み補正を行う画像処理部の画像歪み補正の動作において、（ａ）パターン配列の取得画像上の（ｘ、ｙ）座標値を、上から下、左から右の順で順次決定する過程において、（ｉ、ｊ＋１）要素のパターンの取得に失敗した場合を示す図、（ｂ）千鳥配置で異なる２種類のパターンを配置した場合を示す図である。

本発明は、プロジェクタ、特に非平面への投影を想定したプロジェクタから投影されるノイズを含んだパターン画像に対し、個々のパターンサイズよりも十分に大きい大域的な平滑化を施している。これにより、パターン画像の平均輝度を背景輝度に略等しくさせることができ、パターン抽出を行うよりも前に、背景の輝度分布を容易に抽出することが特徴となっている。

以下、本発明を実施するための形態について図面を参照して詳細に説明する。なお、各図中、同一又は相当する部分には同一の符号を付しており、その重複説明は適宜に簡略化乃至省略する。

まず、本実施形態に係る画像投影システムの基本構成について説明する図である。図１は、本実施形態に係る画像投影システムの基本構成について説明する図である。図１において、本実施形態に係る画像投影システムは、画像投影装置本体であるプロジェクタ１と、プロジェクタ１に映像信号を送信する情報処理装置の一例であるパーソナルコンピュータ（以下、ＰＣという。）７とで構成される。また、プロジェクタ１からの映像を投影する被投影面となるスクリーン２と、スクリーン２に投影された投影画像９を撮影する撮像装置の一例であるカメラ４と、で構成される。

特に、図１では、被投影面として、つり下げ状のスクリーン２を例示しているが、極端な凹凸や模様を有しない壁面等で代用しても良い。また、画像入力手段としては、通常のカメラ４の他、携帯電話やタブレットＰＣ、ノートＰＣ等であっても、カメラを内蔵したデバイスであれば代用可能である。

この画像投影システムにおいて、通常の使用では、ユーザ８は、ＰＣ７からの映像を、プロジェクタ１を介して、スクリーン２に投影する。スクリーン２に歪みがある場合、投影画像９にも歪みを生じる。上述した特許文献１にもあるように、この歪みは、プロジェクタ１の画像の投影方向と、ユーザ８による投影画像９の観察方向との違いによって生じている。

この場合、ユーザ８は、後述するパターンの配列で構成されるパターン画像１０をプロジェクタ１から投影し、これを、歪みを除去したい視点からカメラ４を用いて撮影する。次いで、ユーザ８は、撮影されたパターン画像１０の歪んだ投影画像９を、通信手段を介して直接、又はＰＣ７を経由して、プロジェクタ１に取り込む。以下に説明するように、プロジェクタ１は、この取得されたパターン画像に基づいて画像補正を行うことにより、ユーザ８の視点から見て、歪みが無い画像を投影する。

次に、本実施形態に係る画像投影システムを構成するプロジェクタに組み込まれた歪み補正を行う画像処理部の構成について説明する。図２は、本実施形態に係る画像投影システムを構成するプロジェクタに組み込まれた歪み補正を行う画像処理部の構成について説明する概略ブロック図である。

図２において、映像信号入力部１８は、通常はＰＣ７からの映像信号を受け取り、これを後段の処理に流すが、パターン画像生成部１７からの信号送信要求がある場合は、パターン画像生成部１７からの信号を優先して後段の処理に流す。画像歪み検出のためのパターン画像１０を投影する場合、ユーザ８はプロジェクタ１に備え付けられた指示部１６、又はＰＣ７上のユーティリティソフトウエアを介して、パターン画像生成手段であるパターン画像生成部１７にパターン画像１０の生成を指示する。パターン画像生成部１７では、指示されたパターン画像信号を映像信号入力部１８に送る。

一方、前述のように、カメラ４、又はＰＣ７を介して取得されたパターン画像１０は、バッファ１９に蓄積される。幾何歪み検出手段である幾何歪み検出部２０は、バッファ１９に蓄積された歪んだパターン画像から、補正パラメータを算出する。画像歪み補正手段である画像歪み補正部２１は、ＰＣ７から映像信号入力部１８に取得された映像信号を、フレームメモリ２２上に展開しつつ、幾何歪み検出部２０で算出された補正パラメータに基づいて補正する。補正された映像信号は、投影部２３から投影画像９としてスクリーン２に投影される。

図２では、特に明示的に図示していないが、画像歪み補正部２１は、指示部１６からの指示、又はＰＣ７上のユーティリティソフトウエアからの指示により、映像信号入力部１８からの映像信号に対する画像歪み補正のオン・オフを切り替え可能となっている。また、図２では、画像歪み補正処理をプロジェクタ１側で行う実装での処理の流れを示した。

しかしながら、これらのパターン画像生成手段、幾何歪み検出手段、及び画像歪み補正手段は、ＰＣ７側のソフトウエアとして実装することも可能である。以下の説明では、ＰＣ７上にインストールされたユーティリティソフトウエアの処理モジュールによる画像処理を、単にＰＣ７の処理として記述する。

次に、本実施形態に係る画像投影システムを構成するプロジェクタに組み込まれた歪み補正を行う画像処理部の画像歪み補正処理の動作について説明する。図３は、本実施形態に係る画像投影システムを構成するプロジェクタに組み込まれた歪み補正を行う画像処理部の画像歪み補正処理の動作について説明するフロー図である。

以下説明する各処理は、図２に示すようにプロジェクタ１内に各処理手段を実装する場合も概ね同様であるが、ここでは特にＰＣ７上のソフトウエアによって実現した場合を想定して説明する。

最初のｓｔｅｐ１において、上述したように、ユーザ８は、ＰＣ７のユーティリティソフトウエアで実装されたユーザインタフェース４０（後述の図８で詳述する。）を用いて、歪み検出に使用するパターンに対応する指示パラメータを与える。パターン画像生成手段であるソフトウエアモジュールは、指示パラメータに基づいて、例えば、図４に示すようなパターン画像を生成する。図４は、本実施形態に係る画像投影システムを構成するプロジェクタによって投影されるパターン画像の例を示す図である。

このときのパターン画像の生成方法としては二通りあり、一つは、予め保持された複数のパターン画像を、パターン識別番号を指示部１６（図２）からの指示パラメータとして選択する実装である。もう一つは、パターン形状に対応する形状パラメータ（例えば、円の半径）を指示パラメータとして指定し、パターン画像生成部１７において計算処理によってパターン画像を生成する実装方法がある。このとき生成されるパターンの詳細については、後述する。

ｓｔｅｐ２において、生成されたパターン画像を、プロジェクタ１の映像信号入力部１８に送り、スクリーン２に投影する。ｓｔｅｐ３において、スクリーン２に投影されたパターン画像１０をカメラ４で撮影し、ＰＣ７に送信する。このとき、カメラ４として、カメラ付き携帯電話のような通信機能を有した機器であれば、カメラ４とＰＣ７との間で直接パターン画像データのやりとりが可能である。カメラ４に通信機能が備わってない場合は、ユーザ８がカメラ４の記録メディアを媒介してＰＣ７にパターン画像データの受け渡しを行う。

ｓｔｅｐ４において、ｓｔｅｐ３で取得された歪みやノイズを含んだパターン画像１０に対し、個々のパターンサイズよりは十分に小さい局所的な平滑化を施すことにより、局在するノイズの除去を行う。

一方、ｓｔｅｐ５において、ｓｔｅｐ３で取得された歪みやノイズを含んだパターン画像１０に対し、個々のパターンサイズよりも十分に大きい大域的な平滑化を施す。これにより、画像全体の緩やかな輝度勾配が除去される。このとき、パターン画像１０は、後述するように、パターンの平均輝度が背景輝度に略等しくなるよう設計されている。このため、ｓｔｅｐ５における大域平滑化処理後に残留するパターン成分はほとんど無く、次のｓｔｅｐ６における差分演算でのコントラストの低下が防止される。

ｓｔｅｐ６において、ｓｔｅｐ４の処理結果と、ｓｔｅｐ５の処理結果との差分を取ることにより、パターン画像の背景輝度が０に基準化される。ｓｔｅｐ７において、ｓｔｅｐ６の処理画像に基づいて、パターン画像中の各パターンの中心点を算出する。ここでは、まず、粗く探索したピーク・ボトム値を各中心点の推定値の初期値として、各中心点毎に、その近傍の輝度勾配から高精度な中心点の座標値（ｘα、ｙα）を算出する。ただし、αは単に抽出されピーク値ｐαを識別するための添字であって、パターン画像データのパターンの位置に関連付けられてはいない。また、ここでの座標値は、撮影画像配列の添字を実数拡張したものと考えて良い。

ｓｔｅｐ８において、ｓｔｅｐ７で取得された各ピーク値ｐαと、その座標値（ｘα、ｙα）のリストとの整合確認を行う。欠損点が存在する場合は、周辺のピーク値とその座標値とから欠損点を推定し補うと共に、各座標値（ｘα、ｙα）と、元のパターン画像データのパターンの配列としての添字（ｉ、ｊ）との関連付けを行う。

ｓｔｅｐ９において、ｓｔｅｐ８で関連付けられた、（ｉ、ｊ、ｘα、ｙα）に基づいて、上記特許文献１に記載された方法と同様の方法により、歪み補正パラメータを算出する。ｓｔｅｐ１０において、幾何歪み補正手段としての画像補正ソフトウエアモジュールに対して、ｓｔｅｐ９において得られた歪み補正パラメータを設定することにより、出力映像の歪みが正しく補正される。

パターン画像１０の例を示す図４において、パターン画像１０は、中間輝度の背景部３０上に、最大輝度である白色の点を中心とするパターン３１ａと、最小輝度である黒色の点を中心とするパターン３１ｂとが格子状の千鳥配列で構成される。また、パターン３１ａ、パターン３１ｂそれぞれのパターンのプロジェクタ１による出力としての平均輝度が背景輝度に略等しくなるように、白色と黒色との面積比率が調整されている。なお、実際のパターン画像は、図４のパターン画像１０を、概ね縦横２×２で連結した領域で構成されるが、図示の都合上、図４では１／４の領域を例示している。

次に、本実施形態に係る画像投影システムを構成するプロジェクタによって投影されるパターン画像のスクリーンへの投影像としての輝度分布の断面について説明する。図５は、本実施形態に係る画像投影システムを構成するプロジェクタによって投影されるパターン画像のスクリーンへの投影像としての輝度分布の断面を模式的に表した図である。

図５において、横軸の位置が、図４のＡ−Ａ´断面に対応する。パターン３１ａ、パターン３１ｂとも、それぞれ黒白の同心円を組み合わせることにより高いコントラストを確保するし、ピーク３２、及びボトム３３の検出を外乱に対してロバストなものとしている。また、ピーク３２、及びボトム３３の周辺の輝度勾配を大きくすることにより、図３のｓｔｅｐ７における極値検出計算の収束性と精度が向上される。

次に、本実施形態に係る画像投影システムを構成するプロジェクタによって投影されるパターン画像を２値画像として構築した場合のパターン３１ｂ近傍の拡大図について説明する。図６は、本実施形態に係る画像投影システムを構成するプロジェクタによって投影されるパターン画像を２値画像として構築した場合のパターン３１ｂ近傍の拡大図である。

図６では、領域全体で白色のドット数と黒色のドット数とが同数となるようにパターン３１ｂを構成している。これにより、背景部３０の白黒面積率とパターン３１ｂの白黒面積率とを等しくすることで、プロジェクタ１の中間階調特性に因ることなく背景輝度とパターン３１ｂの平均輝度とを略等しくすることができる。また、上記した図３のｓｔｅｐ４における局所平滑化は、この背景パターンによって生じる微細な輝度ムラを除去することにより、ｓｔｅｐ５における大域平滑化との差分を取るｓｔｅｐ６において、不適切なモアレ（縞）が生じることを防いでいる。

次に、本実施形態に係る画像投影システムを構成するプロジェクタによって投影されるパターン画像を２値画像として構築した場合のパターン３１ｂのその他のバリエーションについて説明する。図７は、本実施形態に係る画像投影システムを構成するプロジェクタによって投影されるパターン画像を２値画像として構築した場合のパターン３１ｂのその他のバリエーションを示す図である。

図７において、それぞれのパターン３５ｂ、３６ｂ、３７ｂ、３８ｂは、何れも、パターン３１ｂと同様に、白色と黒色との面積率が等しく設定されている。それぞれのパターンは、最外周の円の直径（内径）に対する最内周の円の直径（内径）の比率が、パターン３５ｂが０．２、パターン３６ｂが０．３、パターン３１ｂが０．４、パターン３７ｂが０．５、パターン３８ｂが１／√２に設定されている。また、これらのパターンの白黒反転図形として、対応する図示しないパターン３５ａから３８ａも定義される。

このように、３重の同心円としてパターンを構築することにより、中心円と、それを取り囲む白黒反転領域の比率に、ある程度自由度を持たせることが可能となる。これらのパターンから、実際の使用環境に合わせて、最もピーク値又はボトム値の検出に適したコントラストの高い投影画像を選択することにより、環境ノイズに対してよりロバストな歪み検出が可能となる。

また、白黒２色の２値画像データでパターン画像を構築することにより、プロジェクタにおいて入力映像の信号レベルと出力映像の明るさとの比率を設定するγ設定値に依存することなく、パターン画像の平均輝度を背景輝度に略等しくすることができるのである。これは、プロジェクタから発せられる投射光のエネルギーがオンになる画素数に概ね比例しているという仮定に基づいている。つまり、プロジェクタから発せられる投射光量を２値画像データで空間的（面積的）に制御しているので、パターン画像の設計者側が主体的にパターン画像を制御していることになる。

これに対し、上述したように、中間階調の輝度は、ＤＭＤがオンとなる時間によって制御される。したがって、２値画像データでパターン画像を構築しない場合、歪み補正は、ブラックボックス化されているＤＭＤ制御側の設計に依存してしまい、プロジェクタやカメラ自身の階調特性の影響を受けてしまうという問題がある。これに対し、本実施形態に係るパターン画像を用いることにより、プロジェクタやカメラといった既に実装されている階調特性の都合に拘束されることなく、パターン画像の平均輝度を背景輝度に略一致させることができるのである。

次に、本実施形態に係る画像投影システムを構成するプロジェクタに組み込まれた歪み補正を行う画像処理部の画像歪み補正の動作を実行させるユーザインタフェースの例について説明する。図８は、本実施形態に係る画像投影システムを構成するプロジェクタに組み込まれた歪み補正を行う画像処理部の画像歪み補正の動作を実行させるユーザインタフェースの例を示す図である。

図８において、ユーザインタフェース４０は主として、パターンのプレビューを表示するプレビュー表示領域５２と、第１パターンを選択するスライダ４１と、第２パターンを選択するスライダ４３とで構成される。また、第１パターンの反転スイッチ４５と、第２パターンの反転スイッチ４６と、パターン投影指示ボタン４７とで構成される。また、プレビュー表示領域５２には、表示画像の拡大、縮小を指示するための、拡大ボタン４８と、縮小ボタン４９とが設けられている。

第１パターン及び第２パターンは、プレビュー表示領域５２に表示される互いに千鳥配置関係になる第１パターン５０及び第２パターン５１に対応する。また、スライダ４１には、５段階の選択位置が設定されており、ハンドル４２で選択位置を示すことにより、左側から順に対応する図７に示した反転パターンの一つが選択される。

ここで、反転スイッチ４５がチェックされている場合には、図７のパターンがそのまま対応付けられる。同様にして、第２パターンは、スライダ４３、ハンドル４４、反転スイッチ４６を用いて選択される。したがって、図８に示す状態では、第１パターン（パターン５０）として、図７のパターン３５ｂの反転パターンが選択され、第２パターン（パターン５１）として、図７のパターン３７ｂが選択される。

また、投影指示ボタン４７はトグルボタンであり、押下された場合、再び押されるまでの間、パターン画像を優先してプロジェクタ１から投影する。特に、このような切り替え動作は、パターン画像生成部１７が図２に示すようにプロジェクタ１に組み込まれている場合、次のような手順を踏んで行われる。すなわち、ＰＣ７のユーザインタフェースからの指示を、通信手段１５、指示部１６を介して受けた映像信号入力部１８の入力の切り替えによって行われる。一方、パターン画像の生成等をＰＣ７側のユーティリティソフトウエア内で実現する場合は、ＰＣ７からプロジェクタ１に送出される映像信号そのものが切り換えられることになる。

最後に、図３のｓｔｅｐ８において説明した欠損値の扱いについて図９を用いて補足説明する。図９は、本実施形態に係る画像投影システムを構成するプロジェクタに組み込まれた歪み補正を行う画像処理部の画像歪み補正の動作について説明する図である。図９（ａ）は、パターン配列の取得画像上の（ｘ、ｙ）座標値を、上から下、左から右の順で順次決定する過程において、（ｉ、ｊ＋１）要素のパターンの取得に失敗した場合を示す図である。また、図９（ｂ）は、千鳥配置で異なる２種類のパターンを配置した場合を示す図である。

図９（ａ）に示すように、全パターンを同一のパターンで構成した場合、（ｉ、ｊ）要素から見て、まだ対応付けが確定していない要素であって最も（ｉ、ｊ）要素に近いものを（ｉ、ｊ＋１）要素として対応付けた場合について検討する。そうすると、本来選択されるべき図９（ａ）の破線で示した対応付けに失敗してしまうという問題が生じてしまう。

これに対して、図９（ｂ）に示すように、千鳥配置で異なる２種類のパターンを配置した場合であれば、最も（ｉ、ｊ）要素に近い未確定要素である（ｉ、ｊ＋１）が、（ｉ、ｊ）要素と同パターンとなってしまう。このことから、容易に（ｉ、ｊ＋１）のパターンが欠損していることを検出することが可能となる。この場合、既に確定している（ｉ、ｊ）、（ｉ−１、ｊ＋１）、（ｉ−１、ｊ＋２）の確定要素、及び先に検出された（ｉ、ｊ＋１）に基づいて、欠損要素（ｉ、ｊ＋１）を線形補間により推定することが可能となる。

欠損画素が周辺部の場合の補間処理は、上記図９で説明した補間処理とは異なってくるが、少数の欠損であれば、同じタイプのパターンが連続することは同様である。よって、欠損していることがアルゴリズムの早い段階で確定することにより、効率の良い欠損値の補間処理を実現することができる。

以上説明したように、本発明によれば、プロジェクタから投影されたパターン画像を補正するための入力手段により取得された単一の撮影されたパターン画像に対し、十分な平滑化処理を施している。これにより、パターン画像のピーク又はボトムを個別に識別するよりも以前に背景輝度の分布を抽出することが可能となる。

また、撮影されたパターン画像に若干のパターン欠損が生じた場合であっても、周辺パターンとの関係から欠損パターンを類推し、補間することが容易となる。さらに、パターン配列を千鳥配列で構成することにより、２種類のパターンの輝度レンジを異なるものとして組み合わせている。これにより、取得されたパターン画像の局所コントラストを確保し、より安定なパターン検出が可能となる。

また、パターンの平均輝度と背景輝度とを略一致させるパターンとして、同心円状の内径比率の設定に自由度を持たせることにより、より適切なコントラストを確保するためのパターンの最適化を図ることが可能となる。そして、パターン画像を２値画像として構成するため、プロジェクタやカメラにおける階調特性の設定値の影響を受けることなく、パターン画像の平均輝度と背景画像の平均輝度とを略等しくすることができる。さらに、最適なコントラストが得られるパターン画像を、プロジェクタの設置現場の状況に合わせてユーザ自身が調整することが可能となる。

なお、図３に示した本実施形態に係る画像投影システムを構成する各機能ブロックの各動作は、コンピュータ上のプログラムに実行させることもできる。すなわち、プロジェクタ１内の図示しない制御部、又はＰＣ７内の図示しないＣＰＵが、ＲＯＭ等の記憶媒体に格納されたプログラムをロードする。そして、プログラムの各処理ステップが順次実行されることによって実現される。

本発明によれば、撮影されたパターン画像のコントラスト低下やノイズの重畳に対して、よりロバストな歪み検出をすることが可能な画像投影装置、画像投影システム、及び画像投影装置の制御方法が得られる。

以上、本発明の好適な実施形態により本発明を説明した。ここでは特定の具体例を示して本発明を説明したが、特許請求の範囲に定義された本発明の広範囲な趣旨及び範囲から逸脱することなく、これら具体例に様々な修正及び変更が可能である。

１ プロジェクタ
２ スクリーン
４ カメラ
７ ＰＣ
８ ユーザ
９ 投影画像
１０ パターン画像
１５ 通信手段
１６ 指示部
１７ パターン画像生成部
１８ 映像信号入力部
１９ バッファ
２０ 幾何歪み検出部
２１ 画像歪み補正部
２２ フレームメモリ
２３ 投影部
３０ 背景部
３１、３５、３６、３７、３８ パターン
３２ ピーク
３３ ボトム
４０ ユーザインタフェース
４１、４３ スライダ
４２、４４ ハンドル
４５、４６ 反転スイッチ
４７ パターン投影指示ボタン
４８ 拡大ボタン
４９ 縮小ボタン
５０ 第１パターン
５１ 第２パターン
５２ プレビュー表示領域

特開２０１３−１７２４４４号公報 特開２００１−０８３９４９号公報 特開２００８−１１３４１６号公報

Claims (8)

1. 投影面に投影される画像信号を入力する画像信号入力手段と、
   所定のパターン形状から構成されるパターン画像を生成するパターン画像生成手段と、
   前記パターン画像を前記投影面に投影する投影手段と、
   前記投影面に投影された前記パターン画像を撮像する撮像手段と、
   前記撮像されたパターン画像に基づいて画像信号の歪みを補正する補正パラメータを算出する幾何歪み検出手段と、
   前記算出された補正パラメータに基づいて、前記画像信号入力手段から入力された画像信号を補正する画像歪み補正手段と、
   を含み、
   前記所定のパターン形状を構成するパターンの平均輝度と前記所定のパターン形状を構成する背景の輝度とが略等しく、
   前記パターン画像は、最大輝度を有する第１の点を中心とする第１のパターン画像と、最小輝度を有する第２の点を中心とする第２のパターン画像と、前記最大輝度と前記最小輝度との中間の輝度を有する背景のパターン画像とから構成され、
   前記所定のパターン形状は、前記第１のパターン画像と前記第２のパターン画像とが、前記背景のパターン画像に対して格子状に千鳥配列された繰り返し形状である
   ことを特徴とする画像投影装置。
2. 前記パターン画像は、白黒２色の２値画像であり、前記第１の点は白色の点であり、前記第２の点は黒色の点であることを特徴とする請求項１に記載の画像投影装置。
3. 前記第１のパターン画像及び前記第２のパターン画像は、３重の同心円からなることを特徴とする請求項１又は２に記載の画像投影装置。
4. 前記第１のパターン画像及び前記第２のパターン画像に対して占める前記白色の点の面積比率と前記黒色の点の面積比率とは、等しいことを特徴とする請求項２又は３に記載の画像投影装置。
5. 前記第１のパターン画像及び前記第２のパターン画像に対して占める前記白色の点の面積比率と前記黒色の点の面積比率とを等しくするために、前記３重の同心円のそれぞれの内径比率を設定する手段をさらに含むことを特徴とする請求項３又は４に記載の画像投影装置。
6. 前記幾何歪み検出手段は、前記撮像されたパターン画像に基づいて前記画像信号入力手段から入力された画像信号の歪みを補正するにあたり、前記撮像されたパターン画像に欠損値が存在するとき、前記欠損値の周辺に存在する前記パターン画像の確定要素に基づいて前記欠損値を推定することを特徴とする請求項１から５の何れか１項に記載の画像投影装置。
7. 投影面に画像を投影する画像投影装置と、前記画像投影装置の動作を制御する情報処理装置と、前記投影面に投影された画像を撮像する撮像装置と、を含む画像投影システムであって、
   前記画像投影装置は、
   前記投影面に投影される画像信号を入力する画像信号入力手段と、
   所定のパターン形状から構成されるパターン画像を前記投影面に投影する投影手段と、を含み、
   前記撮像装置は、
   前記投影面に投影された前記パターン画像を撮像する撮像手段を含み、
   前記情報処理装置は、
   前記パターン画像を生成するパターン画像生成手段と、
   前記撮像されたパターン画像に基づいて画像信号の歪みを補正する補正パラメータを算出する幾何歪み検出手段と、
   前記算出された補正パラメータに基づいて、前記画像信号入力手段から入力された画像信号を補正する画像歪み補正手段と、
   を含み、
   前記所定のパターン形状を構成するパターンの平均輝度と前記所定のパターン形状を構成する背景の輝度とが略等しく、
   前記パターン画像は、最大輝度を有する第１の点を中心とする第１のパターン画像と、最小輝度を有する第２の点を中心とする第２のパターン画像と、前記最大輝度と前記最小輝度との中間の輝度を有する背景のパターン画像とから構成され、
   前記所定のパターン形状は、前記第１のパターン画像と前記第２のパターン画像とが、前記背景のパターン画像に対して格子状に千鳥配列された繰り返し形状である
   ことを特徴とする画像投影システム。
8. 画像投影装置の制御方法であって、
   投影面に投影される画像信号を入力する工程と、
   所定のパターン形状から構成されるパターン画像を生成する工程と、
   前記パターン画像を前記投影面に投影する工程と、
   前記投影面に投影された前記パターン画像を撮像する工程と、
   前記撮像する工程により撮像されたパターン画像に基づいて画像信号の歪みを補正する補正パラメータを算出する工程と、
   前記算出する工程により算出された補正パラメータに基づいて、前記画像信号を入力する工程により入力された画像信号を補正する工程と、
   前記所定のパターン形状を構成するパターンの平均輝度と前記所定のパターン形状を構成する背景の輝度とを略等しくする工程と、
   を含み、
   前記パターン画像は、最大輝度を有する第１の点を中心とする第１のパターン画像と、最小輝度を有する第２の点を中心とする第２のパターン画像と、前記最大輝度と前記最小輝度との中間の輝度を有する背景のパターン画像とから構成され、
   前記所定のパターン形状は、前記第１のパターン画像と前記第２のパターン画像とが、前記背景のパターン画像に対して格子状に千鳥配列された繰り返し形状である
   ことを特徴とする制御方法。

Images