JP5200759B2 - 投写型表示装置および画像の補正方法 - Google Patents

Description

本発明は、スクリーンに画像を表示させるための投写型表示装置およびスクリーンに投写される画像の補正方法に関する。

従来から、プロジェクタをはじめとする投写型表示装置において、投写された画像（以下「投写画像」と呼ぶ）の歪みを補正するため、投写型表示装置に備えられたＣＣＤ等の撮影装置によりスクリーンを撮影し、撮影画像からスクリーン枠を検出する技術が知られている。（特許文献１）。

特開２００６−６０４４７号公報

しかし、撮影画像に、投写画像に含まれる模様等の輪郭が写ると、この輪郭をスクリーン枠と誤検出する虞があることから、投写型表示装置は、スクリーンを撮影する際には全白投写や全黒投写をおこなう必要があり、鑑賞を目的とした画像（以後「鑑賞用画像」と呼ぶ）をはじめ、模様を含む画像の投写を中断させなければならないことがあった。

本発明は、上記した従来の課題の少なくとも一部を解決するためになされた発明であり、スクリーン枠検出時の利便性の向上を目的とする。

上記課題の少なくとも一部を解決するために本願発明は以下の態様を採る。

第１の態様は、投写面に画像を表示させるための投写型表示装置を提供する。本発明の第１の態様に係る投写型表示装置は、投写部と、前記投写部により投写された投写画像とスクリーンとを含む領域を撮影して撮影画像を生成する撮影部と、前記撮影画像に含まれる前記投写画像の輪郭の少なくとも一部を消去して検出画像を生成する検出画像生成部と、前記検出画像からスクリーン枠を検出する枠検出部と、を備える。

第１の態様に係る投写型表示装置によれば、撮影画像に含まれる投写画像の輪郭の少なくとも一部を消去した検出画像からスクリーン枠を検出するため、スクリーン枠検出時の利便性を向上させることができる。

第１の態様に係る投写型表示装置において、前記検出画像生成部は、前記投写部による投写に用いられた画像データを用いて、前記撮影画像に含まれる前記投写画像の輪郭の少なくとも一部を消去してもよい。この場合、投写型表示装置は、投写に用いた画像データを用いて検出画像を生成することができる。

第１の態様に係る投写型表示装置において、前記検出画像生成部は、前記撮影画像に含まれる前記投写画像の領域を特定する位置検出部を備え、前記位置検出部により特定された前記投写画像の領域において、前記画像データに基づく画像を用いることにより、前記撮影画像に含まれる前記投写画像の輪郭の少なくとも一部を消去してもよい。この場合、位置検出部により特定された投写画像の領域に前記画像データに基づく画像を用いることにより、検出画像を生成することができる。

第１の態様に係る投写型表示装置において、前記検出画像生成部は、前記位置検出部により特定された前記投写画像の領域に合わせて前記画像データにより表される画像を変換させた変換画像を生成する変換画像生成部を備え、前記撮影画像に含まれる輪郭から前記変換画像の輪郭を差し引くことにより、前記撮影画像に含まれる前記投写画像の輪郭の少なくとも一部を消去してもよい。この場合、撮影画像に含まれる輪郭から変換画像の輪郭を差し引くことにより、検出画像を生成することができる。

第１の態様に係る投写型表示装置において、前記検出画像生成部は、前記撮影画像のエッジ強度から前記変換画像のエッジ強度を差し引くことで前記撮影画像に含まれる輪郭から前記変換画像の輪郭を差し引いてもよい。この場合、撮影画像および変換画像のそれぞれのエッジ強度により撮影画像に含まれる輪郭から変換画像の輪郭を差し引くことができる。

第１の態様に係る投写型表示装置において、前記検出画像生成部は、前記撮影画像の明度から前記変換画像の明度を差し引くことで前記撮影画像に含まれる輪郭から前記変換画像の輪郭を差し引いてもよい。この場合、撮影画像および変換画像のそれぞれの明度により撮影画像に含まれる輪郭から変換画像の輪郭を差し引くことができる。

第１の態様に係る投写型表示装置において、前記位置検出部は、前記撮影画像における前記投写画像の四隅の座標を検出することにより前記投写画像の領域を特定してもよい。この場合、位置検出部は、投写画像の四隅の座標により撮影画像に含まれる投写画像の領域を特定することができる。

第１の態様に係る投写型表示装置はさらに、外部から入力画像データを取得する画像取得部と、検出されたスクリーン枠の形状に基づき、前記画像取得部により取得された入力画像データにより表される投写画像の台形歪みを補正する歪み補正部と、を備えてもよい。この場合、画像取得部により取得された入力画像データにより表される投写画像について、検出されたスクリーン枠の形状に基づき台形歪み補正をおこなうことができる。

第１の態様に係る投写型表示装置はさらに、光を発する光源部と、前記光源部の発する光を、画像を表す画像光に変調するためのパネル画像を、パネル面の画像形成領域に形成する画像形成パネル部と、を備え、前記歪み補正部は、検出されたスクリーン枠の形状に基づき、前記画像形成領域中の一部の領域である補正後画像形成領域を算出すると共に、前記パネル画像を前記補正後画像形成領域に形成させることによって、前記投写部の投写により表される画像の台形歪みを補正してもよい。この場合、検出されたスクリーン枠の形状に合わせて投写画像の台形歪み補正をおこなうことができる。

第２の態様は、投写面に画像を表示させるための投写型表示装置を提供する。本発明の第２の態様に係る投写型表示装置は、投写部と、前記投写部により鑑賞用画像を用いて投写された投写画像とスクリーンとを含む領域を撮影して撮影画像を生成する撮影部と、前記撮影画像に基づき、スクリーン枠を検出するための検出画像を生成する検出画像生成部と、前記検出画像からスクリーン枠を検出する枠検出部と、を備える。

第２の態様に係る投写型表示装置によれば、鑑賞用画像を用いて投写された投写画像が撮影画像に含まれていても、この撮影画像に基づき検出画像を生成し、この検出画像からスクリーン枠を検出するため、スクリーン枠検出時の利便性を向上させることができる。

第２の態様に係る投写型表示装置はさらに、外部から入力画像データを取得する画像取得部を備え、前記鑑賞用画像は、前記入力画像データにより表される画像であってもよい。この場合、撮影画像に入力画像データに基づく投写画像が含まれていても、この撮影画像に基づき検出画像を生成し、この検出画像からスクリーン枠を検出するため、スクリーン枠検出時の利便性を向上させることができる。

第２の態様に係る投写型表示装置において、前記検出画像生成部は、前記入力画像データを用いて、前記撮影画像に含まれる前記投写画像の輪郭の少なくとも一部を消去することにより検出画像を生成してもよい。この場合、投写型表示装置は、入力画像データを用いて検出画像を生成することができる。

第２の態様に係る投写型表示装置において、前記検出画像生成部は、前記撮影画像に含まれる前記投写画像の領域を特定する位置検出部と、前記位置検出部により特定された前記投写画像の領域に合わせて前記鑑賞用画像を変換させた変換画像を生成する変換画像生成部と、を備え、前記位置検出部により特定された前記投写画像の領域において、前記撮影画像に含まれる輪郭から前記変換画像の輪郭を差し引くことにより、前記撮影画像に含まれる前記投写画像の輪郭の少なくとも一部を消去してもよい。この場合、撮影画像に含まれる変換画像の輪郭を差し引くことで、検出画像を生成することができる。

第２の態様に係る投写型表示装置はさらに、検出されたスクリーン枠の形状に基づき、前記画像取得部により取得された入力画像データにより表される投写画像の台形歪みを補正する歪み補正部と、を備えてもよい。この場合、入力画像データにより表される投写画像について、検出されたスクリーン枠の形状に基づき台形歪み補正をおこなうことができる。

本発明は、種々の態様で実現することが可能であり、例えば、プロジェクタ、画像投写方法および装置、画像補正方法および装置、キーストーン補正方法および装置、これらの方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体、そのコンピュータプログラムを含み搬送波内に具現化されたデータ信号、等の態様で実現することができる。

以下、本発明に係る投写型表示装置としてのプロジェクタについて、図面を参照しつつ、実施例に基づいて説明する。

Ａ．第１の実施例：
Ａ−１．プロジェクタの構成：
図１は、本発明の第１の実施例におけるプロジェクタの構成を概略的に示すブロック図である。プロジェクタ１００は、画像を表す画像光を投写して、スクリーンＳＣなどの投写面上に画像（以下「表示画像」と呼ぶ）を表示させる。本実施例では、スクリーンＳＣは、矩形形状であって、その外周に沿って黒色の枠を有しているものとする。

プロジェクタ１００は、Ａ／Ｄ変換部１１０と、内部メモリ１２０と、液晶パネル１３０と、液晶パネル駆動部１３２と、照明光学系１４０と、ズームレンズ１５２を有する投写光学系１５０と、ズームレンズ駆動部１５４と、ＣＰＵ１６０と、リモコン制御部１７０と、リモコン１７２と、撮影部１８０と、撮影画像メモリ１８２と、を備えている。プロジェクタ１００の各構成要素は、バス１０２を介して互いに接続されている。

Ａ／Ｄ変換部１１０は、ＤＶＤプレーヤやＰＣ（パーソナルコンピュータ）などからケーブル３００を介して入力された入力画像信号に対して、必要によりＡ／Ｄ変換を行い、デジタル画像信号を出力する。

内部メモリ１２０には、画像処理部２００として機能するコンピュータプログラムが格納されている。画像処理部２００は、Ａ／Ｄ変換部１１０から出力されたデジタル画像信号に対して画像の表示状態（例えば、輝度、コントラスト、同期、トラッキング、色の濃さ、色合い等）の調整を行った上で、デジタル画像信号を液晶パネル駆動部１３２へと出力する。また、画像処理部２００は、モジュールとして、画像投写部２０２と、検出画像生成部２１０と、枠検出部２２０と、キーストーン補正部２３０と、座標変換部２４０と、を含んでいる。検出画像生成部２１０は、位置検出部２１１と、変換画像生成部２１２と、を含んでいる。これら各部の機能は、後述のキーストーン補正処理の説明において詳述する。

液晶パネル駆動部１３２は、画像処理部２００を経て入力されたデジタル画像信号に基づいて、液晶パネル１３０を駆動する。液晶パネル１３０は、照明光学系１４０から照射された照明光を画像を表す有効な画像光へと変調するための画像（以下「有効パネル画像ＰＩ」と呼ぶ）を、液晶パネル１３０の表面（以下「パネル面」と呼ぶ）の画像形成領域ＩＦに形成する。

図２は、液晶パネル１３０と画像形成領域ＩＦとの関係を概略的に示す説明図である。画像形成領域ＩＦとは、液晶パネル駆動部１３２に入力されたデジタル画像信号に基づいて有効パネル画像ＰＩを形成可能な液晶パネル１３０のパネル面上の領域を意味している。図２では、画像形成領域ＩＦを破線で囲まれた領域として示している。図２（ａ）に示すように、本実施例の画像形成領域ＩＦは、液晶パネル１３０のパネル面全面より４周それぞれ２ドット程度ずつ小さい領域に設定されている。なお、液晶パネル１３０のパネル面全面に対する画像形成領域ＩＦの大きさは任意に設定可能である。

図２では、有効パネル画像ＰＩが形成される領域をハッチングを付して示している。通常は、図２（ａ）に示すように、画像形成領域ＩＦの全領域に有効パネル画像ＰＩが形成される。しかし、後に詳述するキーストーン補正処理を実行する際には、図２（ｂ）に示すように、液晶パネル１３０の画像形成領域ＩＦ中の一部の領域に有効パネル画像ＰＩが形成され、画像形成領域ＩＦの残りの領域には全黒の画像（図２（ｂ）では白色で示す）が形成されることがある。このキーストーン補正時に有効パネル画像ＰＩが形成される画像形成領域ＩＦ中の一部の領域を「補正後画像形成領域ＲＩＦ」と呼ぶ。図２では、補正後画像形成領域ＲＩＦを一点鎖線で囲まれた領域として示している。

また、例えば、液晶パネル駆動部１３２に入力されたデジタル画像信号の解像度が液晶パネル１３０の解像度と比較して小さいときであって、入力されたデジタル画像を拡大することなくそのまま液晶パネル１３０上に形成する場合には、図２（ｃ）に示すように、画像形成領域ＩＦは、上記両解像度の比に対応して、液晶パネル１３０のパネル面全面よりさらに小さい領域に設定されることとなる。

投写光学系１５０（図１）は、プロジェクタ１００の筐体の前面に取り付けられており、液晶パネル１３０によって画像光へと変調された光を拡大投写する。ズームレンズ駆動部１５４は、投写光学系１５０が備えるズームレンズ１５２を駆動して、ズーム状態を変化させることができる。ここで、ズーム状態とは、投写光学系１５０において、液晶パネル１３０を透過した光を投写する際の拡大の程度（倍率）を意味している。すなわち、ズームレンズ駆動部１５４は、ズームレンズ１５２を駆動してスクリーンＳＣ上に表示させる表示画像の大きさを変化させることができる。

リモコン制御部１７０は、リモコン１７２を通じたユーザからの指示を受信し、バス１０２を介してその指示をＣＰＵ１６０に伝える。なお、本実施例では、プロジェクタ１００は、ユーザからの指示を、リモコン１７２およびリモコン制御部１７０を通じて受け取るものとしているが、ユーザからの指示を例えば操作パネルなどの他の構成を通じて受け取るものとすることも可能である。

ＣＰＵ１６０は、内部メモリ１２０から画像処理部２００としてのコンピュータプログラムを読み出して実行することにより、スクリーンＳＣに向けて画像を投写したり、後述のキーストーン補正処理などの画像処理を行ったりする。また、ＣＰＵ１６０は、プロジェクタ１００全体の制御を行う。

撮影部１８０は、ＣＣＤカメラを有しており、撮影によって撮影画像を生成する。撮影部１８０は、液晶パネル１３０の最大の画像形成領域ＩＦ（図２（ａ）参照）に対応する画像が投写される領域すべてを撮影できるように、その設置位置や画角が設定されている。撮影部１８０により生成された撮影画像は、撮影画像メモリ１８２内に格納される。なお、撮影部１８０は、ＣＣＤカメラの代わりに他の撮影デバイスを有していてもよい。

本実施例では、キーストーン補正処理などの画像処理は、ＣＰＵ１６０が内部メモリ１２０からコンピュータプログラムを読み出して実行するものとしているが、ＡＳＩＣ（特定用途向け集積回路）により処理がおこなわれる構成としてもよい。

Ａ−２．キーストーン補正処理
図３は、プロジェクタ１００によるキーストーン補正処理の流れを示すフローチャートである。キーストーン補正処理は、スクリーンＳＣ上の表示画像の外周線の各辺がスクリーンＳＣの枠の各辺と平行となるように、表示画像の台形歪みを補正する処理である。キーストーン補正処理は、ユーザからのリモコン１７２を通じた指示に応じて実行される。なお、キーストーン補正処理は、例えば電源オンや画像信号の入力に応じて自動的に実行されるものとしてもよい。

電源オンや画像信号の入力等により、画像投写部２０２は、液晶パネル１３０に画像ＩＭを形成させ、照明光学系１４０および投写光学系１５０に画像光を投写させる（ステップＳ１１０）。図４は、画像ＩＭの画像光を投写した状態を示す説明図である。図４に示すように、画像ＩＭの画像光は、スクリーンＳＣもしくはスクリーン背後の背後壁面ＢＷにかかるように投写され、投写された領域には投写画像ＴＩが形成されている。画像ＩＭの画像データＩＤは、ＰＣ２０から入力され、内部メモリ１２０の所定の領域に格納されている。画像ＩＭの内容については、特に限定はなく、ユーザがプロジェクタ１００により表示させる任意の画像や、電源を入れることにより表示される商標等、鑑賞の対象となる鑑賞用画像であってもよいし、スクリーンＳＣの三次元座標の検出等、特定の目的のために投写される画像であってもよい。模様の有無についても限定はない。また、画像データＩＤは、ＰＣ２０から入力された画像データとしているが、ＤＶＤプレーヤ等、ＰＣ２０以外から入力された画像データであってもよいし、予め内部メモリ１２０に格納されている画像データであってもよい。

投写画像ＴＩが投写された状態において、撮影部１８０は、投写画像ＴＩおよびスクリーンＳＣを撮影して、撮影画像ＣＩを生成する（ステップＳ１２０）。図５は、撮影画像ＣＩを例示した説明図である。図５に示すように、撮影画像ＣＩには、投写画像ＴＩの全体が写し出されている。これは、撮影部１８０が、投写画像ＴＩを含む領域を撮影できるように、その設定位置や画角が設定されているからである。生成された撮影画像ＣＩは、撮影画像メモリ１８２に格納される。

撮影画像ＣＩが生成されると、位置検出部２１１は、撮影画像メモリ１８２に格納されている撮影画像ＣＩの画像データを分析して、撮影画像ＣＩにおいて投写画像ＴＩが含まれている領域を特定する（ステップＳ１３０）。図６は、撮影画像ＣＩに含まれる投写画像ＴＩの領域を例示した説明図である。本実施例では、ＣＣＤカメラのレンズの光軸に垂直な平面上の座標系（以下、「カメラ座標系」とも呼ぶ）における撮影画像ＣＩの左上角を原点（０，０）とし、左右方向にｘ軸、上下方向をｙ軸として、撮影画像ＣＩに含まれる投写画像ＴＩの四隅の頂点（Ｅｃ１，Ｅｃ２，Ｅｃ３，Ｅｃ４）の座標Ｅｃ１（ｘ１，ｙ１）、Ｅｃ２（ｘ２，ｙ２）、Ｅｃ３（ｘ３，ｙ３）、Ｅｃ４（ｘ４，ｙ４）を検出することにより撮影画像ＣＩにおける投写画像ＴＩの領域を特定する。投写画像ＴＩの領域は、例えば、投写画像ＴＩの輪郭等の特徴点を撮影画像ＣＩから検出することにより特定する。なお、原点の位置は、撮影画像ＣＩの左上角に限られず、例えば、カメラの光軸上を原点としてもよい。

変換画像生成部２１２は、画像データＩＤにより表される画像ＩＭについて画像変換をおこない、変換画像ＵＩＭを生成する（ステップＳ１４０）。変換画像ＵＩＭは、後述するように、撮影画像ＣＩに含まれる投写画像ＴＩの輪郭の少なくとも一部を消去するために用いられる画像である。図７は画像ＩＭを例示した説明図である。図８は変換画像ＵＩＭを例示した説明図である。変換画像生成部２１２は、画像ＩＭの解像度と撮影画像ＣＩの解像度を合わせる等、画像ＩＭと撮影画像ＣＩの四隅の座標が対応するようにした上で、画像ＩＭの四隅の頂点（Ｅｍ１，Ｅｍ２，Ｅｍ３，Ｅｍ４）の座標が、撮影画像ＣＩにおける投写画像ＴＩの座標Ｅｃ１（ｘ１，ｙ１）、Ｅｃ２（ｘ２，ｙ２）、Ｅｃ３（ｘ３，ｙ３）、Ｅｃ４（ｘ４，ｙ４）とそれぞれ一致するように変換する。

検出画像生成部２１０は、撮影画像ＣＩおよび変換画像ＵＩＭから検出画像ＫＩを生成する（ステップＳ１５０）。検出画像ＫＩとは、後述するように、枠検出部２２０がスクリーン枠を検出する際に用いる画像である。図９は、撮影画像ＣＩのエッジを例示した説明図である。図１０は、変換画像ＵＩＭのエッジを例示した説明図である。図１１は、検出画像ＫＩを例示した説明図である。検出画像生成部２１０は、撮影画像ＣＩおよび変換画像ＵＩＭからエッジ強度を検出する。エッジ強度は、撮影画像ＣＩおよび変換画像ＵＩＭに微分フィルタやラプラシアンフィルタといった輪郭抽出フィルタをかけることにより検出される。図９および図１０に示すように、検出されたエッジは、撮影画像ＣＩおよび変換画像ＵＩＭの輪郭を示している。

検出画像生成部２１０は、撮影画像ＣＩおよび変換画像ＵＩＭからエッジを検出した後、撮影画像ＣＩのエッジ強度から変換画像ＵＩＭのエッジ強度を差し引くことにより、検出画像ＫＩを生成する。図９に示す撮影画像ＣＩのエッジに含まれる投写画像ＴＩのエッジは、図１０に示す変換画像ＵＩＭのエッジと位置および強度が概ね一致するため、撮影画像ＣＩのエッジ強度から変換画像ＵＩＭのエッジ強度を差し引くことにより、図１１に示すように、撮影画像ＣＩに含まれる投写画像ＴＩの輪郭の少なくとも一部が消去された検出画像ＫＩが生成される。

枠検出部２２０は、生成された検出画像ＫＩからスクリーンＳＣの枠辺を検出する（ステップＳ１６０）。具体的には、枠検出部２２０は、検出画像ＫＩに微分フィルタやラプラシアンフィルタ等の輪郭抽出フィルタをかけてスクリーン枠によるエッジを検出し、このエッジからスクリーンＳＣの枠辺の位置を特定する。なお、スクリーン枠の左辺および右辺についてエッジ検出をおこなう際には、撮影画像ＣＩの左右方向（水平方向）の輪郭に強く反応する輪郭抽出フィルタを用いるのが好ましく、スクリーンの上辺および下辺について検出をおこなう際には、撮影画像ＣＩの上下方向（垂直方向）の輪郭に強く反応する輪郭抽出フィルタを用いるのが好ましい。スクリーン枠の位置の特定方法としては特に限定はないが、例えば、スクリーンＳＣの枠部の４頂点のカメラ座標系における座標値を検出することにより特定することができる。

キーストーン補正部２３０（図１）は、検出画像ＫＩにおいて検出されたスクリーンＳＣの枠辺の位置を参照して、キーストーン補正を実行する（ステップＳ１７０）。キーストーン補正は、公知の方法（例えば特開２００６−６０４４７号公報に記載の方法）を用いて実行可能である。すなわち、図１１に示したカメラ座標系におけるスクリーンＳＣの枠辺の座標値が、射影変換によりレンズ座標系の標準座標系に変換される。

この射影変換は、プロジェクタ１００におけるズームレンズ１５２の光軸と撮影部１８０のレンズの光軸との相違を補償するために行われる。すなわち、上述したスクリーン枠の座標はカメラ座標系の標準座標系における座標であり、射影変換によって、レンズ座標系におけるスクリーン枠の座標が求められる。

座標変換部２４０は、ズームレンズ１５２と撮影部１８０の相対的な回転量を表す３次元の回転行列Ｒと、ズームレンズ１５２と撮影部１８０の相対的な並進量を表す３次元の列ベクトルｔと、投写平面の方程をａｘ＋ｂｙ＋ｃｚ＝１と表したときの３次元の行ベクトルｎ＝（ａ，ｂ，ｃ）と、３次元の単位行列Ｅにより表される射影変換行列＝Ｒ（Ｅ＋ｔｎ）を算出する。そして、この射影変換行列を用いて、カメラ座標系の標準座標系からレンズ座標系の標準座標系への射影変換を行う。これにより、レンズ座標系の標準座標系におけるスクリーン枠の座標が算出される。射影変換により算出されたレンズ座標系の標準座標系におけるスクリーンＳＣの枠辺の座標値から、液晶パネル１３０上におけるスクリーンＳＣに対応する領域が補正後画像形成領域ＲＩＦ（図２参照）として算出される。その後、必要によりズーム状態の調整が行われた上で、液晶パネル１３０上の補正後画像形成領域ＲＩＦに有効パネル画像ＰＩが形成されることにより、スクリーンＳＣ上の表示画像の台形歪みが補正される。なお、本実施例では、ズームレンズ１５２と撮影部１８０の相対的な位置関係を用いて射影変換行列の算出を行っているが、測定点ＲＰのレンズ座標系での座標とカメラ座標系での座標との対応関係から最小二乗法により射影変換行列を算出してもよい。

以上説明したように、第１の実施例に係るプロジェクタ１００によれば、撮影画像ＣＩに含まれる投写画像ＴＩの輪郭の少なくとも一部を消去した検出画像ＫＩからスクリーン枠を検出するため、撮影画像ＣＩに含まれる投写画像ＴＩの模様等を誤検出することを抑制できる。よって、投写される画像の内容には限定されず、鑑賞用画像の投写時であってもスクリーン枠の検出をおこなうことができ、スクリーン枠検出時の利便性を向上させることができる。

この第１の実施例に係るプロジェクタ１００を用いれば、起動時に表示される商標等の画像を用いて自動的にキーストーン補正を実行するプロジェクタとして実現することができる他、プロジェクタ１００の使用時において、所定の時間ごとに現在表示されている画像を用いてキーストーン補正を自動的におこなうプロジェクタとして実現することができる。

第１の実施例に係るプロジェクタ１００によれば、画像データＩＤを用いることにより、撮影画像ＣＩに含まれる投写画像ＴＩの輪郭の少なくとも一部を消去することができる。具体的には、画像データＩＤにより表される画像ＩＭを変換した変換画像ＵＩＭは、撮影画像ＣＩにおける投写画像ＴＩの位置、形状と対応しているため、変換画像ＵＩＭのエッジ強度を撮影画像ＣＩのエッジ強度から差し引くことにより、撮影画像ＣＩから投写画像ＴＩのエッジの少なくとも一部を消去することができる。

第１の実施例のプロジェクタ１００によれば、枠検出部２２０が、生成された検出画像ＫＩからスクリーンＳＣの枠辺を検出し、キーストーン補正部２３０が検出されたスクリーンＳＣの枠辺の位置を参照して、キーストーン補正を実行するため、投写される画像の内容には限定されず、鑑賞用画像の投写時であってもキーストーン補正を実行することができる。

Ｂ．変形例：
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。

Ｂ−１．変形例１：
上記実施例では、位置検出部２１１は、撮影画像ＣＩから投写画像ＴＩが含まれている領域を特定した後、撮影画像ＣＩのエッジを検出しているが、領域の特定やエッジ検出の手順はこれに限られず、例えば、撮影画像ＣＩのエッジを検出した後、撮影画像ＣＩのエッジから投写画像ＴＩが含まれている領域を特定してもよい。

Ｂ−２．変形例２：
上記実施例では、図９に示す撮影画像ＣＩのエッジ強度から、図１０に示す変換画像ＵＩＭのエッジ強度を差し引くことにより撮影画像ＣＩに含まれる投写画像ＴＩの輪郭の少なくとも一部を消去しているが、撮影画像ＣＩに含まれる投写画像ＴＩの輪郭を消去する方法はこれに限られず、例えば、変換画像ＵＩＭの明るさ、コントラスト、ガンマ等が撮影画像ＣＩと同じになるように調整をおこなった後、撮影画像ＣＩおよび変換画像ＵＩＭの明度を差し引くことにより、撮影画像ＣＩに含まれる投写画像ＴＩの輪郭の少なくとも一部を消去してもよい。この場合には、撮影画像ＣＩにおいて、投写画像ＴＩの輪郭とスクリーン枠が重なっている場合にもスクリーン枠を良好に検出することができる。

Ｂ−３．変形例３：
上記実施例では、投写画像ＴＩの輪郭等の特徴点を撮影画像ＣＩから検出することにより撮影画像ＣＩにおける投写画像ＴＩの領域を特定しているが、投写画像ＴＩの領域を特定する方法はこれに限られず、例えば、入力画像データによる画像をそのまま投写せず、投写画像ＴＩの周囲に縁取りが生じるように加工した画像を投写することにより、この縁取りにより投写画像ＴＩの領域を検出するとしてもよい。これにより、投写に用いられる画像に特徴点が少ない場合でも確実に撮影画像ＣＩに含まれる投写画像ＴＩの領域を検出することができる。

Ｂ−４．変形例４：
上記実施例において、撮影画像ＣＩに含まれる投写画像ＴＩの領域の検出やスクリーンＳＣの枠辺の座標値の検出の際に用いられている座標系はあくまで一例であり、これらの処理に用いる座標系は任意に設定可能である。また、上記各実施例では、プロジェクタ１００におけるズームレンズ１５２の光軸と撮影部１８０のレンズの光軸との相違を補償するために、レンズ座標系の標準座標系とカメラ座標系の標準座標系との間の座標変換が実行されているが、光軸の相違はわずかなものであるとして座標変換を省略することも可能である。

Ｂ−５．変形例５：
上記実施例では、投写面としてスクリーンＳＣが用いられているが、スクリーンＳＣ以外のものが用いられてもよい。例えば、部屋の壁が白色である場合に、その壁にテープや塗装などにより黒色のラインで矩形の枠を描き、その壁を投写面としてもよい。あるいは、ホワイトボードに、黒色のラインマーカで矩形の枠を描き、そのホワイトボードを投写面としてもよい。

また、投写面の色としては、枠が黒色、枠の内側及び外側の領域が白色に限定されるものでもなく、枠が白色、枠の内側及び外側の領域が黒色であってもよい。また、投写面の色は白色と黒色とに限らず、枠の色と枠の内側及び外側の領域の色とは、所望のコントラスト比がある色であれば、どのような色の組み合わせであっても構わない。

Ｂ−６．変形例６：
上記実施例では、プロジェクタ１００が液晶パネル１３０を１つしか有していないが、プロジェクタ１００が複数の色成分に対応する複数の液晶パネル１３０を有するものとしてもよい。また、プロジェクタ１００は、液晶パネル以外の電気光学装置（例えばＤＭＤ（テキサス・インスツルメンツ社の商標））を有するものとしてもよい。また、プロジェクタ１００は、ＣＲＴプロジェクタであるとしてもよい。また、本発明は、プロジェクタ１００に限らず、投写により投写面に画像を表示させる投写型表示装置一般に適用可能である。

Ｂ−７．変形例７：
上記実施例では、撮影部１８０がＣＣＤカメラを有しているとしているが、撮影部１８０は、撮影により撮影画像を生成することが可能であればよく、例えばＣＭＯＳカメラ等の他の撮影装置を有しているとしてもよい。

Ｂ−８．変形例８：
上記実施例では、ズームレンズ駆動部１５４により、ズームレンズ１５２を駆動して、ズーム状態を変化させることができるとしているが、プロジェクタ１００は、ズームレンズ駆動部１５４を備えない構成であってもよく、さらに、ズームレンズ１５２も備えない構成としてもよい。この場合であっても、スクリーン枠の検出をおこなうことができる。

Ｂ−９．変形例９：
上記実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。

また、本発明の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア（コンピュータプログラム）は、コンピュータ読み取り可能な記録媒体に格納された形で提供することができる。この発明において、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスクやＣＤ−ＲＯＭのような携帯型の記録媒体に限らず、各種のＲＡＭやＲＯＭ等のコンピュータ内の内部記憶装置や、ハードディスク等のコンピュータに固定されている外部記憶装置も含んでいる。

本発明の第１の実施例におけるプロジェクタの構成を概略的に示すブロック図である。 液晶パネル１３０と画像形成領域ＩＦとの関係を概略的に示す説明図である。 プロジェクタ１００によるキーストーン補正処理の流れを示すフローチャートである。 画像ＩＭの画像光を投写した状態を示す説明図である。 撮影画像ＣＩを例示した説明図である。 撮影画像ＣＩに含まれる投写画像ＴＩの領域を例示した説明図である。 画像ＩＭを例示した説明図である。 変換画像ＵＩＭを例示した説明図である。 撮影画像ＣＩのエッジを例示した説明図である。 変換画像ＵＩＭのエッジを例示した説明図である。 検出画像ＫＩを例示した説明図である。

符号の説明

１００…プロジェクタ
１０２…バス
１２０…内部メモリ
１３０…液晶パネル
１３２…液晶パネル駆動部
１４０…照明光学系
１５０…投写光学系
１５２…ズームレンズ
１５４…ズームレンズ駆動部
１６０…ＣＰＵ
１７０…リモコン制御部
１７２…リモコン
１８０…撮影部
１８２…撮影画像メモリ
２００…画像処理部
２０２…画像投写部
２１０…検出画像生成部
２１１…位置検出部
２１２…変換画像生成部
２２０…枠検出部
２３０…キーストーン補正部
２４０…座標変換部
３００…ケーブル

Claims (15)

1. 投写面に画像を表示させるための投写型表示装置であって、
   投写部と、
   前記投写部により投写された投写画像とスクリーンとを含む領域を撮影して撮影画像を生成する撮影部と、
   前記撮影画像に含まれる前記投写画像の輪郭の少なくとも一部を消去して検出画像を生成する検出画像生成部と、
   前記検出画像からスクリーン枠を検出する枠検出部と、を備える投写型表示装置。
2. 請求項１に記載の投写型表示装置において、
   前記検出画像生成部は、前記投写部による投写に用いられた画像データを用いて、前記撮影画像に含まれる前記投写画像の輪郭の少なくとも一部を消去する投写型表示装置。
3. 請求項２に記載の投写型表示装置において、
   前記検出画像生成部は、前記撮影画像に含まれる前記投写画像の領域を特定する位置検出部を備え、
   前記位置検出部により特定された前記投写画像の領域において、前記画像データに基づく画像を用いることにより、前記撮影画像に含まれる前記投写画像の輪郭の少なくとも一部を消去する投写型表示装置。
4. 請求項３に記載の投写型表示装置において、
   前記検出画像生成部は、前記位置検出部により特定された前記投写画像の領域に合わせて前記画像データにより表される画像を変換させた変換画像を生成する変換画像生成部を備え、
   前記撮影画像に含まれる輪郭から前記変換画像の輪郭を差し引くことにより、前記撮影画像に含まれる前記投写画像の輪郭の少なくとも一部を消去する投写型表示装置。
5. 請求項４に記載の投写型表示装置において、
   前記検出画像生成部は、前記撮影画像のエッジ強度から前記変換画像のエッジ強度を差し引くことで前記撮影画像に含まれる輪郭から前記変換画像の輪郭を差し引く投写型表示装置。
6. 請求項４に記載の投写型表示装置において、
   前記検出画像生成部は、前記撮影画像の明度から前記変換画像の明度を差し引くことで前記撮影画像に含まれる輪郭から前記変換画像の輪郭を差し引く投写型表示装置。
7. 請求項３ないし請求項６のいずれかに記載の投写型表示装置において、
   前記位置検出部は、前記撮影画像における前記投写画像の四隅の座標を検出することにより前記投写画像の領域を特定する投写型表示装置。
8. 請求項１ないし請求項７のいずれかに記載の投写型表示装置はさらに、
   外部から入力画像データを取得する画像取得部と、
   検出されたスクリーン枠の形状に基づき、前記画像取得部により取得された入力画像データにより表される投写画像の台形歪みを補正する歪み補正部と、を備える投写型表示装置。
9. 請求項８に記載の投写型表示装置はさらに、
   光を発する光源部と、
   前記光源部の発する光を、画像を表す画像光に変調するためのパネル画像を、パネル面の画像形成領域に形成する画像形成パネル部と、を備え、
   前記歪み補正部は、検出されたスクリーン枠の形状に基づき、前記画像形成領域中の一部の領域である補正後画像形成領域を算出すると共に、前記パネル画像を前記補正後画像形成領域に形成させることによって、前記投写部の投写により表される画像の台形歪みを補正する投写型表示装置。
10. 投写面に画像を表示させるための投写型表示装置であって、
    投写部と、
    前記投写部により鑑賞用画像を用いて投写された投写画像とスクリーンとを含む領域を撮影して撮影画像を生成する撮影部と、
    前記撮影画像に基づき、スクリーン枠を検出するための検出画像を生成する検出画像生成部と、
    前記検出画像からスクリーン枠を検出する枠検出部と、を備える投写型表示装置。
11. 請求項１０に記載の投写型表示装置はさらに、
    外部から入力画像データを取得する画像取得部を備え、
    前記鑑賞用画像は、前記入力画像データにより表される画像である投写型表示装置。
12. 請求項１１に記載の投写型表示装置において、
    前記検出画像生成部は、前記入力画像データを用いて、前記撮影画像に含まれる前記投写画像の輪郭の少なくとも一部を消去することにより検出画像を生成する投写型表示装置。
13. 請求項１０ないし請求項１２のいずれかに記載の投写型表示装置において、
    前記検出画像生成部は、前記撮影画像に含まれる前記投写画像の領域を特定する位置検出部と、
    前記位置検出部により特定された前記投写画像の領域に合わせて前記鑑賞用画像を変換させた変換画像を生成する変換画像生成部と、を備え、
    前記位置検出部により特定された前記投写画像の領域において、前記撮影画像に含まれる輪郭から前記変換画像の輪郭を差し引くことにより、前記撮影画像に含まれる前記投写画像の輪郭の少なくとも一部を消去する投写型表示装置。
14. 請求項１１ないし請求項１３のいずれかに記載の投写型表示装置はさらに、
    検出されたスクリーン枠の形状に基づき、前記画像取得部により取得された入力画像データにより表される投写画像の台形歪みを補正する歪み補正部と、を備える投写型表示装置。
15. スクリーンに投写される画像の補正方法であって、
    画像を投写する工程と、
    前記画像の投写による投写画像とスクリーンとを含む領域を撮影して撮影画像を生成する工程と、
    前記撮影画像に含まれる前記投写画像の輪郭の少なくとも一部を消去して検出画像を生成する工程と、
    前記検出画像からスクリーン枠を検出する工程と、
    検出されたスクリーン枠の形状に基づき、画像の歪み補正をおこなう工程と、を備える画像の補正方法。

Images