JP5845566B2 - プロジェクター、及び、プロジェクターの制御方法 - Google Patents

Description

本発明は、投射面に画像を投射するプロジェクター、及び、プロジェクターの制御方法に関する。

プロジェクターによりスクリーン等の投射面に画像を投射する場合、プロジェクターの投射角によって投射面の画像が歪むことが知られている。従来のプロジェクターは、投射面において正しい形状となるように投射する画像を変形させる台形歪み補正の機能を有している。この台形歪み補正を行った後でプロジェクターが移動してしまうと、投射角が変化して、再び投射画像に歪みが生じる。このため、従来、設置角度を検出する機能を備えたプロジェクターが、設置角度の変化を検出した場合に再び台形歪み補正を実行する技術が提案された（例えば、特許文献１参照）。特許文献１記載のプロジェクターは、加速度センサーによってあおり角を検出する機能を有し、プロジェクターの角度が３度以上変化した場合に自動的に台形歪み補正を行う。

特開２００３−２８３９６３号公報

ところで、投射画像の歪みは、プロジェクターのあおり角だけでなく水平面内における投射角にも影響されるので、投射面に対するプロジェクターの相対位置が変化した場合には歪みを生じる可能性がある。このため、投射中の投射画像の歪みに対応するためには、プロジェクターの様々な方向への移動や投射面側の移動を検出することが望ましいが、従来の方法ではこれらの移動を全て検出することは難しかった。
本発明は、上述した事情に鑑みてなされたものであり、投射角が変化するような、投射面に対するプロジェクターの相対位置の変化を確実に検出できるプロジェクター、及び、その制御方法を提供することを目的とする。

上記目的を達成するために、本発明は、投射面に画像を投射するプロジェクターであって、前記画像を投射する投射部と、前記投射面を撮影する撮像部と、前記撮像部により撮影され取得された撮影画像に基づいて参照画像を生成し、前記撮影画像とは異なる時点で前記撮像部によって撮影され取得された撮影画像に基づいて比較用画像を生成する画像処理部と、前記画像処理部により生成された前記参照画像及び前記比較用画像を比較し、前記撮像部の撮影範囲にある特徴物の、画像中における位置の変化に起因する画像の差を検出することにより、前記投射面に対する前記プロジェクターの相対位置の変化を検出する移動検出部と、を備えることを特徴とする。
本発明によれば、投射面を撮影した撮影画像に基づいて生成した参照画像と比較用画像とを比較し、撮影範囲にある特徴物の、画像中における位置の変化に起因する画像の差を検出することにより、投射面に対するプロジェクターの相対位置の変化を検出する。これにより、投射面とプロジェクターのどちらが移動しても、移動方向に関わらず移動を確実に検出できる。例えば投射角を変化させるようなプロジェクターの投射面に対する相対位置の変化を確実に検出できる。従って、自動的に投射面の画像の歪み補正を行う等の処理を行うことができ、利便性を高めることができる。

本発明は、上記プロジェクターにおいて、前記移動検出部は、前記参照画像を構成する画素と前記比較用画像を構成する画素との差分に基づいて、前記投射面に対する前記プロジェクターの相対位置の変化を検出することを特徴とする。
本発明によれば、参照画像と比較用画像との画像の差を確実に検出できる。

また、本発明は、上記プロジェクターにおいて、前記投射面にはスクリーンが設置され、前記撮像部は、前記スクリーンを含む撮影範囲を撮影して撮影画像を取得し、前記画像処理部は、前記撮像部により撮影して取得された撮影画像に対して前記スクリーンの枠が強調される処理を施して前記参照画像及び前記比較用画像を生成し、前記移動検出部は、前記スクリーンの枠の位置の変化に起因する画像の差を検出することにより、前記投射面に対する前記プロジェクターの相対位置の変化を検出することを特徴とする。
本発明によれば、スクリーンに画像を投射するプロジェクターにより、スクリーンが設置された投射面を撮影した撮影画像に基づいて生成した参照画像と比較用画像との差を速やかに検出し、スクリーンに対するプロジェクターの相対位置の変化を速やかに、かつ確実に検出できる。

また、本発明は、上記プロジェクターにおいて、前記移動検出部は、前記参照画像及び前記比較用画像について、前記スクリーンの枠の内側を除く範囲の画像を比較して、前記スクリーンの枠の位置の変化に起因する画像の差を検出することを特徴とする。
本発明によれば、スクリーンの枠の内側を除く範囲の画像を比較することにより、スクリーンに投影中の画像の影響を受けることなく参照画像及び比較用画像の差を検出できる。従って、スクリーンに画像を投影中であっても、スクリーンに対するプロジェクターの相対位置の変化を速やかに、かつ確実に検出できる。

また、本発明は、上記プロジェクターにおいて、前記移動検出部は、前記参照画像及び前記比較用画像について、前記スクリーンの枠から所定距離以上離れた部分を除く範囲の画像を比較して、前記スクリーンの枠の位置の変化に起因する画像の差を検出することを特徴とする。
本発明によれば、スクリーンの周囲を移動する人影の影響等を受けることなく、参照画像及び比較用画像の差を検出してスクリーンに対するプロジェクターの相対位置の変化を速やかに、かつ確実に検出できる。

また、本発明は、上記プロジェクターにおいて、前記投射部により投射される画像を変形させて歪み補正を行う台形歪み補正部を備え、前記台形歪み補正部は、前記移動検出部により前記プロジェクターの相対位置の変化が検出された場合に歪み補正を行うことを特徴とする。
本発明によれば、投射面とプロジェクターとの相対位置の変化を検出した場合に、投射される画像の台形歪みを補正するので、投射面に投射される画像を、歪みの少ない良好な状態に保つことができる。

また、上記目的を達成するために、本発明は、撮像部を有し、投射面に画像を投射するプロジェクターの制御方法であって、前記撮像部によって前記投射面を撮影して得られた撮影画像に基づいて参照画像を生成し、前記参照画像とは異なる時点で、前記撮像部によって前記投射面を撮影して得られた撮影画像に基づいて比較用画像を生成し、前記参照画像及び前記比較用画像を比較し、前記撮像部の撮影範囲にある特徴物の、画像中における位置の変化に起因する画像の差を検出することにより、前記投射面に対する前記プロジェクターの相対位置の変化を検出することを特徴とする。
本発明の制御方法を実行することにより、プロジェクターは、投射面を撮影した撮影画像に基づいて生成した参照画像と、異なる時点で撮影した撮影画像に基づいて生成した比較用画像とを比較し、撮影範囲にある特徴物の、画像中における位置の変化に起因する画像の差を検出することにより、投射面に対するプロジェクターの相対位置の変化を検出する。これにより、投射面とプロジェクターのどちらが移動しても、移動方向に関わらず移動を確実に検出できる。例えば投射角を変化させるようなプロジェクターの投射面に対する相対位置の変化を確実に検出できる。従って、自動的に投射面の画像の歪み補正を行う等の処理を行うことができ、利便性を高めることができる。

また、本発明は、上記のプロジェクターの制御方法において、前記プロジェクターは前記投射部により投射される画像を変形させて歪み補正を行う台形歪み補正機能を有し、前記プロジェクターの相対位置の変化が検出された場合に台形歪み補正機能により歪み補正を行うことを特徴とする。
本発明によれば、プロジェクターが、投射面とプロジェクターとの相対位置の変化を検出した場合に台形歪みを補正するので、投射面に投射される画像を、歪みの少ない良好な状態に保つことができる。

本発明によれば、投射面とプロジェクターのどちらが移動しても、移動方向に関わらず移動を確実に検出できる。

本発明を適用した実施形態に係るプロジェクターの構成を示すブロック図である。 プロジェクターの動作を示すフローチャートである。 台形歪み補正処理を詳細に示すフローチャートである。 プロジェクターにより生成される参照画像及びマスク画像の具体的な例を示す図であり、（Ａ）は参照画像の例を示し、（Ｂ）はマスク画像の例を示す。

以下、図面を参照して本発明の実施形態について説明する。
図１は、実施形態に係るプロジェクター１００の全体構成を示すブロック図である。プロジェクター１００には、内蔵する記憶装置が記憶する映像ソース（図示略）、または、パーソナルコンピューターや各種映像プレーヤー等の外部の画像供給装置（図示略）から画像信号が入力される。プロジェクター１００は、入力される画像信号に基づいて変調された光をスクリーンＳＣなどの投射面上に投射し、画像（以下「投射画像」と呼ぶ）として表示させる。本実施例では、スクリーンＳＣはほぼ直立しており、スクリーン面は矩形形状とされている。プロジェクター１００に入力される画像は動画像（映像）と静止画像とのどちらでもよく、プロジェクター１００は映像をスクリーンＳＣに投射することも、静止画像をスクリーンＳＣに投射し続けることも可能である。以下の実施形態では、外部から入力される映像信号に基づいて映像を投射する場合を例に挙げて説明する。

プロジェクター１００は、大きく分けて光学的な画像の形成を行う光学系と映像信号を電気的に処理する画像処理系とからなる。投射部として機能する光学系は、照明光学系１４０、液晶パネル１３０、投射光学系１５０から構成されている。照明光学系１４０は、キセノンランプ、超高圧水銀ランプ、ＬＥＤ等からなる光源を備えている。照明光学系１４０は、光源が発した光を液晶パネル１３０に導くリフレクター及び補助リフレクターを備えていてもよく、投射光の光学特性を高めるためのレンズ群（図示略）、偏光板、或いは光源が発した光を液晶パネル１３０に至る経路上で減光させる調光素子等を備えたものであってもよい。
液晶パネル１３０（表示部）は、後述する画像処理系からの信号を受けて、パネル面に画像を形成する。液晶パネル１３０は、カラーの投影を行うため、ＲＧＢの三原色に対応した３枚の液晶パネルを備えて構成される。照明光学系１４０からの光はＲＧＢの３色の色光に分離され、各色の光は対応する各液晶パネルに入射する。各液晶パネルを通過して変調された色光はクロスダイクロイックプリズム等の合成光学系によって合成され、投射光学系１５０に射出される。

投射光学系１５０には、投射する画像の拡大・縮小および焦点の調整を行うズームレンズ１５２、ズームの度合いを調整するズーム調整用モーター１５６、フォーカスの調整を行うフォーカス調整用モーター１５７が備えられている。投射光学系１５０は、液晶パネル１３０で変調された光を入射し、ズームレンズ１５２を用いて、スクリーンＳＣ上に投射画像を結像する。ズームレンズ１５２は、ズーム調整用モーター１５６とフォーカス調整用モーター１５７とによって、レンズの位置などが調整され、スクリーンＳＣ上の投射画像の拡大・縮小を行うズーム調整や、スクリーンＳＣ上に投射画像を適正に結像させるフォーカス調整を行う。

画像処理系は、プロジェクター１００全体を統合的に制御するＣＰＵ１２０と映像用プロセッサー１３４とを中心に構成され、Ａ／Ｄ変換部１１０、液晶パネル駆動部１３２、レンズ駆動部１５５、ＲＡＭ１６０、歪み調整用画像記憶部１７１を含むＲＯＭ１７０、ＣＣＤカメラ１８１を備えた撮像部１８０、撮影画像メモリー１８２、リモコン制御部１９０、リモコン１９１、操作部１９５等を備える。これらの画像処理系を構成する各要素は、バス１０２を介して互いに接続されている。

Ａ／Ｄ変換部１１０は、上述した外部の画像供給装置からケーブル２００を介して入力されたアナログ入力信号をＡ／Ｄ変換するデバイスであり、変換後のデジタル信号を映像用プロセッサー１３４に出力する。映像用プロセッサー１３４は、Ａ／Ｄ変換部１１０から入力されたデジタル信号に対して、輝度、コントラスト、色の濃さ、色合い、投射画像の形状等の画像の表示状態を調整する処理を行った上で、液晶パネル駆動部１３２に対して、処理後の映像信号を出力する。液晶パネル駆動部１３２は、映像用プロセッサー１３４から入力される映像信号に基づいて、液晶パネル１３０を駆動する。これにより、Ａ／Ｄ変換部１１０に入力された映像信号に対応した映像が、液晶パネル１３０に形成され、この画像が投射光学系１５０を介して、スクリーンＳＣ上に投射画像として形成される。

映像用プロセッサー１３４が行う画像処理としては、上記の明度、コントラスト、色合いなどの補正の他、台形歪み補正が含まれる。図１では、台形歪み補正を行う回路を、特に台形歪み補正部１３６として示した。台形歪み補正部１３６は、ＣＰＵ１２０が備える処理部により算出された投射距離及び投影投射角の値に基づいて、デジタル信号に対して台形歪み補正を行う。
また、映像用プロセッサー１３４は、上記の台形歪み補正における特定の歪み検出用画像の表示を制御する。映像用プロセッサー１３４は、台形歪み補正用のＤＳＰ（デジタルシグナルプロセッサー）として販売されている汎用のプロセッサーを用いて構成することも、専用のＡＳＩＣとして構成することも可能である。

ＣＰＵ１２０は、映像用プロセッサー１３４と共に、プロジェクター１００における画像処理を行う。ＣＰＵ１２０は、ズーム比算出部１２３と、焦点距離算出部１２４と、三次元測量部１２５と、投射角算出部１２６と、画像処理部１２７と、動き検出部１２８とを備える。これらの各部は、ＣＰＵ１２０がＲＯＭ１７０に予め記憶した特定のプログラムを実行することにより実現される。
ズーム比算出部１２３、焦点距離算出部１２４、三次元測量部１２５、及び投射角算出部１２６の各処理部は、プロジェクター１００とスクリーンＳＣとの相対距離（以下、投射距離と言う）や、プロジェクター１００から投射した投射光の光軸に対するスクリーンＳＣの傾きである投射角（以下、投影投射角と言う）を算出するために必要な処理を行う。

ＣＰＵ１２０は、上記の各処理部の働きにより投影投射角および投射距離を算出すると、投影投射角に対応した信号を映像用プロセッサー１３４に出力し、投射距離に対応した信号をレンズ駆動部１５５に出力する。映像用プロセッサー１３４は、投影投射角に対応した信号がＣＰＵ１２０から入力されると、この信号に基づいて台形歪み補正を行う。プロジェクター１００の光学系の光軸とスクリーンＳＣとのなす角度である投影投射角が特定されると、映像の歪み方を求めることができる。映像用プロセッサー１３４は、投影投射角に対応したパラメーターの設定がなされると、投射画像の歪みを補正するように、Ａ／Ｄ変換部１１０から入力した画像を補正し、補正後の映像信号を、液晶パネル駆動部１３２に出力する。この台形歪み補正部１３６の機能により、液晶パネル１３０に表示される画像は台形歪みを補正するように変形される。

また、ＣＰＵ１２０が備える画像処理部１２７は、後述するように、スクリーンＳＣとプロジェクター１００との相対位置の変化を検出するための参照画像および比較用画像を生成する。画像処理部１２７は、撮像部１８０により撮影され撮影画像メモリー１８２に格納された撮影画像を取得し、この撮影画像に対して、Ｙ成分の抽出、輪郭強調、ノイズ除去、頂点算出等の処理を行って、参照画像を生成する。また、画像処理部１２７は、撮像部１８０により撮影され撮影画像メモリー１８２に格納された撮影画像を取得し、この撮影画像に対して、参照画像と同様にＹ成分の抽出、輪郭強調、ノイズ除去、頂点算出等の処理を行って、比較用画像を生成する。参照画像のもととなった撮影画像と、比較用画像のもととなった撮影画像は異なる時に撮影された画像である。画像処理部１２７は、予め設定された周期で撮影画像を取得して比較用画像を生成する。画像処理部１２７が生成した参照画像は、ＲＡＭ１６０が備える参照画像記憶部１６１に記憶される。また、画像処理部１２７が生成した比較用画像は、ＲＡＭ１６０が備える比較用画像記憶部１６２に格納される。
動き検出部１２８は、後述するように、画像処理部１２７が生成した参照画像と比較用画像とを比較することによって、スクリーンＳＣに対するプロジェクター１００の相対位置の変化を検出する。

レンズ駆動部１５５は、ＣＰＵ１２０から投射距離に相当する信号が入力されると、この信号に基づいてフォーカス調整用モーター１５７を駆動してフォーカス調整を行う。フォーカス調整を行うためには、ズームレンズ１５２のズーム比が必要である。このズーム比は、例えば、ズーム調整用モーター１５６によるズームレンズ１５２の駆動量から算出すればよいし、撮像部１８０による撮影画像から算出することもできる。

ＲＡＭ１６０は、ＣＰＵ１２０が実行するプログラムやデータを一時的に格納するワークエリアを形成する。なお、映像用プロセッサー１３４は、自身が行う画像の表示状態の調整処理など、各処理の実行の際に必要となるワークエリアを、内蔵ＲＡＭとして備えている。ＲＡＭ１６０は、画像処理部１２７が生成した参照画像を記憶する参照画像記憶部１６１、及び、画像処理部１２７が生成した比較用画像を記憶する比較用画像記憶部１６２を備えている。
また、ＲＯＭ１７０は、上述した各処理部を実現するためにＣＰＵ１２０が実行するプログラムや、当該プログラムに係るデータ等を記憶する。また、ＲＯＭ１７０は、後述する台形歪み補正処理でスクリーンＳＣに投射する調整用画像のデータを、調整用画像記憶部１７１に記憶している。

リモコン制御部１９０は、プロジェクター１００の外部のリモコン１９１から送信される無線信号を受信する。リモコン１９１は、ユーザーによって操作される操作子（図示略）を備え、操作子に対する操作に応じた操作信号を赤外線信号または所定周波数の電波を用いた無線信号として送信する。リモコン制御部１９０は、赤外線信号を受信する受光部（図示略）や無線信号を受信する受信回路（図示略）を備え、リモコン１９１から送信された信号を受信し、解析して、ユーザーによる操作の内容を示す信号を生成してＣＰＵ１２０に出力する。
操作部１９５は操作子（図示略）を備え、操作子に対する操作に応じた操作信号をＣＰＵ１２０に出力する。この操作子としては、電源ＯＮ／ＯＦＦを指示するスイッチ、台形歪み補正開始を指示するスイッチ、後述する再補正処理の開始を指示するスイッチ等がある。

撮像部１８０は、周知のイメージセンサーであるＣＣＤを用いたＣＣＤカメラ１８１を備えている。撮像部１８０は、プロジェクター１００の前面、即ち、投射光学系１５０がスクリーンＳＣに向けて映像を投射する方向をＣＣＤカメラ１８１により撮像可能な位置に設けられている。撮像部１８０は、推奨された投影距離においてスクリーンＳＣに投影された投射画像の全体が少なくとも撮像範囲内に入るように、ＣＣＤカメラ１８１のカメラ方向及び画角が設定されている。ＣＣＤカメラ１８１は、ＣＣＤの他、ＣＣＤ上に映像を形成する単焦点レンズ、ＣＣＤに入射する光量を調整するオートアイリスなどの機構、更にはＣＣＤから映像信号を読み出す制御回路などを備える。オートアイリスの機構は、ＣＣＤカメラ１８１からの映像の明度の累積値に相当する信号を制御回路から受け取り、明度の累積値が所定の範囲に入るように、単焦点レンズに設けられたアイリス（絞り）を自動的に調整している。
オートアイリスによる明るさの調整がなされた画像は、撮像部１８０から撮影画像メモリー１８２に出力され、撮影画像メモリー１８２の所定の領域に繰り返し書き込まれる。撮影画像メモリー１８２は、１画面分の画像の書き込みが完了すると、所定の領域のフラグを順次反転するので、ＣＰＵ１２０は、このフラグを参照することにより、撮像部１８０を用いた撮像が完了したか否かを知ることができる。ＣＰＵ１２０は、このフラグを参照しつつ、撮影画像メモリー１８２にアクセスして、必要な撮影画像を取得する。

続いて、プロジェクター１００の動作について説明する。
図２及び図３は、プロジェクター１００の動作を示すフローチャートであり、図２は全体的な動作を示し、図３は図２のステップＳ１３に示す台形歪み補正処理を詳細に示す。
プロジェクター１００は、電源がオンにされると外部から入力される映像信号に基づいて投射画像の投射を開始し（ステップＳ１１）、リモコン１９１または操作部１９５の操作子の操作によってセットアップの実行が指示されると（ステップＳ１２）、台形歪み補正処理を実行する（ステップＳ１３）。この台形歪み補正処理により、スクリーンＳＣに投射される投射画像は、プロジェクター１００の投影投射角による変形が補正され、ほぼ本来の形状となる。

ここで、台形歪み補正処理について説明する。
図３に示すように、プロジェクター１００のＣＰＵ１２０は、映像用プロセッサー１３４を制御して、Ａ／Ｄ変換部１１０から映像用プロセッサー１３４に入力されている映像信号の表示を停止させる。さらに、ＣＰＵ１２０は、調整用画像記憶部１７１に記憶された調整用画像を読み出し、この調整用画像を映像用プロセッサー１３４にコマンドとともに出力して、液晶パネル１３０に表示させ、スクリーンＳＣに投射させる（ステップＳ３１）。
次に、ＣＰＵ１２０は、スクリーンＳＣに調整用画像が投射された状態で投射画像を撮像部１８０により撮影させる（ステップＳ３２）。この撮影画像は、ＣＰＵ１２０の制御により、撮影画像メモリー１８２に保存される。

ＣＰＵ１２０は、調整用画像の投射中に撮影された撮影画像を撮影画像メモリー１８２から取得し、この撮影画像に基づいて、台形歪み補正部１３６により台形歪みを補正するためのパラメーターを算出する（ステップＳ３３）。
このステップＳ３３で、ＣＰＵ１２０は、三次元測量部１２５の機能により、三次元測量処理を実行する。この三次元測量処理は、プロジェクター１００のズームレンズ１５２の主点を原点とする三次元座標系（以下「レンズ座標系」とも呼ぶ）における、スクリーンＳＣを含む平面の三次元状態を検出する処理である。すなわち、プロジェクター１００における投射光学系１５０の光軸に対するスクリーンＳＣの三次元的な傾きを検出する。この処理では、撮影画像メモリー１８２から取得した撮影画像を離散化し、撮影画像に含まれる１６個の四角形の中心を測定点として求める。続いてＣＰＵ１２０は、測定点から平面の定義が可能な３点を選択し、選択した３つの測定点のレンズ座標系における三次元座標を検出する。ＣＰＵ１２０は、検出した３つの測定点の三次元座標に基づいて、スクリーンＳＣを含む平面に近似する近似平面を算出する。続いて、ＣＰＵ１２０は、投射角算出部１２６の機能により、三次元測量処理で検出したスクリーン平面の近似平面とプロジェクター１００から投射した投射光の光軸との角度である投影投射角を算出する。次いで、ＣＰＵ１２０は、算出された投影投射角を基に、液晶パネル１３０の表示可能領域１３１における補正後の画像の形状を求める。そして、ＣＰＵ１２０は、液晶パネル１３０の表示可能領域１３１における補正前の画像の形状を、補正後の画像の形状に変換する変換係数（パラメーター）を算出する。

ＣＰＵ１２０は、求めたパラメーターを台形歪み補正部１３６に設定し、台形歪み補正部１３６により台形歪み補正を実行させる（ステップＳ３４）。台形歪み補正部１３６は、設定されたパラメーターを用いて、入力されるデジタル信号を変換し、変換した結果を液晶パネル駆動部１３２へと出力する。すなわち、台形歪み補正部１３６は、Ａ／Ｄ変換部１１０から入力されるデジタル信号に対して、各画素の座標に対してベクトル演算を繰り返し、液晶パネル１３０に表示する画像を、台形歪みを補正するように変形させる。この台形歪み補正中は、通常は矩形である液晶パネル１３０の表示可能範囲に、スクリーンＳＣの投射画像の変形を補正するように上記パラメーターで規定される略台形に変形された映像が表示される。
この台形歪み補正処理を開始した後、ＣＰＵ１２０は、映像用プロセッサー１３４による映像の投射を再開させ（ステップＳ３５）、この台形歪み補正処理を終了する。

図３の台形歪み補正処理を行った後、ＣＰＵ１２０は、図２に戻って動き検出処理を開始する（ステップＳ１４）。この動き検出処理は、スクリーンＳＣに対するプロジェクター１００の相対位置が変化した場合に、この変化を検出する処理である。プロジェクター１００またはスクリーンＳＣが移動して、その位置関係が変化した場合には、ステップＳ１３の台形歪み補正処理で求めた投影投射角が変化するので、台形歪み補正におけるパラメーターも変化する。このため、スクリーンＳＣに投射される投射画像の歪みの補正が不十分になってしまう。そこで、ＣＰＵ１２０は、投射画像の歪みが補正された状態を保持すべく、スクリーンＳＣに対するプロジェクター１００の相対位置が変化した場合にステップＳ１３の台形歪み補正処理をやり直すため、スクリーンＳＣに対するプロジェクター１００の相対位置の変化を検出する動き検出処理をステップＳ１４で開始する。

動き検出処理の開始後、ＣＰＵ１２０は、まず、撮像部１８０により撮影を行わせて、撮影画像（第１の撮影画像）を撮影画像メモリー１８２から取得する（ステップＳ１５）。続いて、ＣＰＵ１２０は、画像処理部１２７の機能により、撮影画像においてスクリーンＳＣの枠が強調されるように画像処理を行う。すなわち、ＣＰＵ１２０は、取得した撮影画像からＹ成分の画像を抽出し（ステップＳ１６）、輝度成分（Ｙ）のみを取りだしたグレースケール画像を得る。続いて、ＣＰＵ１２０は、撮影画像から抽出したグレースケール画像に対し、輪郭強調処理（ステップＳ１７）およびノイズ除去フィルターによる処理（ステップＳ１８）を施す。これらの処理により、撮影画像の輪郭を強調したモノクロ２値またはグレースケールの画像が得られる。撮影画像にスクリーンＳＣの枠が写っている場合、上記の画像処理により、スクリーンＳＣの枠は四角形の枠線の画像として強調される。

次に、ＣＰＵ１２０は、ステップＳ１６〜Ｓ１８の処理により得られた画像において、スクリーンＳＣの枠の画像を検出し（ステップＳ１９）、検出した枠の４つの角（頂点）の位置を求める処理を行う（ステップＳ２０）。
また、ＣＰＵ１２０は、ステップＳ１６〜Ｓ１８の処理により得られた画像を参照画像とし、参照画像記憶部１６１（図１）に記憶させる（ステップＳ２１）。
その後、ＣＰＵ１２０は、画像処理部１２７の機能により、ステップＳ２０で記憶させた参照画像において、ステップＳ１９で検出した枠の内側と、枠から所定距離だけ離れた領域とをマスクするマスク画像を生成し、参照画像記憶部１６１に記憶させる（ステップＳ２２）。
マスク画像は、参照画像の一部がマスクされた画像であり、マスクされた部分は比較用画像と比較する処理の対象外となる。参照画像を比較用画像と比較するのではなく、参照画像の一部をマスクしたマスク画像を、比較用画像と比較することにより、動きを検出する際の処理負荷を軽減し、かつ正確に動きを検出できるという利点がある。

その後、ＣＰＵ１２０は、予め設定された検出時間だけ待機する（ステップＳ２３）。この検出時間は、スクリーンＳＣに対するプロジェクター１００の相対位置の変化を検出する頻度に影響し、検出時間を短くすれば相対位置の変化をより鋭敏に察知することができ、検出時間を長くすれば検出に要する演算処理の負荷を軽減できる。検出時間は、例えば１秒や０．５秒程度とすることができるが、数秒程度あるいは０．１秒以下であってもよい。
検出時間の待機をした後、ＣＰＵ１２０は、撮像部１８０により撮影を実行させ、撮影画像（第２の撮影画像）を撮影画像メモリー１８２から取得する（ステップＳ２４）。続いて、ＣＰＵ１２０は、画像処理部１２７の機能により、取得した撮影画像に対してステップＳ１６〜Ｓ１８で実行した画像処理と同様の処理を画像処理部１２７によって行い、比較用画像を生成して、比較用画像記憶部１６２に記憶させる（ステップＳ２５）。ここで生成される比較用画像は、ステップＳ２１で生成された参照画像と同様の画像である。

ＣＰＵ１２０は、画像処理部１２７の機能により、比較用画像記憶部１６２に記憶させた比較用画像にマスク領域を設定する（ステップＳ２６）。ここで設定されるマスク領域は、ステップＳ２２で生成したマスク画像においてマスクされる領域と、同位置である。
そして、ＣＰＵ１２０は、動き検出部１２８の機能により、参照画像記憶部１６１に記憶された参照画像（マスク画像）とステップＳ２６でマスク領域を設定した比較用画像との差分を検出する（ステップＳ２７）。このステップＳ２７では、例えば、比較する２つの画像について、マスクされた領域を除く部分の各画素の画素データに基づき差分絶対値和または差分二乗和が算出される。
ここで、ＣＰＵ１２０は、動き検出部１２８の機能により、求めた差分がしきい値を超えたか否かを判別し（ステップＳ２８）、しきい値を超えている場合には、スクリーンＳＣに対するプロジェクター１００の相対位置が変化したことになるので、ステップＳ１３に戻って台形歪み補正を実行する。

一方、ステップＳ２７で求めた差分がしきい値を超えていない場合（ステップＳ２８；Ｎｏ）、ＣＰＵ１２０は、投射を終了するか否かを判別し（ステップＳ２９）、投射を終了しない場合はステップＳ２３に戻る。ステップＳ２３では、検出時間だけ待機して、再びステップＳ２４〜Ｓ２８の処理を実行する。すなわち、撮影画像を取り込み、比較用画像を生成して、この比較用画像と参照画像とを比較する。この際、比較用画像と比較されるマスク画像は、参照画像記憶部１６１に記憶されたマスク画像である。つまり、ステップＳ２８で差分がしきい値を超えるまでは、ステップＳ２１で生成された参照画像を使い続けることになる。そして、この参照画像とステップＳ２５で生成された比較用画像との差分がしきい値を超えるまで、検出時間毎に、ステップＳ２４〜Ｓ２８の処理が繰り返し実行される。

以上の処理により、プロジェクター１００は、投影を開始してからリモコン１９１または操作部１９５の操作に応じて台形歪み補正処理を実行し、スクリーンＳＣに対するプロジェクター１００の相対位置が変化し、この変化により撮像部１８０が撮影した撮影画像に変化が生じた場合に、台形歪み補正処理を再び行う。これにより、投射画像の歪みが補正された後、再び補正が必要になった場合に、速やかに投射画像を補正して、投射画像の状態を良好に保つことができる。
また、動き検出部１２８の機能により、ステップＳ２７〜Ｓ２８の処理を行う場合、ステップＳ１３で台形歪み補正を行った直後の撮影画像に基づく参照画像（マスク画像）と、ステップＳ２６で処理された比較用画像とが比較される。このため、最後の（直近の）台形歪み補正を行ってからの相対位置の変化を検出するので、プロジェクター１００とスクリーンＳＣの相対位置の変化により投射画像の歪みの補正が必要になったか否かを、正確に判別できる。

図４は、マスク画像の具体的な例を示す図であり、（Ａ）は参照画像の例を示し、（Ｂ）はマスク画像の例を示す。
図４（Ａ）に示す参照画像２１１は、撮像部１８０により撮影対象範囲２１３を撮影した撮影画像を、グレースケール画像にして、輪郭強調処理及びノイズ除去フィルターによる処理を施した画像である。参照画像２１１では、スクリーンＳＣの枠２１４と、枠２１４の枠内に投射されている投射画像２１５の輪郭が写っている。

図４（Ｂ）に示すマスク画像２１２は参照画像２１１の一部をマスクした画像であり、マスクされた領域を模式的に斜線で示している。なお実際のマスク画像では斜線は用いられず、例えば、マスクされた領域が白または黒で塗りつぶされ、或いは、比較の対象から外す旨を示すデータとマスクされた領域の座標等を指定するデータとが、マスク画像に対応付けられる。
マスク画像２１２においては、枠２１４の内側がマスクされている。枠２１４の内側には投射画像２１５が写っているが、投射画像２１５は時間の経過とともに大きく変化することが多いので、比較の処理に用いないことが好ましいためである。また、マスク画像２１２では、枠２１４の外側に、枠２１４を囲むように帯状の比較領域２１７が設けられ、この比較領域２１７よりも外側はマスクされている。例えばプレゼンテーションが行われている場合など、プロジェクター１００が画像を投射している間は枠２１４の近くに人がいたり、人が移動したりするので、撮影画像において、枠２１４の近くには人影が写ることが少なくない。撮影画像に写っている人影は時間の経過とともに大きく移動する可能性が高いので、比較の処理に用いないことが好ましい。そこで、図４（Ｂ）に示すように、枠２１４から所定距離以上離れた部分は、外側マスク領域２１６としてマスクすることが効果的である。但し、この図４（Ｂ）に示すように枠２１４の上下左右全体を外側マスク領域２１６とする必要はなく、人影が映りやすい枠２１４の左右の側方と、枠２１４の下方との少なくともいずれかに外側マスク領域２１６を設ければ、人影による影響を低減できる。

枠２１４の画像から外側マスク領域２１６までの所定の距離、すなわち枠２１４の画像の周囲に設けられる比較領域２１７の大きさは任意である。比較領域２１７が小さく（幅が狭く）、比較領域２１７に含まれる画素数が少ない場合には、動き検出処理における演算量が抑えられるという利点がある。また、比較領域２１７が小さい場合に、スクリーンＳＣに対するプロジェクター１００の相対位置が変化した際にスクリーンＳＣの枠２１４が比較領域２１７より外に出てしまう可能性があるが、枠２１４が比較領域２１７から外れた場合は比較領域２１７における差分が大きくなってしきい値を超える。このため、枠２１４が比較領域２１７から外れても、プロジェクター１００及びスクリーンＳＣの移動を検出できない虞はない。但し、比較領域２１７に含まれる画素数が極端に少ないと、参照画像と比較用画像の差分の値が極端な値になりやすいため、ある程度の画素数が比較領域２１７に含まれることが好ましい。

なお、図４（Ａ）及び（Ｂ）には参照画像の例を示すが、ステップＳ２６（図３）でマスク領域が設定された比較用画像も、同様の状態である。図３のステップＳ２７では、参照画像と比較用画像とにおいて同じ位置の画素を比較して差分を求めるので、マスクされる領域は同じ位置、同じ大きさにすることが必要である。
このため、ステップＳ２８で差分がしきい値を超えたと判別し、ステップＳ１３に移行した場合には、ステップＳ１３で台形歪み補正処理を行った後でステップＳ１５〜Ｓ１８の処理を行わず、代わりにステップＳ２５で生成した比較用画像を、参照画像として参照画像記憶部１６１に記憶してもよい。この比較用画像は、撮像部１８０の撮影画像に参照画像と同じ画像処理を施した画像であるから流用可能である。また、ステップＳ２４で撮像部１８０が撮影を行ってから、その直後にステップＳ１５で撮影が行われるまでの時間は短く、この間にプロジェクター１００とスクリーンＳＣの相対位置の変化が起きる可能性は高くないので、比較用画像を参照画像に流用するデメリットはほとんどなく、撮影を含めたステップＳ１５〜Ｓ１８の処理を省略できる利点は大きい。

以上説明したように、本発明を適用した実施形態に係るプロジェクター１００によれば、スクリーンＳＣを撮影する撮像部１８０と、撮像部１８０により撮影された第１の撮影画像に基づいて参照画像を生成し、この第１の撮影画像とは異なる時点で撮像部１８０によって撮影され取得された第２の撮影画像に基づいて比較用画像を生成する画像処理部１２７と、画像処理部１２７により生成された参照画像及び比較用画像を比較し、スクリーンＳＣの画像中の位置の変化に起因する画像の差を検出することにより、スクリーンＳＣとプロジェクター１００との相対位置の変化を検出する動き検出部１２８とを備える。これにより、参照画像を生成するもととなった撮影画像の撮影時から、比較用画像を生成するもととなった撮影画像の撮影時までの間に、プロジェクター１００及びスクリーンＳＣのいずれかが移動した場合に、その相対位置の変化によって参照画像と比較用画像とにおけるスクリーンＳＣの位置が変化したことによる参照画像と比較用画像との差を検出し、相対位置の変化を確実に検出できる。これにより、スクリーンＳＣの投射画像を変化させるような相対位置の変化を確実に検出できる。

プロジェクター１００は、撮像部１８０によってスクリーンＳＣを含む撮影範囲を撮影して撮影画像を取得し、画像処理部１２７は、撮像部１８０により撮影して取得された撮影画像に対してスクリーンＳＣの枠が強調される画像処理を施して参照画像及び比較用画像を生成し、動き検出部１２８は、参照画像と比較用画像の画素毎の差分を求めることで各画像の差を検出する。このため、スクリーンＳＣとプロジェクター１００との相対位置の変化を速やかに、かつ確実に検出できる。
また、プロジェクター１００は、参照画像及び比較用画像の一部をマスクして、マスクされていない部分を比較して差分を求める。スクリーンＳＣの枠の内側をマスクすることにより、スクリーンＳＣに投影中の画像の影響を受けることなく、画像の差を検出できる。また、スクリーンＳＣの枠から所定距離以上離れた領域をマスクすることで、スクリーンＳＣの周囲を移動する人影の影響等を受けることなく、画像の差を検出できる。従って、投射画像の変化や、スクリーンＳＣの周囲の人の移動の影響を受けることなく、スクリーンＳＣとプロジェクター１００との相対位置の変化を速やかに、かつ確実に検出できる。

そして、プロジェクター１００は、動き検出部１２８の機能により、参照画像と比較用画像との差が検出された場合に、台形歪み補正処理を行う。つまり、プロジェクター１００とスクリーンＳＣの相対位置の変化により投射画像の歪みの補正が必要になったか否かを正確に判別し、補正が必要になった場合は台形歪み補正を行うので、スクリーンＳＣに投射される画像を、歪みの少ない良好な状態に保つことができる。また、プロジェクター１００とスクリーンＳＣの相対位置が変化して、台形歪み補正をやり直す必要が生じた場合に、台形歪み補正を指示する操作を必要としないため、利便性の向上を図ることができる。

なお、上述した実施形態は本発明を適用した具体的態様の例に過ぎず、本発明を限定するものではなく、上記実施形態とは異なる態様として本発明を適用することも可能である。例えば、上記実施形態においては、参照画像と比較用画像との画素データの差分を求め、さらに差分絶対値和や差分二乗和としきい値とを比較することにより、スクリーンＳＣに対するプロジェクター１００の相対位置の変化を検出する構成としたが、本発明はこれに限定されるものではなく、比較用画像におけるスクリーンＳＣの枠の位置（座標）を検出し、この位置（座標）と、参照画像において検出したスクリーンＳＣの枠の位置（座標）との差がしきい値を超えたか否かに基づき、相対位置の変化を検出してもよい。また、上記実施形態においては、特徴物としてスクリーンＳＣの枠が検出しやすいように画像処理を行う構成としたが、本発明はこれに限定されるものではなく、スクリーンＳＣの周囲に設置されている時計や窓等の設備または設置物を特徴物としてもよい。

また、上記実施形態では、撮像部１８０はＣＣＤイメージセンサーを備えたＣＣＤカメラ１８１を有する構成として説明したが、本発明はこれに限定されるものではなく、撮像部１８０のイメージセンサーとしてＣＭＯＳセンサーを用いても良い。
また、上記実施形態では、光源が発した光を変調する表示部として、ＲＧＢの各色に対応した３枚の透過型または反射型の液晶パネル１３０を用いた構成を例に挙げて説明したが、本発明はこれに限定されるものではなく、例えば、１枚の液晶パネルとカラーホイールを組み合わせた方式、３枚のデジタルミラーデバイス（ＤＭＤ）を用いた方式、１枚のデジタルミラーデバイスとカラーホイールを組み合わせたＤＭＤ方式等により構成してもよい。ここで、表示部として１枚のみの液晶パネルまたはＤＭＤを用いる場合には、クロスダイクロイックプリズム等の合成光学系に相当する部材は不要である。また、液晶パネル及びＤＭＤ以外にも、光源が発した光を変調可能な構成であれば問題なく採用できる。
また、図１に示した各機能部は、プロジェクター１００の機能的構成を示すものであって、具体的な実装形態は特に制限されない。つまり、必ずしも各機能部に個別に対応するハードウェアが実装される必要はなく、一つのプロセッサーがプログラムを実行することで複数の機能部の機能を実現する構成とすることも勿論可能である。また、上記実施形態においてソフトウェアで実現されている機能の一部をハードウェアで実現してもよく、あるいは、ハードウェアで実現されている機能の一部をソフトウェアで実現してもよい。

１００…プロジェクター、１２０…ＣＰＵ、１２７…画像処理部、１２８…動き検出部（移動検出部）、１３０…液晶パネル（表示部）、１３２…液晶パネル駆動部、１３４…映像用プロセッサー、１３６…台形歪み補正部、１４０…照明光学系、１５０…投射光学系、１６０…ＲＡＭ、１６１…参照画像記憶部、１６２…比較用画像記憶部、１７０…ＲＯＭ、１７１…調整用画像記憶部、１８０…撮像部、１８１…ＣＣＤカメラ、１８２…撮影画像メモリー、ＳＣ…スクリーン（投射面）。

Claims (6)

1. 投射面に画像を投射するプロジェクターであって、
   前記画像を投射する投射部と、
   前記投射面を撮影する撮像部と、
   前記撮像部により撮影され取得された第１の撮影画像に基づいて参照画像を生成し、前記第１の撮影画像が撮影された時点とは異なる時点で前記撮像部によって撮影され取得された第２の撮影画像に基づいて比較用画像を生成する画像処理部と、
   前記画像処理部により生成された前記参照画像及び前記比較用画像を比較し、前記撮像部の撮影範囲にある特徴物の、画像中における位置の変化に起因する画像の差を検出することにより、前記投射面に対する前記プロジェクターの相対位置の変化を検出する移動検出部と、
   を備え、
   前記撮像部は、前記投射面に設置されたスクリーンを含む撮影範囲を撮影して前記第１の撮影画像及び前記第２の撮影画像を取得し、
   前記画像処理部は、前記第１の撮影画像における前記スクリーンの枠の内側をマスクして前記参照画像を生成し、前記第２の撮影画像における前記スクリーンの枠の内側をマスクして前記比較用画像を生成し、
   前記移動検出部は、前記参照画像及び前記比較用画像について、前記スクリーンの枠の内側を除く範囲の画像を比較して、前記スクリーンの枠の位置の変化に起因する画像の差を検出することを特徴とするプロジェクター。
2. 前記画像処理部は、前記撮像部により撮影して取得された撮影画像に対して前記スクリーンの枠が強調される処理を施して前記参照画像及び前記比較用画像を生成することを特徴とする請求項１記載のプロジェクター。
3. 前記移動検出部は、前記参照画像及び前記比較用画像について、前記スクリーンの枠から所定距離以上離れた部分を除く範囲の画像を比較して、前記スクリーンの枠の位置の変化に起因する画像の差を検出することを特徴とする請求項１または２記載のプロジェクター。
4. 前記投射部により投射される画像を変形させて歪み補正を行う台形歪み補正部を備え、
   前記台形歪み補正部は、前記移動検出部により前記プロジェクターの相対位置の変化が検出された場合に歪み補正を行うことを特徴とする請求項１から３のいずれかに記載のプロジェクター。
5. 撮像部を有し、投射面に画像を投射するプロジェクターの制御方法であって、
   前記撮像部によって前記投射面に設置されたスクリーンを含む撮影範囲を撮影して第１の撮影画像を取得し、
   前記第１の撮影画像における前記スクリーンの枠の内側をマスクして参照画像を生成し、
   前記第１の撮影画像が撮影された時点とは異なる時点で、前記撮像部によって前記投射面に設置された前記スクリーンを含む撮影範囲を撮影して第２の撮影画像を取得し、
   前記第２の撮影画像における前記スクリーンの枠の内側をマスクして比較用画像を生成し、
   前記参照画像及び前記比較用画像を比較し、前記撮像部の撮影範囲にある前記スクリーンの枠の、画像中における位置の変化に起因する画像の差を検出することにより、前記投射面に対する前記プロジェクターの相対位置の変化を検出すること、
   を含み、
   前記参照画像及び前記比較用画像について、前記スクリーンの枠の内側を除く範囲の画像を比較して、前記スクリーンの枠の位置の変化に起因する画像の差を検出することを特徴とするプロジェクターの制御方法。
6. 前記プロジェクターは前記画像を投射する投射部により投射される画像を変形させて歪み補正を行う台形歪み補正機能を有し、
   前記プロジェクターの相対位置の変化が検出された場合に台形歪み補正機能により歪み補正を行うことを特徴とする請求項５記載のプロジェクターの制御方法。

Images